基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题,提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中,采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数,改进后的奖励函数避免了智能体被敌机诱导坠地的问题,同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题,设计了基于价值的经验池样本优先度排序方法,在保证算法收敛的前提下,显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证,结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

基于深度迁移强化学习的无人机投放自主引导机动控制算法

针对无人机精确投放引导问题,本文提出基于深度迁移强化学习的无人机投放自主引导机动控制算法,分别建立基于马尔可夫决策过程的引导机动决策模型、引导机动评估模型等,并设计基于迁移学习和课程学习的引导机动策略训练方法,拟合基于深度学习的引导机动策略和评估网络,最后开展仿真训练和验证试验。仿真结果表明,该算法实现了无人机在任意姿态和位置条件下,能够自主规避区域威胁并自主引导至目标投放点,成功完成投放瞄准任务,有效地提升了无人机投放引导机动控制的自主性。     

基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

基于深度强化学习的固定翼无人机编队协调控制方法

由于运动学的复杂性和环境的动态性,控制一组无人机遂行任务目前仍面临较大挑战。首先,以固定翼无人机为研究对象,考虑复杂动态环境的随机性和不确定性,提出了基于无模型深度强化学习的无人机编队协调控制方法。然后,为平衡探索和利用,将ε-greedy策略与模仿策略相结合,提出了ε-imitation动作选择策略;结合双重Q学习和竞争架构对DQN（Deep Q-Network）算法进行改进,提出了ID3QN（Imitative Dueling Double Deep Q-Network）算法以提高算法的学习效率。最后,构建高保真半实物仿真系统进行硬件在环仿真飞行实验,验证了所提算法的适应性和实用性。     

基于深度强化学习的无人机栖落机动控制策略设计

无人机栖落机动飞行是一种无需跑道的降落方法,能够提升无人机在复杂环境下执行任务的适应能力。针对具有高非线性、多约束特性的无人机栖落机动过程,提出了一种基于模仿深度强化学习的控制策略设计方法。首先,建立了固定翼无人机栖落机动的纵向非线性动力学模型,并设计了无人机栖落机动的强化学习环境。其次,针对栖落机动状态动作空间大的特点,为了提高探索效率,通过模仿专家经验的方法对系统进行预训练。然后,以模仿学习得到的权重为基础,采用近端策略优化方法学习构建无人机栖落机动的神经网络控制器。最后,通过仿真验证了上述控制策略设计方法的有效性。     

基于深度强化学习的四足机器人后空翻动作生成方法

四足机器人灵巧运动技能的生成一直受到机器人研究者们的广泛关注,其中空中翻滚运动既能展现四足机器人运动的灵活性又具有一定的实用价值.近年来,深度强化学习方法为四足机器人的灵巧运动提供了新的实现思路,利用该方法得到的闭环神经网络控制器具有适应性强、稳定性高等特点.本文在绝影Lite机器人上使用基于模仿专家经验的深度强化学习方法,实现了仿真环境中四足机器人的后空翻动作学习,并进一步证明了设计的后空翻闭环神经网络控制器相比于开环传统位置控制器具有适应性更高的特点.     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力,是实现空战智能决策的重要技术范式,但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题,开发了适于应用的深度神经网络在线机动决策模型,发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案,并进一步开展了软硬件实现工作与人机对抗飞行试验,实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法,智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策,通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

基于自博弈深度强化学习的空战智能决策方法

空战是战争走向立体的重要环节,智能空战已经成为国内外军事领域的研究热点和重点,深度强化学习是实现空战智能化的重要技术途径。针对单智能体训练方法难以构建高水平空战对手问题,提出基于自博弈的空战智能体训练方法,搭建研究平台,根据飞行员领域知识合理设计观测、动作与奖励,通过“左右互搏”方式训练空战智能体至收敛,并通过仿真试验验证空战决策模型的有效性。研究结果表明通过自博弈训练,空战智能体战术水平逐步提升,最终对单智能体训练的决策模型构成70%以上胜率,并涌现类似人类“单/双环”战术的空战策略。     

载人月球探测轨道设计的挑战与技术发展趋势

轨道设计是载人月球探测工程中的一个重要问题,直接影响工程实施的效果、甚至成败。本文概述了载人月球探测工程中涉及的飞行轨道,指出了轨道设计所面临的三方面挑战,即飞行轨道方案、轨道设计效率、任务全局最优化的挑战;简要介绍了国内外载人月球探测轨道设计的研究进展;提出了当前载人月球探测轨道设计需要重点突破的几个关键技术问题,包括一体化轨道设计与优化、应急任务轨道设计、地月空间任务高鲁棒性轨道设计、月球轨道空间站的轨道设计和地月空间轨道通用设计软件等问题。     

基于多智能体强化学习的月面极端区域协同探测方法

针对单个月球车难以高效鲁棒地探测月面极端区域的问题,提出了一种基于多智能体强化学习的月球车协同探测方法。首先,将探测区域进行离散化处理,并使用栅格地图表达探测信息及各月球车的位置信息,然后,使用深度神经网络对视觉图像信息、激光雷达信息以及栅格地图信息进行特征提取;之后,在多智能体强化学习的架构下学习月球车的协同探测策略,通过设计考虑探测时间、安全约束及通信约束的奖励函数,使月球车可以快速安全地对月面极端区域进行协同探测;最后,在Gazebo中搭建了月面仿真环境并进行了仿真验证。结果表明：所提出的方法具备较高的探测效率与较好的安全保障。     

强化学习方法在翼型拍动实验中的应用

将深度强化学习方法应用于水洞实验,实现了实验室内的自动闭环优化框架,并用该框架优化了雷诺数Re=1.3×104下纯俯仰运动的NACA0012翼型模型的推进效率。现有的相关研究往往将运动模式限制为某种周期性函数,具有局限性。借助于强化学习方法,实现了在更广的非周期动作空间中的动作搜索。在实验中,模型自动地与水洞环境进行交互,最终学习到了高效推进的非周期运动策略。另外,通过修改奖励函数,实现了在给定推力阈值以上的效率优化。研究结果显示,强化学习模型可以在实验过程中通过不断调整拍动动作的幅度和频率来实现推进效率的持续提升,并且最终通过强化学习方法获得的最优拍动动作均与正弦拍动动作接近,得到的最优推进效率基本位于同等幅度正弦动作效率的上边界。研究展示了强化学习方法用于复杂流动控制问题的可行性。     

基于地外天体起飞的真空羽流导流技术仿真与试验研究

针对着航天器发动机羽流导流问题,基于工程经验提出了四种典型导流装置型面(包含内凹槽形式和导流锥形式等),利用计算流体动力学/直接模拟蒙特卡罗(CFD/DSMC)耦合方法,对起飞过程中羽流导流带来的气动力和气动热效应进行了数值模拟,并对不同导流装置情况下羽流场激波、航天器表面压强和热流密度分布规律进行了分析,给出了四种导流装置的导流效果评价。最后以导流锥形式开展试验,对仿真算法进行了验证。结果表明：羽流导流并没有导致发动机燃烧不稳定;综合考虑航天器羽流和发动机安全性,大导流锥导流的方案最优;在导流锥附近的激波位置及形态和仿真一致,仿真与试验的变化趋势一致,仿真算法可信,数据规律可以作为工程参考。     

深度学习在C-130J飞机预测性维修中的应用和启示

预测性维修是减少维修工作量和维修资源、提高装备可用性的新的维修模式,实现预测性维修的关键是构建预测模型和算法.以深度学习为代表的新一代人工智能技术为预测模型和算法提供了条件.本文分析了当前C-130J飞机维修保障存在的主要问题和困难,重点研究了深度学习技术在飞机预测性维修中的应用,论述了应用深度学习技术的主要困难和解决...     

惯性技术在光电探测技术中的应用

惯性技术是通过惯性传感器敏感载体运动信息,自主建立运动载体姿态基准的手段。随着现代光电探测技术的不断发展,光电武器装备在侦察、监视、定位、导航和通信等场合的应用越来越广泛,惯性技术在光电探测技术与光电设备中的作用也越来越重要。本文介绍了光电探测技术和典型机载光电系统、惯性技术的发展历程,详细介绍了惯性技术在光电探测技术中的应用情况,分析了其对作战方式和作战效能所带来的变化和提升,阐述了惯性技术在光电探测技术应用的未来发展需求和趋势。     

基于分支深度强化学习的非合作目标追逃博弈策略求解

为解决航天器与非合作目标的空间交会问题,缓解深度强化学习在连续空间的应用限制,提出了一种基于分支深度强化学习的追逃博弈算法,以获得与非合作目标的空间交会策略。对于非合作目标的空间交会最优控制,运用微分对策描述为连续推力作用下的追逃博弈问题;为避免传统深度强化学习应对连续空间存在维数灾难问题,通过构建模糊推理模型来表征连续空间,提出了一种具有多组并行神经网络和共享决策模块的分支深度强化学习架构。实现了最优控制与博弈论的结合,有效解决了微分对策模型高度非线性且难于利用经典最优控制理论进行求解的难题,进一步提升了深度强化学习对离散行为的学习能力,并通过算例仿真检验了该算法的有效性。     

公开SAR图像目标数据集及其在深度学习中的应用综述

由于合成孔径雷达(SAR)图像可读性较差,所以对其进行目标检测与识别处理的难度也较大.近年来,随着深度学习(DL)方法的不断发展,许多学者将其引入SAR图像目标检测与识别研究中.该类方法以数据为驱动.其中,监督学习方法更以已标注的数据为基础.但是,SAR图像目标的标注通常是昂贵且耗时的.鉴于此,本文对已公开的SAR图像...     

物理启发的深度学习模型及其在热端部件散热中的应用

热端部件散热是众多空天设备的关键技术。表面温度分布是散热设计中用到的重要信息,常规的解析建模手段和机器学习方法均无法有效地表达此类高维信息。近年来兴起的图像深度学习算法是解决表面温度信息预测的有效手段。然而,现有的基于大数据的深度学习方法往往对于物理数据和小样本数据不适用,体现为泛化精度差、数据兼容性差、可解释性差。因此,有必要结合传热的先验知识发展物理启发的新型深度学习算法,以增强高自由度、高复杂度散热对象上的设计能力。本文基于卷积算子和有限差分求解方式的类比关系,提出了一种物理启发式的循环卷积神经网络。以横向出流的冲击冷却为例,开展了变计算域大小、变工况、变尺寸的批量数值模拟,获取了冲击冷却关键特征的小样本图像数据。进一步通过神经网络的训练,构建了多参数、大范围内有较好拟合能力的温度、传热系数、压力代理模型。研究结果表明,本文提出的物理启发神经网络模型,对于计算域大小没有限制,可以统一表达不同空间范围内获取的物理数据的共性规律。模型的各类超参设定均具有明确的物理意义,且与经典的微分方程求解理论有一定的类比关系,增强了神经网络调参的方向性。通过传热物理规律与黑箱模型的融合,本文实现了小样本多参数物理数据的共性建模。该方法可以迅速重构热端部件的高维分布信息,可服务于热端部件的快速分析设计以及优化。