基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

基于APF-DQN的空战机动决策方法

针对强化学习中奖励信号稀疏导致价值函数收敛慢的问题,提出结合人工势场(Artificial Potential Field, APF)法和深度Q学习网络(Deep Q-learning Network, DQN)的空战机动决策方法。描述了空战机动态势,建立了空战机动人工势场模型,设计了一阶APF奖励函数,构造了基于DQN的空战决策模型,提出了基于APF-DQN的空战机动决策方法,最后进行了仿真试验。仿真结果表明,所提方法能够解决奖励信号稀疏的问题,使我方战机能够很好地进行轨迹跟踪,占据有利态势。     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

基于改进证据网络的空战动态态势估计方法

针对无人机空战态势估计既需要综合考虑多类型因素影响,又需要具有不确定性推理能力的特点,建立了一种基于改进证据网络的动态态势估计模型并设计了威胁等级评估推理方法。首先,考虑空战决策时间较短的特点,提出变量框架等级缩减方法以提高网络运行效率;然后,针对空战态势信息具有大不确定性的特点增加冲突数据自适应融合算法以及网络证据的时间序列预测,提高证据的合理性;最后,引入时空融合思想和变权机制将前一时刻的威胁信息作为评判后一时刻威胁的重要标准,应用威胁在时间维度上的递归合成增加信息在时间方向的传递,改善了由于证据失真引起的评估结果的不合理性问题,并通过仿真验证了该方法的有效性。     

基于非参量法的空战态势评估分析

为了改进现有基于非参量法的空战态势评估模型,描述了空战态势评估基本问题,阐述了空战态势评估算法的发展脉络,分析了目前构造的态势评估函数没有体现方位角与进入角对态势影响的耦合关系,双方速度以及能量对态势影响的非线性等问题,提出了从空战武器攻击区的角度重新构造态势评估函数的思想,为进一步研究奠定了基础。     

基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

空战格斗飞行机动数据库建立及应用

空战格斗任务面临环境高复杂性、博弈强对抗性、响应高实时性、信息不完整性、边界不确定性等多项挑战。为此，已建立人类飞行员空战格斗飞行机动数据库ACED(Air Combat Engagement Database)，系统采集人类优秀飞行员空战格斗飞行机动数据。基于该数据库，首先分析了空战格斗飞行机动方程，提出应重点分析飞行员在空战任务中的滚转角及法向过载决策指令；研究确定了近距空战格斗任务中的人类飞行员飞行机动决策时间窗，并采用能量谱分析方法确定了飞行员在近距空战格斗飞行机动中的滚转角决策频率；针对采用航炮作为主武器的近距空战格斗任务，研究了近距空战格斗敌机轨迹预测算法。相关方法可有效预测航炮炮弹生命周期内的敌机未来轨迹，有力支撑了航炮自动火控算法的研发，助力在相关空战竞赛中取得优异成绩。本文系列应用示例验证了已建立的空战格斗飞行机动数据库的有效性。     

基于模仿强化学习的固定翼飞机姿态控制器

研究了基于模仿强化学习的飞机姿态控制器。首先,建立专家经验数据集,并利用行为克隆对控制网络参数初始化;而后,控制网络利用强化学习和监督学习混合模式训练,通过奖励函数塑形和经验数据集监督学习引导强化学习算法快速收敛,使姿态控制器姿态响应优化的同时符合专家经验。控制网络输入为飞机姿态角误差、角速度等状态变量,输出控制增稳系统指令。实验表明,模仿强化学习控制器能够实现不同初始条件下飞机姿态角快速响应并与经验数据相符。     

基于变权重伪并行遗传算法的空战机动决策

针对空战机动决策中态势多样化对机动决策的影响以及控制量的细化问题,以敌我双机空战为背景,利用空战优势函数值作为空战机动决策的依据,基于滚动时域控制方法,采用变权重自适应伪并行遗传算法解决空战决策问题。重点分析了隐身优势函数以及变权重函数的建立、遗传编码方式、操作算子的确定,最后对空战决策进行了仿真。仿真结果验证了隐身优势函数的合理性,以及该理论在空战机动决策方面的有效性。     

面向智能空战的它机协同试飞验证方法

为验证无人机自主协同算法在空战环境下的适用性，提出了一种高等效的它机协同试飞验证方法。根据算法功能实现的需求，以成熟的民用固定翼无人机平台为基础进行改装，搭建它机试飞平台，对真实空战环境开展模拟和等效设计。以四机协同编队算法为例，在试飞平台上移植算法程序，开展相关科目试飞验证。当需要验证不同控制算法时，无需针对它机试飞平台开发控制策略，只需修改控制算法即可。试验结果表明：编队综合误差较小，算法能够实现无人机编队的稳定控制；同时，它机协同试飞验证方法因其迭代速度快、安全稳定性高、成本低等特点，可用作中间阶段算法的前置试飞手段，为算法的开发迭代提供有效验证。     

基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。     

战斗机嵌入式训练系统中的智能虚拟陪练

智能化"实虚"对抗是现代先进战斗机嵌入式训练系统的重要功能需求。自主空战决策控制技术在未来空战装备发展中扮演关键角色。将当前的功能需求和发展中的技术结合起来,得到了空战智能虚拟陪练的概念。先进控制决策技术的引入使得智能虚拟陪练能够帮助飞行员完成复杂的战术训练,而训练中真实的对抗场景为技术的验证提供了理想的环境,大量的训练数据为技术的持续迭代优化提供了保障。作为可学习和进化的空战战术专家,智能陪练在人机对抗和自我对抗中不断优化,当其具备与人相当甚至超越人的战术能力时,可应用于未来的无人空战系统。智能虚拟陪练需要具备4项基本能力：智能决策能力、知识学习能力、对抗自优化能力和参数化表示能力。对其包含的关键技术进行了分析,提出并实现了一个基于模糊推理、神经网络和强化学习的解决方案,展示了其各项基本能力及目前达到的空战水平。未来更多的模型和算法可在智能虚拟陪练的框架中进行验证和优化。     

单机多目标攻击模态综合飞/火控制系统设计及仿真

多目标攻击是现代空战中的主要形式和发展趋势。本文主要介绍了多目标攻击火控系统的总体方案、基本组成及工作过程，将空战能力、空战态势指数法及动态的层次分析法应用于火控系统攻击逻辑决策中，给出了一种多目标超视距攻击火控系统的设计方案，其中在空战态势指数法中还考虑了高度因素。同时，对飞行／火力协调控制器进行了设计，并在六自由度飞机模型上进行了多目标攻击过程的数字仿真，仿真结果表明本文的设计方案是可行的。     

基于多智能体强化学习的空间机械臂轨迹规划

针对某型六自由度（DOF）空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH （Denavit-Hartenberg）模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了"线下集中学习,线上分布执行"的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4 s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。     

基于生成对抗近端策略优化的机动策略优化算法

针对传统强化学习算法在生成空战机动策略时存在收敛效率低、专家经验利用不足的问题,研究了基于生成对抗-近端策略优化的策略生成算法。算法采用判别器-策略-价值(DAC)网络框架,在近端策略优化(PPO)算法基础上,利用专家数据和环境交互数据训练判别器网络,并反馈调节策略网络,实现了约束策略向专家策略方向优化,提高了算法收敛效率和专家经验利用率。仿真环境为基于 JSBSim开源平台的 F-16飞机空气动力学模型。仿真结高,PPO果表明,本文算法收敛效率高于算法,生成的策略模型具备较好的智能性。     

协同多目标攻击空战决策及其神经网络实现

提出了一种超视距多目标空战决策方法——协同优先权算法。它能给出多机协同攻击多目标的目标配对。然后对２∶４空战,用３层Ｂ－Ｐ网络实现该算法,并用ＳＯＦＭ网络实现对目标的攻击排序。因它们具有很强的适应、容错能力和实时性,故这种实现将有助于复杂动态环境下飞行员的空战决策,以及提高航空武器系统的作战效能。仿真结果证实了上述思想的正确性。     

基于滑模神经网络的自主飞艇姿态控制

针对自主飞艇飞行环境的不确定性,提出了一种基于自适应滑模神经网络的姿态控制系统.平流层高空飞行环境对飞艇控制产生了许多不确定性因素,利用自适应变结构控制和神经网络方法设计了飞艇的俯仰通道控制器.非线性仿真结果表明:控制器能够适应对象结构参数及外部扰动的大范围变化,满足姿态控制稳定性要求,同时也消除了变结构控制系统的抖振,具有良好的鲁棒性和动态性能.