基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

空战格斗飞行机动数据库建立及应用

空战格斗任务面临环境高复杂性、博弈强对抗性、响应高实时性、信息不完整性、边界不确定性等多项挑战。为此，已建立人类飞行员空战格斗飞行机动数据库ACED(Air Combat Engagement Database)，系统采集人类优秀飞行员空战格斗飞行机动数据。基于该数据库，首先分析了空战格斗飞行机动方程，提出应重点分析飞行员在空战任务中的滚转角及法向过载决策指令；研究确定了近距空战格斗任务中的人类飞行员飞行机动决策时间窗，并采用能量谱分析方法确定了飞行员在近距空战格斗飞行机动中的滚转角决策频率；针对采用航炮作为主武器的近距空战格斗任务，研究了近距空战格斗敌机轨迹预测算法。相关方法可有效预测航炮炮弹生命周期内的敌机未来轨迹，有力支撑了航炮自动火控算法的研发，助力在相关空战竞赛中取得优异成绩。本文系列应用示例验证了已建立的空战格斗飞行机动数据库的有效性。     

基于启发式强化学习的空战机动智能决策

空战机动智能决策一直是研究热点,现有的空战机动决策主要采用优化理论和传统的人工智能算法,是在相对固定的环境下进行决策序列计算研究。但实际空战是动态变化的,且有很多不确定性因素。采用传统的理论方法进行求解,很难获取与实际情况相符的决策序列。提出了基于启发式强化学习的空战机动智能决策方法,在与外界环境动态交互的过程中,采用"试错"的方式计算相对较优的空战机动决策序列,并采用神经网络方法对强化学习的过程进行学习,积累知识,启发后续的搜索过程,很大程度上提高了搜索效率,实现空战决策过程中决策序列的实时动态迭代计算。最后仿真实验结果表明本文提出的算法所计算的决策序列与实际情况相符。     

战斗机嵌入式训练系统中的智能虚拟陪练

智能化"实虚"对抗是现代先进战斗机嵌入式训练系统的重要功能需求。自主空战决策控制技术在未来空战装备发展中扮演关键角色。将当前的功能需求和发展中的技术结合起来,得到了空战智能虚拟陪练的概念。先进控制决策技术的引入使得智能虚拟陪练能够帮助飞行员完成复杂的战术训练,而训练中真实的对抗场景为技术的验证提供了理想的环境,大量的训练数据为技术的持续迭代优化提供了保障。作为可学习和进化的空战战术专家,智能陪练在人机对抗和自我对抗中不断优化,当其具备与人相当甚至超越人的战术能力时,可应用于未来的无人空战系统。智能虚拟陪练需要具备4项基本能力：智能决策能力、知识学习能力、对抗自优化能力和参数化表示能力。对其包含的关键技术进行了分析,提出并实现了一个基于模糊推理、神经网络和强化学习的解决方案,展示了其各项基本能力及目前达到的空战水平。未来更多的模型和算法可在智能虚拟陪练的框架中进行验证和优化。     

自主空战机动决策方法综述

自主空战机动决策是基于数学优化、人工智能等方法,模拟飞行员空战决策,自动生成飞行控制指令的过程。它在空战仿真、飞行员辅助决策和无人战斗机自主飞行等领域广泛运用。根据求解思路的不同,综合论述了两类自主空战机动决策方法:针对基于对策的空战决策方法,阐述了从追逃对策到双目标对策的发展脉络和内在联系,并着重分析了两类重要的双目标对策模型——矩阵对策和影响图对策;针对基于人工智能的空战决策方法,系统论述了基于专家系统的机动决策、基于遗传学习系统的机动决策、基于人工免疫系统的机动决策和基于神经网络的机动决策,明确了各种决策的建模方法、适用条件、改进途径等问题。总结了各个空战机动决策方法的优点及不足,指出了自主空战机动决策的进一步研究思路。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

先进战斗机过失速机动模型飞行试验技术

具有过失速机动能力的战斗机在近距空战中能够取得快速占位、先敌瞄准、有效规避攻击的战术优势,是先进战斗机的标志性性能要求。模型飞行试验技术作为空气动力学研究三大手段之一,在解决飞行器技术难题、实现技术创新方面发挥了重要作用。本文介绍了中国空气动力研究与发展中心利用带动力自主控制模型飞行试验平台发展的过失速机动模型飞行试验技术,以及开展的先进战斗机构型典型过失速机动模型飞行试验,分述了在大迎角非定常气动建模、宽量程气流系参数测量、大迎角非线性控制、推力矢量控制、大迎角非定常气动参数辨识方面的研究工作与解决这些关键问题的技术途径。通过此项研究,在国内首次实现了先进战斗机构型缩比模型典型过失速机动飞行,相关研究成果可为先进战斗机实现过失速机动飞行能力提供有力的技术支撑。     

基于模糊聚类的近距空战决策过程重构与评估

目前大量研究集中在空战的智能决策和解决近距空战评估结果"是什么"的问题上,却极少关注评估结果的"为什么"。根据空战训练中记录的客观数据的变化特征,提出基于模糊聚类的方法来计算决策序列,构建模糊粗糙决策系统,以实现对近距空战决策过程的重构;通过计算分析条件属性之间的相对重要度,对具有相似重要度的决策对象序列进行二次聚类划分,分析出关键决策点集合。通过实例研究,从空战能量和相对方位2个方面对近距空战决策过程进行了评估分析。结果表明,从空战决策的角度可认为关键决策点集合是产生评估结果的原因。     

无人机空战仿真中基于机动动作库的决策模型

根据无人机空战仿真需要和专家系统原理,建立了一套基于机动动作库的快速响应自主空战机动决策系统模型;根据第三代战斗机空战中典型的机动动作,建立了相应的专家数据库;通过对驾驶员经验的分析,建立了专家知识库,并将整套决策模型应用于空战仿真中.仿真结果表明,应用该模型建立的空战仿真系统,可以使无人机根据实时战场环境,实现快速自主决策空战模拟飞行.     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习算法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证。结果表明：本文提出的空战格斗控制方法有效,能够为自主空战格斗进一步发展提供指导。     

X—31A飞机的设计特点和试飞情况

综述了为验证增强战斗机机动性(EFM)计划、衡量过失速机动飞行的可行性及其在近距空战中的战术价值,X-31A飞机在气动布局、大迎角抗偏离设施、推力矢量系统以及飞控系统方面的特点;介绍了X-31A飞机的有关飞行试验情况,特别是循序渐近的四种过失速机动动作以及空战效能评估结果。结果表明,X-31A飞机气动布局合理,能完成过失速机动飞行。且过失速机动技术和推力矢量组合,可以大大地提高飞机近距空战的作战效能。     

基于APF-DQN的空战机动决策方法

针对强化学习中奖励信号稀疏导致价值函数收敛慢的问题,提出结合人工势场(Artificial Potential Field, APF)法和深度Q学习网络(Deep Q-learning Network, DQN)的空战机动决策方法。描述了空战机动态势,建立了空战机动人工势场模型,设计了一阶APF奖励函数,构造了基于DQN的空战决策模型,提出了基于APF-DQN的空战机动决策方法,最后进行了仿真试验。仿真结果表明,所提方法能够解决奖励信号稀疏的问题,使我方战机能够很好地进行轨迹跟踪,占据有利态势。     

自主空战技术中的机动决策:进展与展望

自主空战（AAC）是指飞机依靠机载等相关设备，自主进行战场感知、决策及控制，以执飞空战的技术，其核心是机动决策模块。针对该模块的研究，调研了国内外的现有方法，并按照有关方法的核心内涵，将其分为基于数学求解、机器搜索、以及数据驱动3类分别简要概述；针对每一类方法列出了具有代表性的示例技术，并讨论了其优缺点。指出了自主空战决策的研究应立足现有相关方法及技术基础，同时积极吸纳机器学习、人工智能等新兴技术，合理利用各类方法的优点，取长补短，实现自主空战决策的长足发展；有关于该研究设想的关键科学问题及其潜在解决方案也在文中进行了初步讨论。希冀基于针对自主空战决策研究框架及实现方法的概念性讨论，促进其技术发展，推广相关思路在有关国家安全、国民经济建设等领域的应用，以满足国家重大需求和工程实践。     

非对称机动能力多无人机智能协同攻防对抗

协同攻防对抗是未来军用无人机的重要作战场景。针对不同机动能力无人机群体间的攻防对抗问题，建立了多无人机协同攻防演化模型，基于多智能体强化学习理论，研究了多无人机协同攻防的自主决策方法，提出了基于执行-评判（Actor-Critic）算法的集中式评判和分布式执行的算法结构，保证算法稳定收敛的同时，提升执行效率。无人机的评判模块使用全局信息评价决策优劣引导策略学习，而执行时只需要依赖局部感知信息进行自主决策，提高了多机攻防对抗的效能。仿真结果表明，所提的多无人机强化学习方法具备较强的自进化属性，赋予了无人机一定智能，即稳定的自主学习能力，通过不断演化，能自主学习提升协同对抗的决策效能。     

基于自博弈深度强化学习的空战智能决策方法

空战是战争走向立体的重要环节,智能空战已经成为国内外军事领域的研究热点和重点,深度强化学习是实现空战智能化的重要技术途径。针对单智能体训练方法难以构建高水平空战对手问题,提出基于自博弈的空战智能体训练方法,搭建研究平台,根据飞行员领域知识合理设计观测、动作与奖励,通过“左右互搏”方式训练空战智能体至收敛,并通过仿真试验验证空战决策模型的有效性。研究结果表明通过自博弈训练,空战智能体战术水平逐步提升,最终对单智能体训练的决策模型构成70%以上胜率,并涌现类似人类“单/双环”战术的空战策略。     

无人机近距编队飞行建模与仿真

无人机编队飞行有着单架无人机无法比拟的优点,但属于较新的研究领域。从无人机未来发展需求出发,根据近距编队的特点,提出了一种近距编队控制方法,并以双机近距编队为基础对控制律设计和算法实现进行了研究。通过建立僚机旋转参考系下的双机编队相对运动模型,同时考虑长机翼尖涡对僚机产生的气动耦合效应,基于PI控制设计了一种无人机近距编队飞行控制器,通过仿真验证和比较分析,证明僚机可以很好地跟随长机的机动保持编队构型,验证了提出的编队飞行控制方法的可行性和有效性。     

未来智能空战发展综述

随着装备战斗力生成模式逐渐向机械化、信息化、智能化"三化融合"发展演变,未来航空主战装备的定位、形态及运用将可能发生根本性变革。为应对新时期空战任务所面临的环境高复杂性、博弈强对抗性、响应高实时性、信息不完整性、边界不确定性等一系列挑战,交叉融合人工智能理论与空战对抗技术,研发智能空战系统,将有望在下一代无人制空装备谱系中构建不对称"智能代差",成为制胜未来空天战场的核心关键。本文完整梳理了智能空战研究的发展脉络,总结了以专家机动逻辑、自动规则生成、规则演进、机器学习等方法为代表的智能空战基础理论。从体系、应用及技术视角全面剖析了智能空战的发展趋势,以智能空战的不确定性、安全性、解释性、迁移性、协同性为切入点阐述了智能空战应用落地的若干问题,以期为未来智能空战技术研究勾勒出一条新的探索路径,为人工智能理论与航空科学技术的跨领域交叉融合提供新的发展思路。     

基于深度迁移强化学习的无人机投放自主引导机动控制算法

针对无人机精确投放引导问题，本文提出基于深度迁移强化学习的无人机投放自主引导机动控制算法，分别建立基于马尔可夫决策过程的引导机动决策模型、引导机动评估模型等，并设计基于迁移学习和课程学习的引导机动策略训练方法，拟合基于深度学习的引导机动策略和评估网络，最后开展仿真训练和验证试验。仿真结果表明，该算法实现了无人机在任意姿态和位置条件下，能够自主规避区域威胁并自主引导至目标投放点，成功完成投放瞄准任务，有效地提升了无人机投放引导机动控制的自主性。