基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

基于APF-DQN的空战机动决策方法

针对强化学习中奖励信号稀疏导致价值函数收敛慢的问题,提出结合人工势场(Artificial Potential Field, APF)法和深度Q学习网络(Deep Q-learning Network, DQN)的空战机动决策方法。描述了空战机动态势,建立了空战机动人工势场模型,设计了一阶APF奖励函数,构造了基于DQN的空战决策模型,提出了基于APF-DQN的空战机动决策方法,最后进行了仿真试验。仿真结果表明,所提方法能够解决奖励信号稀疏的问题,使我方战机能够很好地进行轨迹跟踪,占据有利态势。     

基于自博弈深度强化学习的空战智能决策方法

空战是战争走向立体的重要环节,智能空战已经成为国内外军事领域的研究热点和重点,深度强化学习是实现空战智能化的重要技术途径。针对单智能体训练方法难以构建高水平空战对手问题,提出基于自博弈的空战智能体训练方法,搭建研究平台,根据飞行员领域知识合理设计观测、动作与奖励,通过“左右互搏”方式训练空战智能体至收敛,并通过仿真试验验证空战决策模型的有效性。研究结果表明通过自博弈训练,空战智能体战术水平逐步提升,最终对单智能体训练的决策模型构成70%以上胜率,并涌现类似人类“单/双环”战术的空战策略。     

基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

非对称机动能力多无人机智能协同攻防对抗

协同攻防对抗是未来军用无人机的重要作战场景。针对不同机动能力无人机群体间的攻防对抗问题，建立了多无人机协同攻防演化模型，基于多智能体强化学习理论，研究了多无人机协同攻防的自主决策方法，提出了基于执行-评判（Actor-Critic）算法的集中式评判和分布式执行的算法结构，保证算法稳定收敛的同时，提升执行效率。无人机的评判模块使用全局信息评价决策优劣引导策略学习，而执行时只需要依赖局部感知信息进行自主决策，提高了多机攻防对抗的效能。仿真结果表明，所提的多无人机强化学习方法具备较强的自进化属性，赋予了无人机一定智能，即稳定的自主学习能力，通过不断演化，能自主学习提升协同对抗的决策效能。     

基于DE-MADDPG的多无人机协同追捕策略

针对多无人机协同对抗快速目标的追逃博弈问题,研究了多无人机的协同追捕策略。基于解耦多智能体深度确定性策略梯度算法DE-MADDPG研究了多无人机协同对抗快速目标的追捕策略,设计了多无人机协同追捕的全局奖励和局部奖励两种奖励函数,训练后的多无人机能够有效地执行协同追捕任务。通过设置快速目标的多种逃逸控制策略,仿真验证了所设计的方法能够利用追捕无人机的数量优势,通过协作完成对快速目标的协同围捕,并且通过比较,验证本文所提出的算法相比MADDPG算法更快地取得了收敛效果。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习算法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证。结果表明：本文提出的空战格斗控制方法有效,能够为自主空战格斗进一步发展提供指导。     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

基于强化学习的多智能体系统目标围捕控制

针对多智能体系统目标围捕问题，提出了基于强化学习的目标围捕控制方法。首先，对多智能体系统进行马尔可夫博弈建模，设计能够控制系统到期望围捕状态并满足避障要求的势能函数，将模型控制与强化学习原理结合，利用势能模型引导的改进多智能体强化学习算法进行围捕。其次，在已有势能模型的基础上建立跟踪围捕和环航围捕2种围捕策略。前者通过设计速度势能函数实现多智能体一致跟踪。后者加入虚拟环航点，设计虚拟环航点势能函数实现期望环航。最终，仿真验证了多智能体强化学习围捕控制策略的有效性。     

基于启发式强化学习的空战机动智能决策

空战机动智能决策一直是研究热点,现有的空战机动决策主要采用优化理论和传统的人工智能算法,是在相对固定的环境下进行决策序列计算研究。但实际空战是动态变化的,且有很多不确定性因素。采用传统的理论方法进行求解,很难获取与实际情况相符的决策序列。提出了基于启发式强化学习的空战机动智能决策方法,在与外界环境动态交互的过程中,采用"试错"的方式计算相对较优的空战机动决策序列,并采用神经网络方法对强化学习的过程进行学习,积累知识,启发后续的搜索过程,很大程度上提高了搜索效率,实现空战决策过程中决策序列的实时动态迭代计算。最后仿真实验结果表明本文提出的算法所计算的决策序列与实际情况相符。     

基于STDP奖励调节的类脑面向目标导航

动物具有优秀的空间自主定位导航能力，能够实现在无先验环境信息下的导航定位和导航决策过程。针对智能体在连续空间中面向目标导航问题，研究了一种基于生物学放电时间依赖可塑性学习规则的智能体面向目标导航算法。首先分析了动物面向目标导航决策过程中的生理学机理，在此基础上，构建了基于脉冲神经网络的位置细胞和动作细胞模型。动作细胞间权值采用横向竞争模型更新，通过环境奖励信号的更新，采用放电时间依赖可塑性学习规则对位置细胞前馈动作细胞模型的突触权重进行权值调节，利用动作细胞群的脉冲放电现象表征智能体运动方向和速度。最后，对所提算法进行了仿真实验验证。仿真结果表明，所提出的类脑面向目标导航算法能够在单障碍环境中实现30 ms左右的规划速度，相比传统强化学习Q学习方法平均路径规划长度缩短了15.9%。     

基于模糊聚类的近距空战决策过程重构与评估

目前大量研究集中在空战的智能决策和解决近距空战评估结果"是什么"的问题上,却极少关注评估结果的"为什么"。根据空战训练中记录的客观数据的变化特征,提出基于模糊聚类的方法来计算决策序列,构建模糊粗糙决策系统,以实现对近距空战决策过程的重构;通过计算分析条件属性之间的相对重要度,对具有相似重要度的决策对象序列进行二次聚类划分,分析出关键决策点集合。通过实例研究,从空战能量和相对方位2个方面对近距空战决策过程进行了评估分析。结果表明,从空战决策的角度可认为关键决策点集合是产生评估结果的原因。     

基于群集智能的协同多目标攻击空战决策

为使各武器平台利用数据链（TADIL）交换和共享信息,自主协同计算实现多目标攻击决策,本文基于NASA/Ames研究中心提出的群集智能（COIN）理论,构建以作战单元为智能体（Agent）的协同多目标攻击决策模型,并通过定义Agent的贡献度扩展群集智能架构,用于解决分布式异构Agent造成的系统难以准确收敛问题。为提高收敛速度,减少求解过程中的盲目搜索和提高已形成解的收敛,研究加入了构造性启发和改进性启发两类启发方法。实验表明所提算法同传统算法相比,具有更好的稳定性和扩展性,减少了计算量,收敛速度也有一定的提高。     

基于多智能体强化学习的空间机械臂轨迹规划

针对某型六自由度（DOF）空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH （Denavit-Hartenberg）模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了"线下集中学习,线上分布执行"的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4 s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。     

基于Dodgson集结算法的多机协同空战机动决策方法

针对多机编队协同作战空战问题,研究了协同机动决策改进方法。基于Dodgson集结函数,设计了新的协同决策中的机群偏好集结环节,提出了一种基于Dodgson集结算法的多机自主协同空战机动决策方法。典型多机协同空战算例表明,该决策算法能在敌机不机动、初始态势占劣等多种条件下,产生合理有效的机动决策。     

空战格斗飞行机动数据库建立及应用

空战格斗任务面临环境高复杂性、博弈强对抗性、响应高实时性、信息不完整性、边界不确定性等多项挑战。为此，已建立人类飞行员空战格斗飞行机动数据库ACED(Air Combat Engagement Database)，系统采集人类优秀飞行员空战格斗飞行机动数据。基于该数据库，首先分析了空战格斗飞行机动方程，提出应重点分析飞行员在空战任务中的滚转角及法向过载决策指令；研究确定了近距空战格斗任务中的人类飞行员飞行机动决策时间窗，并采用能量谱分析方法确定了飞行员在近距空战格斗飞行机动中的滚转角决策频率；针对采用航炮作为主武器的近距空战格斗任务，研究了近距空战格斗敌机轨迹预测算法。相关方法可有效预测航炮炮弹生命周期内的敌机未来轨迹，有力支撑了航炮自动火控算法的研发，助力在相关空战竞赛中取得优异成绩。本文系列应用示例验证了已建立的空战格斗飞行机动数据库的有效性。     

空战决策中的智能微分对策法

提出了空战决策中的一种新方法-智能微分对策法。该方法在整体战术制定中采用人工智能方法，在空战的各个子阶段的具体战术决策中采用微分对策方法。提出了智能微分对策点的定义，它在某些情况下利用人工智能预测对手的策略，将微分对策转化为两个独立的单边极值问题，从而拓宽了微分对策在空战中的应用范围，利用智能微分对策法建立了空战决策模型，并进行了空战仿真，仿真结果表明，该方法优于专家系统法。     

无人机空战仿真中基于机动动作库的决策模型

根据无人机空战仿真需要和专家系统原理,建立了一套基于机动动作库的快速响应自主空战机动决策系统模型;根据第三代战斗机空战中典型的机动动作,建立了相应的专家数据库;通过对驾驶员经验的分析,建立了专家知识库,并将整套决策模型应用于空战仿真中.仿真结果表明,应用该模型建立的空战仿真系统,可以使无人机根据实时战场环境,实现快速自主决策空战模拟飞行.