基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

智能空战体系下无人协同作战发展现状及关键技术

在未来复杂的战场环境下，运用多架无人机在飞行空间内构成相互协作、优势互补及效能倍增的协同作战系统，是取得智能空战胜利的关键所在。首先阐述了无人系统的定义，并分析了其内涵和分类，指出智能化是无人系统未来的发展方向，根据自主完成任务的能力进行了分级。随后引出了典型的协同作战样式，阐述了国内外协同作战发展的现状。从协同态势感知技术、交互与信息作战云技术、智能决策技术、自主攻击技术、集群协同技术及学习与进化技术等分析了制约协同作战水准的关键技术。     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

Key Problems in Coordinated Air Combat andMulti-agent Reinforcement Learning

自从协同作战的概念提出后,各军事强国在协同空战领域均取得了重大进展,协同成为提升作战能力的倍增器。近数十年来,作为解决序列问题的现代智能方法,强化学习在各领域高速发展。然而,面对高维变量问题时,传统的单智能体强化学习往往表现不佳,多智能体强化学习算法为解决复杂多维问题提出新的可能。通过对多智能体强化学习算法原理、训练范式与协同空战的适应性进行分析,提出了协同空战与多智能体强化学习的未来发展方向,为更好地把多智能体强化学习应用于协同空战提供思路。     

基于Dodgson集结算法的多机协同空战机动决策方法

针对多机编队协同作战空战问题,研究了协同机动决策改进方法.基于Dodgson集结函数,设计了新的协同决策中的机群偏好集结环节,提出了一种基于Dodgson集结算法的多机自主协同空战机动决策方法.典型多机协同空战算例表明,该决策算法能在敌机不机动、初始态势占劣等多种条件下,产生合理有效的机动决策.     

基于粗糙集理论的编队协同空战决策规则提取

为了对空战过程中大量的冗余信息进行约简，以提高空战决策的实时性，将粗糙集理论引入到编队协同空战战术决策研究中，提出了一种用于提取空战关键信息和战术决策规则的属性约简算法。并将单一决策属性下的属性值约简方法推广，讨论了更适于编队作战分析的多决策属性下的属性值约简问题。最后，通过一个编队空战战术选择示例对该算法进行了验证，结果表明：空战的冗余信息是可以约简的；此算法可提取出对空战起主要作用的属性，即雷达／中距弹信息；并且在保证空战关键分类结果不变的情况下，可生成用于战术决策的最小简化策略，所提取的决策规则与编队空战的实际相符合。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

非对称机动能力多无人机智能协同攻防对抗

协同攻防对抗是未来军用无人机的重要作战场景。针对不同机动能力无人机群体间的攻防对抗问题，建立了多无人机协同攻防演化模型，基于多智能体强化学习理论，研究了多无人机协同攻防的自主决策方法，提出了基于执行-评判（Actor-Critic）算法的集中式评判和分布式执行的算法结构，保证算法稳定收敛的同时，提升执行效率。无人机的评判模块使用全局信息评价决策优劣引导策略学习，而执行时只需要依赖局部感知信息进行自主决策，提高了多机攻防对抗的效能。仿真结果表明，所提的多无人机强化学习方法具备较强的自进化属性，赋予了无人机一定智能，即稳定的自主学习能力，通过不断演化，能自主学习提升协同对抗的决策效能。     

基于启发式自适应离散差分进化算法的多UCAV协同干扰空战决策

 研究了多无人作战飞机(UCAV)协同干扰空战决策(MUCJAD)问题,在干扰效能评估指标量化方法的基础上为该问题建立了优化模型。为有效求解该模型,提出一种启发式自适应离散差分进化(H-SDDE)算法。在H-SDDE算法中,设计了包含4种候选解产生策略的候选策略池,引入了候选解产生策略及其参数的自适应学习过程。此外,结合实际问题为算法设计了基于威胁度的扩展型整数编码方案、基于威胁度的启发式个体调整操作、基于约束满足的个体修复操作。在12个测试实例上进行了仿真验证,结果表明,H-SDDE算法与其他同类算法相比在求解质量和求解速度上具有明显优势,能够更好地发挥多UCAV协同干扰整体效果。     

多机空战指挥引导不平衡目标分配方法研究

目前,存在多机空战指挥引导不平衡目标分配模型少的问题,提出一种新的多机空战不平衡目标分配方法。结合空战理论与实际,在现有模型的基础上,利用最优控制理论,建立多机空战指挥引导目标分配模型;介绍匈牙利算法和进化匈牙利算法的基本思想和流程,在此基础上将匈牙利算法和进化匈牙利算法相结合来寻求最优方案,并进行仿真分析。结果表明:该方法具有较好的时效性和可靠性,能满足多维条件下的目标分配处理,满足实战需求,为解决多机空战指挥引导不平衡目标分配问题拓展了研究思路。     

基于模糊聚类的近距空战决策过程重构与评估

目前大量研究集中在空战的智能决策和解决近距空战评估结果"是什么"的问题上,却极少关注评估结果的"为什么"。根据空战训练中记录的客观数据的变化特征,提出基于模糊聚类的方法来计算决策序列,构建模糊粗糙决策系统,以实现对近距空战决策过程的重构;通过计算分析条件属性之间的相对重要度,对具有相似重要度的决策对象序列进行二次聚类划分,分析出关键决策点集合。通过实例研究,从空战能量和相对方位2个方面对近距空战决策过程进行了评估分析。结果表明,从空战决策的角度可认为关键决策点集合是产生评估结果的原因。     

基于PCA-MPSO-ELM的空战目标威胁评估

目标威胁评估是空战对抗过程中的关键环节。由于影响空战目标威胁评估的因素复杂多样，且指标之间存在相关性，导致传统的评估算法无法得到准确客观的评估结果。由此，提出了一种基于主成分分析法和改进粒子群算法优化的极限学习机（PCA-MPSO-ELM）的目标威胁评估算法。首先，综合分析了影响目标威胁程度的指标，利用主成分分析法对原始评估指标进行线性变化处理得到综合变量，消除了评估指标之间的相关性，实现了对评估数据的降维；在此基础上，构建ELM神经网络并利用改进的粒子群算法优化极限学习机的输入权值和阈值，提高了目标威胁评估模型的精度。最后，在空战训练测量仪中选取空战对抗数据，利用威胁指数法构造了目标威胁评估样本数据，通过仿真实验分析了PCA-MPSO-ELM算法的精度和实时性，结果表明所提算法可以快速准确地进行空战目标威胁评估。     

基于群集智能的协同多目标攻击空战决策

为使各武器平台利用数据链（TADIL）交换和共享信息,自主协同计算实现多目标攻击决策,本文基于NASA/Ames研究中心提出的群集智能（COIN）理论,构建以作战单元为智能体（Agent）的协同多目标攻击决策模型,并通过定义Agent的贡献度扩展群集智能架构,用于解决分布式异构Agent造成的系统难以准确收敛问题。为提高收敛速度,减少求解过程中的盲目搜索和提高已形成解的收敛,研究加入了构造性启发和改进性启发两类启发方法。实验表明所提算法同传统算法相比,具有更好的稳定性和扩展性,减少了计算量,收敛速度也有一定的提高。     

影响图决策方法在编队协同空战中的应用

针对空战环境下出现的大量不确定信息,将影响图决策方法和多Agent系统理论引入到编队协同空战决策研究中,把编队看成一个多Agent系统,编队中的长机和僚机都看成是Agent,利用影响图对多Agent系统进行建模,实现了编队中长机、僚机在不确定空战环境下做出结果最佳的决策。仿真结果表明了决策的有效性。     

空战机动动作库设计方式研究

具体阐述了两类常见空战动作库的设计 :典型战术动作库和基本操作动作库 ,详细分析了这两类空战机动动作库的不足 ,最后提出了改进动作库设计的具体意见和建议。