基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

空战决策中的智能微分对策法

提出了空战决策中的一种新方法-智能微分对策法。该方法在整体战术制定中采用人工智能方法，在空战的各个子阶段的具体战术决策中采用微分对策方法。提出了智能微分对策点的定义，它在某些情况下利用人工智能预测对手的策略，将微分对策转化为两个独立的单边极值问题，从而拓宽了微分对策在空战中的应用范围，利用智能微分对策法建立了空战决策模型，并进行了空战仿真，仿真结果表明，该方法优于专家系统法。     

战斗机嵌入式训练系统中的智能虚拟陪练

智能化"实虚"对抗是现代先进战斗机嵌入式训练系统的重要功能需求。自主空战决策控制技术在未来空战装备发展中扮演关键角色。将当前的功能需求和发展中的技术结合起来,得到了空战智能虚拟陪练的概念。先进控制决策技术的引入使得智能虚拟陪练能够帮助飞行员完成复杂的战术训练,而训练中真实的对抗场景为技术的验证提供了理想的环境,大量的训练数据为技术的持续迭代优化提供了保障。作为可学习和进化的空战战术专家,智能陪练在人机对抗和自我对抗中不断优化,当其具备与人相当甚至超越人的战术能力时,可应用于未来的无人空战系统。智能虚拟陪练需要具备4项基本能力：智能决策能力、知识学习能力、对抗自优化能力和参数化表示能力。对其包含的关键技术进行了分析,提出并实现了一个基于模糊推理、神经网络和强化学习的解决方案,展示了其各项基本能力及目前达到的空战水平。未来更多的模型和算法可在智能虚拟陪练的框架中进行验证和优化。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

预警机指挥编队协同空战分层决策模型

分析了预警机指挥下的机群多编队协同空战过程,根据空战决策特点分别以编队和单机为研究对象,提出了分层决策模型,将预警机指挥下的空战决策分解为战役层决策和战术层决策。针对战役层决策,建立编队目标威胁评估和初始兵力分配模型;针对战术层决策,建立单机目标威胁评估和目标分配模型。通过算例分析,验证了决策模型的有效性和实用性。     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

空战机动决策集模型分析

空战机动决策集模型是自主空战机动决策技术的基础,直接影响着空战机动决策的效果。本文综述了应用最为广泛的两类典型空战机动决策集模型,分析了现有基本机动动作决策集模型和典型战术动作决策集模型的特点和不足,提出了机动决策模型的改进方法。     

基于神经网络和人工势场的协同博弈路径规划

协同博弈路径规划是空战自主决策、机器人体育比赛等应用场景中的重要问题，其难点在于对环境对抗性反馈的实时自适应和多智能体的相互配合。提出一种基于神经网络和人工势场的协同博弈路径规划方法，使用反向传播（BP）神经网络自适应调整人工势场函数系数，并将人工势场作为神经网络输出端的特征提取。为解决真实样本质量和数量不足的问题，基于遗传算法仿真生成样本数据用于神经网络训练，并通过滚动时域的思路面向动态博弈优化样本性能。从样本数据中提炼出距离差与航向差以反映协同和博弈特性，利用神经网络的黑盒特性和学习能力解决协同博弈问题。应用于二对一反隐身超视距空战路径规划，比经典人工势场法有明显性能提升，且计算开销可接受，计算复杂度分析表明该方法可以较好扩展到多机对抗场景。     

未来智能空战发展综述

随着装备战斗力生成模式逐渐向机械化、信息化、智能化"三化融合"发展演变,未来航空主战装备的定位、形态及运用将可能发生根本性变革。为应对新时期空战任务所面临的环境高复杂性、博弈强对抗性、响应高实时性、信息不完整性、边界不确定性等一系列挑战,交叉融合人工智能理论与空战对抗技术,研发智能空战系统,将有望在下一代无人制空装备谱系中构建不对称"智能代差",成为制胜未来空天战场的核心关键。本文完整梳理了智能空战研究的发展脉络,总结了以专家机动逻辑、自动规则生成、规则演进、机器学习等方法为代表的智能空战基础理论。从体系、应用及技术视角全面剖析了智能空战的发展趋势,以智能空战的不确定性、安全性、解释性、迁移性、协同性为切入点阐述了智能空战应用落地的若干问题,以期为未来智能空战技术研究勾勒出一条新的探索路径,为人工智能理论与航空科学技术的跨领域交叉融合提供新的发展思路。     

“一对一”空战中载机与目标的运动特性分析

从战术与技术相结合的角度,建立了“一对一”空战中交战双方的运动学方程,运用瞬时跨距的方法分析了载机与目标的相对运动,研究了目标在载机坐标系中的运动特性。文中的研究结果对歼击机“一对一”空战的战术选择有一定的指导意义。     

模拟两机格斗空战的矩阵博弈方法

本文介绍数值模拟计算两机空战格斗过程的一种矩阵博弈解法。首先在两机各自极限运动范围内选择一组基本战术动作,这些基本战术动作满足飞机在三维空间内运动的质点动力学方程。然后按选定的基本战术动作和性能指标,可以计算出一个赢得矩阵。最后根据二人有限零和矩阵博弈理论,直接求两机的最优纯策略。若无最优纯策略,两机空战格斗问题便化为一个线性规划问题,借助单形法数值求解这个线性规划问题,便可求出对双方均为最优的数值解。数值算例表明,本方法是数值模拟计算两机空战格斗过程的一种行之有效的方法。     

基于粗糙集理论的编队协同空战决策规则提取

为了对空战过程中大量的冗余信息进行约简，以提高空战决策的实时性，将粗糙集理论引入到编队协同空战战术决策研究中，提出了一种用于提取空战关键信息和战术决策规则的属性约简算法。并将单一决策属性下的属性值约简方法推广，讨论了更适于编队作战分析的多决策属性下的属性值约简问题。最后，通过一个编队空战战术选择示例对该算法进行了验证，结果表明：空战的冗余信息是可以约简的；此算法可提取出对空战起主要作用的属性，即雷达／中距弹信息；并且在保证空战关键分类结果不变的情况下，可生成用于战术决策的最小简化策略，所提取的决策规则与编队空战的实际相符合。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

机动性/敏捷性参数对超视距空战效能的影响

分析了超视距相关的机动性和敏捷性要求。根据已经建立的仿真平台,以两架典型三代战斗机为对抗双方,借助矩阵博弈的决策模型进行了一对一空战仿真。在此基础上,调整有关飞机机动性和敏捷性参数,利用所得作战结果评估飞机的作战效能,并分析了相关参数对作战飞机设计的影响。仿真结果再现了红蓝双方由超视距空战到视距内空战的整个作战过程,结果对飞机参数设计具有一定的参考意义。     

超视距空战过程分析

论述了超视距(BVR)空战的基本过程,根据作战任务将典型BVR空战划分为编队战术巡航飞行、进入攻击/拦截航线飞行、BVR攻击、BVR再次攻击/WVR(视距内)攻击四个阶段,并进一步分析了BVR空战的主要任务和关键问题,可为贴近战术需求的BVR空战关键技术研究提供参考.     

基于模糊聚类的近距空战决策过程重构与评估

目前大量研究集中在空战的智能决策和解决近距空战评估结果"是什么"的问题上,却极少关注评估结果的"为什么"。根据空战训练中记录的客观数据的变化特征,提出基于模糊聚类的方法来计算决策序列,构建模糊粗糙决策系统,以实现对近距空战决策过程的重构;通过计算分析条件属性之间的相对重要度,对具有相似重要度的决策对象序列进行二次聚类划分,分析出关键决策点集合。通过实例研究,从空战能量和相对方位2个方面对近距空战决策过程进行了评估分析。结果表明,从空战决策的角度可认为关键决策点集合是产生评估结果的原因。     

空战仿真中交互技术研究

对多机多目标超视距空战仿真中的交互技术进行了研究。针对信息交互问题,提出了直达交换技术和中继交换技术;对于交互同步问题,提出了即时同步技术和实时同步技术。提出了“网络实时交互仿真,结点独立战术分析”概念,使每位飞行员既能亲身参与完整的仿真过程,又能在仿真结束后,方便、独立地进行战术分析。最后,通过典型空战仿真实例的实现,验证了所提出的新概念和关键技术。     

扭转机动机理及其战术意义研究

对扭转机动及其在空战中的战术意义进行了研究,提出了空战中的几种战术战法,为工程技术人员和飞行人员提供参考与借鉴。     

基于博弈论的自由空战指挥引导对策问题研究

博弈论是解决空战对抗问题的有效方法之一,针对目前自由空战筹划困难、指挥引导对策单一的现状,在现有空战博弈问题研究的基础上,扩展了机动动作库和控制参数,加入了雷达开机时机这一关键决策,分别从静态博弈和动态博弈角度出发,提出了构建自由空战指挥引导对策模型的思路,为下一步指挥引导对策模型的研究奠定了基础.     

无人机空战仿真中基于机动动作库的决策模型

根据无人机空战仿真需要和专家系统原理,建立了一套基于机动动作库的快速响应自主空战机动决策系统模型;根据第三代战斗机空战中典型的机动动作,建立了相应的专家数据库;通过对驾驶员经验的分析,建立了专家知识库,并将整套决策模型应用于空战仿真中.仿真结果表明,应用该模型建立的空战仿真系统,可以使无人机根据实时战场环境,实现快速自主决策空战模拟飞行.