无人机空战仿真中基于机动动作库的决策模型

根据无人机空战仿真需要和专家系统原理,建立了一套基于机动动作库的快速响应自主空战机动决策系统模型;根据第三代战斗机空战中典型的机动动作,建立了相应的专家数据库;通过对驾驶员经验的分析,建立了专家知识库,并将整套决策模型应用于空战仿真中.仿真结果表明,应用该模型建立的空战仿真系统,可以使无人机根据实时战场环境,实现快速自主决策空战模拟飞行.     

自主空战机动决策方法综述

自主空战机动决策是基于数学优化、人工智能等方法,模拟飞行员空战决策,自动生成飞行控制指令的过程。它在空战仿真、飞行员辅助决策和无人战斗机自主飞行等领域广泛运用。根据求解思路的不同,综合论述了两类自主空战机动决策方法:针对基于对策的空战决策方法,阐述了从追逃对策到双目标对策的发展脉络和内在联系,并着重分析了两类重要的双目标对策模型——矩阵对策和影响图对策;针对基于人工智能的空战决策方法,系统论述了基于专家系统的机动决策、基于遗传学习系统的机动决策、基于人工免疫系统的机动决策和基于神经网络的机动决策,明确了各种决策的建模方法、适用条件、改进途径等问题。总结了各个空战机动决策方法的优点及不足,指出了自主空战机动决策的进一步研究思路。     

空战机动动作库设计方式研究

具体阐述了两类常见空战动作库的设计 :典型战术动作库和基本操作动作库 ,详细分析了这两类空战机动动作库的不足 ,最后提出了改进动作库设计的具体意见和建议。     

基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

空战仿真中机动控制模型研究

针对现代作战飞机方案评估和设计的要求,构建了现代空战仿真系统中计算机控制的飞机仿真基本框架。根据现代空战中典型机动动作对速度矢量的指向要求,从控制飞机速度矢量出发,建立了一类空战机动动作控制的基础模型,并对能反映飞机性能的限制环节进行了建模。仿真结果表明,利用该模型对飞机进行方案评估和性能指标设计是合理的,所建模型能够较好地仿真空战机动,体现飞机性能指标对空战机动的影响。     

超视距空战机动动作库设计及动作的可视化

在两类常见空战动作库的基础上设计了超视距空战机动动作库,以直接攻击为例对空战机动动作库中的机动动作进行了设计.运用OpenGL图形库,研究了模型的导入、数据驱动、视点漫游和数据读取技术,实现了超视距空战机动动作轨迹的三维显示.提高了动作库的通用性,可以方便直观地学习空战机动动作,为空战仿真模拟训练和提高作战效能奠定基础.     

现代空战机动决策研究

将影响图和对策论引入到现代空战机动决策中,提出了考虑交战双方对抗的n步连续机动决策的多级影响网对策决策模型。首先,确定现代空战飞机相关数学和运动模型;其次,将大规模群集空战转化为多个小集团作战;在此基础上,依据协同的原则,又将小集团作战转化为多个一对一空战,然后运用多级影响图对策理论解决一对一空战。空战仿真结果表明该模型的有效性。     

基于变权重伪并行遗传算法的空战机动决策

针对空战机动决策中态势多样化对机动决策的影响以及控制量的细化问题,以敌我双机空战为背景,利用空战优势函数值作为空战机动决策的依据,基于滚动时域控制方法,采用变权重自适应伪并行遗传算法解决空战决策问题。重点分析了隐身优势函数以及变权重函数的建立、遗传编码方式、操作算子的确定,最后对空战决策进行了仿真。仿真结果验证了隐身优势函数的合理性,以及该理论在空战机动决策方面的有效性。     

基于矩阵博弈的两机攻防对抗空战仿真

矩阵博弈法是空战决策的主要方法之一。考虑了7种基本机动动作,根据攻击和逃避两大基本原则,分别计算了空战双方的支付函数,建立了各自的支付矩阵,采用矩阵博弈方法对红蓝双方的空战进行了攻防对抗仿真。最后以两架F-16战斗机的空战为例进行了数值仿真验证。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

基于Dodgson集结算法的多机协同空战机动决策方法

针对多机编队协同作战空战问题,研究了协同机动决策改进方法。基于Dodgson集结函数,设计了新的协同决策中的机群偏好集结环节,提出了一种基于Dodgson集结算法的多机自主协同空战机动决策方法。典型多机协同空战算例表明,该决策算法能在敌机不机动、初始态势占劣等多种条件下,产生合理有效的机动决策。     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

基于博弈论的自由空战指挥引导对策问题研究

博弈论是解决空战对抗问题的有效方法之一,针对目前自由空战筹划困难、指挥引导对策单一的现状,在现有空战博弈问题研究的基础上,扩展了机动动作库和控制参数,加入了雷达开机时机这一关键决策,分别从静态博弈和动态博弈角度出发,提出了构建自由空战指挥引导对策模型的思路,为下一步指挥引导对策模型的研究奠定了基础.     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

基于APF-DQN的空战机动决策方法

针对强化学习中奖励信号稀疏导致价值函数收敛慢的问题,提出结合人工势场(Artificial Potential Field, APF)法和深度Q学习网络(Deep Q-learning Network, DQN)的空战机动决策方法。描述了空战机动态势,建立了空战机动人工势场模型,设计了一阶APF奖励函数,构造了基于DQN的空战决策模型,提出了基于APF-DQN的空战机动决策方法,最后进行了仿真试验。仿真结果表明,所提方法能够解决奖励信号稀疏的问题,使我方战机能够很好地进行轨迹跟踪,占据有利态势。     

基于启发式强化学习的空战机动智能决策

空战机动智能决策一直是研究热点,现有的空战机动决策主要采用优化理论和传统的人工智能算法,是在相对固定的环境下进行决策序列计算研究。但实际空战是动态变化的,且有很多不确定性因素。采用传统的理论方法进行求解,很难获取与实际情况相符的决策序列。提出了基于启发式强化学习的空战机动智能决策方法,在与外界环境动态交互的过程中,采用"试错"的方式计算相对较优的空战机动决策序列,并采用神经网络方法对强化学习的过程进行学习,积累知识,启发后续的搜索过程,很大程度上提高了搜索效率,实现空战决策过程中决策序列的实时动态迭代计算。最后仿真实验结果表明本文提出的算法所计算的决策序列与实际情况相符。     

预警机指挥编队协同空战分层决策模型

分析了预警机指挥下的机群多编队协同空战过程,根据空战决策特点分别以编队和单机为研究对象,提出了分层决策模型,将预警机指挥下的空战决策分解为战役层决策和战术层决策。针对战役层决策,建立编队目标威胁评估和初始兵力分配模型;针对战术层决策,建立单机目标威胁评估和目标分配模型。通过算例分析,验证了决策模型的有效性和实用性。     

空战格斗飞行机动数据库建立及应用

空战格斗任务面临环境高复杂性、博弈强对抗性、响应高实时性、信息不完整性、边界不确定性等多项挑战。为此，已建立人类飞行员空战格斗飞行机动数据库ACED(Air Combat Engagement Database)，系统采集人类优秀飞行员空战格斗飞行机动数据。基于该数据库，首先分析了空战格斗飞行机动方程，提出应重点分析飞行员在空战任务中的滚转角及法向过载决策指令；研究确定了近距空战格斗任务中的人类飞行员飞行机动决策时间窗，并采用能量谱分析方法确定了飞行员在近距空战格斗飞行机动中的滚转角决策频率；针对采用航炮作为主武器的近距空战格斗任务，研究了近距空战格斗敌机轨迹预测算法。相关方法可有效预测航炮炮弹生命周期内的敌机未来轨迹，有力支撑了航炮自动火控算法的研发，助力在相关空战竞赛中取得优异成绩。本文系列应用示例验证了已建立的空战格斗飞行机动数据库的有效性。     

基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。