基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

空战机动决策集模型分析

空战机动决策集模型是自主空战机动决策技术的基础,直接影响着空战机动决策的效果。本文综述了应用最为广泛的两类典型空战机动决策集模型,分析了现有基本机动动作决策集模型和典型战术动作决策集模型的特点和不足,提出了机动决策模型的改进方法。     

无人机空战仿真中基于机动动作库的决策模型

根据无人机空战仿真需要和专家系统原理,建立了一套基于机动动作库的快速响应自主空战机动决策系统模型;根据第三代战斗机空战中典型的机动动作,建立了相应的专家数据库;通过对驾驶员经验的分析,建立了专家知识库,并将整套决策模型应用于空战仿真中.仿真结果表明,应用该模型建立的空战仿真系统,可以使无人机根据实时战场环境,实现快速自主决策空战模拟飞行.     

基于Dodgson集结算法的多机协同空战机动决策方法

针对多机编队协同作战空战问题,研究了协同机动决策改进方法.基于Dodgson集结函数,设计了新的协同决策中的机群偏好集结环节,提出了一种基于Dodgson集结算法的多机自主协同空战机动决策方法.典型多机协同空战算例表明,该决策算法能在敌机不机动、初始态势占劣等多种条件下,产生合理有效的机动决策.     

基于启发式强化学习的空战机动智能决策

空战机动智能决策一直是研究热点,现有的空战机动决策主要采用优化理论和传统的人工智能算法,是在相对固定的环境下进行决策序列计算研究。但实际空战是动态变化的,且有很多不确定性因素。采用传统的理论方法进行求解,很难获取与实际情况相符的决策序列。提出了基于启发式强化学习的空战机动智能决策方法,在与外界环境动态交互的过程中,采用"试错"的方式计算相对较优的空战机动决策序列,并采用神经网络方法对强化学习的过程进行学习,积累知识,启发后续的搜索过程,很大程度上提高了搜索效率,实现空战决策过程中决策序列的实时动态迭代计算。最后仿真实验结果表明本文提出的算法所计算的决策序列与实际情况相符。     

自主空战机动决策方法综述

自主空战机动决策是基于数学优化、人工智能等方法,模拟飞行员空战决策,自动生成飞行控制指令的过程。它在空战仿真、飞行员辅助决策和无人战斗机自主飞行等领域广泛运用。根据求解思路的不同,综合论述了两类自主空战机动决策方法:针对基于对策的空战决策方法,阐述了从追逃对策到双目标对策的发展脉络和内在联系,并着重分析了两类重要的双目标对策模型——矩阵对策和影响图对策;针对基于人工智能的空战决策方法,系统论述了基于专家系统的机动决策、基于遗传学习系统的机动决策、基于人工免疫系统的机动决策和基于神经网络的机动决策,明确了各种决策的建模方法、适用条件、改进途径等问题。总结了各个空战机动决策方法的优点及不足,指出了自主空战机动决策的进一步研究思路。     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

超视距空战机动动作库设计及动作的可视化

在两类常见空战动作库的基础上设计了超视距空战机动动作库,以直接攻击为例对空战机动动作库中的机动动作进行了设计.运用OpenGL图形库,研究了模型的导入、数据驱动、视点漫游和数据读取技术,实现了超视距空战机动动作轨迹的三维显示.提高了动作库的通用性,可以方便直观地学习空战机动动作,为空战仿真模拟训练和提高作战效能奠定基础.     

非对称机动能力多无人机智能协同攻防对抗

协同攻防对抗是未来军用无人机的重要作战场景。针对不同机动能力无人机群体间的攻防对抗问题，建立了多无人机协同攻防演化模型，基于多智能体强化学习理论，研究了多无人机协同攻防的自主决策方法，提出了基于执行-评判（Actor-Critic）算法的集中式评判和分布式执行的算法结构，保证算法稳定收敛的同时，提升执行效率。无人机的评判模块使用全局信息评价决策优劣引导策略学习，而执行时只需要依赖局部感知信息进行自主决策，提高了多机攻防对抗的效能。仿真结果表明，所提的多无人机强化学习方法具备较强的自进化属性，赋予了无人机一定智能，即稳定的自主学习能力，通过不断演化，能自主学习提升协同对抗的决策效能。     

战斗机嵌入式训练系统中的智能虚拟陪练

智能化"实虚"对抗是现代先进战斗机嵌入式训练系统的重要功能需求。自主空战决策控制技术在未来空战装备发展中扮演关键角色。将当前的功能需求和发展中的技术结合起来,得到了空战智能虚拟陪练的概念。先进控制决策技术的引入使得智能虚拟陪练能够帮助飞行员完成复杂的战术训练,而训练中真实的对抗场景为技术的验证提供了理想的环境,大量的训练数据为技术的持续迭代优化提供了保障。作为可学习和进化的空战战术专家,智能陪练在人机对抗和自我对抗中不断优化,当其具备与人相当甚至超越人的战术能力时,可应用于未来的无人空战系统。智能虚拟陪练需要具备4项基本能力：智能决策能力、知识学习能力、对抗自优化能力和参数化表示能力。对其包含的关键技术进行了分析,提出并实现了一个基于模糊推理、神经网络和强化学习的解决方案,展示了其各项基本能力及目前达到的空战水平。未来更多的模型和算法可在智能虚拟陪练的框架中进行验证和优化。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习算法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证。结果表明：本文提出的空战格斗控制方法有效,能够为自主空战格斗进一步发展提供指导。     

基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。     

An online ensemble semi-supervised classification framework for air combat target maneuver recognition

Online target maneuver recognition is an important prerequisite for air combat situation recognition and maneuver decision-making. Conventional target maneuver recognition methods adopt mainly supervised learning methods and assume that many sample labels are available. However, in real-world applications, manual sample labeling is often time-consuming and laborious. In addition, airborne sensors collecting target maneuver trajectory information in data streams often cannot process information in real time. To solve these problems, in this paper, an air combat target maneuver recognition model based on an online ensemble semi-supervised classification framework based on online learning, ensemble learning, semi-supervised learning, and Tri-training algorithm, abbreviated as Online Ensemble Semi-supervised Classification Framework (OESCF), is proposed. The framework is divided into four parts: basic classifier offline training stage, online recognition model initialization stage, target maneuver online recognition stage, and online model update stage. Firstly, based on the improved Tri-training algorithm and the fusion decision filtering strategy combined with disagreement, basic classifiers are trained offline by making full use of labeled and unlabeled sample data. Secondly, the dynamic density clustering algorithm of the target maneuver is performed, statistical information of each cluster is calculated, and a set of micro-clusters is obtained to initialize the online recognition model. Thirdly, the ensemble K-Nearest Neighbor (KNN)-based learning method is used to recognize the incoming target maneuver trajectory instances. Finally, to further improve the accuracy and adaptability of the model under the condition of high dynamic air combat, the parameters of the model are updated online using error-driven representation learning, exponential decay function and basic classifier obtained in the offline training stage. The experimental results on several University of California Irvine (UCI) datasets and real air combat target maneuver trajectory data validate the effectiveness of the proposed method in comparison with other semi-supervised models and supervised models, and the results show that the proposed model achieves higher classification accuracy.     

基于模糊聚类的近距空战决策过程重构与评估

目前大量研究集中在空战的智能决策和解决近距空战评估结果"是什么"的问题上,却极少关注评估结果的"为什么"。根据空战训练中记录的客观数据的变化特征,提出基于模糊聚类的方法来计算决策序列,构建模糊粗糙决策系统,以实现对近距空战决策过程的重构;通过计算分析条件属性之间的相对重要度,对具有相似重要度的决策对象序列进行二次聚类划分,分析出关键决策点集合。通过实例研究,从空战能量和相对方位2个方面对近距空战决策过程进行了评估分析。结果表明,从空战决策的角度可认为关键决策点集合是产生评估结果的原因。     

Key Problems in Coordinated Air Combat andMulti-agent Reinforcement Learning

自从协同作战的概念提出后,各军事强国在协同空战领域均取得了重大进展,协同成为提升作战能力的倍增器。近数十年来,作为解决序列问题的现代智能方法,强化学习在各领域高速发展。然而,面对高维变量问题时,传统的单智能体强化学习往往表现不佳,多智能体强化学习算法为解决复杂多维问题提出新的可能。通过对多智能体强化学习算法原理、训练范式与协同空战的适应性进行分析,提出了协同空战与多智能体强化学习的未来发展方向,为更好地把多智能体强化学习应用于协同空战提供思路。     

基于STDP奖励调节的类脑面向目标导航

动物具有优秀的空间自主定位导航能力,能够实现在无先验环境信息下的导航定位和导航决策过程。针对智能体在连续空间中面向目标导航问题,研究了一种基于生物学放电时间依赖可塑性学习规则的智能体面向目标导航算法。首先分析了动物面向目标导航决策过程中的生理学机理,在此基础上,构建了基于脉冲神经网络的位置细胞和动作细胞模型。动作细胞间权值采用横向竞争模型更新,通过环境奖励信号的更新,采用放电时间依赖可塑性学习规则对位置细胞前馈动作细胞模型的突触权重进行权值调节,利用动作细胞群的脉冲放电现象表征智能体运动方向和速度。最后,对所提算法进行了仿真实验验证。仿真结果表明,所提出的类脑面向目标导航算法能够在单障碍环境中实现30 ms左右的规划速度,相比传统强化学习Q学习方法平均路径规划长度缩短了15.9%。     

协同多目标攻击空战决策及其神经网络实现

提出了一种超视距多目标空战决策方法——协同优先权算法。它能给出多机协同攻击多目标的目标配对。然后对２∶４空战,用３层Ｂ－Ｐ网络实现该算法,并用ＳＯＦＭ网络实现对目标的攻击排序。因它们具有很强的适应、容错能力和实时性,故这种实现将有助于复杂动态环境下飞行员的空战决策,以及提高航空武器系统的作战效能。仿真结果证实了上述思想的正确性。