基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

基于近端策略优化的空战决策算法研究

面对未来有/无人机协同作战场景,实时准确的空战决策是制胜的关键。复杂的空中环境、瞬变的态势数据以及多重繁琐的作战任务,使有/无人机协同作战将替代单机作战成为未来空战的发展趋势,但多智能体建模和训练过程却面临奖励分配困难、网络难收敛的问题。针对5v5 有/无人机协同的空战场景,抽象出有人机和无人机智能体的特征模型,提出基于近端策略优化算法的空战智能决策算法,通过设置态势评估奖励引导空战过程中有/无人机智能体的决策行为向有利态势发展,实现在与环境的实时交互中,输出空战决策序列。通过仿真实验对所提空战决策算法进行验证,结果表明：本文提出的算法在经过训练学习后,能够适应复杂的战场态势,在连续动作空间中得到稳定合理的决策策略。     

基于自博弈深度强化学习的空战智能决策方法

空战是战争走向立体的重要环节,智能空战已经成为国内外军事领域的研究热点和重点,深度强化学习是实现空战智能化的重要技术途径。针对单智能体训练方法难以构建高水平空战对手问题,提出基于自博弈的空战智能体训练方法,搭建研究平台,根据飞行员领域知识合理设计观测、动作与奖励,通过“左右互搏”方式训练空战智能体至收敛,并通过仿真试验验证空战决策模型的有效性。研究结果表明通过自博弈训练,空战智能体战术水平逐步提升,最终对单智能体训练的决策模型构成70%以上胜率,并涌现类似人类“单/双环”战术的空战策略。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

基于粗糙集理论的编队协同空战决策规则提取

为了对空战过程中大量的冗余信息进行约简，以提高空战决策的实时性，将粗糙集理论引入到编队协同空战战术决策研究中，提出了一种用于提取空战关键信息和战术决策规则的属性约简算法。并将单一决策属性下的属性值约简方法推广，讨论了更适于编队作战分析的多决策属性下的属性值约简问题。最后，通过一个编队空战战术选择示例对该算法进行了验证，结果表明：空战的冗余信息是可以约简的；此算法可提取出对空战起主要作用的属性，即雷达／中距弹信息；并且在保证空战关键分类结果不变的情况下，可生成用于战术决策的最小简化策略，所提取的决策规则与编队空战的实际相符合。     

先进战斗机效能分析研究

OODA理论是对抗决策领域中著名的军事理论,在作战样式和作战过程模拟中,有广泛而深入的应用。本文通过建立空战过程的OODA模型和空战优势判据集,结合计算机模拟等手段,得出满足特定优势等级的先进战斗机能力需求。设定先进战斗机不同的初始条件（携导弹射程,隐身能力等）,可以得出不同参数对飞机能力需求的敏感度影响。     

基于智能微分对策的自主机动决策方法研究

提出了一种基于智能微分对策的自主机动决策系统.该系统通过预测对抗双方的未来运动状态,将双边极值问题转化为单边极值问题,以降低计算复杂程度,满足机动决策的实时性要求.为体现对抗特性,采用战术过程评价获得最优机动,战术过程评价采用逐级淘汰方法.仿真结果表明,对抗双方未来运动状态预测误差能满足机动决策的需求,机动决策结果能有效提高作战性能.     

基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

人工智能在OODA 循环中的应用

当前人工智能(AI) 是商业和工业，甚至军事应用领域中最热门的流行语。军事国防领域也已经将人 工智能发展成为了一种技术，并应用到军事作战和决策系统中。最初OODA 循环是最知名的空战战术模型， 后来发展成为各国空军的作战方法。OODA 循环对于任务的定义和决策过程的理解起到了重要的作用。本文主 要研究了人工智能在OODA 循环决策中的应用。讨论了未来OODA 循环各阶段中所需的AI 作用和技术，包 括可解释的人工智能和基于学习的人工智能。     

空战决策中的智能微分对策法

提出了空战决策中的一种新方法-智能微分对策法。该方法在整体战术制定中采用人工智能方法，在空战的各个子阶段的具体战术决策中采用微分对策方法。提出了智能微分对策点的定义，它在某些情况下利用人工智能预测对手的策略，将微分对策转化为两个独立的单边极值问题，从而拓宽了微分对策在空战中的应用范围，利用智能微分对策法建立了空战决策模型，并进行了空战仿真，仿真结果表明，该方法优于专家系统法。     

Key Problems in Coordinated Air Combat andMulti-agent Reinforcement Learning

自从协同作战的概念提出后,各军事强国在协同空战领域均取得了重大进展,协同成为提升作战能力的倍增器。近数十年来,作为解决序列问题的现代智能方法,强化学习在各领域高速发展。然而,面对高维变量问题时,传统的单智能体强化学习往往表现不佳,多智能体强化学习算法为解决复杂多维问题提出新的可能。通过对多智能体强化学习算法原理、训练范式与协同空战的适应性进行分析,提出了协同空战与多智能体强化学习的未来发展方向,为更好地把多智能体强化学习应用于协同空战提供思路。     

自主空战机动决策方法综述

自主空战机动决策是基于数学优化、人工智能等方法,模拟飞行员空战决策,自动生成飞行控制指令的过程。它在空战仿真、飞行员辅助决策和无人战斗机自主飞行等领域广泛运用。根据求解思路的不同,综合论述了两类自主空战机动决策方法:针对基于对策的空战决策方法,阐述了从追逃对策到双目标对策的发展脉络和内在联系,并着重分析了两类重要的双目标对策模型——矩阵对策和影响图对策;针对基于人工智能的空战决策方法,系统论述了基于专家系统的机动决策、基于遗传学习系统的机动决策、基于人工免疫系统的机动决策和基于神经网络的机动决策,明确了各种决策的建模方法、适用条件、改进途径等问题。总结了各个空战机动决策方法的优点及不足,指出了自主空战机动决策的进一步研究思路。     

未来智能空战发展综述

随着装备战斗力生成模式逐渐向机械化、信息化、智能化"三化融合"发展演变,未来航空主战装备的定位、形态及运用将可能发生根本性变革。为应对新时期空战任务所面临的环境高复杂性、博弈强对抗性、响应高实时性、信息不完整性、边界不确定性等一系列挑战,交叉融合人工智能理论与空战对抗技术,研发智能空战系统,将有望在下一代无人制空装备谱系中构建不对称"智能代差",成为制胜未来空天战场的核心关键。本文完整梳理了智能空战研究的发展脉络,总结了以专家机动逻辑、自动规则生成、规则演进、机器学习等方法为代表的智能空战基础理论。从体系、应用及技术视角全面剖析了智能空战的发展趋势,以智能空战的不确定性、安全性、解释性、迁移性、协同性为切入点阐述了智能空战应用落地的若干问题,以期为未来智能空战技术研究勾勒出一条新的探索路径,为人工智能理论与航空科学技术的跨领域交叉融合提供新的发展思路。     

舰载机飞行控制模拟训练平台搭建研究

根据我国海军当前的发展需求,针对舰载机飞行员及相关技术保障人员匮乏这一问题,设计搭建一套 舰载机飞行控制模拟训练平台。阐述搭建该训练平台的核心目的及其基本功能,结合飞行控制系统和电传控 制的基本原理,介绍平台的具体组成结构以及各个组成装置的原理及功能。实际应用表明:该飞行控制模拟训 练平台可用于飞行控制专业的相关原理教学和模拟操作训练,达到服务教学训练、促进科学研究、保障部队实 战的要求。     

E-CATS: First time demonstration of embedded training in a combat aircraft

Air Forces are facing difficulties in training pilots effectively for their missions. Due to a reduction of defense budgets, fewer resources can be made available for training. In addition, airspace available for training is limited, especially in Europe, and this is aggravated by the increase in the range of advanced weapon systems. Moreover, only few Surface-to-Air Missile (SAM) sites are available for suitable training.Embedded Training (ET) is considered to be a potential solution for these problems. ET for fighter aircraft is a capability installed in an operational fighter to train the pilot while operating the aircraft in a situation it was designed for, but which is not available in everyday life. Thereto, the ET capability generates simulated threats and feeds them into the various avionics systems of the aircraft. This allows pilots to train against a virtual force, or a virtually augmented real force. Benefits of employing ET include cost reduction (fewer real aircraft are needed to act as enemy), use of smaller training airspace (simulated threats may move outside this space), and the potential to train anywhere, at any time.NLR, Dutch Space, and the Royal Netherlands Air Force (RNLAF) have jointly developed an ET system to demonstrate the feasibility of current technology for implementing an ET capability in fighter aircraft. The system, installed in an RNLAF F-16B, supports training for ground-to-air and (one-versus-two) air-to-air engagements. It consists of two units; one unit executes the ET simulations and provides most of the required interfaces with aircraft systems, while the other unit is dedicated to interfacing with the radar processing chain.The system was evaluated by demonstrating it to a group of pilots and engineers and collecting their expert opinions. It was concluded that embedded training has considerable value for a variety of training objectives related to Beyond Visual Range tactics, and it is expected that embedded training will play an important role in the future mission training of fighter-aircraft pilots.     

飞机战伤抢修评估与设计方法综述

飞机战伤抢修（ABDR）是提高飞机生存力与作战能力的重要手段之一，开展战伤抢修技术研究覆盖飞机全寿命阶段。回顾了战伤抢修研究的历史和现状，分别从战伤评估、战伤抢修设计、战场维修与保障等3方面总结了战伤抢修体系要点，重点综述了战伤抢修预评估技术、战伤现场评估技术、战伤抢修设计准则与原则、战伤抢修设计与评价方法、战场快速维修技术、战场保障方法等方面的理论与研究进展。在此基础上，针对未来体系对抗与智能化作战环境，结合目前战伤抢修需求，提出了包括先进材料结构飞机战伤抢修技术、直升机战伤抢修技术、飞机战伤评估智能技术等战伤抢修技术研究需要关注和解决的问题。     

航母舰载机装备体系及指标论证方法

针对航母舰载机装备体系及指标论证的强体系和强舰载约束特征,以及多机种一体化保障要求高等特点,提出了基于模糊关系变换理论的体系论证方法,建立各型舰载机装备需求与任务需求之间的关系,结合航母编队作战使用特点以及航母甲板/机库空间尺寸约束进行迭代优化,构建舰载机体系结构和典型配置方案。同时,提出了基于舰载机作业流程仿真和舰载约束条件下的指标论证与优化方法,凸显编队体系作战、舰机适配性、海洋环境适应等特殊约束要素,形成系统科学的舰载机战术技术指标体系。在此基础上,构建了面向专家群决策的论证支持系统,并介绍了该系统的基本框架和运用流程。