基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

无人机空战仿真中基于机动动作库的决策模型

根据无人机空战仿真需要和专家系统原理,建立了一套基于机动动作库的快速响应自主空战机动决策系统模型;根据第三代战斗机空战中典型的机动动作,建立了相应的专家数据库;通过对驾驶员经验的分析,建立了专家知识库,并将整套决策模型应用于空战仿真中.仿真结果表明,应用该模型建立的空战仿真系统,可以使无人机根据实时战场环境,实现快速自主决策空战模拟飞行.     

空战格斗飞行机动数据库建立及应用

空战格斗任务面临环境高复杂性、博弈强对抗性、响应高实时性、信息不完整性、边界不确定性等多项挑战。为此，已建立人类飞行员空战格斗飞行机动数据库ACED(Air Combat Engagement Database)，系统采集人类优秀飞行员空战格斗飞行机动数据。基于该数据库，首先分析了空战格斗飞行机动方程，提出应重点分析飞行员在空战任务中的滚转角及法向过载决策指令；研究确定了近距空战格斗任务中的人类飞行员飞行机动决策时间窗，并采用能量谱分析方法确定了飞行员在近距空战格斗飞行机动中的滚转角决策频率；针对采用航炮作为主武器的近距空战格斗任务，研究了近距空战格斗敌机轨迹预测算法。相关方法可有效预测航炮炮弹生命周期内的敌机未来轨迹，有力支撑了航炮自动火控算法的研发，助力在相关空战竞赛中取得优异成绩。本文系列应用示例验证了已建立的空战格斗飞行机动数据库的有效性。     

基于机动动作库的实时轨迹生成与仿真研究

论述了基于机动动作库的实时轨迹生成方法,根据环境和任务要求进行在线决策,选取机动动作库中合适的机动动作,最终实时生成无人机所需要的机动轨迹。仿真结果表明,这种方法具有实时性强、生成轨迹易于跟踪控制等优点。     

自主空战连续决策方法

未来空战正朝着无人化、自主化方向发展,自主空战决策方法是未来空战的重要支撑手段之一。传统空战决策方法由于维度限制,存在无法处理连续动作与远视决策的问题。基于Actor-Critic 方法提出空战连续决策的统一架构,依据空战训练经验对状态空间、动作空间、奖励及训练科目进行合理设计,测试多种连续动作空间强化学习算法在高不确定性空战场景下的学习效果并进行可视化验证。结果表明：基于本文提出的方法架构,可以实现连续动作下的远视价值寻优,智能体可以在复杂空战态势下做出最优决策,对随机机动飞行目标有较高的击杀率,且空战机动轨迹具有较高的合理性。     

超视距空战机动动作库设计及动作的可视化

在两类常见空战动作库的基础上设计了超视距空战机动动作库,以直接攻击为例对空战机动动作库中的机动动作进行了设计.运用OpenGL图形库,研究了模型的导入、数据驱动、视点漫游和数据读取技术,实现了超视距空战机动动作轨迹的三维显示.提高了动作库的通用性,可以方便直观地学习空战机动动作,为空战仿真模拟训练和提高作战效能奠定基础.     

基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

Monte-Carlo法仿真评估航空兵空战效能

通过对仿真原理的比较分析,得出Monte-Carlo法比数学解析法更适用于航空兵空战效能评估。按照航空兵空战效能的Monte-Carlo仿真评估过程,研究了红蓝方机初始位置与相对位置的确定方法,设计了对飞机进行飞行仿真与轨迹描述的建模思路与方法,建立了飞机空战战术机动动作库,进行了飞机搜索发现能力与射击效果的仿真并进行了仿真举例。     

基于能量获取的小型无人机飞行控制研究

探讨了小型无人机如何通过从大气扰动中获取能量来达到提高航程航时的目的.基于纵向质点模型建立了纵向运动学模型以及动力学模型,在此基础上得到飞行单位距离的能量改变量的函数,构造优化模型把能量获取问题转化为轨迹优化问题,并引入稳定平衡条件进行求解,同时进行控制律的设计,并在Matlab/Simulink中对模型以及控制律的有效性进行了仿真验证.     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

高空长航时太阳能无人机总体设计要点分析

高空长航时（HALE）太阳能无人机（UAV）的基本工作原理与常规动力飞机相比有显著的区别,体现在飞机总体设计方法上有其独到之处,方案设计中还需要对一些关键技术细节进行认真权衡。阐述了高空长航时太阳能无人机总体设计中遵循的重量不变和能量平衡原则的机理,同时从太阳能无人机巡航平飞功率需求、布局形式选取、飞行剖面优化和临近空间使用环境影响等方面出发,研究了太阳能无人机总体设计中的若干注意事项,主要结论可用于高空长航时太阳能无人机总体设计和方案优化。     

Flight safety measurements of UAVs in congested airspace

Describing spatial safety status is crucial for high-density air traffic involving multiple unmanned aerial vehicles (UAVs) in a complex environment. A probabilistic approach is proposed to measure safety situation in congested airspace. The occupancy distribution of the airspace is represented with conflict probability between spatial positions and UAV. The concept of a safety envelope related to flight performance and response time is presented first instead of the conventional fixed-size protected zones around aircraft. Consequently, the conflict probability is performance-dependent, and effects of various UAVs on safety can be distinguished. The uncer-tainty of a UAV future position is explicitly accounted for as Brownian motion. An analytic approximate algorithm for the conflict probability is developed to decrease the computational consumption. The relationship between safety and flight performance are discussed for different response times and prediction intervals. To illustrate the applications of the approach, an experi-ment of three UAVs in formation flight is performed. In addition, an example of trajectory planning is simulated for one UAV flying over airspace where five UAVs exist. The validation of the approach shows its potential in guaranteeing flight safety in highly dynamic environment.     

Energy-optimal trajectory planning for solar-powered aircraft using soft actor-critic

High-Altitude Long-Endurance (HALE) solar-powered Unmanned Aircraft Vehicles (UAVs) can utilize solar energy as power source and maintain extremely long cruise endurance, which has attracted extensive attentions from researchers. Trajectory optimization is a promising way to achieve superior flight time because of the finite solar energy absorbed in a day. In this work, a method of trajectory optimization and guidance for HALE solar-powered aircraft based on a Reinforcement Learning (RL) framework is introduced. According to flight and environment information, a neural network controller outputs commands of thrust, attack angle, and bank angle to realize an autonomous flight based on energy maximization. The validity of the proposed method was evaluated in a 5-km radius area in simulation, and results have shown that after one day-night cycle, the battery energy of the RL-controller was improved by 31% and 17% compared with those of a Steady-State (SS) strategy with a constant speed and a constant altitude and a kind of state-machine strategy, respectively. In addition, results of an uninterrupted flight test have shown that the endurance of the RL controller was longer than those of the control cases.     

复杂环境下多无人机轨迹姿态协同控制

考虑多无人机在实际飞行过程中的避障需求，在建立面向控制的四旋翼无人机轨迹姿态模型基础上，为克服传统多无人机为每架无人机规划轨迹的不足，研究了基于多无人机中心点的轨迹设计策略。进一步，考虑避障约束，基于半定规划进行迭代区域扩张完成了多无人机的安全飞行区域及队形设计。在此基础上，基于干扰补偿策略为每架无人机设计了协同控制器，最终确保了多无人机在多障碍环境下的安全飞行。     

多太阳能无人机覆盖路径优化方法

为解决传统电动无人机在覆盖作业时存在的续航时间短的问题,提出应用多架太阳能无人机进行覆盖作业。首先,在建立了应用于覆盖作业的太阳能无人机的能量模型的基础上,提出了能量流动效率这一指标来评价太阳能无人机在作业过程中对能量的利用率。其次,针对边界存在障碍物的凹多边形区域和内部含障碍物的多边形区域,以总作业完成时间最短为优化目标,提出基于无向图搜索方法的覆盖路径优化模型,定义约束方程限制无人机按照一定规则访问无向图中的节点,通过混合整数线性规划的方法求解每架无人机的最优飞行路径。再次,考虑无人机转弯时的姿态变化对能量流动效率的影响,将总作业完成时间最短和总能量流动效率最高同时作为优化目标,建立双目标优化方程,在首先以作业时间最短为优化目标进行求解的基础上,通过有限遍历的方式选择使能流效率和作业时间相对最优的覆盖飞行方向及飞行路径。大量仿真实验表明,所提的优化模型选取不同的优化目标,应用于不同形状的待覆盖区域,适用性广,在工程上应用范围广、可行性强。     

基于零空间方法的四旋翼无人机避障与协同编队控制

针对四旋翼无人机在编队飞行执行任务时可能遭遇障碍物问题,考虑多无人机避障及机间避撞的需求,提出 1种基于零空间方法的四旋翼无人机避障与协同编队控制算法。首先,建立四旋翼无人机动力学模型,并建立虚拟控制量简化控制模型;其次,基于零空间方法进行避障与协同编队控制算法研究,将无人机任务执行分解为目标趋向任务、避障避撞任务和协同编队任务,并根据优先级进行任务融合得到期望速度;再次,基于 PID方法设计控制律;最后,通过仿真验证所提控制算法的有效性。所提方法可保证四旋翼无人机在编队飞行中遭遇障碍物时的飞行安全。     

基于罚函数序列凸规划的多无人机轨迹规划

多无人机（UAVs）轨迹规划是具有非线性运动约束和非凸路径约束的最优控制问题。引入序列凸规划思想,将非凸最优控制问题近似为一系列凸优化子问题,并利用成熟的凸优化算法进行求解,以更好地权衡最优性和时效性。首先,建立了多无人机协同轨迹规划的非凸最优控制模型。然后,利用离散化和凸近似方法将其转换为凸优化问题,包括对无人机运动模型的线性化,以及对威胁规避约束和无人机碰撞约束的凸化。同时,提出了一种离散点间的威胁规避方法,保证无人机在离散轨迹点间的飞行安全。在凸优化模型的基础上,给出了基于罚函数序列凸规划求解多无人机轨迹规划的具体框架。最后,通过数值仿真验证了方法的有效性,结果表明该方法在多机轨迹规划结果的最优性和时效性都要优于伪谱法,而且优势随编队数量的增加而增大。     

无人机空中加油自主会合的制导与控制

针对无人机空中加油的自主会合问题,进行了相应制导律和非线性控制器的设计。通过改进的带角度约束的三维比例制导律实现对航向角的控制,以协调转弯的方式将航迹角指令转化为姿态角指令。基于无人机六自由度的动力学模型,针对无人机的姿态控制,采用时标分离的方法设计了慢子系统和快子系统,并对这两个子系统分别进行动态逆控制设计。同时,基于滑模控制的方法设计了满足自主会合要求的速度控制律。在保证无人机飞行稳定的基础上,实现了对控制和制导指令的精确跟踪。仿真结果表明,所设计的制导律和控制律能够实现无人机空中加油的自主会合,具有良好的动态特性。     

基于遥测数据的无人机气动参数辨识方法研究

针对无人机在高空低速飞行时易受风场影响及在数据分析时遥测数据不完备的问题,进行了气动参数辨识方法研究,提出了基于空速管平面矢量三角形的风场估计方法及基于风场信息修正的气动角估计方法。以某型无人机为例,对遥测数据进行了充分分析与信息综合,运用逐步回归方法进行了纵向气动参数辨识,并进行了实验验证。结果表明,模型计算结果与实测数据吻合较好,说明所提方法有效。考虑到辨识模型的数学本质,该方法对其他固定翼无人机同样适用。     

超长航时太阳能无人机关键技术综述

超长航时太阳能无人机（UAV）以其高效节能、原理上可实现无限巡航的特点受到广泛关注，而其独特的设计指标与任务特性也对各项关键技术提出了较高要求。多设计要素的高度耦合意味着不同于常规飞行器的总体设计方法，低密度、低速度的飞行条件使其具有明显的低雷诺数气动特性，柔性超大展弦比机翼带来了复杂的气动弹性问题，低翼载荷特性与较大的风场扰动增加了控制难度，极端的飞行环境与苛刻的任务指标对能源、动力系统带来了新挑战，飞行性能对能源系统的高度依赖开辟了飞行轨迹优化的研究方向。本文梳理了超长航时太阳能无人机关键技术的研究现状，在此基础上对各项技术中的难点问题进行了阐释，并对超长航时太阳能无人机未来发展趋势进行了展望。