基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

空战机动决策集模型分析

空战机动决策集模型是自主空战机动决策技术的基础,直接影响着空战机动决策的效果。本文综述了应用最为广泛的两类典型空战机动决策集模型,分析了现有基本机动动作决策集模型和典型战术动作决策集模型的特点和不足,提出了机动决策模型的改进方法。     

自主空战机动决策方法综述

自主空战机动决策是基于数学优化、人工智能等方法,模拟飞行员空战决策,自动生成飞行控制指令的过程。它在空战仿真、飞行员辅助决策和无人战斗机自主飞行等领域广泛运用。根据求解思路的不同,综合论述了两类自主空战机动决策方法:针对基于对策的空战决策方法,阐述了从追逃对策到双目标对策的发展脉络和内在联系,并着重分析了两类重要的双目标对策模型——矩阵对策和影响图对策;针对基于人工智能的空战决策方法,系统论述了基于专家系统的机动决策、基于遗传学习系统的机动决策、基于人工免疫系统的机动决策和基于神经网络的机动决策,明确了各种决策的建模方法、适用条件、改进途径等问题。总结了各个空战机动决策方法的优点及不足,指出了自主空战机动决策的进一步研究思路。     

空战仿真中机动控制模型研究

针对现代作战飞机方案评估和设计的要求,构建了现代空战仿真系统中计算机控制的飞机仿真基本框架。根据现代空战中典型机动动作对速度矢量的指向要求,从控制飞机速度矢量出发,建立了一类空战机动动作控制的基础模型,并对能反映飞机性能的限制环节进行了建模。仿真结果表明,利用该模型对飞机进行方案评估和性能指标设计是合理的,所建模型能够较好地仿真空战机动,体现飞机性能指标对空战机动的影响。     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

超视距空战机动动作库设计及动作的可视化

在两类常见空战动作库的基础上设计了超视距空战机动动作库,以直接攻击为例对空战机动动作库中的机动动作进行了设计.运用OpenGL图形库,研究了模型的导入、数据驱动、视点漫游和数据读取技术,实现了超视距空战机动动作轨迹的三维显示.提高了动作库的通用性,可以方便直观地学习空战机动动作,为空战仿真模拟训练和提高作战效能奠定基础.     

基于矩阵博弈的两机攻防对抗空战仿真

矩阵博弈法是空战决策的主要方法之一。考虑了7种基本机动动作,根据攻击和逃避两大基本原则,分别计算了空战双方的支付函数,建立了各自的支付矩阵,采用矩阵博弈方法对红蓝双方的空战进行了攻防对抗仿真。最后以两架F-16战斗机的空战为例进行了数值仿真验证。     

基于能量优化的无人机机动轨迹生成方法

基于能量优化的无人机机动能够使无人机在不失去决定性位置优势的情况下获取相对于对手的能量优势，足够的能量优势可转换为有效的位置优势，有利于无人机在空战中随时改出当前机动并投入下一机动动作，对于无人机获取空战胜利至关重要。开展了基于能量优化的无人机机动轨迹生成方法研究，通过在无人机机动飞行包线内设计合适的机动指令，使得无人机能量性能指标最优。以上升转弯机动为例进行了机动轨迹生成的详细设计，并与常规上升转弯机动轨迹生成结果进行对比，仿真结果显示所设计的机动动作完成时间缩短了28.6%~83.8%，总能量变化减少了64.7%~70.1%，实现了无人机机动飞行的能量优化。     

基于深度迁移强化学习的无人机投放自主引导机动控制算法

针对无人机精确投放引导问题，本文提出基于深度迁移强化学习的无人机投放自主引导机动控制算法，分别建立基于马尔可夫决策过程的引导机动决策模型、引导机动评估模型等，并设计基于迁移学习和课程学习的引导机动策略训练方法，拟合基于深度学习的引导机动策略和评估网络，最后开展仿真训练和验证试验。仿真结果表明，该算法实现了无人机在任意姿态和位置条件下，能够自主规避区域威胁并自主引导至目标投放点，成功完成投放瞄准任务，有效地提升了无人机投放引导机动控制的自主性。     

基于深度强化学习的无人机栖落机动控制策略设计

无人机栖落机动飞行是一种无需跑道的降落方法，能够提升无人机在复杂环境下执行任务的适应能力。针对具有高非线性、多约束特性的无人机栖落机动过程，提出了一种基于模仿深度强化学习的控制策略设计方法。首先，建立了固定翼无人机栖落机动的纵向非线性动力学模型，并设计了无人机栖落机动的强化学习环境。其次，针对栖落机动状态动作空间大的特点，为了提高探索效率，通过模仿专家经验的方法对系统进行预训练。然后，以模仿学习得到的权重为基础，采用近端策略优化方法学习构建无人机栖落机动的神经网络控制器。最后，通过仿真验证了上述控制策略设计方法的有效性。     

无人机机动轨迹跟踪系统设计

对无人机机动飞行轨迹跟踪系统的内环姿态控制律和外环轨迹跟踪控制律两部分分别进行了设计。利用非线性动态逆方法设计了内环姿态控制律。外环轨迹跟踪控制律采用逆动力学前馈加模糊反馈的控制结构,提高系统对飞行条件及期望轨迹剧烈变化时的跟踪精度。仿真结果表明,所设计的系统能够控制无人机精确跟踪指定的机动轨迹,且相对于固定增益系统具有更好的鲁棒性。     

基于非线性动态逆的无人机自动着陆控制系统

采用非线性动态逆(NDI)控制方法来解决无人机(UAV)自动着陆阶段的非线性控制问题。建立了无人机非线性数学模型,应用奇异摄动理论对飞机动态进行时标划分,研究快、慢状态子系统的控制器及机动产生器的设计,在无风情况下以及受到给定值风扰动情况下完成了系统自动着陆仿真验证。系统仿真结果表明该控制系统能够满足系统控制精度要求。     

多无人机编队队形保持优化控制仿真研究

采用多无人机编队保持队形的优化控制可以通过调节较少参数使各无人机能够精确跟踪领航无人机,达到稳定编队队形的目的。以简化的自动驾驶仪模型作为编队保持控制系统的内回路,基于以长机为参考的旋转坐标系建立相对运动学模型,采用全局渐近稳定控制方法设计了多无人机编队保持控制器。经过仿真验证,该控制器实现了长机在三维空间机动飞行时僚机能够迅速跟踪长机并保持编队队形的稳定,且响应速度和跟踪精度较为理想。仿真结果表明,该控制器能够实现多无人机编队队形在三维空间下的保持。     

无人机自动着陆中的机器视觉辅助技术

设计了一套辅助无人机自动着陆的机器视觉系统。该系统由机载硬件设备和用户开发软件共同组成,用以完成数字图像处理任务和无人机运动参数估计任务。系统传感器包括一个单目摄像机和机载惯性陀螺;数字图像处理使用的主要算法有图像的轮廓提取、角点检测和模版匹配。基于角点处各个方向上灰度差变化较大的特征,依据最小核值相似(SUSAN)算法和角点几何结构分析,提出一种改进的角点特征提取算法;根据任务开发的位置参数估计算法依据摄像机透视投影理论,运用摄像机成像标定方法导出了一种高精度的位置测量模型。通过计算机仿真表明,所提出的计算机视觉位置参数估计算法可以达到无人机着陆过程的精度要求。     

倾转三旋翼无人机纵向推力矢量控制研究

针对倾转三旋翼无人机纵向姿态控制问题开展研究,结合倾转三旋翼无人机构型的特殊性,提出了一种基于推力矢量控制的纵向姿态控制策略,同时基于新型的推力矢量控制方法设计了更高效的倾转三旋翼无人机操纵机制;采用牛顿-欧拉法对倾转三旋翼无人机进行动力学建模分析,通过对机翼采取分段分析的方法,设计了旋翼/机翼下洗载荷模型,并进行了仿真和实地飞行试验。试验结果表明,所提出的纵向姿态控制策略,能有效提高无人机飞行效率,具有更强的速度响应能力,提高了飞行过程中的可靠性和安全性。     

基于局域网的无人机实时通用仿真系统

讨论了一种面向对象的、独立于特定无人机的实时通用仿真系统的设计与实现。系统硬件平台采用了基于局域网的多机分布式体系结构。系统软件采用了基于windows平台的面向对象的设计语言。文中就模型解算、网络通信、通用无人机模型数据库及三维动画显示技术作了详细的论述。该系统现已成功用于某型无人机的实时仿真中。     

固定翼无人机航磁探测系统的磁补偿模型分析

近年来,无人机的应用日益广泛,逐渐用于航空物探。在使用固定翼无人机搭载磁力仪进行航磁测量时,必然引入飞行平台干扰,包括与机动无关的干扰和与机动有关的干扰。去除和飞机机动有关的磁干扰,即为磁补偿工作。航磁补偿的经典TOLLES-LAWSON模型将磁干扰分为剩余磁场、感应磁场和涡流磁场。对于固定翼无人机,涡流磁场可以不考虑,将剩余磁场和感应磁场合称为稳态干扰场。主要对飞机干扰的来源和性质进行分析,并在地面设计实验验证铁磁性材料的性质,以加深对磁补偿模型的假设和推导过程的理解。最后,在地面实验平台上测量了飞机磁干扰场的平面分布图,指导航空磁力仪的安装。在将TOLLES-LAWSON模型应用于固定翼无人机航磁探测系统的磁补偿工作时,无人机与有人机相比,在结构和材料方面都有较大差异,因此对模型的物理意义和假设条件的深入理解至关重要,此即本文所述工作成果的出发点。