非对称机动能力多无人机智能协同攻防对抗

协同攻防对抗是未来军用无人机的重要作战场景。针对不同机动能力无人机群体间的攻防对抗问题，建立了多无人机协同攻防演化模型，基于多智能体强化学习理论，研究了多无人机协同攻防的自主决策方法，提出了基于执行-评判（Actor-Critic）算法的集中式评判和分布式执行的算法结构，保证算法稳定收敛的同时，提升执行效率。无人机的评判模块使用全局信息评价决策优劣引导策略学习，而执行时只需要依赖局部感知信息进行自主决策，提高了多机攻防对抗的效能。仿真结果表明，所提的多无人机强化学习方法具备较强的自进化属性，赋予了无人机一定智能，即稳定的自主学习能力，通过不断演化，能自主学习提升协同对抗的决策效能。     

基于DDPG的多旋翼无人机自主引导与跟踪方法

针对多旋翼无人机对地面动态目标的近距离侦察问题,根据无人机与目标的相对距离将侦察任务拆分为引导阶段及跟踪阶段两部分,并针对引导阶段和跟踪阶段不同的任务需求,分别建立了自主引导模型与自主跟踪模型;其次,基于深度确定性策略梯度(DDPG)算法,对提出的两个模型分别进行网络设计和参数优化,分别得到上述两个阶段的控制策略;最后,搭建基于机器人操作系统(ROS)的仿真测试平台,实现基于深度强化学习的无人机侦察任务的训练和数据收集,并进行了性能测试。仿真结果表明,所提出的无人机自主引导与跟踪方法能够满足侦察任务两阶段的不同需求,自主完成对地面动态目标近距离侦察的全过程任务。     

基于深度强化学习的空战机动决策试验

空战智能决策将极大改变未来战争的形态与模式。深度强化学习决策机可以挖掘飞行器潜力，是实现空战智能决策的重要技术范式，但其工程实现鲜有报道。针对基于深度强化学习的双机近距空战机动智能决策的工程实现问题，开发了适于应用的深度神经网络在线机动决策模型，发展了通过飞行控制律跟踪航迹导引决策指令的机动控制方案，并进一步开展了软硬件实现工作与人机对抗飞行试验，实现了智能空战从虚拟仿真到真实飞行的迁移。研究结果表明基于本文发展的近距空战机动决策及控制方法，智能无人机在与人类“飞行员”的对抗中能够迅速做出有利于己方的动作决策，通过机动快速占据态势优势。研究结果显示了深度神经网络智能决策技术在空战决策中的潜在应用价值。     

基于深度强化学习的无人机栖落机动控制策略设计

无人机栖落机动飞行是一种无需跑道的降落方法,能够提升无人机在复杂环境下执行任务的适应能力。针对具有高非线性、多约束特性的无人机栖落机动过程,提出了一种基于模仿深度强化学习的控制策略设计方法。首先,建立了固定翼无人机栖落机动的纵向非线性动力学模型,并设计了无人机栖落机动的强化学习环境。其次,针对栖落机动状态动作空间大的特点,为了提高探索效率,通过模仿专家经验的方法对系统进行预训练。然后,以模仿学习得到的权重为基础,采用近端策略优化方法学习构建无人机栖落机动的神经网络控制器。最后,通过仿真验证了上述控制策略设计方法的有效性。     

基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

无人机自主防碰撞方法研究

针对涉及无人机安全的防碰撞问题,提出基于最优化理论的自主防碰撞方法.通过对无人机自主防碰撞过程的定性分析,建立了无人机自主防碰撞系统;然后分析了应用于该系统中不同阶段的防碰撞方法,并基于最优化理论提出了三维、动态碰撞预测与防碰撞方法,最后将规避策略转化为无人机机动控制指令实现规避.仿真结果验证了方法的有效性.     

基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。     

无人机空战仿真中基于机动动作库的决策模型

根据无人机空战仿真需要和专家系统原理,建立了一套基于机动动作库的快速响应自主空战机动决策系统模型;根据第三代战斗机空战中典型的机动动作,建立了相应的专家数据库;通过对驾驶员经验的分析,建立了专家知识库,并将整套决策模型应用于空战仿真中.仿真结果表明,应用该模型建立的空战仿真系统,可以使无人机根据实时战场环境,实现快速自主决策空战模拟飞行.     

基于强化学习的无人机空战机动决策

针对一对一空战中无人机机动决策问题,提出了一种基于强化学习的无人机空战机动决策方法。在强化学习的框架下,分析表征空战态势的各主要因素,建立空战优势函数并以此作为强化学习回报值的基础;设计空战机动决策的动态模糊Q学习模型,对空战机动决策的状态空间进行模糊化作为强化学习的状态输入;选取典型空战动作作为强化学习基本行动,通过各模糊规则的触发强度加权求和实现连续行动空间的覆盖。相对于传统方法,本方法具有更强的鲁棒性和自主寻优性,在不断的仿真和学习中无人机所做的决策水平能够不断提高。     

基于能量优化的无人机机动轨迹生成方法

基于能量优化的无人机机动能够使无人机在不失去决定性位置优势的情况下获取相对于对手的能量优势，足够的能量优势可转换为有效的位置优势，有利于无人机在空战中随时改出当前机动并投入下一机动动作，对于无人机获取空战胜利至关重要。开展了基于能量优化的无人机机动轨迹生成方法研究，通过在无人机机动飞行包线内设计合适的机动指令，使得无人机能量性能指标最优。以上升转弯机动为例进行了机动轨迹生成的详细设计，并与常规上升转弯机动轨迹生成结果进行对比，仿真结果显示所设计的机动动作完成时间缩短了28.6%~83.8%，总能量变化减少了64.7%~70.1%，实现了无人机机动飞行的能量优化。     

有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

面向林火持续侦察的多无人机分布式控制方法

为解决目前面向林火持续侦察多无人机（UAV）协同控制实用性与自主性不足的问题，基于蔓延速度诱导元胞自动机（SVICA）林火蔓延算法、无人机与传感器建模，构建了较为真实的三维多无人机火场侦察仿真环境与侦察效能指标，提出了一种面向林火持续侦察的多无人机双层分布式控制架构，在行动层基于强化学习训练的人工神经网络（ANN），实现了有风条件下无人机自主火场环绕与地形跟随功能，在策略层设计通过时域均匀分布算法进行各无人机空速的离散自主调节，最终达到多无人机林火持续侦察时域分布的均匀性与即时性目的。通过一系列数值仿真实验，验证了所提出的无人机分布控制策略在无人机损失和补充突发情况下的自适应性。基于无人机数量与侦察效能指标关系的实验与研究，定义了无人机出动阈值并验证了无人机长时间出动回收策略。最终实验结果表明，针对林火持续侦察任务，所提出的多无人机分布式控制方法具备一定的有效性与实用性。     

无人机自主降落标识检测方法若干研究进展

为了进一步促进中国海/陆空跨域协同技术的研究和发展,综述了无人机自主降落标识检测方法的国内外最新研究成果。首先,在分析视觉引导无人机自主降落流程的基础上,简要总结了常用的基于图像分割、基于分类器和基于深度学习的标识检测方法。然后,介绍了无人机自主降落于静平台和车辆、舰艇等动平台的国内外若干研究团队及成果,并对团队采用的降落标识及检测方法进行了梳理。最后,围绕动平台及复杂环境下的标识检测和相关软件算法、硬件设备、多传感器融合等讨论了当前存在的难点和可行的解决方案,对未来克服人工标识依赖性,采用深度学习思想进行非合作环境下的安全区域检测方法进行了展望。     

某小型无人机控制律设计

切换控制律结构和参数是工程中常用的用来解决无人机非线性控制问题的方法。然而,传统切换方法极其依赖于设计者的工程经验。为此,结合某空中投放无人机的控制需求,作者设计了姿态拉起控制律和空中巡航控制律,并将模糊聚类划分与调度理论引入到控制律设计过程。本文首先针对样例无人机垂直投放的情况,设计基于角速率的拉起控制律。然后,应用GK(Gustafson-Kessel)模糊聚类划分算法计算全包线典型线性模型,对典型模型运用根轨迹的方法设计巡航控制律,在配平附近区域获得较好的控制品质,并结合划分得到的隶属度函数设计基于TS(Takagi-Sugeno)模糊模型的增益调度机制,在包线范围内根据飞行状态调节控制律参数。最后,进行了仿真验证。     

基于目标态势评估的无人机系统自主决策技术研究

针对无人机系统自主决策功能和能力进行了深入的研究,整理分析了实现自主决策功能所需的输入、输出数据,深入研究并以软件实现了一种基于目标态势评估的自主决策算法,并进行了编队作战仿真试验,获得了有效的仿真试验结果,为提升无人机系统自主能力提供了技术支持。     

未知区域无人机协同搜索方法及效率分析

随着无人机技术的广泛使用,利用多架次无人机集群的自主协同控制,对某片区域进行覆盖侦察和目标搜索成为该领域的热点和难点问题。本文基于Voronoi图构型的多无人机区域覆盖模型实现了对未知区域的搜索覆盖面积和搜索时间的优化部署,基于概率地图信息更新融合的协同搜索策略实现了无人机自主协同控制,最后利用Matlab平台仿真并比较了不同情况下无人机集群搜索的效率。     

基于层级网络的多无人机自主编队策略

为了研究任意几何形态的无人机自主编队方法,综合运用虚拟结构原理和智能体模型,提出了一种较为通用的基于层级网络的自主编队策略。首先,引入了虚拟领航员结构和无人机智能体模型,并建立了划分等级次序的层级网络;其次,针对假设条件,研究了虚拟领航员的运动规律,并给出了入列及防撞的具体策略;最后,通过系列仿真试验对自主编队策略进行了验证。结果表明,多无人机能够进行固定形态的自主编队并保持稳定,通过合理调整层级关系,无人机还可进行编队重构。     

自主空战机动决策方法综述

自主空战机动决策是基于数学优化、人工智能等方法,模拟飞行员空战决策,自动生成飞行控制指令的过程。它在空战仿真、飞行员辅助决策和无人战斗机自主飞行等领域广泛运用。根据求解思路的不同,综合论述了两类自主空战机动决策方法:针对基于对策的空战决策方法,阐述了从追逃对策到双目标对策的发展脉络和内在联系,并着重分析了两类重要的双目标对策模型——矩阵对策和影响图对策;针对基于人工智能的空战决策方法,系统论述了基于专家系统的机动决策、基于遗传学习系统的机动决策、基于人工免疫系统的机动决策和基于神经网络的机动决策,明确了各种决策的建模方法、适用条件、改进途径等问题。总结了各个空战机动决策方法的优点及不足,指出了自主空战机动决策的进一步研究思路。     

基于深度学习的无人机航拍目标检测研究综述

目标检测是提高无人机（UAV）感知能力的关键技术之一,其研究对于无人机的应用有着重要意义。与基于手工特征的传统方法相比,基于卷积神经网络的深度学习方法具有强大的特征学习和表达能力,成为目前目标检测任务的主流算法。近年来,目标检测技术已经在自然场景图像上取得了一系列突破性进展,在无人机领域的研究也逐渐成为热点。首先系统阐述了基于深度学习的目标检测算法的研究进展,并总结了相关算法的优缺点。对常见的航空影像数据集进行了梳理并介绍了迁移学习的方法;从无人机影像背景复杂、目标较小、视场大、目标具有旋转性的特点出发,对无人机目标检测在近期的研究进行了归纳和分析。最后讨论了存在的问题和未来可能的发展方向。     

基于深度强化学习的固定翼无人机编队协调控制方法

由于运动学的复杂性和环境的动态性,控制一组无人机遂行任务目前仍面临较大挑战。首先,以固定翼无人机为研究对象,考虑复杂动态环境的随机性和不确定性,提出了基于无模型深度强化学习的无人机编队协调控制方法。然后,为平衡探索和利用,将ε-greedy策略与模仿策略相结合,提出了ε-imitation动作选择策略;结合双重Q学习和竞争架构对DQN（Deep Q-Network）算法进行改进,提出了ID3QN（Imitative Dueling Double Deep Q-Network）算法以提高算法的学习效率。最后,构建高保真半实物仿真系统进行硬件在环仿真飞行实验,验证了所提算法的适应性和实用性。