有人-无人机协同空战机动决策研究

目前，有关无人机空战的研究主要考虑无人机的完全自主决策机动算法，关于有人机有限监督决策下的空战机动决策的研究鲜有报道，更缺乏对有人—无人机协同作战的研究。为实现无人机协同空战过程中的自主机动，设计一种基于路径规划技术的有人—无人机协同空战机动决策模型。首先，引入动态栅格环境，自适应调整栅格规模和分辨率，以弥补静态栅格环境规划空间越大规划效率越低的缺陷；然后，将A star 算法规划路径作为参考路径，提出ACO-A star 混合路径规划算法，以提升ACO 算法的寻优效能；最后，基于均值聚类算法设计有人—无人机协同空战机动决策算法。进行空战对抗仿真模拟，结果表明：所提出的算法具有更好的决策正确性，可有效提升空战胜率。     

基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

基于DE-MADDPG的多无人机协同追捕策略

针对多无人机协同对抗快速目标的追逃博弈问题,研究了多无人机的协同追捕策略。基于解耦多智能体深度确定性策略梯度算法DE-MADDPG研究了多无人机协同对抗快速目标的追捕策略,设计了多无人机协同追捕的全局奖励和局部奖励两种奖励函数,训练后的多无人机能够有效地执行协同追捕任务。通过设置快速目标的多种逃逸控制策略,仿真验证了所设计的方法能够利用追捕无人机的数量优势,通过协作完成对快速目标的协同围捕,并且通过比较,验证本文所提出的算法相比MADDPG算法更快地取得了收敛效果。     

基于深度强化学习的智能空战决策与仿真

飞行器空战智能决策是当今世界各军事强国的研究热点。为解决近距空战博弈中无人机的机动决策问题，提出一种基于深度强化学习方法的无人机近距空战格斗自主决策模型。决策模型中，采取并改进了一种综合考虑攻击角度优势、速度优势、高度优势和距离优势的奖励函数，改进后的奖励函数避免了智能体被敌机诱导坠地的问题，同时可以有效引导智能体向最优解收敛。针对强化学习中随机采样带来的收敛速度慢的问题，设计了基于价值的经验池样本优先度排序方法，在保证算法收敛的前提下，显著加快了算法收敛速度。基于人机对抗仿真平台对决策模型进行验证，结果表明智能决策模型能够在近距空战过程中压制专家系统和驾驶员。     

基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。     

智能空战体系下无人协同作战发展现状及关键技术

在未来复杂的战场环境下，运用多架无人机在飞行空间内构成相互协作、优势互补及效能倍增的协同作战系统，是取得智能空战胜利的关键所在。首先阐述了无人系统的定义，并分析了其内涵和分类，指出智能化是无人系统未来的发展方向，根据自主完成任务的能力进行了分级。随后引出了典型的协同作战样式，阐述了国内外协同作战发展的现状。从协同态势感知技术、交互与信息作战云技术、智能决策技术、自主攻击技术、集群协同技术及学习与进化技术等分析了制约协同作战水准的关键技术。     

面向林火持续侦察的多无人机分布式控制方法

为解决目前面向林火持续侦察多无人机（UAV）协同控制实用性与自主性不足的问题，基于蔓延速度诱导元胞自动机（SVICA）林火蔓延算法、无人机与传感器建模，构建了较为真实的三维多无人机火场侦察仿真环境与侦察效能指标，提出了一种面向林火持续侦察的多无人机双层分布式控制架构，在行动层基于强化学习训练的人工神经网络（ANN），实现了有风条件下无人机自主火场环绕与地形跟随功能，在策略层设计通过时域均匀分布算法进行各无人机空速的离散自主调节，最终达到多无人机林火持续侦察时域分布的均匀性与即时性目的。通过一系列数值仿真实验，验证了所提出的无人机分布控制策略在无人机损失和补充突发情况下的自适应性。基于无人机数量与侦察效能指标关系的实验与研究，定义了无人机出动阈值并验证了无人机长时间出动回收策略。最终实验结果表明，针对林火持续侦察任务，所提出的多无人机分布式控制方法具备一定的有效性与实用性。     

基于多智能体的无人作战平台多机协同对抗多目标任务决策方法

建立了基于多智能体的多机协同作战任务决策方法结构模型,提出了基于神经网络与证据理论的敌我双方对抗态势分析方法和基于完全信息静态博弈模型的多机协同对抗多目标任务决策方法,并进行了基于典型作战想定的多机协同对抗多目标任务决策方法仿真研究.     

基于动态非零和博弈的无人机集群协同对抗方法研究

无人机集群协同对抗是当今国内外学术研究的热点问题,动态机动决策是无人机对抗最重要的研究领域之一.本文提出了一种基于动态非零和博弈的无人机集群协同对抗决策算法.首先,确定对抗双方的决策集,并通过角度、速度和距离等机动因素构造对抗双方的态势优势.其次,对无人机集群机动可选方案进行多属性评价,进一步计算双方的动态收益矩阵,建...     

基于深度迁移强化学习的无人机投放自主引导机动控制算法

针对无人机精确投放引导问题，本文提出基于深度迁移强化学习的无人机投放自主引导机动控制算法，分别建立基于马尔可夫决策过程的引导机动决策模型、引导机动评估模型等，并设计基于迁移学习和课程学习的引导机动策略训练方法，拟合基于深度学习的引导机动策略和评估网络，最后开展仿真训练和验证试验。仿真结果表明，该算法实现了无人机在任意姿态和位置条件下，能够自主规避区域威胁并自主引导至目标投放点，成功完成投放瞄准任务，有效地提升了无人机投放引导机动控制的自主性。     

基于强化学习的多无人机避碰计算制导方法

针对大量固定翼无人机在有限空域内的协同避碰问题,提出了一种基于多智能体深度强化学习的计算制导方法。首先,将避碰制导过程抽象为序列决策问题,通过马尔可夫博弈理论对其进行数学描述。然后提出了一种基于深度神经网络技术的自主避碰制导决策方法,该网络使用改进的Actor-Critic模型进行训练,设计了实现该方法的机器学习架构,并给出了相关神经网络结构和机间协调机制。最后建立了一个实体数量可变的飞行场景模拟器,在其中进行"集中训练"和"分布执行"。为了验证算法的性能,在高航路密度场景中进行了仿真实验。仿真结果表明,提出的在线计算制导方法能够有效地降低多无人机在飞行过程中的碰撞概率,且对高航路密度场景具有很好的适应性。     

重访机制驱动的多无人机协同动目标搜索方法

为实现多无人机高效捕获灰色任务区域内的移动目标,考虑传感器探测概率与虚警概率,提出了重访机制驱动的协同搜索规划（RMD-CSP）方法,以降低目标遗漏与误判概率。考虑无人机飞行性能约束,以最大化任务执行效能为目标建立多无人机协同搜索模型。根据目标先验信息初始化环境搜索信息图（包括目标概率分布图、环境不确定度图与环境搜索状态图）,利用无人机实时探测信息,基于贝叶斯准则持续更新搜索信息图。定制基于环境不确定度更新的重访机制,通过增加长时间未被重访区域的环境不确定度,引导无人机搜索该区域,降低移动目标的遗漏概率;定制基于目标函数权重更新的重访机制,引导无人机快速重访发现新的疑似目标的区域,对疑似目标进行再次确认,减少由于传感器虚警概率造成的目标误判概率。采用滚动时域规划架构,将搜索规划问题分解为一系列短时域规划问题,提升了求解效率。在典型任务想定下,通过数值仿真试验验证了所提方法的有效性。仿真结果表明,RMD-CSP能够在秒级时间内生成每个时域的搜索航迹,相比于光栅式搜索方法与标准的概率启发式搜索方法,能够引导无人机捕获更多的移动目标,同时减少误判次数,有效提升了多无人机协同搜索的任务效能。     

通信约束下异构多无人机任务分配方法

针对异构多无人机协同执行侦察和打击任务中,存在通信距离、时间延迟等约束条件下的局部任务分配问题,提出了一种基于合同网的分布式多无人机任务分配方法。首先建立了异构集群发现新目标时的局部任务分配问题模型,设计了局部无人机通信网络中的信息一致性算法,实现了任务分配过程中任务发布阶段各无人机的冲突消解。设计了任务分配过程中的联盟构建和无人机资源管理方法,使联盟中各无人机能够以更加平衡的方式消耗资源。仿真结果表明,该方法能够解决通信约束下,异构多无人机执行察打任务时,所触发的针对目标打击任务的任务分配问题,且能够获得最大的系统效能。     

基于分支深度强化学习的非合作目标追逃博弈策略求解

为解决航天器与非合作目标的空间交会问题,缓解深度强化学习在连续空间的应用限制,提出了一种基于分支深度强化学习的追逃博弈算法,以获得与非合作目标的空间交会策略。对于非合作目标的空间交会最优控制,运用微分对策描述为连续推力作用下的追逃博弈问题;为避免传统深度强化学习应对连续空间存在维数灾难问题,通过构建模糊推理模型来表征连续空间,提出了一种具有多组并行神经网络和共享决策模块的分支深度强化学习架构。实现了最优控制与博弈论的结合,有效解决了微分对策模型高度非线性且难于利用经典最优控制理论进行求解的难题,进一步提升了深度强化学习对离散行为的学习能力,并通过算例仿真检验了该算法的有效性。     

Distributed intelligent self-organized mission planning of multi-UAV for dynamic targets cooperative search-attack

This article studies the cooperative search-attack mission problem with dynamic targets and threats, and presents a Distributed Intelligent Self-Organized Mission Planning (DISOMP) algorithm for multiple Unmanned Aerial Vehicles (multi-UAV). The DISOMP algorithm can be divided into four modules: a search module designed based on the distributed Ant Colony Optimization (ACO) algorithm, an attack module designed based on the Parallel Approach (PA) scheme, a threat avoidance module designed based on the Dubins Curve (DC) and a communication module designed for information exchange among the multi-UAV system and the dynamic environment. A series of simulations of multi-UAV searching and attacking the moving targets are carried out, in which the search-attack mission completeness, execution efficiency and system suitability of the DISOMP algorithm are analyzed. The simulation results exhibit that the DISOMP algorithm based on online distributed down-top strategy is characterized by good flexibility, scalability and adaptability, in the dynamic targets searching and attacking problem.     

基于 ABMS的无人机编队协同制空任务效能评估

无人机是海空作战的重要力量,制空作战是未来无人机的重要任务之一。为研究无人机编队协同制空作战的制胜机理,评估无人机编队协同制空作战效能:首先,对无人机编队协同制空任务进行分析,明确典型作战过程;然后,采用基于 Agent的建模与仿真(Agent-basedmodelingandsimulation,ABMS)方法,构建攻击型无人机、预警型无人机和空空导弹的 Agent模型,开展多无人机协同制空作战仿真和效能分析。结果表明,无人机探测距离、编队内攻击型无人机的数量,以及编队内有无预警型无人机,这些都将对作战效能产生重要影响,该结论可为无人机协同作战运用提供参考。     

多基地多无人机协同侦察问题研究

 充分考虑侦察目标的侦察分辨率要求和侦察时间窗约束，以及位于不同基地的无人机(UAV)的侦察性能和可用数目，首次建立了更加贴近军事应用实际的多基地多UAV协同侦察问题(M-MUCRP)的数学模型，并提出了解决该模型的多基地多UAV协同侦察进化算法(M-MUCREA)。M-MUCREA的染色体数据结构有效地表达了问题的解，有利于交叉、变异等进化操作；充分利用与目标侦察分辨率要求以及目标位置和时间窗约束相关的启发信息，构造初始种群,避免进化过程收敛太慢；基于Pareto最优概念的选择算子确保解在多个目标上的有效优化；精英策略避免了丢失进化过程中产生的非劣解，加快算法收敛；变异和交叉算子在保证有效解的前提下，实现了解的多样性，避免了算法陷入局部最优。仿真实验验证了算法能够有效解决M-MUCRP。     

Q-learning强化学习协同拦截制导律CSCD

为实现多枚导弹协同拦截机动目标,提升拦截效能,提出了一种Q-learning强化学习协同拦截制导律。首先,基于逃逸域覆盖理论,建立了非线性多弹协同拦截模型。其次,以视线角速率为状态,依据脱靶量构造奖励函数,通过离线训练生成强化学习智能体,并结合传统比例制导控制方法,构建基于强化学习的变导引系数制导律,实时生成实现协同拦截的制导指令。最终,通过数值仿真验证了所提算法的有效性和优越性。