Imaginary filtered hindsight experience replay for UAV tracking dynamic targets in large-scale unknown environments

As an advanced combat weapon, Unmanned Aerial Vehicles (UAVs) have been widely used in military wars. In this paper, we formulated the Autonomous Navigation Control (ANC) problem of UAVs as a Markov Decision Process (MDP) and proposed a novel Deep Reinforcement Learning (DRL) method to allow UAVs to perform dynamic target tracking tasks in large-scale unknown environments. To solve the problem of limited training experience, the proposed Imaginary Filtered Hindsight Experience Replay (IFHER) generates successful episodes by reasonably imagining the target trajectory in the failed episode to augment the experiences. The well-designed goal, episode, and quality filtering strategies ensure that only high-quality augmented experiences can be stored, while the sampling filtering strategy of IFHER ensures that these stored augmented experiences can be fully learned according to their high priorities. By training in a complex environment constructed based on the parameters of a real UAV, the proposed IFHER algorithm improves the convergence speed by 28.99% and the convergence result by 11.57% compared to the state-of-the-art Twin Delayed Deep Deterministic Policy Gradient (TD3) algorithm. The testing experiments carried out in environments with different complexities demonstrate the strong robustness and generalization ability of the IFHER agent. Moreover, the flight trajectory of the IFHER agent shows the superiority of the learned policy and the practical application value of the algorithm.     

基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。     

基于多机协作的认知无人机网络能效联合优化

针对无人机（UAV）通信网络中频谱资源紧缺的问题,构建基于认知无线电的多无人机通信网络,通过多机协作频谱感知有效探索授权频谱。提出一种基于Bisection算法的迭代算法,通过联合优化感知时间和判决门限对构建的复杂非凸问题求解,显著提高了无人机次级认知网络的能量效率（EE）。分析了无人机飞行过程中能效的变化情况,仿真结果表明,存在最优感知时间使能效获得最大值,且判决门限的选择会影响该能效最优值;提出的高能效迭代算法具有较好收敛性,有效提高了认知无人机网络的能量利用率。     

Virtual target guidance-based distributed model predictive control for formation control of multiple UAVs

The paper proposes a Virtual Target Guidance (VTG)-based distributed Model Predictive Control (MPC) scheme for formation control of multiple Unmanned Aerial Vehicles (UAVs). First, a framework of distributed MPC scheme is designed in which each UAV only shares the information with its neighbors, and the obtained local Finite-Horizon Optimal Control Problem (FHOCP) can be solved by swarm intelligent optimization algorithm. Then, a VTG approach is developed and integrated into the distributed MPC scheme to achieve trajectory tracking and obstacle avoidance. Further, an event-triggered mechanism is proposed to reduce the computational burden for UAV formation control, which takes into consideration the predictive state errors as well as the convergence of cost function. Numerical simulations show that the proposed VTG-based distributed MPC scheme is more computationally efficient to achieve formation control of multiple UAVs in comparison with the traditional distributed MPC method.     

UAV navigation in high dynamic environments: A deep reinforcement learning approach

Unmanned Aerial Vehicle (UAV) navigation is aimed at guiding a UAV to the desired destinations along a collision-free and efficient path without human interventions, and it plays a crucial role in autonomous missions in harsh environments. The recently emerging Deep Reinforcement Learning (DRL) methods have shown promise for addressing the UAV navigation problem, but most of these methods cannot converge due to the massive amounts of interactive data when a UAV is navigating in high dynamic environments, where there are numerous obstacles moving fast. In this work, we propose an improved DRL-based method to tackle these fundamental limitations. To be specific, we develop a distributed DRL framework to decompose the UAV navigation task into two simpler sub-tasks, each of which is solved through the designed Long Short-Term Memory (LSTM) based DRL network by using only part of the interactive data. Furthermore, a clipped DRL loss function is proposed to closely stack the two sub-solutions into one integral for the UAV navigation problem. Extensive simulation results are provided to corroborate the superiority of the proposed method in terms of the convergence and effectiveness compared with those of the state-of-the-art DRL methods.     

Improving multi-target cooperative tracking guidance for UAV swarms using multi-agent reinforcement learning

Multi-Target Tracking Guidance(MTTG) in unknown environments has great potential values in applications for Unmanned Aerial Vehicle(UAV) swarms. Although Multi-Agent Deep Reinforcement Learning(MADRL) is a promising technique for learning cooperation, most of the existing methods cannot scale well to decentralized UAV swarms due to their computational complexity or global information requirement. This paper proposes a decentralized MADRL method using the maximum reciprocal reward to learn cooper...     

基于深度强化学习的固定翼无人机编队协调控制方法

由于运动学的复杂性和环境的动态性,控制一组无人机遂行任务目前仍面临较大挑战。首先,以固定翼无人机为研究对象,考虑复杂动态环境的随机性和不确定性,提出了基于无模型深度强化学习的无人机编队协调控制方法。然后,为平衡探索和利用,将ε-greedy策略与模仿策略相结合,提出了ε-imitation动作选择策略;结合双重Q学习和竞争架构对DQN（Deep Q-Network）算法进行改进,提出了ID3QN（Imitative Dueling Double Deep Q-Network）算法以提高算法的学习效率。最后,构建高保真半实物仿真系统进行硬件在环仿真飞行实验,验证了所提算法的适应性和实用性。     

无人机空中冲突探测与避撞研究

近年来，无人机运输业迅猛发展，其飞行过程中的冲突探测与避撞问题成为亟需解决的关键问题。在无人机周围建立合理的三维空间模型，优化包括紧急避撞区域、一般避撞区域、监视及提前避撞区域的三级避撞区域系统，并利用ADS-B 报文提供的无人机位置、速度等信息，基于无人机一般二维平面上的冲突探测与避撞算法，通过增加垂直方向上的冲突识别来改进冲突探测算法，对比调速、调向两种避让方案在各避撞区域的成功率。结果表明：改进算法能在无人机数量大幅增加的情况下有效识别冲突无人机，同时采用先调速后调向的避让方案，避撞成功率达到99.75%，可为保障无人机的飞行安全提供有效策略。     

集群无人机队形重构及虚拟仿真验证

队形重构是集群无人机（UAV）控制的重要问题，指无人机按照要求安全、无碰撞地从一个队形变换到另一个队形，其难点在于快速规划最优安全轨迹并控制无人机进行轨迹姿态的高精度跟踪。针对集群无人机队形重构的上述问题，首先，基于CAPT（Concurrent Assignment and Planning of Trajectories）算法，解决了多无人机的目标分配和轨迹生成的实时性问题，实现了集群无人机的最优安全路径规划；其次，提出一种有限时间多变量积分滑模连续控制算法，解决了无人机轨迹姿态的高精度跟踪问题，并通过MATLAB仿真验证了该控制算法的有效性；最后，为了更加真实直观地演示无人机三维仿真效果，建立了基于Gazebo-ROS的无人机仿真平台，实现了12架四旋翼无人机队形重构"建模-仿真-可视化"的一体化仿真演示，验证了上述路径规划算法和轨迹姿态控制算法的有效性。     

基于态势评估及DDPG算法的一对一空战格斗控制方法

已有的空中格斗控制方法未综合考虑基于专家知识的态势评估及通过连续性速度变化控制空战格斗的问题。基于深度确定性策略梯度（DDPG）强化学习方法,在态势评估函数作为强化学习奖励函数的基础上,设计综合考虑飞行高度上下限、飞行过载以及飞行速度上下限的强化学习环境;通过全连接的载机速度控制网络与环境奖励网络,实现DDPG 算法与学习环境的交互,并根据高度与速度异常、被导弹锁定时间以及格斗时间设计空战格斗结束条件;通过模拟一对一空战格斗,对该格斗控制方法在环境限制学习、态势评估得分以及格斗模式学习进行验证了。结果表明：该格斗控制方法有效,可以为自主空战格斗进一步发展提供指导。     

基于复杂网络的无人机飞行冲突解脱算法

为解决局部空域内的无人机（UAV）群相撞和可能发生连锁碰撞问题,创新地以复杂网络理论为基础,将无人机群的飞行冲突解脱分为关键节点选择和避撞方向选择2个步骤实施,最大限度地保证无人机群受威胁时的安全性。通过分析无人机群的状态信息,选择最重要无人机（关键节点）进行避撞,同时遵循鲁棒性最小原则进行避撞方向选择。通过2个典型无人机飞行案例的仿真实验,验证该策略不仅可以有效解决当前无人机的冲突问题,而且可以防止连锁碰撞,实现整体的最优化。大量仿真实验验证了所提算法的可行性和可扩展性,以及与随机选择方向避撞算法进行比较,结果表明该算法能够提升无人机群的安全性。     

多无人机协同覆盖路径规划

多无人机协同覆盖路径规划(CPP)由于其并行性和容错能力,对于提高无人机完成侦察、监视、搜索等任务的效率具有重要意义。提出了一种基于无人机任务性能评价和任务区域划分的多无人机协同CPP算法。定量分析了无人机执行覆盖任务的能力,根据无人机及携带成像传感器的性能给出了计算无人机任务性能指数的数学公式;提出了一种基于任务性能和子区域宽度的任务区域划分算法,使无人机的总转弯次数达到最少。仿真结果表明,所提出的CPP算法能够规划出全局最优的多无人机协同覆盖路径。     

多植保无人机协同路径规划

为实现多植保无人机（UAVs）协同作业，并提高作业效率，提出了一种基于改进粒子群优化（PSO）的多植保无人机协同路径规划算法。根据作业区域的形状面积和植保UAV的作业参数划分各架UAV作业区域，采用栅格法生成各区域全覆盖作业航线。以各架植保UAV各架次植保作业距离为算法寻优变量，在确保各架UAV补给时间满足间隔分布约束条件下，综合考虑补给总次数、返航补给总时间、总耗时和最小补给时间间隔4项因素，并构成目标函数，通过采用改进PSO算法，实现了对各UAV返航顺序和返航点位置的寻优。仿真分析结果表明，相较于最大作业距离规划和最小返航距离规划，本文提出的规划算法表现出了较优的性能和较好的作业区域适应性，证实了其有效性和实用性。     

通信和测量受限条件下异构多UAV分布式协同目标跟踪方法

研究了通信和测量受限的异构多无人机(UAV)网络化分布式协同目标观测与跟踪问题.该分布式UAV系统采用长机一僚机异构型网络结构,以实现在电子静默和战术隐身条件下扩大探测和打击纵深.提出改进的一致性信息滤波(ICF)算法,实现通信和测量范围内各UAV节点的分布式信息融合.由于一致性算法的收敛性与网络拓扑结构的连通性密切相...     

基于蚁群算法的无人机协同多任务分配

采用蚁群算法对无人机协同多任务分配问题(CMTAP)进行研究。在通用CMTAP模型的基础上,综合考虑包括动态任务时间约束和无人机任务能力的差别多类复杂约束条件,建立扩展的协同多任务分配模型。在多子群蚁群算法的基础上,提出了基于分工机制的蚁群算法对CMTAP进行求解。根据协同多任务分配的特点,设计了基于任务能力评估的问题解构造策略和基于任务代价的状态转移规则,提高了算法的性能。仿真实验结果表明该方法能有效地解决无人机协同多任务分配问题。     

面向城市飞行安全的无人机离散型多路径规划方法

为了提高无人机（UAV）在城市环境中运行的安全性,且能生成多条备选路径,提出一种离散型城市环境下基于无人机飞行安全的多路径规划方法。根据定义的城市环境模型、无人机的飞行规则和安全性原则,建立无人机飞行安全性分析模型和离散型多路径规划问题的数学模型。为提高算法的收敛速度和解的优质性,以及使算法能够同时输出多条路径,针对蚁群（ACO）算法的运行机制,设计聚类算子,提出改进聚类蚁群（CIACO）算法。实验结果表明,所提方法能够快速的收敛输出多条风险值较低的飞行路径。     

基于改进一致性算法的无人机编队控制

编队飞行是指多架无人机保持以一定队形进行飞行的状态,相比于单架飞机执行任务,无人机编队能够增加搜索面积,提高飞机飞行性能,增大完成任务成功率。编队控制是实现编队安全高效完成指定任务的前提。本文以一致性理论为基础,针对无人机运动模型的特点与实际飞行要求,对基本的一致性算法进行改进,提出了改进一致性无人机编队控制算法。首先利用纵向和横侧向解耦的自动驾驶仪模型给出了无人机的三自由度运动方程,根据机动性与飞行性能要求定义了各方向上的加速度、速度与角速度约束。基于一致性理论,将编队控制分为平面与纵向2个方向进行,在状态控制的基础上,利用各状态变量间的几何关系对无人机运动自由度进行转换,加入编队队形信息,设计了编队控制算法。为了使算法生成的指令信号满足约束条件,提出了"最小调整"约束条件处理策略。依据粒子群算法对各无人机的爬升加速度进行优化,以避免机间碰撞。仿真结果表明：提出的编队控制算法具备编队成形与变换功能,能够使无人机编队状态快速收敛到指定值,且保持指定队形,无人机飞行状态满足所有约束条件。     

基于阶层标识的无人机自主精准降落系统

随着微小型无人机（UAV）在航拍、测绘、环境监测、快递投送等民用领域的广泛应用,对微小型无人机的可用性和可靠性提出了更高的要求。为了使微小型无人机能够精确地完成自主降落,由于计算机视觉部署成本低、独立性强、信息丰富等特点,提出了通过识别匹配一种多层嵌套二维编码的阶层降落标识来进行相对定位的算法,并展示了与之对应的阶层标识检测及定位的无人机自主降落系统,由于编码的信息量与其他系统相比,具有高低空的高识别率、编码空间大等特点,故此系统可同时支持单个或多个停机坪的配置,且成本低廉,无需添加机载设备成本。最后对该系统进行仿真验证和实飞测试,表明所提出算法能够有效地实现无人机全自主降落。     

基于Leader-Follower编队的无人机协同跟踪地面目标制导律设计

对地面目标的自动跟踪是无人机在任务应用阶段需要解决的重要问题之一,多无人机协同跟踪能够提高对目标运动状态的估计精度并降低目标丢失的概率,因而具有重要研究意义。本文提出了一种基于Leader-Follower编队的无人机协同跟踪制导方法,解决了传统Standoff跟踪模式对地面目标的速度范围限制问题。首先,通过控制无人机的航向不断趋近于地面目标牵连跟踪圆切线方向的方法设计了Leader无人机自动跟踪地面目标的制导律并完成了稳定性证明;其次,通过控制Follower无人机的速度和航向角逐渐趋近于Leader无人机速度和航向的协同跟踪策略,分别设计了Follower无人机自动跟踪Leader无人机的制导律和编队相位协同制导律并完成了稳定性证明;最后,分别针对静止目标、匀速直线运动目标和变速运动目标的跟踪问题进行了仿真验证,结果表明所提出的制导方法能够实现对不同运动状态地面目标的自动协同跟踪,并且跟踪性能优于基于李雅普诺夫向量法的制导方法。     

面向林火持续侦察的多无人机分布式控制方法

为解决目前面向林火持续侦察多无人机（UAV）协同控制实用性与自主性不足的问题，基于蔓延速度诱导元胞自动机（SVICA）林火蔓延算法、无人机与传感器建模，构建了较为真实的三维多无人机火场侦察仿真环境与侦察效能指标，提出了一种面向林火持续侦察的多无人机双层分布式控制架构，在行动层基于强化学习训练的人工神经网络（ANN），实现了有风条件下无人机自主火场环绕与地形跟随功能，在策略层设计通过时域均匀分布算法进行各无人机空速的离散自主调节，最终达到多无人机林火持续侦察时域分布的均匀性与即时性目的。通过一系列数值仿真实验，验证了所提出的无人机分布控制策略在无人机损失和补充突发情况下的自适应性。基于无人机数量与侦察效能指标关系的实验与研究，定义了无人机出动阈值并验证了无人机长时间出动回收策略。最终实验结果表明，针对林火持续侦察任务，所提出的多无人机分布式控制方法具备一定的有效性与实用性。