无人机航拍影像目标检测与语义分割的深度学习方法研究进展

无人机（UAV）因其小型轻便、操作简单等优点获得了广泛的应用。将深度学习方法与无人机系统相结合,有助于在清晰度高、视野范围广的无人机航拍影像上快速准确地检测出所需目标,相关课题已成为当前的研究热点之一。对近十年来无人机航拍影像目标检测与语义分割的深度学习方法研究进展进行了综述。首先概述了无人机及其航拍影像的特点和广泛的应用场景,简述了无人机航拍影像目标检测与语义分割方法的发展历程。然后对基于深度学习的无人机航拍影像目标检测与语义分割方法按照不同的网络模型进行分类,分别总结了它们的改进策略、应用场景、贡献和局限性。随后收集梳理了近些年无人机航拍影像的数据集,归纳了常用的卷积神经网络模型的评价指标。最后指出了本领域目前存在的相关问题,并对未来的研究趋势进行了展望。     

基于形态自适应网络的无人机目标跟踪方法

针对无人机影像目标跟踪过程中常出现的目标方向变化、目标遮挡变化、样本多样性不足等问题,提出了一种基于形态自适应网络的无人机航空影像目标跟踪算法。首先使用基于数据驱动的方法对数据集进行扩增,添加了遮挡样本和多旋转角度样本,提高样本多样性;提出的形态自适应网络模型通过旋转不变约束改进深度置信网络,提取强表征能力的深度特征,使得模型能够自动适应目标形态变化,利用深度特征变换算法获取待检测目标的预定位区域,采用基于Q学习算法的搜索机制对目标进行自适应精准定位,使用深度森林分类器提取跟踪目标的类别信息,得到高精度的目标跟踪结果。在多个数据集上进行了对比实验,实验结果表明该算法能够达到较高的跟踪精度,可以适应目标旋转、目标遮挡等形态变化情况,具有较好的准确性和鲁棒性。     

基于深度学习的无人机航拍视频多目标检测与跟踪研究进展

随着无人机航拍的数据采集愈加便捷，以无人机为平台的多目标检测与跟踪技术发展迅速，在智慧城市、环境监测、地质探测、精准农业和灾害预警等民用和军事领域有着广泛的应用前景，近年来深度学习的突飞猛进也为其提供了多种更为有效的解决思路。然而，无人机视角下目标外观发生突变、目标区域被严重遮挡以及目标消失和重现等挑战性的问题尚未完全解决。综述了基于深度学习的无人机航拍视频多目标检测与跟踪算法，总结了该领域的最新进展，包括多目标检测、多目标跟踪2个模块。多目标检测模块划分为双阶段与单阶段两个部分。对于多目标跟踪模块则依据基于检测的跟踪和联合检测的跟踪2个经典框架，分别阐述了2类算法的原理并分析其优缺点。随后对现有的公开数据集进行统计分析，并对基于无人机航拍视频的多目标检测与跟踪领域内标杆挑战赛VisDrone Challenge近年来的最优方案进行了对比分析。最后总结了无人机视角下多目标检测与跟踪亟待解决的问题并展望未来可能的研究方向，为后续相关研究的人员提供参考。     

基于多尺度深度学习的自适应航拍目标检测

无人机已经被广泛应用到各个领域,目标检测成为无人机视觉领域关键技术之一。针对无人机图像中场景复杂、尺度多变、小目标丰富等问题,提出了一种基于多尺度深度学习的自适应航拍目标检测算法。首先,构建自适应特征提取网络MSDarkNet-53,引入多尺度卷积方式,采用不同类型卷积核对不同尺寸目标进行运算,有效扩大感受野。其次,结合注意力机制的优点设计卷积模块,自适应优化特征权重,增强有效特征,抑制无效特征,得到表征能力更强的特征。最后,构建基于多尺度特征融合的预测网络,根据小目标的特点,选取多层级特征映射融合成高分辨率特征图,在单一尺度上进行目标分类和边界框回归。实验表明：本文算法提升了无人机图像的目标检测精度,具有良好的鲁棒性。     

无人机自主降落标识检测方法若干研究进展

为了进一步促进中国海/陆空跨域协同技术的研究和发展,综述了无人机自主降落标识检测方法的国内外最新研究成果。首先,在分析视觉引导无人机自主降落流程的基础上,简要总结了常用的基于图像分割、基于分类器和基于深度学习的标识检测方法。然后,介绍了无人机自主降落于静平台和车辆、舰艇等动平台的国内外若干研究团队及成果,并对团队采用的降落标识及检测方法进行了梳理。最后,围绕动平台及复杂环境下的标识检测和相关软件算法、硬件设备、多传感器融合等讨论了当前存在的难点和可行的解决方案,对未来克服人工标识依赖性,采用深度学习思想进行非合作环境下的安全区域检测方法进行了展望。     

基于自适应深度网络的无人机目标跟踪算法

针对无人机（UAV）视频中目标易受到遮挡、形变、复杂背景干扰等问题，提出一种基于自适应深度网络的无人机目标跟踪算法。首先，基于主成分分析（PCA）和卷积神经网络（CNN）算法，设计3阶的自适应深度网络进行目标特征提取，该网络对图像的H、S、I通道分别进行主成分分析学习，将得到的特征向量输入网络进行分层卷积，优化了网络结构，提高了网络的收敛速度和精度。其次，将目标深度特征输入核相关滤波算法进行目标跟踪，通过分析相邻2帧图像的变化率，采用分段自适应调整学习率的算法进行目标模板更新，有效地改善目标遮挡问题。仿真实验结果表明，该算法有效地避免了复杂因素干扰导致的跟踪精度下降，具有较好的鲁棒性，相较于全卷积跟踪（FCNT）算法平均跟踪精度提高了9.62%，平均跟踪成功率提高了11.9%。     

基于多尺度分割注意力的无人机航拍图像目标检测算法

随着无人机（UAV）遥感技术的发展,无人机航拍图像目标检测逐渐成为无人机应用领域的一项核心技术,在交通规划、军事侦查及环境监测等领域具有重要应用价值。针对无人机图像中小目标实例多、背景复杂及特征提取困难的问题,提出一种基于多尺度分割注意力的无人机航拍图像目标检测算法MSA-YOLO。首先,利用嵌入在骨干网络瓶颈层的多尺度分割注意力单元建立多尺度特征间的远程依赖关系,从而强化关键特征的表达能力并抑制背景噪声干扰;其次,设计了一种自适应加权特征融合方法,该方法动态的优化各输出特征层权重,实现浅层特征与深层特征的深度融合;最后,在VisDrone公开数据集上的实验结果表明：该方法取得了34.7%的平均均值精度（mAP）,相比于基线算法YOLOv5提高了2.8%,在复杂背景下仍能显著提升无人机图像目标检测性能。     

基于DDPG算法的无人机集群追击任务

无人机的集群化应用技术是近年来的研究热点，随着无人机自主智能的不断提高，无人机集群技术必将成为未来无人机发展的主要趋势之一。针对无人机集群协同执行对敌方来袭目标的追击任务，构建了典型的任务场景，基于深度确定性策略梯度网络（DDPG）算法，设计了一种引导型回报函数有效解决了深度强化学习在长周期任务下的稀疏回报问题，通过引入基于滑动平均值的软更新策略减少了DDPG算法中Eval网络和Target网络在训练过程中的参数震荡，提高了算法的训练效率。仿真结果表明，训练完成后的无人机集群能够较好地执行对敌方来袭目标的追击任务，任务成功率达到95%。可以说无人机集群技术作为一种全新概念的作战模式在军事领域具有潜在的应用价值，人工智能算法在无人机集群的自主决策智能化发展方向上具有一定的应用前景。     

基于深度迁移强化学习的无人机投放自主引导机动控制算法

针对无人机精确投放引导问题，本文提出基于深度迁移强化学习的无人机投放自主引导机动控制算法，分别建立基于马尔可夫决策过程的引导机动决策模型、引导机动评估模型等，并设计基于迁移学习和课程学习的引导机动策略训练方法，拟合基于深度学习的引导机动策略和评估网络，最后开展仿真训练和验证试验。仿真结果表明，该算法实现了无人机在任意姿态和位置条件下，能够自主规避区域威胁并自主引导至目标投放点，成功完成投放瞄准任务，有效地提升了无人机投放引导机动控制的自主性。     

无人机航拍野生动物智能检测与统计方法综述

近年来无人机航拍技术逐步应用于野生动物保护,在很大程度上提高了考察效率。由于航拍图像与地面拍摄图像的特征差异较大,加之野生动物生存环境背景复杂,目前没有通用的方法可直接应用于野生动物航拍图像的检测与统计。本文回顾了智能检测和统计技术近年来的发展,针对无人机航拍野生动物图像的大场景、小目标、多尺度、复杂背景等特点,介绍了无人机航拍动物群数据集的选取与建立方法,以及基于深度学习的检测与统计方法,并进行了深层次地分析,归纳了各类方法的优势和可应用场景,总结了各方法的特点和适用范围,同时针对存在的问题给出了改进方向。     

面向智能感知的小样本学习研究综述

小样本学习指只利用目标类别的少量监督信息来训练机器学习模型。由于其实用价值，学术界和工业界提出很多针对该问题的解决方案，但是目前国内缺少该问题的综述。本文对国内外学者提出的小样本学习算法及基于小样本学习的目标检测算法进行了系统的总结和探索。首先，给出了小样本学习的问题定义，列举其与其他一些经典的机器学习问题之间的联系，同时从理论上阐述小样本学习问题面临的挑战；接着，对基于小样本学习的图像分类进行了概述，并对其中代表性的工作进行介绍与分析；在此基础上，重点针对基于小样本学习的目标检测，特别是零样本条件下的目标检测问题，详细介绍和分析了现有的研究工作；最后，立足于现有方法的优缺点，从问题设定、理论研究、实现技术以及应用场景等几个方面对小样本学习的未来发展进行了展望，期望为该领域后续的研究工作提供启示。     

Improving multi-target cooperative tracking guidance for UAV swarms using multi-agent reinforcement learning

Multi-Target Tracking Guidance(MTTG) in unknown environments has great potential values in applications for Unmanned Aerial Vehicle(UAV) swarms. Although Multi-Agent Deep Reinforcement Learning(MADRL) is a promising technique for learning cooperation, most of the existing methods cannot scale well to decentralized UAV swarms due to their computational complexity or global information requirement. This paper proposes a decentralized MADRL method using the maximum reciprocal reward to learn cooper...     

面向林火持续侦察的多无人机分布式控制方法

为解决目前面向林火持续侦察多无人机（UAV）协同控制实用性与自主性不足的问题，基于蔓延速度诱导元胞自动机（SVICA）林火蔓延算法、无人机与传感器建模，构建了较为真实的三维多无人机火场侦察仿真环境与侦察效能指标，提出了一种面向林火持续侦察的多无人机双层分布式控制架构，在行动层基于强化学习训练的人工神经网络（ANN），实现了有风条件下无人机自主火场环绕与地形跟随功能，在策略层设计通过时域均匀分布算法进行各无人机空速的离散自主调节，最终达到多无人机林火持续侦察时域分布的均匀性与即时性目的。通过一系列数值仿真实验，验证了所提出的无人机分布控制策略在无人机损失和补充突发情况下的自适应性。基于无人机数量与侦察效能指标关系的实验与研究，定义了无人机出动阈值并验证了无人机长时间出动回收策略。最终实验结果表明，针对林火持续侦察任务，所提出的多无人机分布式控制方法具备一定的有效性与实用性。     

Use of land＇s cooperative object to estimate UAV＇s pose for autonomous landing

The research of unmanned aerial vehicles＇（UAVs＇）autonomy navigation and landing guidance with computer vision has important signifcance.However,because of the image blurring,the position of the cooperative points cannot be obtained accurately,and the pose estimation algorithms based on the feature points have low precision.In this research,the pose estimation algorithm of UAV is proposed based on feature lines of the cooperative object for autonomous landing.This method uses the actual shape of the cooperative-target on ground and the principle of vanishing line.Roll angle is calculated from the vanishing line.Yaw angle is calculated from the location of the target in the image.Finally,the remaining extrinsic parameters are calculated by the coordinates transformation.Experimental results show that the pose estimation algorithm based on line feature has a higher precision and is more reliable than the pose estimation algorithm based on points feature.Moreover,the error of the algorithm we proposed is small enough when the UAV is near to the landing strip,and it can meet the basic requirements of UAV＇s autonomous landing.     

低空无人机路径规划算法综述

随着无人机技术的发展,无人机在低空的应用场景越来越多,复杂的低空环境对无人机路径规划算法提出了新的要求。本文总结了近年来常用的无人机路径规划算法,包括图搜索算法,线性规划算法,智能优化算法（遗传算法、粒子群算法、蚁群算法）,强化学习算法;对这些算法的原理、适用场景及其优缺点进行了归纳分析;并基于无人机发展现状对无人机路径规划算法进行了展望。     

Target localization based on cross-view matching between UAV and satellite

Matching remote sensing images taken by an unmanned aerial vehicle (UAV) with satellite remote sensing images with geolocation information. Thus, the specific geographic location of the target object captured by the UAV is determined. Its main challenge is the considerable differences in the visual content of remote sensing images acquired by satellites and UAVs, such as dramatic changes in viewpoint, unknown orientations, etc. Much of the previous work has focused on image matching of homologous data. To overcome the difficulties caused by the difference between these two data modes and maintain robustness in visual positioning, a quality-aware template matching method based on scale-adaptive deep convolutional features is proposed by deeply mining their common features. The template size feature map and the reference image feature map are first obtained. The two feature maps obtained are used to measure the similarity. Finally, a heat map representing the probability of matching is generated to determine the best match in the reference image. The method is applied to the latest UAV-based geolocation dataset (University-1652 dataset) and the real-scene campus data we collected with UAVs. The experimental results demonstrate the effectiveness and superiority of the method.     

基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

N-fold Bernoulli probability based adaptive fast-tracking algorithm and its application to autonomous aerial refuelling

Recently, deep learning has been widely utilized for object tracking tasks. However, deep learning encounters limits in tasks such as Autonomous Aerial Refueling (AAR), where the target object can vary substantially in size, requiring high-precision real-time performance in embedded systems. This paper presents a novel embedded adaptiveness single-object tracking framework based on an improved YOLOv4 detection approach and an n-fold Bernoulli probability theorem. First, an Asymmetric Convolutional Network (ACNet) and dense blocks are combined with the YOLOv4 architecture to detect small objects with high precision when similar objects are in the background. The prior object information, such as its location in the previous frame and its speed, is utilized to adaptively track objects of various sizes. Moreover, based on the n-fold Bernoulli probability theorem, we develop a filter that uses statistical laws to reduce the false positive rate of object tracking. To evaluate the efficiency of our algorithm, a new AAR dataset is collected, and extensive AAR detection and tracking experiments are performed. The results demonstrate that our improved detection algorithm is better than the original YOLOv4 algorithm on small and similar object detection tasks; the object tracking algorithm is better than state-of-the-art object tracking algorithms on refueling drogue tracking tasks.