无人机航拍影像目标检测与语义分割的深度学习方法研究进展

无人机（UAV）因其小型轻便、操作简单等优点获得了广泛的应用。将深度学习方法与无人机系统相结合,有助于在清晰度高、视野范围广的无人机航拍影像上快速准确地检测出所需目标,相关课题已成为当前的研究热点之一。对近十年来无人机航拍影像目标检测与语义分割的深度学习方法研究进展进行了综述。首先概述了无人机及其航拍影像的特点和广泛的应用场景,简述了无人机航拍影像目标检测与语义分割方法的发展历程。然后对基于深度学习的无人机航拍影像目标检测与语义分割方法按照不同的网络模型进行分类,分别总结了它们的改进策略、应用场景、贡献和局限性。随后收集梳理了近些年无人机航拍影像的数据集,归纳了常用的卷积神经网络模型的评价指标。最后指出了本领域目前存在的相关问题,并对未来的研究趋势进行了展望。     

基于深度学习的无人机航拍目标检测研究综述

目标检测是提高无人机（UAV）感知能力的关键技术之一,其研究对于无人机的应用有着重要意义。与基于手工特征的传统方法相比,基于卷积神经网络的深度学习方法具有强大的特征学习和表达能力,成为目前目标检测任务的主流算法。近年来,目标检测技术已经在自然场景图像上取得了一系列突破性进展,在无人机领域的研究也逐渐成为热点。首先系统阐述了基于深度学习的目标检测算法的研究进展,并总结了相关算法的优缺点。对常见的航空影像数据集进行了梳理并介绍了迁移学习的方法;从无人机影像背景复杂、目标较小、视场大、目标具有旋转性的特点出发,对无人机目标检测在近期的研究进行了归纳和分析。最后讨论了存在的问题和未来可能的发展方向。     

基于多尺度深度学习的自适应航拍目标检测

无人机已经被广泛应用到各个领域,目标检测成为无人机视觉领域关键技术之一。针对无人机图像中场景复杂、尺度多变、小目标丰富等问题,提出了一种基于多尺度深度学习的自适应航拍目标检测算法。首先,构建自适应特征提取网络MSDarkNet-53,引入多尺度卷积方式,采用不同类型卷积核对不同尺寸目标进行运算,有效扩大感受野。其次,结合注意力机制的优点设计卷积模块,自适应优化特征权重,增强有效特征,抑制无效特征,得到表征能力更强的特征。最后,构建基于多尺度特征融合的预测网络,根据小目标的特点,选取多层级特征映射融合成高分辨率特征图,在单一尺度上进行目标分类和边界框回归。实验表明：本文算法提升了无人机图像的目标检测精度,具有良好的鲁棒性。     

无人机航拍野生动物智能检测与统计方法综述

近年来无人机航拍技术逐步应用于野生动物保护,在很大程度上提高了考察效率。由于航拍图像与地面拍摄图像的特征差异较大,加之野生动物生存环境背景复杂,目前没有通用的方法可直接应用于野生动物航拍图像的检测与统计。本文回顾了智能检测和统计技术近年来的发展,针对无人机航拍野生动物图像的大场景、小目标、多尺度、复杂背景等特点,介绍了无人机航拍动物群数据集的选取与建立方法,以及基于深度学习的检测与统计方法,并进行了深层次地分析,归纳了各类方法的优势和可应用场景,总结了各方法的特点和适用范围,同时针对存在的问题给出了改进方向。     

基于深度学习的小目标检测研究进展

随着深度学习方法的快速发展,目标检测作为计算机视觉领域中最基本、最具有挑战性的任务之一,已取得了令人瞩目的进展。现有的算法大多针对于具有一定尺寸或比例的大中型目标,但由于待测目标尺寸小、特征弱等原因,对小目标的检测性能还远远不能令人满意。小目标检测（SOT）作为一种广泛应用于室外远程拍摄和航空遥感场景的技术,近年来受到了广泛的关注,各种方法层出不穷,但是目前对该问题的全面综述较少。从问题定义、算法分析、应用介绍、方向展望等方面对基于深度学习的小目标检测研究进展进行了综述。首先,给出了小目标检测问题的定义,阐述了其技术难点及在实际应用中面临的挑战;接着,从8个不同角度分析了检测器对小目标检测精度较低的主要原因及相应的改进方法,详细归纳总结了小目标检测在各技术方面的研究工作;然后介绍了几个特定场景下小目标检测算法的典型应用;最后,对小目标检测未来的发展趋势进行展望,提出可行的研究方向,期望为该领域的研究工作提供可借鉴和参考的思路。     

基于深度学习孪生网络的目标跟踪算法

本文阐述了单目标跟踪的基本技术关键与步骤、目标跟踪算法的评价指标,重点介绍分析了基于孪生网络框架的目标跟踪技术原理以及应用表现,并对未来的行业发展提出展望.     

基于形态自适应网络的无人机目标跟踪方法

针对无人机影像目标跟踪过程中常出现的目标方向变化、目标遮挡变化、样本多样性不足等问题,提出了一种基于形态自适应网络的无人机航空影像目标跟踪算法。首先使用基于数据驱动的方法对数据集进行扩增,添加了遮挡样本和多旋转角度样本,提高样本多样性;提出的形态自适应网络模型通过旋转不变约束改进深度置信网络,提取强表征能力的深度特征,使得模型能够自动适应目标形态变化,利用深度特征变换算法获取待检测目标的预定位区域,采用基于Q学习算法的搜索机制对目标进行自适应精准定位,使用深度森林分类器提取跟踪目标的类别信息,得到高精度的目标跟踪结果。在多个数据集上进行了对比实验,实验结果表明该算法能够达到较高的跟踪精度,可以适应目标旋转、目标遮挡等形态变化情况,具有较好的准确性和鲁棒性。     

基于注意力机制和特征匹配的空对地多目标检测与跟踪算法

多目标跟踪算法是实现无人机自主导航的关键技术，为解决现有方法存在的小目标检测能力弱、计算能耗大、鲁棒性差等问题，提出一种基于注意力机制和特征匹配的多目标空对地跟踪算法，以实现航拍视角下对目标的精准高效跟踪。首先，引入通道可分离卷积，实现目标检测模型的轻量化；其次，构造融合空间注意力机制的小目标检测分支，提高对小微目标的检测精度，最后，优化目标跟踪算法的外观重识别网络，提高多目标跟踪效率。使用Visdrone2019-MOT数据集对所提算法进行验证，实验结果表明，所提算法的MOTA值提高了0.６%，FPS值为21.31帧/s，在模型大小和跟踪精度上实现了较好的平衡。     

基于多尺度融合的自适应无人机目标跟踪算法

针对无人机（UAV）跟踪过程中目标的尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于多尺度注意力和特征融合的自适应无人机航拍目标跟踪算法。首先,考虑到无人机视角下干扰信息多,构建了深层多样化特征提取网络,提供鲁棒表征目标的语义特征和多样化特征;其次,设计的多尺度注意力模块,抑制干扰信息的同时保留了不同尺度的目标信息;然后特征融合模块将不同层特征进行融合,有效整合了细节信息和语义信息;最后,使用多个基于无锚框策略的区域建议模块自适应感知目标的尺度变化,充分利用整合的特征信息实现对目标的精准定位与稳定跟踪。实验结果表明：该算法在数据集上的成功率和准确率为61.7%和81.5%,速度为40.5 frame/s。该算法对目标的辨别能力、尺度感知能力和抗干扰能力明显增强,能有效应对无人机跟踪过程中的常见挑战。     

基于IMM-UIF的多无人机纯角度机动目标跟踪

针对单无人机不能及时捕捉到目标的运动状态信息,很容易跟丢目标的问题,结合无迹信息滤波(UIF)算法和交互多模型(IMM)算法,提出了基于IMM-UIF的多无人机分布式融合估计算法。将各个无人机上的观测信息传输至中心节点,并统一优化各无人机的控制输入。仿真结果表明,基于IMM-UIF的多无人机分布式融合估计算法比基于IMM-UIF的单无人机跟踪精度提高了约30%,有效融合多无人机平台的量测信息,实现对目标稳定的高精度跟踪。     

基于深度强化学习的多无人机协同进攻作战智能规划

无人机依靠作战效费比高、灵活自主等优势逐步替代了有生力量作战,多无人机协同作战任务规划成为热点研究问题。针对传统任务规划采用的智能优化算法存在的依赖静态、低维的简单场景、机上计算较慢等不足,提出一种基于深度强化学习（DRL）的端到端的多无人机协同进攻智能规划方法。将压制敌防空作战（SEAD）任务规划过程建模为马尔科夫决策过程,建立基于近端策略优化（PPO）算法的SEAD 智能规划模型,通过两组实验验证智能规划模型的有效性和鲁棒性。结果表明：基于DRL 的智能规划方法可以实现快速、精细规划,适应未知、连续高维的环境态势,智能规划模型具有战术协同规划能力。     

基于多尺度分割注意力的无人机航拍图像目标检测算法

随着无人机（UAV）遥感技术的发展,无人机航拍图像目标检测逐渐成为无人机应用领域的一项核心技术,在交通规划、军事侦查及环境监测等领域具有重要应用价值。针对无人机图像中小目标实例多、背景复杂及特征提取困难的问题,提出一种基于多尺度分割注意力的无人机航拍图像目标检测算法MSA-YOLO。首先,利用嵌入在骨干网络瓶颈层的多尺度分割注意力单元建立多尺度特征间的远程依赖关系,从而强化关键特征的表达能力并抑制背景噪声干扰;其次,设计了一种自适应加权特征融合方法,该方法动态的优化各输出特征层权重,实现浅层特征与深层特征的深度融合;最后,在VisDrone公开数据集上的实验结果表明：该方法取得了34.7%的平均均值精度（mAP）,相比于基线算法YOLOv5提高了2.8%,在复杂背景下仍能显著提升无人机图像目标检测性能。     

基于自适应深度网络的无人机目标跟踪算法

针对无人机（UAV）视频中目标易受到遮挡、形变、复杂背景干扰等问题,提出一种基于自适应深度网络的无人机目标跟踪算法。首先,基于主成分分析（PCA）和卷积神经网络（CNN）算法,设计3阶的自适应深度网络进行目标特征提取,该网络对图像的H、S、I通道分别进行主成分分析学习,将得到的特征向量输入网络进行分层卷积,优化了网络结构,提高了网络的收敛速度和精度。其次,将目标深度特征输入核相关滤波算法进行目标跟踪,通过分析相邻2帧图像的变化率,采用分段自适应调整学习率的算法进行目标模板更新,有效地改善目标遮挡问题。仿真实验结果表明,该算法有效地避免了复杂因素干扰导致的跟踪精度下降,具有较好的鲁棒性,相较于全卷积跟踪（FCNT）算法平均跟踪精度提高了9.62%,平均跟踪成功率提高了11.9%。     

基于自适应融合网络的无人机目标跟踪算法

针对无人机视频跟踪过程中,目标占比较小且易受复杂背景信息干扰等问题,提出一种基于自适应融合网络的无人机目标跟踪算法。首先,基于感受野模块和残差网络构建深度网络模型,能够有效提取目标特征并增强特征的有效感受野;其次,提出一种多尺度自适应融合网络,能够自适应地融合深层网络的语义特征和浅层网络的细节特征,增强特征的表达能力;最后,将融合的目标特征输入到相关滤波模型中,计算出响应图的最大置信分数,从而确定跟踪目标位置。仿真实验结果表明,该算法在跟踪成功率和精确率上都达到了较高水平,有效提升了无人机目标跟踪算法性能。     

基于立体视觉的监控视频人体目标跟踪

针对普通单目监控视频无法得到视频中目标深度信息的问题,以及人体目标在视频画面中因大小变化而不能被准确检测的问题,提出了一种综合双目视觉测距进行视频中人体目标的检测和跟踪的算法。算法可以根据人体目标在视频画面中的大小,按全部人体、人体的肩部以上区域、人脸的顺序进行检测,并显示被检测出的区域相对于摄像机的距离。完成在视频画面中标记检测区域,并显示检测区域和摄像机之间距离的任务。     

基于自适应Siamese网络的无人机目标跟踪算法

无人机已被广泛应用到军事和民用领域,目标跟踪是无人机应用的关键技术之一。针对无人机跟踪过程中目标易发生形变、遮挡等问题,提出一种基于自适应Siamese网络的无人机目标跟踪算法。首先,利用2个卷积网络构建一个5层Siamese网络,通过对模板特征与当前帧图像特征进行卷积得到目标位置;其次,利用高斯混合模型对以往的预测结果进行建模并建立目标模板库;然后,从模板库中挑选出最可靠的目标模板并以此更新Siamese网络的匹配模板,使Siamese网络能够自适应目标的外观变化;最后,引入回归模型进一步精确目标位置,降低背景对网络性能的影响。仿真实验结果表明：该算法有效降低了形变、遮挡等情况对跟踪性能的影响,具有较高的准确率。     

基于深度强化学习的固定翼无人机编队协调控制方法

由于运动学的复杂性和环境的动态性,控制一组无人机遂行任务目前仍面临较大挑战。首先,以固定翼无人机为研究对象,考虑复杂动态环境的随机性和不确定性,提出了基于无模型深度强化学习的无人机编队协调控制方法。然后,为平衡探索和利用,将ε-greedy策略与模仿策略相结合,提出了ε-imitation动作选择策略;结合双重Q学习和竞争架构对DQN（Deep Q-Network）算法进行改进,提出了ID3QN（Imitative Dueling Double Deep Q-Network）算法以提高算法的学习效率。最后,构建高保真半实物仿真系统进行硬件在环仿真飞行实验,验证了所提算法的适应性和实用性。