无人机航拍影像目标检测与语义分割的深度学习方法研究进展

无人机（UAV）因其小型轻便、操作简单等优点获得了广泛的应用。将深度学习方法与无人机系统相结合,有助于在清晰度高、视野范围广的无人机航拍影像上快速准确地检测出所需目标,相关课题已成为当前的研究热点之一。对近十年来无人机航拍影像目标检测与语义分割的深度学习方法研究进展进行了综述。首先概述了无人机及其航拍影像的特点和广泛的应用场景,简述了无人机航拍影像目标检测与语义分割方法的发展历程。然后对基于深度学习的无人机航拍影像目标检测与语义分割方法按照不同的网络模型进行分类,分别总结了它们的改进策略、应用场景、贡献和局限性。随后收集梳理了近些年无人机航拍影像的数据集,归纳了常用的卷积神经网络模型的评价指标。最后指出了本领域目前存在的相关问题,并对未来的研究趋势进行了展望。     

航拍视频拼图中基于梯度域的多帧图像融合方法

图像融合是视频拼图中获得高质量合成图像的重要步骤。利用梯度信息引导插值融合重合区域较小的两幅图像已经取得较好的效果,然而对于视频拼图而言,相邻两帧图像之间重合区域大,且多帧图像之间交叠重合,给这种方法的实际应用带来限制。为解决这一问题,设计梯度域内同时融合多帧图像的策略,利用图像的自然边界将拼图平面进行区域划分,在各区域内分别定义引导矢量场和边界条件,实现各划分区域的一次性融合。为克服拼图平面的过划分问题,提出相应的帧选择方法和区域合并算法。将该策略用于视频拼图实验,获得了视觉效果良好的合成图像,并提高了融合效率。     

基于YOLOv4的无人机航拍视频实时检测

相对于其他检测器，YOLOv4具有较高的检测准确度和速度。通过对离线航拍视频截取关键帧组成样本图片，按照检测目标类型对图片包含的目标进行分类，再使用labelimg工具对样本图片进行标注，最终形成所需的训练数据集。实验中采用迁移学习方法对数据集进行训练，实验结果表明，训练生成的模型在测试集上平均均值精度（mAP）达到62.77%，召回率（Recall）达到90.25%，在配备NVIDIA P4000显卡的计算机上可达到每秒20帧的检测速度，满足实时目标检测需求，可应用在实际工程实践中。     

基于深度学习的无人机航拍视频多目标检测与跟踪研究进展

随着无人机航拍的数据采集愈加便捷，以无人机为平台的多目标检测与跟踪技术发展迅速，在智慧城市、环境监测、地质探测、精准农业和灾害预警等民用和军事领域有着广泛的应用前景，近年来深度学习的突飞猛进也为其提供了多种更为有效的解决思路。然而，无人机视角下目标外观发生突变、目标区域被严重遮挡以及目标消失和重现等挑战性的问题尚未完全解决。综述了基于深度学习的无人机航拍视频多目标检测与跟踪算法，总结了该领域的最新进展，包括多目标检测、多目标跟踪2个模块。多目标检测模块划分为双阶段与单阶段两个部分。对于多目标跟踪模块则依据基于检测的跟踪和联合检测的跟踪2个经典框架，分别阐述了2类算法的原理并分析其优缺点。随后对现有的公开数据集进行统计分析，并对基于无人机航拍视频的多目标检测与跟踪领域内标杆挑战赛VisDrone Challenge近年来的最优方案进行了对比分析。最后总结了无人机视角下多目标检测与跟踪亟待解决的问题并展望未来可能的研究方向，为后续相关研究的人员提供参考。