基于倒置残差注意力的无人机航拍图像小目标检测

针对无人机航拍图像背景复杂、小尺寸目标较多等问题,提出了一种基于倒置残差注意力的无人机航拍图像小目标检测算法。在主干网络部分嵌入倒置残差模块与倒置残差注意力模块,利用低维向高维的特征信息映射,获得丰富的小目标空间信息和深层语义信息,提升小目标的检测精度;在特征融合部分设计多尺度特征融合模块,融合浅层空间信息和深层语义信息,并生成4个不同感受野的检测头,提升模型对小尺寸目标的识别能力,减少小目标的漏检;设计马赛克混合数据增强方法,建立数据之间的线性关系,增加图像背景复杂度,提升算法的鲁棒性。在VisDrone数据集上的实验结果表明：所提模型的平均精度均值比DSHNet模型提升了1.2%,有效改善了无人机航拍图像小目标漏检、误检的问题。     

融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

基于动态特征选择的遥感图像目标检测算法

在遥感图像目标检测领域内,旋转物体的检测存在挑战,卷积神经网络在提取信息时会受制于固定的空间结构,采样点无法聚焦于目标;遥感图像尺度变化大,不同物体需要具有不同尺度感受野的特征映射,具有单一尺度感受野的特征映射无法包含所有有效信息。基于此,提出了可变形对齐卷积,根据候选边框调节采样点,并根据特征映射学习采样点的细微偏移,使采样点聚焦于目标,从而实现动态特征选择;同时提出了基于可变形对齐卷积的感受野自适应模块,对具有不同尺度感受野的特征映射进行融合,自适应地调整神经元的感受野。在公开数据集上的大量实验验证了所提算法可以提高遥感图像目标检测的精度。      

基于高层语义嵌入的孪生网络跟踪算法

在不加深网络的前提下,为提高孪生网络的特征表达能力,提出基于高层语义嵌入的孪生网络跟踪算法。利用卷积和上采样运算设计了语义嵌入模块,有效融合了深层特征和浅层特征,达到了优化浅层特征的目的,且该模块可以针对任意网络进行灵活的设计与部署。在孪生网络框架下,对AlexNet骨干网络不同层之间添加2个语义嵌入模块。在离线训练阶段进行循环优化,使深层语义信息逐渐转移到较浅的特征层,在跟踪阶段,舍弃语义嵌入模块,仍采用原始的网络结构。实验结果表明：相比于SiamFC,所提算法在OTB2015数据集上精度提高了0.102,成功率提高了0.054。     

基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法

红外弱小目标的检测识别是军事侦察和遥感探测领域的一项关键技术。针对现有的传统目标检测方法普遍存在的检测误报率高、环境适应性差等问题,本文设计提出了一种基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法。该方法首先在基于编解码Unet网络架构的基础上,通过引入Swin Transformer的自注意力机制代替常规的卷积核来进行目标特征的分层提取,从而有助于在更大的感受野下挖掘目标在不同尺度下的潜在信息;之后,通过设计一个自底向上的跨层特征融合模块作为网络模型的解码器,可以从复杂背景中保留红外弱小目标特征,并将目标的浅层局部信息和深层语义信息进行充分融合。试验测试结果表明,所提方法在红外小目标公共测试数据集SIRST上能够实现0.747的交并比指标(IoU),以及0.752的归一化交并比指标(nIoU),其性能均优于其它典型方法,在不同复杂场景下均拥有更好的检测效果。     

基于立体图像的多路径特征金字塔网络3D目标检测

3D目标检测是计算机视觉和自动驾驶中一项重要的场景理解任务。当前基于立体图像的3D目标检测方法大多没有充分考虑多个目标之间的尺度存在较大差异,从而尺度小的物体容易被忽略,导致检测精度低。针对这一问题,提出了一种基于立体图像的多路径特征金字塔网络(MpFPN)3D目标检测方法。MpFPN对特征金字塔网络进行了扩展,增加了自底向上的路径、由上至下的路径及输入特征图到输出特征图之间的连接,为联合区域提议网络提供了更高语义信息和更细粒度空间信息的多尺度特征信息。实验结果表明:在3D目标检测KITTI数据集上,无论在场景简单、中等、复杂情况下,所提方法获得的结果都优于比较方法的结果。      

遥感图像的显著-概要特征提取与目标检测

针对巨幅遥感图像的目标检测问题,提出了一种基于显著-概要特征的遥感图像自动目标检测算法.采用滑动窗口将巨幅遥感图像划分为若干个小尺度的区域,针对各个小尺度分块图像,借鉴人类视觉生理功能特性之原理,提取其显著特征和概要特征,其中的显著特征代表了图像中的显著信息及显著区域空间分布和关联信息,概要特征可从整体上反映该区域的背景/目标关联信息.通过对分块区域图像的分类鉴别以实现目标检测.实验结果表明:此方法能以高可靠性和高精确度检测出巨幅遥感图像中的目标.     

面向天基监视的红外弱小飞行目标识别算法

针对当前红外弱小飞行目标特征不明显、背景干扰大等问题,提出了一种基于深度学习的红外弱小目标识别算法。检测框架以YOLOv4模型为基础,通过使用K-means++算法对训练集的候选框进行聚类处理,在初始大小的选取上放弃随机生成初始点的方式,在样本集里选取某一个样本作为初始中心使锚框（anchor）大小的选取更加合理。在模型结构中引入卷积注意力模块,使算法模型计算资源分配更合理,对红外弱小飞行目标的特征信息更加敏感。改进空间金字塔池化模块,使用平均池化可以更多保留图像的原始信息,降低天基成像中的噪点与坏点的影响。仿真实验表明采用K-means++计算Anchor大小时准确率可以达到80.13%,在加入了SPP和CBAM模块后之后在测试集上算法识别准确率达到了83.3%,经过对模型的修改有效提升了对红外弱小飞行目标识别的准确率。     

基于YOLOv5的红外目标检测算法

针对红外图像的特点,提出了一种YOLOv5-IF算法,使用了基于残差机制的特征提取网络,实现了不同特征层之间信息的高效交互,能够得到更丰富的目标语义信息。通过改进YOLOv5的检测方案,增加更大尺度的检测头,有效提升了红外图像中小目标的检测概率。针对计算平台资源有限、算法实时性等问题,设计了Detection Block模块,并由此构建了特征整合网络,该模块不仅能提升算法检测精度,还有效缩减了模型参数量。在FLIR红外自动驾驶数据集上,本文算法的平均准确率（mAP）为74%,参数量仅19.5MB,优于现有的算法。     

基于改进型YOLO算法的遥感图像舰船检测

目标检测算法在PASCAL VOC等数据集中取得了非常好的检测效果，但是在大尺度遥感图像中舰船目标的检测准确率却很低。因此，针对可见光遥感图像的特点，在YOLOv3-Tiny算法的基础上增加了特征映射模块，为预测层提供丰富的语义信息，同时在特征提取网络中引用残差网络，提高了检测准确率，从而有效提取舰船特征。实验结果表明:优化后的M-YOLO算法检测准确率为94.12%。相比于SSD和YOLOv3算法，M-YOLO算法的检测准确率分别提高了11.11%和9.44%。      

基于高效注意力和上下文感知的目标跟踪算法

基于匹配思想的孪生网络算法缺乏对目标的整体性感知，容易出现对目标状态估计不够精准和在复杂环境中跟丢的现象。为此，在孪生网络的基础上设计了2个轻量级的模块来实现更精准、更鲁棒的目标跟踪。在提取特征的主干网络之后，嵌入一个高效通道注意力模块，实现高效提取目标特征并增强差异化表示，使网络更注重于目标信息；模板匹配之后的特征通过一个局部上下文感知模块，增强网络对目标的整体感知，以应对跟踪过程中复杂多变的环境；采用Anchor-free的状态估计策略实现对目标的精准估计。实验结果表明:所提算法SiamCC在数据集OTB100、VOT2016和VOT2018上的测试结果均好于DaSiamRPN、ATOM等算法，并且跟踪速度达到了85帧/s。      

一种时空特征聚合的水下珊瑚礁鱼检测方法

水下监控视频中的珊瑚礁鱼检测面临着视频成像质量不高、水下环境复杂、珊瑚礁鱼视觉多样性高等困难，是一个极具挑战的视觉目标检测问题，如何提取高辨识度的特征成为制约检测精度提升的关键。提出了一种时空特征聚合的水下珊瑚礁鱼检测方法，通过设计视觉特征聚合和时序特征聚合2个模块，融合多个维度的特征以实现这一目标。前者设计了自顶向下的切分和自底向上的归并方案，可实现不同分辨率多层卷积特征图的有效聚合；后者给出了一种帧差引导的相邻帧特征图融合方案，可通过融合多帧特征图强化运动目标及其周边区域的特征表示。公开数据集上的实验表明:基于以上2个模块设计的时空特征聚合网络可以实现对水下珊瑚礁鱼的有效检测，相比于多个主流方法和模型取得了更高的检测精度。      

基于跨尺度特征聚合网络的多尺度行人检测

行人的空间尺度差异是影响行人检测性能的主要瓶颈之一。针对这一问题，提出了跨尺度特征聚合网络（TS-FAN）有效检测多尺度行人。首先，鉴于不同尺度空间呈现出的特征差异性，引入一种基于多路径区域建议网络（RPN）的尺度补偿策略，其在多尺度卷积特征层上自适应地生成一系列与其感受野大小相对应的候选目标尺度集。其次，考虑到不同层次卷积特征在视觉语义上的互补性，提出了跨尺度特征聚合网络模块，其通过横向连接、自上而下路径和由底向上路径，有效地聚合具有语义鲁棒性的高层特征和具有精确定位信息的低层特征，实现对卷积层特征的增强表示。最后，联合多路径RPN尺度补偿策略和跨尺度特征聚合网络模块，构建了一种尺度自适应感知的多尺度行人检测网络。实验结果表明，所提方法与当前一流的行人检测方法TLL-TFA相比，在整个Caltech公开测试数据集上（All:行人高度大于20像素）的行人漏检率降低到26.21%（提高了11.94%），尤其对于Caltech小尺寸行人子数据集上（Far:行人高度在20~30像素之间）的行人漏检率降低到47.30%（提高了12.79%），同时在尺度变化剧烈的ETH数据集上的效果也取得显著提升。      

一种面向空间飞行器视觉导航的椭圆检测算法

基于椭圆特征的空间飞行器视觉导航技术是一种新颖的高精度空间探测自主导航方法,如何对空间目标的环形边缘进行精准提取和高效拟合是实现空间飞行器视觉导航的必要条件。针对该问题,提出一种面向空间飞行器视觉导航的椭圆检测算法。利用多项式逼近导航图像连续边缘段的方式提取椭圆弧段;通过基于极大似然假设检验理论构建的模型选择判据,对来自同一个椭圆的椭圆弧段进行准确合并;对合并后的椭圆弧段进行拟合,得到空间飞行器视觉导航的椭圆检测结果。大量的仿真实验表明：与传统的椭圆检测算法相比,所提算法具有较高的精度和更高的鲁棒性,可以广泛应用于空间飞行器视觉导航图像椭圆检测,为空间飞行器视觉导航算法提供精准的二次曲线输入。     

一种迭代聚合的高分辨率网络Anchor-free目标检测方法

针对目前Anchor-free目标检测方法CenterNet（ObjectsasPoints）生成热力图不准确、检测精度不足的问题，提出了一种基于特征迭代聚合的高分辨率表征网络CenterNet-DHRNet。首先，引入高分辨率表征骨干网络，并用迭代聚合的方式对不同分辨率的特征图进行融合，提高网络的分辨率，有效减少图像在下采样过程中损失的空间语义信息。其次，使用高效通道注意力机制对高分辨率表征骨干网络的输出进行优化。最后，利用结合空洞卷积的空间金字塔池化操作增强网络对不同尺度物体的感受野。实验在PASCALVOC数据集和KITTI数据集上进行，结果表明:CenterNet-DHRNet精度更高，满足实时检测的性能要求，具有良好的鲁棒性。      

基于改进Faster R-CNN的SAR图像飞机检测算法

在合成孔径雷达（SAR）图像分析领域，飞机作为一种重要目标，对其的检测越来越受到重视。针对传统SAR图像飞机检测算法需要人工设计特征且鲁棒性较差的问题，提出了一种基于改进Faster R-CNN的SAR图像飞机检测算法。制作了一个SAR图像飞机数据集（SAD），以Faster R-CNN为检测框架，利用改进k-means算法设计更合理的先验锚点框，以适应飞机目标的形状特点；借鉴inception模块思想，设计多路不同尺寸卷积核以扩展网络宽度，增强对浅层特征的表达；分析残差网络Layer5层的特征输出具有更大的感受野，对其上采样后进行特征融合以利用更多的上下文信息；同时引入Mask R-CNN算法中提出的RoI Align单元，消除特征图与原始图像的映射偏差。实验结果表明:相比原始的Faster R-CNN算法，所提改进的Faster R-CNN算法在SAR图像飞机数据集上平均检测精度提高了7.4%，同时保持了较快的检测速度。      

基于双注意力混洗的无人机航拍目标跟踪算法

针对无人机（UAV）跟踪过程中目标经常出现尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于双注意力混洗的多尺度无人机实时跟踪算法。考虑到无人机视角下目标像素点少,构建了双采样融合的深层网络,既提供了语义信息丰富的深度特征,又保留了目标的细节信息;设计了双注意力混洗模块,通道注意力和空间注意力同时分组筛选提取到的特征信息,混洗不同通道间的信息,加强信息交流,提高了算法辨别能力;为利用不同层的特征信息,加入多个区域建议网络完成目标的分类和回归,并针对无人机的目标特点,将结果进行加权融合。实验结果表明：所提算法在数据集上的成功率和准确率分别为60.3%和79.3%,速度为37.5帧/s。所提算法的辨别能力和多尺度适应能力明显增强,能有效应对无人机跟踪中常见的挑战。     

一种历史信息特征敏感的行人迭代检测方法

基于深度学习的目标检测算法通常需要使用非极大值抑制等后处理方法对预测框进行筛选，无法在行人拥挤的场景下平衡模型的检测精度和召回率。虽然迭代检测的方法可以解决非极大值抑制等方法带来的问题，但是重复检测同样会限制模型的性能。提出了一种历史信息特征敏感的行人迭代检测方法。引入带权重的历史信息特征（WHIC），提高特征的区分度；利用历史信息特征提取模块（HIFEM）得到不同尺度的历史信息特征，并融合进主网络中进行多尺度检测，增强了模型对历史信息特征的敏感度，有效抑制重复检测框的产生。实验结果表明：所提方法在拥挤场景的行人检测数据集CrowdHuman和WiderPerson上取得了最优的检测精度和召回率。     

基于深度视觉语义嵌入的视频缩略图推荐

视频缩略图作为视频内容最直观的表现形式,在视频共享网站中发挥很重要的作用,是吸引用户是否会点击观看该视频的关键要素之一。一句与视频内容相关的描述性语句,再搭配一幅与语句内容相关的视频缩略图,往往对用户更有吸引力,因此提出一种深度视觉语义嵌入模型来构建完整的视频缩略图推荐框架。该模型首先使用卷积神经网络（CNN）来提取视频关键帧的视觉特征,并使用循环神经网络（RNN）来提取描述语句的语义特征,再将视觉特征与语义特征嵌入到维度相同的视觉语义潜在空间;然后通过比较视觉特征与语义特征之间的相关性来推荐与特定的描述语句内容密切相关的视频关键帧作为视频缩略图推荐结果。在不同类型的网络视频数据上的实验表明,所提方法能够有效地从网络视频中推荐出与给定描述性语句内容较相关的视频缩略图序列,提升视频的用户浏览体验。      

面向目标检测的双驱自适应遥感图像超分重建方法

有光学遥感图像超分重建方法主要是生成视觉上令人满意的图像,并未考虑后续目标检测任务的特殊性,不能有效地应用到目标检测中。基于此,提出了面向目标检测的双驱动自适应多尺度光学遥感图像超分重建方法,将超分重建网络和目标检测网络结合起来,进行联合优化。针对光学遥感图像的特点设计了自适应多尺度遥感图像超分重建网络,集成选择性内核网络和自适应特征门控单元来特征提取和融合,重建出初步遥感图像。通过提出的双驱动模块,将特征先验驱动损失和任务驱动损失传到超分重建网络中,提高目标检测的性能。在UCAS-AOD和NWPU VHR-10数据集上进行实验,并与5种主流方法进行比较,所提方法的峰值信噪比和平均准确率相较于FDSR方法分别提高了1.86 dB和3.73%。实验结果表明,所提方法和光学遥感图像目标检测结合可以取得更好的效果,综合性能更佳。