基于级联注意力机制的孪生网络视觉跟踪算法

针对全卷积孪生网络（SiamFC）在相似物体干扰及目标发生大尺度外观变化时容易跟踪失败的问题，提出了一种基于级联注意力机制的孪生网络视觉跟踪算法。首先，在网络的最后一层加入非局部注意力模块，从空间维度得到关于目标区域的自注意特征图，并与最后一层特征进行相加运算。其次，考虑到不同通道特征对不同目标和各类场景的响应差异，引入通道注意力模块实现对特征通道的重要性选择。为了进一步提高跟踪的鲁棒性，将其与SiamFC算法进行加权融合，得到最终的响应图。最后，将提出的孪生网络模型在GOT10k和VID数据集上进行联合训练，进一步提升模型的表达力与判别力。实验结果表明:所提算法相比于SiamFC，在跟踪精度上提高了9.3%，在成功率上提高了5.4%。      

基于高效注意力和上下文感知的目标跟踪算法

基于匹配思想的孪生网络算法缺乏对目标的整体性感知，容易出现对目标状态估计不够精准和在复杂环境中跟丢的现象。为此，在孪生网络的基础上设计了2个轻量级的模块来实现更精准、更鲁棒的目标跟踪。在提取特征的主干网络之后，嵌入一个高效通道注意力模块，实现高效提取目标特征并增强差异化表示，使网络更注重于目标信息；模板匹配之后的特征通过一个局部上下文感知模块，增强网络对目标的整体感知，以应对跟踪过程中复杂多变的环境；采用Anchor-free的状态估计策略实现对目标的精准估计。实验结果表明:所提算法SiamCC在数据集OTB100、VOT2016和VOT2018上的测试结果均好于DaSiamRPN、ATOM等算法，并且跟踪速度达到了85帧/s。      

基于倒置残差注意力的无人机航拍图像小目标检测

针对无人机航拍图像背景复杂、小尺寸目标较多等问题,提出了一种基于倒置残差注意力的无人机航拍图像小目标检测算法。在主干网络部分嵌入倒置残差模块与倒置残差注意力模块,利用低维向高维的特征信息映射,获得丰富的小目标空间信息和深层语义信息,提升小目标的检测精度;在特征融合部分设计多尺度特征融合模块,融合浅层空间信息和深层语义信息,并生成4个不同感受野的检测头,提升模型对小尺寸目标的识别能力,减少小目标的漏检;设计马赛克混合数据增强方法,建立数据之间的线性关系,增加图像背景复杂度,提升算法的鲁棒性。在VisDrone数据集上的实验结果表明：所提模型的平均精度均值比DSHNet模型提升了1.2%,有效改善了无人机航拍图像小目标漏检、误检的问题。     

基于双注意力混洗的无人机航拍目标跟踪算法

针对无人机（UAV）跟踪过程中目标经常出现尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于双注意力混洗的多尺度无人机实时跟踪算法。考虑到无人机视角下目标像素点少,构建了双采样融合的深层网络,既提供了语义信息丰富的深度特征,又保留了目标的细节信息;设计了双注意力混洗模块,通道注意力和空间注意力同时分组筛选提取到的特征信息,混洗不同通道间的信息,加强信息交流,提高了算法辨别能力;为利用不同层的特征信息,加入多个区域建议网络完成目标的分类和回归,并针对无人机的目标特点,将结果进行加权融合。实验结果表明：所提算法在数据集上的成功率和准确率分别为60.3%和79.3%,速度为37.5帧/s。所提算法的辨别能力和多尺度适应能力明显增强,能有效应对无人机跟踪中常见的挑战。     

结合空间注意力机制的实时鲁棒视觉跟踪

为提高全卷积孪生网络(SiamFC)跟踪器在复杂场景下的跟踪能力,缓解跟踪器在跟踪过程中出现的目标漂移问题,提出一种结合空间注意力机制的实时目标跟踪算法。在SiamFC框架基础上,将改进的视觉几何组(VGG)网络作为主干网络,增强跟踪器对于目标深度特征的建模能力。对自注意力机制进行优化,提出一种即插即用的轻量级单卷积注意力模块(SCAM),将空间注意力分解为2个并行的一维特征编码过程,减少空间注意力的计算复杂度。保留跟踪过程中的初始目标模板作为第1模板,通过分析连通域在跟踪结果响应图的变化动态选择第2模板,融合2个模板后对目标进行定位。实验结果表明：在OTB100、LaSOT和UAV123数据集上,所提算法相比于SiamFC跟踪成功率分别提高了0.082、0.045和0.045,跟踪精度分别提高了0.118、0.051和0.062;在VOT2018数据集上,所提算法相比于SiamFC在跟踪准确率、鲁棒性和期望平均重叠率上分别提高了0.029、0.276和0.134;跟踪速度达到了70帧/s,能够满足实时跟踪的需求。     

融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法

红外弱小目标的检测识别是军事侦察和遥感探测领域的一项关键技术。针对现有的传统目标检测方法普遍存在的检测误报率高、环境适应性差等问题,本文设计提出了一种基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法。该方法首先在基于编解码Unet网络架构的基础上,通过引入Swin Transformer的自注意力机制代替常规的卷积核来进行目标特征的分层提取,从而有助于在更大的感受野下挖掘目标在不同尺度下的潜在信息;之后,通过设计一个自底向上的跨层特征融合模块作为网络模型的解码器,可以从复杂背景中保留红外弱小目标特征,并将目标的浅层局部信息和深层语义信息进行充分融合。试验测试结果表明,所提方法在红外小目标公共测试数据集SIRST上能够实现0.747的交并比指标(IoU),以及0.752的归一化交并比指标(nIoU),其性能均优于其它典型方法,在不同复杂场景下均拥有更好的检测效果。     

基于深度学习的无人机视觉目标检测与跟踪

针对目标检测中小目标物体漏检率及误检率高等问题,提出了一种基于Yolov3-Tiny算法的改进模型。改进k-means聚类方法,增加3×3和1×1的卷积池化层,将第9层卷积输出上采样,并与第8层卷积得到的特征图进行连接,得到新的输出:52×52卷积层,形成新的特征金字塔。基于卡尔曼滤波算法实现目标跟踪,提出融合跟踪算法的检测网络,使用匈牙利匹配算法对检测边缘框与跟踪边缘框进行最优匹配,利用跟踪结果修正检测结果,提高了检测速度,同时提升了检测能力。在ROS、Gazebo和自动驾驶仪软件PX4的综合仿真环境下对所提算法进行了对比试验。试验结果表明:改进算法平均检测速度降低了15.6%,mAP提高了6.5%。融合跟踪算法后的网络平均检测速度提高了34.2%,mAP提高了8.6%。融合跟踪算法后的网络能够满足系统实时性和准确性的要求。      

基于改进型YOLO算法的遥感图像舰船检测

目标检测算法在PASCAL VOC等数据集中取得了非常好的检测效果，但是在大尺度遥感图像中舰船目标的检测准确率却很低。因此，针对可见光遥感图像的特点，在YOLOv3-Tiny算法的基础上增加了特征映射模块，为预测层提供丰富的语义信息，同时在特征提取网络中引用残差网络，提高了检测准确率，从而有效提取舰船特征。实验结果表明:优化后的M-YOLO算法检测准确率为94.12%。相比于SSD和YOLOv3算法，M-YOLO算法的检测准确率分别提高了11.11%和9.44%。      

基于多模态联合语义感知的零样本目标检测

零样本目标检测借助语义嵌入作为引导信息,将未见过的物体的视觉特征与类别语义嵌入映射到同一空间,根据其在映射空间的距离进行分类,但由于语义信息获取的单一性,视觉信息缺乏可靠表示,易混淆背景信息和未见过对象信息,使得视觉和语义之间很难无差别对齐。基于此,借助视觉上下文模块捕捉视觉特征的上下文信息,并通过语义优化模块对文本上下文和视觉上下文信息进行交互融合,增加视觉表达的多样化,使模型感知到前景的辨别性语义,从而有效地实现零样本目标检测。在MS-COCO的2个划分数据集上进行实验,在零样本目标检测和广义零样本目标检测的准确率和召回率上取得了提升,结果证明了所提方法的有效性。     

复杂背景下机场道面细带状结构病害检测算法

机场道面裂缝、角隅断裂、接缝破碎、修补等病害宽度狭小、长短不一、图像中像素占比少,呈细带状结构,且与复杂背景对比度低,现有检测算法效果不佳。针对以上问题,提出了一种基于注意力机制与特征融合的深度神经网络模型DetMSPNet。首先,利用注意力机制模块CBAM,使得特征学习更加专注于细带状结构病害区域,抑制干扰信息;其次,构建残差空洞金字塔模块,提取不同尺度空间下的特征信息;然后,设计最大池化支路,便于之后浅、深层不同层次特征进行融合,加强模型对于病害的定位能力,并且将深层特征输入3种不同扩张率的扩张卷积和金字塔池化模块,使得病害特征包含更多全局上下文信息;最后,对所有层输出的病害特征信息进行融合,实现不同尺度、不同层次特征的信息互补。与目前3种经典的目标检测算法在机场道面病害图像数据集APD上做了对比实验,结果表明:所提算法的mAP达到78.51%,优于对比算法。所提DetMSPNet模型,提高了算法对机场道面细带状结构病害检测中宽度狭小、长短不一、图像中像素占比少、与复杂背景对比度低等情况的适应能力。      

基于深度视觉语义嵌入的视频缩略图推荐

视频缩略图作为视频内容最直观的表现形式,在视频共享网站中发挥很重要的作用,是吸引用户是否会点击观看该视频的关键要素之一。一句与视频内容相关的描述性语句,再搭配一幅与语句内容相关的视频缩略图,往往对用户更有吸引力,因此提出一种深度视觉语义嵌入模型来构建完整的视频缩略图推荐框架。该模型首先使用卷积神经网络（CNN）来提取视频关键帧的视觉特征,并使用循环神经网络（RNN）来提取描述语句的语义特征,再将视觉特征与语义特征嵌入到维度相同的视觉语义潜在空间;然后通过比较视觉特征与语义特征之间的相关性来推荐与特定的描述语句内容密切相关的视频关键帧作为视频缩略图推荐结果。在不同类型的网络视频数据上的实验表明,所提方法能够有效地从网络视频中推荐出与给定描述性语句内容较相关的视频缩略图序列,提升视频的用户浏览体验。      

外观动作自适应目标跟踪方法

为降低目标运动时产生的外观形变对目标跟踪的影响，在DaSiamese-RPN基础上进行改进，提出了一种外观动作自适应的目标跟踪方法。在孪生网络的子网络中引入外观动作自适应更新模块，融合目标的时空信息和动作特征；利用2种欧氏距离分别度量真实图和预测图之间的全局和局部差异，并对二者加权融合构建损失函数，加强预测目标特征图与真实目标特征图之间全局和局部信息的关联性。在VOT2016、VOT2018、VOT2019和OTB100数据集上进行测试，实验结果表明:在VOT2016和VOT2018数据集上，预测平均重叠率分别提高4.5%和6.1%；在VOT2019数据集上，准确度提高0.4%，预测平均重叠率降低1%；在OTB100数据集上，跟踪成功率提高0.3%，精确度提高0.2%。      

小样本下基于孪生神经网络的柱塞泵故障诊断

针对目前基于深度神经网络的柱塞泵故障诊断方法在小样本条件下精度低、模型欠拟合问题,提出一种小样本条件下基于孪生神经网络的柱塞泵故障诊断方法。搭建了柱塞泵故障实验台,采集柱塞泵在不同健康状态下的壳体振动信号;使用由卷积层和池化层组成孪生子网络自适应地从原始振动信号中提取低维特征,使用欧式距离判定输入样本对的特征相似度;通过相似度对比的方法扩大训练样本数量并训练孪生神经网络模型;最后,对测试样本进行健康状态识别。实验结果表明：与传统深度神经相比,所提方法在小样本情况下具有更高的准确率。同时,多通道数据融合实验表明：所提方法能够从不同通道的信号中学习到有关故障信息,多通道数据融合可以进一步提高诊断准确率。