结合空间注意力机制的实时鲁棒视觉跟踪

为提高全卷积孪生网络(SiamFC)跟踪器在复杂场景下的跟踪能力,缓解跟踪器在跟踪过程中出现的目标漂移问题,提出一种结合空间注意力机制的实时目标跟踪算法。在SiamFC框架基础上,将改进的视觉几何组(VGG)网络作为主干网络,增强跟踪器对于目标深度特征的建模能力。对自注意力机制进行优化,提出一种即插即用的轻量级单卷积注意力模块(SCAM),将空间注意力分解为2个并行的一维特征编码过程,减少空间注意力的计算复杂度。保留跟踪过程中的初始目标模板作为第1模板,通过分析连通域在跟踪结果响应图的变化动态选择第2模板,融合2个模板后对目标进行定位。实验结果表明：在OTB100、LaSOT和UAV123数据集上,所提算法相比于SiamFC跟踪成功率分别提高了0.082、0.045和0.045,跟踪精度分别提高了0.118、0.051和0.062;在VOT2018数据集上,所提算法相比于SiamFC在跟踪准确率、鲁棒性和期望平均重叠率上分别提高了0.029、0.276和0.134;跟踪速度达到了70帧/s,能够满足实时跟踪的需求。     

基于高层语义嵌入的孪生网络跟踪算法

在不加深网络的前提下,为提高孪生网络的特征表达能力,提出基于高层语义嵌入的孪生网络跟踪算法。利用卷积和上采样运算设计了语义嵌入模块,有效融合了深层特征和浅层特征,达到了优化浅层特征的目的,且该模块可以针对任意网络进行灵活的设计与部署。在孪生网络框架下,对AlexNet骨干网络不同层之间添加2个语义嵌入模块。在离线训练阶段进行循环优化,使深层语义信息逐渐转移到较浅的特征层,在跟踪阶段,舍弃语义嵌入模块,仍采用原始的网络结构。实验结果表明：相比于SiamFC,所提算法在OTB2015数据集上精度提高了0.102,成功率提高了0.054。     

基于双注意力混洗的无人机航拍目标跟踪算法

针对无人机（UAV）跟踪过程中目标经常出现尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于双注意力混洗的多尺度无人机实时跟踪算法。考虑到无人机视角下目标像素点少,构建了双采样融合的深层网络,既提供了语义信息丰富的深度特征,又保留了目标的细节信息;设计了双注意力混洗模块,通道注意力和空间注意力同时分组筛选提取到的特征信息,混洗不同通道间的信息,加强信息交流,提高了算法辨别能力;为利用不同层的特征信息,加入多个区域建议网络完成目标的分类和回归,并针对无人机的目标特点,将结果进行加权融合。实验结果表明：所提算法在数据集上的成功率和准确率分别为60.3%和79.3%,速度为37.5帧/s。所提算法的辨别能力和多尺度适应能力明显增强,能有效应对无人机跟踪中常见的挑战。     

基于高效注意力和上下文感知的目标跟踪算法

基于匹配思想的孪生网络算法缺乏对目标的整体性感知,容易出现对目标状态估计不够精准和在复杂环境中跟丢的现象。为此,在孪生网络的基础上设计了2个轻量级的模块来实现更精准、更鲁棒的目标跟踪。在提取特征的主干网络之后,嵌入一个高效通道注意力模块,实现高效提取目标特征并增强差异化表示,使网络更注重于目标信息;模板匹配之后的特征通过一个局部上下文感知模块,增强网络对目标的整体感知,以应对跟踪过程中复杂多变的环境;采用Anchor-free的状态估计策略实现对目标的精准估计。实验结果表明:所提算法SiamCC在数据集OTB100、VOT2016和VOT2018上的测试结果均好于DaSiamRPN、ATOM等算法,并且跟踪速度达到了85帧/s。      

基于改进YOLOv5s的安全帽检测算法

针对现有安全帽检测算法难以检测小目标、密集目标等缺点，提出一种基于YOLOv5s的安全帽检测改进算法。采用DenseBlock模块来代替主干网络中的切片结构，提升网络的特征提取能力；在网络颈部检测层加入SE-Net通道注意力模块，引导模型更加关注小目标信息的通道特征，以提升对小目标的检测性能；对数据增强方式进行改进，丰富小尺度样本数据集；增加一个检测层以便能更好地学习密集目标的多级特征，从而提高模型应对复杂密集场景的能力。此外，构建一个面向密集目标及远距离小目标的安全帽检测数据集。实验结果表明：所提改进算法比原始YOLOv5s算法平均精确率（mAP@0.5）提升6.57%，比最新的YOLOX-L及PP-YOLOv2算法平均精确率分别提升1.05%与1.21%，在密集场景及小目标场景下具有较强的泛化能力。     

基于倒置残差注意力的无人机航拍图像小目标检测

针对无人机航拍图像背景复杂、小尺寸目标较多等问题,提出了一种基于倒置残差注意力的无人机航拍图像小目标检测算法。在主干网络部分嵌入倒置残差模块与倒置残差注意力模块,利用低维向高维的特征信息映射,获得丰富的小目标空间信息和深层语义信息,提升小目标的检测精度;在特征融合部分设计多尺度特征融合模块,融合浅层空间信息和深层语义信息,并生成4个不同感受野的检测头,提升模型对小尺寸目标的识别能力,减少小目标的漏检;设计马赛克混合数据增强方法,建立数据之间的线性关系,增加图像背景复杂度,提升算法的鲁棒性。在VisDrone数据集上的实验结果表明：所提模型的平均精度均值比DSHNet模型提升了1.2%,有效改善了无人机航拍图像小目标漏检、误检的问题。     

基于通道注意力机制的行人重识别方法

针对行人特征表达不充分的问题,提出了一种基于通道注意力机制的行人重识别方法。将通道注意力机制SE模块嵌入到骨干网络ResNet50中,对关键特征信息进行加权强化;采用动态激活函数,根据输入特征动态调整ReLU的参数,增强网络模型的非线性表达能力;将梯度中心化算法引入Adam优化器,提升网络模型的训练速度和泛化能力。在Market1501、DukeMTMC-ReID和CUHK03主流数据集上对改进后的模型进行测试评价,Rank-1分别提升2.17%、2.38%和3.50%,mAP分别提升3.07%、3.39%和4.14%。结果表明:改进后的模型能够提取更强鲁棒性的行人表达特征,达到更高的识别精度。      

基于EM自注意力残差的图像超分辨率重建网络

基于深度学习的图像超分辨率(SR)重建方法主要通过增加模型的深度来提升图像重建的质量,但同时增加了模型的计算代价,很多网络利用注意力机制来提高特征提取能力,但难以充分学习到不同区域的特征。为此,提出一种基于期望最大化(EM)自注意力残差的图像超分辨率重建网络。该网络通过改进基础残差块,构建特征增强残差块,以更好地复用残差块中所提取的特征。为增加特征信息在空间上的相关性,引入EM自注意力机制,构建EM自注意力残差模块来增强模型中每个模块的特征提取能力,并通过级联EM自注意力残差模块来构建整个模型的特征提取结构。所获得的特征图通过上采样的图像重建模块获得重建的高分辨率图像。将所提方法与主流方法进行实验对比,结果表明：所提方法在5个流行的SR测试集上能够取得较好的主观视觉效果和更优的性能指标。     

基于深度学习的无人机视觉目标检测与跟踪

针对目标检测中小目标物体漏检率及误检率高等问题,提出了一种基于Yolov3-Tiny算法的改进模型。改进k-means聚类方法,增加3×3和1×1的卷积池化层,将第9层卷积输出上采样,并与第8层卷积得到的特征图进行连接,得到新的输出:52×52卷积层,形成新的特征金字塔。基于卡尔曼滤波算法实现目标跟踪,提出融合跟踪算法的检测网络,使用匈牙利匹配算法对检测边缘框与跟踪边缘框进行最优匹配,利用跟踪结果修正检测结果,提高了检测速度,同时提升了检测能力。在ROS、Gazebo和自动驾驶仪软件PX4的综合仿真环境下对所提算法进行了对比试验。试验结果表明:改进算法平均检测速度降低了15.6%,mAP提高了6.5%。融合跟踪算法后的网络平均检测速度提高了34.2%,mAP提高了8.6%。融合跟踪算法后的网络能够满足系统实时性和准确性的要求。      

基于改进空间通道信息的全局烟雾注意网络

针对烟雾因半透明、形状不规则和边界模糊造成分割困难的问题,提出了基于注意力机制的长距离信息建模方法,以提取长距离像素间的依赖和连续性关系。通过注意力机制作用原理,解决孤立小块区域误分类问题,减少非连续区域的烟雾误判。为避免注意力网络大尺寸矩阵运算造成的内存和计算负担,对空间和通道2种注意力方式进行改进,分别设计了双向定位空间注意力(BDA)模块和多尺度通道注意力(MSCA)融合模块,弥补现有注意力全局池化操作导致的大量空间信息丢失。将所提注意力模块和残差深度网络合并,构建面向图像烟雾分割的全局烟雾注意网络,在尽可能不丢失全局信息相关性的同时减少内存消耗。实验结果表明：所提网络在DS01、DS02、DS03合成烟雾测试集上,取得的平均交并比分别为73.13%、73.81%、74.25%,总体上优于对比算法。     

外观动作自适应目标跟踪方法

为降低目标运动时产生的外观形变对目标跟踪的影响，在DaSiamese-RPN基础上进行改进，提出了一种外观动作自适应的目标跟踪方法。在孪生网络的子网络中引入外观动作自适应更新模块，融合目标的时空信息和动作特征；利用2种欧氏距离分别度量真实图和预测图之间的全局和局部差异，并对二者加权融合构建损失函数，加强预测目标特征图与真实目标特征图之间全局和局部信息的关联性。在VOT2016、VOT2018、VOT2019和OTB100数据集上进行测试，实验结果表明:在VOT2016和VOT2018数据集上，预测平均重叠率分别提高4.5%和6.1%；在VOT2019数据集上，准确度提高0.4%，预测平均重叠率降低1%；在OTB100数据集上，跟踪成功率提高0.3%，精确度提高0.2%。      

改进U-Net网络及在遥感影像道路提取中的应用

高分辨率遥感图像分割在军事、民用等领域具有良好的应用前景,但由于复杂的背景条件以及干扰物的遮挡,导致现有算法无法较好地从遥感影像中提取道路细节信息。研究基于改进U Net网络模型,提出了MDAU-Net（multi dimension attention U-Net）网络结构模型,通过对U-Net网络结构加深至七层结构来提升精细分割道路的能力;并提出了一种多维注意力模块MD-MECA（multi dimension modified efficient channel attention）,将其添加至编码部分的特征传递步骤中,以达到对编码部分的特征传递进行优化的目的;其中利用DropBlock与Batch Normalization解决网络训练过程中出现的过拟合。试验结果表明:改进后算法可以有效提升道路的提取效果,在测试集上的准确率达到了97.04%。     

基于动态特征选择的遥感图像目标检测算法

在遥感图像目标检测领域内,旋转物体的检测存在挑战,卷积神经网络在提取信息时会受制于固定的空间结构,采样点无法聚焦于目标;遥感图像尺度变化大,不同物体需要具有不同尺度感受野的特征映射,具有单一尺度感受野的特征映射无法包含所有有效信息。基于此,提出了可变形对齐卷积,根据候选边框调节采样点,并根据特征映射学习采样点的细微偏移,使采样点聚焦于目标,从而实现动态特征选择;同时提出了基于可变形对齐卷积的感受野自适应模块,对具有不同尺度感受野的特征映射进行融合,自适应地调整神经元的感受野。在公开数据集上的大量实验验证了所提算法可以提高遥感图像目标检测的精度。      

基于IoU约束的孪生网络目标跟踪方法

基于孪生网络的跟踪方法通过离线训练跟踪模型,不需要对跟踪模型进行在线更新,兼顾了跟踪精度和速度。现有孪生网络目标跟踪方法使用固定阈值选择正负训练样本易造成训练样本漏选问题,且训练时分类分支和回归分支之间存在低相关性问题,不利于训练出高精度的跟踪模型。为此,提出了一种基于交并比(IoU)约束的孪生网络目标跟踪方法。通过使用动态阈值策略根据预定义锚框与目标真实框的相关统计特征,动态调整正负训练样本的界定阈值,提升跟踪精度。所提方法使用IoU质量评估分支代替分类分支,通过锚框与目标真实框之间的IoU反映目标位置,提升跟踪精度,降低模型的参数量。在数据集VOT2016、OTB-100、VOT2019、UAV123上进行了对比实验,所提方法均有较好的表现。在VOT2016数据集上,所提方法的跟踪精度比SiamRPN方法高0.017,期望平均重叠率为0.463,与SiamRPN++相比仅差0.001,实时运行速度可达220帧/s。      

一种高效准确的视觉SLAM闭环检测算法

同步定位与地图构建（SLAM）是视觉导航领域的关键技术之一,闭环检测是SLAM的基础问题。针对视觉SLAM闭环检测准确率不高的问题,提出一种高效准确的闭环检测算法。该算法由词袋模型、图像结构校验、跟踪预测模型3个模块构成。首先,将局部特征与全局特征相结合,设计了词袋模型与图像结构校验模块。词袋模型通过视觉单词比较图像之间的相似性,得到闭环候选帧。然后,图像结构校验模块灰度化、归一化当前图像与闭环候选图像。归一化之后的图像被直接作为局部特征的邻域,计算得到全局描述符,通过全局描述符判断闭环候选帧是否为有效的闭环。最后,针对传统闭环检测算法耗时随图像数量增加而显著增加的问题,设计了跟踪预测模块,以提高计算效率。实验中,与主流的DBoW算法相比,提出的闭环检测算法的准确率提升了20%以上,实时性也有更好的表现。