嵌入注意力机制的多尺度深度可分离表情识别

针对面部表情识别中，传统机器学习方法特征提取较为复杂，浅层卷积神经网络识别率不高，以及深度卷积神经网络易带来梯度爆炸或弥散的问题，构建了残差网络嵌入注意力机制的多尺度深度可分离表情识别网络。通过多层多尺度深度可分离残差单元的叠加进行不同尺度的表情特征提取，使用CBAM注意力机制进行表情特征的筛选，提升有效表情特征权重的表达，削弱训练数据的噪声影响。所提网络模型在Fer-2103和CK+表情数据集分别取得了73.89%和97.47%的准确度，表明所提网络具有较强的泛化性。      

多尺度特征和注意力融合的生成对抗壁画修复

针对现有深度学习图像修复算法修复壁画时，存在特征提取不足及细节重构丢失等问题，提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征金字塔网络提取壁画中不同尺度的特征信息，增强特征关联性；采用自注意力机制及特征融合模块构建多尺度特征生成器，以获取丰富的上下文信息，提升网络的修复能力；引入最小化对抗损失与均方误差促进判别器的残差反馈，从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁画数字化修复的实验结果表明，所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息，并且主观视觉效果及客观评价指标均优于比较算法。     

基于倒置残差注意力的无人机航拍图像小目标检测

针对无人机航拍图像背景复杂、小尺寸目标较多等问题,提出了一种基于倒置残差注意力的无人机航拍图像小目标检测算法。在主干网络部分嵌入倒置残差模块与倒置残差注意力模块,利用低维向高维的特征信息映射,获得丰富的小目标空间信息和深层语义信息,提升小目标的检测精度;在特征融合部分设计多尺度特征融合模块,融合浅层空间信息和深层语义信息,并生成4个不同感受野的检测头,提升模型对小尺寸目标的识别能力,减少小目标的漏检;设计马赛克混合数据增强方法,建立数据之间的线性关系,增加图像背景复杂度,提升算法的鲁棒性。在VisDrone数据集上的实验结果表明：所提模型的平均精度均值比DSHNet模型提升了1.2%,有效改善了无人机航拍图像小目标漏检、误检的问题。     

基于改进空间通道信息的全局烟雾注意网络

针对烟雾因半透明、形状不规则和边界模糊造成分割困难的问题，提出了基于注意力机制的长距离信息建模方法，以提取长距离像素间的依赖和连续性关系。通过注意力机制作用原理，解决孤立小块区域误分类问题，减少非连续区域的烟雾误判。为避免注意力网络大尺寸矩阵运算造成的内存和计算负担，对空间和通道2种注意力方式进行改进，分别设计了双向定位空间注意力(BDA)模块和多尺度通道注意力(MSCA)融合模块，弥补现有注意力全局池化操作导致的大量空间信息丢失。将所提注意力模块和残差深度网络合并，构建面向图像烟雾分割的全局烟雾注意网络，在尽可能不丢失全局信息相关性的同时减少内存消耗。实验结果表明:所提网络在DS01、DS02、DS03合成烟雾测试集上，取得的平均交并比分别为73.13%、73.81%、74.25%，总体上优于对比算法。      

基于注意力机制的跨分辨率行人重识别

行人图像分辨率的变化对现有的行人重识别方法带来了很大的挑战。针对这一问题，提出了一种新的跨分辨率行人重识别方法。该方法从两方面解决分辨率变化带来的识别困难:一方面通过通道注意力机制和空间注意力机制捕捉人物特征获取局部区域；另一方面通过核动态上采样模块恢复任意分辨率图像的局部区域信息。为了验证所提方法的有效性，在Market1501、CUHK03和CAVIAR三个公开数据集上开展了对比实验，实验结果表明:所提方法取得了最佳性能。      

面向目标检测的双驱自适应遥感图像超分重建方法

有光学遥感图像超分重建方法主要是生成视觉上令人满意的图像,并未考虑后续目标检测任务的特殊性,不能有效地应用到目标检测中。基于此,提出了面向目标检测的双驱动自适应多尺度光学遥感图像超分重建方法,将超分重建网络和目标检测网络结合起来,进行联合优化。针对光学遥感图像的特点设计了自适应多尺度遥感图像超分重建网络,集成选择性内核网络和自适应特征门控单元来特征提取和融合,重建出初步遥感图像。通过提出的双驱动模块,将特征先验驱动损失和任务驱动损失传到超分重建网络中,提高目标检测的性能。在UCAS-AOD和NWPU VHR-10数据集上进行实验,并与5种主流方法进行比较,所提方法的峰值信噪比和平均准确率相较于FDSR方法分别提高了1.86 dB和3.73%。实验结果表明,所提方法和光学遥感图像目标检测结合可以取得更好的效果,综合性能更佳。      

一种基于伪影估计的低剂量CT图像降噪方法

低剂量CT(LDCT)包含丰富组织结构、病理信息和分布极其不规律的噪声伪影，这2种信息的幅度值分布规律相似。因此，LDCT降噪任务易出现特征提取不充分、网络对噪声伪影方向特性敏感度不足及降噪结果过度平滑等问题。为此，应用U-Net网络作为去噪网络的基本模型，设计了一种基于伪影估计的LDCT降噪网络。所提网络模型主要包括主特征提取网络和方向敏感注意力子网络2部分。为充分利用不同尺度特征之间的差异性，提高特征提取有效性，在编解码U-Net结构基础上增加了一个稠密特征增强模块；为提高降噪网络对噪声伪影方向特征的敏感度，设计了一个方向敏感注意力子网络；为保障网络训练稳定性，设计了多种损失函数来共同优化网络训练过程。实验结果表明：与目前主流的LDCT降噪方法相比，所提方法降噪结果的视觉效果与量化指标均表现最佳。     

基于深度残差收缩网络的滚动轴承故障诊断

滚动轴承的准确故障诊断是确保机械设备安全可靠运行的必要手段。针对多故障、长时间序列的滚动轴承振动信号，提出了一种基于深度残差收缩网络(DRSN)模型的故障诊断方法。首先，根据采集到的滚动轴承数据构造故障样本，针对多种故障类型下的长时间序列的振动信号，按照一定尺寸将长时间序列矩阵化，构成多故障类型的灰度图故障样本。从正常到故障的滚动轴承性能退化过程，通过多个采样点的随机采样，构造全寿命周期的故障样本用于故障诊断。其次，在多层深度学习模型基础上，将残差收缩网络模块加入到卷积神经网络(CNN)中构建深度残差收缩网络模型用于故障诊断，其中通过将残差项加入到网络中训练解决了多层网络模型的模型退化问题，利用软阈值化实现了样本降噪。最后，为了验证所提方法的有效性，采集了滚动轴承的多故障时间序列样本和全寿命周期故障样本用于故障诊断。实例验证的结果表明:所提深度残差收缩网络模型在处理含噪声样本时仍具有良好的鲁棒性，多层网络模型下没有明显的网络退化，能够保持较高的故障诊断正确率。在处理2种轴承故障数据集时，与其他模型相比，所提方法训练误差更低，平均故障诊断正确率提高1%~6%。      

深度学习机制与小波融合的超分辨率重建算法

深度学习技术在超分辨率重建领域中发展迅速。为了进一步提升重建图像的质量和视觉效果，针对基于生成对抗网络（GAN）的超分辨率重建算法重建图像的纹理放大后不自然的问题，提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。所提算法在生成对抗网络中将小波分解的每个分量在各自独立的子网中进行训练，实现网络对小波系数的预测，有效地重建出具有丰富的全局信息和局部纹理细节信息的高分辨率图像。实验结果表明，对比基于生成对抗网络的算法，所提算法重建图像的客观评价指标峰值信噪比（PSNR）和结构相似性分别能提高至少0.99 dB和0.031。      

复杂背景下机场道面细带状结构病害检测算法

机场道面裂缝、角隅断裂、接缝破碎、修补等病害宽度狭小、长短不一、图像中像素占比少,呈细带状结构,且与复杂背景对比度低,现有检测算法效果不佳。针对以上问题,提出了一种基于注意力机制与特征融合的深度神经网络模型DetMSPNet。首先,利用注意力机制模块CBAM,使得特征学习更加专注于细带状结构病害区域,抑制干扰信息;其次,构建残差空洞金字塔模块,提取不同尺度空间下的特征信息;然后,设计最大池化支路,便于之后浅、深层不同层次特征进行融合,加强模型对于病害的定位能力,并且将深层特征输入3种不同扩张率的扩张卷积和金字塔池化模块,使得病害特征包含更多全局上下文信息;最后,对所有层输出的病害特征信息进行融合,实现不同尺度、不同层次特征的信息互补。与目前3种经典的目标检测算法在机场道面病害图像数据集APD上做了对比实验,结果表明:所提算法的mAP达到78.51%,优于对比算法。所提DetMSPNet模型,提高了算法对机场道面细带状结构病害检测中宽度狭小、长短不一、图像中像素占比少、与复杂背景对比度低等情况的适应能力。      

自注意力相似度迁移跨模态哈希网络

为进一步提升跨模态检索性能,提出自注意力相似度迁移跨模态哈希网络模型。设计了一种通道空间混合自注意力机制强化关注图像的关键信息,并使用共同注意力方法加强模态信息交互,提高特征学习质量;为在哈希空间重构相似关系,采用迁移学习的方法利用实值空间相似度引导哈希码的生成。在3个常用的数据集MIRFLICKR-25K、IAPR TC-12和MSCOCO上与深度跨模态哈希（DCMH）、成对关系引导的深度哈希（PRDH）、跨模态汉明哈希（CMHH）等优秀方法进行对比实验,结果显示哈希码长度为64 bit的条件下,所提模型在3个数据集图像检索文本任务的平均精确度均值（MAP）达到72.3%,文本检索图像任务的MAP达到70%,高于对比方法。     

基于多尺度残差卷积网络的HEVC视频隐写分析

图片、语音、视频等多媒体形式的信息交流在网络通信中占有重要地位，同时也有很多非法信息的传播隐匿于此。隐写分析是甄别隐秘信息是否存在的有效手段，提出了一种通用的基于多尺度残差卷积网络的HEVC视频隐写分析算法。网络主体由残差计算、特征提取和二分类3部分构成，其中在特征提取部分针对性地提出了残差卷积层、多尺度残差卷积模块及隐写分析残差块。实验结果表明:所提算法基于视频像素域分析网络的检测率高达99.75%，比传统的手工提取特征方法具有更大的优势。      

基于改进YOLOv5s的安全帽检测算法

针对现有安全帽检测算法难以检测小目标、密集目标等缺点，提出一种基于YOLOv5s的安全帽检测改进算法。采用DenseBlock模块来代替主干网络中的切片结构，提升网络的特征提取能力；在网络颈部检测层加入SE-Net通道注意力模块，引导模型更加关注小目标信息的通道特征，以提升对小目标的检测性能；对数据增强方式进行改进，丰富小尺度样本数据集；增加一个检测层以便能更好地学习密集目标的多级特征，从而提高模型应对复杂密集场景的能力。此外，构建一个面向密集目标及远距离小目标的安全帽检测数据集。实验结果表明：所提改进算法比原始YOLOv5s算法平均精确率（mAP@0.5）提升6.57%，比最新的YOLOX-L及PP-YOLOv2算法平均精确率分别提升1.05%与1.21%，在密集场景及小目标场景下具有较强的泛化能力。     

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。     

基于深度卷积的残差三生网络研究与应用

针对图像多分类任务,提出基于深度卷积的残差三生网络,旨在通过残差学习和距离比较来训练神经网络得到有效的特征表示。首先,设计了一个21层的深度卷积神经网络作为三生网络的嵌入网络,其中该卷积网络共连接6个块（block）。利用残差学习的方式,每个block的输出层由卷积层的输出和该block的输入共同组成,降低网络学习难度,避免网络出现退化问题。然后,每个block中采用相同拓扑结构分路的卷积层,拓宽网络的宽度。最后,在全连接层拼接了来自前面卷积层和block的输出,加强特征信息的传递。训练前,针对正负样本采用交叉组合的采样方法来增加有效训练样本量;训练期间,用样本中心点更换原点样本作为输入,能平均降低0.5%错误率。在与其他三生网络的对比实验中,在MNIST、CIFAR10和SVHN数据库上达到最好的效果,在所有分类网络中,本文网络在MNIST上达到最好的效果,在CIFAR10和SVHN上表现优异。      

基于差异化和空间约束的自动图像描述模型

多头注意力机制是图像描述模型的常用方法,该机制通过多分支结构构建关于输入特征的独特属性,以提高特征模型的区分性。然而,不同分支的独立性导致建模存在冗余性。同时,注意力机制会关注于不重要的图像区域,导致描述的文本不够准确。针对上述问题,提出一种损失函数作为训练目标的正则化项,以提高多头注意力机制的多样性和准确性。在多样性方面,提出一种多头注意力的差异化正则,鼓励多头注意力机制的不同分支关注于所描述目标的不同部件,使不同分支的建模目标变得简单。同时,不同分支相互融合,最后形成完整且更有区分性的视觉描述。在准确性方面,设计一种空间一致性正则。通过建模多头注意力机制的空间关联,鼓励注意力机制关注的图像区域尽可能集中,从而抑制背景区域的影响,提高注意力机制的准确性。提出差异化正则和空间一致性正则共同作用的方法,最终提升自动图像描述模型的准确性。所提方法在MS COCO数据集上对模型进行验证,并与多种代表性工作进行对比。实验结果表明：所提方法显著地提高了图像描述的准确性。     

基于级联注意力机制的孪生网络视觉跟踪算法

针对全卷积孪生网络（SiamFC）在相似物体干扰及目标发生大尺度外观变化时容易跟踪失败的问题，提出了一种基于级联注意力机制的孪生网络视觉跟踪算法。首先，在网络的最后一层加入非局部注意力模块，从空间维度得到关于目标区域的自注意特征图，并与最后一层特征进行相加运算。其次，考虑到不同通道特征对不同目标和各类场景的响应差异，引入通道注意力模块实现对特征通道的重要性选择。为了进一步提高跟踪的鲁棒性，将其与SiamFC算法进行加权融合，得到最终的响应图。最后，将提出的孪生网络模型在GOT10k和VID数据集上进行联合训练，进一步提升模型的表达力与判别力。实验结果表明:所提算法相比于SiamFC，在跟踪精度上提高了9.3%，在成功率上提高了5.4%。      

一种基于卷积神经网络的地磁基准图构建方法

地磁匹配导航技术是一种重要的辅助导航制导方法，地磁基准图的构建精度对地磁匹配制导的精准度起着决定性作用。针对现有地磁基准图构建精度难以满足实际地磁匹配导航需求的问题，提出了一种基于卷积神经网络的地磁基准图构建方法。首先，利用卷积层提取低分辨率基准图中的特征图像块；然后，利用基于学习的阈值收缩算法（LISTA）实现图像块的稀疏表示；最后，利用三通道的地磁信息得到重建后的高分辨率基准图。实验结果表明:所提方法对地磁基准图具有更高的构建精度，同时对噪声有更好的鲁棒性，各种客观评价指标均高于现有的超分辨率重建方法。      

基于空间注意力机制的行人再识别方法

行人再识别是图像检索领域的一个重要部分，但是由于行人姿态各异、背景复杂等因素，导致提取到的行人特征鲁棒性和代表性不强，进而影响行人再识别的精度。在AlignedReID++算法基础上，提出了基于空间注意力机制的行人特征提取方法，应用在行人再识别中取得了很好的效果。首先，在特征提取部分，引入空间注意力机制来增强特征表达，同时抑制可能的噪声；其次，通过在卷积层中引入实例正则化层（IN）来辅助批正则化层（BN）对特征进行归一化处理，解决单一BN层对特征色调变化以及光照变化的不敏感性，提高特征提取对亮度、色调变化的鲁棒性；最后，在Market1501、DukeMTMC和CUHK03 3个行人再识别通用数据集上对所提改进模型进行测试评价。实验结果显示:改进后的模型在3个数据集上识别精度分别提升了2%、2.9%和5.1%，表明改进后的模型相较于改进前的模型，在精度以及鲁棒性上都有显著提高。      

基于双注意力混洗的无人机航拍目标跟踪算法

针对无人机（UAV）跟踪过程中目标经常出现尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于双注意力混洗的多尺度无人机实时跟踪算法。考虑到无人机视角下目标像素点少,构建了双采样融合的深层网络,既提供了语义信息丰富的深度特征,又保留了目标的细节信息;设计了双注意力混洗模块,通道注意力和空间注意力同时分组筛选提取到的特征信息,混洗不同通道间的信息,加强信息交流,提高了算法辨别能力;为利用不同层的特征信息,加入多个区域建议网络完成目标的分类和回归,并针对无人机的目标特点,将结果进行加权融合。实验结果表明：所提算法在数据集上的成功率和准确率分别为60.3%和79.3%,速度为37.5帧/s。所提算法的辨别能力和多尺度适应能力明显增强,能有效应对无人机跟踪中常见的挑战。