基于EM自注意力残差的图像超分辨率重建网络

基于深度学习的图像超分辨率(SR)重建方法主要通过增加模型的深度来提升图像重建的质量,但同时增加了模型的计算代价,很多网络利用注意力机制来提高特征提取能力,但难以充分学习到不同区域的特征。为此,提出一种基于期望最大化(EM)自注意力残差的图像超分辨率重建网络。该网络通过改进基础残差块,构建特征增强残差块,以更好地复用残差块中所提取的特征。为增加特征信息在空间上的相关性,引入EM自注意力机制,构建EM自注意力残差模块来增强模型中每个模块的特征提取能力,并通过级联EM自注意力残差模块来构建整个模型的特征提取结构。所获得的特征图通过上采样的图像重建模块获得重建的高分辨率图像。将所提方法与主流方法进行实验对比,结果表明：所提方法在5个流行的SR测试集上能够取得较好的主观视觉效果和更优的性能指标。     

基于依存句法的图像描述文本生成

现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则，但文本多为简单句，在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时，可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息，用于计算图像区域间关系并得到图像区域关系特征；融合图像区域关系特征和图像区域特征，与文本词向量通过长短期记忆网络（LSTM），用于生成图像描述文本。在测试阶段，通过测试图像与训练图像集的内容关键词，计算2幅图像的内容重合度，间接提取与测试图像对应的依存句法模板；模型基于依存句法模板，生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力，表明模型中的依存句法信息增强了深度学习模型的可解释性。      

基于改进空间通道信息的全局烟雾注意网络

针对烟雾因半透明、形状不规则和边界模糊造成分割困难的问题,提出了基于注意力机制的长距离信息建模方法,以提取长距离像素间的依赖和连续性关系。通过注意力机制作用原理,解决孤立小块区域误分类问题,减少非连续区域的烟雾误判。为避免注意力网络大尺寸矩阵运算造成的内存和计算负担,对空间和通道2种注意力方式进行改进,分别设计了双向定位空间注意力(BDA)模块和多尺度通道注意力(MSCA)融合模块,弥补现有注意力全局池化操作导致的大量空间信息丢失。将所提注意力模块和残差深度网络合并,构建面向图像烟雾分割的全局烟雾注意网络,在尽可能不丢失全局信息相关性的同时减少内存消耗。实验结果表明：所提网络在DS01、DS02、DS03合成烟雾测试集上,取得的平均交并比分别为73.13%、73.81%、74.25%,总体上优于对比算法。     

一种可变锚框候选区域网络的目标检测方法

目标检测作为计算机视觉领域的热点问题,目前基于深度学习的目标检测方法可以分为2类:两步检测和一步检测,前者有着较高准确性,后者有着较好速度,但是为提高检测的性能两者都引入了锚机制。为提高目标检测系统的性能,基于深度卷积神经网络的两步检测算法引入了注意力引导（AG）模块,通过对候选区域网络（RPN）的锚机制进行引导,使得对于预选锚框形状的选择更具有多样性;同时针对传统的后处理方式非极大值抑制（NMS）算法存在的误检和漏检的问题,提出了一种置信度因子的NMS（Cf-NMS）算法,对于模型的整体性能有着很大的贡献。实验结果说明,所提方法虽然在速度性能上有略微的下降,但是无论是在RPN变体还是现有的先进算法在准确性方面都有提升。      

基于空间注意力机制的行人再识别方法

行人再识别是图像检索领域的一个重要部分,但是由于行人姿态各异、背景复杂等因素,导致提取到的行人特征鲁棒性和代表性不强,进而影响行人再识别的精度。在AlignedReID++算法基础上,提出了基于空间注意力机制的行人特征提取方法,应用在行人再识别中取得了很好的效果。首先,在特征提取部分,引入空间注意力机制来增强特征表达,同时抑制可能的噪声;其次,通过在卷积层中引入实例正则化层（IN）来辅助批正则化层（BN）对特征进行归一化处理,解决单一BN层对特征色调变化以及光照变化的不敏感性,提高特征提取对亮度、色调变化的鲁棒性;最后,在Market1501、DukeMTMC和CUHK03 3个行人再识别通用数据集上对所提改进模型进行测试评价。实验结果显示:改进后的模型在3个数据集上识别精度分别提升了2%、2.9%和5.1%,表明改进后的模型相较于改进前的模型,在精度以及鲁棒性上都有显著提高。      

自注意力相似度迁移跨模态哈希网络

为进一步提升跨模态检索性能,提出自注意力相似度迁移跨模态哈希网络模型。设计了一种通道空间混合自注意力机制强化关注图像的关键信息,并使用共同注意力方法加强模态信息交互,提高特征学习质量;为在哈希空间重构相似关系,采用迁移学习的方法利用实值空间相似度引导哈希码的生成。在3个常用的数据集MIRFLICKR-25K、IAPR TC-12和MSCOCO上与深度跨模态哈希（DCMH）、成对关系引导的深度哈希（PRDH）、跨模态汉明哈希（CMHH）等优秀方法进行对比实验,结果显示哈希码长度为64 bit的条件下,所提模型在3个数据集图像检索文本任务的平均精确度均值（MAP）达到72.3%,文本检索图像任务的MAP达到70%,高于对比方法。     

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。     

基于注意力机制与特征相关性的人脸表情识别

针对自然条件下人脸表情识别面临遮挡、光照、姿势变化等挑战，存在识别准确率低的问题, 提出了一种新的深度学习网络模型用于人脸表情识别。以ResNet为基础网络，融合了瓶颈注意力机制及全局二阶池化层，其中瓶颈注意力机制专注于表情重要特征的提取，全局二阶池化层度量表情特征之间的相关性，在此基础上通过联合正则化策略，平衡和改善特征数据分布情况，提高表情识别准确率。所提方法在2个公开数据集FER2013和CK+ 进行了测试及验证，最高准确率分别达到了74.227%和95.8%，性能优于诸多现存的主流方法，表明所提模型具有较好的准确性和鲁棒性。      

基于注意力机制的跨分辨率行人重识别

行人图像分辨率的变化对现有的行人重识别方法带来了很大的挑战。针对这一问题，提出了一种新的跨分辨率行人重识别方法。该方法从两方面解决分辨率变化带来的识别困难:一方面通过通道注意力机制和空间注意力机制捕捉人物特征获取局部区域；另一方面通过核动态上采样模块恢复任意分辨率图像的局部区域信息。为了验证所提方法的有效性，在Market1501、CUHK03和CAVIAR三个公开数据集上开展了对比实验，实验结果表明:所提方法取得了最佳性能。      

结合空间注意力机制的实时鲁棒视觉跟踪

为提高全卷积孪生网络(SiamFC)跟踪器在复杂场景下的跟踪能力,缓解跟踪器在跟踪过程中出现的目标漂移问题,提出一种结合空间注意力机制的实时目标跟踪算法。在SiamFC框架基础上,将改进的视觉几何组(VGG)网络作为主干网络,增强跟踪器对于目标深度特征的建模能力。对自注意力机制进行优化,提出一种即插即用的轻量级单卷积注意力模块(SCAM),将空间注意力分解为2个并行的一维特征编码过程,减少空间注意力的计算复杂度。保留跟踪过程中的初始目标模板作为第1模板,通过分析连通域在跟踪结果响应图的变化动态选择第2模板,融合2个模板后对目标进行定位。实验结果表明：在OTB100、LaSOT和UAV123数据集上,所提算法相比于SiamFC跟踪成功率分别提高了0.082、0.045和0.045,跟踪精度分别提高了0.118、0.051和0.062;在VOT2018数据集上,所提算法相比于SiamFC在跟踪准确率、鲁棒性和期望平均重叠率上分别提高了0.029、0.276和0.134;跟踪速度达到了70帧/s,能够满足实时跟踪的需求。     

基于级联注意力机制的孪生网络视觉跟踪算法

针对全卷积孪生网络（SiamFC）在相似物体干扰及目标发生大尺度外观变化时容易跟踪失败的问题,提出了一种基于级联注意力机制的孪生网络视觉跟踪算法。首先,在网络的最后一层加入非局部注意力模块,从空间维度得到关于目标区域的自注意特征图,并与最后一层特征进行相加运算。其次,考虑到不同通道特征对不同目标和各类场景的响应差异,引入通道注意力模块实现对特征通道的重要性选择。为了进一步提高跟踪的鲁棒性,将其与SiamFC算法进行加权融合,得到最终的响应图。最后,将提出的孪生网络模型在GOT10k和VID数据集上进行联合训练,进一步提升模型的表达力与判别力。实验结果表明:所提算法相比于SiamFC,在跟踪精度上提高了9.3%,在成功率上提高了5.4%。      

复杂背景下机场道面细带状结构病害检测算法

机场道面裂缝、角隅断裂、接缝破碎、修补等病害宽度狭小、长短不一、图像中像素占比少,呈细带状结构,且与复杂背景对比度低,现有检测算法效果不佳。针对以上问题,提出了一种基于注意力机制与特征融合的深度神经网络模型DetMSPNet。首先,利用注意力机制模块CBAM,使得特征学习更加专注于细带状结构病害区域,抑制干扰信息;其次,构建残差空洞金字塔模块,提取不同尺度空间下的特征信息;然后,设计最大池化支路,便于之后浅、深层不同层次特征进行融合,加强模型对于病害的定位能力,并且将深层特征输入3种不同扩张率的扩张卷积和金字塔池化模块,使得病害特征包含更多全局上下文信息;最后,对所有层输出的病害特征信息进行融合,实现不同尺度、不同层次特征的信息互补。与目前3种经典的目标检测算法在机场道面病害图像数据集APD上做了对比实验,结果表明:所提算法的mAP达到78.51%,优于对比算法。所提DetMSPNet模型,提高了算法对机场道面细带状结构病害检测中宽度狭小、长短不一、图像中像素占比少、与复杂背景对比度低等情况的适应能力。      

基于时空注意力机制的新冠肺炎疫情预测模型

新冠肺炎疫情持续蔓延给人类社会带来深远影响,准确预测各地区的病毒传播趋势对防控疫情而言至关重要。现有研究主要基于传统的时序预测模型和传染病模型,鲜有考虑疫情地区关联复杂和时序依赖性强的特点,限制了其疫情预测的性能。为此,针对新冠肺炎疫情的预测任务,提出了一种时空注意力驱动的自编码器框架。通过引入空间注意力机制捕捉病毒感染序列间的动态空间关联性,利用时间注意力机制挖掘病毒感染序列中复杂的时序依赖性,以此实现对不同地区的新冠肺炎病毒传播趋势的准确预测。在模型的编码器端,融合空间注意力机制的长短期记忆(LSTM)网络,关联目标地区与其他地区的病毒感染序列,提取该区域近期新冠肺炎疫情的时序特征。在模型的解码器端,将时间注意力机制引入基于LSTM网络的解码器中,通过捕捉病毒感染序列的时序依赖性推测未来的新冠肺炎疫情趋势变化。在多个公开的新冠肺炎疫情数据集上对所提模型进行验证,实验结果表明：所提模型的预测性能超越了LSTM等模型;在公开的欧洲部分国家新冠肺炎疫情数据集上,预测误差指标RMSE和MAE分别降低了22.3%和25.0%,在中国部分省级单位新冠肺炎疫情数据集上,RMSE和MAE分别降低了...     

基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明：所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。     

基于三元组网络的单图三维模型检索

随着媒体数据的多样化发展,联合图像与三维模型的跨域检索成为三维模型检索问题的一个新挑战。针对图像与三维模型差异大、难匹配问题,提出了一种基于三元组网络的跨域数据检索方法。以端到端的方式构建真实图像与三维模型的特征联合嵌入空间,通过特征间的距离度量不同模态数据之间的相似性,实现从单张图像检索相似的三维模型。为了提高跨域检索准确度,将三维模型用一组顺序视图表示,结合门控循环单元（GRU）聚合视图级特征,同时引入注意力机制提取图像特征,缩小真实图像与投影视图间的语义差异。实验结果表明:相比于同类方法,所提方法在两个跨域数据集上的检索平均准确率至少提升2.98%~3.05%。      

双重模态文本引导的图像修复算法

为解决现有图像修复算法因缺乏足够的上下文信息导致修复大面积破损时效果差且修复结果不可控的缺陷，提出了双重模态文本引导的图像修复算法。引入文本标签作为修复的控制引导，确保修复结果的整体与区域一致，并增加修复的可控多样性。设计双重模态掩码注意力机制提取破损区域的语义信息；通过深度文本图像融合模块加深生成器中的文本图像融合过程，并应用图像文本匹配损失最大化生成图像与文本之间的语义相似度；采用投射鉴别器训练生成图像与真实图像增强修复图像的真实性。在2个带有文本标签的数据集上进行定量和定性实验，结果表明：生成的修复图像与引导文本描述一致，可根据不同的文字描述生成多样的结果。     

基于注意力机制的光伏组件热斑检测算法

热斑现象是造成光伏组件发电能力下降的重要原因之一,热斑检测是光伏电站运维必不可少的工作。然而分布式光伏电站的规模普遍较小、选址分散、环境复杂多样,使用传统的热斑检测算法需要投入大量的人力资源。基于此,提出了一种基于注意力机制的热斑检测算法HSNet。通过图像分割消除反光影响,结合通道注意力机制,学习通道间的特征信息,增强目标区域的重要性,采用自定义锚点的方法提高检测速度,使用焦点损失激活函数和基于物体先验概率的类别预测方式改善训练目标样本不均衡导致的分类准确性低的问题,通过回归方法获取准确的目标位置。实验表明：设计的目标检测算法在窗体回归精度和分类准确性方面均有明显的优势,边界框平均精度和准确率分别提升了3.18%和2.42%。     

基于双注意力混洗的无人机航拍目标跟踪算法

针对无人机（UAV）跟踪过程中目标经常出现尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于双注意力混洗的多尺度无人机实时跟踪算法。考虑到无人机视角下目标像素点少,构建了双采样融合的深层网络,既提供了语义信息丰富的深度特征,又保留了目标的细节信息;设计了双注意力混洗模块,通道注意力和空间注意力同时分组筛选提取到的特征信息,混洗不同通道间的信息,加强信息交流,提高了算法辨别能力;为利用不同层的特征信息,加入多个区域建议网络完成目标的分类和回归,并针对无人机的目标特点,将结果进行加权融合。实验结果表明：所提算法在数据集上的成功率和准确率分别为60.3%和79.3%,速度为37.5帧/s。所提算法的辨别能力和多尺度适应能力明显增强,能有效应对无人机跟踪中常见的挑战。     

用于遥感图像变化检测的全尺度特征聚合网络

变化检测(CD)是遥感的一项重要任务,通常面临许多伪变化和较大的尺度变化。目前的方法主要侧重于对差异特征的建模,忽略了从原始图像中提取足够的信息,影响了特征的识别能力,难以稳定地区分出变化区域。针对以上问题,提出了一种全尺度特征聚合网络(FFANet)来更充分地利用原始图像特征,促使生成的特征表示在语义上更丰富、在空间上更准确,从而提高了网络对小目标和目标边缘的检测性能。同时,拓展了深监督来结合多尺度的预测图,以促使不同对象在更合适的尺度上进行检测,从而提升了网络对对象尺度变化的鲁棒性。在CDD数据集上,相比于基线网络,所提方法仅增加了1.01×10⁶的参数量,就将F₁分数提升了0.034。