基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明：所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。     

基于EM自注意力残差的图像超分辨率重建网络

基于深度学习的图像超分辨率(SR)重建方法主要通过增加模型的深度来提升图像重建的质量,但同时增加了模型的计算代价,很多网络利用注意力机制来提高特征提取能力,但难以充分学习到不同区域的特征。为此,提出一种基于期望最大化(EM)自注意力残差的图像超分辨率重建网络。该网络通过改进基础残差块,构建特征增强残差块,以更好地复用残差块中所提取的特征。为增加特征信息在空间上的相关性,引入EM自注意力机制,构建EM自注意力残差模块来增强模型中每个模块的特征提取能力,并通过级联EM自注意力残差模块来构建整个模型的特征提取结构。所获得的特征图通过上采样的图像重建模块获得重建的高分辨率图像。将所提方法与主流方法进行实验对比,结果表明：所提方法在5个流行的SR测试集上能够取得较好的主观视觉效果和更优的性能指标。     

基于动态特征选择的遥感图像目标检测算法

在遥感图像目标检测领域内,旋转物体的检测存在挑战,卷积神经网络在提取信息时会受制于固定的空间结构,采样点无法聚焦于目标;遥感图像尺度变化大,不同物体需要具有不同尺度感受野的特征映射,具有单一尺度感受野的特征映射无法包含所有有效信息。基于此,提出了可变形对齐卷积,根据候选边框调节采样点,并根据特征映射学习采样点的细微偏移,使采样点聚焦于目标,从而实现动态特征选择;同时提出了基于可变形对齐卷积的感受野自适应模块,对具有不同尺度感受野的特征映射进行融合,自适应地调整神经元的感受野。在公开数据集上的大量实验验证了所提算法可以提高遥感图像目标检测的精度。      

自研激光雷达三维点云配准技术

为了实现激光雷达点云与图像重建点云的三维空间配准,基于自研三维扫描激光雷达系统,提出了新型的快速多尺度因子（FMSR）点云配准算法,研究了空间点云配准技术。该算法主要包括初始配准和精确配准2个步骤:初始配准使用基于尺度自适应关键点质量（ASKQ）的点云特征提取算法,提取关键点的特征匹配对,求解点云配准初始参数;精确配准利用K-邻近（KNN）算法全局搜索,提升计算效率,多次迭代得到2组点云之间的最优旋转矩阵、最优平移向量和最优尺度因子。仿真和实验结果表明,所提出的算法对空间目标（尺寸为20.30 m×7.85 m×26.56 m）实现空间点云配准,配准精度达到0.194 m,运行时间为16.207 s;与多尺度迭代最近点（S-ICP）算法相比,配准精度提高了0.131 m,运行时间提高了30%。所提出的空间点云配准技术可为场景重建和纹理匹配提供算法基础。      

考虑样本不平衡的X光安检图像违禁品分类方法

X光安检图像违禁品分类被广泛应用于协助维护航空和运输安全。针对X光安检图像中违禁品尺度不一、存在困难样本及旅客行李安检固有的正负样本不均衡等问题，提出一种端到端的考虑样本不平衡的X光安检图像违禁品分类方法。采用多尺度特征提取网络捕获尺度不一的多类型违禁品特征，通过特征融合模块提升模型对图像边缘和纹理特征的表达能力，基于代价敏感思想设计损失函数，解决数据集不平衡问题，并提高困难样本分类精准度。在公开数据集SIXray上构建的子集实验结果表明：所提方法相较于端到端分类模型，平均AP指标值提升了4.5%，特别是对剪刀等难分类样本，AP指标值都有显著的提升效果。     

面向目标检测的双驱自适应遥感图像超分重建方法

有光学遥感图像超分重建方法主要是生成视觉上令人满意的图像,并未考虑后续目标检测任务的特殊性,不能有效地应用到目标检测中。基于此,提出了面向目标检测的双驱动自适应多尺度光学遥感图像超分重建方法,将超分重建网络和目标检测网络结合起来,进行联合优化。针对光学遥感图像的特点设计了自适应多尺度遥感图像超分重建网络,集成选择性内核网络和自适应特征门控单元来特征提取和融合,重建出初步遥感图像。通过提出的双驱动模块,将特征先验驱动损失和任务驱动损失传到超分重建网络中,提高目标检测的性能。在UCAS-AOD和NWPU VHR-10数据集上进行实验,并与5种主流方法进行比较,所提方法的峰值信噪比和平均准确率相较于FDSR方法分别提高了1.86 dB和3.73%。实验结果表明,所提方法和光学遥感图像目标检测结合可以取得更好的效果,综合性能更佳。      

基于姿态标准化的线特征点云提取方法

从零件三维点云中提取棱边等线特征所对应的点云是零件模型重构的关键,也是点云数据处理的基本操作.基于曲率的线特征点云提取方法易受点云初始姿态以及曲率估计方法的影响,曲面拟合及曲率估计误差较大.提出了一种基于点云姿态标准化的线特征点云提取方法:首先计算点云主方向并将其同z轴对准实现点云姿态的标准化,然后进行曲面拟合并以最大主曲率绝对值作为曲率估计值,最后对曲率值取阈值提取出线特征点云.用不同类型的点云数据进行了实验,结果表明所提方法有较高的提取效率和良好的适用性.     

基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法

红外弱小目标的检测识别是军事侦察和遥感探测领域的一项关键技术。针对现有的传统目标检测方法普遍存在的检测误报率高、环境适应性差等问题,本文设计提出了一种基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法。该方法首先在基于编解码Unet网络架构的基础上,通过引入Swin Transformer的自注意力机制代替常规的卷积核来进行目标特征的分层提取,从而有助于在更大的感受野下挖掘目标在不同尺度下的潜在信息;之后,通过设计一个自底向上的跨层特征融合模块作为网络模型的解码器,可以从复杂背景中保留红外弱小目标特征,并将目标的浅层局部信息和深层语义信息进行充分融合。试验测试结果表明,所提方法在红外小目标公共测试数据集SIRST上能够实现0.747的交并比指标(IoU),以及0.752的归一化交并比指标(nIoU),其性能均优于其它典型方法,在不同复杂场景下均拥有更好的检测效果。     

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。     

融合CNN-Transformer的红外弱小目标检测方法

针对远距离红外目标探测技术中存在的弱小目标特征信息提取困难、局部背景噪声干扰强导致检测算法虚警率和漏检率偏高的问题,提出了融合CNN-Transformer的单帧红外弱小目标检测算法。针对已有方法在提取红外弱小目标特征信息时感受野受限且易受到局部噪声干扰的问题,对Swin Transformer中的窗口自注意力计算模块进行改进,设计了基于可分离卷积的局部感知增强模块,兼顾对全局信息和局部信息的提取,提升骨干网络对弱小目标空间分布信息的提取能力。针对小目标特征难以在深层网络中保留的问题,设计了自下而上的多尺度特征融合模块,在不同层级的特征图之间利用注意力机制确保小目标的低层特征信息能够在高层特征图中得以保留。在公开数据集NUAA-SIRST上进行了测试,验证了本文所提算法相比已有算法取得了更佳的检测效果,同时能够兼顾对检测精度和召回率的优化。     

基于双注意力混洗的无人机航拍目标跟踪算法

针对无人机（UAV）跟踪过程中目标经常出现尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于双注意力混洗的多尺度无人机实时跟踪算法。考虑到无人机视角下目标像素点少,构建了双采样融合的深层网络,既提供了语义信息丰富的深度特征,又保留了目标的细节信息;设计了双注意力混洗模块,通道注意力和空间注意力同时分组筛选提取到的特征信息,混洗不同通道间的信息,加强信息交流,提高了算法辨别能力;为利用不同层的特征信息,加入多个区域建议网络完成目标的分类和回归,并针对无人机的目标特点,将结果进行加权融合。实验结果表明：所提算法在数据集上的成功率和准确率分别为60.3%和79.3%,速度为37.5帧/s。所提算法的辨别能力和多尺度适应能力明显增强,能有效应对无人机跟踪中常见的挑战。     

一种复杂场景下的人眼检测算法

针对复杂场景下的人眼检测问题,间接方法和直接方法具有一定的局限性。提出了一种不依赖人脸检测的直接型人眼检测算法,以解决复杂场景下多尺度尤其是小尺度人眼检测问题。算法通过减少下采样因子并加入扩张残差单元以提升小尺度人眼检测能力,且对多尺度特征相互拼接以保证多尺度人眼检测的精度。同时,算法借助于压缩特征输出通道降低了模型复杂度,使人眼检测效率得以提升。实验结果表明:所提模型可以在小尺度下有效地进行左右眼区分,并在红外数据上表现良好。经在DIF数据集上进行训练与测试,所提模型在较小尺度下人眼检测精度达到82.59%,检测效率达到30.5 fps。      

基于渐进式注意力和分块遮挡的跨域行人重识别

针对跨域行人重识别中遮挡造成特征匹配缺失及细粒度辨识性特征被忽略的问题，提出了基于渐进式注意力和分块遮挡的跨域行人重识别方法。该方法通过学习行人未遮挡区域的多粒度辨别性特征，实现空间不对齐下的特征匹配。渐进式注意力模块将特征逐步分割为多个局部块，依次学习每块的辨别性特征，由粗到细地感知前景信息，从而解决目前网络不能提取多层次辨识性特征的问题，增强了特征的匹配能力；渐进式分块遮挡模块很好地适应模型逐步变强的学习能力特性，通过由易到难地生成遮挡数据，有效提取了未遮挡区域的辨识性特征，进而解决模型错误识别遮挡样本的问题，使得所提模型在遮挡情况下的鲁棒性得到有效提高。实验结果表明：所提方法在首位命中率和平均精确度2个指标上与当前主流方法相比具有显著的优越性；与2020年CVPR会议中QAConv行人重识别方法相比，在DukeMTMC-reID数据集(MSMT17→DukeMTMCreID)上的2个指标分别高出2.3%和6.2%，能够更加有效地实现跨域行人重识别，在OccludedDuke数据集(DukeMTMC-reID→Occluded-Duke)上的2个指标分别达到49.5%和39.0%，...     

基于ASIFT的离线签名认证方法

通过分析现有局部不变特征方法及含伪装签名数据集的特点,提出了一种基于具有仿射不变性的尺度不变特征变换(ASIFT)的离线签名认证方法.该方法对签名图像进行预处理(包括灰度化和放缩),对处理后的图像进行ASIFT关键点检测和特征描述符提取,对从查询签名图像和参考签名图像中提取到的描述符进行匹配,对匹配的结果采用随机采样一致性(RANSAC)方法去掉错误匹配,并计算正确匹配点的描述符之间的平均距离;通过比较平均距离及正确匹配点的个数与给定阈值的大小来判断认证是否成功.使用了含伪装签名的数据库对提出的方法进行测试,实验结果表明该方法与现有方法相比等误率降低了5%.      

基于多级联合的图池化方法

图池化方法已经在生物信息学、化学、社交网络、推荐系统等多个领域中得到广泛应用,但关于图池化方法大多没有很好的解决节点选择问题和池化带来的节点信息丢失问题。对此提出一种新的多级联合图池化(MUPool)方法。所提方法使用多视角模块从多个视角获取节点的特征,即通过多个卷积模块提取不同的特征。同时提出多级联合模块（级联）,将不同池化层的输出串联,每一层都可以融合以往所有层的信息。提出使用后端融合模块,针对每个池化层建立一个分类器,对预测结果进行融合得到最终分类结果。所提方法在多个数据集上进行实验,准确度平均提高1.62%,所提方法可以与现有的分层池化方法相结合,结合后的方法准确度平均提高2.45%。     

多尺度特征和注意力融合的生成对抗壁画修复

针对现有深度学习图像修复算法修复壁画时，存在特征提取不足及细节重构丢失等问题，提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征金字塔网络提取壁画中不同尺度的特征信息，增强特征关联性；采用自注意力机制及特征融合模块构建多尺度特征生成器，以获取丰富的上下文信息，提升网络的修复能力；引入最小化对抗损失与均方误差促进判别器的残差反馈，从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁画数字化修复的实验结果表明，所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息，并且主观视觉效果及客观评价指标均优于比较算法。     

一种基于区域划分的改进ORB算法

针对传统ORB算法所提取的特征点分布不均匀、存在冗杂，且不具有尺度不变性的问题，提出了一种基于区域划分的改进ORB算法。算法根据需要提取的特征点总数和所划分的区域个数计算每个小区域需要提取的特征点个数，解决了在特征点提取过程中特征点重叠和特征点冗余的问题；通过构建图像金字塔，在每一层图像金字塔上提取特征点，解决了ORB算法提取的特征点不具有尺度不变性的问题。实验结果表明:在不损失图像匹配精度的同时，所提算法提取的特征点更加均匀合理，在提取速度上也较传统ORB算法提升了16%左右。      

基于Transformer模型的滚动轴承剩余使用寿命预测方法

准确的滚动轴承剩余使用寿命(RUL)预测对保证机械安全运行和减小维修损失起着至关重要的作用。为提高滚动轴承RUL预测准确率，提出一种基于Transformer模型的轴承RUL预测方法，充分利用其自注意力机制与编码器-解码器结构的优势，解决轴承RUL预测中序列过长而导致的记忆力退化问题，挖掘出输入特征与轴承RUL之间复杂映射关系。同时，采用三角函数变换与累积变换来修正输入特征的单调性与趋势性，使其能更好地表征滚动轴承的退化过程。在PHM2012数据集上的实验结果表明：所提方法相比于对比方法平均绝对误差分别降低了9.25%、28.63%、34.14%，平均得分分别提高了2.78%、19.79%、29.38%；在XJTU-SY数据集上的实验结果表明，所提方法相比于对比方法均方根误差降低了17.4%，平均得分提高了18.6%，进一步证明了其可行性与优越性。     

基于多尺度失真感知特征的重定向图像质量评估

在不同宽高比显示设备上的图像观看体验通常受到图像重定向操作方法的影响。为了提高重定向图像主观感知与客观评估之间的一致性,提出了基于多尺度失真感知特征（MSDA）的客观重定向图像质量评估（RIQA）方法。语义失真和细节失真经常出现在图像的不同尺度上,因此从图像的不同尺度中提取失真感知特征。提出了一个描述原始图像和重定向图像之间的宽高比相似度（ARS）的精确度量。此外,使用视觉注意力融合图来模拟人类视觉系统对图像的主观关注度。在2个基准数据库上的实验结果表明,所提出的MSDA方法的肯德尔排名相关系数（KRCC）、皮尔逊线性相关系数（PLCC）和斯皮尔曼秩次相关系数（SRCC）指标分别比对比方法中最优方法提高4.1%、1.8%和4.5%。      

基于Transformer的深度条件视频压缩

近年来,基于深度学习的视频压缩技术主要基于卷积神经网络(CNN)且采用运动补偿-残差编码的架构,由于常见的CNN只能利用局部的相关性,以及预测残差本身的稀疏特性,难以取得最优压缩性能。因此,提出一种基于Transformer架构的条件视频压缩算法,以实现更优的压缩效果。所提算法基于前后帧之间的运动信息,利用可形变卷积得到对应的预测帧特征;将预测帧特征作为条件信息,对原始输入帧特征进行条件编码,避免了直接编码稀疏的残差信号;利用特征间的非局部相关性,提出一个基于Transformer的深度条件视频压缩编码算法,用来实现运动信息编码和条件编码,进一步提升压缩编码的性能。实验结果表明：所提算法在HEVC、UVG数据集上均超越了当前主流的基于深度学习的视频压缩算法。