基于Transformer的点云几何有损压缩方法

点云被广泛地用于三维物体表达,不过真实世界采集到的点云往往数据庞大,不利于传输与储存,针对点云数据冗余性问题,引入基于注意力机制的Transformer模块,提出一种基于Transformer的端到端多尺度点云几何压缩方法。将点云进行体素化,在编码端利用稀疏卷积提取特征,进行多尺度的逐步下采样,结合Transformer模块加强点空间特征感知与提取;在解码端进行对应的多尺度上采样重建,同样采用Transformer模块对有用特征进行加强与恢复,逐步细化并重建点云。与2种点云标准编码方法对比,所提方法平均获得80%和75%的BD-Rate增益;与基于深度学习的点云压缩方法对比,平均获得16%的BD-Rate增益,在相同码率点有约0.6的PSNR提升。实验结果表明：Transformer在点云压缩领域的可行性与有效性;在主观质量方面,所提方法也有明显的主观效果提升,重建的点云更接近原始点云。     

基于对抗和迁移学习的灾害天气卫星云图分类

针对卫星云图中的灾害天气数据存在严重不平衡问题,提出一个结合生成对抗学习（GAN）和迁移学习（TL）的卷积神经网络（CNN）框架以解决上述问题进而提高基于卫星云图的灾害天气分类精度。该框架主要包含基于GAN的数据均衡化模块和基于迁移学习的CNN分类模块。上述2个模块分别从数据和算法层面解决数据的类间不平衡问题,分别得到一个相对均衡的数据集和一个可在不同类别数据上提取相对均衡特征的分类模型,最终实现对卫星云图的分类,提高其中灾害天气的卫星云图类别分类准确率。与此同时所提方法在自建的大规模卫星云图数据上进行了测试,消融性和综合实验结果证明了所提数据均衡方法和迁移学习方法是有效的,且所提框架模型对各个灾害天气类别的分类精度都有显著提升。      

基于动态特征选择的遥感图像目标检测算法

在遥感图像目标检测领域内,旋转物体的检测存在挑战,卷积神经网络在提取信息时会受制于固定的空间结构,采样点无法聚焦于目标;遥感图像尺度变化大,不同物体需要具有不同尺度感受野的特征映射,具有单一尺度感受野的特征映射无法包含所有有效信息。基于此,提出了可变形对齐卷积,根据候选边框调节采样点,并根据特征映射学习采样点的细微偏移,使采样点聚焦于目标,从而实现动态特征选择;同时提出了基于可变形对齐卷积的感受野自适应模块,对具有不同尺度感受野的特征映射进行融合,自适应地调整神经元的感受野。在公开数据集上的大量实验验证了所提算法可以提高遥感图像目标检测的精度。      

面向目标检测的双驱自适应遥感图像超分重建方法

有光学遥感图像超分重建方法主要是生成视觉上令人满意的图像,并未考虑后续目标检测任务的特殊性,不能有效地应用到目标检测中。基于此,提出了面向目标检测的双驱动自适应多尺度光学遥感图像超分重建方法,将超分重建网络和目标检测网络结合起来,进行联合优化。针对光学遥感图像的特点设计了自适应多尺度遥感图像超分重建网络,集成选择性内核网络和自适应特征门控单元来特征提取和融合,重建出初步遥感图像。通过提出的双驱动模块,将特征先验驱动损失和任务驱动损失传到超分重建网络中,提高目标检测的性能。在UCAS-AOD和NWPU VHR-10数据集上进行实验,并与5种主流方法进行比较,所提方法的峰值信噪比和平均准确率相较于FDSR方法分别提高了1.86 dB和3.73%。实验结果表明,所提方法和光学遥感图像目标检测结合可以取得更好的效果,综合性能更佳。      

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。     

基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法

红外弱小目标的检测识别是军事侦察和遥感探测领域的一项关键技术。针对现有的传统目标检测方法普遍存在的检测误报率高、环境适应性差等问题,本文设计提出了一种基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法。该方法首先在基于编解码Unet网络架构的基础上,通过引入Swin Transformer的自注意力机制代替常规的卷积核来进行目标特征的分层提取,从而有助于在更大的感受野下挖掘目标在不同尺度下的潜在信息;之后,通过设计一个自底向上的跨层特征融合模块作为网络模型的解码器,可以从复杂背景中保留红外弱小目标特征,并将目标的浅层局部信息和深层语义信息进行充分融合。试验测试结果表明,所提方法在红外小目标公共测试数据集SIRST上能够实现0.747的交并比指标(IoU),以及0.752的归一化交并比指标(nIoU),其性能均优于其它典型方法,在不同复杂场景下均拥有更好的检测效果。     

基于记忆关联学习的小样本高光谱图像分类方法

高光谱图像（HSI）分类是遥感领域的基础应用之一。该任务旨在根据部分带类别标签的像素样本训练分类器,预测图像中剩余像素对应的类别标签。在实际应用中,由于人工标记样本成本过高,只能获得少量带标签的样本。针对少量样本无法准确描述数据分布从而导致训练过程过拟合的问题,提出一种基于记忆关联学习的小样本高光谱图像分类方法。考虑到无标签样本中包含大量与数据分布相关的信息,构建基于有标签样本记忆模块,并根据样本间的特征关联,利用不断更新的记忆模块学习无标签样本的潜在类别分布,构建无监督分类模型,并与传统的有监督分类模型进行联合学习。在多个高光谱图像分类数据集上的实验结果表明,所提方法能有效提升小样本高光谱图像分类的准确性。      

考虑样本不平衡的X光安检图像违禁品分类方法

X光安检图像违禁品分类被广泛应用于协助维护航空和运输安全。针对X光安检图像中违禁品尺度不一、存在困难样本及旅客行李安检固有的正负样本不均衡等问题，提出一种端到端的考虑样本不平衡的X光安检图像违禁品分类方法。采用多尺度特征提取网络捕获尺度不一的多类型违禁品特征，通过特征融合模块提升模型对图像边缘和纹理特征的表达能力，基于代价敏感思想设计损失函数，解决数据集不平衡问题，并提高困难样本分类精准度。在公开数据集SIXray上构建的子集实验结果表明：所提方法相较于端到端分类模型，平均AP指标值提升了4.5%，特别是对剪刀等难分类样本，AP指标值都有显著的提升效果。     

基于EfficientDet的无预训练SAR图像船舶检测器

针对多尺度、多场景的合成孔径雷达(SAR)图像船舶检测问题,提出了一种基于EfficientDet的无预训练目标检测器。现有的基于卷积神经网络的SAR图像船舶检测器并没有表现出其应有的出色性能。重要原因之一是依赖分类任务的预训练模型,没有有效的方法来解决SAR图像与自然场景图像之间存在的差异性;另一个重要原因是没有充分利用卷积神经网络各层的信息,特征融合能力不够强,难以处理包括海上和近海在内的多场景船舶检测,尤其是无法排除近海复杂背景的干扰。SED就这2个方面改进方法,在公开SAR船舶检测数据集上进行实验,检测精度指标平均准确率(AP)达到94.2%,与经典的深度学习检测器对比,超过最优的RetineNet模型1.3%,在模型大小、算力消耗和检测速度之间达到平衡,验证了所提模型在多场景条件下多尺度SAR图像船舶检测具有优异的性能。      

基于超像素与多尺度残差U-Net相结合的遥感图像飞机检测方法

遥感图像中存在飞机很小、角度和位置不确定且背景复杂等问题,从遥感图像中检测飞机是一项重要且具有挑战性的任务,因此,提出一种基于超像素与多尺度残差U-Net(Multi-scale Residual U-Net,MSRU-Net)相结合的遥感图像飞机检测方法。首先对遥感图像进行超像素预分割,将位置相邻且像素特征相似的像素点组成若干个超像素,保持图像进一步分割的有效特征;然后构建多尺度残差U-Net,学习其多尺度判别特征。与传统的飞机检测方法相比,该方法用少量的超像素代替大量像素表达图像特征,降低了图像分割的复杂度,再利用MSRU-Net分割遥感超像素图像,有效检测不同尺度的飞机图像。在公共飞机遥感图像数据集上实验,结果表明,该方法能够有效的检测遥感图像不同尺度的飞机图像,检测精确率达到91.2 %。     

基于跨尺度特征聚合网络的多尺度行人检测

行人的空间尺度差异是影响行人检测性能的主要瓶颈之一。针对这一问题,提出了跨尺度特征聚合网络（TS-FAN）有效检测多尺度行人。首先,鉴于不同尺度空间呈现出的特征差异性,引入一种基于多路径区域建议网络（RPN）的尺度补偿策略,其在多尺度卷积特征层上自适应地生成一系列与其感受野大小相对应的候选目标尺度集。其次,考虑到不同层次卷积特征在视觉语义上的互补性,提出了跨尺度特征聚合网络模块,其通过横向连接、自上而下路径和由底向上路径,有效地聚合具有语义鲁棒性的高层特征和具有精确定位信息的低层特征,实现对卷积层特征的增强表示。最后,联合多路径RPN尺度补偿策略和跨尺度特征聚合网络模块,构建了一种尺度自适应感知的多尺度行人检测网络。实验结果表明,所提方法与当前一流的行人检测方法TLL-TFA相比,在整个Caltech公开测试数据集上（All:行人高度大于20像素）的行人漏检率降低到26.21%（提高了11.94%）,尤其对于Caltech小尺寸行人子数据集上（Far:行人高度在20~30像素之间）的行人漏检率降低到47.30%（提高了12.79%）,同时在尺度变化剧烈的ETH数据集上的效果也取得显著提升。      

基于多源图像弱监督学习的3D人体姿态估计

3D人体姿态估计是计算机视觉领域一大研究热点,针对深度图像缺乏深度标签,以及因姿态单一造成的模型泛化能力不高的问题,创新性地提出了基于多源图像弱监督学习的3D人体姿态估计方法。首先,利用多源图像融合训练的方法,提高模型的泛化能力;然后,提出弱监督学习方法解决标签不足的问题;最后,为了提高姿态估计的效果,改进了残差模块的设计。实验结果表明:改善的网络结构在训练时间下降约28%的情况下,准确率提高0.2%,并且所提方法不管是在深度图像还是彩色图像上,均达到了较好的估计结果。      

基于生成对抗网络的零样本图像分类

在图像分类任务中,零样本图像分类问题已成为一个研究热点。为了解决零样本图像分类问题,采用一种基于生成对抗网络（GAN）的方法,通过生成未知类的图像特征使得零样本分类任务转换为传统的图像分类任务。同时对生成对抗网络中的判别网络做出改进,使其判别过程更加准确,从而进一步提高生成图像特征的质量。实验结果表明:所提方法在AWA、CUB和SUN数据集上的分类准确率分别提高了0.4%、0.4%和0.5%。因此,所提方法通过改进生成对抗网络,能够生成质量更好的图像特征,从而有效解决零样本图像分类问题。      

基于地物信息的高光谱遥感图像分类方法

利用主成分分析法滤除n维高光谱遥感图像中的大部分冗余信息,得到尽可能保留光谱信息的m维高光谱遥感图像,融合其地物空间分布信息,将m维高光谱遥感图像中的每一个像素点构建为一个2维谱-空信息向量。再利用主成分分析法法对m维高光谱遥感图像进行降维,得到q维融合地物空间分布信息与光谱信息的结果图。通过高斯混合模型预测聚类中心,基于改进的迭代自组织数据分析算法ISODATA(Iterative Selforganizing Data Analysis Techniques Algorithm)对高光谱遥感图像进行聚类,得到最终的分类结果。实验结果表明本方法的地物分类精度优于K-means、ISODATA和SVM方法,总体分类精度提升10.14%-13.99%,kappa系数提升3.2%-12.85%。     

基于多分辨率特征自选择的遮挡物识别算法

光伏组件的遮挡物识别是光伏运维系统中不可或缺的环节，传统识别算法多依赖人工巡检，成本高昂且效率低下。基于卷积神经网络，提出了一种面向光伏组件的遮挡物识别算法PORNet。通过引入特征金字塔，构建多个分辨率下具有丰富语义信息的图像特征，提升对遮挡物尺度和密度的敏感性。通过特征自选择，筛选出语义最具代表性的特征图，以加强物体环境的语义信息表达。用筛选出的特征图完成遮挡物识别，从而提升识别准确率。在自建光伏组件落叶遮挡数据集上进行了实验比较和分析，并对识别性能进行了评估，通过与现有物体识别算法相比，所提算法的准确率和召回率分别提升了9.21%和15.79%。      

基于时空图卷积网络的无人机网络入侵检测方法

无人机网络相比地面网络具有节点快速移动、拓扑结构变换频繁和通信链路不可靠的特点,传统的针对地面网络的入侵检测方法难以适用。针对无人机网络的时空动态特性进行建模,提出了一种无人机网络的入侵检测方法——基于注意力机制的时空图卷积网络（ATGCN）。将图卷积网络和门控递归单元组合为时空图卷积网络,从复杂多变的数据中提取网络的时空演变特征,通过注意力机制提取和入侵检测最相关的特征,输入支持向量机进行分类预测。多个数据集的实验分析表明:所提方法能够适应无人机网络的动态性和不稳定性,相比传统检测方法准确率高且误报率低,具有良好的鲁棒性和适应性。      

基于深度学习的电力数据分析研究

针对传统电力数据分析方法存在适用范围有限、模型复杂等导致电器分类准确率较差的问题,提出了一种基于多层堆叠长短期记忆(Long short-term memory,LSTM)网络的电力数据分析模型。首先,根据电力数据的频谱图、Mel频率倒谱系数(Mel-Frequency Cepstral Coefficient,MFCC)和Mel频谱图提取电力数据的特征,然后将其应用于深度学习模型并提高分类任务的性能,从而改善过拟合问题。其次,建立了一个多层堆叠LSTM模型,从而有效提高模型的分类和回归能力。最后,提出了一种改进的软独热编码和多尺度训练方法,从而防止峰值概率分布,提高模型的泛化能力。实验阶段,以家庭电力数据集为例,对所提模型进行验证。仿真结果表明,所提模型软独热编码及多尺度训练对加快训练效果具有一定效果,最终分类准确率到达89.85%。     

语言引导的多粒度特征融合目标分割方法

语言引导的目标分割旨在将文本描述的目标与其所指代的实体进行匹配,从而实现对文本、实体之间关系的理解与指代目标的定位。该任务在信息抽取、文本分类、机器翻译等应用场景中具有重要的应用价值。基于Refvos模型提出一种语言引导的多粒度特征融合目标分割方法,能够对特定目标精准定位。利用Swin Transformer和Bert网络,分别提取多粒度的视觉特征和文本特征,提高对整体与细节的表征能力;将文本特征分别与不同粒度视觉特征进行融合,通过语言引导增强特定目标表达;通过卷积长短期记忆网络对多粒度融合特征进行优化,在不同粒度特征间进行信息交流,得到更精细化的分割结果。在UNC、UNC+、G-Ref、ReferIt数据集上进行训练并测试所提方法。实验结果表明：相比Refvos,所提方法在UNC数据集的val、testB子集中IoU结果分别提升0.92%、4.1%,在UNC+数据集的val、testA、testB子集中IoU结果分别提升1.83%、0.63%、1.75%。所提方法在G-Ref、ReferIt数据集的IoU结果分别为40.16%和64.37%,达到前沿水平,证明所提方法的有效性与先进性...     

基于双注意力混洗的无人机航拍目标跟踪算法

针对无人机（UAV）跟踪过程中目标经常出现尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于双注意力混洗的多尺度无人机实时跟踪算法。考虑到无人机视角下目标像素点少,构建了双采样融合的深层网络,既提供了语义信息丰富的深度特征,又保留了目标的细节信息;设计了双注意力混洗模块,通道注意力和空间注意力同时分组筛选提取到的特征信息,混洗不同通道间的信息,加强信息交流,提高了算法辨别能力;为利用不同层的特征信息,加入多个区域建议网络完成目标的分类和回归,并针对无人机的目标特点,将结果进行加权融合。实验结果表明：所提算法在数据集上的成功率和准确率分别为60.3%和79.3%,速度为37.5帧/s。所提算法的辨别能力和多尺度适应能力明显增强,能有效应对无人机跟踪中常见的挑战。     

基于多尺度残差卷积网络的HEVC视频隐写分析

图片、语音、视频等多媒体形式的信息交流在网络通信中占有重要地位,同时也有很多非法信息的传播隐匿于此。隐写分析是甄别隐秘信息是否存在的有效手段,提出了一种通用的基于多尺度残差卷积网络的HEVC视频隐写分析算法。网络主体由残差计算、特征提取和二分类3部分构成,其中在特征提取部分针对性地提出了残差卷积层、多尺度残差卷积模块及隐写分析残差块。实验结果表明:所提算法基于视频像素域分析网络的检测率高达99.75%,比传统的手工提取特征方法具有更大的优势。