面向个体人员特征的跨模态目标跟踪算法

针对类内干扰影响基于个体人员特征目标跟踪算法的精确性和鲁棒性问题,分析当前跟踪算法在个体人员跟踪方面存在的不足,提出了利用语言先验知识引导辅助跟踪器的方法。在视觉跟踪器的基础上增加语言引导分支,对跟踪目标产生注意力,从而减少对类内干扰的影响。利用位置置信度进行回归目标框定位的方法解决基于孪生网络目标跟踪算法中利用分类置信度定位候选目标框的局限性,实现跨模态信息融合提升特定目标跟踪的精度。为提升所提模型对特定人员目标跟踪的针对性,构建了跨模态的人员目标跟踪数据集用于训练和验证。实验表明:所提模型应用于个体人员跟踪时表现更佳,其有效性得到了证明。      

基于随机遮挡和多粒度特征融合的行人重识别

针对行人重识别中存在遮挡及行人判别特征层次单调的问题，在IBN-Net50-a网络的基础上，提出了一种结合随机遮挡和多粒度特征融合的网络模型。通过对输入图像进行随机遮挡处理，模拟行人被遮挡的真实情景，以增强应对遮挡的鲁棒性；将网络分为全局分支、局部粗粒度互融分支和局部细粒度互融分支，提取全局显著性特征，同时补充局部多粒度深层特征，丰富行人判别特征的层次性；进一步挖掘局部多粒度特征间的相关性进行深度融合；联合标签平滑交叉熵损失和三元组损失训练网络。在3个标准公共数据集和1个遮挡数据集上，将所提方法与先进的行人重识别方法进行比较，实验结果表明：在Market1501、DukeMTMC-reID、CUHK03标准公共数据集上，所提方法的Rank-1分别达到了95.2%、89.2%、80.1%，在遮挡数据集Occluded-Duke上，所提方法的Rank-1和mAP分别达到了60.6%和51.6%，均优于对比方法，证实了方法的有效性。     

基于多模态联合语义感知的零样本目标检测

零样本目标检测借助语义嵌入作为引导信息,将未见过的物体的视觉特征与类别语义嵌入映射到同一空间,根据其在映射空间的距离进行分类,但由于语义信息获取的单一性,视觉信息缺乏可靠表示,易混淆背景信息和未见过对象信息,使得视觉和语义之间很难无差别对齐。基于此,借助视觉上下文模块捕捉视觉特征的上下文信息,并通过语义优化模块对文本上下文和视觉上下文信息进行交互融合,增加视觉表达的多样化,使模型感知到前景的辨别性语义,从而有效地实现零样本目标检测。在MS-COCO的2个划分数据集上进行实验,在零样本目标检测和广义零样本目标检测的准确率和召回率上取得了提升,结果证明了所提方法的有效性。     

遥感图像语义分割的空间增强注意力U型网络

针对基于深度学习的语义分割模型在解析遥感图像时，小尺寸目标和目标边界存在分割不准确的问题，提出一种U型网络模型SGE-Unet。该模型通过优化网络结构加强模型的特征提取能力；融合空间组增强注意力，提升模型对上下文语义信息的解析能力；采用中值频率平衡交叉熵损失函数抑制类别分布不均衡的影响。在2个数据集上进行实验，SGE-Unet的整体准确率、平均交并比、■分数和Kappa系数均高于主流模型，Vaihingen数据集中小尺寸目标车的交并比和F₁分数分别为0.719和0.901，比次优模型提升了16%和11%，实验结果表明所提模型能更精准地分割小尺寸目标及目标边界。     

真实场景水下语义分割方法及数据集

随着水下生物抓取技术的不断发展,高精度的水下物体识别与分割成为了挑战。已有的水下目标检测技术仅能给出物体的大体位置,无法提供物体轮廓等更加细致的信息,严重影响了抓取效率。为了解决这一问题,标注并建立了真实场景水下语义分割数据集DUT-USEG,该数据集包含6 617张图像,其中1 487张具有语义分割和实例分割标注,剩余5 130张图像具有目标检测框标注。基于该数据集,提出了一个关注边界的半监督水下语义分割网络(US-Net),该网络通过设计伪标签生成器和边界检测子网络,实现了对水下物体与背景之间边界的精细学习,提升了边界区域的分割效果。实验表明:所提方法在DUT-USEG数据集的海参、海胆和海星3个类别上相较于对比方法提升了6.7%,达到了目前最好的分割精度。      

基于IoU约束的孪生网络目标跟踪方法

基于孪生网络的跟踪方法通过离线训练跟踪模型,不需要对跟踪模型进行在线更新,兼顾了跟踪精度和速度。现有孪生网络目标跟踪方法使用固定阈值选择正负训练样本易造成训练样本漏选问题,且训练时分类分支和回归分支之间存在低相关性问题,不利于训练出高精度的跟踪模型。为此,提出了一种基于交并比(IoU)约束的孪生网络目标跟踪方法。通过使用动态阈值策略根据预定义锚框与目标真实框的相关统计特征,动态调整正负训练样本的界定阈值,提升跟踪精度。所提方法使用IoU质量评估分支代替分类分支,通过锚框与目标真实框之间的IoU反映目标位置,提升跟踪精度,降低模型的参数量。在数据集VOT2016、OTB-100、VOT2019、UAV123上进行了对比实验,所提方法均有较好的表现。在VOT2016数据集上,所提方法的跟踪精度比SiamRPN方法高0.017,期望平均重叠率为0.463,与SiamRPN++相比仅差0.001,实时运行速度可达220帧/s。      

一种结合全局和局部相似性的小样本分割方法

针对小样本分割中如何提取支持图像和查询图像共性信息的问题,提出一种新的小样本分割模型,同时结合了全局相似性和局部相似性,实现了更具泛化能力的小样本分割。具体地,根据支持图像和查询图像全局特征和局部特征之间的相似性,提出了一种新型注意力谱生成器,进而实现查询图像的注意力谱生成和区域分割。所提注意力谱生成器包含2个级联模块:全局引导器和局部引导器。在全局引导器中,提出了一种新的基于指数函数的全局相似性度量,对查询图像特征和支持图像的全局特征进行关系建模,输出前景增强的查询图像特征。在局部引导器中,通过引入局部关系矩阵对支持图像特征和查询图像特征之间的局部相似性进行建模,得到与类别无关的注意力谱。在Pascal-5i数据集上做了大量的实验,在1-shot设定下mIoU达到了59.9%,5-shot设定下mIoU达到了61.9%,均优于现有方法。      

面向电力系统的多粒度隐患检测方法

由于电力系统的安全问题往往会造成严重的经济或社会影响,隐患检测已成为电力系统不可或缺的重要环节。随着人工智能领域的发展,基于深度学习的智能化电力系统隐患检测技术逐渐得到越来越多的关注。但目前的方法大多只是单一地考虑图像的全局特征或局部特征,无法全面彻底表征图像,进而难以捕捉电力领域尤其室外复杂背景下的隐患检测。为此,基于深度学习技术,提出了一种面向电力系统的多粒度隐患检测方法MGNet。通过引入图像的多粒度信息,构建全局和局部网络,进行多粒度级检测;并通过不同粒度级检测结果的协作式融合,增强检测的全面性。在杆塔连接金具隐患和线路通道机械隐患2个数据集上进行了实验比较和分析,对所提模型的检测性能进行评估。通过与现有最优隐患检测基准方法相比,所提方法在2种不同数据集上的平均精度均值分别提升了2.74%和2.77%,验证了模型的有效性。      

一种基于多通道卫星云图的台风分割方法

有效的台风主体分割能够提高台风预报的准确性.提出一种基于矢量图像的改进水平集方法进行台风分割,将C-V模型推广到矢量空间,加入了无需重新初始化的能量项;提出了一种迭代收敛条件并设计了针对云图特点的模型参数及分割方法,该方法利用了多通道的云图信息,避免了无谓的迭代计算,能够加快分割曲线的演化速度并提高分割的准确性.实验结果验证了所提出方法的有效性和可行性,其平均目标错误率与平均非目标错误率分别为1.21%与2.25%,可得到较理想的台风分割效果.      

融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法

红外弱小目标的检测识别是军事侦察和遥感探测领域的一项关键技术。针对现有的传统目标检测方法普遍存在的检测误报率高、环境适应性差等问题,本文设计提出了一种基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法。该方法首先在基于编解码Unet网络架构的基础上,通过引入Swin Transformer的自注意力机制代替常规的卷积核来进行目标特征的分层提取,从而有助于在更大的感受野下挖掘目标在不同尺度下的潜在信息;之后,通过设计一个自底向上的跨层特征融合模块作为网络模型的解码器,可以从复杂背景中保留红外弱小目标特征,并将目标的浅层局部信息和深层语义信息进行充分融合。试验测试结果表明,所提方法在红外小目标公共测试数据集SIRST上能够实现0.747的交并比指标(IoU),以及0.752的归一化交并比指标(nIoU),其性能均优于其它典型方法,在不同复杂场景下均拥有更好的检测效果。     

基于改进空间通道信息的全局烟雾注意网络

针对烟雾因半透明、形状不规则和边界模糊造成分割困难的问题,提出了基于注意力机制的长距离信息建模方法,以提取长距离像素间的依赖和连续性关系。通过注意力机制作用原理,解决孤立小块区域误分类问题,减少非连续区域的烟雾误判。为避免注意力网络大尺寸矩阵运算造成的内存和计算负担,对空间和通道2种注意力方式进行改进,分别设计了双向定位空间注意力(BDA)模块和多尺度通道注意力(MSCA)融合模块,弥补现有注意力全局池化操作导致的大量空间信息丢失。将所提注意力模块和残差深度网络合并,构建面向图像烟雾分割的全局烟雾注意网络,在尽可能不丢失全局信息相关性的同时减少内存消耗。实验结果表明：所提网络在DS01、DS02、DS03合成烟雾测试集上,取得的平均交并比分别为73.13%、73.81%、74.25%,总体上优于对比算法。     

外观动作自适应目标跟踪方法

为降低目标运动时产生的外观形变对目标跟踪的影响，在DaSiamese-RPN基础上进行改进，提出了一种外观动作自适应的目标跟踪方法。在孪生网络的子网络中引入外观动作自适应更新模块，融合目标的时空信息和动作特征；利用2种欧氏距离分别度量真实图和预测图之间的全局和局部差异，并对二者加权融合构建损失函数，加强预测目标特征图与真实目标特征图之间全局和局部信息的关联性。在VOT2016、VOT2018、VOT2019和OTB100数据集上进行测试，实验结果表明:在VOT2016和VOT2018数据集上，预测平均重叠率分别提高4.5%和6.1%；在VOT2019数据集上，准确度提高0.4%，预测平均重叠率降低1%；在OTB100数据集上，跟踪成功率提高0.3%，精确度提高0.2%。      

基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明：所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。     

结合空间注意力机制的实时鲁棒视觉跟踪

为提高全卷积孪生网络(SiamFC)跟踪器在复杂场景下的跟踪能力,缓解跟踪器在跟踪过程中出现的目标漂移问题,提出一种结合空间注意力机制的实时目标跟踪算法。在SiamFC框架基础上,将改进的视觉几何组(VGG)网络作为主干网络,增强跟踪器对于目标深度特征的建模能力。对自注意力机制进行优化,提出一种即插即用的轻量级单卷积注意力模块(SCAM),将空间注意力分解为2个并行的一维特征编码过程,减少空间注意力的计算复杂度。保留跟踪过程中的初始目标模板作为第1模板,通过分析连通域在跟踪结果响应图的变化动态选择第2模板,融合2个模板后对目标进行定位。实验结果表明：在OTB100、LaSOT和UAV123数据集上,所提算法相比于SiamFC跟踪成功率分别提高了0.082、0.045和0.045,跟踪精度分别提高了0.118、0.051和0.062;在VOT2018数据集上,所提算法相比于SiamFC在跟踪准确率、鲁棒性和期望平均重叠率上分别提高了0.029、0.276和0.134;跟踪速度达到了70帧/s,能够满足实时跟踪的需求。     

面向目标检测的双驱自适应遥感图像超分重建方法

有光学遥感图像超分重建方法主要是生成视觉上令人满意的图像,并未考虑后续目标检测任务的特殊性,不能有效地应用到目标检测中。基于此,提出了面向目标检测的双驱动自适应多尺度光学遥感图像超分重建方法,将超分重建网络和目标检测网络结合起来,进行联合优化。针对光学遥感图像的特点设计了自适应多尺度遥感图像超分重建网络,集成选择性内核网络和自适应特征门控单元来特征提取和融合,重建出初步遥感图像。通过提出的双驱动模块,将特征先验驱动损失和任务驱动损失传到超分重建网络中,提高目标检测的性能。在UCAS-AOD和NWPU VHR-10数据集上进行实验,并与5种主流方法进行比较,所提方法的峰值信噪比和平均准确率相较于FDSR方法分别提高了1.86 dB和3.73%。实验结果表明,所提方法和光学遥感图像目标检测结合可以取得更好的效果,综合性能更佳。      

基于深度多模态特征融合的短视频分类

目前，短视频已经成为新媒体时代极具有代表性的产物之一，其天然的具有时短、强编辑等特点，使得传统视频分类模型不再适合于短视频分类任务。针对综合短视频分类问题的特点，提出了一种基于深度多模态特征融合的短视频分类算法。所提算法将视觉模态信息和音频模态信息输入到域分离网络中，将整个特征空间划分为所有模态共享的公有域部分及由音频模态和视觉模态分别独有的私有域部分，借助优化域分离网络，最大程度地保留了不同模态特征间的差异性和相似性。在公开的短视频分类数据集上进行实验，证明了所提算法可以有效减少特征融合时的冗余性，并将分类的平均精度提高到0.813。      

基于语义相关的多模态社交情感分析

社交平台允许用户采用多种信息模态发表意见与观点,多模态语义信息融合能够更有效地预测用户所表达的情感倾向。因此,多模态情感分析近年来受到了广泛关注。然而,多模态情感分析中视觉与文本存在的语义无关问题,导致情感分析效果不佳。针对这一问题,提出了基于语义相关的多模态社交情感分析（MSSA-SC）方法。采用图文语义相关性分类模型,对图文社交信息进行语义相关性识别,若图文语义相关,则对图文社交信息使用图文语义对齐多模态模型进行图文特征融合的情感分析;若图文语义无关,则仅对文本模态进行情感分析。在真实社交媒体数据集上进行了实验,由实验结果可知,所提方法能够有效降低图文语义无关情况对多模态社交媒体情感分析的影响。与此同时,所提方法的Accuracy和Macro-F1指标分别为75.23%和70.18%,均高于基准模型。      

基于情感对象识别和情感规则的微博倾向性分析

微博平台数据中含有大量反映用户情感喜恶的信息,对于涉及博文倾向性分析的应用尤为重要。现有的分析方法往往聚焦在博文情感的简单分类上,无法分析特定类型实体的微博倾向性。为解决微博倾向性分析问题,实现博文立场判定,采用半监督学习的方法,通过协同训练和主动学习,训练实体识别模型,并构建基于主成分分析的情感规则,提取句子的主成分,将口语化的文本规范化为指定格式。再利用指向性实体的正负面性、情感词的褒贬义及情感词充当的句子成分,实现情感分类的更深层次分析——立场判定。针对实际问题进行立场判定实验,在不同规模数据集上的自对比实验和他比实验显示,随着标注实体的博文数量增加,模型对博文立场判断的正确率持续提升,而且所提方法判断博文立场的正确率显著高于对比方法,相较已有研究方法分别提高了2.79%和10.00%。      

基于渐进式注意力和分块遮挡的跨域行人重识别

针对跨域行人重识别中遮挡造成特征匹配缺失及细粒度辨识性特征被忽略的问题，提出了基于渐进式注意力和分块遮挡的跨域行人重识别方法。该方法通过学习行人未遮挡区域的多粒度辨别性特征，实现空间不对齐下的特征匹配。渐进式注意力模块将特征逐步分割为多个局部块，依次学习每块的辨别性特征，由粗到细地感知前景信息，从而解决目前网络不能提取多层次辨识性特征的问题，增强了特征的匹配能力；渐进式分块遮挡模块很好地适应模型逐步变强的学习能力特性，通过由易到难地生成遮挡数据，有效提取了未遮挡区域的辨识性特征，进而解决模型错误识别遮挡样本的问题，使得所提模型在遮挡情况下的鲁棒性得到有效提高。实验结果表明：所提方法在首位命中率和平均精确度2个指标上与当前主流方法相比具有显著的优越性；与2020年CVPR会议中QAConv行人重识别方法相比，在DukeMTMC-reID数据集(MSMT17→DukeMTMCreID)上的2个指标分别高出2.3%和6.2%，能够更加有效地实现跨域行人重识别，在OccludedDuke数据集(DukeMTMC-reID→Occluded-Duke)上的2个指标分别达到49.5%和39.0%，...