基于局部语义特征不变性的跨域行人重识别

行人重识别是刑侦案件中重要的侦查手段，而跨域是行人重识别的主要挑战之一，也是制约其实际应用的瓶颈问题。在带标签的源域和无标签的目标域学习跨域行人局部语义不变性特征模型。首先，在源域上通过只含有行人标识无部件标签的监督学习方式学习行人的各部件特征，并在源域和目标域上采用无监督学习方式对齐行人部件。然后，基于对齐后的行人全局与局部特征，引入特征模板池存储对齐后的目标域全局和局部特征，并设计了跨域不变性损失函数进行特征不变性约束，提高行人重识别的跨域适应能力。最后，在Market-1501、DukeMTMC-reID和MSMT17数据集之间开展了跨域行人重识别验证实验，实验结果表明，所提方法在跨域行人重识别上取得了显著的性能提升。      

基于多标签协同学习的跨域行人重识别

跨域是行人重识别的重要应用场景，但是源域与目标域行人图像在光照条件、拍摄视角、成像背景与风格等方面的表观特征差异性是导致行人重识别模型泛化能力下降的关键因素。针对该问题，提出了基于多标签协同学习的跨域行人重识别方法。利用语义解析模型构造了基于语义对齐的多标签数据表示，以引导构建更关注行人前景区域的局部特征，达到语义对齐的目的，减少背景对跨域重识别的影响。基于行人图像全局特征和语义对齐后的行人局部特征，利用协同学习平均模型生成行人重识别模型的多标签表示，减少跨域场景下噪声硬标签的干扰。利用协同学习网络框架联合多标签的语义对齐模型，提高行人重识别模型的识别能力。实验结果表明:在Market-1501→ DukeMTMC-reID、DukeMTMC-reID→Market-1501、Market-1501→MSMT17、DukeMTMC-reID→MSMT17跨域行人重识别数据集上，与NRMT方法相比，平均精度均值分别提高了8.3%、8.9%、7.6%、7.9%，多标签协同学习方法具有显著的优越性。      

基于跨模态近邻损失的可视-红外行人重识别

可视-红外跨模态行人重识别任务的目标是给定一个模态的特定人员图像,在其他不同模态摄像机所拍摄的图像集中进行检索,找出相同人员对应的图像。由于成像方式不同,不同模态的图像之间存在明显的模态差异。为此,从度量学习的角度出发,对损失函数进行改进以获取具有更加辨别性的信息。对图像特征内聚性进行理论分析,并在此基础上提出一种基于内聚性分析和跨模态近邻损失函数的重识别方法,以加强不同模态样本的内聚性。将跨模态困难样本的相似性度量问题转化为跨模态最近邻样本对和同模态样本对的相似性度量,使得网络对模态内聚性的优化更加高效和稳定。对所提方法在全局特征表示的基线网络和部分特征表示的基线网络上进行实验验证结果表明：所提方法对可视-红外行人重识别的预测结果相较于基线方法,平均准确度最高可提升8.44%,证明了方法在不同网络架构中的通用性;同时,以较小的模型复杂度和较低的计算量为代价,实现了可靠的跨模态行人重识别结果。     

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。      

基于多分辨率特征自选择的遮挡物识别算法

光伏组件的遮挡物识别是光伏运维系统中不可或缺的环节，传统识别算法多依赖人工巡检，成本高昂且效率低下。基于卷积神经网络，提出了一种面向光伏组件的遮挡物识别算法PORNet。通过引入特征金字塔，构建多个分辨率下具有丰富语义信息的图像特征，提升对遮挡物尺度和密度的敏感性。通过特征自选择，筛选出语义最具代表性的特征图，以加强物体环境的语义信息表达。用筛选出的特征图完成遮挡物识别，从而提升识别准确率。在自建光伏组件落叶遮挡数据集上进行了实验比较和分析，并对识别性能进行了评估，通过与现有物体识别算法相比，所提算法的准确率和召回率分别提升了9.21%和15.79%。      

基于渐进式注意力和分块遮挡的跨域行人重识别

针对跨域行人重识别中遮挡造成特征匹配缺失及细粒度辨识性特征被忽略的问题，提出了基于渐进式注意力和分块遮挡的跨域行人重识别方法。该方法通过学习行人未遮挡区域的多粒度辨别性特征，实现空间不对齐下的特征匹配。渐进式注意力模块将特征逐步分割为多个局部块，依次学习每块的辨别性特征，由粗到细地感知前景信息，从而解决目前网络不能提取多层次辨识性特征的问题，增强了特征的匹配能力；渐进式分块遮挡模块很好地适应模型逐步变强的学习能力特性，通过由易到难地生成遮挡数据，有效提取了未遮挡区域的辨识性特征，进而解决模型错误识别遮挡样本的问题，使得所提模型在遮挡情况下的鲁棒性得到有效提高。实验结果表明：所提方法在首位命中率和平均精确度2个指标上与当前主流方法相比具有显著的优越性；与2020年CVPR会议中QAConv行人重识别方法相比，在DukeMTMC-reID数据集(MSMT17→DukeMTMCreID)上的2个指标分别高出2.3%和6.2%，能够更加有效地实现跨域行人重识别，在OccludedDuke数据集(DukeMTMC-reID→Occluded-Duke)上的2个指标分别达到49.5%和39.0%，...     

基于语义相关的多模态社交情感分析

社交平台允许用户采用多种信息模态发表意见与观点，多模态语义信息融合能够更有效地预测用户所表达的情感倾向。因此，多模态情感分析近年来受到了广泛关注。然而，多模态情感分析中视觉与文本存在的语义无关问题，导致情感分析效果不佳。针对这一问题，提出了基于语义相关的多模态社交情感分析（MSSA-SC）方法。采用图文语义相关性分类模型，对图文社交信息进行语义相关性识别，若图文语义相关，则对图文社交信息使用图文语义对齐多模态模型进行图文特征融合的情感分析；若图文语义无关，则仅对文本模态进行情感分析。在真实社交媒体数据集上进行了实验，由实验结果可知，所提方法能够有效降低图文语义无关情况对多模态社交媒体情感分析的影响。与此同时，所提方法的Accuracy和Macro-F1指标分别为75.23%和70.18%，均高于基准模型。      

基于空间注意力机制的行人再识别方法

行人再识别是图像检索领域的一个重要部分，但是由于行人姿态各异、背景复杂等因素，导致提取到的行人特征鲁棒性和代表性不强，进而影响行人再识别的精度。在AlignedReID++算法基础上，提出了基于空间注意力机制的行人特征提取方法，应用在行人再识别中取得了很好的效果。首先，在特征提取部分，引入空间注意力机制来增强特征表达，同时抑制可能的噪声；其次，通过在卷积层中引入实例正则化层（IN）来辅助批正则化层（BN）对特征进行归一化处理，解决单一BN层对特征色调变化以及光照变化的不敏感性，提高特征提取对亮度、色调变化的鲁棒性；最后，在Market1501、DukeMTMC和CUHK03 3个行人再识别通用数据集上对所提改进模型进行测试评价。实验结果显示:改进后的模型在3个数据集上识别精度分别提升了2%、2.9%和5.1%，表明改进后的模型相较于改进前的模型，在精度以及鲁棒性上都有显著提高。      

基于三元组网络的单图三维模型检索

随着媒体数据的多样化发展，联合图像与三维模型的跨域检索成为三维模型检索问题的一个新挑战。针对图像与三维模型差异大、难匹配问题，提出了一种基于三元组网络的跨域数据检索方法。以端到端的方式构建真实图像与三维模型的特征联合嵌入空间，通过特征间的距离度量不同模态数据之间的相似性，实现从单张图像检索相似的三维模型。为了提高跨域检索准确度，将三维模型用一组顺序视图表示，结合门控循环单元（GRU）聚合视图级特征，同时引入注意力机制提取图像特征，缩小真实图像与投影视图间的语义差异。实验结果表明:相比于同类方法，所提方法在两个跨域数据集上的检索平均准确率至少提升2.98%~3.05%。      

基于高置信局部特征的车辆重识别优化算法

根据车辆重识别中区域置信度不同，提出了基于高置信局部特征的车辆重识别优化算法。首先，利用车辆关键点检测获得对应的多个关键点坐标信息，分割出车标扩散区域和其他重要的局部区域。根据车标扩散区域的高区分度特性，提升局部区域的置信度。使用多层卷积神经网络对输入图片进行处理，根据局部区域分割信息，对卷积得到的特征张量进行空间维度上的切割，获得代表全局信息和关键局部信息的特征张量。然后，通过全连接层特征张量转化为表示车辆个体的一维向量，计算损失函数。最后，在测试阶段使用全局特征，并利用训练好的车标扩散区域提取分支获得高置信局部特征，缩短局部识别一致的车辆目标距离。在典型车辆重识别数据集VehicleID上进行测试，验证了所提算法的有效性。      

文本信息辅助图像差异描述生成

图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容，从而将视觉信息转化为文本描述，便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述生成任务的延伸，其难点在于如何确定2张图像之间的视觉语义差别，并将视觉差异信息转换成对应的文本描述。基于此，提出了一种引入文本信息辅助训练的模型框架TA-IDC。采取多任务学习的方法，在传统的编码器-解码器结构上增加文本编码器，在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息，建模视觉和文本2个模态间的语义关联，以获得高质量的图像差别描述。实验证明，TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12%、2%和3%。      

融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

基于改进型YOLO算法的遥感图像舰船检测

目标检测算法在PASCAL VOC等数据集中取得了非常好的检测效果，但是在大尺度遥感图像中舰船目标的检测准确率却很低。因此，针对可见光遥感图像的特点，在YOLOv3-Tiny算法的基础上增加了特征映射模块，为预测层提供丰富的语义信息，同时在特征提取网络中引用残差网络，提高了检测准确率，从而有效提取舰船特征。实验结果表明:优化后的M-YOLO算法检测准确率为94.12%。相比于SSD和YOLOv3算法，M-YOLO算法的检测准确率分别提高了11.11%和9.44%。      

基于跨尺度特征聚合网络的多尺度行人检测

行人的空间尺度差异是影响行人检测性能的主要瓶颈之一。针对这一问题，提出了跨尺度特征聚合网络（TS-FAN）有效检测多尺度行人。首先，鉴于不同尺度空间呈现出的特征差异性，引入一种基于多路径区域建议网络（RPN）的尺度补偿策略，其在多尺度卷积特征层上自适应地生成一系列与其感受野大小相对应的候选目标尺度集。其次，考虑到不同层次卷积特征在视觉语义上的互补性，提出了跨尺度特征聚合网络模块，其通过横向连接、自上而下路径和由底向上路径，有效地聚合具有语义鲁棒性的高层特征和具有精确定位信息的低层特征，实现对卷积层特征的增强表示。最后，联合多路径RPN尺度补偿策略和跨尺度特征聚合网络模块，构建了一种尺度自适应感知的多尺度行人检测网络。实验结果表明，所提方法与当前一流的行人检测方法TLL-TFA相比，在整个Caltech公开测试数据集上（All:行人高度大于20像素）的行人漏检率降低到26.21%（提高了11.94%），尤其对于Caltech小尺寸行人子数据集上（Far:行人高度在20~30像素之间）的行人漏检率降低到47.30%（提高了12.79%），同时在尺度变化剧烈的ETH数据集上的效果也取得显著提升。      

一种地外天体路标图像的稀疏化表征方法

摘要： 针对用于地外天体着陆视觉导航的路标图像信息存在的计算量大和占用存储空间大等问题,提出一种路标图像的稀疏化表征方法.引入着陆路标图像的尺度估计和尺度变换,采用Harris 算法提取路标特征点,改进了FREAK特征描述子用以稀疏化表征天体路标信息;并针对图像旋转、尺度变化、图像噪声和尺度估计误差4种外界干扰,仿真对比改进算法与原FREAK算法、SURF算法的性能.仿真结果表明：提出的算法大幅减少计算量和特征描述子所占用的存储空间,同时能够正确匹配到更多的路标特征,鲁棒性更好,更适合地外天体着陆任务应用.