基于随机遮挡和多粒度特征融合的行人重识别

针对行人重识别中存在遮挡及行人判别特征层次单调的问题，在IBN-Net50-a网络的基础上，提出了一种结合随机遮挡和多粒度特征融合的网络模型。通过对输入图像进行随机遮挡处理，模拟行人被遮挡的真实情景，以增强应对遮挡的鲁棒性；将网络分为全局分支、局部粗粒度互融分支和局部细粒度互融分支，提取全局显著性特征，同时补充局部多粒度深层特征，丰富行人判别特征的层次性；进一步挖掘局部多粒度特征间的相关性进行深度融合；联合标签平滑交叉熵损失和三元组损失训练网络。在3个标准公共数据集和1个遮挡数据集上，将所提方法与先进的行人重识别方法进行比较，实验结果表明：在Market1501、DukeMTMC-reID、CUHK03标准公共数据集上，所提方法的Rank-1分别达到了95.2%、89.2%、80.1%，在遮挡数据集Occluded-Duke上，所提方法的Rank-1和mAP分别达到了60.6%和51.6%，均优于对比方法，证实了方法的有效性。     

基于渐进式注意力和分块遮挡的跨域行人重识别

针对跨域行人重识别中遮挡造成特征匹配缺失及细粒度辨识性特征被忽略的问题，提出了基于渐进式注意力和分块遮挡的跨域行人重识别方法。该方法通过学习行人未遮挡区域的多粒度辨别性特征，实现空间不对齐下的特征匹配。渐进式注意力模块将特征逐步分割为多个局部块，依次学习每块的辨别性特征，由粗到细地感知前景信息，从而解决目前网络不能提取多层次辨识性特征的问题，增强了特征的匹配能力；渐进式分块遮挡模块很好地适应模型逐步变强的学习能力特性，通过由易到难地生成遮挡数据，有效提取了未遮挡区域的辨识性特征，进而解决模型错误识别遮挡样本的问题，使得所提模型在遮挡情况下的鲁棒性得到有效提高。实验结果表明：所提方法在首位命中率和平均精确度2个指标上与当前主流方法相比具有显著的优越性；与2020年CVPR会议中QAConv行人重识别方法相比，在DukeMTMC-reID数据集(MSMT17→DukeMTMCreID)上的2个指标分别高出2.3%和6.2%，能够更加有效地实现跨域行人重识别，在OccludedDuke数据集(DukeMTMC-reID→Occluded-Duke)上的2个指标分别达到49.5%和39.0%，...     

基于局部语义特征不变性的跨域行人重识别

行人重识别是刑侦案件中重要的侦查手段，而跨域是行人重识别的主要挑战之一，也是制约其实际应用的瓶颈问题。在带标签的源域和无标签的目标域学习跨域行人局部语义不变性特征模型。首先，在源域上通过只含有行人标识无部件标签的监督学习方式学习行人的各部件特征，并在源域和目标域上采用无监督学习方式对齐行人部件。然后，基于对齐后的行人全局与局部特征，引入特征模板池存储对齐后的目标域全局和局部特征，并设计了跨域不变性损失函数进行特征不变性约束，提高行人重识别的跨域适应能力。最后，在Market-1501、DukeMTMC-reID和MSMT17数据集之间开展了跨域行人重识别验证实验，实验结果表明，所提方法在跨域行人重识别上取得了显著的性能提升。      

基于多级语义对齐的图像-文本匹配算法

图像中的区域特征更关注于图像中的前景信息,背景信息往往被忽略,如何有效的联合局部特征和全局特征还没有得到充分地研究。为解决上述问题,加强全局概念和局部概念之间的关联得到更准确的视觉特征,提出一种基于多级语义对齐的图像-文本匹配算法。提取局部图像特征,得到图像中的细粒度信息;提取全局图像特征,将环境信息引入到网络的学习中,从而得到不同的视觉关系层次,为联合的视觉特征提供更多的信息;将全局-局部图像特征进行联合,将联合后的视觉特征和文本特征进行全局-局部对齐得到更加精准的相似度表示。通过大量的实验和分析表明：所提算法在2个公共数据集上具有有效性。     

面向电力系统的多粒度隐患检测方法

由于电力系统的安全问题往往会造成严重的经济或社会影响，隐患检测已成为电力系统不可或缺的重要环节。随着人工智能领域的发展，基于深度学习的智能化电力系统隐患检测技术逐渐得到越来越多的关注。但目前的方法大多只是单一地考虑图像的全局特征或局部特征，无法全面彻底表征图像，进而难以捕捉电力领域尤其室外复杂背景下的隐患检测。为此，基于深度学习技术，提出了一种面向电力系统的多粒度隐患检测方法MGNet。通过引入图像的多粒度信息，构建全局和局部网络，进行多粒度级检测；并通过不同粒度级检测结果的协作式融合，增强检测的全面性。在杆塔连接金具隐患和线路通道机械隐患2个数据集上进行了实验比较和分析，对所提模型的检测性能进行评估。通过与现有最优隐患检测基准方法相比，所提方法在2种不同数据集上的平均精度均值分别提升了2.74%和2.77%，验证了模型的有效性。      

一种历史信息特征敏感的行人迭代检测方法

基于深度学习的目标检测算法通常需要使用非极大值抑制等后处理方法对预测框进行筛选，无法在行人拥挤的场景下平衡模型的检测精度和召回率。虽然迭代检测的方法可以解决非极大值抑制等方法带来的问题，但是重复检测同样会限制模型的性能。提出了一种历史信息特征敏感的行人迭代检测方法。引入带权重的历史信息特征（WHIC），提高特征的区分度；利用历史信息特征提取模块（HIFEM）得到不同尺度的历史信息特征，并融合进主网络中进行多尺度检测，增强了模型对历史信息特征的敏感度，有效抑制重复检测框的产生。实验结果表明：所提方法在拥挤场景的行人检测数据集CrowdHuman和WiderPerson上取得了最优的检测精度和召回率。     

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索，使得生成特征的表现能力较差的问题，设计了一种基于多语义线索的跨模态视频检索模型，该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧，有选择性地关注视频数据的重要信息，获取数据的全局特征；采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征；通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索，更好地挖掘数据中的语义信息，进而提高检索效果。在此基础上，提出了一种改进的三元组距离度量损失函数，采用了基于相似性排序的困难负样本挖掘方法，提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较，所提算法在文本检索视频任务上提高了11.1%；在MSVD数据集上的实验表明:与当前先进的方法比较，所提算法在文本检索视频任务上总召回率提高了5.0%。      

基于多标签协同学习的跨域行人重识别

跨域是行人重识别的重要应用场景，但是源域与目标域行人图像在光照条件、拍摄视角、成像背景与风格等方面的表观特征差异性是导致行人重识别模型泛化能力下降的关键因素。针对该问题，提出了基于多标签协同学习的跨域行人重识别方法。利用语义解析模型构造了基于语义对齐的多标签数据表示，以引导构建更关注行人前景区域的局部特征，达到语义对齐的目的，减少背景对跨域重识别的影响。基于行人图像全局特征和语义对齐后的行人局部特征，利用协同学习平均模型生成行人重识别模型的多标签表示，减少跨域场景下噪声硬标签的干扰。利用协同学习网络框架联合多标签的语义对齐模型，提高行人重识别模型的识别能力。实验结果表明:在Market-1501→ DukeMTMC-reID、DukeMTMC-reID→Market-1501、Market-1501→MSMT17、DukeMTMC-reID→MSMT17跨域行人重识别数据集上，与NRMT方法相比，平均精度均值分别提高了8.3%、8.9%、7.6%、7.9%，多标签协同学习方法具有显著的优越性。      

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。     

基于注意力机制的跨分辨率行人重识别

行人图像分辨率的变化对现有的行人重识别方法带来了很大的挑战。针对这一问题，提出了一种新的跨分辨率行人重识别方法。该方法从两方面解决分辨率变化带来的识别困难:一方面通过通道注意力机制和空间注意力机制捕捉人物特征获取局部区域；另一方面通过核动态上采样模块恢复任意分辨率图像的局部区域信息。为了验证所提方法的有效性，在Market1501、CUHK03和CAVIAR三个公开数据集上开展了对比实验，实验结果表明:所提方法取得了最佳性能。      

基于空间注意力机制的行人再识别方法

行人再识别是图像检索领域的一个重要部分，但是由于行人姿态各异、背景复杂等因素，导致提取到的行人特征鲁棒性和代表性不强，进而影响行人再识别的精度。在AlignedReID++算法基础上，提出了基于空间注意力机制的行人特征提取方法，应用在行人再识别中取得了很好的效果。首先，在特征提取部分，引入空间注意力机制来增强特征表达，同时抑制可能的噪声；其次，通过在卷积层中引入实例正则化层（IN）来辅助批正则化层（BN）对特征进行归一化处理，解决单一BN层对特征色调变化以及光照变化的不敏感性，提高特征提取对亮度、色调变化的鲁棒性；最后，在Market1501、DukeMTMC和CUHK03 3个行人再识别通用数据集上对所提改进模型进行测试评价。实验结果显示:改进后的模型在3个数据集上识别精度分别提升了2%、2.9%和5.1%，表明改进后的模型相较于改进前的模型，在精度以及鲁棒性上都有显著提高。      

基于高置信局部特征的车辆重识别优化算法

根据车辆重识别中区域置信度不同，提出了基于高置信局部特征的车辆重识别优化算法。首先，利用车辆关键点检测获得对应的多个关键点坐标信息，分割出车标扩散区域和其他重要的局部区域。根据车标扩散区域的高区分度特性，提升局部区域的置信度。使用多层卷积神经网络对输入图片进行处理，根据局部区域分割信息，对卷积得到的特征张量进行空间维度上的切割，获得代表全局信息和关键局部信息的特征张量。然后，通过全连接层特征张量转化为表示车辆个体的一维向量，计算损失函数。最后，在测试阶段使用全局特征，并利用训练好的车标扩散区域提取分支获得高置信局部特征，缩短局部识别一致的车辆目标距离。在典型车辆重识别数据集VehicleID上进行测试，验证了所提算法的有效性。      

基于朝向约束和重识别特征的目标轨迹关联方法

基于检测关联和深度学习的目标轨迹关联方法是计算机视觉领域的研究热点之一，但现有方法设计中缺乏有效的时空约束，且目标表观特征泛化能力不足，在目标朝向差异明显的情况下会发生识别错误，在目标轨迹关联时会导致频繁的ID切换和错误关联。针对该问题，提出了一种基于朝向约束和重识别特征的目标轨迹关联方法。将行人朝向判别引入行人重识别中，提出了一种具有朝向约束力的行人重识别网络模型，提升了目标特征的表示能力。结合目标朝向、卡尔曼滤波得到的位置信息、重叠面积等时空特征，提出一种基于朝向约束的分层轨迹关联模型，得到单相机内的目标轨迹。在跨相机场景中，通过引入一种简单有效的双向竞争匹配机制，实现了目标轨迹的有效关联。实验结果表明: 所提方法在MOT数据集上度量指标优于多种方法，能够减少频繁的ID交换，有效解决了相似目标相向而行时的错误关联；帧率达到19.6帧/s，能够满足近实时场景下的使用要求。      

一种全局的无关线性图嵌入故障特征提取算法

针对故障特征数据维数高、非线性且系统难以建立物理模型的故障诊断问题,提出了一种全局的无关线性图嵌入故障特征提取算法.通过监督学习建立原始特征的关系图,以线性图嵌入为框架进行特征降维.特征的降维过程既保留了同类数据的局部结构,又考虑了异类数据之间的全局分布,同时最大程度地消除了特征之间的统计相关性.在标准故障数据集上的实验结果表明:与已有的经典算法相比,能更有效地提取出故障的典型特征,因而更有利于故障诊断系统训练网络的快速收敛,实现快速、准确的故障诊断.     

基于跨尺度特征聚合网络的多尺度行人检测

行人的空间尺度差异是影响行人检测性能的主要瓶颈之一。针对这一问题，提出了跨尺度特征聚合网络（TS-FAN）有效检测多尺度行人。首先，鉴于不同尺度空间呈现出的特征差异性，引入一种基于多路径区域建议网络（RPN）的尺度补偿策略，其在多尺度卷积特征层上自适应地生成一系列与其感受野大小相对应的候选目标尺度集。其次，考虑到不同层次卷积特征在视觉语义上的互补性，提出了跨尺度特征聚合网络模块，其通过横向连接、自上而下路径和由底向上路径，有效地聚合具有语义鲁棒性的高层特征和具有精确定位信息的低层特征，实现对卷积层特征的增强表示。最后，联合多路径RPN尺度补偿策略和跨尺度特征聚合网络模块，构建了一种尺度自适应感知的多尺度行人检测网络。实验结果表明，所提方法与当前一流的行人检测方法TLL-TFA相比，在整个Caltech公开测试数据集上（All:行人高度大于20像素）的行人漏检率降低到26.21%（提高了11.94%），尤其对于Caltech小尺寸行人子数据集上（Far:行人高度在20~30像素之间）的行人漏检率降低到47.30%（提高了12.79%），同时在尺度变化剧烈的ETH数据集上的效果也取得显著提升。      

热红外视频监控下行人目标前景区域提取

在热红外视频监控环境下，针对热红外图像因周围环境温度变化而导致热红外图像灰度值反转的问题，提出了一种通过热红外图像的边界特征和运动特征的融合来提取行人目标前景区域的方法。首先，利用行人目标和周围环境存在的显著性差异来提取行人目标的边界特征，对所提取的边界特征进行边界填充，并利用热红外行人目标分类器来排除误检目标，从而获取最终的边界特征提取结果；其次，利用相邻帧之间的运动信息来获取行人目标的运动特征，对所获取的运动特征进行形态学处理，并利用热红外行人目标分类器来排除误检目标，从而获取最终的运动特征提取结果；最后，对所获取的边界特征提取结果和运动特征提取结果进行融合来获得最终的检测结果。实验证明，在公开的OSU和LSI热红外图像行人目标检测数据集中，所提方法能够有效地降低环境温度变化的不利影响，并提高行人目标前景区域提取的精度。