融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。     

基于EM自注意力残差的图像超分辨率重建网络

基于深度学习的图像超分辨率(SR)重建方法主要通过增加模型的深度来提升图像重建的质量,但同时增加了模型的计算代价,很多网络利用注意力机制来提高特征提取能力,但难以充分学习到不同区域的特征。为此,提出一种基于期望最大化(EM)自注意力残差的图像超分辨率重建网络。该网络通过改进基础残差块,构建特征增强残差块,以更好地复用残差块中所提取的特征。为增加特征信息在空间上的相关性,引入EM自注意力机制,构建EM自注意力残差模块来增强模型中每个模块的特征提取能力,并通过级联EM自注意力残差模块来构建整个模型的特征提取结构。所获得的特征图通过上采样的图像重建模块获得重建的高分辨率图像。将所提方法与主流方法进行实验对比,结果表明：所提方法在5个流行的SR测试集上能够取得较好的主观视觉效果和更优的性能指标。     

基于渐进式注意力和分块遮挡的跨域行人重识别

针对跨域行人重识别中遮挡造成特征匹配缺失及细粒度辨识性特征被忽略的问题，提出了基于渐进式注意力和分块遮挡的跨域行人重识别方法。该方法通过学习行人未遮挡区域的多粒度辨别性特征，实现空间不对齐下的特征匹配。渐进式注意力模块将特征逐步分割为多个局部块，依次学习每块的辨别性特征，由粗到细地感知前景信息，从而解决目前网络不能提取多层次辨识性特征的问题，增强了特征的匹配能力；渐进式分块遮挡模块很好地适应模型逐步变强的学习能力特性，通过由易到难地生成遮挡数据，有效提取了未遮挡区域的辨识性特征，进而解决模型错误识别遮挡样本的问题，使得所提模型在遮挡情况下的鲁棒性得到有效提高。实验结果表明：所提方法在首位命中率和平均精确度2个指标上与当前主流方法相比具有显著的优越性；与2020年CVPR会议中QAConv行人重识别方法相比，在DukeMTMC-reID数据集(MSMT17→DukeMTMCreID)上的2个指标分别高出2.3%和6.2%，能够更加有效地实现跨域行人重识别，在OccludedDuke数据集(DukeMTMC-reID→Occluded-Duke)上的2个指标分别达到49.5%和39.0%，...     

基于空间注意力机制的行人再识别方法

行人再识别是图像检索领域的一个重要部分，但是由于行人姿态各异、背景复杂等因素，导致提取到的行人特征鲁棒性和代表性不强，进而影响行人再识别的精度。在AlignedReID++算法基础上，提出了基于空间注意力机制的行人特征提取方法，应用在行人再识别中取得了很好的效果。首先，在特征提取部分，引入空间注意力机制来增强特征表达，同时抑制可能的噪声；其次，通过在卷积层中引入实例正则化层（IN）来辅助批正则化层（BN）对特征进行归一化处理，解决单一BN层对特征色调变化以及光照变化的不敏感性，提高特征提取对亮度、色调变化的鲁棒性；最后，在Market1501、DukeMTMC和CUHK03 3个行人再识别通用数据集上对所提改进模型进行测试评价。实验结果显示:改进后的模型在3个数据集上识别精度分别提升了2%、2.9%和5.1%，表明改进后的模型相较于改进前的模型，在精度以及鲁棒性上都有显著提高。      

基于差异化和空间约束的自动图像描述模型

多头注意力机制是图像描述模型的常用方法,该机制通过多分支结构构建关于输入特征的独特属性,以提高特征模型的区分性。然而,不同分支的独立性导致建模存在冗余性。同时,注意力机制会关注于不重要的图像区域,导致描述的文本不够准确。针对上述问题,提出一种损失函数作为训练目标的正则化项,以提高多头注意力机制的多样性和准确性。在多样性方面,提出一种多头注意力的差异化正则,鼓励多头注意力机制的不同分支关注于所描述目标的不同部件,使不同分支的建模目标变得简单。同时,不同分支相互融合,最后形成完整且更有区分性的视觉描述。在准确性方面,设计一种空间一致性正则。通过建模多头注意力机制的空间关联,鼓励注意力机制关注的图像区域尽可能集中,从而抑制背景区域的影响,提高注意力机制的准确性。提出差异化正则和空间一致性正则共同作用的方法,最终提升自动图像描述模型的准确性。所提方法在MS COCO数据集上对模型进行验证,并与多种代表性工作进行对比。实验结果表明：所提方法显著地提高了图像描述的准确性。     

基于注意力机制与条件卷积的行人重识别方法

行人重识别是计算机视觉领域的一个重要部分,但是容易受到行人图片实际采集环境的影响,导致行人特征表达不充分,进一步导致模型精度不高。提出一种基于注意力机制和条件卷积改进的行人重识别方法,使行人特征得到更充分的表达。将注意力机制引入特征提取网络ResNet50中,对输入图像空间和通道上的关键信息进行加权强化,同时抑制可能的噪声;将条件卷积模块引入主干网络,动态调整卷积核参数,使模型能够在保持高效推理的同时提高容量和性能;利用Market1501、MSMT17和DukeMTMC-ReID主流数据集对改进方法进行评估,Rank1分别提升1.1%、2.4%、1.3%,mAP分别提升0.5%、2.3%、1.3%,结果表明：改进方法能够使行人特征得到更好的表达,识别精度得到提升。     

基于随机遮挡和多粒度特征融合的行人重识别

针对行人重识别中存在遮挡及行人判别特征层次单调的问题，在IBN-Net50-a网络的基础上，提出了一种结合随机遮挡和多粒度特征融合的网络模型。通过对输入图像进行随机遮挡处理，模拟行人被遮挡的真实情景，以增强应对遮挡的鲁棒性；将网络分为全局分支、局部粗粒度互融分支和局部细粒度互融分支，提取全局显著性特征，同时补充局部多粒度深层特征，丰富行人判别特征的层次性；进一步挖掘局部多粒度特征间的相关性进行深度融合；联合标签平滑交叉熵损失和三元组损失训练网络。在3个标准公共数据集和1个遮挡数据集上，将所提方法与先进的行人重识别方法进行比较，实验结果表明：在Market1501、DukeMTMC-reID、CUHK03标准公共数据集上，所提方法的Rank-1分别达到了95.2%、89.2%、80.1%，在遮挡数据集Occluded-Duke上，所提方法的Rank-1和mAP分别达到了60.6%和51.6%，均优于对比方法，证实了方法的有效性。     

基于多尺度联合学习的行人重识别

现有的行人重识别方法主要关注于学习行人的局部特征来实现跨摄像机条件下的行人辨识。然而在人体部件存在运动或遮挡、背景干扰等行人数据非完备条件下，会导致行人局部辨识信息丢失概率的增加。针对这个问题，提出了一种多尺度联合学习方法对行人辨识特征进行精细化表达。该方法包含3个分支网络，分别提取行人的粗粒度全局特征、细粒度全局特征和细粒度局部特征。其中粗粒度全局分支通过融合不同层次的语义信息来增强全局特征的丰富性；细粒度全局分支通过联合全部局部特征，在对全局特征进行细粒度描述的同时学习行人局部部件间的相关性；细粒度局部分支则通过遍历局部特征来挖掘行人非显著性的信息以增强局部特征的鲁棒性。为了验证所提方法的有效性，在Market1501、DukeMTMC-ReID和CUHK03三个公开数据集上开展了对比实验，实验结果表明:所提方法取得了最佳性能。      

基于改进空间通道信息的全局烟雾注意网络

针对烟雾因半透明、形状不规则和边界模糊造成分割困难的问题，提出了基于注意力机制的长距离信息建模方法，以提取长距离像素间的依赖和连续性关系。通过注意力机制作用原理，解决孤立小块区域误分类问题，减少非连续区域的烟雾误判。为避免注意力网络大尺寸矩阵运算造成的内存和计算负担，对空间和通道2种注意力方式进行改进，分别设计了双向定位空间注意力(BDA)模块和多尺度通道注意力(MSCA)融合模块，弥补现有注意力全局池化操作导致的大量空间信息丢失。将所提注意力模块和残差深度网络合并，构建面向图像烟雾分割的全局烟雾注意网络，在尽可能不丢失全局信息相关性的同时减少内存消耗。实验结果表明:所提网络在DS01、DS02、DS03合成烟雾测试集上，取得的平均交并比分别为73.13%、73.81%、74.25%，总体上优于对比算法。      

基于行人姿态的轨迹预测方法

在自动驾驶领域，行人轨迹预测一直是研究热点之一，行人行为的不确定性给轨迹预测带来很大的挑战。目前大部分轨迹预测方法只专注于行人之间的信息交互，忽略了行人意图和场景中其他语义信息对行人轨迹的影响。为此，提出一种基于行人姿态的卷积编码器-解码器网络(PKCEDN)来预测目标行人轨迹的方法，所提方法包含基于卷积、长短时记忆(LSTM)网络的编码器-解码器模型和能够学习当前时刻与过去时刻轨迹相关性的注意力机制。所提方法在MOT16、MOT17和MOT20公开数据集上进行了相关测试，与Linear、LSTM、Social-LSTM、Social-生成对抗网络(GAN)、SR-LSTM和M_sgtv等主流方法相比，在保证预测速度不降低的前提下，平均误差降低约36%。     

基于局部语义特征不变性的跨域行人重识别

行人重识别是刑侦案件中重要的侦查手段，而跨域是行人重识别的主要挑战之一，也是制约其实际应用的瓶颈问题。在带标签的源域和无标签的目标域学习跨域行人局部语义不变性特征模型。首先，在源域上通过只含有行人标识无部件标签的监督学习方式学习行人的各部件特征，并在源域和目标域上采用无监督学习方式对齐行人部件。然后，基于对齐后的行人全局与局部特征，引入特征模板池存储对齐后的目标域全局和局部特征，并设计了跨域不变性损失函数进行特征不变性约束，提高行人重识别的跨域适应能力。最后，在Market-1501、DukeMTMC-reID和MSMT17数据集之间开展了跨域行人重识别验证实验，实验结果表明，所提方法在跨域行人重识别上取得了显著的性能提升。      

基于多标签协同学习的跨域行人重识别

跨域是行人重识别的重要应用场景，但是源域与目标域行人图像在光照条件、拍摄视角、成像背景与风格等方面的表观特征差异性是导致行人重识别模型泛化能力下降的关键因素。针对该问题，提出了基于多标签协同学习的跨域行人重识别方法。利用语义解析模型构造了基于语义对齐的多标签数据表示，以引导构建更关注行人前景区域的局部特征，达到语义对齐的目的，减少背景对跨域重识别的影响。基于行人图像全局特征和语义对齐后的行人局部特征，利用协同学习平均模型生成行人重识别模型的多标签表示，减少跨域场景下噪声硬标签的干扰。利用协同学习网络框架联合多标签的语义对齐模型，提高行人重识别模型的识别能力。实验结果表明:在Market-1501→ DukeMTMC-reID、DukeMTMC-reID→Market-1501、Market-1501→MSMT17、DukeMTMC-reID→MSMT17跨域行人重识别数据集上，与NRMT方法相比，平均精度均值分别提高了8.3%、8.9%、7.6%、7.9%，多标签协同学习方法具有显著的优越性。      

基于高置信局部特征的车辆重识别优化算法

根据车辆重识别中区域置信度不同，提出了基于高置信局部特征的车辆重识别优化算法。首先，利用车辆关键点检测获得对应的多个关键点坐标信息，分割出车标扩散区域和其他重要的局部区域。根据车标扩散区域的高区分度特性，提升局部区域的置信度。使用多层卷积神经网络对输入图片进行处理，根据局部区域分割信息，对卷积得到的特征张量进行空间维度上的切割，获得代表全局信息和关键局部信息的特征张量。然后，通过全连接层特征张量转化为表示车辆个体的一维向量，计算损失函数。最后，在测试阶段使用全局特征，并利用训练好的车标扩散区域提取分支获得高置信局部特征，缩短局部识别一致的车辆目标距离。在典型车辆重识别数据集VehicleID上进行测试，验证了所提算法的有效性。      

基于朝向约束和重识别特征的目标轨迹关联方法

基于检测关联和深度学习的目标轨迹关联方法是计算机视觉领域的研究热点之一，但现有方法设计中缺乏有效的时空约束，且目标表观特征泛化能力不足，在目标朝向差异明显的情况下会发生识别错误，在目标轨迹关联时会导致频繁的ID切换和错误关联。针对该问题，提出了一种基于朝向约束和重识别特征的目标轨迹关联方法。将行人朝向判别引入行人重识别中，提出了一种具有朝向约束力的行人重识别网络模型，提升了目标特征的表示能力。结合目标朝向、卡尔曼滤波得到的位置信息、重叠面积等时空特征，提出一种基于朝向约束的分层轨迹关联模型，得到单相机内的目标轨迹。在跨相机场景中，通过引入一种简单有效的双向竞争匹配机制，实现了目标轨迹的有效关联。实验结果表明: 所提方法在MOT数据集上度量指标优于多种方法，能够减少频繁的ID交换，有效解决了相似目标相向而行时的错误关联；帧率达到19.6帧/s，能够满足近实时场景下的使用要求。      

利用偏振图像加权融合及CLAHE算法的水下成像方法

针对传统基于偏振差分原理的水下光学成像方法中目标退偏振特性差异引起的图像中局部反射光损失的问题,本文提出了基于偏振图像加权融合与限制对比度自适应直方图均衡（Contrast Limited Adaptive Histogram Equalization, CLAHE）算法的水下成像方法。一方面,将原始水下图像分解为偏振光强图像和非偏振光强图像,根据不同退偏振特性目标在两幅图像中的灰度值分布特点,设计相应的权重因子,对两幅图像进行加权融合。从而实现在压缩原始水下图像中散射光的同时,保留更多目标反射光,提升整体目标反射光在融合图像中所占的比例。另一方面,为了进一步提升融合图像的对比度,利用限制对比度自适应直方图均衡算法对融合图像进行处理。该算法能够在提升融合图像对比度的同时,有效避免图像噪声的放大。实验结果表明,相比于传统的偏振差分方法以及独立的直方图均衡化算法,本文提出的算法能够有效提升水下图像的清晰度和对比度。     

棱镜式太阳敏感器研制

本文提出了研制棱镜式太阳敏感器的"太阳方位检测原理",并采用能量平衡测量方法及补偿辐照度变化等措施,实现太阳方位精确测量。根据这一原理设计的太阳敏感器具有在小视场范围内分辨率和精度高、体积小、重量轻、寿命长等优点。经鉴定,样机在±70'视场内分辨率为1",精度为±3".全套重2.5公斤,耗电小于1瓦。      

A robust object-based shadow detection method for cloud-free high resolution satellite images over urban areas and water bodies

Unwanted contrast in high resolution satellite images such as shadow areas directly affects the result of further processing in urban remote sensing images. Detecting and finding the precise position of shadows is critical in different remote sensing processing chains such as change detection, image classification and digital elevation model generation from stereo images. The spectral similarity between shadow areas, water bodies, and some dark asphalt roads makes the development of robust shadow detection algorithms challenging. In addition, most of the existing methods work on pixel-level and neglect the contextual information contained in neighboring pixels. In this paper, a new object-based shadow detection framework is introduced. In the proposed method a pixel-level shadow mask is built by extending established thresholding methods with a new C₄ index which enables to solve the ambiguity of shadow and water bodies. Then the pixel-based results are further processed in an object-based majority analysis to detect the final shadow objects. Four different high resolution satellite images are used to validate this new approach. The result shows the superiority of the proposed method over some state-of-the-art shadow detection method with an average of 96% in F-measure.