基于多重检测的无人机抗遮挡目标跟踪算法

针对无人机（UAV）目标跟踪过程中遇到目标被障碍物遮挡时跟踪效果不佳的问题，提出一种多重检测的抗遮挡目标跟踪算法。在基于时空正则化相关滤波算法的框架下通过融合多种置信度函数，设计了一种响应置信度判别方法；为了具体了解目标被遮挡情况，将响应差值变化和响应梯度变化结合在一起作为判断是否更新滤波模板参数的依据；设计了一种融合分块思想与金字塔尺度池的尺度估计方法来解决目标在图像中尺度大小变化问题。所提算法在UAV数据集上相较于其他7种算法有不错的表现，在跟踪过程中面对目标遮挡、尺度变化和快速移动问题的跟踪精度和成功率上都有明显的提升。结果表明：所提算法能够更好地应对UAV在目标跟踪过程中出现的目标遮挡和尺度变化的问题，具有良好的快速性、准确性和鲁棒性。     

基于双重属性信息的跨模态行人重识别算法

通过对跨模态检索问题的研究，属性信息的使用可以增强所提取特征的语义表达性，但现有基于自然语言的跨模态行人重识别算法对行人图片和文本的属性信息利用不够充分。基于双重属性信息的跨模态行人重识别算法充分考虑了行人图片和文本描述的属性信息，构建了基于文本属性和图片属性的双重属性空间，并通过构建基于隐空间和属性空间的跨模态行人重识别端到端网络，提高了所提取图文特征的可区分性和语义表达性。跨模态行人重识别数据集CUHK-PEDES上的实验评估表明，所提算法的检索准确率Top-1达到了56.42%，与CMAAM算法的Top-1（56.68%）具有可比性，Top-5、Top-10相比CMAAM算法分别提升了0.45%、0.29%。针对待检索图片库中可能存在身份标签的应用场景，利用行人的类别信息提取属性特征，可以较大幅度提高跨模态行人图片的检索准确率，Top-1达到64.88%。消融实验证明了所提算法使用的文本属性和图片属性的重要性及基于双重属性空间的有效性。      

无人直升机自主着舰系统设计及仿真试验

设计了一套包含视觉目标识别单元、目标跟踪器、甲板状态跟踪器和模糊逻辑控制的无人直升机自主着舰系统.视觉系统通过对采集的图像预处理提取出可能的甲板标识区域,然后对此区域计算其仿射不变矩特征集合,对得到的特征集经过模糊识别技术实现对甲板降落区域的识别,并根据矩特征集计算出甲板运动状态信息.目标跟踪器采用了卡尔曼滤波技术,在目标二阶运动方程的基础上设计了跟踪算法.甲板运动状态跟踪器用于在无人直升机的降落期间实现对甲板尤其是触舰瞬间甲板的纵摇、横摇及浮沉状态的预测,该跟踪器采用了改进的卡尔曼多步预测算法.设计了基于模糊逻辑的比例积分控制器,由多个并行的对特定任务实施控制的子控制行为构成.仿真试验结果验证了所提出的算法.在仿真试验中,无人直升机能够正确的识别甲板目标区域,实现了对运动舰船在二维水平面内的跟踪,甲板状态跟踪器能够预测未来1~5个周期内甲板状态,控制器基于目标信息和甲板状态能够正确地引导无人直升机实现安全着舰.     

基于相关滤波和轨迹预测的视频卫星动态目标跟踪算法

为解决卫星视频中有遮挡或相似目标情况下目标跟踪的问题,提出了一种改进的相关滤波算法,在跟踪框架中加入了干扰判别模块和基于神经网络的轨迹预测模型。通过比较平均峰值相关能量指标值与自适应阈值来判别跟踪器是否受到干扰。双向长短期记忆网络以目标历史轨迹编码为输入来完成轨迹预测,结合相关滤波输出结果和网络预测结果来确定目标的位置。实验表明,所提出算法的精度提升了2.10%,在有遮挡或相似目标等情况下仍具有较好的跟踪性能。     

基于跨模态近邻损失的可视-红外行人重识别

可视-红外跨模态行人重识别任务的目标是给定一个模态的特定人员图像,在其他不同模态摄像机所拍摄的图像集中进行检索,找出相同人员对应的图像。由于成像方式不同,不同模态的图像之间存在明显的模态差异。为此,从度量学习的角度出发,对损失函数进行改进以获取具有更加辨别性的信息。对图像特征内聚性进行理论分析,并在此基础上提出一种基于内聚性分析和跨模态近邻损失函数的重识别方法,以加强不同模态样本的内聚性。将跨模态困难样本的相似性度量问题转化为跨模态最近邻样本对和同模态样本对的相似性度量,使得网络对模态内聚性的优化更加高效和稳定。对所提方法在全局特征表示的基线网络和部分特征表示的基线网络上进行实验验证结果表明：所提方法对可视-红外行人重识别的预测结果相较于基线方法,平均准确度最高可提升8.44%,证明了方法在不同网络架构中的通用性;同时,以较小的模型复杂度和较低的计算量为代价,实现了可靠的跨模态行人重识别结果。     

运动信息引导的目标检测算法

在室外监控视频的场景下，由于场景的复杂性及目标的多样性，监控视频中的目标存在难以检测的情况，如目标被遮挡、目标尺寸变化等，目标检测任务仍然存在挑战。基于此，提出了一种利用运动信息引导基于卷积神经网络的目标检测算法来提高目标检测的准确率。对运动目标检测算法进行一定的改进，使得到的运动前景图中能够保持静止目标前景的存在；利用运动前景图中的前景可以指示目标空间位置的特点，在特征层面将网络提取的特征图与获取的以运动前景图为主的运动信息相融合，提高特征图可能存在目标区域的响应值；在目标检测算法的检测器中，引入一个定位分支，利用视频帧的运动前景图，学习候选目标的定位置信度，并与目标的分类置信度加权求和，作为目标最终的置信度，再通过非极大值抑制方法得到检测结果。实验证明，在固定摄像机下采集的数据集中，所提算法能够提升目标检测的准确率。      

基于特征融合与抗遮挡的卫星视频目标跟踪方法

卫星视频中的目标易受到遮挡和复杂环境干扰等影响，造成对目标的运动状态估计不够准确，导致目标跟踪失败。基于此，在核相关滤波(KCF)算法的基础上设计2种算法提高目标跟踪的成功率，实现鲁棒性的目标跟踪。通过提取目标的方向梯度直方图(HOG)特征、灰度特征和高斯曲率特征表述目标的外观模型；联合响应图的峰值和平均峰值相关能量(APCE)对目标的响应图进行自适应加权融合，并将融合后的响应图峰值作为置信度对目标的模型进行自适应更新；通过使用卡尔曼滤波的方法对遮挡的目标进行位置预测，当目标遮挡结束时，对目标进行重新跟踪，解决卫星视频中目标被遮挡的问题。大量实验结果表明:所改进的相关滤波算法对卫星视频中的目标跟踪，尤其是在复杂环境、目标被遮挡及场景光照发生变化的情况下，具有良好的效果，并且在目标跟踪的精度和成功率等方面都有很大的提高，为进一步对卫星视频中的目标跟踪奠定了基础。      

一种可变锚框候选区域网络的目标检测方法

目标检测作为计算机视觉领域的热点问题，目前基于深度学习的目标检测方法可以分为2类:两步检测和一步检测，前者有着较高准确性，后者有着较好速度，但是为提高检测的性能两者都引入了锚机制。为提高目标检测系统的性能，基于深度卷积神经网络的两步检测算法引入了注意力引导（AG）模块，通过对候选区域网络（RPN）的锚机制进行引导，使得对于预选锚框形状的选择更具有多样性；同时针对传统的后处理方式非极大值抑制（NMS）算法存在的误检和漏检的问题，提出了一种置信度因子的NMS（Cf-NMS）算法，对于模型的整体性能有着很大的贡献。实验结果说明，所提方法虽然在速度性能上有略微的下降，但是无论是在RPN变体还是现有的先进算法在准确性方面都有提升。      

基于类脑模型与深度神经网络的目标检测与跟踪技术研究

目标检测与跟踪技术广泛应用于交通、医疗、安保和航天等领域.目前，目标检测与跟踪技术面临目标微弱、背景复杂、目标被遮挡等挑战.同时，随着脑科学研究的不断深入，人们对人脑视觉系统的理解逐渐透彻，利用类脑计算解决复杂背景下高精度目标检测与跟踪问题成为相关领域的重要研究方向.本文结合神经工程导向的类脑模型和计算机工程导向的深度神经网络(Deep Neural Networks, DNNs)，提出多种基于类脑模型与深度神经网络的目标检测与跟踪算法，包括：基于演算侧抑制的目标检测算法，基于结构 对比度(Structure Contrast, SC)视觉注意模型的弱小目标检测算法和基于记忆机制与分层卷积特征的目标跟踪算法.实验结果表明，将类脑模型和深度神经网络应用于目标检测和跟踪领域，有利于实现复杂条件下的高精度目标检测和鲁棒性目标跟踪.     

结合空间注意力机制的实时鲁棒视觉跟踪

为提高全卷积孪生网络(SiamFC)跟踪器在复杂场景下的跟踪能力,缓解跟踪器在跟踪过程中出现的目标漂移问题,提出一种结合空间注意力机制的实时目标跟踪算法。在SiamFC框架基础上,将改进的视觉几何组(VGG)网络作为主干网络,增强跟踪器对于目标深度特征的建模能力。对自注意力机制进行优化,提出一种即插即用的轻量级单卷积注意力模块(SCAM),将空间注意力分解为2个并行的一维特征编码过程,减少空间注意力的计算复杂度。保留跟踪过程中的初始目标模板作为第1模板,通过分析连通域在跟踪结果响应图的变化动态选择第2模板,融合2个模板后对目标进行定位。实验结果表明：在OTB100、LaSOT和UAV123数据集上,所提算法相比于SiamFC跟踪成功率分别提高了0.082、0.045和0.045,跟踪精度分别提高了0.118、0.051和0.062;在VOT2018数据集上,所提算法相比于SiamFC在跟踪准确率、鲁棒性和期望平均重叠率上分别提高了0.029、0.276和0.134;跟踪速度达到了70帧/s,能够满足实时跟踪的需求。     

基于IoU约束的孪生网络目标跟踪方法

基于孪生网络的跟踪方法通过离线训练跟踪模型，不需要对跟踪模型进行在线更新，兼顾了跟踪精度和速度。现有孪生网络目标跟踪方法使用固定阈值选择正负训练样本易造成训练样本漏选问题，且训练时分类分支和回归分支之间存在低相关性问题，不利于训练出高精度的跟踪模型。为此，提出了一种基于交并比(IoU)约束的孪生网络目标跟踪方法。通过使用动态阈值策略根据预定义锚框与目标真实框的相关统计特征，动态调整正负训练样本的界定阈值，提升跟踪精度。所提方法使用IoU质量评估分支代替分类分支，通过锚框与目标真实框之间的IoU反映目标位置，提升跟踪精度，降低模型的参数量。在数据集VOT2016、OTB-100、VOT2019、UAV123上进行了对比实验，所提方法均有较好的表现。在VOT2016数据集上，所提方法的跟踪精度比SiamRPN方法高0.017，期望平均重叠率为0.463，与SiamRPN++相比仅差0.001，实时运行速度可达220帧/s。      

基于Hu相关滤波的光学卫星视频点目标跟踪

针对光学卫星视频运动目标跟踪问题进行研究,提出一种鲁棒的特征描述和匹配跟踪方法。引入相关滤波的思想,首先利用样本集的Hu不变矩和中值滤波,建立目标的跟踪模板并进行目标特征描述。然后,将目标跟踪的判断区域降维处理,建立判断区域的Hu置信模型。利用FFT推导了快速相关法,进而通过求得跟踪置信图最大值实现目标跟踪。针对跟踪轨迹采用卡尔曼滤波辅助和优化跟踪处理,提高算法的鲁棒性。试验数据采用SkySat和吉林一号拍摄的视频各两段,对5个点目标进行跟踪试验,跟踪精度优于90%,跟踪过程目标不丢失,且轨迹平滑。针对13×13的判断区域,与一般相关性方法相比,处理速度可提升约5倍。可为光学卫星视频点目标实现快速可靠跟踪提供技术基础。     

基于通道注意力机制的行人重识别方法

针对行人特征表达不充分的问题，提出了一种基于通道注意力机制的行人重识别方法。将通道注意力机制SE模块嵌入到骨干网络ResNet50中，对关键特征信息进行加权强化；采用动态激活函数，根据输入特征动态调整ReLU的参数，增强网络模型的非线性表达能力；将梯度中心化算法引入Adam优化器，提升网络模型的训练速度和泛化能力。在Market1501、DukeMTMC-ReID和CUHK03主流数据集上对改进后的模型进行测试评价，Rank-1分别提升2.17%、2.38%和3.50%，mAP分别提升3.07%、3.39%和4.14%。结果表明:改进后的模型能够提取更强鲁棒性的行人表达特征，达到更高的识别精度。      

基于空间注意力机制的行人再识别方法

行人再识别是图像检索领域的一个重要部分，但是由于行人姿态各异、背景复杂等因素，导致提取到的行人特征鲁棒性和代表性不强，进而影响行人再识别的精度。在AlignedReID++算法基础上，提出了基于空间注意力机制的行人特征提取方法，应用在行人再识别中取得了很好的效果。首先，在特征提取部分，引入空间注意力机制来增强特征表达，同时抑制可能的噪声；其次，通过在卷积层中引入实例正则化层（IN）来辅助批正则化层（BN）对特征进行归一化处理，解决单一BN层对特征色调变化以及光照变化的不敏感性，提高特征提取对亮度、色调变化的鲁棒性；最后，在Market1501、DukeMTMC和CUHK03 3个行人再识别通用数据集上对所提改进模型进行测试评价。实验结果显示:改进后的模型在3个数据集上识别精度分别提升了2%、2.9%和5.1%，表明改进后的模型相较于改进前的模型，在精度以及鲁棒性上都有显著提高。      

电力场景下基于无人机视觉的运动目标追踪方法

随着人工智能技术的发展,面向电力系统的运动目标追踪技术逐渐得到关注,现有方法虽有一定成效,但是大多基于固定摄像头的监控视频录制,不能灵活追踪运动目标,当运动目标离开摄像头视野时,存在运动目标丢失问题。为此,利用无人机设备,并基于深度学习和核相关滤波技术,提出了一个电力场景下基于无人机视觉的运动目标追踪方法（MTTS_UAV）。所提方法采用改进的目标追踪方法与目标检测方法相结合的方式来追踪运动目标隐患,并引入2种无人机飞行控制模块:启发式和数据驱动式,使得无人机的飞行速度和方向可以根据目标移动情况自适应地调节。在真实变电站的安全帽人员数据集上进行了大量实验,对所提方法的追踪效果进行评估,结果表明:所提方法在真实数据集上的平均像素误差（APE）和平均重叠率（AOR）分别可达到2.37和0.67,验证了方法的有效性。      

基于相关滤波器的嵌入式动态目标跟踪系统设计

针对空间非合作运动目标监控，提出了一种基于嵌入式技术的动态目标实时检测与跟踪方法，并完成了跟踪系统的研制设计和测试。该视觉目标跟踪系统以嵌入式处理器为控制器，通过相机模组获取实时视频图像，图像经过视觉检测与跟踪算法程序分析，得到目标的位置信息后，控制伺服运动系统调整相机姿态实现对动态目标跟踪。提出了基于相关滤波原理的跟踪算法，搭建了树莓派嵌入式测试系统，完成实时检测与跟踪的实验评估。实验结果表明，嵌入式处理器中检测与跟踪程序的平均运行帧率达到25FPS，伺服机构在水平360°和俯仰±60°范围内实现了对移动速度90°/s的目标的实时、稳定监控与跟踪。     

基于OWRR-PF的机载图像中导弹跟踪方法

针对利用图像信息实现飞行器的导弹预警跟踪中导弹运动2D建模、运动模型非线性和目标干扰非高斯等问题,研究了比例导引下导弹在三维空间中的运动在成像面上的运动模式,建立了比例制导导弹的2D投影运动状态模型.由于模型中速度和加速度等主要物理量的非线性,并考虑导弹运动过程中受到的风向、风力、气旋和气流等随机干扰的非高斯性,采用粒子滤波方法实现导弹跟踪;并针对粒子滤波在跟踪过程中存在的粒子退化问题,提出有序权值残差重采样粒子滤波(OWRR-PF,Ordered Weight Residual Resampling Particle Filter)方法,该方法缓解了粒子退化问题,提高了跟踪的准确度.利用所建立的导弹运动模型进行连续视频试验,与标准粒子滤波相比跟踪精度提高了70%左右,与残差重采样粒子滤波方法相比跟踪精度提高了15%左右.