面向个体人员特征的跨模态目标跟踪算法

针对类内干扰影响基于个体人员特征目标跟踪算法的精确性和鲁棒性问题，分析当前跟踪算法在个体人员跟踪方面存在的不足，提出了利用语言先验知识引导辅助跟踪器的方法。在视觉跟踪器的基础上增加语言引导分支，对跟踪目标产生注意力，从而减少对类内干扰的影响。利用位置置信度进行回归目标框定位的方法解决基于孪生网络目标跟踪算法中利用分类置信度定位候选目标框的局限性，实现跨模态信息融合提升特定目标跟踪的精度。为提升所提模型对特定人员目标跟踪的针对性，构建了跨模态的人员目标跟踪数据集用于训练和验证。实验表明:所提模型应用于个体人员跟踪时表现更佳，其有效性得到了证明。      

基于双重属性信息的跨模态行人重识别算法

通过对跨模态检索问题的研究，属性信息的使用可以增强所提取特征的语义表达性，但现有基于自然语言的跨模态行人重识别算法对行人图片和文本的属性信息利用不够充分。基于双重属性信息的跨模态行人重识别算法充分考虑了行人图片和文本描述的属性信息，构建了基于文本属性和图片属性的双重属性空间，并通过构建基于隐空间和属性空间的跨模态行人重识别端到端网络，提高了所提取图文特征的可区分性和语义表达性。跨模态行人重识别数据集CUHK-PEDES上的实验评估表明，所提算法的检索准确率Top-1达到了56.42%，与CMAAM算法的Top-1（56.68%）具有可比性，Top-5、Top-10相比CMAAM算法分别提升了0.45%、0.29%。针对待检索图片库中可能存在身份标签的应用场景，利用行人的类别信息提取属性特征，可以较大幅度提高跨模态行人图片的检索准确率，Top-1达到64.88%。消融实验证明了所提算法使用的文本属性和图片属性的重要性及基于双重属性空间的有效性。      

基于多级语义对齐的图像-文本匹配算法

图像中的区域特征更关注于图像中的前景信息,背景信息往往被忽略,如何有效的联合局部特征和全局特征还没有得到充分地研究。为解决上述问题,加强全局概念和局部概念之间的关联得到更准确的视觉特征,提出一种基于多级语义对齐的图像-文本匹配算法。提取局部图像特征,得到图像中的细粒度信息;提取全局图像特征,将环境信息引入到网络的学习中,从而得到不同的视觉关系层次,为联合的视觉特征提供更多的信息;将全局-局部图像特征进行联合,将联合后的视觉特征和文本特征进行全局-局部对齐得到更加精准的相似度表示。通过大量的实验和分析表明：所提算法在2个公共数据集上具有有效性。     

基于高分辨率网络的单声道歌声分离

单声道歌声分离是指将单声道歌曲中的伴奏和歌声分离，在旋律提取、歌词识别、卡拉OK伴奏等方面有重要应用。针对当前时频谱图预测精度受限的问题，利用高分辨率网络具有并行结构及特征充分交互提高模型性能的优势，提出基于高分辨率网络的单声道歌声分离算法。设计并构建适合单声道歌声分离的高分辨率网络，输入歌曲的时频谱图到网络，得到预测的伴奏和歌声时频谱图。结合歌曲相位进行重构，得到伴奏和歌声的时域信号。实验表明，在公开数据集MIR-1K上，所提算法的SNR、SIR、SAR指标均优于当前代表性算法，提高了分离后伴奏和歌声的质量。      

基于双注意力混洗的无人机航拍目标跟踪算法

针对无人机（UAV）跟踪过程中目标经常出现尺寸小、尺度变化大和相似物干扰等问题,提出了一种基于双注意力混洗的多尺度无人机实时跟踪算法。考虑到无人机视角下目标像素点少,构建了双采样融合的深层网络,既提供了语义信息丰富的深度特征,又保留了目标的细节信息;设计了双注意力混洗模块,通道注意力和空间注意力同时分组筛选提取到的特征信息,混洗不同通道间的信息,加强信息交流,提高了算法辨别能力;为利用不同层的特征信息,加入多个区域建议网络完成目标的分类和回归,并针对无人机的目标特点,将结果进行加权融合。实验结果表明：所提算法在数据集上的成功率和准确率分别为60.3%和79.3%,速度为37.5帧/s。所提算法的辨别能力和多尺度适应能力明显增强,能有效应对无人机跟踪中常见的挑战。     

基于多尺度残差卷积网络的HEVC视频隐写分析

图片、语音、视频等多媒体形式的信息交流在网络通信中占有重要地位，同时也有很多非法信息的传播隐匿于此。隐写分析是甄别隐秘信息是否存在的有效手段，提出了一种通用的基于多尺度残差卷积网络的HEVC视频隐写分析算法。网络主体由残差计算、特征提取和二分类3部分构成，其中在特征提取部分针对性地提出了残差卷积层、多尺度残差卷积模块及隐写分析残差块。实验结果表明:所提算法基于视频像素域分析网络的检测率高达99.75%，比传统的手工提取特征方法具有更大的优势。      

多尺度特征和注意力融合的生成对抗壁画修复

针对现有深度学习图像修复算法修复壁画时，存在特征提取不足及细节重构丢失等问题，提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征金字塔网络提取壁画中不同尺度的特征信息，增强特征关联性；采用自注意力机制及特征融合模块构建多尺度特征生成器，以获取丰富的上下文信息，提升网络的修复能力；引入最小化对抗损失与均方误差促进判别器的残差反馈，从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁画数字化修复的实验结果表明，所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息，并且主观视觉效果及客观评价指标均优于比较算法。     

基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性：简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息（即区域或单词）。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络（MMTN）模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明：所提模型达到了最先进的性能。     

基于跨模态近邻损失的可视-红外行人重识别

可视-红外跨模态行人重识别任务的目标是给定一个模态的特定人员图像,在其他不同模态摄像机所拍摄的图像集中进行检索,找出相同人员对应的图像。由于成像方式不同,不同模态的图像之间存在明显的模态差异。为此,从度量学习的角度出发,对损失函数进行改进以获取具有更加辨别性的信息。对图像特征内聚性进行理论分析,并在此基础上提出一种基于内聚性分析和跨模态近邻损失函数的重识别方法,以加强不同模态样本的内聚性。将跨模态困难样本的相似性度量问题转化为跨模态最近邻样本对和同模态样本对的相似性度量,使得网络对模态内聚性的优化更加高效和稳定。对所提方法在全局特征表示的基线网络和部分特征表示的基线网络上进行实验验证结果表明：所提方法对可视-红外行人重识别的预测结果相较于基线方法,平均准确度最高可提升8.44%,证明了方法在不同网络架构中的通用性;同时,以较小的模型复杂度和较低的计算量为代价,实现了可靠的跨模态行人重识别结果。     

基于级联注意力机制的孪生网络视觉跟踪算法

针对全卷积孪生网络（SiamFC）在相似物体干扰及目标发生大尺度外观变化时容易跟踪失败的问题，提出了一种基于级联注意力机制的孪生网络视觉跟踪算法。首先，在网络的最后一层加入非局部注意力模块，从空间维度得到关于目标区域的自注意特征图，并与最后一层特征进行相加运算。其次，考虑到不同通道特征对不同目标和各类场景的响应差异，引入通道注意力模块实现对特征通道的重要性选择。为了进一步提高跟踪的鲁棒性，将其与SiamFC算法进行加权融合，得到最终的响应图。最后，将提出的孪生网络模型在GOT10k和VID数据集上进行联合训练，进一步提升模型的表达力与判别力。实验结果表明:所提算法相比于SiamFC，在跟踪精度上提高了9.3%，在成功率上提高了5.4%。      

一种地震动信号特征提取与分类方法

为了实时检测、识别和预警对地下基础设施的挖掘破坏活动，本文提出一种地震动信号特征提取与分类方法。通过提取小波包变换域和集合经验模态变换域的多域能量联合分布特征向量，构建改进的径向基神经网络分类模型，利用机器学习的方法提取稳定的信号多域融合特征，并实现准确的信号特征分类预测。由多类别挖掘信号的仿真实验结果可以看出，本文的算法和模型能有效提升地震动信号分类的准确率，对地震动干扰信号具有较强的鲁棒性。     

无人平台复杂地形探测的视触融合方法

为提高无人平台在复杂环境中的地形探测能力以及解决在小样本数据下识别地形困难的问题，提出了一种无人平台复杂地形探测的视触融合方法。在原始宽度学习的基础上，建立了多模态级联特征节点宽度学习框架。首先进行触觉和视觉初步特征提取和融合特征提取，随后将融合特征矩阵经宽度学习分类器得到地形识别的结果。最后，在自建的视觉-触觉地形 (V-T2)数据集进行了实验验证。结果表明，相比于传统的融合算法，提出的融合算法有很好的准确性和鲁棒性，为无人平台地形探测提供了有效的策略。     

Android恶意APP多视角家族分类方法

针对现有Android恶意软件家族分类方法特征构建完备性不足、构建视角单质化等问题，提出了一种多视角特征规整的卷积神经网络(CNN)恶意APP家族分类方法。该方法结合MinHash算法。将软件中Android框架系统API、操作码序列、AndroidManifest.xml文件中的权限和Intent组合3个视角的原始特征在保留APP间相似度情况下进行规整，并利用多路卷积神经网络完成对各视图的特征提取和信息融合，构建一套恶意APP家族分类模型。基于公开数据集Drebin、Genome、AMD的实验结果表明:恶意APP家族分类准确率超过0.96，证明了所提方法能够充分挖掘各视角的行为特征信息，能有效利用多视角特征间的异构特性，具有较强的实用价值。      

基于DLatLRR与VGG Net的红外与可见光图像融合

针对红外与可见光图像融合中特征损失严重、显著目标不突出的问题，提出了一种低秩表示分解与深度神经网络相结合的图像融合算法。首先，对源图像进行潜在低秩表示分解（DLatLRR），得到相应的低秩部分、显著部分及稀疏噪声。然后，分别采用16层的VGG Net模型和联合特征加权算法对低秩部分与显著部分进行融合，舍弃二者的稀疏噪声。最后，对融合得到的低秩部分和显著部分进行图像重建，得到最终的融合图像。实验结果表明:与其他算法进行比较，所提算法能够对图像的深层次细节特征进行融合，突出场景中的感兴趣区域，且融合图像的相关差异和、结构相似性、线性相关度等多种客观指标均有所提升，提升最大值分别为0.73、0.15、0.11，噪声产生率的最大缩减值为0.041 2。      

产品协同设计中异构模型数据融合的有效策略

针对复杂产品设计中，不同设计工具产生的模型数据之间的融合问题，提出了一种工具间端到端的异构模型数据融合策略。利用数据库管理动态特性，通过模型信息共享，实现异构模型数据之间的融合。在OpenMBEE系统集成环境中，通过建模工具CREO二次开发，利用所提策略获取全生命周期设计中的动态模型属性信息，通过3D模型编辑及重用功能测试，验证了所提策略的有效性。利用自动获取可视化模型属性信息的智能算法，设计一种基于Transformer模型与双向长短期记忆(Bi-LSTM)模型相结合的模型属性智能提取算法，利用神经网络的多层感知特性，通过对模型中属性文本信息进行深度学习、特征分析，实现了对异构数据属性信息的自动提取功能。利用CAMEO建模工具设计的需求分析模型构建模型数据集，验证了智能模型信息自动提取功能的有效性。      

多尺度特征融合的Anchor-Free轻量化舰船要害部位检测算法

反舰导弹对舰船要害部位的精确打击能力是精确制导武器的关键技术之一。针对反舰导弹导引头对舰船要害部位检测精度低、特征提取能力不足,预测框的处理降低检测速度等问题,提出了一种多尺度特征融合的Anchor-Free轻量化舰船要害部位检测算法。由于舰船要害部位检测数据具有多尺度、多角度特性,引入多尺度特征融合模块,综合利用不同感受野的检测信息,优化特征提取;利用高效轻量化注意力机制改进Hourglass结构中的跨层连接,提升检测精度,降低算法总参数量;使用迁移学习有效提升算法收敛效果。在建立的舰船要害部位检测数据集和公开的PASCAL VOC数据集进行实验,检测准确率分别提升了4.41%和5.57%,分析算法参数与运算量,设计了模块消融实验,论证了所提算法的有效性。      

基于深度学习的无人机视觉目标检测与跟踪

针对目标检测中小目标物体漏检率及误检率高等问题,提出了一种基于Yolov3-Tiny算法的改进模型。改进k-means聚类方法,增加3×3和1×1的卷积池化层,将第9层卷积输出上采样,并与第8层卷积得到的特征图进行连接,得到新的输出:52×52卷积层,形成新的特征金字塔。基于卡尔曼滤波算法实现目标跟踪,提出融合跟踪算法的检测网络,使用匈牙利匹配算法对检测边缘框与跟踪边缘框进行最优匹配,利用跟踪结果修正检测结果,提高了检测速度,同时提升了检测能力。在ROS、Gazebo和自动驾驶仪软件PX4的综合仿真环境下对所提算法进行了对比试验。试验结果表明:改进算法平均检测速度降低了15.6%,mAP提高了6.5%。融合跟踪算法后的网络平均检测速度提高了34.2%,mAP提高了8.6%。融合跟踪算法后的网络能够满足系统实时性和准确性的要求。      

基于BoF模型的多特征融合纹理图像分类

针对特征词袋（BoF）模型缺乏空间和几何信息,对纹理图像内容表达不明显等问题,提出一种基于BoF模型的多特征融合纹理分类算法。将灰度梯度共生矩阵（GGCM）和尺度不变特征转换（SIFT）融合特征作为纹理图像的区域特征描述,通过动态权重鉴别能量分析进行最优参数特征选择,并用BoF量化纹理特征,使用支持向量机对图像进行训练和预测,得出分类结果。实验结果表明,本文算法对有旋转扭曲的纹理、边缘模糊纹理、有光照变化的纹理及杂乱纹理等均能取得较好的分类效果,相对于传统BoF模型及凹凸划分（CCP）方法等算法在UIUC纹理库上的分类正确率均有不同程度的提高,平均分类正确率分别提高12.8%和7.9%,说明本文算法针对纹理图像分类具有较高的精度和较好的鲁棒性。      

基于时频域增强和全变差的群目标信号分离

针对低分辨雷达获取的群目标信号的弱时频正交性以及难以分离的问题,在进行时频域增强处理的基础上,提出了一种基于全变差(TV)的群目标信号分离方法。在旋转目标模型的基础上,首先通过分析群目标信号的稀疏性,指出了进行时频域增强处理的必要性。然后利用群目标中各子目标对应的微动周期的差异性,通过双向延迟处理,对多次观测得到的群目标信号进行时频域增强处理。最后根据群目标信号能量区域的分布特性,利用局部TV融合和主分量分析相结合的方法,实现了群目标信号的高保真分离。仿真结果表明,在采样率较低的情况下,文中方法有效地解决了群目标信号中弱信号分量的分离及提取问题,其融合分辨效果明显优于基于TV范数的融合方法。