自注意力相似度迁移跨模态哈希网络

为进一步提升跨模态检索性能,提出自注意力相似度迁移跨模态哈希网络模型。设计了一种通道空间混合自注意力机制强化关注图像的关键信息,并使用共同注意力方法加强模态信息交互,提高特征学习质量;为在哈希空间重构相似关系,采用迁移学习的方法利用实值空间相似度引导哈希码的生成。在3个常用的数据集MIRFLICKR-25K、IAPR TC-12和MSCOCO上与深度跨模态哈希（DCMH）、成对关系引导的深度哈希（PRDH）、跨模态汉明哈希（CMHH）等优秀方法进行对比实验,结果显示哈希码长度为64 bit的条件下,所提模型在3个数据集图像检索文本任务的平均精确度均值（MAP）达到72.3%,文本检索图像任务的MAP达到70%,高于对比方法。     

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。      

基于多标签协同学习的跨域行人重识别

跨域是行人重识别的重要应用场景,但是源域与目标域行人图像在光照条件、拍摄视角、成像背景与风格等方面的表观特征差异性是导致行人重识别模型泛化能力下降的关键因素。针对该问题,提出了基于多标签协同学习的跨域行人重识别方法。利用语义解析模型构造了基于语义对齐的多标签数据表示,以引导构建更关注行人前景区域的局部特征,达到语义对齐的目的,减少背景对跨域重识别的影响。基于行人图像全局特征和语义对齐后的行人局部特征,利用协同学习平均模型生成行人重识别模型的多标签表示,减少跨域场景下噪声硬标签的干扰。利用协同学习网络框架联合多标签的语义对齐模型,提高行人重识别模型的识别能力。实验结果表明：在Market-1501→DukeMTMC-reID、DukeMTMC-reID→Market-1501、Market-1501→MSMT17、DukeMTMC-reID→MSMT17跨域行人重识别数据集上,与NRMT方法相比,平均精度均值分别提高了8.3%、8.9%、7.6%、7.9%,多标签协同学习方法具有显著的优越性。     

MBD模型本体建模及检索技术研究与应用

针对产品全三维数字化研制中产生的MBD历史建模数据重用性需求,提出了一种基于本体技术的MBD模型知识表达与管理方法,综合考虑几何信息与非几何信息进行检索应用。首先,根据MBD数据集规范性要求,以模型检索为目的,构建本体结构,分为几何信息层与非几何信息层进行具体阐述;其次,根据已构建本体结构,给出几何信息层与非几何信息层相似性对比方法;最终,综合几何信息与非几何信息,实现MBD模型检索。本文方法通过本体技术,将MBD模型数据进行结构化、语义化表达和存储,在此基础上,综合考虑几何信息相似度及非几何信息相似度,进行相似模型检索,实现MBD模型信息重用。     

基于局部语义特征不变性的跨域行人重识别

行人重识别是刑侦案件中重要的侦查手段，而跨域是行人重识别的主要挑战之一，也是制约其实际应用的瓶颈问题。在带标签的源域和无标签的目标域学习跨域行人局部语义不变性特征模型。首先，在源域上通过只含有行人标识无部件标签的监督学习方式学习行人的各部件特征，并在源域和目标域上采用无监督学习方式对齐行人部件。然后，基于对齐后的行人全局与局部特征，引入特征模板池存储对齐后的目标域全局和局部特征，并设计了跨域不变性损失函数进行特征不变性约束，提高行人重识别的跨域适应能力。最后，在Market-1501、DukeMTMC-reID和MSMT17数据集之间开展了跨域行人重识别验证实验，实验结果表明，所提方法在跨域行人重识别上取得了显著的性能提升。      

基于三维特征设计的二维工程图的自动生成

主要研究了基于参数化特征造型系统("金银花"系统)中二维工程图中的视图布局及图形处理的基本原理及实现方法,重点介绍标准视图和剖视图的生成原理.与传统的二维绘图系统不同,本文的一个特点是由三维模型自动生成二维工程图的视图布局及尺寸标注,实现三维模型与二维图形的双向关联,既修改二维图形,三维模型也会随之改变,反之亦然.     

基于跨模态近邻损失的可视-红外行人重识别

可视-红外跨模态行人重识别任务的目标是给定一个模态的特定人员图像,在其他不同模态摄像机所拍摄的图像集中进行检索,找出相同人员对应的图像。由于成像方式不同,不同模态的图像之间存在明显的模态差异。为此,从度量学习的角度出发,对损失函数进行改进以获取具有更加辨别性的信息。对图像特征内聚性进行理论分析,并在此基础上提出一种基于内聚性分析和跨模态近邻损失函数的重识别方法,以加强不同模态样本的内聚性。将跨模态困难样本的相似性度量问题转化为跨模态最近邻样本对和同模态样本对的相似性度量,使得网络对模态内聚性的优化更加高效和稳定。对所提方法在全局特征表示的基线网络和部分特征表示的基线网络上进行实验验证结果表明：所提方法对可视-红外行人重识别的预测结果相较于基线方法,平均准确度最高可提升8.44%,证明了方法在不同网络架构中的通用性;同时,以较小的模型复杂度和较低的计算量为代价,实现了可靠的跨模态行人重识别结果。     

基于渐进式注意力和分块遮挡的跨域行人重识别

针对跨域行人重识别中遮挡造成特征匹配缺失及细粒度辨识性特征被忽略的问题，提出了基于渐进式注意力和分块遮挡的跨域行人重识别方法。该方法通过学习行人未遮挡区域的多粒度辨别性特征，实现空间不对齐下的特征匹配。渐进式注意力模块将特征逐步分割为多个局部块，依次学习每块的辨别性特征，由粗到细地感知前景信息，从而解决目前网络不能提取多层次辨识性特征的问题，增强了特征的匹配能力；渐进式分块遮挡模块很好地适应模型逐步变强的学习能力特性，通过由易到难地生成遮挡数据，有效提取了未遮挡区域的辨识性特征，进而解决模型错误识别遮挡样本的问题，使得所提模型在遮挡情况下的鲁棒性得到有效提高。实验结果表明：所提方法在首位命中率和平均精确度2个指标上与当前主流方法相比具有显著的优越性；与2020年CVPR会议中QAConv行人重识别方法相比，在DukeMTMC-reID数据集(MSMT17→DukeMTMCreID)上的2个指标分别高出2.3%和6.2%，能够更加有效地实现跨域行人重识别，在OccludedDuke数据集(DukeMTMC-reID→Occluded-Duke)上的2个指标分别达到49.5%和39.0%，...     

基于三维点云模型的空间目标光学图像生成技术

空间探测任务中大量先验图像数据的缺乏，使得基于光学图像的态势感知和导航算法无法被有效定量测试和评估。针对此问题，提出了一种基于三维点云模型和射影变换基本理论的空间目标光学图像生成方法。在完成对空间目标三维点云模型和仿真摄像机模型构建基础之上，利用射影变换基本理论依次计算像平面所有像素点与空间目标三维点云模型空间点的对应关系，并基于Lambertian漫反射模型和相对应空间目标三维点云模型空间点的光照方向，得到所有像素点的灰度值，从而生成给定空间目标的光学图像。大量仿真实验表明:与传统的基于解析模型的仿真图像生成方法相比，所提的空间目标光学图像生成技术能够以更快的速度生成更加真实的仿真图像，且生成的仿真图像可以广泛应用于椭圆拟合、陨石坑检测、着陆器视觉导航、航天器交会对接、空间目标跟踪等典型空间应用算法的定性与定量评估。      

基于序列图像的空间目标三维重建

空间目标三维重建对空间态势感知和理论研究具有重要意义。针对空间目标图像存在的由纹理重复导致的错误重建问题,提出了一种新的基于运动信息恢复三维场景结构策略。该策略将序列目标图像的成像时间顺序作为先验信息,顺序地加入新图像进行迭代,以避免因目标结构对称、纹理重复所导致的重建错误。同时针对空间目标成像数据匮乏的问题,进行了空间目标图像仿真,并开展了空间目标地面模拟成像实验研究。结果表明:运动分析结果精确,对噪声有较强的鲁棒性,恢复出的目标三维点云能在一定程度上表达目标的结构信息。同时给出了进行空间目标三维重建时图像序列应满足的边界条件。      

SAR图像舰船识别的三维空间逆投影与匹配技术

提出一种合成孔径雷达（SAR,Synthetic Aperture Radar）图像舰船识别新技术.首先通过将SAR图像逆投影至三维（3-D,Three-Dimensional）目标空间,提取目标空间3-D逆投影散射图 （BPSI,Back Projection Scattering Image）来表征观测舰船目标的强散射源三维分布;然后采用物理光学法预测各候选舰船目标的3-D热点散射图（HSPI,Hot Scattering Point Image）,进而匹配3-D BPSI与3-D HSPI来识别舰船.为了提高计算效率,采用一种两级分层匹配策略：第1步利用几何特征进行预筛选;少数被选取的候选目标参与第2步的分类判决,同时设计一种便于实现的“模糊”匹配准则,克服了“点对点”准则对计算误差等非理想因素敏感的问题.仿真和实测舰船SAR图像的实验结果,显示了3-D散射特征在目标区分能力和可视化效果方面的优势,证明了该方法的有效性.     

空间材料科学实验中的X光三维成像仿真

用于空间材料科学研究的X射线观察设备已列入空间站材料科学实验规划,仿真实现X光三维成像的流程可为X射线观察设备的研制提供设计依据.仿真流程主要包括三个步骤:使用锥束X光照射被扫描对象并旋转对象,获取多角度下的投影影像;根据投影影像和几何信息重建扫描对象,获取对象空间点数据;将扫描对象三维显示出来.使用线衰减系数不同且相互重叠的多个椭球组成的三维Shepp-Logan模型对算法进行了仿真测试,仿真结果能很好地将模型重建并显示出来.      

基于ICP算法的手术导航三维配准技术

针对计算机辅助手术三维导航技术中术前CT图像与术中实际空间的配准问题,提出一种基于最近点迭代(ICP,Iterative Closest Point)算法的特征点云配准技术.利用医学图像空间和实际空间特征区域的两片点云坐标进行三维配准.对CT图像进行重建、分割及交互式操作得到医学图像特征点云;利用光学定位仪实时采集实际空间中对应区域的点云;通过主元分析(PCA,Principal Component Analysis)获取两组点云数据的特征向量进行初配准;进行最近点迭代使配准矩阵收敛到一个最优解,其中采用k-d tree寻找邻近点加速迭代过程.以塑料脊柱模型骨为对象进行了脊柱手术导航配准精度实验,进一步对实验中的点云数据加入高斯噪声以进行误差分析.结果表明这种配准方法简单可靠,在模型骨情况下配准精度在1mm以内.     

文本信息辅助图像差异描述生成

图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容,从而将视觉信息转化为文本描述,便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述生成任务的延伸,其难点在于如何确定2张图像之间的视觉语义差别,并将视觉差异信息转换成对应的文本描述。基于此,提出了一种引入文本信息辅助训练的模型框架TA-IDC。采取多任务学习的方法,在传统的编码器-解码器结构上增加文本编码器,在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息,建模视觉和文本2个模态间的语义关联,以获得高质量的图像差别描述。实验证明,TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12%、2%和3%。     

基于移动平台的快速相似脸检索

主要研究了移动平台上的相似脸检索问题.对于移动端,首先采用基于稀疏约束的级联回归模型进行精确的人脸配准,该方法不但能够筛选鲁棒的特征,而且可以将模型的大小压缩到原来的5%左右.接着,在某些关键点周围提取高维的纹理特征,并通过稀疏投影降维.对于服务器端,采用级联形状和纹理特征的方式进行高效的相似脸检索.首先基于稀疏形状重构的方式筛选脸型相似的人脸,然后基于稀疏纹理重构的方法确定相似脸.在三星Note 3智能手机上,人脸图像的配准时间约10 ms.在扩展的LFW(Labeled Face in Wild)数据库上,相似脸检索时间约1.5 s,整个模型大小约5.4 MB.大量实验结果表明,配准方法精度高,速度快,模型小;相似脸检索的方法效率高,检索结果更符合人们的视觉感受.