基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性：简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息（即区域或单词）。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络（MMTN）模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明：所提模型达到了最先进的性能。     

基于无监督学习的多模态可变形配准

针对医学图像配准问题,传统方法提出通过解决优化问题进行配准,但计算成本高、运行时间长。深度学习方法提出使用网络学习配准参数,从而进行配准并在单模态图像上取得高效性能。但在多模态图像配准时,不同模态图像的强度分布未知且复杂,大多已有方法严重依赖标签数据,现有方法不能完全解决此问题。提出一种基于无监督学习的深度多模态可变形图像配准框架。该框架由基于损失映射量的特征学习和基于最大后验概率的变形场学习组成,借助空间转换函数和可微分的互信息损失函数实现无监督训练。在MRI T1、MRI T2以及CT的3D多模态图像配准任务上,将所提方法与现有先进的多模态配准方法进行比较。此外,还在最新的COVID-19的CT数据上展示了所提方法的配准性能。大量结果表明:所提方法与其他方法相比,在配准精度上具有竞争优势,并且大大减少了计算时间。      

基于语义相关的多模态社交情感分析

社交平台允许用户采用多种信息模态发表意见与观点,多模态语义信息融合能够更有效地预测用户所表达的情感倾向。因此,多模态情感分析近年来受到了广泛关注。然而,多模态情感分析中视觉与文本存在的语义无关问题,导致情感分析效果不佳。针对这一问题,提出了基于语义相关的多模态社交情感分析（MSSA-SC）方法。采用图文语义相关性分类模型,对图文社交信息进行语义相关性识别,若图文语义相关,则对图文社交信息使用图文语义对齐多模态模型进行图文特征融合的情感分析;若图文语义无关,则仅对文本模态进行情感分析。在真实社交媒体数据集上进行了实验,由实验结果可知,所提方法能够有效降低图文语义无关情况对多模态社交媒体情感分析的影响。与此同时,所提方法的Accuracy和Macro-F1指标分别为75.23%和70.18%,均高于基准模型。      

基于多模态联合语义感知的零样本目标检测

零样本目标检测借助语义嵌入作为引导信息,将未见过的物体的视觉特征与类别语义嵌入映射到同一空间,根据其在映射空间的距离进行分类,但由于语义信息获取的单一性,视觉信息缺乏可靠表示,易混淆背景信息和未见过对象信息,使得视觉和语义之间很难无差别对齐。基于此,借助视觉上下文模块捕捉视觉特征的上下文信息,并通过语义优化模块对文本上下文和视觉上下文信息进行交互融合,增加视觉表达的多样化,使模型感知到前景的辨别性语义,从而有效地实现零样本目标检测。在MS-COCO的2个划分数据集上进行实验,在零样本目标检测和广义零样本目标检测的准确率和召回率上取得了提升,结果证明了所提方法的有效性。     

基于深度学习的太阳黑子Wilson山磁类型识别方法

太阳黑子是太阳光球层中带有较强磁场的区域,通常是太阳爆发活动的源区。Wilson山磁分类是当前最为主流的太阳黑子分类方法之一,对研究太阳爆发有重要意义。利用2010－2017年间SDO/HMI成像仪观测到的720s_SHARP磁图和白光图数据,研究使用深度学习对太阳黑子群Wilson山磁分类的方法。实验结果表明,Xception网络在识别太阳黑子Wilson山磁类型上能取得最优的效果,其中对α类型黑子的F₁得分为96.50%,β类为93.20%,其他类型的黑子为84.65%。     

融合深度特征的输电线路金具缺陷因果分类方法

针对输电线路金具缺陷样本不足和缺陷目标形态多样化,仅仅利用深度学习模型导致金具缺陷分类准确率较低的问题,提出了一种结合深度网络和逻辑回归模型的因果分类方法。首先,通过样本扩充方法获得数量丰富化和角度多样化的数据集;然后,基于微调后的VGG16模型提取深度特征并进行特征处理,以构建符合因果关系学习的输入特征集;最后,通过全局混杂平衡进行金具缺陷特征与标签之间的因果关系学习,构建符合金具特点的因果逻辑回归模型,完成金具缺陷分类。为了证明所提方法的有效性,利用无人机实际采集的4类金具缺陷图片分别进行了实验,所使用的训练样本和测试样本数量较原始数据集提升了5倍左右。实验结果表明:所提方法可以实现对输电线路金具缺陷的精准分类,其中,防震锤相交和变形分类准确率分别达到了0.929 9和0.911 8,屏蔽环锈蚀和均压环损坏分类准确率分别达到了0.956 7和0.966 9。      

基于深度学习的航空发动机故障融合诊断

通过对航空发动机故障诊断,能够正确判断各部件工作状态,快速确定维修方案,保证飞行安全。在结合深度信念网络和决策融合算法的基础上,提出了基于深度学习的航空发动机故障融合诊断模型。该模型通过分析发动机的大量性能参数,先利用深度学习模型提取出性能参数中的隐藏特征,得出故障分类置信度;其后对多次故障分类结果进行决策融合,从而得出更准确的诊断结果。将普惠JT9D发动机故障系数用于数据仿真,通过算例验证本文算法的有效性;算例计算结果表明:多次实验结果经数据融合提高了可信度,该模型具有较高的故障分类诊断准确性和抗干扰能力。      

基于深度迁移学习的航天器故障诊断

随着航天科技的发展,智能故障诊断技术是确保航天器控制系统安全、自主运行的关键技术之一.由于在轨航天器遥测数据样本少、噪声高、未标记,因此缺乏自适应能力、学习能力的传统故障诊断方法难以准确诊断在轨航天器故障.本文针对上述问题提出一种基于深度迁移学习的航天器故障诊断方法,为在轨航天器实时故障诊断提供了可行方法.首先,对航天...     

多种群合作学习的多模态多目标路径规划算法

为同时规划出满足多种目标需求的多条可行路径,提高规划路径的鲁棒性与实用性,提出一种基于多种群合作学习的路径规划算法。基于粒子群算法的基本思想,先针对单一种群在多维目标空间内搜索时容易陷入局优的问题,提出基于多目标分解的子种群划分策略,平衡算法在目标空间内各个维度上的搜索能力。再依据地图中栅格点的出入度信息提取关键路径点。在编码阶段,根据关键路径点提供的维度信息,利用实数编码的方式初始化种群,降低解空间大小;在解码阶段,提出利用精英解的解码经验指导可行解的快速搜索,使解码经验能够被有效传递,降低解码的不确定性,提高了算法的寻优能力。最后,将多个种群的搜索结果进行非支配排序,得到满足优化目标的所有路径。实验结果表明:与标准粒子群算法相比,基于解码经验表指导的多种群合作学习算法具有更强的搜索能力和寻优能力,能够解决多模态多目标路径规划问题。      

基于生成对抗网络的零样本图像分类

在图像分类任务中,零样本图像分类问题已成为一个研究热点。为了解决零样本图像分类问题,采用一种基于生成对抗网络（GAN）的方法,通过生成未知类的图像特征使得零样本分类任务转换为传统的图像分类任务。同时对生成对抗网络中的判别网络做出改进,使其判别过程更加准确,从而进一步提高生成图像特征的质量。实验结果表明:所提方法在AWA、CUB和SUN数据集上的分类准确率分别提高了0.4%、0.4%和0.5%。因此,所提方法通过改进生成对抗网络,能够生成质量更好的图像特征,从而有效解决零样本图像分类问题。      

中国国画艺术美感特征分析与分类

图像艺术美感自动分类是近年的热门研究领域,国画作为中国传统艺术文化的重要体现,其美感也极具研究价值。在5类美感标注的国画数据库基础上,进行了国画艺术美感自动分类研究和相关特征分析。经过特征提取和筛选,得到适用于美感分类的33个图像特征,并基于特征重要性建立了物理特征与艺术美感、美术技法之间的映射关系。同时使用该特征集在多种分类器上进行艺术美感自动识别,验证了国画艺术美感自动分类的可行性。结果表明,国画艺术美感分类的主要相关美术元素按重要性排序为:颜色、笔触、亮度和线条。      

基于BoF模型的多特征融合纹理图像分类

针对特征词袋（BoF）模型缺乏空间和几何信息,对纹理图像内容表达不明显等问题,提出一种基于BoF模型的多特征融合纹理分类算法。将灰度梯度共生矩阵（GGCM）和尺度不变特征转换（SIFT）融合特征作为纹理图像的区域特征描述,通过动态权重鉴别能量分析进行最优参数特征选择,并用BoF量化纹理特征,使用支持向量机对图像进行训练和预测,得出分类结果。实验结果表明,本文算法对有旋转扭曲的纹理、边缘模糊纹理、有光照变化的纹理及杂乱纹理等均能取得较好的分类效果,相对于传统BoF模型及凹凸划分（CCP）方法等算法在UIUC纹理库上的分类正确率均有不同程度的提高,平均分类正确率分别提高12.8%和7.9%,说明本文算法针对纹理图像分类具有较高的精度和较好的鲁棒性。      

面向行为识别的人体空间协同运动结构特征表示与融合

针对人体执行动作时不同身体部位之间的协同关系,提出了基于人体空间协同运动结构特征的行为识别方法。首先度量人体不同部位对完成动作的贡献度,并将不同部位的贡献度转变为协同运动结构特征模型。然后利用模型无监督、自适应地对不同身体部位的运动特征进行约束。在此基础上借鉴跨媒体检索方法JFSSL对不同模态的特征进行特征选择与多模态特征融合。实验表明,所提方法在自建的行为数据库上明显提高了开放测试的识别率,且计算过程简便,易于实现。      

多尺度特征融合的Anchor-Free轻量化舰船要害部位检测算法

反舰导弹对舰船要害部位的精确打击能力是精确制导武器的关键技术之一。针对反舰导弹导引头对舰船要害部位检测精度低、特征提取能力不足,预测框的处理降低检测速度等问题,提出了一种多尺度特征融合的Anchor-Free轻量化舰船要害部位检测算法。由于舰船要害部位检测数据具有多尺度、多角度特性,引入多尺度特征融合模块,综合利用不同感受野的检测信息,优化特征提取;利用高效轻量化注意力机制改进Hourglass结构中的跨层连接,提升检测精度,降低算法总参数量;使用迁移学习有效提升算法收敛效果。在建立的舰船要害部位检测数据集和公开的PASCAL VOC数据集进行实验,检测准确率分别提升了4.41%和5.57%,分析算法参数与运算量,设计了模块消融实验,论证了所提算法的有效性。     

多模函数优化的改进花朵授粉算法

为了探讨花朵授粉算法（FPA）在解算多模函数优化问题中存在的不足,通过定义种群多样性及差异性指标,定性分析了FPA在多模复杂函数优化中的寻优缺点。基于模拟退火思想优化全局授粉过程,并利用Nelder-Mead单纯形搜索技术对花朵局部授粉进行重构,提出一种新的花朵授粉寻优架构。仿真结果表明,相对于基本的FPA、布谷鸟算法、萤火虫算法,改进花朵授粉算法能够有效避免陷入局部最优,具备优异的全局勘探和局部开采能力,对多模优化问题具有一定优势。      

基于信号分类的时频分布

在将时频分析应用于模式识别的应用中 ,传统的方法是先用时频分析方法表示所获得的信号 ,然后根据时频分布提取相应的特征 ,最后将所提取到的特征输入到分类器进行分类。为了使得时频分布具有好的局部聚焦性和抑制交叉项 ,学者对一些分布进行改进 ,如采用平滑函数 ,或者是采用降低干扰核设计等等。但其目的是获得良好的时频分布 ,其最终目的不是应用于信号分类。介绍了一种基于信号分类的时频分布设计 ,其目的不是获得良好的时频分布 ,而是获得很好的分类效果。     

基于跨尺度特征聚合网络的多尺度行人检测

行人的空间尺度差异是影响行人检测性能的主要瓶颈之一。针对这一问题,提出了跨尺度特征聚合网络（TS-FAN）有效检测多尺度行人。首先,鉴于不同尺度空间呈现出的特征差异性,引入一种基于多路径区域建议网络（RPN）的尺度补偿策略,其在多尺度卷积特征层上自适应地生成一系列与其感受野大小相对应的候选目标尺度集。其次,考虑到不同层次卷积特征在视觉语义上的互补性,提出了跨尺度特征聚合网络模块,其通过横向连接、自上而下路径和由底向上路径,有效地聚合具有语义鲁棒性的高层特征和具有精确定位信息的低层特征,实现对卷积层特征的增强表示。最后,联合多路径RPN尺度补偿策略和跨尺度特征聚合网络模块,构建了一种尺度自适应感知的多尺度行人检测网络。实验结果表明,所提方法与当前一流的行人检测方法TLL-TFA相比,在整个Caltech公开测试数据集上（All:行人高度大于20像素）的行人漏检率降低到26.21%（提高了11.94%）,尤其对于Caltech小尺寸行人子数据集上（Far:行人高度在20~30像素之间）的行人漏检率降低到47.30%（提高了12.79%）,同时在尺度变化剧烈的ETH数据集上的效果也取得显著提升。      

智慧城市多模式数据融合模型

随着云计算和大数据等技术的发展及城市发展的迫切需求,智慧城市已成为近年来国内外研究的热点之一。随着城市中摄像头、监测传感器等采集设备数量的增加,城市数据种类也越来越多。所获取的城市数据具有多源、异构、时变、高维等多模式特性。如何让这些多模式的城市数据关联起来,实现它们的互通互联,挖掘出更丰富多样的信息,从而能更好地指导智慧城市的构建,是本领域的难点。本文提出了一个城市多模式数据融合模型,即多模式互联生长（MICROS）模型,并从3个层面对该模型进行了描述。首先,针对多模式数据的特点,重点描述了多模式数据多源、异构、时变、高维等特点。其次,针对多模式数据的特点,自底向上构建实现针对多模式数据的融合过程的3层基础模型,分别是服务信息描述模型、元数据模型和数据互联模型。最后,在这3层模型的基础上,本文提出了一个适用于智慧城市建设的多模式数据融合模型。      

基于抗噪声ICA的高光谱数据特征提取方法

特征提取是高光谱数据应用的一个重要环节,用于将高光谱数据中具有特殊性质的地物分离出来并去除冗余信息.提出了一种使用独立成分分析(ICA,Independent Component Analysis)进行高光谱遥感地物特征提取的方法.为了解决ICA对噪声过分敏感的问题,采用最大噪声分量(MNF,Maximum Noise Fraction)算法替代传统的主成分分析对数据作降噪处理,由MNF引出的不完全独立成分分析(UICA,Undercomplete ICA)在不牺牲特征提取能力的情况下能够获得很高的运算效率.给出了HYDICE和PHI的数据试验结果,分别测试了算法在时间效率和特征提取能力方面的性能,证明了该算法具有预期的性能.     

Vision and Voyages for Deep Space Exploration

More than 50 years of space exploration has not only satisfied human curiosity and built up international cooperation, but also improved life on Earth. Space exploration is an open-ended process which started 50 years ago. It enables access to unknown terrains with robots and humans, thereby opening new frontiers. Progress of goal deep space exploration was reviewed. China's current deep space missions are also briefly introduced. Focused on the vision and voyages for China's deep space exploration in 5 or 10 years. Like the Chinese Lunar Exploration Program (CLEP), we embark on a journey to Mars. We will spend few decades on Mars with the robotic explorers. Unlike CLEP, scientists proposed to build Moon research station by 2030.