基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性：简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息（即区域或单词）。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络（MMTN）模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明：所提模型达到了最先进的性能。     

基于深度神经网络的像素级别可见光图像配准

现有图像配准算法中,借助图像采集设备参数的方法存在硬件内参难以获得或精度不够的问题,采用匹配图像特征计算图像单应性的方法存在对场景深度信息利用不全的问题。针对这一现象,提出了结合可见光图像与其深度信息来生成更具有真实性的配准图像对数据,用以训练得到一个可以进行像素级别图像配准的深度神经网络PIR-Net。建立了一个大规模、多视角、超仿真的图像配准数据集:多视角配准(MVR)数据集,该数据集包含7 240对含有深度信息的待配准图像及其像素级别的坐标对准真值;基于编码器-解码器的深度神经网络结构,训练得到一个能以全分辨率形式对2幅输入图像之间的坐标变化矩阵进行重建的PIR-Net。通过实验验证了PIR-Net能够在未知相机内参的情况下实现不同视角的可见光图像配准,并比传统算法具有更高的配准精度。在MVR数据集上,PIR-Net的配准误差仅为通用的特征匹配对准算法(SIFT+RANSAC)的18%,同时减少了30%的时间消耗。      

基于多源图像弱监督学习的3D人体姿态估计

3D人体姿态估计是计算机视觉领域一大研究热点,针对深度图像缺乏深度标签,以及因姿态单一造成的模型泛化能力不高的问题,创新性地提出了基于多源图像弱监督学习的3D人体姿态估计方法。首先,利用多源图像融合训练的方法,提高模型的泛化能力;然后,提出弱监督学习方法解决标签不足的问题;最后,为了提高姿态估计的效果,改进了残差模块的设计。实验结果表明:改善的网络结构在训练时间下降约28%的情况下,准确率提高0.2%,并且所提方法不管是在深度图像还是彩色图像上,均达到了较好的估计结果。      

基于残缺图像样本的生成对抗网络图像修复方法

针对大面积图像修复缺失严重时，需要完整且高质量训练样本的问题，提出了一种将残缺或含噪图像样本作为训练集的双生成器深度卷积生成对抗网络（DGDCGAN）模型。构建两个生成器和一个鉴别器以解决单一生成器收敛慢的问题，用残缺图像样本作为训练集，通过交叉计算、搜索损失区域类似的图像信息作为训练生成模型的样本，收敛速度更快。鉴别器损失函数改进为输出的Wasserstein距离，使用自适应估计算法优化生成器损失函数和鉴别器损失函数的模型参数，最小化两两图像之间的总距离差，使用鉴别模型和修复图像总距离变化均方差最小化两个指标优化修复结果。在4个公开数据集上进行主客观实验，结果表明:所提方法能使用残缺图像样本作为训练集，有效实现大面积失真图像的修复，且收敛速度和修复效果优于现有图像修复方法。      

基于语义相关的多模态社交情感分析

社交平台允许用户采用多种信息模态发表意见与观点,多模态语义信息融合能够更有效地预测用户所表达的情感倾向。因此,多模态情感分析近年来受到了广泛关注。然而,多模态情感分析中视觉与文本存在的语义无关问题,导致情感分析效果不佳。针对这一问题,提出了基于语义相关的多模态社交情感分析（MSSA-SC）方法。采用图文语义相关性分类模型,对图文社交信息进行语义相关性识别,若图文语义相关,则对图文社交信息使用图文语义对齐多模态模型进行图文特征融合的情感分析;若图文语义无关,则仅对文本模态进行情感分析。在真实社交媒体数据集上进行了实验,由实验结果可知,所提方法能够有效降低图文语义无关情况对多模态社交媒体情感分析的影响。与此同时,所提方法的Accuracy和Macro-F1指标分别为75.23%和70.18%,均高于基准模型。      

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。      

基于正弦图的计算机断层图像配准

为了解决工业X射线无损检测中图像配准的问题,以计算机断层(CT,Computerized Tomography)图像中物体的位置变化与采集的投影数据之间的理论关系为基础,提出了基于正弦图的CT图像配准算法.该算法结合实际的投影采集系统对投影信号进行预处理,并利用投影信号的相关性寻找物体的位置变化,可以解决二维平行束和扇束投影采集方式下物体二维刚性变换的配准问题.由于提出的算法是在重建之前的投影域内进行,因此相比传统的图像域内的配准算法适用性更高,尤其当投影数据不足、质量不高、噪声较大、重建图像有严重的伪影时,该方法更加有效可靠.对某一封装零件的配准结果证明了算法的可行性.      

基于ICP算法的手术导航三维配准技术

针对计算机辅助手术三维导航技术中术前CT图像与术中实际空间的配准问题,提出一种基于最近点迭代(ICP,Iterative Closest Point)算法的特征点云配准技术.利用医学图像空间和实际空间特征区域的两片点云坐标进行三维配准.对CT图像进行重建、分割及交互式操作得到医学图像特征点云;利用光学定位仪实时采集实际空间中对应区域的点云;通过主元分析(PCA,Principal Component Analysis)获取两组点云数据的特征向量进行初配准;进行最近点迭代使配准矩阵收敛到一个最优解,其中采用k-d tree寻找邻近点加速迭代过程.以塑料脊柱模型骨为对象进行了脊柱手术导航配准精度实验,进一步对实验中的点云数据加入高斯噪声以进行误差分析.结果表明这种配准方法简单可靠,在模型骨情况下配准精度在1mm以内.     

面向电力系统的多粒度隐患检测方法

由于电力系统的安全问题往往会造成严重的经济或社会影响,隐患检测已成为电力系统不可或缺的重要环节。随着人工智能领域的发展,基于深度学习的智能化电力系统隐患检测技术逐渐得到越来越多的关注。但目前的方法大多只是单一地考虑图像的全局特征或局部特征,无法全面彻底表征图像,进而难以捕捉电力领域尤其室外复杂背景下的隐患检测。为此,基于深度学习技术,提出了一种面向电力系统的多粒度隐患检测方法MGNet。通过引入图像的多粒度信息,构建全局和局部网络,进行多粒度级检测;并通过不同粒度级检测结果的协作式融合,增强检测的全面性。在杆塔连接金具隐患和线路通道机械隐患2个数据集上进行了实验比较和分析,对所提模型的检测性能进行评估。通过与现有最优隐患检测基准方法相比,所提方法在2种不同数据集上的平均精度均值分别提升了2.74%和2.77%,验证了模型的有效性。      

显著性引导的低光照人脸检测

针对卷积神经网络难以对低光照环境拍摄的图像进行人脸检测的问题。提出了一种将图像显著性检测算法和深度学习相结合的算法,并应用于低光照人脸检测。所提算法将图像的显著性信息与图像原始RGB通道融合,用于神经网络训练。在低光照人脸数据集DARK FACE上进行了充分的实验,结果表明:所提方法在DARK FACE数据集上获得了比当前主流人脸检测算法更好的检测精度,进而验证了所提算法的有效性。      

基于对抗和迁移学习的灾害天气卫星云图分类

针对卫星云图中的灾害天气数据存在严重不平衡问题,提出一个结合生成对抗学习（GAN）和迁移学习（TL）的卷积神经网络（CNN）框架以解决上述问题进而提高基于卫星云图的灾害天气分类精度。该框架主要包含基于GAN的数据均衡化模块和基于迁移学习的CNN分类模块。上述2个模块分别从数据和算法层面解决数据的类间不平衡问题,分别得到一个相对均衡的数据集和一个可在不同类别数据上提取相对均衡特征的分类模型,最终实现对卫星云图的分类,提高其中灾害天气的卫星云图类别分类准确率。与此同时所提方法在自建的大规模卫星云图数据上进行了测试,消融性和综合实验结果证明了所提数据均衡方法和迁移学习方法是有效的,且所提框架模型对各个灾害天气类别的分类精度都有显著提升。      

Construction of lunar DEMs based on reflectance modelling

Existing lunar DEMs obtained based on laser altimetry or photogrammetric image analysis are characterised by high large-scale accuracies while their lateral resolution is strongly limited by noise or interpolation artifacts. In contrast, image-based photometric surface reconstruction approaches reveal small-scale surface detail but become inaccurate on large spatial scales. The framework proposed in this study therefore combines photometric image information of high lateral resolution and DEM data of comparably low lateral resolution in order to obtain DEMs of high lateral resolution which are also accurate on large spatial scales. Our first approach combines an extended photoclinometry scheme and a shape from shading based method. A novel variational surface reconstruction method further increases the lateral resolution of the DEM such that it reaches that of the underlying images. We employ the Hapke IMSA and AMSA reflectance models with two different formulations of the single-particle scattering function, such that the single-scattering albedo of the surface particles and optionally the asymmetry parameter of the single-particle scattering function can be estimated pixel-wise. As our DEM construction methods require co-registered images, an illumination-independent image registration scheme is developed. An evaluation of our framework based on synthetic image data yields an average elevation accuracy of the constructed DEMs of better than 20 m as long as the correct reflectance model is assumed. When comparing our DEMs to LOLA single track data, absolute elevation accuracies around 30 m are obtained for test regions that cover an elevation range of several thousands of metres. The proposed illumination-independent image registration method yields subpixel accuracy even in the presence of 3D perspective distortions. The pixel-wise reflectance parameters estimated simultaneously with the DEM reflect compositional contrasts between different surface units. Specifically, the detected variations of the parameter of the single-particle scattering function indicate small-scale variations of the regolith particle size, possibly as a result of differences in soil maturity.     

遥感图像云检测方法综述

光学遥感图像中云层会对地面信息进行不同程度的遮挡,造成了地表观测信息的模糊和缺失,极大地影响遥感图像的成像质量。因此,对遥感图像中云层覆盖的检测和评估是进一步分析和利用遥感图像信息的基础和关键。通过充分的调研和对比总结,梳理了20世纪90年代以来,国内外基于遥感图像的云检测方法的发展趋势和代表性工作。将基于遥感图像的云检测方法分为三类：基于光谱阈值的方法、基于经典机器学习的方法以及基于深度学习的方法。总结了当前国内外云检测公开数据集,并对比了部分代表性工作的云检测精度。此外,简要梳理了与云检测相关的云雾(霾)检测、云雪检测、云阴影检测以及云去除等方法。对当前云检测相关工作中存在的问题和未来的发展趋势进行了分析和展望。     

基于深度迁移学习的航天器故障诊断

随着航天科技的发展,智能故障诊断技术是确保航天器控制系统安全、自主运行的关键技术之一.由于在轨航天器遥测数据样本少、噪声高、未标记,因此缺乏自适应能力、学习能力的传统故障诊断方法难以准确诊断在轨航天器故障.本文针对上述问题提出一种基于深度迁移学习的航天器故障诊断方法,为在轨航天器实时故障诊断提供了可行方法.首先,对航天...     

The automated prediction of solar flares from SDO images using deep learning

In the last few years, there has been growing interest in near-real-time solar data processing, especially for space weather applications. This is due to space weather impacts on both space-borne and ground-based systems, and industries, which subsequently impacts our lives. In the current study, the deep learning approach is used to establish an automated hybrid computer system for a short-term forecast; it is achieved by using the complexity level of the sunspot group on SDO/HMI Intensitygram images. Furthermore, this suggested system can generate the forecast for solar flare occurrences within the following 24 h. The input data for the proposed system are SDO/HMI full-disk Intensitygram images and SDO/HMI full-disk magnetogram images. System outputs are the “Flare or Non-Flare” of daily flare occurrences (C, M, and X classes). This system integrates an image processing system to automatically detect sunspot groups on SDO/HMI Intensitygram images using active-region data extracted from SDO/HMI magnetogram images (presented by Colak and Qahwaji, 2008) and deep learning to generate these forecasts. Our deep learning-based system is designed to analyze sunspot groups on the solar disk to predict whether this sunspot group is capable of releasing a significant flare or not. Our system introduced in this work is called ASAP_Deep. The deep learning model used in our system is based on the integration of the Convolutional Neural Network (CNN) and Softmax classifier to extract special features from the sunspot group images detected from SDO/HMI (Intensitygram and magnetogram) images. Furthermore, a CNN training scheme based on the integration of a back-propagation algorithm and a mini-batch AdaGrad optimization method is suggested for weight updates and to modify learning rates, respectively. The images of the sunspot regions are cropped automatically by the imaging system and processed using deep learning rules to provide near real-time predictions. The major results of this study are as follows. Firstly, the ASAP_Deep system builds on the ASAP system introduced in Colak and Qahwaji (2009) but improves the system with an updated deep learning-based prediction capability. Secondly, we successfully apply CNN to the sunspot group image without any pre-processing or feature extraction. Thirdly, our system results are considerably better, especially for the false alarm ratio (FAR); this reduces the losses resulting from the protection measures applied by companies. Also, the proposed system achieves a relatively high scores for True Skill Statistics (TSS) and Heidke Skill Score (HSS).     

太阳活动区EUV图像的生成式模型耀斑分级与预报

近年来,不断发射的空基观测台持续传送回海量日面图像及日地间气象数据,为采用人工智能技术对太阳活动进行预报预警提供了数据基础。但是,极端天气爆发少,样本量较少;中等程度爆发稍多,样本量较多;常规无爆发天气常见,样本较为集中,样本不均衡状况严重影响机器学习方法在空间天气领域的广泛应用。本文面向多源多通道多尺度日面图像信息,构建了来自SOHO和SDO的1996-2015年日面活动区图像数据集;针对数据分布的不平衡,对太阳活动区图像作耀斑分级与预报。在对比分析元学习算法的基础上,设计了结合分类头设计和卷积核初始化的生成式模型;在使网络轻量化的基础上,能够将M和X级耀斑预报的检测率指标相较于普通的深度学习模型和无监督度量式模型分别提升10%和7%。     

使用深度神经网络检测Cassini ISS图像中圆盘状星体轮廓

Cassini空间探测器光学成像系统（ISS）拍摄的图像中,很多卫星呈现为面元,其轮廓检测是天体测量的重要工作.使用神经网络方法进行ISS图像中面元轮廓检测.每个ISS图像的像素分为轮廓边缘和非轮廓两类.使用神经网络框架TensorFlow,输入每个像素的9个特征,输出每个像素的分类.利用约3.6万个像素训练该网络,通过380幅ISS图像进行测试.与人工标记结果相比,轮廓像素检测的平均精确率为78.26%,平均召回率为73.32%.以检出轮廓像素作为输入,通过椭圆拟合得到面元的轮廓,所得轮廓与面元真实轮廓吻合良好.研究结果表明该方案能够有效检测出面元轮廓,进而给出假图像星的排除范围.      

基于迁移学习的暴恐图像自动识别

利用人工智能和深度学习技术自动化地分析互联网海量图片,快速、准确地识别有害的暴恐图像并及时处置是反恐工作的重要手段之一。研究了利用深度学习和迁移学习技术对暴恐图像进行分类识别。首先,定义了暴恐图像的主要概念特征,并针对性地构建数据集;其次,针对暴恐图像正样本较少的问题,设计深度神经网络模型和迁移学习方式;最后,基于构建的训练数据集进行模型训练和测试。结果显示:所提方法可以快速、准确地对互联网图片进行分类识别,平均分类准确率达到96.7%,从而有效降低人工检测的劳动强度,为反恐预警工作提供决策支持。