双重模态文本引导的图像修复算法

为解决现有图像修复算法因缺乏足够的上下文信息导致修复大面积破损时效果差且修复结果不可控的缺陷，提出了双重模态文本引导的图像修复算法。引入文本标签作为修复的控制引导，确保修复结果的整体与区域一致，并增加修复的可控多样性。设计双重模态掩码注意力机制提取破损区域的语义信息；通过深度文本图像融合模块加深生成器中的文本图像融合过程，并应用图像文本匹配损失最大化生成图像与文本之间的语义相似度；采用投射鉴别器训练生成图像与真实图像增强修复图像的真实性。在2个带有文本标签的数据集上进行定量和定性实验，结果表明：生成的修复图像与引导文本描述一致，可根据不同的文字描述生成多样的结果。     

文本信息辅助图像差异描述生成

图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容,从而将视觉信息转化为文本描述,便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述生成任务的延伸,其难点在于如何确定2张图像之间的视觉语义差别,并将视觉差异信息转换成对应的文本描述。基于此,提出了一种引入文本信息辅助训练的模型框架TA-IDC。采取多任务学习的方法,在传统的编码器-解码器结构上增加文本编码器,在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息,建模视觉和文本2个模态间的语义关联,以获得高质量的图像差别描述。实验证明,TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12%、2%和3%。     

融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

基于动态语义记忆网络的长尾图像描述生成

图像描述生成任务旨在基于输入图像生成对应的自然语言描述。现有任务数据集中大部分图像的描述语句通常包含少量常见词和大量罕见词，呈现出长尾分布。已有研究专注于提升模型在整个数据集上的描述语句准确性，忽视了对大量罕见词的准确描述，限制了在实际场景中的应用。针对这一问题，提出了基于动态语义记忆网络(DSMN)的长尾图像描述生成模型，旨在保证模型对常见名词准确描述的同时，提升模型对罕见名词的描述效果。DSMN模型能够动态挖掘罕见词与常见词的全局语义关系，实现从常见词到罕见词的语义知识迁移，通过协同考虑全局单词语义关系信息及当前输入图像和已生成单词的局部语义信息提升罕见词的语义特征表示能力和预测性能。为了有效评价长尾图像描述生成方法，基于MS COCO Captioning数据集定义了长尾图像描述生成任务专用测试集Few-COCO。在MS COCO Captioning和Few-COCO数据集上的多个量化实验表明，DSMN模型在Few-COCO数据集上的罕见词描述准确率为0.602 8%，召回率为0.323 4%，F-1值为0.356 7%，相较于基准方法提升明显。      

多尺度特征和注意力融合的生成对抗壁画修复

针对现有深度学习图像修复算法修复壁画时，存在特征提取不足及细节重构丢失等问题，提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征金字塔网络提取壁画中不同尺度的特征信息，增强特征关联性；采用自注意力机制及特征融合模块构建多尺度特征生成器，以获取丰富的上下文信息，提升网络的修复能力；引入最小化对抗损失与均方误差促进判别器的残差反馈，从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁画数字化修复的实验结果表明，所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息，并且主观视觉效果及客观评价指标均优于比较算法。     

基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性：简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息（即区域或单词）。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络（MMTN）模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明：所提模型达到了最先进的性能。     

利用多尺度区域权重的红外可见光图像融合

针对红外、可见光图像融合，提出了一种利用多尺度区域权重的方法，获得既具有良好视觉效果又能保留和继承特征细节的融合结果。首先，通过改变平滑滤波的参数构建多尺度分解，获得一系列具有不同细节的双波段图层；其次，基于每一图层生成区域权重图，实现双波段图层融合;最后，利用适当的系数对融合后的图层进行合成，获得最终的融合结果。通过对比实验结果的主客观评价分析，证明本文方法能够产生最佳视觉效果的融合图像，能保留和突出原始双波段图像中的细节与特征，并能获得最佳的客观评价指标。     

基于小波域清晰度评价的光场全聚焦图像融合

传统全聚焦图像融合以相机多次曝光拍摄的多聚焦图像为基础,光场相机在单次曝光后可计算空间任意深度的重聚焦图像,为后期全聚焦图像的获取提供便利。提出了一种基于小波变换的光场全聚焦图像获取算法,可有效避免传统空域图像融合算法的块效应,获得较高质量的全聚焦图像。该算法通过对微透镜阵列光场相机获得的4D光场数据进行空间变换与投影,得到用于全聚焦图像融合的重聚焦图像,对各帧重聚焦图像进行小波分解提取高、低频子图像集,提出区域均衡拉普拉斯算子、像素可见度函数分别构建融合图像的高、低频小波系数实现图像融合,其性能优于传统的区域清晰度评价函数。实验验证了所提算法的正确性和有效性,采用Lytro光场相机的原始数据计算了融合全聚焦图像,与传统图像融合算法相比,人眼视觉效果更好,客观图像指标也得到了提高。      

基于三维点云模型的空间目标光学图像生成技术

空间探测任务中大量先验图像数据的缺乏，使得基于光学图像的态势感知和导航算法无法被有效定量测试和评估。针对此问题，提出了一种基于三维点云模型和射影变换基本理论的空间目标光学图像生成方法。在完成对空间目标三维点云模型和仿真摄像机模型构建基础之上，利用射影变换基本理论依次计算像平面所有像素点与空间目标三维点云模型空间点的对应关系，并基于Lambertian漫反射模型和相对应空间目标三维点云模型空间点的光照方向，得到所有像素点的灰度值，从而生成给定空间目标的光学图像。大量仿真实验表明:与传统的基于解析模型的仿真图像生成方法相比，所提的空间目标光学图像生成技术能够以更快的速度生成更加真实的仿真图像，且生成的仿真图像可以广泛应用于椭圆拟合、陨石坑检测、着陆器视觉导航、航天器交会对接、空间目标跟踪等典型空间应用算法的定性与定量评估。      

基于深度表征学习的紫外极光卵图像聚类

极光受太阳风驱动的地磁亚暴等大尺度动力学影响，其形态及演化因不同的太阳风-磁层-电离层耦合作用可能表现不同。目前，极光卵及其形态的归类大多依据极光演化理论作主观定性分析，没有明确的分类标准，故难以借助统计分析方法和有监督分类模型开展客观定量研究。建立了基于深度表征学习的紫外极光卵图像聚类模型（MoCo-GMM），并利用空间环境参数设计了评估模型物理合理性的方法，在大规模POLAR卫星紫外极光卵图像数据上进行了实验，聚类结果不仅具有良好的簇内凝聚性和簇间分散性，且具备一定的物理可解释性，有效实现了基于图像的极光卵及其形态的客观归类。     

基于迁移学习的暴恐图像自动识别

利用人工智能和深度学习技术自动化地分析互联网海量图片,快速、准确地识别有害的暴恐图像并及时处置是反恐工作的重要手段之一。研究了利用深度学习和迁移学习技术对暴恐图像进行分类识别。首先,定义了暴恐图像的主要概念特征,并针对性地构建数据集;其次,针对暴恐图像正样本较少的问题,设计深度神经网络模型和迁移学习方式;最后,基于构建的训练数据集进行模型训练和测试。结果显示:所提方法可以快速、准确地对互联网图片进行分类识别,平均分类准确率达到96.7%,从而有效降低人工检测的劳动强度,为反恐预警工作提供决策支持。      

复杂背景下机场道面细带状结构病害检测算法

机场道面裂缝、角隅断裂、接缝破碎、修补等病害宽度狭小、长短不一、图像中像素占比少,呈细带状结构,且与复杂背景对比度低,现有检测算法效果不佳。针对以上问题,提出了一种基于注意力机制与特征融合的深度神经网络模型DetMSPNet。首先,利用注意力机制模块CBAM,使得特征学习更加专注于细带状结构病害区域,抑制干扰信息;其次,构建残差空洞金字塔模块,提取不同尺度空间下的特征信息;然后,设计最大池化支路,便于之后浅、深层不同层次特征进行融合,加强模型对于病害的定位能力,并且将深层特征输入3种不同扩张率的扩张卷积和金字塔池化模块,使得病害特征包含更多全局上下文信息;最后,对所有层输出的病害特征信息进行融合,实现不同尺度、不同层次特征的信息互补。与目前3种经典的目标检测算法在机场道面病害图像数据集APD上做了对比实验,结果表明:所提算法的mAP达到78.51%,优于对比算法。所提DetMSPNet模型,提高了算法对机场道面细带状结构病害检测中宽度狭小、长短不一、图像中像素占比少、与复杂背景对比度低等情况的适应能力。      

基于改进深度学习模型的焊缝缺陷检测算法

针对传统深度学习模型在进行焊缝缺陷检测时对小缺陷目标检测效果不理想问题,提出基于改进深度学习Faster RCNN模型的焊缝缺陷检测算法,算法通过多层特征网络提取多尺度特征图并共同作用于模型后续环节,以充分利用模型中的低层特征,增加细节信息;改进模型的区域生成网络,加入多种滑动窗口,从而优化了模型锚点的长宽比设置,提高检测能力。实验表明,改进Faster RCNN模型取得最优的缺陷检测结果,对于小缺陷目标仍取得较好的检测精度,从而验证了算法的有效性。     

基于LIME的恶意代码对抗样本生成技术

基于机器学习检测恶意代码技术的研究和分析,针对机器学习模型对抗样本的生成提出一种基于模型无关的局部可解释（LIME）的黑盒对抗样本生成方法。该方法可以对任意黑盒的恶意代码分类器生成对抗样本,绕过机器学习模型检测。使用简单模型模拟目标分类器的局部表现,获取特征权重;通过扰动算法生成扰动,根据生成的扰动对原恶意代码进行修改后生成对抗样本;基于2015年微软公布的常见恶意样本数据集和收集的来自50多个供应商的良性样本数据对所提方法进行实验,参照常见恶意代码分类器实现了18个基于不同算法或特征的目标分类器,使用所提方法对目标分类器进行攻击,使分类器的真阳性率均降低到接近0。此外,对MalGAN和ZOO两个先进的黑盒对抗样本生成方法与所提方法进行对比,实验结果表明:所提方法能够有效生成对抗样本,且方法本身具有适用范围广泛、能灵活控制扰动和健全性的优点。      

融合深度特征的输电线路金具缺陷因果分类方法

针对输电线路金具缺陷样本不足和缺陷目标形态多样化，仅仅利用深度学习模型导致金具缺陷分类准确率较低的问题，提出了一种结合深度网络和逻辑回归模型的因果分类方法。首先，通过样本扩充方法获得数量丰富化和角度多样化的数据集；然后，基于微调后的VGG16模型提取深度特征并进行特征处理，以构建符合因果关系学习的输入特征集；最后，通过全局混杂平衡进行金具缺陷特征与标签之间的因果关系学习，构建符合金具特点的因果逻辑回归模型，完成金具缺陷分类。为了证明所提方法的有效性，利用无人机实际采集的4类金具缺陷图片分别进行了实验，所使用的训练样本和测试样本数量较原始数据集提升了5倍左右。实验结果表明:所提方法可以实现对输电线路金具缺陷的精准分类，其中，防震锤相交和变形分类准确率分别达到了0.929 9和0.911 8，屏蔽环锈蚀和均压环损坏分类准确率分别达到了0.956 7和0.966 9。      

基于噪声柯西分布的社交图像标签优化与标注

随着社交网络的快速发展，带有用户提供标签的社交网络图像呈现爆炸式增长。但是用户提供的标签是不准确的，存在很多不相关以及错误的标签。这势必会增加相关多媒体任务的困难。针对标签噪声无序性以及常用的高斯分布对标签噪声中大噪声过于敏感的问题，但是高斯分布对大噪声比较敏感。鉴于此，采用对各种噪声都具有鲁棒性的柯西分布拟合噪声，提出了一个基于噪声柯西分布的弱监督非负低秩深度学习（CDNL）模型，通过柯西分布建模标签噪声来获得理想标签，并利用深度神经网络模块学习视觉特征和理想标签之间的内在联系，来得到图像对应的正确标签，从而大幅提高社交网络图像的标签准确率。所提模型不仅可以修正错误标签、补充缺失标签，也可以对新图像进行标注。在2个公开的社交网络图像数据集上进行了验证，并且与一些最新的相关工作进行了对比，证实了所提模型的有效性。      

The automated prediction of solar flares from SDO images using deep learning

In the last few years, there has been growing interest in near-real-time solar data processing, especially for space weather applications. This is due to space weather impacts on both space-borne and ground-based systems, and industries, which subsequently impacts our lives. In the current study, the deep learning approach is used to establish an automated hybrid computer system for a short-term forecast; it is achieved by using the complexity level of the sunspot group on SDO/HMI Intensitygram images. Furthermore, this suggested system can generate the forecast for solar flare occurrences within the following 24 h. The input data for the proposed system are SDO/HMI full-disk Intensitygram images and SDO/HMI full-disk magnetogram images. System outputs are the “Flare or Non-Flare” of daily flare occurrences (C, M, and X classes). This system integrates an image processing system to automatically detect sunspot groups on SDO/HMI Intensitygram images using active-region data extracted from SDO/HMI magnetogram images (presented by Colak and Qahwaji, 2008) and deep learning to generate these forecasts. Our deep learning-based system is designed to analyze sunspot groups on the solar disk to predict whether this sunspot group is capable of releasing a significant flare or not. Our system introduced in this work is called ASAP_Deep. The deep learning model used in our system is based on the integration of the Convolutional Neural Network (CNN) and Softmax classifier to extract special features from the sunspot group images detected from SDO/HMI (Intensitygram and magnetogram) images. Furthermore, a CNN training scheme based on the integration of a back-propagation algorithm and a mini-batch AdaGrad optimization method is suggested for weight updates and to modify learning rates, respectively. The images of the sunspot regions are cropped automatically by the imaging system and processed using deep learning rules to provide near real-time predictions. The major results of this study are as follows. Firstly, the ASAP_Deep system builds on the ASAP system introduced in Colak and Qahwaji (2009) but improves the system with an updated deep learning-based prediction capability. Secondly, we successfully apply CNN to the sunspot group image without any pre-processing or feature extraction. Thirdly, our system results are considerably better, especially for the false alarm ratio (FAR); this reduces the losses resulting from the protection measures applied by companies. Also, the proposed system achieves a relatively high scores for True Skill Statistics (TSS) and Heidke Skill Score (HSS).