一种基于渐进增长对抗生成网络的火星样本生成方法

对抗生成网络的发展为图像生成等传统领域带来了很大进步,通过使用较少样本训练对抗生成网络,可以学习到特定图像类别的特征,进而能够增广样本应用于场景测试、其他网络训练等多种任务.本工作探索了在较少量的火星训练样本的基础上,针对直接使用GAN生成样本存在特征因平均化而不明显且类别较少的模式崩塌问题,基于渐进增长对抗生成网络,提出了一种聚类-训练-生成协同的火星样本生成方法.实验结果表明,与直接利用渐进增长对抗生成网络的基线方法相比,本工作生成效果得到了提升.     

基于残缺图像样本的生成对抗网络图像修复方法

针对大面积图像修复缺失严重时，需要完整且高质量训练样本的问题，提出了一种将残缺或含噪图像样本作为训练集的双生成器深度卷积生成对抗网络（DGDCGAN）模型。构建两个生成器和一个鉴别器以解决单一生成器收敛慢的问题，用残缺图像样本作为训练集，通过交叉计算、搜索损失区域类似的图像信息作为训练生成模型的样本，收敛速度更快。鉴别器损失函数改进为输出的Wasserstein距离，使用自适应估计算法优化生成器损失函数和鉴别器损失函数的模型参数，最小化两两图像之间的总距离差，使用鉴别模型和修复图像总距离变化均方差最小化两个指标优化修复结果。在4个公开数据集上进行主客观实验，结果表明:所提方法能使用残缺图像样本作为训练集，有效实现大面积失真图像的修复，且收敛速度和修复效果优于现有图像修复方法。      

多尺度特征和注意力融合的生成对抗壁画修复

针对现有深度学习图像修复算法修复壁画时，存在特征提取不足及细节重构丢失等问题，提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征金字塔网络提取壁画中不同尺度的特征信息，增强特征关联性；采用自注意力机制及特征融合模块构建多尺度特征生成器，以获取丰富的上下文信息，提升网络的修复能力；引入最小化对抗损失与均方误差促进判别器的残差反馈，从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁画数字化修复的实验结果表明，所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息，并且主观视觉效果及客观评价指标均优于比较算法。     

改进深度卷积生成式对抗网络的文本生成图像

针对深度卷积生成式对抗网络(DCGAN)模型高维文本输入表示的稀疏性导致以文本为条件生成的图像结构缺失和图像不真实的问题，提出了一种改进深度卷积生成式对抗网络模型CA-DCGAN。采用深度卷积网络和循环文本编码器对输入的文本进行编码，得到文本的特征向量表示。引入条件增强（CA）模型，通过文本特征向量的均值和协方差矩阵产生附加的条件变量，代替原来的高维文本特征向量。将条件变量与随机噪声结合作为生成器的输入，并在生成器的损失中额外加入KL损失正则化项，避免模型训练过拟合，使模型可以更好的收敛，在判别器中使用谱约束（SN）层，防止其梯度下降太快造成生成器与判别器不平衡训练而发生模式崩溃的问题。实验验证结果表明：所提模型在Oxford-102-flowers和CUB-200数据集上生成的图像质量较alignDRAW、GAN-CLS、GAN-INT-CLS、StackGAN(64×64)、StackGAN-v1(64×64)模型更好且接近于真实样本，初始得分值最低分别提高了10.9%和5.6%，最高分别提高了41.4%和37.5%,FID值最低分别降低了11.4%和8.4%，最高分别降低了43....     

深度学习机制与小波融合的超分辨率重建算法

深度学习技术在超分辨率重建领域中发展迅速。为了进一步提升重建图像的质量和视觉效果，针对基于生成对抗网络（GAN）的超分辨率重建算法重建图像的纹理放大后不自然的问题，提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。所提算法在生成对抗网络中将小波分解的每个分量在各自独立的子网中进行训练，实现网络对小波系数的预测，有效地重建出具有丰富的全局信息和局部纹理细节信息的高分辨率图像。实验结果表明，对比基于生成对抗网络的算法，所提算法重建图像的客观评价指标峰值信噪比（PSNR）和结构相似性分别能提高至少0.99 dB和0.031。      

基于GAN网络的红外图像生成技术

当将人工智能技术应用于军事领域中的目标识别任务时,针对由红外图片采集的局限性而造成的训练数据不足的问题,提出了基于生成对抗网络以生成红外图像的方法,实现了数据集的扩充。对基本的生成对抗网络进行了改进,将网络的输入由随机噪声变为真实图片,使之实现了图片到图片的风格转换,即彩色图片转变为红外图片。经过网络模型的搭建和训练,实验结果表明,该方法能够有效生成清晰和高质量的红外图片,解决了由红外数据不足而造成的网络训练不充分的问题。     

考虑样本不平衡的X光安检图像违禁品分类方法

X光安检图像违禁品分类被广泛应用于协助维护航空和运输安全。针对X光安检图像中违禁品尺度不一、存在困难样本及旅客行李安检固有的正负样本不均衡等问题，提出一种端到端的考虑样本不平衡的X光安检图像违禁品分类方法。采用多尺度特征提取网络捕获尺度不一的多类型违禁品特征，通过特征融合模块提升模型对图像边缘和纹理特征的表达能力，基于代价敏感思想设计损失函数，解决数据集不平衡问题，并提高困难样本分类精准度。在公开数据集SIXray上构建的子集实验结果表明：所提方法相较于端到端分类模型，平均AP指标值提升了4.5%，特别是对剪刀等难分类样本，AP指标值都有显著的提升效果。     

基于生成对抗网络的航天异常事件检测方法

航天环境复杂,技术难度大,风险高,安全可靠性要求苛刻。航天异常事件样本少,且难以获取,有针对性地开展异常事件检测（AED）很有必要。为预防航天事故,尽早发现可能导致故障的异常事件,深入研究了最新人工智能和生成对抗网络（GAN）技术,提出了一种基于生成对抗网络的航天异常事件检测方法。使用正生成对抗网络模拟生成正常事件样本,训练反生成对抗网络模拟生成异常事件样本,设计合理算法训练测试,计算输入事件与正生成对抗网络生成的模拟正常事件欧氏距离,以及输入事件与反生成对抗网络生成的模拟异常事件的欧氏距离差,实现对异常事件的精确检测。通过在美国国家标准与技术研究所数据库（MNIST）数据集全部使用正常数据训练,并对异常事件检测性能进行了试验验证,试验结果表明:在MNIST数据集下,精确率和召回率综合评价指标（F1）及精确率和召回率曲线下面积（PRC）等关键技术指标比变分自动编码器（VAE）方法相应指标性能至少分别提升了31%和11%。在真实环境下采集的模拟航天音频数据试验,异常事件检测性能良好,进一步证实了所提方法真实可用。      

基于记忆关联学习的小样本高光谱图像分类方法

高光谱图像（HSI）分类是遥感领域的基础应用之一。该任务旨在根据部分带类别标签的像素样本训练分类器，预测图像中剩余像素对应的类别标签。在实际应用中，由于人工标记样本成本过高，只能获得少量带标签的样本。针对少量样本无法准确描述数据分布从而导致训练过程过拟合的问题，提出一种基于记忆关联学习的小样本高光谱图像分类方法。考虑到无标签样本中包含大量与数据分布相关的信息，构建基于有标签样本记忆模块，并根据样本间的特征关联，利用不断更新的记忆模块学习无标签样本的潜在类别分布，构建无监督分类模型，并与传统的有监督分类模型进行联合学习。在多个高光谱图像分类数据集上的实验结果表明，所提方法能有效提升小样本高光谱图像分类的准确性。      

基于美学评判的文本生成图像优化

在对抗生成网络（GAN）这一概念的诞生及发展推动下,文本生成图像的研究取得进展和突破,但大部分的研究内容集中于提高生成图片稳定性和解析度的问题,提高生成结果美观度的研究则很少。而计算机视觉中另一项经典的课题——图像美观度评判的研究也在深度神经网络的推动下提出了一些成果可信度较高的美观度评判模型。本文借助美观度评判模型,对实现文本生成图像目标的GAN模型进行了改造,以期提高其生成图片的美观度指标。首先针对StackGAN++模型,通过选定的美观度评判模型从美学角度评估其生成结果;然后通过借助评判模型构造美学损失的方式对其进行优化。结果使得其生成图像的总体美学分数比原模型提高了3.17%,同时Inception Score提高了2.68%,证明所提方法具有一定效果,但仍存在一定缺陷和提升空间。      

Deep learning-based framework for monitoring of debris-covered glacier from remotely sensed images

In recent years, deep learning (DL) methods have proven their efficiency for various computer vision (CV) tasks such as image classification, natural language processing, and object detection. However, training a DL model is expensive in terms of both complexities of the network structure and the amount of labeled data needed. In addition, the imbalance among available labeled data for different classes of interest may also adversely affect the model accuracy. This paper addresses these issues using a new convolutional neural network (CNN) based architecture. The proposed network incorporates both spatial and spectral information that combines two sub-networks: spatial-CNN and spectral-CNN. The spectral-CNN extracts spectral information, while spatial-CNN captures spatial information. Moreover, to make the features more robust, a multiscale spatial CNN architecture is introduced using different kernels. The final feature vector is formed by concatenating the outputs obtained from both spatial-CNN and spectral-CNN. To address the data imbalance problem, a generative adversarial network (GAN) was used to generate data for the underrepresented class. Finally, relatively a shallower network architecture was used to reduce the number of parameters in the network and improve the processing speed. The proposed model was trained and tested on Senitel-2 images for the classification of the debris-covered glacier. The results showed that the proposed method is well-suited for mapping and monitoring debris-covered glaciers at a large scale with high classification accuracy. In addition, we compared the proposed method with conventional machine learning approaches, support vector machine (SVM), random forest (RF) and multilayer perceptron (MLP).     

基于条件生成对抗网络的HDR图像生成方法

高动态范围（HDR）图像相比低动态范围（LDR）图像有更宽的色域和更高的亮度范围,更符合人眼视觉效果,但由于目前的图像采集设备大都是LDR设备,导致HDR图像资源匮乏,解决该问题的一种有效途径是通过逆色调映射将LDR图像映射为HDR图像。提出了一种基于条件生成对抗网络（CGAN）的逆色调映射算法,以重建HDR图像。为此,设计了基于多分支的生成对抗网络与基于鉴别块的鉴别网络,并利用CGAN的数据生成能力和特征提取能力,将单张LDR图像从BT.709色域映射到对应的BT.2020色域。实验结果表明:与现有方法相比,所提出的网络能够获得更高的客观与主观质量,特别是针对低色域中的模糊区域,所提方法能够重建出更清晰的纹理与细节。      

基于混合网络的异源遥感图像变化检测

为了更加准确地进行异源遥感图像的变化检测任务,提出了一种基于混合网络的异源遥感图像变化检测算法。利用伪孪生网络提取异源遥感图像块间空间维度的变化特征,利用早期融合网络提取异源遥感图像块间光谱维度的变化特征,将2支网络提取的特征进行融合,并将融合后的变化特征输入到sigmoid层进行二分类检测。同时,在伪孪生网络中加入对比损失函数,通过优化对比损失函数,使得在特征空间中,未变化图像对的空间特征差异更小,变化图像对的空间特征差异更大,以提升网络的区分能力和收敛速度。      

基于对抗和迁移学习的灾害天气卫星云图分类

针对卫星云图中的灾害天气数据存在严重不平衡问题,提出一个结合生成对抗学习（GAN）和迁移学习（TL）的卷积神经网络（CNN）框架以解决上述问题进而提高基于卫星云图的灾害天气分类精度。该框架主要包含基于GAN的数据均衡化模块和基于迁移学习的CNN分类模块。上述2个模块分别从数据和算法层面解决数据的类间不平衡问题,分别得到一个相对均衡的数据集和一个可在不同类别数据上提取相对均衡特征的分类模型,最终实现对卫星云图的分类,提高其中灾害天气的卫星云图类别分类准确率。与此同时所提方法在自建的大规模卫星云图数据上进行了测试,消融性和综合实验结果证明了所提数据均衡方法和迁移学习方法是有效的,且所提框架模型对各个灾害天气类别的分类精度都有显著提升。      

一种基于攻击距离的对抗样本攻击组筛选方法

黑盒对抗样本生成过程中通常会指定1个攻击组，包括1个原始样本和1个目标样本，使得生成的对抗样本与原始样本范数差别不大，但被分类器识别为目标样本的分类。针对攻击组的攻击难度不同导致攻击不稳定的问题，以图像识别领域为例，设计了基于决策边界长度的攻击距离度量方法，为攻击组的攻击难易程度提供了度量方法。在此基础上，设计了基于攻击距离的对抗样本攻击组筛选方法，在攻击开始前就筛去难以攻击的攻击组，从而实现在不修改攻击算法的前提下，提升攻击效果。实验表明:相比于筛选前的攻击组，筛选后的攻击组的总体效果提升了42.07%，攻击效率提升了24.99%，方差降低了76.23%。利用攻击组的对抗样本生成方法在攻击前先进行攻击组筛选，可以稳定并提高攻击效果。      

面向目标检测的双驱自适应遥感图像超分重建方法

有光学遥感图像超分重建方法主要是生成视觉上令人满意的图像,并未考虑后续目标检测任务的特殊性,不能有效地应用到目标检测中。基于此,提出了面向目标检测的双驱动自适应多尺度光学遥感图像超分重建方法,将超分重建网络和目标检测网络结合起来,进行联合优化。针对光学遥感图像的特点设计了自适应多尺度遥感图像超分重建网络,集成选择性内核网络和自适应特征门控单元来特征提取和融合,重建出初步遥感图像。通过提出的双驱动模块,将特征先验驱动损失和任务驱动损失传到超分重建网络中,提高目标检测的性能。在UCAS-AOD和NWPU VHR-10数据集上进行实验,并与5种主流方法进行比较,所提方法的峰值信噪比和平均准确率相较于FDSR方法分别提高了1.86 dB和3.73%。实验结果表明,所提方法和光学遥感图像目标检测结合可以取得更好的效果,综合性能更佳。      

基于迁移学习的暴恐图像自动识别

利用人工智能和深度学习技术自动化地分析互联网海量图片，快速、准确地识别有害的暴恐图像并及时处置是反恐工作的重要手段之一。研究了利用深度学习和迁移学习技术对暴恐图像进行分类识别。首先，定义了暴恐图像的主要概念特征，并针对性地构建数据集；其次，针对暴恐图像正样本较少的问题，设计深度神经网络模型和迁移学习方式；最后，基于构建的训练数据集进行模型训练和测试。结果显示:所提方法可以快速、准确地对互联网图片进行分类识别，平均分类准确率达到96.7%，从而有效降低人工检测的劳动强度，为反恐预警工作提供决策支持。