融合句嵌入的VAACGAN多对多语音转换

针对非平行文本条件下语音转换质量不理想、说话人个性相似度不高的问题，提出一种融合句嵌入的变分自编码辅助分类器生成对抗网络（VAACGAN）语音转换方法，在非平行文本条件下，有效实现了高质量的多对多语音转换。辅助分类器生成对抗网络的鉴别器中包含辅助解码器网络，能够在预测频谱特征真假的同时输出训练数据所属的说话人类别，使得生成对抗网络的训练更为稳定且加快其收敛速度。通过训练文本编码器获得句嵌入，将其作为一种语义内容约束融合到模型中，利用句嵌入包含的语义信息增强隐变量表征语音内容的能力，解决隐变量存在的过度正则化效应的问题，有效改善语音合成质量。实验结果表明:所提方法的转换语音平均MCD值较基准模型降低6.67%，平均MOS值提升8.33%，平均ABX值提升11.56%，证明该方法在语音音质和说话人个性相似度方面均有显著提升，实现了高质量的语音转换。      

一种基于渐进增长对抗生成网络的火星样本生成方法

对抗生成网络的发展为图像生成等传统领域带来了很大进步,通过使用较少样本训练对抗生成网络,可以学习到特定图像类别的特征,进而能够增广样本应用于场景测试、其他网络训练等多种任务.本工作探索了在较少量的火星训练样本的基础上,针对直接使用GAN生成样本存在特征因平均化而不明显且类别较少的模式崩塌问题,基于渐进增长对抗生成网络,提出了一种聚类-训练-生成协同的火星样本生成方法.实验结果表明,与直接利用渐进增长对抗生成网络的基线方法相比,本工作生成效果得到了提升.     

基于生成对抗网络的航天异常事件检测方法

航天环境复杂,技术难度大,风险高,安全可靠性要求苛刻。航天异常事件样本少,且难以获取,有针对性地开展异常事件检测（AED）很有必要。为预防航天事故,尽早发现可能导致故障的异常事件,深入研究了最新人工智能和生成对抗网络（GAN）技术,提出了一种基于生成对抗网络的航天异常事件检测方法。使用正生成对抗网络模拟生成正常事件样本,训练反生成对抗网络模拟生成异常事件样本,设计合理算法训练测试,计算输入事件与正生成对抗网络生成的模拟正常事件欧氏距离,以及输入事件与反生成对抗网络生成的模拟异常事件的欧氏距离差,实现对异常事件的精确检测。通过在美国国家标准与技术研究所数据库（MNIST）数据集全部使用正常数据训练,并对异常事件检测性能进行了试验验证,试验结果表明:在MNIST数据集下,精确率和召回率综合评价指标（F1）及精确率和召回率曲线下面积（PRC）等关键技术指标比变分自动编码器（VAE）方法相应指标性能至少分别提升了31%和11%。在真实环境下采集的模拟航天音频数据试验,异常事件检测性能良好,进一步证实了所提方法真实可用。      

深度学习机制与小波融合的超分辨率重建算法

深度学习技术在超分辨率重建领域中发展迅速。为了进一步提升重建图像的质量和视觉效果，针对基于生成对抗网络（GAN）的超分辨率重建算法重建图像的纹理放大后不自然的问题，提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。所提算法在生成对抗网络中将小波分解的每个分量在各自独立的子网中进行训练，实现网络对小波系数的预测，有效地重建出具有丰富的全局信息和局部纹理细节信息的高分辨率图像。实验结果表明，对比基于生成对抗网络的算法，所提算法重建图像的客观评价指标峰值信噪比（PSNR）和结构相似性分别能提高至少0.99 dB和0.031。      

基于变分自编码器的多维退化数据生成方法

数据驱动的剩余使用寿命（RUL）预测方法不依赖于复杂的物理模型，可以直接利用设备历史运行数据与当前监测数据对设备RUL进行预测，对制定合理的维修策略，降低设备的维护成本具有重要意义。但是数据驱动的RUL预测方法依赖于大量历史数据，在数据不足时，尤其是多维退化数据，模型难以取得良好的预测效果。针对这一问题，提出一种多维退化数据生成方法，所提方法构建了一种全局优化模型，以条件变分自编码器作为生成模型，提取多维退化数据特征并生成相似数据扩充RUL预测模型训练集，利用长短时记忆网络作为RUL预测模型，所提方法能够通过RUL预测模型更新生成模型的参数提高模型的效果，同时利用更新后的生成模型提高剩余寿命预测模型在退化数据不足情况下的效果。使用航空发动机退化数据进行了案例验证，通过对比未加入生成数据训练得到的RUL预测模型与加入生成数据训练得到的RUL预测模型的表现，验证了所提方法在解决RUL预测模型训练数据不足方面的优越性。     

基于残缺图像样本的生成对抗网络图像修复方法

针对大面积图像修复缺失严重时，需要完整且高质量训练样本的问题，提出了一种将残缺或含噪图像样本作为训练集的双生成器深度卷积生成对抗网络（DGDCGAN）模型。构建两个生成器和一个鉴别器以解决单一生成器收敛慢的问题，用残缺图像样本作为训练集，通过交叉计算、搜索损失区域类似的图像信息作为训练生成模型的样本，收敛速度更快。鉴别器损失函数改进为输出的Wasserstein距离，使用自适应估计算法优化生成器损失函数和鉴别器损失函数的模型参数，最小化两两图像之间的总距离差，使用鉴别模型和修复图像总距离变化均方差最小化两个指标优化修复结果。在4个公开数据集上进行主客观实验，结果表明:所提方法能使用残缺图像样本作为训练集，有效实现大面积失真图像的修复，且收敛速度和修复效果优于现有图像修复方法。      

改进深度卷积生成式对抗网络的文本生成图像

针对深度卷积生成式对抗网络(DCGAN)模型高维文本输入表示的稀疏性导致以文本为条件生成的图像结构缺失和图像不真实的问题，提出了一种改进深度卷积生成式对抗网络模型CA-DCGAN。采用深度卷积网络和循环文本编码器对输入的文本进行编码，得到文本的特征向量表示。引入条件增强（CA）模型，通过文本特征向量的均值和协方差矩阵产生附加的条件变量，代替原来的高维文本特征向量。将条件变量与随机噪声结合作为生成器的输入，并在生成器的损失中额外加入KL损失正则化项，避免模型训练过拟合，使模型可以更好的收敛，在判别器中使用谱约束（SN）层，防止其梯度下降太快造成生成器与判别器不平衡训练而发生模式崩溃的问题。实验验证结果表明：所提模型在Oxford-102-flowers和CUB-200数据集上生成的图像质量较alignDRAW、GAN-CLS、GAN-INT-CLS、StackGAN(64×64)、StackGAN-v1(64×64)模型更好且接近于真实样本，初始得分值最低分别提高了10.9%和5.6%，最高分别提高了41.4%和37.5%,FID值最低分别降低了11.4%和8.4%，最高分别降低了43....     

红外空空导弹抗干扰效能评估建模

为了摸清红外空空导弹性能、提高导弹作战效能，需要全面有效地对导弹抗干扰能力进行评估。但是受限于无穷多的对抗情况，目前多数基于典型对抗场景进行研究分析，不够全面。为此使用改进的拉丁超立方采样法在全范围内设计采样点。首先，对红外对抗原理和仿真系统进行说明和构建，确定输入参数范围和类型；其次，对拉丁超立方采样进行改进优化，并将其生成的采样结果按需离散化，满足诱饵离散型参数设置需求；最后，运用上述生成的初始参数组合运行仿真系统，将获取的数据作为样本集交给随机森林模型学习，通过调优参数及调整损失矩阵后，得到预测精度为90.4%的红外空空导弹抗干扰效能评估模型。通过仿真，验证了所提模型在不同红外对抗态势和不同提取误差下的有效性。      

基于生成对抗网络的零样本图像分类

在图像分类任务中,零样本图像分类问题已成为一个研究热点。为了解决零样本图像分类问题,采用一种基于生成对抗网络（GAN）的方法,通过生成未知类的图像特征使得零样本分类任务转换为传统的图像分类任务。同时对生成对抗网络中的判别网络做出改进,使其判别过程更加准确,从而进一步提高生成图像特征的质量。实验结果表明:所提方法在AWA、CUB和SUN数据集上的分类准确率分别提高了0.4%、0.4%和0.5%。因此,所提方法通过改进生成对抗网络,能够生成质量更好的图像特征,从而有效解决零样本图像分类问题。      

基于美学评判的文本生成图像优化

在对抗生成网络（GAN）这一概念的诞生及发展推动下,文本生成图像的研究取得进展和突破,但大部分的研究内容集中于提高生成图片稳定性和解析度的问题,提高生成结果美观度的研究则很少。而计算机视觉中另一项经典的课题——图像美观度评判的研究也在深度神经网络的推动下提出了一些成果可信度较高的美观度评判模型。本文借助美观度评判模型,对实现文本生成图像目标的GAN模型进行了改造,以期提高其生成图片的美观度指标。首先针对StackGAN++模型,通过选定的美观度评判模型从美学角度评估其生成结果;然后通过借助评判模型构造美学损失的方式对其进行优化。结果使得其生成图像的总体美学分数比原模型提高了3.17%,同时Inception Score提高了2.68%,证明所提方法具有一定效果,但仍存在一定缺陷和提升空间。      

基于条件生成对抗网络的HDR图像生成方法

高动态范围（HDR）图像相比低动态范围（LDR）图像有更宽的色域和更高的亮度范围,更符合人眼视觉效果,但由于目前的图像采集设备大都是LDR设备,导致HDR图像资源匮乏,解决该问题的一种有效途径是通过逆色调映射将LDR图像映射为HDR图像。提出了一种基于条件生成对抗网络（CGAN）的逆色调映射算法,以重建HDR图像。为此,设计了基于多分支的生成对抗网络与基于鉴别块的鉴别网络,并利用CGAN的数据生成能力和特征提取能力,将单张LDR图像从BT.709色域映射到对应的BT.2020色域。实验结果表明:与现有方法相比,所提出的网络能够获得更高的客观与主观质量,特别是针对低色域中的模糊区域,所提方法能够重建出更清晰的纹理与细节。      

Deep learning-based framework for monitoring of debris-covered glacier from remotely sensed images

In recent years, deep learning (DL) methods have proven their efficiency for various computer vision (CV) tasks such as image classification, natural language processing, and object detection. However, training a DL model is expensive in terms of both complexities of the network structure and the amount of labeled data needed. In addition, the imbalance among available labeled data for different classes of interest may also adversely affect the model accuracy. This paper addresses these issues using a new convolutional neural network (CNN) based architecture. The proposed network incorporates both spatial and spectral information that combines two sub-networks: spatial-CNN and spectral-CNN. The spectral-CNN extracts spectral information, while spatial-CNN captures spatial information. Moreover, to make the features more robust, a multiscale spatial CNN architecture is introduced using different kernels. The final feature vector is formed by concatenating the outputs obtained from both spatial-CNN and spectral-CNN. To address the data imbalance problem, a generative adversarial network (GAN) was used to generate data for the underrepresented class. Finally, relatively a shallower network architecture was used to reduce the number of parameters in the network and improve the processing speed. The proposed model was trained and tested on Senitel-2 images for the classification of the debris-covered glacier. The results showed that the proposed method is well-suited for mapping and monitoring debris-covered glaciers at a large scale with high classification accuracy. In addition, we compared the proposed method with conventional machine learning approaches, support vector machine (SVM), random forest (RF) and multilayer perceptron (MLP).     

基于多源图像弱监督学习的3D人体姿态估计

3D人体姿态估计是计算机视觉领域一大研究热点,针对深度图像缺乏深度标签,以及因姿态单一造成的模型泛化能力不高的问题,创新性地提出了基于多源图像弱监督学习的3D人体姿态估计方法。首先,利用多源图像融合训练的方法,提高模型的泛化能力;然后,提出弱监督学习方法解决标签不足的问题;最后,为了提高姿态估计的效果,改进了残差模块的设计。实验结果表明:改善的网络结构在训练时间下降约28%的情况下,准确率提高0.2%,并且所提方法不管是在深度图像还是彩色图像上,均达到了较好的估计结果。      

一种结合深度学习的运动去模糊视觉SLAM方法

针对高动态环境下视觉同步定位与地图构建（Simultaneous Localization And Mapping,SLAM）系统的可靠性受运动模糊的限制,研究了一种基于生成对抗网络(Generative Adversarial Network,GAN)和AKAZE特征点的运动去模糊视觉SLAM方案。首先对因相机快速运动而产生的模糊图像进行AKAZE特征点的提取与检测,并根据特征点分布的丰富程度计算图像块权重,结合灰度图像的方差信息建立特征点与模糊程度之间的量化关系表;之后将达到模糊分数阈值的图像同步输入至改进GAN网络模型,该网络以端对端的形式恢复中心模糊帧的纹理信息,最后将输出的清晰图像重新进行位姿估计参与ORB-SLAM2后端优化过程。在公开数据集TUM上进行测试,对于受模糊影响较严重的数据集,方案可以明显降低相机轨迹估计的整体误差,同时维持较好的鲁棒性。     

一种基于攻击距离的对抗样本攻击组筛选方法

黑盒对抗样本生成过程中通常会指定1个攻击组，包括1个原始样本和1个目标样本，使得生成的对抗样本与原始样本范数差别不大，但被分类器识别为目标样本的分类。针对攻击组的攻击难度不同导致攻击不稳定的问题，以图像识别领域为例，设计了基于决策边界长度的攻击距离度量方法，为攻击组的攻击难易程度提供了度量方法。在此基础上，设计了基于攻击距离的对抗样本攻击组筛选方法，在攻击开始前就筛去难以攻击的攻击组，从而实现在不修改攻击算法的前提下，提升攻击效果。实验表明:相比于筛选前的攻击组，筛选后的攻击组的总体效果提升了42.07%，攻击效率提升了24.99%，方差降低了76.23%。利用攻击组的对抗样本生成方法在攻击前先进行攻击组筛选，可以稳定并提高攻击效果。      

基于无监督学习的多模态可变形配准

针对医学图像配准问题，传统方法提出通过解决优化问题进行配准，但计算成本高、运行时间长。深度学习方法提出使用网络学习配准参数，从而进行配准并在单模态图像上取得高效性能。但在多模态图像配准时，不同模态图像的强度分布未知且复杂，大多已有方法严重依赖标签数据，现有方法不能完全解决此问题。提出一种基于无监督学习的深度多模态可变形图像配准框架。该框架由基于损失映射量的特征学习和基于最大后验概率的变形场学习组成，借助空间转换函数和可微分的互信息损失函数实现无监督训练。在MRI T1、MRI T2以及CT的3D多模态图像配准任务上，将所提方法与现有先进的多模态配准方法进行比较。此外，还在最新的COVID-19的CT数据上展示了所提方法的配准性能。大量结果表明:所提方法与其他方法相比，在配准精度上具有竞争优势，并且大大减少了计算时间。