基于生成对抗网络的零样本图像分类

在图像分类任务中,零样本图像分类问题已成为一个研究热点。为了解决零样本图像分类问题,采用一种基于生成对抗网络（GAN）的方法,通过生成未知类的图像特征使得零样本分类任务转换为传统的图像分类任务。同时对生成对抗网络中的判别网络做出改进,使其判别过程更加准确,从而进一步提高生成图像特征的质量。实验结果表明:所提方法在AWA、CUB和SUN数据集上的分类准确率分别提高了0.4%、0.4%和0.5%。因此,所提方法通过改进生成对抗网络,能够生成质量更好的图像特征,从而有效解决零样本图像分类问题。      

基于依存句法的图像描述文本生成

现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则，但文本多为简单句，在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时，可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息，用于计算图像区域间关系并得到图像区域关系特征；融合图像区域关系特征和图像区域特征，与文本词向量通过长短期记忆网络（LSTM），用于生成图像描述文本。在测试阶段，通过测试图像与训练图像集的内容关键词，计算2幅图像的内容重合度，间接提取与测试图像对应的依存句法模板；模型基于依存句法模板，生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力，表明模型中的依存句法信息增强了深度学习模型的可解释性。      

文本信息辅助图像差异描述生成

图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容,从而将视觉信息转化为文本描述,便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述生成任务的延伸,其难点在于如何确定2张图像之间的视觉语义差别,并将视觉差异信息转换成对应的文本描述。基于此,提出了一种引入文本信息辅助训练的模型框架TA-IDC。采取多任务学习的方法,在传统的编码器-解码器结构上增加文本编码器,在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息,建模视觉和文本2个模态间的语义关联,以获得高质量的图像差别描述。实验证明,TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12%、2%和3%。     

改进深度卷积生成式对抗网络的文本生成图像

针对深度卷积生成式对抗网络(DCGAN)模型高维文本输入表示的稀疏性导致以文本为条件生成的图像结构缺失和图像不真实的问题，提出了一种改进深度卷积生成式对抗网络模型CA-DCGAN。采用深度卷积网络和循环文本编码器对输入的文本进行编码，得到文本的特征向量表示。引入条件增强（CA）模型，通过文本特征向量的均值和协方差矩阵产生附加的条件变量，代替原来的高维文本特征向量。将条件变量与随机噪声结合作为生成器的输入，并在生成器的损失中额外加入KL损失正则化项，避免模型训练过拟合，使模型可以更好的收敛，在判别器中使用谱约束（SN）层，防止其梯度下降太快造成生成器与判别器不平衡训练而发生模式崩溃的问题。实验验证结果表明：所提模型在Oxford-102-flowers和CUB-200数据集上生成的图像质量较alignDRAW、GAN-CLS、GAN-INT-CLS、StackGAN(64×64)、StackGAN-v1(64×64)模型更好且接近于真实样本，初始得分值最低分别提高了10.9%和5.6%，最高分别提高了41.4%和37.5%,FID值最低分别降低了11.4%和8.4%，最高分别降低了43....     

一种基于渐进增长对抗生成网络的火星样本生成方法

对抗生成网络的发展为图像生成等传统领域带来了很大进步,通过使用较少样本训练对抗生成网络,可以学习到特定图像类别的特征,进而能够增广样本应用于场景测试、其他网络训练等多种任务.本工作探索了在较少量的火星训练样本的基础上,针对直接使用GAN生成样本存在特征因平均化而不明显且类别较少的模式崩塌问题,基于渐进增长对抗生成网络,提出了一种聚类-训练-生成协同的火星样本生成方法.实验结果表明,与直接利用渐进增长对抗生成网络的基线方法相比,本工作生成效果得到了提升.     

一种结合深度学习的运动去模糊视觉SLAM方法

针对高动态环境下视觉同步定位与地图构建（Simultaneous Localization And Mapping,SLAM）系统的可靠性受运动模糊的限制,研究了一种基于生成对抗网络(Generative Adversarial Network,GAN)和AKAZE特征点的运动去模糊视觉SLAM方案。首先对因相机快速运动而产生的模糊图像进行AKAZE特征点的提取与检测,并根据特征点分布的丰富程度计算图像块权重,结合灰度图像的方差信息建立特征点与模糊程度之间的量化关系表;之后将达到模糊分数阈值的图像同步输入至改进GAN网络模型,该网络以端对端的形式恢复中心模糊帧的纹理信息,最后将输出的清晰图像重新进行位姿估计参与ORB-SLAM2后端优化过程。在公开数据集TUM上进行测试,对于受模糊影响较严重的数据集,方案可以明显降低相机轨迹估计的整体误差,同时维持较好的鲁棒性。     

基于GAN网络的红外图像生成技术

当将人工智能技术应用于军事领域中的目标识别任务时,针对由红外图片采集的局限性而造成的训练数据不足的问题,提出了基于生成对抗网络以生成红外图像的方法,实现了数据集的扩充。对基本的生成对抗网络进行了改进,将网络的输入由随机噪声变为真实图片,使之实现了图片到图片的风格转换,即彩色图片转变为红外图片。经过网络模型的搭建和训练,实验结果表明,该方法能够有效生成清晰和高质量的红外图片,解决了由红外数据不足而造成的网络训练不充分的问题。     

双重模态文本引导的图像修复算法

为解决现有图像修复算法因缺乏足够的上下文信息导致修复大面积破损时效果差且修复结果不可控的缺陷，提出了双重模态文本引导的图像修复算法。引入文本标签作为修复的控制引导，确保修复结果的整体与区域一致，并增加修复的可控多样性。设计双重模态掩码注意力机制提取破损区域的语义信息；通过深度文本图像融合模块加深生成器中的文本图像融合过程，并应用图像文本匹配损失最大化生成图像与文本之间的语义相似度；采用投射鉴别器训练生成图像与真实图像增强修复图像的真实性。在2个带有文本标签的数据集上进行定量和定性实验，结果表明：生成的修复图像与引导文本描述一致，可根据不同的文字描述生成多样的结果。     

融合句嵌入的VAACGAN多对多语音转换

针对非平行文本条件下语音转换质量不理想、说话人个性相似度不高的问题，提出一种融合句嵌入的变分自编码辅助分类器生成对抗网络（VAACGAN）语音转换方法，在非平行文本条件下，有效实现了高质量的多对多语音转换。辅助分类器生成对抗网络的鉴别器中包含辅助解码器网络，能够在预测频谱特征真假的同时输出训练数据所属的说话人类别，使得生成对抗网络的训练更为稳定且加快其收敛速度。通过训练文本编码器获得句嵌入，将其作为一种语义内容约束融合到模型中，利用句嵌入包含的语义信息增强隐变量表征语音内容的能力，解决隐变量存在的过度正则化效应的问题，有效改善语音合成质量。实验结果表明:所提方法的转换语音平均MCD值较基准模型降低6.67%，平均MOS值提升8.33%，平均ABX值提升11.56%，证明该方法在语音音质和说话人个性相似度方面均有显著提升，实现了高质量的语音转换。      

深度学习机制与小波融合的超分辨率重建算法

深度学习技术在超分辨率重建领域中发展迅速。为了进一步提升重建图像的质量和视觉效果,针对基于生成对抗网络（GAN）的超分辨率重建算法重建图像的纹理放大后不自然的问题,提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。所提算法在生成对抗网络中将小波分解的每个分量在各自独立的子网中进行训练,实现网络对小波系数的预测,有效地重建出具有丰富的全局信息和局部纹理细节信息的高分辨率图像。实验结果表明,对比基于生成对抗网络的算法,所提算法重建图像的客观评价指标峰值信噪比（PSNR）和结构相似性分别能提高至少0.99 dB和0.031。      

基于生成对抗网络的空间卫星低照度图像增强

针对空间低照度成像条件下卫星光学图像信息受损严重的问题,提出了一种基于生成对抗网络的空间卫星低照度图像增强方法,提高了图像的平均亮度及对比度,恢复图像细节信息,为图像识别等图像处理技术提供更高质量的数据信息.首先,设计了一种密集连接的生成器,加强了各特征提取阶段中的信息传递以及多层特征的融合,减少了特征信息的损耗,更好...     

基于彩色三要素的无参考对比度失真图像质量评价方法

图像质量评价是图像处理领域中基本且具有挑战性的问题。对比度失真对图像质量的感知影响较大,目前针对对比度失真图像的无参考图像质量评价研究相对较少。基于此,提出了基于彩色三要素的无参考对比度失真图像质量评价方法,利用彩色三要素的亮度、色调和饱和度3个参数实现了对比度失真图像的质量评价方法。在亮度方面,提取矩特征及图像直方图与均匀分布之间的Kullback-Leibler散度特征。在色调和饱和度方面,分别在HSV空间的H和S通道中提取颜色加权局部二值模式(LBP)直方图特征。利用AdaBoosting BP神经网络训练预测模型。在5个标准图像数据库中进行广泛的实验分析和交叉验证,结果表明,所提方法与现有的对比度失真图像质量评价方法相比,性能有明显的提升。     

基于可变阶变分模型的医用低剂量CT图像去噪

为了降低患者的辐射风险,低剂量CT（LDCT）广泛用于临床诊断,但辐射剂量的减少在重建的LDCT图像中引入了斑点噪声和条纹伪影。为了提高LDCT图像的质量,提出了一种基于可变阶变分模型的后处理技术。所提出的变分模型使用边缘指示器控制变分阶数,根据图像的特征在一阶全变分（TV）正则项和二阶有界Hessian（BH）正则项之间交替变换。采用基于快速傅里叶变换（FFT）的分裂Bregman算法求解所提出的变分模型。该模型在保留高剂量CT（HDCT）图像相应结构的同时,有效抑制了斑点噪声和条纹伪影。重建的图像和实验数据表明,所提出的变分模型比现有的先进模型具有更好的质量。      

基于对抗和迁移学习的灾害天气卫星云图分类

针对卫星云图中的灾害天气数据存在严重不平衡问题,提出一个结合生成对抗学习（GAN）和迁移学习（TL）的卷积神经网络（CNN）框架以解决上述问题进而提高基于卫星云图的灾害天气分类精度。该框架主要包含基于GAN的数据均衡化模块和基于迁移学习的CNN分类模块。上述2个模块分别从数据和算法层面解决数据的类间不平衡问题,分别得到一个相对均衡的数据集和一个可在不同类别数据上提取相对均衡特征的分类模型,最终实现对卫星云图的分类,提高其中灾害天气的卫星云图类别分类准确率。与此同时所提方法在自建的大规模卫星云图数据上进行了测试,消融性和综合实验结果证明了所提数据均衡方法和迁移学习方法是有效的,且所提框架模型对各个灾害天气类别的分类精度都有显著提升。      

基于流的遥感图像超分辨率重建

为了提高遥感图像超分辨率重建的质量，提出了一种基于流的遥感图像重建算法。首先，在Glow模型的基础上引入改进后的RRDB架构用于低分辨率图像特征提取，通过构建更多层和连接以提升训练的稳定性。然后，以一种纯数据驱动的流模型来训练分布的参数，通过最大化负的对数似然的方法进行优化，得到该算法的损失函数。实验证明该模型在网络训练过程中能够快速达到稳定收敛的状态，且具有很强的泛化能力。用重建出的图像质量对比SRCNN、SRGAN、ESRGAN，经过测试后发现，提出的算法远远优于SRCNN算法，与其他算法相比也有明显优势。重建出的图像不仅在指标上有所提升，例如与SRCNN相比，PSRN和SSIM分别提升了15%和40%，且人眼观察时有更高的清晰度，高频细节更为丰富。     

基于人眼视觉的结构相似度图像质量评价方法

分析了数字图像中亮度、纹理细节、空间位置等因素对人眼视觉特性的影响,建立了数学模型,将人眼视觉特性与图像的结构相似度结合起来,提出一种符合人眼视觉特性的图像质量评价新方法.该方法将图像划分成大小相等的分块,计算出各分块的亮度影响因子、纹理细节影响因子和空间位置影响因子,经过归一化处理得到每个分块的权值,用加权平均的结构相似度作为图像质量的评价指标.实验证明该方法能够区别图像中不同区域的图像特征,符合人眼视觉特性,与主观评价结果一致.      

基于编解码双路卷积神经网络的视觉自定位方法

为了从单张RGB图像估计出相机的位姿信息,提出了一种深度编解码双路卷积神经网络（CNN）,提升了视觉自定位的精度。首先,使用编码器从输入图像中提取高维特征;然后,使用解码器提升特征的空间分辨率;最后,通过多尺度位姿预测器输出位姿参数。由于位置和姿态的特性不同,网络从解码器开始采用双路结构,对位置和姿态分别进行处理,并且在编解码之间增加跳跃连接以保持空间信息。实验结果表明:所提网络的精度与目前同类型算法相比有明显提升,其中相机姿态角度精度有较大提升。