深度学习机制与小波融合的超分辨率重建算法

深度学习技术在超分辨率重建领域中发展迅速。为了进一步提升重建图像的质量和视觉效果,针对基于生成对抗网络（GAN）的超分辨率重建算法重建图像的纹理放大后不自然的问题,提出了一种结合小波变换和生成对抗网络的超分辨率重建算法。所提算法在生成对抗网络中将小波分解的每个分量在各自独立的子网中进行训练,实现网络对小波系数的预测,有效地重建出具有丰富的全局信息和局部纹理细节信息的高分辨率图像。实验结果表明,对比基于生成对抗网络的算法,所提算法重建图像的客观评价指标峰值信噪比（PSNR）和结构相似性分别能提高至少0.99 dB和0.031。      

基于生成对抗网络的零样本图像分类

在图像分类任务中,零样本图像分类问题已成为一个研究热点。为了解决零样本图像分类问题,采用一种基于生成对抗网络（GAN）的方法,通过生成未知类的图像特征使得零样本分类任务转换为传统的图像分类任务。同时对生成对抗网络中的判别网络做出改进,使其判别过程更加准确,从而进一步提高生成图像特征的质量。实验结果表明:所提方法在AWA、CUB和SUN数据集上的分类准确率分别提高了0.4%、0.4%和0.5%。因此,所提方法通过改进生成对抗网络,能够生成质量更好的图像特征,从而有效解决零样本图像分类问题。      

一种基于渐进增长对抗生成网络的火星样本生成方法

对抗生成网络的发展为图像生成等传统领域带来了很大进步,通过使用较少样本训练对抗生成网络,可以学习到特定图像类别的特征,进而能够增广样本应用于场景测试、其他网络训练等多种任务.本工作探索了在较少量的火星训练样本的基础上,针对直接使用GAN生成样本存在特征因平均化而不明显且类别较少的模式崩塌问题,基于渐进增长对抗生成网络,提出了一种聚类-训练-生成协同的火星样本生成方法.实验结果表明,与直接利用渐进增长对抗生成网络的基线方法相比,本工作生成效果得到了提升.     

基于生成对抗网络的航天异常事件检测方法

航天环境复杂,技术难度大,风险高,安全可靠性要求苛刻。航天异常事件样本少,且难以获取,有针对性地开展异常事件检测（AED）很有必要。为预防航天事故,尽早发现可能导致故障的异常事件,深入研究了最新人工智能和生成对抗网络（GAN）技术,提出了一种基于生成对抗网络的航天异常事件检测方法。使用正生成对抗网络模拟生成正常事件样本,训练反生成对抗网络模拟生成异常事件样本,设计合理算法训练测试,计算输入事件与正生成对抗网络生成的模拟正常事件欧氏距离,以及输入事件与反生成对抗网络生成的模拟异常事件的欧氏距离差,实现对异常事件的精确检测。通过在美国国家标准与技术研究所数据库（MNIST）数据集全部使用正常数据训练,并对异常事件检测性能进行了试验验证,试验结果表明:在MNIST数据集下,精确率和召回率综合评价指标（F1）及精确率和召回率曲线下面积（PRC）等关键技术指标比变分自动编码器（VAE）方法相应指标性能至少分别提升了31%和11%。在真实环境下采集的模拟航天音频数据试验,异常事件检测性能良好,进一步证实了所提方法真实可用。      

基于生成对抗网络的空间卫星低照度图像增强

针对空间低照度成像条件下卫星光学图像信息受损严重的问题,提出了一种基于生成对抗网络的空间卫星低照度图像增强方法,提高了图像的平均亮度及对比度,恢复图像细节信息,为图像识别等图像处理技术提供更高质量的数据信息.首先,设计了一种密集连接的生成器,加强了各特征提取阶段中的信息传递以及多层特征的融合,减少了特征信息的损耗,更好...     

基于GAN网络的红外图像生成技术

当将人工智能技术应用于军事领域中的目标识别任务时,针对由红外图片采集的局限性而造成的训练数据不足的问题,提出了基于生成对抗网络以生成红外图像的方法,实现了数据集的扩充。对基本的生成对抗网络进行了改进,将网络的输入由随机噪声变为真实图片,使之实现了图片到图片的风格转换,即彩色图片转变为红外图片。经过网络模型的搭建和训练,实验结果表明,该方法能够有效生成清晰和高质量的红外图片,解决了由红外数据不足而造成的网络训练不充分的问题。     

基于残缺图像样本的生成对抗网络图像修复方法

针对大面积图像修复缺失严重时，需要完整且高质量训练样本的问题，提出了一种将残缺或含噪图像样本作为训练集的双生成器深度卷积生成对抗网络（DGDCGAN）模型。构建两个生成器和一个鉴别器以解决单一生成器收敛慢的问题，用残缺图像样本作为训练集，通过交叉计算、搜索损失区域类似的图像信息作为训练生成模型的样本，收敛速度更快。鉴别器损失函数改进为输出的Wasserstein距离，使用自适应估计算法优化生成器损失函数和鉴别器损失函数的模型参数，最小化两两图像之间的总距离差，使用鉴别模型和修复图像总距离变化均方差最小化两个指标优化修复结果。在4个公开数据集上进行主客观实验，结果表明:所提方法能使用残缺图像样本作为训练集，有效实现大面积失真图像的修复，且收敛速度和修复效果优于现有图像修复方法。      

基于依存句法的图像描述文本生成

现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则，但文本多为简单句，在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时，可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息，用于计算图像区域间关系并得到图像区域关系特征；融合图像区域关系特征和图像区域特征，与文本词向量通过长短期记忆网络（LSTM），用于生成图像描述文本。在测试阶段，通过测试图像与训练图像集的内容关键词，计算2幅图像的内容重合度，间接提取与测试图像对应的依存句法模板；模型基于依存句法模板，生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力，表明模型中的依存句法信息增强了深度学习模型的可解释性。      

生成对抗网络复原图像的质量测评方法研究

针对提高基于生成式对抗网络的复原图像可信度的需求,提出一种基于多方向差异哈希(MDhash)算法的复原图像质量测评方法。该方法基于像素域,根据相邻像素之间灰度值的差异计算图像的哈希值。通过组合横向、纵向、斜向上、斜向下四个方向的Hash值得到多方向差异哈希值,实现图像的准确表征。通过计算四个方向上复原图像与参考图像的MDhash值之间的汉明距离,度量复原图像与原始图像的相似性。最后,基于公开数据集对所提评价指标与主观评分值的相关性进行验证。实验结果表明,本方法可实现对复原图像质量的准确量化评估,与对比方法结构相似度(SSIM)相比,MDhash方法与人的主观评价结果具有更高的相关系数,相关系数为0.9819。     

基于美学评判的文本生成图像优化

在对抗生成网络（GAN）这一概念的诞生及发展推动下,文本生成图像的研究取得进展和突破,但大部分的研究内容集中于提高生成图片稳定性和解析度的问题,提高生成结果美观度的研究则很少。而计算机视觉中另一项经典的课题——图像美观度评判的研究也在深度神经网络的推动下提出了一些成果可信度较高的美观度评判模型。本文借助美观度评判模型,对实现文本生成图像目标的GAN模型进行了改造,以期提高其生成图片的美观度指标。首先针对StackGAN++模型,通过选定的美观度评判模型从美学角度评估其生成结果;然后通过借助评判模型构造美学损失的方式对其进行优化。结果使得其生成图像的总体美学分数比原模型提高了3.17%,同时Inception Score提高了2.68%,证明所提方法具有一定效果,但仍存在一定缺陷和提升空间。      

基于显著特性的保持边缘滤波算法

针对传统保持边缘滤波算法中存在光晕的缺点,提出了基于显著特性的图像保持边缘滤波算法.该算法主要思想是利用原图的显著特性图具有边缘突出的特点,简化双边滤波法中灰度因子的设定工作.首先提取出原图像的显著图,然后根据图像显著值的大小自适应模糊图像中的细节和噪声部分:显著值较小的区域灰度因子设置较大,平滑此区域;显著值较大的区域灰度因子设置较小,保持边缘部分的清晰.实验结果表明,该算法在平滑了细节和噪声的同时,有效地保持了边缘信息的清晰,与传统方法相比,新方法不仅避免了光晕现象的产生,而且应用更为广泛.      

实时曲面纹理及其光照效果的生成

依据两步映射法和体纹理的思想，将曲面纹理的映射过程分为非实时映射和实时查询两个部分，提出一种能实时显示曲面纹理的方法及相应的抗混叠措施，最后，结合一种快速浓淡算法，为曲面纹理叠加光照效果，生成了很逼真的图象。     

基于BEMD与DCT的彩色图像多重水印鲁棒算法

为解决现有彩色图像水印算法容错性低及宿主图像与水印图像在嵌入时尺寸匹配问题,并提高算法抵御各种攻击的鲁棒性,提出一种基于二维经验模态分解(BEMD)和离散余弦变换(DCT)的彩色图像多重水印鲁棒算法。使用Arnold变换对3幅二值水印图像进行置乱,分别对彩色宿主图像的三通道进行BEMD,得到各通道的内蕴模态函数(IMF)和余量信息,选择各通道的第1个IMF（记作IMF₁）作为水印嵌入层,对每个通道的IMF₁分割成不重叠子块后进行DCT;再将置乱后的二值水印图像依次重复嵌入在各通道子块经过之字形(Zigzag)扫描后的中频系数中,使用逆Zigzag扫描和逆DCT得到各通道嵌入水印信息后的IMF₁,并与每个通道其余的IMF及余量重建得到嵌入水印后的彩色图像。水印提取为嵌入过程的逆过程,算法可以实现彩色图像嵌入水印的盲提取。在水印提取过程中对重复嵌入提取到的水印图像使用投票策略,增强了算法的容错性。大量实验结果表明:嵌入水印后的图像峰值信噪比（PSNR）在34 dB以上,水印信息具有较高的不可见性;对嵌入多重水印后的宿主图像进行大尺寸剪切、椒盐噪声等攻击实验,提取到的水印图像与原始图像的归一化系数均在0.96以上,且可达到1,水印信息提取完整清晰可辨。与现有大量彩色图像水印算法相比,所提算法具有较强抵御各种攻击的能力,同时嵌入水印后图像具有较高的不可见性。      

亚角秒分辨率射电观测的数据处理

使用英国多单元联线干涉网(MERLIN), 及美国甚大阵(VLA)对河外射电源进行了多频观测, 获得了亚角秒分辨率的图象. 使用自核准技术及洁化技术, 改善了成图的动态范围. 哈勃空间望远镜(HST), 也对该河外射电源进行了光学观测. 本文介绍了射电图和光学图进行重叠的方法, 用以比较射电发射的等离子体和光学线发射云之间的物理联系.      

基于多子块协同单尺度Retinex的浓雾图像增强

针对现有算法增强雾气分布不均匀的浓雾图像效果不理想的问题,提出了一种基于多子块协同单尺度Retinex的浓雾图像增强算法。该算法不同于传统的利用全局统计量获取动态截断值的Retinex算法,首先将图像划分为多个子块,计算出适合不同浓度雾气的动态截断值;然后,利用动态截断值对高频细节信息进行动态范围调整,得到多幅局部最优的图像;最后,融合多幅局部最优图像生成高质量的结果,从而实现浓雾图像每个区域细节的增强。实验结果表明,所提算法能够有效去除不均匀浓雾,并保证去雾后图像的亮度保持在适合人眼观察的范围。      

基于多特征图像视觉显著性的视频摘要化生成

如何高效提取视频内容即视频摘要化,一直是计算机视觉领域研究的热点。简单通过图像颜色、纹理等特征进行检测已无法有效、完整地获取视频摘要。基于视觉注意力金字塔模型,提出了一种改进的可变比例及双对比度计算的中心-环绕视频摘要化方法。首先,以超像素方法对视频图像序列进行像素块划分以加速图像计算;然后,检测不同颜色背景下的图像对比度特征差异并进行融合;最后,结合光流运动信息,合并静态图像与动态图像显著性结果提取视频关键帧,在提取关键帧时,利用感知哈希函数进行相似性判断完成视频摘要化生成。在Segtrack V2、ViSal及OVP数据集上进行仿真实验,结果表明:所提方法可以有效提取图像感兴趣区域,得到以关键帧图像序列表示的视频摘要。      

Development and testing of a statistical texture model for land cover classification of the Black Sea region with MODIS imagery

A statistical model is proposed for analysis of the texture of land cover types for global and regional land cover classification by using texture features extracted by multiresolution image analysis techniques. It consists of four novel indices representing second-order texture, which are calculated after wavelet decomposition of an image and after texture extraction by a new approach that makes use of a four-pixel texture unit. The model was applied to four satellite images of the Black Sea region, obtained by Terra/MODIS and Aqua/MODIS at different spatial resolution. In single texture classification experiments, we used 15 subimages (50 × 50 pixels) of the selected classes of land covers that are present in the satellite images studied. These subimages were subjected to one-level and two-level decompositions by using orthonormal spline and Gabor-like spline wavelets. The texture indices were calculated and used as feature vectors in the supervised classification system with neural networks. The testing of the model was based on the use of two kinds of widely accepted statistical texture quantities: five texture features determined by the co-occurrence matrix (angular second moment, contrast, correlation, inverse difference moment, entropy), and four statistical texture features determined after the wavelet transformation (mean, standard deviation, energy, entropy). The supervised neural network classification was performed and the discrimination ability of the proposed texture indices was found comparable with that for the sets of five GLCM texture features and four wavelet-based texture features. The results obtained from the neural network classifier showed that the proposed texture model yielded an accuracy of 92.86% on average after orthonormal wavelet decomposition and 100% after Gabor-like wavelet decomposition for texture classification of the examined land cover types on satellite images.     

基于深度神经网络的像素级别可见光图像配准

现有图像配准算法中,借助图像采集设备参数的方法存在硬件内参难以获得或精度不够的问题,采用匹配图像特征计算图像单应性的方法存在对场景深度信息利用不全的问题。针对这一现象,提出了结合可见光图像与其深度信息来生成更具有真实性的配准图像对数据,用以训练得到一个可以进行像素级别图像配准的深度神经网络PIR-Net。建立了一个大规模、多视角、超仿真的图像配准数据集:多视角配准(MVR)数据集,该数据集包含7 240对含有深度信息的待配准图像及其像素级别的坐标对准真值;基于编码器-解码器的深度神经网络结构,训练得到一个能以全分辨率形式对2幅输入图像之间的坐标变化矩阵进行重建的PIR-Net。通过实验验证了PIR-Net能够在未知相机内参的情况下实现不同视角的可见光图像配准,并比传统算法具有更高的配准精度。在MVR数据集上,PIR-Net的配准误差仅为通用的特征匹配对准算法(SIFT+RANSAC)的18%,同时减少了30%的时间消耗。      

基于多尺度失真感知特征的重定向图像质量评估

在不同宽高比显示设备上的图像观看体验通常受到图像重定向操作方法的影响。为了提高重定向图像主观感知与客观评估之间的一致性,提出了基于多尺度失真感知特征（MSDA）的客观重定向图像质量评估（RIQA）方法。语义失真和细节失真经常出现在图像的不同尺度上,因此从图像的不同尺度中提取失真感知特征。提出了一个描述原始图像和重定向图像之间的宽高比相似度（ARS）的精确度量。此外,使用视觉注意力融合图来模拟人类视觉系统对图像的主观关注度。在2个基准数据库上的实验结果表明,所提出的MSDA方法的肯德尔排名相关系数（KRCC）、皮尔逊线性相关系数（PLCC）和斯皮尔曼秩次相关系数（SRCC）指标分别比对比方法中最优方法提高4.1%、1.8%和4.5%。