基于残缺图像样本的生成对抗网络图像修复方法

针对大面积图像修复缺失严重时，需要完整且高质量训练样本的问题，提出了一种将残缺或含噪图像样本作为训练集的双生成器深度卷积生成对抗网络（DGDCGAN）模型。构建两个生成器和一个鉴别器以解决单一生成器收敛慢的问题，用残缺图像样本作为训练集，通过交叉计算、搜索损失区域类似的图像信息作为训练生成模型的样本，收敛速度更快。鉴别器损失函数改进为输出的Wasserstein距离，使用自适应估计算法优化生成器损失函数和鉴别器损失函数的模型参数，最小化两两图像之间的总距离差，使用鉴别模型和修复图像总距离变化均方差最小化两个指标优化修复结果。在4个公开数据集上进行主客观实验，结果表明:所提方法能使用残缺图像样本作为训练集，有效实现大面积失真图像的修复，且收敛速度和修复效果优于现有图像修复方法。      

基于迁移学习的暴恐图像自动识别

利用人工智能和深度学习技术自动化地分析互联网海量图片，快速、准确地识别有害的暴恐图像并及时处置是反恐工作的重要手段之一。研究了利用深度学习和迁移学习技术对暴恐图像进行分类识别。首先，定义了暴恐图像的主要概念特征，并针对性地构建数据集；其次，针对暴恐图像正样本较少的问题，设计深度神经网络模型和迁移学习方式；最后，基于构建的训练数据集进行模型训练和测试。结果显示:所提方法可以快速、准确地对互联网图片进行分类识别，平均分类准确率达到96.7%，从而有效降低人工检测的劳动强度，为反恐预警工作提供决策支持。      

基于GAN网络的红外图像生成技术

当将人工智能技术应用于军事领域中的目标识别任务时，针对由红外图片采集的局限性而造成的训练数据不足的问题，提出了基于生成对抗网络以生成红外图像的方法，实现了数据集的扩充。对基本的生成对抗网络进行了改进，将网络的输入由随机噪声变为真实图片，使之实现了图片到图片的风格转换，即彩色图片转变为红外图片。经过网络模型的搭建和训练，实验结果表明，该方法能够有效生成清晰和高质量的红外图片，解决了由红外数据不足而造成的网络训练不充分的问题。     

基于动态语义记忆网络的长尾图像描述生成

图像描述生成任务旨在基于输入图像生成对应的自然语言描述。现有任务数据集中大部分图像的描述语句通常包含少量常见词和大量罕见词，呈现出长尾分布。已有研究专注于提升模型在整个数据集上的描述语句准确性，忽视了对大量罕见词的准确描述，限制了在实际场景中的应用。针对这一问题，提出了基于动态语义记忆网络(DSMN)的长尾图像描述生成模型，旨在保证模型对常见名词准确描述的同时，提升模型对罕见名词的描述效果。DSMN模型能够动态挖掘罕见词与常见词的全局语义关系，实现从常见词到罕见词的语义知识迁移，通过协同考虑全局单词语义关系信息及当前输入图像和已生成单词的局部语义信息提升罕见词的语义特征表示能力和预测性能。为了有效评价长尾图像描述生成方法，基于MS COCO Captioning数据集定义了长尾图像描述生成任务专用测试集Few-COCO。在MS COCO Captioning和Few-COCO数据集上的多个量化实验表明，DSMN模型在Few-COCO数据集上的罕见词描述准确率为0.602 8%，召回率为0.323 4%，F-1值为0.356 7%，相较于基准方法提升明显。      

文本信息辅助图像差异描述生成

图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容，从而将视觉信息转化为文本描述，便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述生成任务的延伸，其难点在于如何确定2张图像之间的视觉语义差别，并将视觉差异信息转换成对应的文本描述。基于此，提出了一种引入文本信息辅助训练的模型框架TA-IDC。采取多任务学习的方法，在传统的编码器-解码器结构上增加文本编码器，在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息，建模视觉和文本2个模态间的语义关联，以获得高质量的图像差别描述。实验证明，TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12%、2%和3%。      

基于深度神经网络的像素级别可见光图像配准

现有图像配准算法中,借助图像采集设备参数的方法存在硬件内参难以获得或精度不够的问题,采用匹配图像特征计算图像单应性的方法存在对场景深度信息利用不全的问题。针对这一现象,提出了结合可见光图像与其深度信息来生成更具有真实性的配准图像对数据,用以训练得到一个可以进行像素级别图像配准的深度神经网络PIR-Net。建立了一个大规模、多视角、超仿真的图像配准数据集:多视角配准(MVR)数据集,该数据集包含7 240对含有深度信息的待配准图像及其像素级别的坐标对准真值;基于编码器-解码器的深度神经网络结构,训练得到一个能以全分辨率形式对2幅输入图像之间的坐标变化矩阵进行重建的PIR-Net。通过实验验证了PIR-Net能够在未知相机内参的情况下实现不同视角的可见光图像配准,并比传统算法具有更高的配准精度。在MVR数据集上,PIR-Net的配准误差仅为通用的特征匹配对准算法(SIFT+RANSAC)的18%,同时减少了30%的时间消耗。      

基于噪声柯西分布的社交图像标签优化与标注

随着社交网络的快速发展，带有用户提供标签的社交网络图像呈现爆炸式增长。但是用户提供的标签是不准确的，存在很多不相关以及错误的标签。这势必会增加相关多媒体任务的困难。针对标签噪声无序性以及常用的高斯分布对标签噪声中大噪声过于敏感的问题，但是高斯分布对大噪声比较敏感。鉴于此，采用对各种噪声都具有鲁棒性的柯西分布拟合噪声，提出了一个基于噪声柯西分布的弱监督非负低秩深度学习（CDNL）模型，通过柯西分布建模标签噪声来获得理想标签，并利用深度神经网络模块学习视觉特征和理想标签之间的内在联系，来得到图像对应的正确标签，从而大幅提高社交网络图像的标签准确率。所提模型不仅可以修正错误标签、补充缺失标签，也可以对新图像进行标注。在2个公开的社交网络图像数据集上进行了验证，并且与一些最新的相关工作进行了对比，证实了所提模型的有效性。      

基于EfficientDet的无预训练SAR图像船舶检测器

针对多尺度、多场景的合成孔径雷达(SAR)图像船舶检测问题，提出了一种基于EfficientDet的无预训练目标检测器。现有的基于卷积神经网络的SAR图像船舶检测器并没有表现出其应有的出色性能。重要原因之一是依赖分类任务的预训练模型，没有有效的方法来解决SAR图像与自然场景图像之间存在的差异性；另一个重要原因是没有充分利用卷积神经网络各层的信息，特征融合能力不够强，难以处理包括海上和近海在内的多场景船舶检测，尤其是无法排除近海复杂背景的干扰。SED就这2个方面改进方法，在公开SAR船舶检测数据集上进行实验，检测精度指标平均准确率(AP)达到94.2%，与经典的深度学习检测器对比，超过最优的RetineNet模型1.3%，在模型大小、算力消耗和检测速度之间达到平衡，验证了所提模型在多场景条件下多尺度SAR图像船舶检测具有优异的性能。      

太阳活动区EUV图像的生成式模型耀斑分级与预报

近年来,不断发射的空基观测台持续传送回海量日面图像及日地间气象数据,为采用人工智能技术对太阳活动进行预报预警提供了数据基础。但是,极端天气爆发少,样本量较少;中等程度爆发稍多,样本量较多;常规无爆发天气常见,样本较为集中,样本不均衡状况严重影响机器学习方法在空间天气领域的广泛应用。本文面向多源多通道多尺度日面图像信息,构建了来自SOHO和SDO的1996-2015年日面活动区图像数据集;针对数据分布的不平衡,对太阳活动区图像作耀斑分级与预报。在对比分析元学习算法的基础上,设计了结合分类头设计和卷积核初始化的生成式模型;在使网络轻量化的基础上,能够将M和X级耀斑预报的检测率指标相较于普通的深度学习模型和无监督度量式模型分别提升10%和7%。     

基于多源图像弱监督学习的3D人体姿态估计

3D人体姿态估计是计算机视觉领域一大研究热点,针对深度图像缺乏深度标签,以及因姿态单一造成的模型泛化能力不高的问题,创新性地提出了基于多源图像弱监督学习的3D人体姿态估计方法。首先,利用多源图像融合训练的方法,提高模型的泛化能力;然后,提出弱监督学习方法解决标签不足的问题;最后,为了提高姿态估计的效果,改进了残差模块的设计。实验结果表明:改善的网络结构在训练时间下降约28%的情况下,准确率提高0.2%,并且所提方法不管是在深度图像还是彩色图像上,均达到了较好的估计结果。      

基于多任务辅助推理的近眼视线估计方法

眼动交互是头戴式虚拟现实(VR)/增强现实(AR)设备的关键操控方式, 如何进行高精度、高鲁棒性的非标定视线估计是当前VR/AR眼动交互的核心问题之一, 高效、鲁棒的非标定视线估计需要大量的眼图训练数据和高效的算法结构做支撑。在现有基于深度学习的近眼视线估计方法的基础上, 通过添加多任务辅助推理模块, 增加网络结构的多阶段输出, 进行多任务联合训练, 在不增加视线估计测试耗时的前提下, 有效提升视线估计精度。在模型训练时, 从视线估计网络结构的多个中间阶段引出多个眼部特征的辅助推理并行网络头, 包括眼动图像的语义分割、虹膜边界框及眼部轮廓信息, 为原始视线估计网络提供多阶段中继监控, 在不增加训练数据的基础上, 有效提升视线估计网络的测试精度。在国际公开数据集Acomo-14与OpenEDS2020上的验证实验表明, 与无辅助推理的网络相比, 所提方法精度分别得到了21.74%与18.91%的效果提升, 平均角度误差分别减少到1.38°与2.01°。      

基于调制卷积神经网络的空地数据链信道估计

针对复杂环境下空地数据链正交频分复用(OFDM)系统信道估计精度不足的问题,提出了一种基于调制卷积神经网络(MCNN)和双向长短时记忆网络(BiLSTM)结合的信道估计算法。利用最小二乘算法(LS)提取初始信道状态信息(CSI);利用MCNN网络提取初始CSI的深度特征,并对网络模型进行压缩;利用BiLSTM网络对最终CSI进行预测,实现信道估计。利用构建的空地信道模型生成信道系数数据集,实现神经网络模型的训练与测试。仿真结果表明:与传统算法和现有深度学习方法相比,所提出的信道估计算法具有更小的估计误差,高信噪比条件下的系统误码率(BER)性能提升接近一个数量级;由于引入了调制滤波器技术,随着神经网络层数增加,网络模型参数量大幅减少。