双重模态文本引导的图像修复算法

为解决现有图像修复算法因缺乏足够的上下文信息导致修复大面积破损时效果差且修复结果不可控的缺陷，提出了双重模态文本引导的图像修复算法。引入文本标签作为修复的控制引导，确保修复结果的整体与区域一致，并增加修复的可控多样性。设计双重模态掩码注意力机制提取破损区域的语义信息；通过深度文本图像融合模块加深生成器中的文本图像融合过程，并应用图像文本匹配损失最大化生成图像与文本之间的语义相似度；采用投射鉴别器训练生成图像与真实图像增强修复图像的真实性。在2个带有文本标签的数据集上进行定量和定性实验，结果表明：生成的修复图像与引导文本描述一致，可根据不同的文字描述生成多样的结果。     

改进深度卷积生成式对抗网络的文本生成图像

针对深度卷积生成式对抗网络(DCGAN)模型高维文本输入表示的稀疏性导致以文本为条件生成的图像结构缺失和图像不真实的问题，提出了一种改进深度卷积生成式对抗网络模型CA-DCGAN。采用深度卷积网络和循环文本编码器对输入的文本进行编码，得到文本的特征向量表示。引入条件增强（CA）模型，通过文本特征向量的均值和协方差矩阵产生附加的条件变量，代替原来的高维文本特征向量。将条件变量与随机噪声结合作为生成器的输入，并在生成器的损失中额外加入KL损失正则化项，避免模型训练过拟合，使模型可以更好的收敛，在判别器中使用谱约束（SN）层，防止其梯度下降太快造成生成器与判别器不平衡训练而发生模式崩溃的问题。实验验证结果表明：所提模型在Oxford-102-flowers和CUB-200数据集上生成的图像质量较alignDRAW、GAN-CLS、GAN-INT-CLS、StackGAN(64×64)、StackGAN-v1(64×64)模型更好且接近于真实样本，初始得分值最低分别提高了10.9%和5.6%，最高分别提高了41.4%和37.5%,FID值最低分别降低了11.4%和8.4%，最高分别降低了43....     

面向鱼眼图像的人群密度估计

针对传统人群密度估计方法在鱼眼图像畸变下不适用的问题,提出了一个面向鱼眼图像的人群密度估计方法,实现了在鱼眼镜头场景下对人流量的监控。在模型结构方面,引入了可变形卷积,提高了模型对鱼眼畸变的适应能力。在生成目标数据方面,利用鱼眼图像的畸变特点,基于高斯变换,对人群标注转换的密度图进行符合鱼眼畸变的分布匹配。在训练方面,对损失函数的计算进行了优化,避免了模型在训练中陷入局部最优解的问题。由于鱼眼人群计数的数据集比较匮乏,采集并标注了相应的数据集。通过主客观实验与经典方法进行了对比,所提方法在测试集中的平均绝对误差达3.78,低于对比方法,证明了面向鱼眼图像的人群密度估计方法的优越性。     

多尺度特征和注意力融合的生成对抗壁画修复

针对现有深度学习图像修复算法修复壁画时，存在特征提取不足及细节重构丢失等问题，提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征金字塔网络提取壁画中不同尺度的特征信息，增强特征关联性；采用自注意力机制及特征融合模块构建多尺度特征生成器，以获取丰富的上下文信息，提升网络的修复能力；引入最小化对抗损失与均方误差促进判别器的残差反馈，从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁画数字化修复的实验结果表明，所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息，并且主观视觉效果及客观评价指标均优于比较算法。     

基于YOLOv8的卫星遥感图像快速目标检测方法

目标检测相关技术已经广泛应用于空间目标监视、卫星自动寻轨等领域,也是计算机视觉领域最重要和最具有挑战性的研究分支之一,逐渐成为国内外军事领域的应用热点.在现代空天对抗中,通过卫星遥感图像获取近地飞行器目标,借以快速判断敌方部队的有生力量,将使我方部队占据战略优势.针对卫星观测距离过远、遥感图像背景复杂等问题,研究基于一阶段轻量化网络YOLOv8的小样本目标检测算法.通过图像翻转、马赛克数据增强及mixup数据增强等图像增强手段提高了模型的泛化性能;通过多次调整优化函数、降低类别损失增益及降低掩模比等参数调整策略提高了模型的平均精度;通过使用参数预设及加载原优化函数导出的模型提高了模型的运算效率.提出的方法在公开的飞行器数据集进行了验证,验证指标包括查准率-查全率(precision-recall)、平均精度(mAP)和画面每秒传输帧数(FPS).结果表明本文提出的改进型网络模型能满足卫星遥感图像的快速目标检测需要.     

考虑样本不平衡的X光安检图像违禁品分类方法

X光安检图像违禁品分类被广泛应用于协助维护航空和运输安全。针对X光安检图像中违禁品尺度不一、存在困难样本及旅客行李安检固有的正负样本不均衡等问题，提出一种端到端的考虑样本不平衡的X光安检图像违禁品分类方法。采用多尺度特征提取网络捕获尺度不一的多类型违禁品特征，通过特征融合模块提升模型对图像边缘和纹理特征的表达能力，基于代价敏感思想设计损失函数，解决数据集不平衡问题，并提高困难样本分类精准度。在公开数据集SIXray上构建的子集实验结果表明：所提方法相较于端到端分类模型，平均AP指标值提升了4.5%，特别是对剪刀等难分类样本，AP指标值都有显著的提升效果。     

结构引导的图像修复

针对粗网络引入先验知识较少使得补全的内容存在明显视觉伪影问题,提出了基于边缘结构生成器的两段式图像修复方法。采用边缘结构生成器对输入的图像边缘和色彩平滑信息进行特征学习,生成缺失区域的结构内容,以引导精细网络重构高质量的语义图像。通过在公开的图像修复基准数据集Paris Street-View上进行实验测试,结果表明,所提模型可对掩膜占比达50%的图像进行补全。在客观的量化评价指标上,峰值信噪比、结构相似度系数、L₁和L₂均值误差等数值整体优于EC、GC、SF等方法,其中,掩膜占比为0%~20%时,峰值信噪比指数达到33.40 dB,优于其他方法2.37~6.57 dB,结构相似度系数提高了0.006~0.138。同时,补全的图像纹理更清晰,视觉质量更高。      

文本信息辅助图像差异描述生成

图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容,从而将视觉信息转化为文本描述,便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述生成任务的延伸,其难点在于如何确定2张图像之间的视觉语义差别,并将视觉差异信息转换成对应的文本描述。基于此,提出了一种引入文本信息辅助训练的模型框架TA-IDC。采取多任务学习的方法,在传统的编码器-解码器结构上增加文本编码器,在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息,建模视觉和文本2个模态间的语义关联,以获得高质量的图像差别描述。实验证明,TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12%、2%和3%。     

基于流的遥感图像超分辨率重建

为了提高遥感图像超分辨率重建的质量，提出了一种基于流的遥感图像重建算法。首先，在Glow模型的基础上引入改进后的RRDB架构用于低分辨率图像特征提取，通过构建更多层和连接以提升训练的稳定性。然后，以一种纯数据驱动的流模型来训练分布的参数，通过最大化负的对数似然的方法进行优化，得到该算法的损失函数。实验证明该模型在网络训练过程中能够快速达到稳定收敛的状态，且具有很强的泛化能力。用重建出的图像质量对比SRCNN、SRGAN、ESRGAN，经过测试后发现，提出的算法远远优于SRCNN算法，与其他算法相比也有明显优势。重建出的图像不仅在指标上有所提升，例如与SRCNN相比，PSRN和SSIM分别提升了15%和40%，且人眼观察时有更高的清晰度，高频细节更为丰富。     

基于依存句法的图像描述文本生成

现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则，但文本多为简单句，在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时，可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息，用于计算图像区域间关系并得到图像区域关系特征；融合图像区域关系特征和图像区域特征，与文本词向量通过长短期记忆网络（LSTM），用于生成图像描述文本。在测试阶段，通过测试图像与训练图像集的内容关键词，计算2幅图像的内容重合度，间接提取与测试图像对应的依存句法模板；模型基于依存句法模板，生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力，表明模型中的依存句法信息增强了深度学习模型的可解释性。      

基于混合网络的异源遥感图像变化检测

为了更加准确地进行异源遥感图像的变化检测任务,提出了一种基于混合网络的异源遥感图像变化检测算法。利用伪孪生网络提取异源遥感图像块间空间维度的变化特征,利用早期融合网络提取异源遥感图像块间光谱维度的变化特征,将2支网络提取的特征进行融合,并将融合后的变化特征输入到sigmoid层进行二分类检测。同时,在伪孪生网络中加入对比损失函数,通过优化对比损失函数,使得在特征空间中,未变化图像对的空间特征差异更小,变化图像对的空间特征差异更大,以提升网络的区分能力和收敛速度。      

基于MobileFaceNet网络改进的人脸识别方法

为了解决训练过程中卷积模型参数较多、收敛速度较慢的问题,提出了一种基于MobileFaceNet网络改进的人脸识别方法。首先,使用MobileFaceNet网络提取人脸特征,在提取特征的过程中,通过引入可分离卷积减少模型中卷积层参数的数量;其次,通过在MobileFaceNet网络中引入风格注意力机制来增强特征的表达,同时使用AdaCos人脸损失函数来训练模型,利用AdaCos损失函数中的自适应缩放系数,来动态地调整超参数,避免了人为设置超参数对模型的影响;最后,分别在LFW、AgeDB和CFP-FF测试数据集上对训练模型进行评估。实验结果显示:改进后的模型在LFW、AgeDB和CFP-FF测试数据集上的识别精度分别提升了0.25%、0.16%和0.3%,表明改进后的模型相较于改进前的模型在精度和鲁棒性上有所提高。      

基于生成对抗网络的空间卫星低照度图像增强

针对空间低照度成像条件下卫星光学图像信息受损严重的问题,提出了一种基于生成对抗网络的空间卫星低照度图像增强方法,提高了图像的平均亮度及对比度,恢复图像细节信息,为图像识别等图像处理技术提供更高质量的数据信息.首先,设计了一种密集连接的生成器,加强了各特征提取阶段中的信息传递以及多层特征的融合,减少了特征信息的损耗,更好...     

融合句嵌入的VAACGAN多对多语音转换

针对非平行文本条件下语音转换质量不理想、说话人个性相似度不高的问题，提出一种融合句嵌入的变分自编码辅助分类器生成对抗网络（VAACGAN）语音转换方法，在非平行文本条件下，有效实现了高质量的多对多语音转换。辅助分类器生成对抗网络的鉴别器中包含辅助解码器网络，能够在预测频谱特征真假的同时输出训练数据所属的说话人类别，使得生成对抗网络的训练更为稳定且加快其收敛速度。通过训练文本编码器获得句嵌入，将其作为一种语义内容约束融合到模型中，利用句嵌入包含的语义信息增强隐变量表征语音内容的能力，解决隐变量存在的过度正则化效应的问题，有效改善语音合成质量。实验结果表明:所提方法的转换语音平均MCD值较基准模型降低6.67%，平均MOS值提升8.33%，平均ABX值提升11.56%，证明该方法在语音音质和说话人个性相似度方面均有显著提升，实现了高质量的语音转换。      

基于星图匹配的小视场空间图像畸变校正

小视场星载相机受发射振动和空间环境等影响,会使所拍摄的空间图像产生畸变,并且畸变模型和参数也时有变化.针对小视场空间图像所含恒星点相当稀少的特点,提出一种基于Hausdorff距离多帧星图匹配的空间图像畸变校正方法,利用恒星点作为控制点实现畸变参数的计算.针对卫星姿态漂移所造成的相机光轴指向系统误差对校正的影响,给出一种自适应补偿方法.仿真实验结果表明,该方法计算量小、精度高,能够有效抑制图像噪声和输入误差的影响.      

基于GAN网络的红外图像生成技术

当将人工智能技术应用于军事领域中的目标识别任务时,针对由红外图片采集的局限性而造成的训练数据不足的问题,提出了基于生成对抗网络以生成红外图像的方法,实现了数据集的扩充。对基本的生成对抗网络进行了改进,将网络的输入由随机噪声变为真实图片,使之实现了图片到图片的风格转换,即彩色图片转变为红外图片。经过网络模型的搭建和训练,实验结果表明,该方法能够有效生成清晰和高质量的红外图片,解决了由红外数据不足而造成的网络训练不充分的问题。     

标准图压缩法

以迭代函数系统为基础的分形图象压缩方法是一种新的有效的图象数据编码途径，在分析分形图象压缩方法优缺点的基础上，提出了一种基于仿射变换的标准图压缩法，此法的恢复图象质量与压缩恢复速度均明显优于分形图象压缩法。