基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明：所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。     

基于记忆关联学习的小样本高光谱图像分类方法

高光谱图像（HSI）分类是遥感领域的基础应用之一。该任务旨在根据部分带类别标签的像素样本训练分类器,预测图像中剩余像素对应的类别标签。在实际应用中,由于人工标记样本成本过高,只能获得少量带标签的样本。针对少量样本无法准确描述数据分布从而导致训练过程过拟合的问题,提出一种基于记忆关联学习的小样本高光谱图像分类方法。考虑到无标签样本中包含大量与数据分布相关的信息,构建基于有标签样本记忆模块,并根据样本间的特征关联,利用不断更新的记忆模块学习无标签样本的潜在类别分布,构建无监督分类模型,并与传统的有监督分类模型进行联合学习。在多个高光谱图像分类数据集上的实验结果表明,所提方法能有效提升小样本高光谱图像分类的准确性。      

基于噪声柯西分布的社交图像标签优化与标注

随着社交网络的快速发展，带有用户提供标签的社交网络图像呈现爆炸式增长。但是用户提供的标签是不准确的，存在很多不相关以及错误的标签。这势必会增加相关多媒体任务的困难。针对标签噪声无序性以及常用的高斯分布对标签噪声中大噪声过于敏感的问题，但是高斯分布对大噪声比较敏感。鉴于此，采用对各种噪声都具有鲁棒性的柯西分布拟合噪声，提出了一个基于噪声柯西分布的弱监督非负低秩深度学习（CDNL）模型，通过柯西分布建模标签噪声来获得理想标签，并利用深度神经网络模块学习视觉特征和理想标签之间的内在联系，来得到图像对应的正确标签，从而大幅提高社交网络图像的标签准确率。所提模型不仅可以修正错误标签、补充缺失标签，也可以对新图像进行标注。在2个公开的社交网络图像数据集上进行了验证，并且与一些最新的相关工作进行了对比，证实了所提模型的有效性。      

基于无监督学习的多模态可变形配准

针对医学图像配准问题,传统方法提出通过解决优化问题进行配准,但计算成本高、运行时间长。深度学习方法提出使用网络学习配准参数,从而进行配准并在单模态图像上取得高效性能。但在多模态图像配准时,不同模态图像的强度分布未知且复杂,大多已有方法严重依赖标签数据,现有方法不能完全解决此问题。提出一种基于无监督学习的深度多模态可变形图像配准框架。该框架由基于损失映射量的特征学习和基于最大后验概率的变形场学习组成,借助空间转换函数和可微分的互信息损失函数实现无监督训练。在MRI T1、MRI T2以及CT的3D多模态图像配准任务上,将所提方法与现有先进的多模态配准方法进行比较。此外,还在最新的COVID-19的CT数据上展示了所提方法的配准性能。大量结果表明:所提方法与其他方法相比,在配准精度上具有竞争优势,并且大大减少了计算时间。      

基于多标签协同学习的跨域行人重识别

跨域是行人重识别的重要应用场景,但是源域与目标域行人图像在光照条件、拍摄视角、成像背景与风格等方面的表观特征差异性是导致行人重识别模型泛化能力下降的关键因素。针对该问题,提出了基于多标签协同学习的跨域行人重识别方法。利用语义解析模型构造了基于语义对齐的多标签数据表示,以引导构建更关注行人前景区域的局部特征,达到语义对齐的目的,减少背景对跨域重识别的影响。基于行人图像全局特征和语义对齐后的行人局部特征,利用协同学习平均模型生成行人重识别模型的多标签表示,减少跨域场景下噪声硬标签的干扰。利用协同学习网络框架联合多标签的语义对齐模型,提高行人重识别模型的识别能力。实验结果表明：在Market-1501→DukeMTMC-reID、DukeMTMC-reID→Market-1501、Market-1501→MSMT17、DukeMTMC-reID→MSMT17跨域行人重识别数据集上,与NRMT方法相比,平均精度均值分别提高了8.3%、8.9%、7.6%、7.9%,多标签协同学习方法具有显著的优越性。     

基于依存句法的图像描述文本生成

现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则，但文本多为简单句，在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时，可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息，用于计算图像区域间关系并得到图像区域关系特征；融合图像区域关系特征和图像区域特征，与文本词向量通过长短期记忆网络（LSTM），用于生成图像描述文本。在测试阶段，通过测试图像与训练图像集的内容关键词，计算2幅图像的内容重合度，间接提取与测试图像对应的依存句法模板；模型基于依存句法模板，生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力，表明模型中的依存句法信息增强了深度学习模型的可解释性。      

基于改进AdaBoost.M2算法的自动调制识别方法

针对同族调制类型通信信号识别难度大、深度学习模型普遍存在泛化能力弱的问题，基于经典AdaBoost.M2算法，提出改进样本权重的AdaBoost.M2算法，用于解决大样本情况下学习率与加权后样本数据难以相适应的问题。改进后的新样本权重确保训练样本数据的数量级在加权后不变，并使算法更迅速地关注到难分类样本，提高了弱分类器综合性能，降低了加权投票模型中弱分类器重要性之间的差异。针对部分样本的统计特性易淹没于噪声中造成难分类问题，提出随机特征裁剪方法，使算法避免过度关注异常特征，降低了极难分类样本对AdaBoost.M2算法性能的负面影响，提升了算法的泛化能力，并以低信噪比数据进行实验验证。针对调制类型同族信号难分类的问题，选取同族调制类型的通信信号开展模型训练和测试。实验结果表明：相比于单一卷积长短时记忆全连接深度网络（CLDNN）算法，改进AdaBoost.M2算法对低信噪比PSK族类和QAM族类通信信号的测试集准确率分别提高了8.5%和11.25%，相比于直接集成CLDNN的经典AdaBoost.M2算法，测试集准确率分别提高了8.25%和6.5%。     

基于迁移学习的暴恐图像自动识别

利用人工智能和深度学习技术自动化地分析互联网海量图片,快速、准确地识别有害的暴恐图像并及时处置是反恐工作的重要手段之一。研究了利用深度学习和迁移学习技术对暴恐图像进行分类识别。首先,定义了暴恐图像的主要概念特征,并针对性地构建数据集;其次,针对暴恐图像正样本较少的问题,设计深度神经网络模型和迁移学习方式;最后,基于构建的训练数据集进行模型训练和测试。结果显示:所提方法可以快速、准确地对互联网图片进行分类识别,平均分类准确率达到96.7%,从而有效降低人工检测的劳动强度,为反恐预警工作提供决策支持。      

太阳活动区EUV图像的生成式模型耀斑分级与预报

近年来,不断发射的空基观测台持续传送回海量日面图像及日地间气象数据,为采用人工智能技术对太阳活动进行预报预警提供了数据基础。但是,极端天气爆发少,样本量较少;中等程度爆发稍多,样本量较多;常规无爆发天气常见,样本较为集中,样本不均衡状况严重影响机器学习方法在空间天气领域的广泛应用。本文面向多源多通道多尺度日面图像信息,构建了来自SOHO和SDO的1996-2015年日面活动区图像数据集;针对数据分布的不平衡,对太阳活动区图像作耀斑分级与预报。在对比分析元学习算法的基础上,设计了结合分类头设计和卷积核初始化的生成式模型;在使网络轻量化的基础上,能够将M和X级耀斑预报的检测率指标相较于普通的深度学习模型和无监督度量式模型分别提升10%和7%。     

基于视频的三维人体姿态估计

已有的三维人体姿态估计方法侧重于通过单帧图像来估计人体的三维姿态,忽略了视频中前后帧之间的相关性,因此,通过挖掘视频在时间维度上的信息可以进一步提高三维人体姿态估计的准确率。基于此,设计了一种可以充分提取视频时序信息的卷积神经网络结构,在获得高精度的同时也具有消耗计算资源小的优点,仅仅使用二维关节点的坐标为输入即可恢复完整的三维人体姿态。然后提出了一种新的损失函数利用相邻帧间人体姿态的连续性,来改进视频序列中三维姿态估计的平滑性,同时也解决了因缺少帧间信息而导致准确率下降的问题。通过在公开数据集Human3.6M上进行测试,实验结果表明本文方法相比目前的基准三维姿态估计算法的平均测试误差降低了1.2 mm,对于视频序列的三维人体姿态估计有着较高的准确率。      

基于流的遥感图像超分辨率重建

为了提高遥感图像超分辨率重建的质量，提出了一种基于流的遥感图像重建算法。首先，在Glow模型的基础上引入改进后的RRDB架构用于低分辨率图像特征提取，通过构建更多层和连接以提升训练的稳定性。然后，以一种纯数据驱动的流模型来训练分布的参数，通过最大化负的对数似然的方法进行优化，得到该算法的损失函数。实验证明该模型在网络训练过程中能够快速达到稳定收敛的状态，且具有很强的泛化能力。用重建出的图像质量对比SRCNN、SRGAN、ESRGAN，经过测试后发现，提出的算法远远优于SRCNN算法，与其他算法相比也有明显优势。重建出的图像不仅在指标上有所提升，例如与SRCNN相比，PSRN和SSIM分别提升了15%和40%，且人眼观察时有更高的清晰度，高频细节更为丰富。     

基于DDPG的单目无人机避障算法

提出了一种基于单目相机的小型多旋翼无人机的连续避障策略。所提出的方法包括深度估计和导航决策两个模块。其中,在深度估计模块采用条件对抗网络对无人机采集得到的RGB图片进行训练预处理,在导航决策模块采用深度确定性策略梯度(DDPG)算法实现无人机的连续避障。在此基础上,对DDPG中的Actor网络进行改进,通过使用多模态网络代替原有策略网络,从而抑制无人机飞行震动,提高避障能力。最后,在Airsim仿真环境中进行测试,实验表明所提算法模型经过训练能够使无人机成功躲避障碍物并到达指定目标点,与原有算法相比避障轨迹得到明显改善。     

基于三维点云重建的助推器位姿估计

助推器分离是运载火箭发射过程中的关键动作之一,常用的激光雷达姿态测量技术在助推器分离阶段受外界干扰严重,难以准确获得位姿。基于视觉的助推器位姿变化测量技术具有优秀的抗干扰能力,通过搭建三维点云重建网络,以图像为输入,三维点云为输出,在构建的助推器分离过程的图像 点云数据上进行了训练和测试,对测试重建的助推器点云使用主成分分析的方法完成了位姿的估算。测试结果表明,所建立的三维点云重建网络可以根据仿真图像数据,精确测量助推器分离阶段的位姿变化,在R2score指标下,对三维坐标的预测分数均在0.98以上,姿态角平均误差约为21°,预测分数则均在0.80以上。     

基于多尺度梯度及深度神经网络的汉字识别

介绍了一种基于多尺度滑动窗的方法提取文字的梯度直方图特征,并结合深度神经网络对印刷体汉字进行识别.针对梯度直方图的空间关系,使用可伸缩的滑动窗对图像进行分割,在不同尺度上获取文字的特征信息,有效融合汉字的全局特征和局部分块特征.实验采用5层的深度神经网络模型对国标一级3755个印刷体汉字进行分类,并应用Dropout技术防止训练过拟合,提高神经网络的泛化能力.实验准确率达到98.292%,有较好的识别性能,验证了本文多尺度梯度特征及深度神经网络模型在文字识别上的有效性.      

基于多任务辅助推理的近眼视线估计方法

眼动交互是头戴式虚拟现实(VR)/增强现实(AR)设备的关键操控方式, 如何进行高精度、高鲁棒性的非标定视线估计是当前VR/AR眼动交互的核心问题之一, 高效、鲁棒的非标定视线估计需要大量的眼图训练数据和高效的算法结构做支撑。在现有基于深度学习的近眼视线估计方法的基础上, 通过添加多任务辅助推理模块, 增加网络结构的多阶段输出, 进行多任务联合训练, 在不增加视线估计测试耗时的前提下, 有效提升视线估计精度。在模型训练时, 从视线估计网络结构的多个中间阶段引出多个眼部特征的辅助推理并行网络头, 包括眼动图像的语义分割、虹膜边界框及眼部轮廓信息, 为原始视线估计网络提供多阶段中继监控, 在不增加训练数据的基础上, 有效提升视线估计网络的测试精度。在国际公开数据集Acomo-14与OpenEDS2020上的验证实验表明, 与无辅助推理的网络相比, 所提方法精度分别得到了21.74%与18.91%的效果提升, 平均角度误差分别减少到1.38°与2.01°。      

基于残缺图像样本的生成对抗网络图像修复方法

针对大面积图像修复缺失严重时，需要完整且高质量训练样本的问题，提出了一种将残缺或含噪图像样本作为训练集的双生成器深度卷积生成对抗网络（DGDCGAN）模型。构建两个生成器和一个鉴别器以解决单一生成器收敛慢的问题，用残缺图像样本作为训练集，通过交叉计算、搜索损失区域类似的图像信息作为训练生成模型的样本，收敛速度更快。鉴别器损失函数改进为输出的Wasserstein距离，使用自适应估计算法优化生成器损失函数和鉴别器损失函数的模型参数，最小化两两图像之间的总距离差，使用鉴别模型和修复图像总距离变化均方差最小化两个指标优化修复结果。在4个公开数据集上进行主客观实验，结果表明:所提方法能使用残缺图像样本作为训练集，有效实现大面积失真图像的修复，且收敛速度和修复效果优于现有图像修复方法。      

基于调制卷积神经网络的空地数据链信道估计

针对复杂环境下空地数据链正交频分复用(OFDM)系统信道估计精度不足的问题,提出了一种基于调制卷积神经网络(MCNN)和双向长短时记忆网络(BiLSTM)结合的信道估计算法。利用最小二乘算法(LS)提取初始信道状态信息(CSI);利用MCNN网络提取初始CSI的深度特征,并对网络模型进行压缩;利用BiLSTM网络对最终CSI进行预测,实现信道估计。利用构建的空地信道模型生成信道系数数据集,实现神经网络模型的训练与测试。仿真结果表明:与传统算法和现有深度学习方法相比,所提出的信道估计算法具有更小的估计误差,高信噪比条件下的系统误码率(BER)性能提升接近一个数量级;由于引入了调制滤波器技术,随着神经网络层数增加,网络模型参数量大幅减少。