基于记忆关联学习的小样本高光谱图像分类方法

高光谱图像（HSI）分类是遥感领域的基础应用之一。该任务旨在根据部分带类别标签的像素样本训练分类器,预测图像中剩余像素对应的类别标签。在实际应用中,由于人工标记样本成本过高,只能获得少量带标签的样本。针对少量样本无法准确描述数据分布从而导致训练过程过拟合的问题,提出一种基于记忆关联学习的小样本高光谱图像分类方法。考虑到无标签样本中包含大量与数据分布相关的信息,构建基于有标签样本记忆模块,并根据样本间的特征关联,利用不断更新的记忆模块学习无标签样本的潜在类别分布,构建无监督分类模型,并与传统的有监督分类模型进行联合学习。在多个高光谱图像分类数据集上的实验结果表明,所提方法能有效提升小样本高光谱图像分类的准确性。      

基于生成对抗网络的零样本图像分类

在图像分类任务中,零样本图像分类问题已成为一个研究热点。为了解决零样本图像分类问题,采用一种基于生成对抗网络（GAN）的方法,通过生成未知类的图像特征使得零样本分类任务转换为传统的图像分类任务。同时对生成对抗网络中的判别网络做出改进,使其判别过程更加准确,从而进一步提高生成图像特征的质量。实验结果表明:所提方法在AWA、CUB和SUN数据集上的分类准确率分别提高了0.4%、0.4%和0.5%。因此,所提方法通过改进生成对抗网络,能够生成质量更好的图像特征,从而有效解决零样本图像分类问题。      

大规模物联网恶意样本分析与分类方法

物联网（IoT）恶意样本发展迅猛，在网络中大量攻击各类物联网设备，但由于开源问题导致其家族特征并不明显，需要一种更细粒度的样本分类方法，以解决高级威胁样本发现和攻击组织追踪等问题。针对该问题，对2019年5月至2020年5月捕获到的157 911个物联网恶意样本进行了大规模分析，并标注了一套包含9个家族分支共计12 278个样本的数据集。提出了物联网恶意样本的分类方法，通过静态逆向分析提取FCG图和文本等复杂结构特征，利用图表示学习和文本表示学习的特征，在标注的数据集上取得了平均召回率88.1%的分类效果。所提方法在实际工作应用中效果优异。      

基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明：所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。     

基于改进AdaBoost.M2算法的自动调制识别方法

针对同族调制类型通信信号识别难度大、深度学习模型普遍存在泛化能力弱的问题，基于经典AdaBoost.M2算法，提出改进样本权重的AdaBoost.M2算法，用于解决大样本情况下学习率与加权后样本数据难以相适应的问题。改进后的新样本权重确保训练样本数据的数量级在加权后不变，并使算法更迅速地关注到难分类样本，提高了弱分类器综合性能，降低了加权投票模型中弱分类器重要性之间的差异。针对部分样本的统计特性易淹没于噪声中造成难分类问题，提出随机特征裁剪方法，使算法避免过度关注异常特征，降低了极难分类样本对AdaBoost.M2算法性能的负面影响，提升了算法的泛化能力，并以低信噪比数据进行实验验证。针对调制类型同族信号难分类的问题，选取同族调制类型的通信信号开展模型训练和测试。实验结果表明：相比于单一卷积长短时记忆全连接深度网络（CLDNN）算法，改进AdaBoost.M2算法对低信噪比PSK族类和QAM族类通信信号的测试集准确率分别提高了8.5%和11.25%，相比于直接集成CLDNN的经典AdaBoost.M2算法，测试集准确率分别提高了8.25%和6.5%。     

太阳活动区EUV图像的生成式模型耀斑分级与预报

近年来,不断发射的空基观测台持续传送回海量日面图像及日地间气象数据,为采用人工智能技术对太阳活动进行预报预警提供了数据基础。但是,极端天气爆发少,样本量较少;中等程度爆发稍多,样本量较多;常规无爆发天气常见,样本较为集中,样本不均衡状况严重影响机器学习方法在空间天气领域的广泛应用。本文面向多源多通道多尺度日面图像信息,构建了来自SOHO和SDO的1996-2015年日面活动区图像数据集;针对数据分布的不平衡,对太阳活动区图像作耀斑分级与预报。在对比分析元学习算法的基础上,设计了结合分类头设计和卷积核初始化的生成式模型;在使网络轻量化的基础上,能够将M和X级耀斑预报的检测率指标相较于普通的深度学习模型和无监督度量式模型分别提升10%和7%。     

一种鲁棒性增强的机载网络流量分类方法

针对机载网络高度动态、高度不稳定造成流量监测设备难以在有限的监测周期内完成完整数据流负载特征的提取，限制了基于深度学习的流量分类方法的应用问题，提出了一种鲁棒性增强的机载网络流量分类方法。通过数据预处理及缺失样本处理方法将数据流映射为灰度矢量集合，基于完整的数据流训练数据集实现鲁棒性增强的长时递归卷积神经网络（RE-LRCN）分类模型的训练，在线上分类阶段，通过分类模型实现样本缺失数据流负载空间特征及数据流时序特征的提取，并进行数据流分类。通过在数据包缺失的流量测试数据集上的实验结果表明，所提方法可以有效抑制数据包缺失对分类准确性能的恶化。      

基于EfficientDet的无预训练SAR图像船舶检测器

针对多尺度、多场景的合成孔径雷达(SAR)图像船舶检测问题,提出了一种基于EfficientDet的无预训练目标检测器。现有的基于卷积神经网络的SAR图像船舶检测器并没有表现出其应有的出色性能。重要原因之一是依赖分类任务的预训练模型,没有有效的方法来解决SAR图像与自然场景图像之间存在的差异性;另一个重要原因是没有充分利用卷积神经网络各层的信息,特征融合能力不够强,难以处理包括海上和近海在内的多场景船舶检测,尤其是无法排除近海复杂背景的干扰。SED就这2个方面改进方法,在公开SAR船舶检测数据集上进行实验,检测精度指标平均准确率(AP)达到94.2%,与经典的深度学习检测器对比,超过最优的RetineNet模型1.3%,在模型大小、算力消耗和检测速度之间达到平衡,验证了所提模型在多场景条件下多尺度SAR图像船舶检测具有优异的性能。      

融合深度特征的输电线路金具缺陷因果分类方法

针对输电线路金具缺陷样本不足和缺陷目标形态多样化，仅仅利用深度学习模型导致金具缺陷分类准确率较低的问题，提出了一种结合深度网络和逻辑回归模型的因果分类方法。首先，通过样本扩充方法获得数量丰富化和角度多样化的数据集；然后，基于微调后的VGG16模型提取深度特征并进行特征处理，以构建符合因果关系学习的输入特征集；最后，通过全局混杂平衡进行金具缺陷特征与标签之间的因果关系学习，构建符合金具特点的因果逻辑回归模型，完成金具缺陷分类。为了证明所提方法的有效性，利用无人机实际采集的4类金具缺陷图片分别进行了实验，所使用的训练样本和测试样本数量较原始数据集提升了5倍左右。实验结果表明:所提方法可以实现对输电线路金具缺陷的精准分类，其中，防震锤相交和变形分类准确率分别达到了0.929 9和0.911 8，屏蔽环锈蚀和均压环损坏分类准确率分别达到了0.956 7和0.966 9。      

基于残缺图像样本的生成对抗网络图像修复方法

针对大面积图像修复缺失严重时，需要完整且高质量训练样本的问题，提出了一种将残缺或含噪图像样本作为训练集的双生成器深度卷积生成对抗网络（DGDCGAN）模型。构建两个生成器和一个鉴别器以解决单一生成器收敛慢的问题，用残缺图像样本作为训练集，通过交叉计算、搜索损失区域类似的图像信息作为训练生成模型的样本，收敛速度更快。鉴别器损失函数改进为输出的Wasserstein距离，使用自适应估计算法优化生成器损失函数和鉴别器损失函数的模型参数，最小化两两图像之间的总距离差，使用鉴别模型和修复图像总距离变化均方差最小化两个指标优化修复结果。在4个公开数据集上进行主客观实验，结果表明:所提方法能使用残缺图像样本作为训练集，有效实现大面积失真图像的修复，且收敛速度和修复效果优于现有图像修复方法。      

基于改进SSD的无人机航拍目标检测

针对无人机航拍图像尺度变化大、识别难度大和目标普遍较小的问题,提出一种基于改进单阶段多框检测器(single shot multibox detector, SSD)的无人机航拍目标检测算法——RCBnet.该算法为了提升网络的特征提取能力,将SSD算法的特征提取网络修改为Resnet-50并采用特征融合的方式,将特征图进行融合,用融合后的特征图构建特征金字塔;为了增强算法对物体的检测能力,设计一种联合注意力机制的多尺度卷积结构来有效调节感受野,实现不同尺寸卷积核对特征图的并行运算;针对训练过程中正负样本极具不平衡的问题,该算法采用Focal Loss损失函数训练网络模型,使其侧重于困难样本.通过与其他经典算法相比可知,所提算法在无人机航拍图像中具有更高的检测精度、更好的检测性能和鲁棒性,相比SSD,精度提高达3.46%.     

核空间聚类在图像纹理分类中的简化算法

模糊c均值聚类已广泛应用于模糊模式识别领域,但对于线性不可分数据并不适用.在核方法中通过将输入数据经过非线性映射投影到高维特征空间来解决非线性分类的问题.将传统的模糊c均值聚类算法应用于核空间中,对线性不可分的样本进行了核空间聚类的分类实验,得到了正确的分类结果.由于图像分类中分类样本(对应图像像素)数目庞大,造成了核空间聚类算法中特征距离的计算量过大.因此,在核空间聚类的基础上,提出了对图像先进行过分割,再对过分割的图像块进行核空间聚类的方法,大大降低了高维空间特征距离计算的运算成本,并取得了良好的分类效果.      

基于对抗和迁移学习的灾害天气卫星云图分类

针对卫星云图中的灾害天气数据存在严重不平衡问题,提出一个结合生成对抗学习（GAN）和迁移学习（TL）的卷积神经网络（CNN）框架以解决上述问题进而提高基于卫星云图的灾害天气分类精度。该框架主要包含基于GAN的数据均衡化模块和基于迁移学习的CNN分类模块。上述2个模块分别从数据和算法层面解决数据的类间不平衡问题,分别得到一个相对均衡的数据集和一个可在不同类别数据上提取相对均衡特征的分类模型,最终实现对卫星云图的分类,提高其中灾害天气的卫星云图类别分类准确率。与此同时所提方法在自建的大规模卫星云图数据上进行了测试,消融性和综合实验结果证明了所提数据均衡方法和迁移学习方法是有效的,且所提框架模型对各个灾害天气类别的分类精度都有显著提升。      

基于规范割的空间金字塔图像分类算法

对大型图像数据库进行图像分类是很困难的,空间金字塔算法针对这种问题提出,并能得到很好的分类精度,但有几点不足.针对这些不足,提出基于规范割的空间金字塔算法:使用规范割算法对特征词进行更准确的聚类;对每类训练图像计算子特征库,利用二次聚类生成总特征库,在特征字典中保留更多的稀疏类型图像特征词;用高斯模型量化未知特征生成特征直方图,并对直方图进行尺度重整,提高类间距.实验证明提出算法比原方法分类精度最多能提高4.6%.     

基于动态语义记忆网络的长尾图像描述生成

图像描述生成任务旨在基于输入图像生成对应的自然语言描述。现有任务数据集中大部分图像的描述语句通常包含少量常见词和大量罕见词，呈现出长尾分布。已有研究专注于提升模型在整个数据集上的描述语句准确性，忽视了对大量罕见词的准确描述，限制了在实际场景中的应用。针对这一问题，提出了基于动态语义记忆网络(DSMN)的长尾图像描述生成模型，旨在保证模型对常见名词准确描述的同时，提升模型对罕见名词的描述效果。DSMN模型能够动态挖掘罕见词与常见词的全局语义关系，实现从常见词到罕见词的语义知识迁移，通过协同考虑全局单词语义关系信息及当前输入图像和已生成单词的局部语义信息提升罕见词的语义特征表示能力和预测性能。为了有效评价长尾图像描述生成方法，基于MS COCO Captioning数据集定义了长尾图像描述生成任务专用测试集Few-COCO。在MS COCO Captioning和Few-COCO数据集上的多个量化实验表明，DSMN模型在Few-COCO数据集上的罕见词描述准确率为0.602 8%，召回率为0.323 4%，F-1值为0.356 7%，相较于基准方法提升明显。      

基于多模态联合语义感知的零样本目标检测

零样本目标检测借助语义嵌入作为引导信息,将未见过的物体的视觉特征与类别语义嵌入映射到同一空间,根据其在映射空间的距离进行分类,但由于语义信息获取的单一性,视觉信息缺乏可靠表示,易混淆背景信息和未见过对象信息,使得视觉和语义之间很难无差别对齐。基于此,借助视觉上下文模块捕捉视觉特征的上下文信息,并通过语义优化模块对文本上下文和视觉上下文信息进行交互融合,增加视觉表达的多样化,使模型感知到前景的辨别性语义,从而有效地实现零样本目标检测。在MS-COCO的2个划分数据集上进行实验,在零样本目标检测和广义零样本目标检测的准确率和召回率上取得了提升,结果证明了所提方法的有效性。     

基于三元组网络的单图三维模型检索

随着媒体数据的多样化发展,联合图像与三维模型的跨域检索成为三维模型检索问题的一个新挑战。针对图像与三维模型差异大、难匹配问题,提出了一种基于三元组网络的跨域数据检索方法。以端到端的方式构建真实图像与三维模型的特征联合嵌入空间,通过特征间的距离度量不同模态数据之间的相似性,实现从单张图像检索相似的三维模型。为了提高跨域检索准确度,将三维模型用一组顺序视图表示,结合门控循环单元（GRU）聚合视图级特征,同时引入注意力机制提取图像特征,缩小真实图像与投影视图间的语义差异。实验结果表明:相比于同类方法,所提方法在两个跨域数据集上的检索平均准确率至少提升2.98%~3.05%。      

嵌入注意力机制的多尺度深度可分离表情识别

针对面部表情识别中，传统机器学习方法特征提取较为复杂，浅层卷积神经网络识别率不高，以及深度卷积神经网络易带来梯度爆炸或弥散的问题，构建了残差网络嵌入注意力机制的多尺度深度可分离表情识别网络。通过多层多尺度深度可分离残差单元的叠加进行不同尺度的表情特征提取，使用CBAM注意力机制进行表情特征的筛选，提升有效表情特征权重的表达，削弱训练数据的噪声影响。所提网络模型在Fer-2103和CK+表情数据集分别取得了73.89%和97.47%的准确度，表明所提网络具有较强的泛化性。      

一种复杂场景下的人眼检测算法

针对复杂场景下的人眼检测问题,间接方法和直接方法具有一定的局限性。提出了一种不依赖人脸检测的直接型人眼检测算法,以解决复杂场景下多尺度尤其是小尺度人眼检测问题。算法通过减少下采样因子并加入扩张残差单元以提升小尺度人眼检测能力,且对多尺度特征相互拼接以保证多尺度人眼检测的精度。同时,算法借助于压缩特征输出通道降低了模型复杂度,使人眼检测效率得以提升。实验结果表明:所提模型可以在小尺度下有效地进行左右眼区分,并在红外数据上表现良好。经在DIF数据集上进行训练与测试,所提模型在较小尺度下人眼检测精度达到82.59%,检测效率达到30.5 fps。      

基于注意机制的轻量化稠密连接网络单幅图像去雨

图像中附着的雨条纹对背景造成的破坏严重影响了对图像信息的分析和后续研究。为了恢复被雨条纹破坏的背景纹理特征,提出一种基于注意机制的轻量化稠密连接网络针对单幅图像进行去雨。注意机制有利于网络准确定位降雨区域,稠密连接网络的使用增强了特征的复用,缓解了梯度消失和模型退化问题。利用多尺度通道混洗深度可分离卷积实现网络轻量化设计,降低了网络参数规模,提升了网络运行效率。在合成数据集和真实数据集上的去雨结果表明,所提算法在定量指标和定性分析上都优于现有算法。