基于残差SDE-Net的深度神经网络不确定性估计

神经随机微分方程模型(SDE-Net)可以从动力学系统的角度来量化深度神经网络(DNNs)的认知不确定性。但SDE-Net面临2个问题，一是在处理大规模数据集时，随着网络层次的增加会导致性能退化；二是SDE-Net在处理具有噪声或高丢失率的分布内数据所引起的偶然不确定性问题时性能较差。为此设计了一种残差SDE-Net(ResSDE-Net)，该模型采用了改进的残差网络(ResNets)中的残差块，并应用于SDE-Net以获得一致稳定性和更高的性能；针对具有噪声或高丢失率的分布内数据，引入具有平移等变性的卷积条件神经过程(ConvCNPs)进行数据修复，从而提高ResSDE-Net处理此类数据的性能。实验结果表明：ResSDE-Net在处理分布内和分布外的数据时获得了一致稳定的性能，并在丢失了70%像素的MNIST、CIFAR10及实拍的SVHN数据集上，仍然分别获得89.89%、65.22%和93.02%的平均准确率。     

小样本下基于孪生神经网络的柱塞泵故障诊断

针对目前基于深度神经网络的柱塞泵故障诊断方法在小样本条件下精度低、模型欠拟合问题,提出一种小样本条件下基于孪生神经网络的柱塞泵故障诊断方法。搭建了柱塞泵故障实验台,采集柱塞泵在不同健康状态下的壳体振动信号;使用由卷积层和池化层组成孪生子网络自适应地从原始振动信号中提取低维特征,使用欧式距离判定输入样本对的特征相似度;通过相似度对比的方法扩大训练样本数量并训练孪生神经网络模型;最后,对测试样本进行健康状态识别。实验结果表明：与传统深度神经相比,所提方法在小样本情况下具有更高的准确率。同时,多通道数据融合实验表明：所提方法能够从不同通道的信号中学习到有关故障信息,多通道数据融合可以进一步提高诊断准确率。     

基于迁移学习的卷积神经网络SAR图像目标识别

针对卷积神经网络中因网络参数随机初始化和参数过多导致的收敛速度慢及过拟合的问题,提出了一种基于迁移学习监督式预训练的卷积神经网络。首先,引入迁移学习的思想,采用小规模数据集作为源域的训练样本,针对源域中源任务进行监督式训练得到预训练模型;然后,构建一个多层的卷积神经网络作为目标域中目标任务的待训练网络,将源域中获得的预训练模型作为该网络的初始参数,大规模数据作为目标域的训练样本进行网络的微调,通过这种基于特征选择的迁移学习,实现源域到目标域的特征信息迁移;针对卷积神经网络中全连接层参数过多的问题,采用卷积层替代全连接层。试验使用美国国防高等研究计划署的移动与静止目标搜索识别（Moving and Stationary Target Acquisition and Recognition,MSTAR）数据集中三类目标数据作为源域样本,十类目标数据作为目标域样本,结果表明该算法的十类目标识别精度达到了99.13%,且具有更快的误差收敛速度。     

基于深度残差收缩网络的滚动轴承故障诊断

滚动轴承的准确故障诊断是确保机械设备安全可靠运行的必要手段。针对多故障、长时间序列的滚动轴承振动信号,提出了一种基于深度残差收缩网络(DRSN)模型的故障诊断方法。首先,根据采集到的滚动轴承数据构造故障样本,针对多种故障类型下的长时间序列的振动信号,按照一定尺寸将长时间序列矩阵化,构成多故障类型的灰度图故障样本。从正常到故障的滚动轴承性能退化过程,通过多个采样点的随机采样,构造全寿命周期的故障样本用于故障诊断。其次,在多层深度学习模型基础上,将残差收缩网络模块加入到卷积神经网络(CNN)中构建深度残差收缩网络模型用于故障诊断,其中通过将残差项加入到网络中训练解决了多层网络模型的模型退化问题,利用软阈值化实现了样本降噪。最后,为了验证所提方法的有效性,采集了滚动轴承的多故障时间序列样本和全寿命周期故障样本用于故障诊断。实例验证的结果表明:所提深度残差收缩网络模型在处理含噪声样本时仍具有良好的鲁棒性,多层网络模型下没有明显的网络退化,能够保持较高的故障诊断正确率。在处理2种轴承故障数据集时,与其他模型相比,所提方法训练误差更低,平均故障诊断正确率提高1%~6%。      

嵌入注意力机制的多尺度深度可分离表情识别

针对面部表情识别中，传统机器学习方法特征提取较为复杂，浅层卷积神经网络识别率不高，以及深度卷积神经网络易带来梯度爆炸或弥散的问题，构建了残差网络嵌入注意力机制的多尺度深度可分离表情识别网络。通过多层多尺度深度可分离残差单元的叠加进行不同尺度的表情特征提取，使用CBAM注意力机制进行表情特征的筛选，提升有效表情特征权重的表达，削弱训练数据的噪声影响。所提网络模型在Fer-2103和CK+表情数据集分别取得了73.89%和97.47%的准确度，表明所提网络具有较强的泛化性。      

基于改进AdaBoost.M2算法的自动调制识别方法

针对同族调制类型通信信号识别难度大、深度学习模型普遍存在泛化能力弱的问题，基于经典AdaBoost.M2算法，提出改进样本权重的AdaBoost.M2算法，用于解决大样本情况下学习率与加权后样本数据难以相适应的问题。改进后的新样本权重确保训练样本数据的数量级在加权后不变，并使算法更迅速地关注到难分类样本，提高了弱分类器综合性能，降低了加权投票模型中弱分类器重要性之间的差异。针对部分样本的统计特性易淹没于噪声中造成难分类问题，提出随机特征裁剪方法，使算法避免过度关注异常特征，降低了极难分类样本对AdaBoost.M2算法性能的负面影响，提升了算法的泛化能力，并以低信噪比数据进行实验验证。针对调制类型同族信号难分类的问题，选取同族调制类型的通信信号开展模型训练和测试。实验结果表明：相比于单一卷积长短时记忆全连接深度网络（CLDNN）算法，改进AdaBoost.M2算法对低信噪比PSK族类和QAM族类通信信号的测试集准确率分别提高了8.5%和11.25%，相比于直接集成CLDNN的经典AdaBoost.M2算法，测试集准确率分别提高了8.25%和6.5%。     

抵御对抗样本攻击的指纹室内定位方法

随着城市智能化的发展, 基于WiFi接收信号强度(RSS)的指纹室内定位服务受到社会的广泛关注。深度学习技术是利用RSS信号获得高室内定位性能的一种重要手段, 但其易遭受对抗样本攻击, 给定位系统带来严重安全隐患。为此, 提出了一种抵御对抗样本攻击的基于深度学习的RSS指纹室内定位方法(AdvILoc)。该方法基于图像识别领域对抗样本防御方法的研究和分析, 结合室内RSS指纹数据特征单一且高维的特点, 通过在RSS指纹室内定位深度学习模型中添加池化层、全连接层, 以及满足差分隐私的噪声层来抵御对抗样本攻击, 解决了基于深度学习的室内定位模型易过拟合且泛化能力不高的问题。通过添加Dropout层, 以及设计模型参数正则化方法, 提高模型抵御对抗样本攻击的鲁棒性。在2个真实RSS指纹室内定位数据集上的实验结果表明:与已有基于多层感知机(MLP)、卷积神经网络(CNN)的RSS指纹室内定位方法相比, 所提方法在保证时间开销和基本不影响定位模型性能的情况下, 提高了模型抵御对抗样本攻击的鲁棒性;在满足l₂范式规范的C&W攻击下, 随着攻击大小不断增大, 模型的定位准确率下降也更平稳。      

一种新的基于信号导频的射频指纹识别方法

现有基于深度学习的射频指纹识别技术大多采用原始数据样本作为网络输入，未考虑信号携带内容对分类结果产生的影响，网络结构相对单一。为此，针将信号导频部分作为网络输入展开了研究，提出了一种新的导频提取算法，对10个ADALM-PLUTO软件定义无线电设备(SDR)辐射出的信号提取其导频，并建立了3种不同距离条件下的导频数据集。提出将Inception网络结构用于射频指纹识别，在10 m无线传输距离下达到了98.58%的分类精度，相较于现有基于AlexNet网络改进的卷积神经网络(CNN)，分类精度有所提升。      

基于CNN的多尺寸航拍图像定位方法的研究与实现

图像定位常用于无人机视觉导航,传统的无人机视觉导航广泛采用景象匹配导航方式,随着计算机技术的不断发展,深度学习技术为视觉导航的实现提供了新途径。以无人机的垂直侦查为背景,将飞行区域的航拍图像划分成大小相同的若干网格,每个网格代表一类区域,用网格图像制作数据集训练卷积神经网络（CNN）。基于AlexNet设计了一种融合显著性特征的全卷积网络模型,有效实现了一个基于CNN的多尺寸输入的滑动窗口分类器,并提出了一种邻域显著性参照定位策略来筛选分类结果,从而实现多尺寸航拍图像的定位。      

卷积神经网络求解有限元单元刚度矩阵

随着深度学习在众多领域的成功应用与快速发展，将深度学习与传统的结构分析相融合已经成为了新的研究方向。在求解有限元单元刚度矩阵的具体问题上，研究了卷积神经网络在结构分析上的应用。以四边形平面应力单元为例，基于卷积神经网络，提出了一个求解有限元总体刚度矩阵的神经网络模型；同时分析了网络的学习效果与网络卷积核数目、训练样本数目之间的关系。计算实例表明，在一定范围内，网络的学习能力随着卷积核数目、训练样本数目的增加而不断提升。在现实应用时，可以根据具体的精度要求而设定相应的卷积神经网络。卷积神经网络训练完成后，单元刚度矩阵的计算具有实时性，且精度满足工程要求。      

基于DCNN和全连接CRF的舌图像分割算法

针对中医舌诊中舌体分割不准确、分割速度较慢且需要人工标定候选区域等问题,提出了一种端到端的舌图像分割算法。与传统舌图像分割算法相比,所提算法可以得到更为准确的分割结果,并且不需要人工操作。首先,使用孔卷积算法,可以在不增加参数的条件下扩大网络的特征图谱。其次,使用孔卷积空间金字塔池化（ASPP）模块,令网络通过不同的感受野学习舌图像的多尺度特征。最后,将深度卷积神经网络（DCNN）和全连接的条件随机场（CRF）相结合,细化分割后的舌体边缘。实验结果表明:所提算法优于传统舌图像分割算法和主流的深度卷积神经网络,具有较高的分割精度,平均交并比达到了95.41%。      

基于深度学习的航天器组合体惯性参数在轨智能辨识

针对在轨服务过程形成新组合体的动力学参数未知的问题,借助深度学习在多参数寻优上的优势,提出了一种基于卷积神经网络的智能参数辨识算法,实现在外力作用下,线动量和角动量不守恒条件下的航天器组合体多参数辨识。利用卷积神经网络权值共享的特点,设计4层卷积神经网络,通过短时间内对大量特定存储形式的状态数据的训练,实现航天器组合体多参数快速高精度辨识。利用数学仿真试验对算法的可行性进行验证,结果表明：在24s内,质量与质心位置收敛;1190s内,惯量参数收敛,辨识精度在3%以内。说明所提方法在外界随机干扰力和力矩影响下能准确快速辨识出航天器组合体质量、质心位置和惯量矩阵。     

基于多尺度残差卷积网络的HEVC视频隐写分析

图片、语音、视频等多媒体形式的信息交流在网络通信中占有重要地位,同时也有很多非法信息的传播隐匿于此。隐写分析是甄别隐秘信息是否存在的有效手段,提出了一种通用的基于多尺度残差卷积网络的HEVC视频隐写分析算法。网络主体由残差计算、特征提取和二分类3部分构成,其中在特征提取部分针对性地提出了残差卷积层、多尺度残差卷积模块及隐写分析残差块。实验结果表明:所提算法基于视频像素域分析网络的检测率高达99.75%,比传统的手工提取特征方法具有更大的优势。      

基于FPGA的红外目标识别神经网络加速器设计

在红外目标识别领域,基于卷积神经网络的深度学习算法的识别精度已远远超过了传统模式识别算法,但神经网络的实现需要庞大的计算和存储,难以在无人机等嵌入式平台上进行部署。针对此问题,将通道级量化策略和梯度的近似优化训练引入到了低比特神经网络模型的建立中,并提出了一种可充分利用硬件计算资源的FPGA加速器,其整体平均性能为65.6GOPS。与其他相关工作的对比表明,低比特量化方法及其FPGA加速器实现,可以为嵌入式红外目标识别系统提供一种能效高、识别精度高的解决方案。     

使用深度神经网络检测Cassini ISS图像中圆盘状星体轮廓

Cassini空间探测器光学成像系统（ISS）拍摄的图像中,很多卫星呈现为面元,其轮廓检测是天体测量的重要工作.使用神经网络方法进行ISS图像中面元轮廓检测.每个ISS图像的像素分为轮廓边缘和非轮廓两类.使用神经网络框架TensorFlow,输入每个像素的9个特征,输出每个像素的分类.利用约3.6万个像素训练该网络,通过380幅ISS图像进行测试.与人工标记结果相比,轮廓像素检测的平均精确率为78.26%,平均召回率为73.32%.以检出轮廓像素作为输入,通过椭圆拟合得到面元的轮廓,所得轮廓与面元真实轮廓吻合良好.研究结果表明该方案能够有效检测出面元轮廓,进而给出假图像星的排除范围.      

基于3D-Winograd的快速卷积算法设计及FPGA实现

近年来,卷积神经网络（CNN）已被计算机视觉任务广泛采用。由于FPGA的高性能、能效和可重新配置性,已被认为是最有前途的CNN硬件加速器,但是受FPGA计算能力、存储资源的限制,基于传统Winograd算法计算三维卷积的FPGA解决方案性能还有提升的空间。首先,研究了适用于三维运算的Winograd算法一维展开过程;然后,通过增加一次性输入特征图和卷积块的维度大小、低比特量化权重和输入数据等方法改善CNN在FPGA上的运行性能。优化思路包括使用移位代替部分除法的方法、分tile方案、二维到三维扩展及低比特量化等4个部分。相对传统的二维Winograd算法,优化算法每个卷积层的时钟周期数减少了7倍左右,相较传统滑窗卷积算法平均每个卷积层减少7倍左右。通过研究,证明了基于一维展开的3D-Winograd算法可以大大减少运算复杂度,并改善在FPGA运行CNN的性能。