基于DCNN和全连接CRF的舌图像分割算法

针对中医舌诊中舌体分割不准确、分割速度较慢且需要人工标定候选区域等问题,提出了一种端到端的舌图像分割算法。与传统舌图像分割算法相比,所提算法可以得到更为准确的分割结果,并且不需要人工操作。首先,使用孔卷积算法,可以在不增加参数的条件下扩大网络的特征图谱。其次,使用孔卷积空间金字塔池化（ASPP）模块,令网络通过不同的感受野学习舌图像的多尺度特征。最后,将深度卷积神经网络（DCNN）和全连接的条件随机场（CRF）相结合,细化分割后的舌体边缘。实验结果表明:所提算法优于传统舌图像分割算法和主流的深度卷积神经网络,具有较高的分割精度,平均交并比达到了95.41%。      

基于时空图卷积网络的无人机网络入侵检测方法

无人机网络相比地面网络具有节点快速移动、拓扑结构变换频繁和通信链路不可靠的特点,传统的针对地面网络的入侵检测方法难以适用。针对无人机网络的时空动态特性进行建模,提出了一种无人机网络的入侵检测方法——基于注意力机制的时空图卷积网络（ATGCN）。将图卷积网络和门控递归单元组合为时空图卷积网络,从复杂多变的数据中提取网络的时空演变特征,通过注意力机制提取和入侵检测最相关的特征,输入支持向量机进行分类预测。多个数据集的实验分析表明:所提方法能够适应无人机网络的动态性和不稳定性,相比传统检测方法准确率高且误报率低,具有良好的鲁棒性和适应性。      

基于深度学习的无人机视觉目标检测与跟踪

针对目标检测中小目标物体漏检率及误检率高等问题,提出了一种基于Yolov3-Tiny算法的改进模型。改进k-means聚类方法,增加3×3和1×1的卷积池化层,将第9层卷积输出上采样,并与第8层卷积得到的特征图进行连接,得到新的输出:52×52卷积层,形成新的特征金字塔。基于卡尔曼滤波算法实现目标跟踪,提出融合跟踪算法的检测网络,使用匈牙利匹配算法对检测边缘框与跟踪边缘框进行最优匹配,利用跟踪结果修正检测结果,提高了检测速度,同时提升了检测能力。在ROS、Gazebo和自动驾驶仪软件PX4的综合仿真环境下对所提算法进行了对比试验。试验结果表明:改进算法平均检测速度降低了15.6%,mAP提高了6.5%。融合跟踪算法后的网络平均检测速度提高了34.2%,mAP提高了8.6%。融合跟踪算法后的网络能够满足系统实时性和准确性的要求。      

嵌入注意力机制的多尺度深度可分离表情识别

针对面部表情识别中，传统机器学习方法特征提取较为复杂，浅层卷积神经网络识别率不高，以及深度卷积神经网络易带来梯度爆炸或弥散的问题，构建了残差网络嵌入注意力机制的多尺度深度可分离表情识别网络。通过多层多尺度深度可分离残差单元的叠加进行不同尺度的表情特征提取，使用CBAM注意力机制进行表情特征的筛选，提升有效表情特征权重的表达，削弱训练数据的噪声影响。所提网络模型在Fer-2103和CK+表情数据集分别取得了73.89%和97.47%的准确度，表明所提网络具有较强的泛化性。      

显著性引导的低光照人脸检测

针对卷积神经网络难以对低光照环境拍摄的图像进行人脸检测的问题。提出了一种将图像显著性检测算法和深度学习相结合的算法,并应用于低光照人脸检测。所提算法将图像的显著性信息与图像原始RGB通道融合,用于神经网络训练。在低光照人脸数据集DARK FACE上进行了充分的实验,结果表明:所提方法在DARK FACE数据集上获得了比当前主流人脸检测算法更好的检测精度,进而验证了所提算法的有效性。      

基于Transformer的深度条件视频压缩

近年来,基于深度学习的视频压缩技术主要基于卷积神经网络(CNN)且采用运动补偿-残差编码的架构,由于常见的CNN只能利用局部的相关性,以及预测残差本身的稀疏特性,难以取得最优压缩性能。因此,提出一种基于Transformer架构的条件视频压缩算法,以实现更优的压缩效果。所提算法基于前后帧之间的运动信息,利用可形变卷积得到对应的预测帧特征;将预测帧特征作为条件信息,对原始输入帧特征进行条件编码,避免了直接编码稀疏的残差信号;利用特征间的非局部相关性,提出一个基于Transformer的深度条件视频压缩编码算法,用来实现运动信息编码和条件编码,进一步提升压缩编码的性能。实验结果表明：所提算法在HEVC、UVG数据集上均超越了当前主流的基于深度学习的视频压缩算法。     

基于深度多模态特征融合的短视频分类

目前，短视频已经成为新媒体时代极具有代表性的产物之一，其天然的具有时短、强编辑等特点，使得传统视频分类模型不再适合于短视频分类任务。针对综合短视频分类问题的特点，提出了一种基于深度多模态特征融合的短视频分类算法。所提算法将视觉模态信息和音频模态信息输入到域分离网络中，将整个特征空间划分为所有模态共享的公有域部分及由音频模态和视觉模态分别独有的私有域部分，借助优化域分离网络，最大程度地保留了不同模态特征间的差异性和相似性。在公开的短视频分类数据集上进行实验，证明了所提算法可以有效减少特征融合时的冗余性，并将分类的平均精度提高到0.813。      

基于动态特征选择的遥感图像目标检测算法

在遥感图像目标检测领域内,旋转物体的检测存在挑战,卷积神经网络在提取信息时会受制于固定的空间结构,采样点无法聚焦于目标;遥感图像尺度变化大,不同物体需要具有不同尺度感受野的特征映射,具有单一尺度感受野的特征映射无法包含所有有效信息。基于此,提出了可变形对齐卷积,根据候选边框调节采样点,并根据特征映射学习采样点的细微偏移,使采样点聚焦于目标,从而实现动态特征选择;同时提出了基于可变形对齐卷积的感受野自适应模块,对具有不同尺度感受野的特征映射进行融合,自适应地调整神经元的感受野。在公开数据集上的大量实验验证了所提算法可以提高遥感图像目标检测的精度。      

融合卷积注意力和Transformer架构的行人重识别方法

行人重识别技术是智能安防系统中的重要方法之一,为构建一个适用各种复杂场景的行人重识别模型,基于现有的卷积神经网络和Transformer模型,提出一种融合卷积注意力和Transformer(FCAT)架构的方法,以增强Transformer对局部细节信息的关注。所提方法主要将卷积空间注意力和通道注意力嵌入Transformer架构中,分别加强对图像中重要区域的关注和对重要通道特征的关注,以进一步提高Transformer架构对局部细节特征的提取能力。在3个公开行人重识别数据集上的对比消融实验证明,所提方法在非遮挡数据集上取得了与现有方法相当的结果,在遮挡数据集上的性能得到显著提升。所提方法更加轻量化,在不增加额外计算量和模型参数的情况下,推理速度得到了提升。     

基于Transformer和动态3D卷积的多源遥感图像分类

多源遥感数据具有互补性和协同性,近年来,基于深度学习的方法已经在多源遥感图像分类中取得了一定进展,但当前方法仍面临关键难题,如多源遥感图像特征表达不一致,融合困难,基于静态推理范式的神经网络缺乏对不同类别地物的适应性。为解决上述问题,提出了基于跨模态Transformer和多尺度动态3D卷积的多源遥感图像分类模型。为提高多源特征表达的一致性,设计了基于Transformer的融合模块,借助其强大的注意力建模能力挖掘高光谱和LiDAR数据特征之间的相互作用;为提高特征提取方法对不同地物类别的适应性,设计了多尺度动态3D卷积模块,将输入特征的多尺度信息融入卷积核的调制,提高卷积操作对不同地物的适应性。采用多源遥感数据集Houston和Trento对所提方法进行验证,实验结果表明：所提方法在Houston和Trento数据集上总体准确率分别达到94.60%和98.21%,相比MGA-MFN等主流方法,总体准确率分别至少提升0.97%和0.25%,验证了所提方法可有效提升多源遥感图像分类的准确率。     

基于3D-Winograd的快速卷积算法设计及FPGA实现

近年来，卷积神经网络（CNN）已被计算机视觉任务广泛采用。由于FPGA的高性能、能效和可重新配置性，已被认为是最有前途的CNN硬件加速器，但是受FPGA计算能力、存储资源的限制，基于传统Winograd算法计算三维卷积的FPGA解决方案性能还有提升的空间。首先，研究了适用于三维运算的Winograd算法一维展开过程；然后，通过增加一次性输入特征图和卷积块的维度大小、低比特量化权重和输入数据等方法改善CNN在FPGA上的运行性能。优化思路包括使用移位代替部分除法的方法、分tile方案、二维到三维扩展及低比特量化等4个部分。相对传统的二维Winograd算法，优化算法每个卷积层的时钟周期数减少了7倍左右，相较传统滑窗卷积算法平均每个卷积层减少7倍左右。通过研究，证明了基于一维展开的3D-Winograd算法可以大大减少运算复杂度，并改善在FPGA运行CNN的性能。      

基于多尺度残差卷积网络的HEVC视频隐写分析

图片、语音、视频等多媒体形式的信息交流在网络通信中占有重要地位,同时也有很多非法信息的传播隐匿于此。隐写分析是甄别隐秘信息是否存在的有效手段,提出了一种通用的基于多尺度残差卷积网络的HEVC视频隐写分析算法。网络主体由残差计算、特征提取和二分类3部分构成,其中在特征提取部分针对性地提出了残差卷积层、多尺度残差卷积模块及隐写分析残差块。实验结果表明:所提算法基于视频像素域分析网络的检测率高达99.75%,比传统的手工提取特征方法具有更大的优势。      

基于深度卷积的残差三生网络研究与应用

针对图像多分类任务,提出基于深度卷积的残差三生网络,旨在通过残差学习和距离比较来训练神经网络得到有效的特征表示。首先,设计了一个21层的深度卷积神经网络作为三生网络的嵌入网络,其中该卷积网络共连接6个块（block）。利用残差学习的方式,每个block的输出层由卷积层的输出和该block的输入共同组成,降低网络学习难度,避免网络出现退化问题。然后,每个block中采用相同拓扑结构分路的卷积层,拓宽网络的宽度。最后,在全连接层拼接了来自前面卷积层和block的输出,加强特征信息的传递。训练前,针对正负样本采用交叉组合的采样方法来增加有效训练样本量;训练期间,用样本中心点更换原点样本作为输入,能平均降低0.5%错误率。在与其他三生网络的对比实验中,在MNIST、CIFAR10和SVHN数据库上达到最好的效果,在所有分类网络中,本文网络在MNIST上达到最好的效果,在CIFAR10和SVHN上表现优异。      

基于改进神经网络的空间机械臂阻抗控制方法

针对环境信息不确定和碰撞模型未知情况下的空间机械臂柔顺控制问题,提出了一种基于改进型神经网络的阻抗控制方法.以空间机械臂阻抗控制系统闭环方程为基础,分析了环境信息不确定和碰撞模型未知情况下不能实现精准力控制的原因.利用粒子群优化算法调整神经网络中的权值矩阵,以提高神经网络的收敛速度和寻优性能.基于改进后的神经网络设计阻...     

小样本下基于孪生神经网络的柱塞泵故障诊断

针对目前基于深度神经网络的柱塞泵故障诊断方法在小样本条件下精度低、模型欠拟合问题,提出一种小样本条件下基于孪生神经网络的柱塞泵故障诊断方法。搭建了柱塞泵故障实验台,采集柱塞泵在不同健康状态下的壳体振动信号;使用由卷积层和池化层组成孪生子网络自适应地从原始振动信号中提取低维特征,使用欧式距离判定输入样本对的特征相似度;通过相似度对比的方法扩大训练样本数量并训练孪生神经网络模型;最后,对测试样本进行健康状态识别。实验结果表明：与传统深度神经相比,所提方法在小样本情况下具有更高的准确率。同时,多通道数据融合实验表明：所提方法能够从不同通道的信号中学习到有关故障信息,多通道数据融合可以进一步提高诊断准确率。     

卷积神经网络求解有限元单元刚度矩阵

随着深度学习在众多领域的成功应用与快速发展，将深度学习与传统的结构分析相融合已经成为了新的研究方向。在求解有限元单元刚度矩阵的具体问题上，研究了卷积神经网络在结构分析上的应用。以四边形平面应力单元为例，基于卷积神经网络，提出了一个求解有限元总体刚度矩阵的神经网络模型；同时分析了网络的学习效果与网络卷积核数目、训练样本数目之间的关系。计算实例表明，在一定范围内，网络的学习能力随着卷积核数目、训练样本数目的增加而不断提升。在现实应用时，可以根据具体的精度要求而设定相应的卷积神经网络。卷积神经网络训练完成后，单元刚度矩阵的计算具有实时性，且精度满足工程要求。      

基于异步卷积分解与分流结构的单阶段检测器

目标检测网络SSD的多层回归特征图存在各层回归计算之间相对独立的问题,且基于SSD改进的系列算法在提高检测精度的同时难以兼顾实时性。针对上述问题,提出一种基于异步卷积分解与分流（shunt）结构的单阶段目标检测器。基于异步卷积分解算法设计了一种shunt结构,交错连接多层特征图,增强了回归计算之间的统一性与协调性。优化了原有高层主流结构,在主流结构与shunt结构中分别用最大池化和异步卷积分解2种不同的方式对特征图大小进行降维,保留空间相关信息的同时提高了特征的多样性。实验结果表明,将VOC2007trainval和VOC2012trainval中的图片统一缩小至300像素×300像素进行训练,提出的目标检测器在VOC2007test上进行检测时的平均精度均值可达到80.5%,检测速度超过30帧/s。      

基于CNN的多尺寸航拍图像定位方法的研究与实现

图像定位常用于无人机视觉导航,传统的无人机视觉导航广泛采用景象匹配导航方式,随着计算机技术的不断发展,深度学习技术为视觉导航的实现提供了新途径。以无人机的垂直侦查为背景,将飞行区域的航拍图像划分成大小相同的若干网格,每个网格代表一类区域,用网格图像制作数据集训练卷积神经网络（CNN）。基于AlexNet设计了一种融合显著性特征的全卷积网络模型,有效实现了一个基于CNN的多尺寸输入的滑动窗口分类器,并提出了一种邻域显著性参照定位策略来筛选分类结果,从而实现多尺寸航拍图像的定位。