遥感图像语义分割的空间增强注意力U型网络

针对基于深度学习的语义分割模型在解析遥感图像时，小尺寸目标和目标边界存在分割不准确的问题，提出一种U型网络模型SGE-Unet。该模型通过优化网络结构加强模型的特征提取能力；融合空间组增强注意力，提升模型对上下文语义信息的解析能力；采用中值频率平衡交叉熵损失函数抑制类别分布不均衡的影响。在2个数据集上进行实验，SGE-Unet的整体准确率、平均交并比、■分数和Kappa系数均高于主流模型，Vaihingen数据集中小尺寸目标车的交并比和F₁分数分别为0.719和0.901，比次优模型提升了16%和11%，实验结果表明所提模型能更精准地分割小尺寸目标及目标边界。     

基于水下机器人的海产品智能检测与自主抓取系统

针对水下机器人实现自主抓取过程中缺乏引导系统的问题,提出了一种依托水下机器人的海产品智能检测与自主抓取系统,用来解决水下目标的智能检测问题,并引导水下机器人进行海产品的自主抓取。将卷积神经网络检测算法应用到水下场景,利用水下图像数据集训练特定的网络模型DSOD检测海产品。建立短基线定位系统定位水下作业的机器人。通过分析相机成像坐标系与定位系统坐标系之间的关系,提出了一种计算海产品实际位置的坐标转换方法,计算海产品的实际位置。设计了一种基于反馈机制的多信号分析方法,引导机器人在水下移动并抓捕海产品。为了验证所提系统的有效性,搭建了一款水下抓捕机器人,并成功将所提算法应用到机器人,在真实海洋环境中进行海产品的自主抓取实验。      

基于深度学习的视觉检测及抓取方法

针对现有机器人抓取系统对硬件设备要求高、难以适应不同物体及抓取过程产生较大有害扭矩等问题，提出一种基于深度学习的视觉检测及抓取方法。采用通道注意力机制对YOLO-V3进行改进，增强网络对图像特征提取的能力，提升复杂环境中目标检测的效果，平均识别率较改进前增加0.32%。针对目前姿态估计角度存在离散性的问题，提出一种基于视觉几何组-16(VGG-16)主干网络嵌入最小面积外接矩形(MABR)算法，进行抓取位姿估计和角度优化。改进后的抓取角度与目标实际角度平均误差小于2.47°，大大降低两指机械手在抓取过程中对物体所额外施加的有害扭矩。利用UR5机械臂、气动两指机械手、Realsense D435相机及ATI-Mini45六维力传感器等设备搭建了一套视觉抓取系统，实验表明：所提方法可以有效地对不同物体进行抓取分类操作、对硬件的要求较低、并且将有害扭矩降低约75%，从而减小对物体的损害，具有很好的应用前景。     

遥感图像飞机目标高效搜检深度学习优化算法

为了实现大幅面遥感图像中飞机目标的高效检测与准确定位,通过深度神经网络（DNN）的级联组合,提出了一种新颖的搜寻与检测相集成的飞机目标高效检测算法。首先,运用高性能的端到端DNN网络,进行停机坪与跑道区域的像素级高效精准分割,从而大幅度缩小飞机目标的搜索范围,以降低虚警发生概率,完成飞机目标候选检测区域的快速搜寻。然后,针对分割所得停机坪与跑道区域,借助手工数据集对YOLO网络模型进行迁移式强化训练,一方面可以弥补训练集在样本类型与数据规模上的不足,另一方面借助YOLO网络的强时效性优势对飞机目标的位置进行回归求解,可以显著提高飞机目标的检测效率。停机坪与跑道区域分割DNN网络在分割精度与时效性上具有显著优势,而迁移式强化训练YOLO网络不仅具有很高的检测效率,在检测精度上也能保持良好的性能。通过一系列综合实验与对比分析,验证了提出的搜寻与检测相集成的DNN级联组合式飞机目标高效检测算法的性能优势。      

基于立体图像的多路径特征金字塔网络3D目标检测

3D目标检测是计算机视觉和自动驾驶中一项重要的场景理解任务。当前基于立体图像的3D目标检测方法大多没有充分考虑多个目标之间的尺度存在较大差异,从而尺度小的物体容易被忽略,导致检测精度低。针对这一问题,提出了一种基于立体图像的多路径特征金字塔网络(MpFPN)3D目标检测方法。MpFPN对特征金字塔网络进行了扩展,增加了自底向上的路径、由上至下的路径及输入特征图到输出特征图之间的连接,为联合区域提议网络提供了更高语义信息和更细粒度空间信息的多尺度特征信息。实验结果表明:在3D目标检测KITTI数据集上,无论在场景简单、中等、复杂情况下,所提方法获得的结果都优于比较方法的结果。      

基于动态语义记忆网络的长尾图像描述生成

图像描述生成任务旨在基于输入图像生成对应的自然语言描述。现有任务数据集中大部分图像的描述语句通常包含少量常见词和大量罕见词，呈现出长尾分布。已有研究专注于提升模型在整个数据集上的描述语句准确性，忽视了对大量罕见词的准确描述，限制了在实际场景中的应用。针对这一问题，提出了基于动态语义记忆网络(DSMN)的长尾图像描述生成模型，旨在保证模型对常见名词准确描述的同时，提升模型对罕见名词的描述效果。DSMN模型能够动态挖掘罕见词与常见词的全局语义关系，实现从常见词到罕见词的语义知识迁移，通过协同考虑全局单词语义关系信息及当前输入图像和已生成单词的局部语义信息提升罕见词的语义特征表示能力和预测性能。为了有效评价长尾图像描述生成方法，基于MS COCO Captioning数据集定义了长尾图像描述生成任务专用测试集Few-COCO。在MS COCO Captioning和Few-COCO数据集上的多个量化实验表明，DSMN模型在Few-COCO数据集上的罕见词描述准确率为0.602 8%，召回率为0.323 4%，F-1值为0.356 7%，相较于基准方法提升明显。      

基于YOLOv5的红外目标检测算法

针对红外图像的特点,提出了一种YOLOv5-IF算法,使用了基于残差机制的特征提取网络,实现了不同特征层之间信息的高效交互,能够得到更丰富的目标语义信息。通过改进YOLOv5的检测方案,增加更大尺度的检测头,有效提升了红外图像中小目标的检测概率。针对计算平台资源有限、算法实时性等问题,设计了Detection Block模块,并由此构建了特征整合网络,该模块不仅能提升算法检测精度,还有效缩减了模型参数量。在FLIR红外自动驾驶数据集上,本文算法的平均准确率（mAP）为74%,参数量仅19.5MB,优于现有的算法。     

一种迭代聚合的高分辨率网络Anchor-free目标检测方法

针对目前Anchor-free目标检测方法CenterNet（ObjectsasPoints）生成热力图不准确、检测精度不足的问题,提出了一种基于特征迭代聚合的高分辨率表征网络CenterNet-DHRNet。首先,引入高分辨率表征骨干网络,并用迭代聚合的方式对不同分辨率的特征图进行融合,提高网络的分辨率,有效减少图像在下采样过程中损失的空间语义信息。其次,使用高效通道注意力机制对高分辨率表征骨干网络的输出进行优化。最后,利用结合空洞卷积的空间金字塔池化操作增强网络对不同尺度物体的感受野。实验在PASCALVOC数据集和KITTI数据集上进行,结果表明:CenterNet-DHRNet精度更高,满足实时检测的性能要求,具有良好的鲁棒性。      

基于倒置残差注意力的无人机航拍图像小目标检测

针对无人机航拍图像背景复杂、小尺寸目标较多等问题,提出了一种基于倒置残差注意力的无人机航拍图像小目标检测算法。在主干网络部分嵌入倒置残差模块与倒置残差注意力模块,利用低维向高维的特征信息映射,获得丰富的小目标空间信息和深层语义信息,提升小目标的检测精度;在特征融合部分设计多尺度特征融合模块,融合浅层空间信息和深层语义信息,并生成4个不同感受野的检测头,提升模型对小尺寸目标的识别能力,减少小目标的漏检;设计马赛克混合数据增强方法,建立数据之间的线性关系,增加图像背景复杂度,提升算法的鲁棒性。在VisDrone数据集上的实验结果表明：所提模型的平均精度均值比DSHNet模型提升了1.2%,有效改善了无人机航拍图像小目标漏检、误检的问题。     

基于U-Net的海洋锋智能检测模型

海洋锋作为海洋中两种不同性质的水体之间的边界,对渔业和海洋环境保护等许多领域有重要影响,如何快速准确实现海洋锋的自动检测和识别对于海洋监测和预报具有重要的科学意义。将深度学习图像分割网络与提取锋面特征的方法相结合,利用基于U-Net架构的实例分割模型,分别建立海洋锋区和锋面中心线的智能检测模型,同时在编解码过程中采用残差学习单元对模型特征提取网络进行改进。研究结果表明,锋面智能检测模型能够准确提取先前锋面检测算法所识别的锋区和锋面中心线特征,Dice系数分别达到了0.92和0.97,达到了很好的检测效果。同时,利用不同锋面阈值得到的样本数据对模型进行训练,比较结果表明,降低样本集阈值之后模型精度有了显著的提升。     

基于卫星遥感的岛礁影像多类目标智能化提取

卫星遥感影像具有背景复杂、目标尺度不一、观测方向各异、纹理不清晰等特点,主流的深度学习目标检测算法不能直接适用于卫星遥感影像的目标检测。改进了RetinaNet,使其适用于卫星遥感影像。首先设计了一种新的特征融合方式,融合ResNet50输出的特征图,使得融合后的特征图同时具有高层语义信息和低层纹理细节信息。为了减弱遥感影像复杂背景对目标特征的影响,设计了特征感知模块,在减弱噪声对特征图影响的同时增强有用特征。挑选DOTA数据集中船只、飞机和存储罐图像进行训练和测试。改进的算法与RetinaNet相比,飞机、船只和存储罐的平均精度分别提高了41%、25%、24%。基于高分二号卫星（GF 2）真实影像数据的试验结果表明,提出的算法能够用于卫星遥感岛礁影像的多类目标智能化提取。     

用于遥感图像变化检测的全尺度特征聚合网络

变化检测(CD)是遥感的一项重要任务,通常面临许多伪变化和较大的尺度变化。目前的方法主要侧重于对差异特征的建模,忽略了从原始图像中提取足够的信息,影响了特征的识别能力,难以稳定地区分出变化区域。针对以上问题,提出了一种全尺度特征聚合网络(FFANet)来更充分地利用原始图像特征,促使生成的特征表示在语义上更丰富、在空间上更准确,从而提高了网络对小目标和目标边缘的检测性能。同时,拓展了深监督来结合多尺度的预测图,以促使不同对象在更合适的尺度上进行检测,从而提升了网络对对象尺度变化的鲁棒性。在CDD数据集上,相比于基线网络,所提方法仅增加了1.01×10⁶的参数量,就将F₁分数提升了0.034。     

融合邻域色差的PSPNet对遥感影像的分割

传统的遥感影像语义分割利用影像的光谱特性,将具有相似值的像素进行归类,但无法区分具有不同光谱的同一类对象.针对这一问题,提出将邻域的色差信息和原始图像一起输入PSPNet网络中的方法.先将RGB变换到LAB空间,然后采用CIELAB公式计算出每一个像素与周围8个邻域像素的色差值,取平均值作为该像素的邻域色差值.在WHU...     

基于视频帧间运动估计的无人机图像车辆检测

基于人工智能(AI)芯片搭建轻量化深度神经网络,可以在无人机(UAV)机载端实现视频中车辆目标的自动检测,具有重要的应用前景。为此,提出了一种针对无人机图像车辆目标的检测方法,并在AI芯片上进行部署与测试。方法具体包括:结合无人机图像中车辆目标的尺寸范围,对MobileNet-SSD网络进行裁剪,构建轻量化单帧图像检测器;为解决小目标特性在轻量网络框架下引发的检测性能下降问题,引入帧间运动矢量估计,根据相邻帧信息辅助预测当前帧丢失目标的位置范围,并利用检测结果进行修正,实现丢失目标的再召回。通过对多个数据集进行融合与自动补充标注,搭建了一个高质量的无人机图像车辆目标数据集;同时将方法在基于RK3399芯片计算的嵌入式开发平台上进行实验验证,结果表明:搭建的网络能够显著减少存储资源占用,具有轻量化的特点;同时相比于单帧检测法,引入视频帧间运动估计方法可以有效提高检测精度,并在AI芯片上实现125.3 ms/帧的检测速度。      

面向鱼眼图像的人群密度估计

针对传统人群密度估计方法在鱼眼图像畸变下不适用的问题,提出了一个面向鱼眼图像的人群密度估计方法,实现了在鱼眼镜头场景下对人流量的监控。在模型结构方面,引入了可变形卷积,提高了模型对鱼眼畸变的适应能力。在生成目标数据方面,利用鱼眼图像的畸变特点,基于高斯变换,对人群标注转换的密度图进行符合鱼眼畸变的分布匹配。在训练方面,对损失函数的计算进行了优化,避免了模型在训练中陷入局部最优解的问题。由于鱼眼人群计数的数据集比较匮乏,采集并标注了相应的数据集。通过主客观实验与经典方法进行了对比,所提方法在测试集中的平均绝对误差达3.78,低于对比方法,证明了面向鱼眼图像的人群密度估计方法的优越性。