基于多级语义对齐的图像-文本匹配算法

图像中的区域特征更关注于图像中的前景信息,背景信息往往被忽略,如何有效的联合局部特征和全局特征还没有得到充分地研究。为解决上述问题,加强全局概念和局部概念之间的关联得到更准确的视觉特征,提出一种基于多级语义对齐的图像-文本匹配算法。提取局部图像特征,得到图像中的细粒度信息;提取全局图像特征,将环境信息引入到网络的学习中,从而得到不同的视觉关系层次,为联合的视觉特征提供更多的信息;将全局-局部图像特征进行联合,将联合后的视觉特征和文本特征进行全局-局部对齐得到更加精准的相似度表示。通过大量的实验和分析表明：所提算法在2个公共数据集上具有有效性。     

视觉SLAM方法综述

实时定位与建图(SLAM)技术搭载特定传感器,使移动机器人在无任何环境先验条件下,在运动过程中自主建立环境模型来计算自身位姿,大幅提高其自主导航能力,以及对不同应用环境的适应性。视觉SLAM方法以相机作为外部传感器,通过采集周围环境信息来创建地图并实时估计机器人自身位姿。为此,介绍了具有代表性的经典视觉SLAM方法及与深度学习相结合的视觉SLAM方法,分析了视觉SLAM方法中采用的不同特征检测方法、后端优化、闭环检测,以及动态环境下视觉SLAM方法的应用,总结了视觉SLAM方法的问题,并探讨了视觉SLAM方法在未来的热点研究方向和发展前景。     

一种基于自动特征学习的陨石坑区域检测算法

基于陨石坑的视觉导航技术成为一种新颖的高精度空间探测自主导航方式，如何从导航图像中精确地提取陨石坑区域是实现基于陨石坑视觉导航的首要条件。针对这一问题，根据陨石坑导航图像特点，提出了一种基于自动特征学习的陨石坑区域检测算法。首先，基于最大稳定极值区域检测算法提取陨石坑候选区域；其次，利用卷积神经网络（CNN）自动学习提取候选区域的特征；最后，通过支持向量机（SVM）实现候选区域的精确分类，得到真实的陨石坑区域。大量的仿真实验表明:与传统的基于人工特征的陨石坑区域检测算法相比，提出的基于自动特征学习的陨石坑区域检测算法具有更高的检测精度和更好的鲁棒性，在通用火星表面陨石坑数据集上，所提算法的F₁度量指标较于传统算法高出8%，可以广泛地应用于基于陨石坑的视觉导航算法中的陨石坑区域提取，为基于陨石坑视觉导航算法提供精确的导航路标输入。      

空间目标快速轮廓特征提取与跟踪技术

为满足空间目标交会对接任务中高精度、快速的测量要求,提出了一种空间目标快速轮廓特征提取与跟踪技术。该算法首先从初始帧图像中分割定位目标所在局部区域,作为目标连续跟踪的初始值;其次基于初始帧目标局部区域完成对初始帧目标边缘特征的检测及细化处理;最后采用Hough变换完成对初始帧目标边缘的检测及细化后的局部图像轮廓直线的提取,分别选取目标轮廓四方向最优的直线参数作为最终目标轮廓直线获取的效果,并采用梯度最大法则实现两两求交获取的轮廓特征的优化提取。在目标逼近过程中,结合相邻帧图像间目标尺度动态变化的关联性,根据初始帧提取目标轮廓特征的先验信息,确定目标在第二帧图像中的轮廓位置,并依次根据上一帧图像的轮廓位置信息定位目标在当前帧所在的区域,通过局部处理实现序列图像轮廓区域特征的连续跟踪。该算法无需遍历整个图像,所需处理的目标区域大幅减小,能够有效克服由目标图像较多边缘干扰导致的轮廓提取效果差及处理速度慢的缺点,具有速度快、准确性强、稳定性高等优点。     

一种结合深度学习的运动去模糊视觉SLAM方法

针对高动态环境下视觉同步定位与地图构建（Simultaneous Localization And Mapping,SLAM）系统的可靠性受运动模糊的限制,研究了一种基于生成对抗网络(Generative Adversarial Network,GAN)和AKAZE特征点的运动去模糊视觉SLAM方案。首先对因相机快速运动而产生的模糊图像进行AKAZE特征点的提取与检测,并根据特征点分布的丰富程度计算图像块权重,结合灰度图像的方差信息建立特征点与模糊程度之间的量化关系表;之后将达到模糊分数阈值的图像同步输入至改进GAN网络模型,该网络以端对端的形式恢复中心模糊帧的纹理信息,最后将输出的清晰图像重新进行位姿估计参与ORB-SLAM2后端优化过程。在公开数据集TUM上进行测试,对于受模糊影响较严重的数据集,方案可以明显降低相机轨迹估计的整体误差,同时维持较好的鲁棒性。     

基于改进型YOLO算法的遥感图像舰船检测

目标检测算法在PASCAL VOC等数据集中取得了非常好的检测效果，但是在大尺度遥感图像中舰船目标的检测准确率却很低。因此，针对可见光遥感图像的特点，在YOLOv3-Tiny算法的基础上增加了特征映射模块，为预测层提供丰富的语义信息，同时在特征提取网络中引用残差网络，提高了检测准确率，从而有效提取舰船特征。实验结果表明:优化后的M-YOLO算法检测准确率为94.12%。相比于SSD和YOLOv3算法，M-YOLO算法的检测准确率分别提高了11.11%和9.44%。      

一种时空特征聚合的水下珊瑚礁鱼检测方法

水下监控视频中的珊瑚礁鱼检测面临着视频成像质量不高、水下环境复杂、珊瑚礁鱼视觉多样性高等困难，是一个极具挑战的视觉目标检测问题，如何提取高辨识度的特征成为制约检测精度提升的关键。提出了一种时空特征聚合的水下珊瑚礁鱼检测方法，通过设计视觉特征聚合和时序特征聚合2个模块，融合多个维度的特征以实现这一目标。前者设计了自顶向下的切分和自底向上的归并方案，可实现不同分辨率多层卷积特征图的有效聚合；后者给出了一种帧差引导的相邻帧特征图融合方案，可通过融合多帧特征图强化运动目标及其周边区域的特征表示。公开数据集上的实验表明:基于以上2个模块设计的时空特征聚合网络可以实现对水下珊瑚礁鱼的有效检测，相比于多个主流方法和模型取得了更高的检测精度。      

复杂背景下机场道面细带状结构病害检测算法

机场道面裂缝、角隅断裂、接缝破碎、修补等病害宽度狭小、长短不一、图像中像素占比少,呈细带状结构,且与复杂背景对比度低,现有检测算法效果不佳。针对以上问题,提出了一种基于注意力机制与特征融合的深度神经网络模型DetMSPNet。首先,利用注意力机制模块CBAM,使得特征学习更加专注于细带状结构病害区域,抑制干扰信息;其次,构建残差空洞金字塔模块,提取不同尺度空间下的特征信息;然后,设计最大池化支路,便于之后浅、深层不同层次特征进行融合,加强模型对于病害的定位能力,并且将深层特征输入3种不同扩张率的扩张卷积和金字塔池化模块,使得病害特征包含更多全局上下文信息;最后,对所有层输出的病害特征信息进行融合,实现不同尺度、不同层次特征的信息互补。与目前3种经典的目标检测算法在机场道面病害图像数据集APD上做了对比实验,结果表明:所提算法的mAP达到78.51%,优于对比算法。所提DetMSPNet模型,提高了算法对机场道面细带状结构病害检测中宽度狭小、长短不一、图像中像素占比少、与复杂背景对比度低等情况的适应能力。      

基于类脑模型与深度神经网络的目标检测与跟踪技术研究

目标检测与跟踪技术广泛应用于交通、医疗、安保和航天等领域.目前，目标检测与跟踪技术面临目标微弱、背景复杂、目标被遮挡等挑战.同时，随着脑科学研究的不断深入，人们对人脑视觉系统的理解逐渐透彻，利用类脑计算解决复杂背景下高精度目标检测与跟踪问题成为相关领域的重要研究方向.本文结合神经工程导向的类脑模型和计算机工程导向的深度神经网络(Deep Neural Networks, DNNs)，提出多种基于类脑模型与深度神经网络的目标检测与跟踪算法，包括：基于演算侧抑制的目标检测算法，基于结构 对比度(Structure Contrast, SC)视觉注意模型的弱小目标检测算法和基于记忆机制与分层卷积特征的目标跟踪算法.实验结果表明，将类脑模型和深度神经网络应用于目标检测和跟踪领域，有利于实现复杂条件下的高精度目标检测和鲁棒性目标跟踪.     

基于YOLOv5的红外目标检测算法

针对红外图像的特点,提出了一种YOLOv5-IF算法,使用了基于残差机制的特征提取网络,实现了不同特征层之间信息的高效交互,能够得到更丰富的目标语义信息。通过改进YOLOv5的检测方案,增加更大尺度的检测头,有效提升了红外图像中小目标的检测概率。针对计算平台资源有限、算法实时性等问题,设计了Detection Block模块,并由此构建了特征整合网络,该模块不仅能提升算法检测精度,还有效缩减了模型参数量。在FLIR红外自动驾驶数据集上,本文算法的平均准确率（mAP）为74%,参数量仅19.5MB,优于现有的算法。     

深度学习在视觉SLAM中应用综述

视觉SLAM一直是近年来火热的研究方向,其处理对象为视觉图像;深度学习在图像处理中展现出的愈加突出的优势,使二者的广泛结合成为了可能.总结了传统SLAM与基于深度学习的SLAM的特点、性质,重点介绍和总结了深度学习在视觉里程计、回环检测中的研究成果,展望了基于深度学习的视觉SLAM的研究发展方向.     

一种图像缩放算法的SoC协同加速设计方法

针对无人机自主着陆的跑道检测、识别、跟踪等视觉算法中需要对大量图像进行缩放处理以便后续计算,但又对实时性要求比较高的情况,根据输入输出像素点的映射关系提出了一种适用于硬件加速的图像缩放算法,简化算法结构的同时利用现场可编程门阵列进行模块硬件功能的设计对算法加速,并采用软硬件协同的体系结构搭建实时图像处理系统。实验结果表明,该缩放算法处理精度高、耗时少,且用硬件逻辑实现后,可以进一步提速171倍,硬化后的系统可以通过摄像头获取图像数据,实时处理后在显示器中显示,达到30帧/s的处理速度,可以应用于实时性要求较高的图像处理算法中。      

基于相关滤波器的嵌入式动态目标跟踪系统设计

针对空间非合作运动目标监控，提出了一种基于嵌入式技术的动态目标实时检测与跟踪方法，并完成了跟踪系统的研制设计和测试。该视觉目标跟踪系统以嵌入式处理器为控制器，通过相机模组获取实时视频图像，图像经过视觉检测与跟踪算法程序分析，得到目标的位置信息后，控制伺服运动系统调整相机姿态实现对动态目标跟踪。提出了基于相关滤波原理的跟踪算法，搭建了树莓派嵌入式测试系统，完成实时检测与跟踪的实验评估。实验结果表明，嵌入式处理器中检测与跟踪程序的平均运行帧率达到25FPS，伺服机构在水平360°和俯仰±60°范围内实现了对移动速度90°/s的目标的实时、稳定监控与跟踪。     

基于深度学习的无人机视觉目标检测与跟踪

针对目标检测中小目标物体漏检率及误检率高等问题,提出了一种基于Yolov3-Tiny算法的改进模型。改进k-means聚类方法,增加3×3和1×1的卷积池化层,将第9层卷积输出上采样,并与第8层卷积得到的特征图进行连接,得到新的输出:52×52卷积层,形成新的特征金字塔。基于卡尔曼滤波算法实现目标跟踪,提出融合跟踪算法的检测网络,使用匈牙利匹配算法对检测边缘框与跟踪边缘框进行最优匹配,利用跟踪结果修正检测结果,提高了检测速度,同时提升了检测能力。在ROS、Gazebo和自动驾驶仪软件PX4的综合仿真环境下对所提算法进行了对比试验。试验结果表明:改进算法平均检测速度降低了15.6%,mAP提高了6.5%。融合跟踪算法后的网络平均检测速度提高了34.2%,mAP提高了8.6%。融合跟踪算法后的网络能够满足系统实时性和准确性的要求。      

基于级联注意力机制的孪生网络视觉跟踪算法

针对全卷积孪生网络（SiamFC）在相似物体干扰及目标发生大尺度外观变化时容易跟踪失败的问题，提出了一种基于级联注意力机制的孪生网络视觉跟踪算法。首先，在网络的最后一层加入非局部注意力模块，从空间维度得到关于目标区域的自注意特征图，并与最后一层特征进行相加运算。其次，考虑到不同通道特征对不同目标和各类场景的响应差异，引入通道注意力模块实现对特征通道的重要性选择。为了进一步提高跟踪的鲁棒性，将其与SiamFC算法进行加权融合，得到最终的响应图。最后，将提出的孪生网络模型在GOT10k和VID数据集上进行联合训练，进一步提升模型的表达力与判别力。实验结果表明:所提算法相比于SiamFC，在跟踪精度上提高了9.3%，在成功率上提高了5.4%。      

单目SLAM直线匹配增强平面发现方法

针对微小型机器人及无人机系统日益迫切的轻量化视觉导航需求,提出了一种多维几何特征单目视觉三维环境建模方法。单一点特征单目SLAM制图方法地图描述效率相对较低,噪声容忍性能需要进一步提高。将线和面特征引入单目SLAM的三维地图构建过程,提高系统三维空间建模的搜索速度和稳定性。利用快速直线搜索算法,并基于二维直线匹配生成三维空间直线。现有基于三维空间特征点生成最小采样集的J-Linkage算法需要的倾向向量维数较高,完成单目SLAM常见场景三维平面聚类所需的计算量大。通过点线特征结合以及直线增强的J-Linkage算法可以提高特征平面聚类速度和稳定性,减少系统三维空间表达的冗余信息。