视觉SLAM方法综述

实时定位与建图(SLAM)技术搭载特定传感器,使移动机器人在无任何环境先验条件下,在运动过程中自主建立环境模型来计算自身位姿,大幅提高其自主导航能力,以及对不同应用环境的适应性。视觉SLAM方法以相机作为外部传感器,通过采集周围环境信息来创建地图并实时估计机器人自身位姿。为此,介绍了具有代表性的经典视觉SLAM方法及与深度学习相结合的视觉SLAM方法,分析了视觉SLAM方法中采用的不同特征检测方法、后端优化、闭环检测,以及动态环境下视觉SLAM方法的应用,总结了视觉SLAM方法的问题,并探讨了视觉SLAM方法在未来的热点研究方向和发展前景。     

基于图像特征分析的物体轮廓提取

对物体的轮廓进行分析提取,是计算机视觉方向的基础问题之一,对其进行研究对于复杂场景的分析理解至关重要。本文对室内场景图像进行研究,基于图像特征进行图像分割,提取物体轮廓。在彩色场景图像全局轮廓后验边界概率（gPb）提取算法的基础上,加入深度图像信息,对室内场景的彩色、深度（RGB-D）图像中的物体轮廓进行分析。通过多尺度信息融合,计算得到多尺度轮廓后验概率（mPb）和谱后验概率（sPb）,两后验概率加权综合得到gPb。而后结合超度量轮廓图与分水岭算法,对基于方向特征变化的gPb图像融合处理,最终得到清晰的物体轮廓。本文所提方法在通用的RGB-D数据库基础上进行实验。实验结果表明,本文所提出的方法能提取出清晰的室内物体轮廓图。      

一种高效准确的视觉SLAM闭环检测算法

同步定位与地图构建（SLAM）是视觉导航领域的关键技术之一,闭环检测是SLAM的基础问题。针对视觉SLAM闭环检测准确率不高的问题,提出一种高效准确的闭环检测算法。该算法由词袋模型、图像结构校验、跟踪预测模型3个模块构成。首先,将局部特征与全局特征相结合,设计了词袋模型与图像结构校验模块。词袋模型通过视觉单词比较图像之间的相似性,得到闭环候选帧。然后,图像结构校验模块灰度化、归一化当前图像与闭环候选图像。归一化之后的图像被直接作为局部特征的邻域,计算得到全局描述符,通过全局描述符判断闭环候选帧是否为有效的闭环。最后,针对传统闭环检测算法耗时随图像数量增加而显著增加的问题,设计了跟踪预测模块,以提高计算效率。实验中,与主流的DBoW算法相比,提出的闭环检测算法的准确率提升了20%以上,实时性也有更好的表现。      

基于依存句法的图像描述文本生成

现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则，但文本多为简单句，在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时，可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息，用于计算图像区域间关系并得到图像区域关系特征；融合图像区域关系特征和图像区域特征，与文本词向量通过长短期记忆网络（LSTM），用于生成图像描述文本。在测试阶段，通过测试图像与训练图像集的内容关键词，计算2幅图像的内容重合度，间接提取与测试图像对应的依存句法模板；模型基于依存句法模板，生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力，表明模型中的依存句法信息增强了深度学习模型的可解释性。      

一种结合深度学习的运动去模糊视觉SLAM方法

针对高动态环境下视觉同步定位与地图构建（Simultaneous Localization And Mapping,SLAM）系统的可靠性受运动模糊的限制,研究了一种基于生成对抗网络(Generative Adversarial Network,GAN)和AKAZE特征点的运动去模糊视觉SLAM方案。首先对因相机快速运动而产生的模糊图像进行AKAZE特征点的提取与检测,并根据特征点分布的丰富程度计算图像块权重,结合灰度图像的方差信息建立特征点与模糊程度之间的量化关系表;之后将达到模糊分数阈值的图像同步输入至改进GAN网络模型,该网络以端对端的形式恢复中心模糊帧的纹理信息,最后将输出的清晰图像重新进行位姿估计参与ORB-SLAM2后端优化过程。在公开数据集TUM上进行测试,对于受模糊影响较严重的数据集,方案可以明显降低相机轨迹估计的整体误差,同时维持较好的鲁棒性。     

基于多源图像弱监督学习的3D人体姿态估计

3D人体姿态估计是计算机视觉领域一大研究热点,针对深度图像缺乏深度标签,以及因姿态单一造成的模型泛化能力不高的问题,创新性地提出了基于多源图像弱监督学习的3D人体姿态估计方法。首先,利用多源图像融合训练的方法,提高模型的泛化能力;然后,提出弱监督学习方法解决标签不足的问题;最后,为了提高姿态估计的效果,改进了残差模块的设计。实验结果表明:改善的网络结构在训练时间下降约28%的情况下,准确率提高0.2%,并且所提方法不管是在深度图像还是彩色图像上,均达到了较好的估计结果。      

基于深度学习的非合作目标感知研究进展

近年来随着卷积神经网络的发展,基于深度学习的图像感知技术取得了巨大进展。深度学习算法不依赖于人工辅助设计标记、泛化能力强、检测精度高,在空间非合作目标智能感知领域引起了国内外学者的关注。本文分析了应用深度学习方法进行非合作目标智能感知的研究现状,并对他们进行分类介绍与总结。首先,总结了空间非合作目标感知的在轨应用情况和任务阶段规划,接着分析了非合作目标的结构特性和表面光照特性;其次梳理总结了建立非合作目标数据集的三种方法,分类归纳了非合作目标识别与非合作目标位姿检测的国内外研究进展;最后,分析了基于深度学习的非合作目标智能感知方法的关键问题与难点,并给出了后续研究的思路。     

支持场景表观差异的无人机图像视觉定位方法

视觉定位是计算机视觉中的基本任务,在无人机测控、视频监控和遥感分析等领域有着广泛应用.在GNSS拒止情况下,利用图像进行视觉定位是重要的导航替代方法.然而,由于室外场景易受天气、季节和光照等变化影响,细节的表观差异方差大,无人机视觉定位的鲁棒性与精度在近地面时难以保证.提出一种基于虚拟图像合成的视觉定位框架.设计阴影映射和深度卷积图像填补网络来合成具有大表观差异和大视差的虚拟图像集,以提高2D-3D配准质量从而提升视觉定位的鲁棒性.实验数据表明,与国际同类方法相比,本方法合成的图像质量在视觉效果、匹配点数量、置信度和视觉定位的精度等指标上都获得了明显的提升,可以支持大表观差异下的无人机视觉定位.     

基于CNN的多尺寸航拍图像定位方法的研究与实现

图像定位常用于无人机视觉导航,传统的无人机视觉导航广泛采用景象匹配导航方式,随着计算机技术的不断发展,深度学习技术为视觉导航的实现提供了新途径。以无人机的垂直侦查为背景,将飞行区域的航拍图像划分成大小相同的若干网格,每个网格代表一类区域,用网格图像制作数据集训练卷积神经网络（CNN）。基于AlexNet设计了一种融合显著性特征的全卷积网络模型,有效实现了一个基于CNN的多尺寸输入的滑动窗口分类器,并提出了一种邻域显著性参照定位策略来筛选分类结果,从而实现多尺寸航拍图像的定位。      

基于视觉模型和图像特征的遥感图像压缩

遥感图像具有纹理复杂、边缘丰富的特点,通常难以实现高压缩比.统计了图像经过小波变换后在不同方向、不同级别子频带的能量分布.然后基于人类视觉系统(HVS)模型中的对比敏感度函数(CSF)和遥感图像的能量分布特征,提出一种不同频带小波系数的变步长量化方法,并把该方法应用于嵌入式小波图像编码器.实验结果表明,与不采用心理视觉量化的压缩方法相比,在相同压缩比下,峰值信噪比略为降低,但恢复图像的主观质量有一定程度的改善.     

电力系统厂站接线图拓扑关系检测技术

厂站接线图中电气元件的拓扑关系是厂站接线图自动生成技术所需的核心数据。目前,已知的厂站接线图自动生成技术仍然依靠人工获取图中的拓扑关系。通过利用基于深度学习的目标检测技术与传统的计算机图像处理技术相结合的方式,能够实现厂站接线图拓扑关系检测。首先,利用基于深度学习的目标检测方法对电气元件进行识别,并利用计算机图像处理技术对标量格式接线图进行预处理,完成电气元件与连接线的分割。然后,利用轮廓跟踪算法对连接线连通区域进行检测标记。最后,根据获取的电气元件信息与连接线信息获取图纸的拓扑关系。采用国家电网有限公司提供的数据集,并设计了对比实验,验证了所提方法的有效性。      

The automated prediction of solar flares from SDO images using deep learning

In the last few years, there has been growing interest in near-real-time solar data processing, especially for space weather applications. This is due to space weather impacts on both space-borne and ground-based systems, and industries, which subsequently impacts our lives. In the current study, the deep learning approach is used to establish an automated hybrid computer system for a short-term forecast; it is achieved by using the complexity level of the sunspot group on SDO/HMI Intensitygram images. Furthermore, this suggested system can generate the forecast for solar flare occurrences within the following 24 h. The input data for the proposed system are SDO/HMI full-disk Intensitygram images and SDO/HMI full-disk magnetogram images. System outputs are the “Flare or Non-Flare” of daily flare occurrences (C, M, and X classes). This system integrates an image processing system to automatically detect sunspot groups on SDO/HMI Intensitygram images using active-region data extracted from SDO/HMI magnetogram images (presented by Colak and Qahwaji, 2008) and deep learning to generate these forecasts. Our deep learning-based system is designed to analyze sunspot groups on the solar disk to predict whether this sunspot group is capable of releasing a significant flare or not. Our system introduced in this work is called ASAP_Deep. The deep learning model used in our system is based on the integration of the Convolutional Neural Network (CNN) and Softmax classifier to extract special features from the sunspot group images detected from SDO/HMI (Intensitygram and magnetogram) images. Furthermore, a CNN training scheme based on the integration of a back-propagation algorithm and a mini-batch AdaGrad optimization method is suggested for weight updates and to modify learning rates, respectively. The images of the sunspot regions are cropped automatically by the imaging system and processed using deep learning rules to provide near real-time predictions. The major results of this study are as follows. Firstly, the ASAP_Deep system builds on the ASAP system introduced in Colak and Qahwaji (2009) but improves the system with an updated deep learning-based prediction capability. Secondly, we successfully apply CNN to the sunspot group image without any pre-processing or feature extraction. Thirdly, our system results are considerably better, especially for the false alarm ratio (FAR); this reduces the losses resulting from the protection measures applied by companies. Also, the proposed system achieves a relatively high scores for True Skill Statistics (TSS) and Heidke Skill Score (HSS).     

基于深度学习的太阳黑子Wilson山磁类型识别方法

太阳黑子是太阳光球层中带有较强磁场的区域,通常是太阳爆发活动的源区。Wilson山磁分类是当前最为主流的太阳黑子分类方法之一,对研究太阳爆发有重要意义。利用2010－2017年间SDO/HMI成像仪观测到的720s_SHARP磁图和白光图数据,研究使用深度学习对太阳黑子群Wilson山磁分类的方法。实验结果表明,Xception网络在识别太阳黑子Wilson山磁类型上能取得最优的效果,其中对α类型黑子的F₁得分为96.50%,β类为93.20%,其他类型的黑子为84.65%。      

基于噪声柯西分布的社交图像标签优化与标注

随着社交网络的快速发展，带有用户提供标签的社交网络图像呈现爆炸式增长。但是用户提供的标签是不准确的，存在很多不相关以及错误的标签。这势必会增加相关多媒体任务的困难。针对标签噪声无序性以及常用的高斯分布对标签噪声中大噪声过于敏感的问题，但是高斯分布对大噪声比较敏感。鉴于此，采用对各种噪声都具有鲁棒性的柯西分布拟合噪声，提出了一个基于噪声柯西分布的弱监督非负低秩深度学习（CDNL）模型，通过柯西分布建模标签噪声来获得理想标签，并利用深度神经网络模块学习视觉特征和理想标签之间的内在联系，来得到图像对应的正确标签，从而大幅提高社交网络图像的标签准确率。所提模型不仅可以修正错误标签、补充缺失标签，也可以对新图像进行标注。在2个公开的社交网络图像数据集上进行了验证，并且与一些最新的相关工作进行了对比，证实了所提模型的有效性。      

一种基于方差的自适应火星图像阈值选取算法

在基于光学成像的深空探测自主导航中,图像边缘处理直接影响视线矢量的提取,从而对自主导航的精度产生较大影响。传统的Otsu算法更侧重同区域灰度的均匀性,适用于图像中目标区域和背景区域面积相差不大的情况,因此在自主导航初始阶段,导航精度较低。根据深空探测巡航段拍摄到的火星图像的特点,基于已有火星探测任务的实拍图像,在Otsu算法的基础上,重新设计准则函数,提出了一种基于方差的火星图像阈值自适应选取算法。该算法将灰度值高于待定阈值的区域的方差表示为待定阈值的函数,以函数一阶微分的最大值对应的灰度值作为最优阈值。该方法具有计算量小、图像分割精确的优点。仿真结果表明,相较于传统的Otsu算法,通过该算法得到的图像阈值能够实现更高的视线矢量提取精度及自主导航精度。