一种结合等变滤波和视觉观测网络的混合视觉惯性里程计

传统的面向惯导的滤波器在设计时通常没有考虑零偏状态的几何性质,针对这一问题,提出了新的群以及群作用,并以此为基础推导了一种新的等变滤波方法。为了验证该滤波算法的性能,构建了一个基于学习的结合等变滤波和视觉观测网络的视觉惯性里程计系统,名为Deep-EqF-VIO。首先,构建了流形上的导航状态动力学系统,其次根据等变滤波原理推导了等变滤波方法,最后结合视觉观测网络构建了视觉惯性里程计系统。为了进一步提高系统性能,提出了一种融合稠密光流伪标签的预训练方法,通过光流估计任务引导视觉观测网络从输入图像中提取更加通用的几何运动特征。实验结果表明,在大多数场景中,Deep-EqF-VIO相较于同类方法有更好的表现,并且在使用预训练方法进行重新训练后,性能得到了进一步的改善,误差下降率最大达到了49.80%,具有一定的应用前景。     

基于测距信息辅助深度优化的低空飞行器单目视觉惯性里程计

在卫星拒止的未知场景中,视觉惯性融合技术可作为卫星的有效替代,为飞行器提供准确的导航信息。然而在低空场景中,传统视觉惯性里程计(VIO)方案存在尺度估计不准确、容易发散及精度较低等问题。针对上述问题,提出了一种由激光测距仪/气压高度计辅助深度优化的低空飞行器单目VIO方案,以改善尺度恢复的准确性。首先,设计了基于基线约束及参考高度的鲁棒深度估计初始化方法,通过约束基线长度以提高三角化的准确性,并构建了由参考高度辅助的初始深度筛选机制以实现对深度结果的优选。随后,提出了一种基于机动状态和平面假设的深度自适应填充策略,旨在抑制尺度缺失引发的定位发散问题。最后,基于多状态约束卡尔曼滤波器(MSCKF),融合惯性以及被测距信息修正的视觉信息对飞行器位姿进行更新。为验证所提方法,构建了搭载视觉/惯性/测距传感器的无人机试验平台,并在低空场景下开展试验验证。结果表明,与传统算法相比,所提方法定位精度平均提升61%。     

基于改进Cycle-GAN的光流无监督估计方法

卷积神经网络为光流的计算提供了一种新的方式,但作为一种数据驱动技术,用于训练网络的大规模光流真值在现实世界中不易获取。为了解决这个弊端,基于Cycle-GAN的循环对抗机制,提出了一种光流无监督估计方法。首先,引入双判别器机制在生成器生成的光流样本的底层和高层特征上进行鉴别,迫使生成器提高光流生成的精度。其次,引入Spynet作为教师网络,在生成器训练前期对其进行指导,防止网络陷入模式崩塌。最后,改进损失函数,提出了光流一致性损失和轮廓一致性损失函数,进一步提升光流估计精度。实验结果表明,与现有的先进算法相比,提出的方法达到与有监督算法相同的精度水平。     

基于惯性/激光测距/视觉里程计组合的高空场景尺度误差估计方法

惯性/视觉感知信息融合导航定位技术是目前实现无人机不依赖卫星自主导航的最有效手段。但对于面向高空场景的大型无人机,惯性器件误差与视觉里程计尺度误差耦合且特征平面化导致可观测性下降。针对这一问题,提出了利用惯性/激光测距/视觉里程计组合实现尺度误差估计的方法。通过开展误差模型建立、激光测量点与图像中位置匹配、无人机平飞机动下系统可观测性分析等关键技术研究,实现了高空场景下尺度误差的精确估计。经过300m高度机载试验数据验证,算法精度优于1.5%D,对卫星拒止条件下高空无人机自主导航具有重要意义。     

基于单目视觉的机器人避障方法研究

避障问题一直是机器人领域研究的热点和重点。设计一种基于单目视觉的避障系统,能够同时检测机器人正前方和两侧的障碍物,且对低纹理障碍物同样具有效果。该系统采用特征尺度检测器完成机器人视野正前方障碍物的检测,对于视野两侧的障碍物运用光流平衡策略进行规避,而对于低纹理的障碍物则利用图像熵的方法进行检测。整个系统在地面移动机器人上进行了测试,实验结果表明,该方法能在复杂的环境下可靠地完成机器人的避障任务。     

视觉导航技术的发展

近20年来视觉导航技术发展迅速,在原理方法与技术实现上取得了重要突破,规模化应用已经成为可能。以视觉导航中光流、视觉里程计、视觉同步定位与地图构建等主流研究方向为对象,对其发展概况、基本原理、技术优势与难点等进行了简要介绍与分析,并从近期应用推广及长远发展角度对视觉及视觉组合导航技术进行了展望。     

基于注意力模型的视觉/惯性组合里程计算法研究

由于外界环境的干扰和传感器精度的限制,视觉/惯性组合里程计的输入数据存在一定的噪声,这会增加里程计的解算误差,而且误差会随着时间积累。针对以上问题,设计了一种基于注意力模型的视觉/惯性组合里程计算法。该算法使用卷积神经网络和长短时记忆网络分别构建了视觉特征提取器与惯导信息特征提取器,同时引入了两种注意力模型:加权组合网络以及开关组合网络,对视觉特征信息和惯导特征信息的融合噪声进行降噪处理。通过在组合里程计算法中添加闭环校正环节,有效地抑制了里程计误差随时间的积累。对比实验结果表明,设计的组合里程计算法与其他算法相比,无论在性能上还是在精度上都有明显的提升。     

RTK辅助的单目视觉地图构建与恢复方法

针对单目视觉SLAM在复杂场景下跟踪失败导致地图丢失的问题,提出了一种利用RTK信息辅助单目视觉的自动化地图构建与恢复方法。在视觉跟踪失败后,设计了一种自动化恢复地图构建方法,基于RTK信息的辅助,采用坐标变换算法处理丢失前的地图并将其融合到当前地图构建中,在提高建图效率的同时,最大程度地减少了地图信息的缺失。实验仿真结果表明,该方法可以解决系统无法继续跟踪建图的问题,与原始地图相比,其融合后构建的地图在保证全局一致性和完整性的基础上,可以保持米级的估计精度。     

基于深度学习的图像深度感知SLAM综述

同步定位与地图构建（SLAM）技术在精度和建图方面取得了显著进展,并广泛应用于家用机器人和自动驾驶等领域。随着深度学习和神经网络的快速发展,现阶段的神经网络已经具备从大量数据中学习普适规律的能力,而且还能作为一种新型三维表示方法。基于此,将深度学习与SLAM技术相结合的方法成为了研究热点。概述了SLAM技术与基于深度学习的图像深度感知技术结合的最新进展,对最新的方法进行了总结,并提出了一种可行的框架构建SLAM系统。其中的深度感知技术包括深度估计网络、神经辐射场（NeRF）和三维高斯喷溅（3DGS）技术,详细分析了这3种深度感知技术之间的联系以及它们在SLAM中的潜在应用,为SLAM技术的未来发展提供了一个新的视角,并为进一步的研究提供了参考。     

基于无监督深度学习的红外与可见光图像融合

目前已知的多数基于卷积神经网络的红外与可见光图像融合模型没有充分利用来自可见光源图像的层次特征,因此导致融合图像细节纹理不足。受残差网络和密集网络的启发,提出了一种基于无监督深度学习的图像融合算法来解决融合图像细节纹理信息不足的问题。使用的残差密集块有连续存储机制,最大程度地保留每层的特征信息,局部残差融合和全局残差融合的设计有利于学习图像中的结构纹理。此外,为了更好地保留可见光图像中的细节纹理,引入了生成对抗网络对数据集进行无监督学习。主客观实验表明,该算法不仅获得了良好的视觉融合效果,融合图像具有更多的边缘纹理信息,在客观评价指标上对比现有优秀的算法也较大的提升。     

视觉/惯性组合导航技术发展综述

视觉/惯性组合导航技术是自主导航领域的重要研究方向之一。首先介绍了视觉/惯性组合导航技术的发展概况,然后从纯视觉导航(里程计、同步定位与构图)以及组合导航(滤波、非线性优化)2个层次介绍了传统的基于视觉几何与运动学模型的视觉/惯性组合导航方法,还介绍了近年来发展迅猛的基于机器学习的视觉/惯性组合导航方法。最后,简要介绍了视觉/惯性组合导航技术的典型应用及未来发展趋势。     

视觉无人机棚内煤场自主飞行与地图构建

针对目前室内大型煤场煤储量估计方法中,固定位置激光打点方式存在盲区、不灵活、精度差,以及基于多旋翼无人机的方法难以适应无GPS的室内环境等缺点,提出结合视觉定位的无人机室内自主飞行盘煤方法。该方法通过融合5个方向的视觉信息,并结合无人机路径规划及避障算法,对煤堆进行了全覆盖的视觉成像,然后,通过运动推断结构方法进行三维建模,用于估计煤储量。经实验验证,所提方法有较好的室内定位精度,基于三维建模的煤堆储量估计与实际储量较为接近,证明了其有效性和可行性。     

基于双目视觉的类脑三维认知地图构建方法

基于大脑导航神经细胞机理的类脑认知地图构建方法,为发展智能同步定位与地图构建(SLAM)技术提供了新思路.针对现有类脑认知地图构建精度不高的问题,提出了一种基于双目视觉的类脑三维认知地图构建方法.首先阐述了类脑三维认知地图系统的工作原理,然后论述了不同视觉里程计对认知地图精度的影响,研究了基于双目视觉里程计的类脑三维认知地图精度优化方法,最终完成了基于视觉数据集的类脑三维认知地图构建试验.试验结果表明,所提方法构建的视觉里程计地图的三维位置误差为总行程的2.14％,认知地图的三维位置误差为1.56％;认知地图精度与里程计精度呈正相关;系统通过模板匹配进行回环检测与校正,提高了认知地图的精度.     

利用神经网络的海杂波幅度分布参数估计方法

海杂波是制约对海雷达探测性能的主要因素之一,掌握其特性,具有十分重要的意义。经典海杂波统计模型在参数估计方法上以传统统计学理论为基础,在样本数较少的情况下,估计结果往往较差,导致建模准确度下降。此外,在复杂非均匀探测背景下,难以实现海杂波模型参数的准确实时估计。针对该问题,文章将深度神经网络模型引入海杂波参数估计领域,通过构建合理的模型,使其具备海杂波幅度分布模型的高精度参数估计能力。该方法采用直方图统计的方法进行数据预处理,合理划分输入数据标签的分组区间,构建数据集训练神经网络,并利用测试数据得到神经网络估计结果。仿真数据和X波段IPIX雷达实测数据验证结果表明,与传统数理统计估计方法相比,该算法明显提升了海杂波统计模型参数估计精度。     

RGB-D SLAM综述

RGB-D SLAM是指使用RGB-D相机作为视觉传感器,进行同时定位与地图构建(SLAM)的技术。RGB-D相机是近几年推出的能够同时采集环境RGB图像和深度图像的视觉传感器。首先对主流RGB-D相机,RGB-D SLAM算法框架流程做了介绍,然后对RGB-D SLAM算法的国内外主要标志性成果,以及RGB-D SLAM的研究现状进行介绍,并对RGB-D SLAM方法前端视觉里程计中特征检测与匹配、后端位姿图优化、回环检测等关键技术进行介绍总结。最后,对RGB-D SLAM算法的优缺点进行了分析,并对RGB-D SLAM算法的研究热点及发展趋势进行了讨论。