基于四元数的单目视觉物体位姿测量方法

对基于点特征的单目视觉定位算法进行了研究,设计了一种5点平面靶标,在五个特征点的基础上提出了一种基于四元数的单摄像机位姿测量方法。建立了四元数空间变换矩阵,然后再根据特征点在世界坐标系下的坐标值以及特征点在CCD成像面上的坐标值,在空间投射的基础上利用最小二乘法求解出靶标的四元数空间变换矩阵,从而求得靶标的空间位姿。通过实验对该单目视觉定位方法进行验证,实验结果表明：测量模型平移定位精度达到了,旋转定位精度达到了。     

无人直升机视觉着陆中的运动状态估计算法

对无人直升机(UH)视觉着陆中基于视觉图像处理的运动状态估计问题进行了研究。介绍了视觉着陆原理,分析了运动估计、特征图像处理与着陆控制间的关系,推导并建立了UH相对着陆平台位姿估计算法、线速度与角速度估计算法。相邻两帧图像对应特征点像点位置为位姿估计算法提供数据,一帧图像特征点像点位置及其对应像点平移速度为线速度与角速度估计算法提供数据。利用UH着陆控制仿真数据模拟UH着陆运动过程中像点位置及其对应平移速度的视觉图像处理结果。仿真验证了运动状态估计算法,结果表明所提出的运动状态估计算法能有效地利用视觉图像处理结果数据估计出UH的位置、姿态、线速度和角速度。     

基于视觉的大尺度部件相对位姿实时测量方法研究

相对位姿是装配过程中的一项重要监控项。针对大尺度部件对接过程中的相对位姿测量需求,提出了一种基于视觉的相对位姿实时测量方法。该方法利用单目视觉技术,通过采集合作靶标的图像,实时解算大部段间的相对位姿,用于辅助大尺度部件的装配。首先,设计了一套相对位姿实时测量系统,包括搭载单目相机的视觉测量单元,以及用于辅助位姿解算的合作靶标;其次,对相对位姿测量的完整流程进行了研究,包含系统标定方法与实时位姿解算方法;最后,在实验室环境下对位姿测量系统的精度进行测试。试验结果表明,位姿测量系统在垂直于光轴方向的重复精度可达0.02mm,沿光轴方向重复精度优于0.2mm,输出位姿结果时间低于0.3s;对多测量单元组网测量进行了仿真计算,垂直于光轴方向的重复精度优于0.1mm,沿光轴方向重复精度优于0.2mm,输出位姿结果时间优于1.3s。试验结果表明,提出的方法可满足一般大尺度部件对接过程实时位姿监控与对接状态评估的需求。     

无人机空中加油过程中基于机器视觉的相对位姿估计(英文)

本文主要研究了在无人机空中自主加油过程中,利用安装在无人机上的摄像机得到的视觉图像确定无人机与加油机之间相对位置关系的算法。本文以经典的OI算法为基础展开研究,文章主要分为三个部分:首先简要介绍了OI算法的基本实现方法,指出了在OI算法中,旋转矩阵R的初值的选择对于位姿估计的精度有一定的影响。其次主要介绍了一种线性算法用于获取R初值的方法,同时针对空中加油过程中无人机与加油机之间的相对姿态角变化较小的特点,提出了可以将旋转矩阵R的初值设为单位矩阵。论文最后在仿真环境下对相关算法展开实验研究,同时研究了在高斯噪声环境下特征点在加油机表面的分布对位姿估计结果的影响,论文得到如下的结论:1、针对空中加油过程中无人机与加油机之间的相对姿态角变化较小的特点,在高斯噪声环境下,以单位矩阵作为旋转矩阵的初值得到的位姿估计的结果好于以线性算法为初值的结果。2、在相同的高斯噪声环境下,特征点之间的距离越大时得到的位姿估计结果的精度越高。3、特征点的数量对相对位姿估计的精度没有明显影响。     

面向机器人航天员的球形目标识别与定位方法研究

针对机器人航天员在典型目标识别与定位方面的问题,提出一种球形目标识别与定位方法,利用目标颜色特征和形状特征实现了目标识别,采用空间射影几何方法推导了单目视觉空间球定位公式,建立了硬件试验环境,在此环境下实现了基于彩色相机的单目视觉定位、双目立体视觉定位以及融合TOF相机和彩色相机的视觉定位方法。通过真实试验和仿真实验对这些方法进行了比较分析,得到了各自的适用条件,为工程应用中具体方法的选择提供了依据。     

视觉辅助的无人机自主空中加油建模与仿真

为准确获得插头锥套式空中加油过程中无人机与锥套的相对位姿信息,提出了机器视觉辅助的插头锥套式无人机自主空中加油仿真方案,开发了基于Open CV,Simulink及Vega Prime视景仿真技术的闭环仿真系统。研究了机器视觉识别跟踪锥套的图像处理算法,利用Kalman滤波算法估计无人机与锥套的相对位姿。仿真结果表明,机器视觉算法可以准确识别跟踪锥套,滤波器状态估计的收敛速度较快,无人机姿态角变化范围较小,保证了插头锥套式无人机自主空中加油的平稳安全对接。     

视觉辅助的无人机自主空中加油建模与仿真

为准确获得插头锥套式空中加油过程中无人机与锥套的相对位姿信息,提出了机器视觉辅助的插头锥套式无人机自主空中加油仿真方案,开发了基于Open CV,Simulink及Vega Prime视景仿真技术的闭环仿真系统.研究了机器视觉识别跟踪锥套的图像处理算法,利用Kalman滤波算法估计无人机与锥套的相对位姿.仿真结果表明,机器视觉算法可以准确识别跟踪锥套,滤波器状态估计的收敛速度较快,无人机姿态角变化范围较小,保证了插头锥套式无人机自主空中加油的平稳安全对接.     

月面巡视器基于深度学习的即时定位与建图

针对载人登月对月面大范围行走探测以及月面巡视器导航定位的要求,提出了一种基于深度学习的视觉即时定位与建图(SLAM)方法。该方法设计了一个全监督的卷积神经网络对单目SLAM建模,减少了传统方法中人工设计特征和根据场景设置各种参数阈值的局限性;同时,利用深度学习模型良好的迁移学习能力,从大量地面数据训练并在少量仿月表面数据微调中得到网络的参数,从图像序列中直接估计平移量和旋转量;此外,引入了三维点云构成的稀疏深度图作为监督,采用光度误差构造的损失函数将深度信息和位姿信息结合,得到位姿估计的精度比肩传统SLAM算法,同时增加了算法对环境的适应性和鲁棒性。实验证明该算法在城市道路环境和仿月表面环境均有较优的性能。     

基于Transformer模型的卫星单目位姿估计方法

鉴于测量精度高、设备成本低等优点，基于单目图像的卫星位姿估计方法在交会对接、空间攻防等应用中具有广泛前景。得益于强大的特征提取与表达能力，卷积神经网络在目标单目位姿估计应用中取得了明显优于传统方法的性能表现，但已有基于卷积神经网络的方法存在诸如归纳偏置、绝对距离描述不直接、长距离建模能力不足等问题。聚焦卫星单目位姿估计应用需求，针对以上问题，创新地将Transformer模型应用于卫星目标位姿估计中，提出了一种新颖的端到端卫星单目位姿估计方法。首先，设计了一种基于关键点集合的卫星目标表示方法，并构建了基于该表示方法的损失函数，进一步，结合关键点回归任务特点，设计了端到端的关键点回归网络模型，并改进了用于特征提取的主干网络结构。在公开数据集上实验测试结果表明：本文方法实现了可靠、高效的卫星目标单目位姿估计，并取得了优于已有同类方法的性能。     

RGB-D SLAM综述

RGB-D SLAM是指使用RGB-D相机作为视觉传感器,进行同时定位与地图构建(SLAM)的技术。RGB-D相机是近几年推出的能够同时采集环境RGB图像和深度图像的视觉传感器。首先对主流RGB-D相机,RGB-D SLAM算法框架流程做了介绍,然后对RGB-D SLAM算法的国内外主要标志性成果,以及RGB-D SLAM的研究现状进行介绍,并对RGB-D SLAM方法前端视觉里程计中特征检测与匹配、后端位姿图优化、回环检测等关键技术进行介绍总结。最后,对RGB-D SLAM算法的优缺点进行了分析,并对RGB-D SLAM算法的研究热点及发展趋势进行了讨论。     

Three-line structured light vision system for non-cooperative satellites in proximity operations

Adapter ring is a commonly used component in non-cooperative satellites, which has high strength and is suitable to be recognized and grasped by the space manipulator. During proximity operations, this circle feature may be occluded by the robot arm or limited field of view. Moreover, the captured images may be underexposed when there is not enough illumination. To address these problems, this paper presents a structured light vision system with three line lasers and a monocular camera. The lasers project lines onto the surface of the satellite, and six break points are formed along both sides of the adapter ring. A closed-form solution for real-time pose estimation is given using these break points. Then, a virtual structured light platform is constructed to simulate synthetic images of the target satellite. Compared with the predefined camera parameters and relative positions, the proposed method is demonstrated to be more effective, especially at a close distance. Besides, a physical space verification system is set up to prove the effectiveness and robustness of our method under different light conditions. Experimental results indicate that it is a practical and effective method for the pose measurement of on-orbit tasks.     

基于几何特征关联的室内扫描匹配SLAM方法

为实现室内结构化环境中仅依靠激光雷达数据进行实时自定位并创建精确的特征地图,提出了一种基于几何特征关联的室内扫描匹配SLAM方法.几何特征关联与匹配方法的优劣很大程度上影响SLAM的实时性和精度.结合室内结构化环境的特点,提出了一种完备端点定义与提取方法,将直线段特征与完备端点进行关联,优化几何特征扫描匹配过程.此外,姿态角收敛是SLAM进行机器人位姿估计和求解一致性的关键.为确保姿态角准确收敛,采用了基于直线拟合认知的姿态角加权几何平均求解方法.实验证明,提出的SLAM方法得到的定位精度在100mm内,建图精度也较高,能胜任室内SLAM.     

单目主动视觉无人机导引中摄像机内参数标定的线性方法

提出一种单目主动视觉无人机导引中摄像机内参数标定的线性方法,在摄像机主点位置进行预标定的条件下,摄像机只需拍摄一幅着舰平面靶标上的一组正方形图像,无须知道该组正方形的任何几何信息,通过计算圆环点,建立绝对二次曲线对摄像机内参数的约束方程即可线性求解摄像机内参数,仿真实验和真实图象实验表明:该方法在摄像机内参数(如焦距等)需要经常改变的视觉任务,如基于视觉的无人机着舰导引、运动参数估计、三维视觉重建及视觉监控中,使得摄像机内参数的标定具有简便、实时和鲁棒性强的特点。     

基于双圆特征的无人机着陆位置姿态视觉测量方法

提出了一种无人机自主着陆位置姿态的单目视觉测量方法,建立了机载摄像机的运动和投影模型。设计了新型双圆图案着陆平面靶标,采用双圆的8个公切点,产生21个具有透视投影不变性的特征点,并提出了在复杂背景中全自动双圆特征的图像提取新方法及标记特征点的方案,实验表明,768×576像素大小的图像,特征提取及标记耗时小于9ms。仿真试验表明,摄像机距离靶标10m左右,噪声偏差达到1.5像素时,单轴位置RMS误差小于6cm,单轴姿态RMS误差小于0.7°,所提出的算法具有很强的抗噪声能力,能够满足无人机自主着陆位置姿态实时测量的要求。     

Real-time drogue recognition and 3D locating for UAV autonomous aerial refueling based on monocular machine vision

Drogue recognition and 3D locating is a key problem during the docking phase of the autonomous aerial refueling(AAR). To solve this problem, a novel and effective method based on monocular vision is presented in this paper. Firstly, by employing computer vision with red-ring-shape feature, a drogue detection and recognition algorithm is proposed to guarantee safety and ensure the robustness to the drogue diversity and the changes in environmental conditions, without using a set of infrared light emitting diodes(LEDs) on the parachute part of the drogue. Secondly, considering camera lens distortion, a monocular vision measurement algorithm for drogue 3D locating is designed to ensure the accuracy and real-time performance of the system,with the drogue attitude provided. Finally, experiments are conducted to demonstrate the effectiveness of the proposed method. Experimental results show the performances of the entire system in contrast with other methods, which validates that the proposed method can recognize and locate the drogue three dimensionally, rapidly and precisely.     

基于单目视觉的机器人避障方法研究

避障问题一直是机器人领域研究的热点和重点。设计一种基于单目视觉的避障系统,能够同时检测机器人正前方和两侧的障碍物,且对低纹理障碍物同样具有效果。该系统采用特征尺度检测器完成机器人视野正前方障碍物的检测,对于视野两侧的障碍物运用光流平衡策略进行规避,而对于低纹理的障碍物则利用图像熵的方法进行检测。整个系统在地面移动机器人上进行了测试,实验结果表明,该方法能在复杂的环境下可靠地完成机器人的避障任务。     

一种适用于曲面结构的机器人制孔误差在线补偿技术

针对工业机器人应用于飞机零部件自动钻孔时各项误差累积造成制孔精度差的问题，提出一种利用单应关系计算机器人驱动坐标三维偏差，以在线补偿机器人制孔精度的方法。首先利用外部测量设备建立机器人制孔系统中各坐标系关系；在标定阶段，通过以一定倾斜角度固联于机器人末端的相机拍摄一幅安装于制孔工作平面上与刀轴正对的平面标定板图像，并据此完成基于单应变换的手-眼关系标定；在实际制孔过程中，机器人在测距传感器及相机的辅助下，从基准孔理论坐标对应的姿态，不断调整至基准孔正上方理想位置，通过手-眼关系计算基准孔实际位置对应的机器人驱动坐标，然后根据一组基准孔的机器人三维驱动误差，计算三维驱动误差变换矩阵，据此获得这组基准孔邻域范围内各待钻孔的机器人驱动坐标补偿量，从而实现待钻孔定位误差补偿。以飞机结构实验件为对象进行了模拟制孔验证，实验结果表明，补偿前待钻孔三维综合定位误差和法向误差测量值范围分别为2.28~2.85 mm和2.09°~3.93°，平均为2.55 mm和3.30°，补偿后制孔最大误差分别不超过0.30 mm和0.21°，满足自动制孔位置精度要求。     

基于FastSLAM的绳系机器人同时定位与地图构建算法

绳系式移动机器人可用于极端地形的探测,如陡峭斜坡、松软土壤、高耸悬崖、沟壑等。在运动过程中移动机器人的绳索不可避免地与障碍物接触甚至缠绕。由于绳索与障碍物之间的接触点不相互独立以及机器人模型的非线性特性,经典的FastSLAM框架不适用于绳索机器人的同时定位和地图创建（SLAM）问题。提出基于改进FastSLAM框架的绳系机器人SLAM算法。在该框架中,分别利用无迹滤波和粒子滤波解决接触点位置估计和机器人位姿估计问题,并利用非线性观测模型的无迹变换来简化粒子权重更新。仿真结果表明,该算法可有效地估计接触点位置,同时提高机器人位姿估计性能。     

低照度小样本限制下的失效卫星相对位姿估计与优化

低照度图像信息受损严重,会导致失效卫星的位姿估计精度和鲁棒性降低。基于此,提出了无监督生成式对抗网络低照度图像增强模型。生成器以U-Net网络为基础,并设计密集残差连接结构。判别器设计为全局-局部的双辨别器结构,由传统的单一标量扩展为多标量判别。在小样本的条件下,基于进化训练与并行训练方式改进基于SinGAN的数据增广方法。最后,在基于ORB-SLAM位姿初始化的基础上,建立特征信息的局部地图,克服位姿估计对参考帧的依赖;通过关键帧ROI的稠密匹配,建立关于平面法向量和单目相机安装高度的非线性优化模型求解尺度因子;通过闭环检测后的相似性变换,构建关键帧集合的联合位姿图优化方程,实现对位姿矩阵的全局校正。实验结果表明：测量稳定后,低照度图像的姿态角误差最大值为4°,而图像增强后的姿态角误差最大为0.5°;对于以角速度20°/s运动的失效卫星旋转5周,相对静止下的跟踪测量为5周,1 m水平方向机动下的跟踪测量为4.5周。可以满足失效卫星相对姿态测量的任务需求。