机器视觉导引系统中摄像机的标定方法

针对无人机(UAV)自主起飞与着陆机器视觉导引系统中摄像机的标定问题,讨论了标定摄像机内参数的重要意义,选定了包含畸变因素的摄像机透视投影模型。采用改进两步法进行摄像机内参数标定,结果中主要参数相对误差均小于1%,位置误差小于0.2像素,证明了所选择模型和标定方法的合理性。分析并验证了影响标定精度的因素,包括模型选择、图像拍摄质量和标定靶精度。针对机器视觉导引的应用条件,基本解决了准确、快速标定摄像机内参数的实际问题。     

无人机自动着陆中的机器视觉辅助技术

设计了一套辅助无人机自动着陆的机器视觉系统。该系统由机载硬件设备和用户开发软件共同组成,用以完成数字图像处理任务和无人机运动参数估计任务。系统传感器包括一个单目摄像机和机载惯性陀螺;数字图像处理使用的主要算法有图像的轮廓提取、角点检测和模版匹配。基于角点处各个方向上灰度差变化较大的特征,依据最小核值相似(SUSAN)算法和角点几何结构分析,提出一种改进的角点特征提取算法;根据任务开发的位置参数估计算法依据摄像机透视投影理论,运用摄像机成像标定方法导出了一种高精度的位置测量模型。通过计算机仿真表明,所提出的计算机视觉位置参数估计算法可以达到无人机着陆过程的精度要求。     

基于视觉信息的无人机自主着陆过程姿态角简化计算方法

研究了一种基于地平面算法的无人机着陆过程中姿态角估算的改进方法。通过地面坐标系到摄像机坐标系的转换矩阵、机体坐标系到摄像机坐标系的变换矩阵、机体坐标系到地面坐标系的变换矩阵求解,确定无人机的姿态信息;利用无人机着陆过程中跑道的图像地平线和跑道数据等特征提取,在获取摄像机姿态角的基础上,计算无人机的滚转角和俯仰角,用跑道特征来估算无人机偏航角;通过矩阵变换解算出无人机的姿态角,并通过仿真进行了实验验证。该方法对摄像机的安装位置没有特殊的要求,解除了传统方法对摄像机安装位置的限制,简化了无人机姿态信息的求解方法。     

无人直升机视觉着陆中的运动状态估计算法

对无人直升机(UH)视觉着陆中基于视觉图像处理的运动状态估计问题进行了研究。介绍了视觉着陆原理,分析了运动估计、特征图像处理与着陆控制间的关系,推导并建立了UH相对着陆平台位姿估计算法、线速度与角速度估计算法。相邻两帧图像对应特征点像点位置为位姿估计算法提供数据,一帧图像特征点像点位置及其对应像点平移速度为线速度与角速度估计算法提供数据。利用UH着陆控制仿真数据模拟UH着陆运动过程中像点位置及其对应平移速度的视觉图像处理结果。仿真验证了运动状态估计算法,结果表明所提出的运动状态估计算法能有效地利用视觉图像处理结果数据估计出UH的位置、姿态、线速度和角速度。     

基于双目视觉和惯性器件的微小型无人机运动状态估计方法

针对微小型无人机(UAV)自主运动状态估计问题,提出了一种基于双目视觉和惯性器件的微小型无人机运动状态估计方法,运动状态估计系统由微惯性测量单元(MIMU)和2个摄像机组成.根据微惯性测量单元的输出更新无人机运动状态,同时由摄像机获得周围环境的图像序列,从序列图像中提取特征点,并对这些特征点进行匹配、跟踪,测量序列图像...     

无人机空中加油过程中基于机器视觉的相对位姿估计(英文)

本文主要研究了在无人机空中自主加油过程中,利用安装在无人机上的摄像机得到的视觉图像确定无人机与加油机之间相对位置关系的算法。本文以经典的OI算法为基础展开研究,文章主要分为三个部分:首先简要介绍了OI算法的基本实现方法,指出了在OI算法中,旋转矩阵R的初值的选择对于位姿估计的精度有一定的影响。其次主要介绍了一种线性算法用于获取R初值的方法,同时针对空中加油过程中无人机与加油机之间的相对姿态角变化较小的特点,提出了可以将旋转矩阵R的初值设为单位矩阵。论文最后在仿真环境下对相关算法展开实验研究,同时研究了在高斯噪声环境下特征点在加油机表面的分布对位姿估计结果的影响,论文得到如下的结论:1、针对空中加油过程中无人机与加油机之间的相对姿态角变化较小的特点,在高斯噪声环境下,以单位矩阵作为旋转矩阵的初值得到的位姿估计的结果好于以线性算法为初值的结果。2、在相同的高斯噪声环境下,特征点之间的距离越大时得到的位姿估计结果的精度越高。3、特征点的数量对相对位姿估计的精度没有明显影响。     

微小型飞行器惯性组合姿态确定与航路导航研究

构建了微小型飞行器(MAV)导航、制导与控制(GNC)系统。研究了微惯性导航测量单元零偏的温度建模及非正交误差的多位置标定补偿方法,提出微小型飞行器导航、制导与控制系统闭环条件下,利用导航、制导与控制回路的飞行状态特征信息的微惯性组合导航系统滤波算法,根据微小型飞行器飞行状态实时调整卡尔曼滤波器的观测噪声方差,有效提高了动态过程中姿态测量精度和微小型飞行器的飞行平稳度。完成了组合导航系统滤波算法验证飞行试验及自主姿态稳定和航路飞行试验。飞行试验表明:微小型飞行器实现了自主姿态稳定与长距离超视距航路点导航飞行,航路点导航误差小于30 m,惯性组合姿态确定与航路导航系统及算法满足微小型飞行器自主飞行对导航系统的需求。     

基于稀疏光流的无人机自主导航方案

提出了在无已知地面合作目标的情况下,给出高精度导航信息的基于稀疏光流的无人机(UAV)自主导航方案。通过计算两帧图像间的稀疏光流场,融合捷联惯导系统(INS)/电子罗盘/高度表系统/激光测距仪等传感器测量数据,构造两个H∞滤波器,分别对高度、姿态角与水平面上的速度误差进行估计。本导航方案适用于诸如无人机低空飞行阶段、进近阶段等不宜布置人工或已知地面合作目标的场合。使用自主开发的"无人机自主着陆实时仿真验证平台"对该方案进行仿真,结果显示本方案能够有效地抑制惯导系统由于漂移而造成的位置估计误差,同时可以给出精确的高度、速度与姿态角估计值。     

单目主动视觉无人机导引中摄像机内参数标定的线性方法

 提出一种单目主动视觉无人机导引中摄像机内参数标定的线性方法,在摄像机主点位置进行预标定的条件下,摄像机只需拍摄一幅着舰平面靶标上的一组正方形图像,无须知道该组正方形的任何几何信息,通过计算圆环点,建立绝对二次曲线对摄像机内参数的约束方程即可线性求解摄像机内参数,仿真实验和真实图象实验表明:该方法在摄像机内参数(如焦距等)需要经常改变的视觉任务,如基于视觉的无人机着舰导引、运动参数估计、三维视觉重建及视觉监控中,使得摄像机内参数的标定具有简便、实时和鲁棒性强的特点。     

一种基于惯性/视觉信息融合的无人机自主着陆导航算法

无人机自主着陆过程中需要实时获得高精度的导航信息,对自主性、实时性的要求较高.现有的导航方式都存在各自的不足,且在室内等新型环境中不能使用.针对这一问题,提出了一种视觉/惯性组合导航算法.首先建立了世界坐标系下惯性导航的数学模型,随后通过Kalman滤波实现位置、姿态匹配,其中位置匹配完成速度误差、加表零偏的估计;姿态匹配完成安装误差角、陀螺漂移的估计,并利用估计得到的安装误差角和视觉导航系统输出的姿态信息对惯导姿态进行修正.仿真结果表明,该算法具有一定的工程应用价值.     

基于多传感器信息融合的物体位姿检测方法

 提出了利用摄像机和超声传感器信息融合对机器人操作对象进行位姿检测的方法。该方法通过单幅图像获取目标点在图像中的理想坐标,求得投影矢量的方向,然后通过机器人末端的运动,导引超声传感器坐标原点与未移动前摄像机坐标系的原点重合,而其Z轴方向与求得的投影矢量方向相同,再由超声传感器测出投影矢量的长度,从而确定目标点在摄像机坐标系中的坐标,并可进一步转换到机器人基坐标系中。通过测量操作物体上两点的空间坐标,就能够确定物体空间姿态。该方法简单易行,计算量小,精度较高。     

Use of land＇s cooperative object to estimate UAV＇s pose for autonomous landing

The research of unmanned aerial vehicles＇（UAVs＇）autonomy navigation and landing guidance with computer vision has important signifcance.However,because of the image blurring,the position of the cooperative points cannot be obtained accurately,and the pose estimation algorithms based on the feature points have low precision.In this research,the pose estimation algorithm of UAV is proposed based on feature lines of the cooperative object for autonomous landing.This method uses the actual shape of the cooperative-target on ground and the principle of vanishing line.Roll angle is calculated from the vanishing line.Yaw angle is calculated from the location of the target in the image.Finally,the remaining extrinsic parameters are calculated by the coordinates transformation.Experimental results show that the pose estimation algorithm based on line feature has a higher precision and is more reliable than the pose estimation algorithm based on points feature.Moreover,the error of the algorithm we proposed is small enough when the UAV is near to the landing strip,and it can meet the basic requirements of UAV＇s autonomous landing.     

单相机迎角测量中振动影响研究

从描述像空间坐标与物理空间坐标关系的共线方程出发,推导出单相机迎角测量中模型迎角关于相机外方位元素的计算公式。在单相机迎角测量中模型表面标记点展向坐标Y不变的假设下,研究了2m量级风洞中,相机位于5个不同位置时,3个角外方位元素(φ,ω,κ)和模型侧滑角β在-2°～2°之间振动对迎角测量结果的影响。模拟结果表明:φ和κ的振动对迎角测量结果影响较大,且该影响对相机位置和模型迎角的变化不敏感;在相机位于法向投影位置(相机光轴与Y轴平行)时,ω与β的振动对迎角测量结果影响非常小,可以忽略,但影响量随相机位置偏离法向投影位置迅速增加。     

基于视觉引导的无人直升机着舰技术研究

以无人直升机为被控对象,根据实际着舰流程研究了视觉引导系统的软硬件架构。在硬件上通过在摄像头加装云台,避免了无人机因姿态改变造成视野中目标图像的丢失,提高了位姿解算的精度。提出一种以红外灯设计的合作目标图案为着舰目标的视觉引导着舰系统,能够在不同光线强度、复杂周边环境下成功识别合作目标,具有良好的抗噪能力。研究设计了一套图像处理与位姿解算的引导系统,通过实验验证姿态参数的误差在2°以内,位置参数的误差小于2cm,能够满足着舰的精度要求;每帧图像的处理速度在30ms左右,具有良好的实时性。     

基于单数码相机自由拍摄的空间点定位

 提出并实现了一种空间点定位方法。该方法仅用一台数码相机围绕目标进行多角度自由拍摄获得多帧图像，采用一套具有身份唯一性的标记点实现多图像间点的稳定匹配；在此基础上根据多视图几何约束，精确计算各次拍摄时的相机姿态和位置；进而求解目标点的三维位置信息，并对结果进行优化。实验表明空间点定位的相对误差优于0.03%。该方法所用设备十分简单，操作方式非常灵活，适用于大型物体多视角测量的拼合、某些情况下的装配检查等，也可直接用于较规则构型物体的三维数据获取与CAD模型重建。     

Deep learning enabled localization for UAV autolanding

This article concentrates on ground vision guided autonomous landing of a fixed-wing Unmanned Aerial Vehicle (UAV) within Global Navigation Satellite System (GNSS) denied environments. Cascaded deep learning models are developed and employed into image detection and its accuracy promoting for UAV autolanding, respectively. Firstly, we design a target bounding box detection network BboxLocate-Net to extract its image coordinate of the flying object. Secondly, the detected coordinate is fused into spatial localization with an extended Kalman filter estimator. Thirdly, a point regression network PointRefine-Net is developed for promoting detection accuracy once the flying vehicle’s motion continuity is checked unacceptable. The proposed approach definitely accomplishes the closed-loop mutual inspection of spatial positioning and image detection, and automatically improves the inaccurate coordinates within a certain range. Experimental results demonstrate and verify that our method outperforms the previous works in terms of accuracy, robustness and real-time criterions. Specifically, the newly developed BboxLocate-Net attaches over 500 fps, almost five times the published state-of-the-art in this field, with comparable localization accuracy.