一种面向工业机器人的高精度三维无序抓取系统

在航空航天、汽车等领域中,各类复杂工件结构复杂、纹理弱且混叠堆放,在智能制造过程中存在快速、高精度测量和识别难题。针对上述问题,建立了一种面向工业机器人的高精度三维无序抓取系统。基于面结构光三维测量技术,构建大场景固定基座的三维视觉测量装备,获取大型复杂零件的三维点云数据。建立零件点云模板,设置抓取点位置,利用点云配准技术识别零件并估计当前位姿。提出了一种手眼标定优化策略,实现了对工业机器人的精确引导,完成任意位姿零件的抓取,按要求装配于指定位置。实验结果表明,所设计的无序抓取系统平移误差为0.413mm,角度误差为0.123°,可以快速有效地对散乱堆叠零件进行高精度识别与定位,引导工业机器人准确抓取与放置,该系统可以在航空航天、汽车等领域的工业生产线上进行示范应用。     

基于深度学习目标识别的航天员训练场景理解技术

增强现实(AR)是航天员训练的有效途径,其关键技术是场景重建与空间定位。针对当前AR设备只能进行场景空间静态识别,无法感知目标动态变化的问题,提出了深度学习与AR技术相结合的目标识别与位姿估计方法。采用YOLO v5神经网络实现了小训练样本量的操作目标识别,结合深度信息实现了目标点云分割,与目标CAD模型点云进行ICP匹配后估计出目标的三维空间位姿,从而在AR显示空间中实现目标的动态定位与虚实融合。结果表明：YOLO v5的识别平均精度可以达到0.995,虚实结构可以准确叠加。该方法可有效提高AR设备的场景理解能力,扩展航天员AR训练手段。     

面向结构化场景的激光雷达点云高精度配准与定位方法

在基于先验地图的激光雷达室内导航方案中,通常采用点云配准的方法进行无人设备位姿初始化。在结构化场景下,传统配准算法特征鲁棒性较差,导致点云配准的误差较大且易陷入局部最优。针对该问题,提出了一种基于多平面空间模型的点云快速配准方法。首先该方法利用特征直方图的思想对空间点云进行快速粗聚类,根据平面一致性将粗聚类后的点集进行合并形成面特征,从而对密闭空间进行平面模型化表示。随后通过空间平面排序实现了面特征的快速关联,并利用线性匹配方法实现了两帧点云的精确配准,从而解算出机体在先验地图中的相对位姿。最后通过Gazebo搭建的仿真环境与室内结构化模拟环境对算法进行了验证。结果表明,在大型结构化场景下,算法具有更好的适应性以及更高的计算效率,能够快速为无人系统提供精准的地图初始位姿。     

基于立体视觉的无人机位姿测量方法

现有的无人机位姿视觉测量方法大多基于诸如关键点等几何尺寸在图像和模型间的对应关系完成位姿计算；然而，在复杂情况下易出现关键点图像坐标定位失效的问题，而针对特定机型的算法设计泛化性不佳。针对这一问题，本文提出了一种基于立体视觉的固定翼无人机位姿测量方法，通过立体视觉重建目标无人机三维点云，基于无人机组件三维点云拟合鲁棒地完成位姿测量。首先，使用一种二维、三维数据结合的方式，利用卷积神经网络完成组件的分割。其次，分别利用机翼和机身点云拟合无人机坐标系的z轴和x轴，进而完成目标无人机位姿的计算。整个计算过程无需已知具体机型或尺寸。经试验验证，本文方法在10m的范围内达到了1.57°和0.07m的位姿测量精度，具有较高的精度和鲁棒性。     

动态环境下融合激光雷达和IMU的激光里程计设计

激光SLAM 通常通过多帧点云配准,完成位姿变换矩阵的估计,而点云中的动态点会降低 激光里程计的定位精度。为了减少动态点引入的误差,提出了一种动态点云识别算法,并结合该 算法改进了传统特征匹配策略,组成了动态环境下融合激光雷达和IMU 的激光里程计。通过约 束范围角与动态中心点,将点云快速分割成多个簇类,再借助IMU 信息,快速建立点云簇类配准 关系,从而去除动态点,最后根据簇类的对应关系进行约束,以提高匹配的精度与速度。使用 KITTI数据集和UGV 在多个情形下进行了实验。实验结果表明,该算法可以成功识别点云中的 多个动态对象,并通过去除动态点,有效地减少了位姿估计的累积误差。     

基于Kinect三维重建的地下井室可视化方法研究

针对现有地下井室病害探测与维护方法的不足,提出了一种基于Kinect三维重建的地下井室可视化方法,以实现其三维可视化探测与维护.还提出了一种基于多项式曲面拟合的Kinect深度测量误差修正方法,利用联合双边滤波算法对深度图像数据进行预处理;结合SIFT特征匹配和改进的RANSAC算法获取相邻点云间的初始位姿,并利用基于邻域特征的ICP算法进一步实现不同视角点云的精确配准,从而获取全局一致的稠密三维点云.最后,在三维稠密点云的基础上进行曲面重建和纹理贴图,以实现地下井室真实三维重建.实验结果表明:所提方法可有效修正Kinect深度相机的深度测量误差,在0.5～4.5m的测距范围内,其三维重建精度可达2cm;在4.5～7m的测距范围内,精度也可以保持在4.5cm以内.所提重建方法可实现地下井室真实场景的三维可视化,为地下井室的探测和维护提供了技术支持.     

基于关键装配特性的大型零部件最佳装配位姿多目标优化算法

为了控制装配过程中的关键装配特性,以大尺寸测量技术为辅助,实现大型零部件最优位姿装配,提出基于关键装配特性的大型零部件最佳装配位姿多目标优化算法。该方法将测量辅助装配(MAA)中的关键环节——最佳装配位姿拟合问题分为两步:第1步利用基于奇异值分解的解析方法将测量坐标系与装配现场的全局坐标系进行精确的空间配准,减小了坐标系对齐的误差,并以参考点拟合的偏差为优化目标,求解移动装配体当前位姿;第2步根据装配关键特性相关公差的重要程度,计算装配综合精度要求,并以最小综合偏差为优化目标求解移动装配体间的最佳装配位姿。随后给出了上述两个步骤的粒子群优化算法模型,将每步的待求解位姿作为一个拥有3个旋转自由度与3个平移自由度的粒子进行求解。最后对卫星舱段位姿最优装配问题进行仿真计算,结果证明了该优化算法在控制各项关键特性、提高综合装配质量等方面的有效性。     

航天员混合现实训练与支持技术研究

基于航天员地面单人便携训练、多人协同操作训练、空间在轨操作辅助支持以及远程协同支持等工程任务需要,开展混合现实训练与支持技术研究。设计了航天员混合现实训练与支持的工程实现总体技术框架,针对航天员地面训练环境、在轨任务环境以及远程支持环境等特殊因素,对混合现实头盔头部位姿实时估计技术、多人协同操作技术以及远程支持场景匹配等关键技术进行研究。试验验证和航天员体验表明,技术方法有效、用户体验良好,满足空间站航天员地面与长期在轨典型性训练和支持任务需求,提高了训练支持质量和效率。     

一种改进点线特征融合的双目视觉惯性定位算法

在复杂产品装配过程中,对增强现实设备定位是实现虚拟引导信息与装配现场实时融合的核心。传统基于标签或预先构建离线装配基体模型的定位方式,存在装配任务与视觉定位兼容性低,单一视觉定位鲁棒性和稳定性差的问题。利用多传感器融合的视觉惯性导航方式进行定位,可提高定位的精度和鲁棒性,有效提高复杂产品装配质量和效率。本文提出了一种基于点线特征融合的双目视觉惯性定位算法,对双目相机和惯性测量单元（Inertial measurement unit,IMU）进行联合标定,并通过ORB和LSD线端融合的点线特征提取匹配,采取视觉和IMU紧耦合的方式,建立基于点线特征的视觉惯性融合的位姿误差融合模型。对比VINS-Fusion、PL-VIO和本文改进IPLVIO算法,结果表明IPL-VIO算法在结构化场景下的绝对位移和旋转误差比原算法误差更小,同时结构化场景信息更加丰富,能够应用在弱纹理的AR装配现场中,为增强现实辅助装配平台提供稳定可靠的位姿数据。     

基于测量点云的涡轮叶片配准定位算法应用研究

涡轮叶片是航空发动机的核心零件,其精铸后进行数控机加需要先实现叶片测量点云与CAD模型的快速、准确配准定位。为此,针对测量点云初始位姿不佳的问题,实现了基于主成分分析的预对齐和手工关联预对齐两种预对齐算法;针对匹配点计算效率较低的问题,实现了网格法、赋范空间投影法和基于kd–tree快速搜索法3种搜索算法,通过对比分析发现,基于kd–tree搜索算法计算效率较好。在此基础上,确定了手工关联预对齐、基于kd–tree快速搜索匹配点集和ICP方法的配准方案,示例测量点云配准定位后与CAD模型差异区间为[–0.06 mm,+0.1 mm],符合涡轮叶片铸造精度情况。     

基于点云聚类评估的激光雷达鲁棒定位方法CSCD

基于先验地图的激光雷达定位方法在封闭工业场景下得到了广泛应用,然而环境变化、行人和车辆等动态物体的干扰会影响激光雷达与先验地图的匹配精度。提出了一种动态环境下基于点云聚类评估的三维激光雷达鲁棒定位方法:通过设定角度和距离双阈值,对点云深度图像进行分割聚类,相较于传统分割方法,分割结果对点云噪声更为鲁棒;通过对原始点云进行分割聚类,在粗匹配结果下评估聚类的匹配度,剔除误匹配聚类进行二次匹配以提高匹配精度;通过聚类评估的结果判断匹配成功和失败的点对,进而对点云整体匹配结果的正确性进行评估,相较于传统仅基于距离阈值的判断准则,具有更高的准确性;最终,分别通过公开数据集和实际试验验证了该算法的有效性。试验结果表明,相较于传统匹配方法,该方法有效提高了动态场景下的定位精度和匹配结果评估的准确度,定位误差可以维持在10cm以内。     

末制导DBS图像匹配方法研究

提出了一种适于工程应用的末制导DBS图像匹配方法,采用DBS成像,结合目标场景中强散射点的空间位置关系实现基于模板的目标场景匹配,快速定位及打击目标,较好地解决了末制导成像识别及定位问题。实测数据仿真结果表明,基于模板的DBS图像匹配算法可抑制多种图像畸变,具有较高的匹配可靠性和匹配精度,满足了雷达导引头DBS图像识别的工程使用要求,具有较强的实用价值。     

基于鱼眼相机和RGBD相机的异构协同SLAM

SLAM技术在卫星导航拒止环境下的自主导航中有着广泛的应用前景。结合单目鱼眼SLAM可获取更多纹理信息的优势和RGBD-SLAM可直接获取尺度信息的优势，设计基于单目鱼眼相机和RGBD相机的异构协同SLAM系统。首先设计特征点对三维灰度质心方向一致性检验方法以筛选异构图像之间的候选匹配点。然后设计异构图像之间的分步式光流-投影匹配方法，以实现鱼眼相机和RGBD相机之间高性能的特征点匹配与相对位姿估计。最后基于ORB-SLAM2框架，提出基于鱼眼相机和RGBD相机的异构协同SLAM系统框架。实验结果表明：相比于传统的特征点匹配方法，设计的特征匹配方法在异构相机的图像特征匹配任务中能够表现出更高的性能。相比于单目鱼眼SLAM系统和RGBD-SLAM系统，提出的异构协同SLAM系统在相机快速移动、相机贴近景物、低帧率、纹理缺失等条件下，以及在相机纯旋转运动、室外大场景等条件下性能更优，其鲁棒性、抗轨迹漂移能力和轨迹精度比单目鱼眼SLAM系统和RGBD-SLAM系统都有较大提升。     

基于彩色编码的副油箱风洞模型位姿测量方法

高速飞行器副油箱分离位姿参数是飞行器以及副油箱设计的重要基础数据。位姿参数测量工作多在高度模拟飞行器飞行状态的风洞环境下进行,对缩比模型实施高速非接触测量。受风洞试验段观察视窗限制以及副油箱模型形状影响,副油箱模型位姿测量十分困难。首先针对风洞观察视窗以及风洞复杂环境对图像采集效果的影响,提出了基于自发光单元的副油箱运动序列图像采集方法,采用双目视觉系统高速采集获得目标物的清晰序列图像;其次,提出基于环绕式彩色编码的自发光标记点匹配方法,实现风洞复杂环境内标记点的高精度匹配;最后,根据副油箱表面合作标记点的三维坐标获取副油箱模型的位姿信息。试验结果表明:所提出的位姿测量方法满足测量要求,其最大位移误差不超过0.102mm、最大角度误差不超过0.201°。     

基于SURF特征匹配的优化RatSLAM类脑导航方法

RatSLAM是模拟鼠类感知环境机制提出的一种定位与构图的导航算法。针对复杂环境如光线影响导致RatSLAM产生误差的问题,提出了基于SURF特征匹配与位置细胞校正算法的优化RatSLAM类脑导航模型。本方法通过一套移动视觉系统采集环境信息,构建的局部场景细胞通过SURF特征匹配算法获取到载体在环境中的方向与位置信息,头朝向细胞与位置细胞通过连续吸引子神经网络共同表示载体当前的位姿,利用上述细胞所获取的位姿与时间信息,通过路径积分计算当前载体在坐标系中所处的位置,最后构建基于认知点的拓扑经验地图。此外,在局部场景细胞获取环境信息的同时,通过SURF特征匹配算法来进行闭环检测与检测预先设置好的位置细胞节点,对当前运动轨迹进行修正。实验结果表明,在有光线影响的情况下,本文所提出的方法将绝对定位误差大大降低。     

一种检测特征引导的飞机零件模型配准方法

模型配准是飞机零件数字化检测的关键。提出一种检测特征引导的模型配准方法,分析零件检测中的配准问题,建立模型配准的数学模型,根据零件检测特征点的选取策略以及模型配准的可靠性分析,预先规划出CAD模型上的目标匹配点集,采用基于奇异值分解的最近点迭代(SVD-ICP)算法实现精确配准。试验证明了该方法的有效性,提高了配准效率和可靠性。     

一种地形轮廓特征的立体视觉三维重建方法

针对自然地形轮廓特征的三维数据测量问题,提出了一种基于区域分割的立体视觉三维重建方法。先通过分水岭变换进行图像分割,根据分割区域边界确定图像中场景的轮廓边缘。轮廓边缘按所属区域分组进行立体匹配,根据分割区域相互邻接的全局特征和各区域的位置、尺寸、灰度值局部特征建立区域约束,并根据区域边缘像素点梯度分布特点建立梯度方向约束,以减小立体匹配的搜索空间、优化匹配顺序、提高匹配精度。进而根据双目立体视觉的成像模型计算匹配边缘点的三维坐标,实现地形轮廓边缘的三维重建。实验结果表明,该方法能够快速有效地重建出体现地形三维结构特征的轮廓边缘,并具有较高的立体匹配正确率和重建精度。     

基于贝叶斯纠错的AR辅助飞机装配数据纠错方法

增强现实(Augmented Reality)技术用于飞机装配中可以有效提高装配效率。通过无线网络的使用,增强现实设备可以便捷访问各种人工智能服务,将自然场景下的光学字符识别(Optical Character Recognition)技术作为云服务用于AR辅助装配中减少人工录入以加速装配过程。针对AR辅助飞机线缆装配中线缆识别存在错误的问题,基于贝叶斯纠错器,结合航空线缆规则提出一种数据纠错的后处理流程,使用噪声通道模型对线缆的识别结果数据进行推理纠错,并构建了基于云服务的AR辅助线缆装配体系。在该系统的环境下,进行AR辅助的航空线缆装配试验,将导线识别准确率从88%提高到98%,验证了该系统具有一定高效性的同时保证了正确性。     

基于旋转搜索的相机位姿估计和对应点匹配

传统的同步位姿计算和对应点匹配（SPCD）算法采用两阶段交替迭代的方式计算相机位姿，求解精度较低。除此之外，传统SPCD算法依赖于局部搜索策略，无法保证找到全局最优解。为提升求解SPCD问题的精度和全局收敛能力，推导出了一种新的基于点和点约束的SPCD问题求解模型。基于新模型从角度距离出发构建优化目标函数，并利用分支定界搜索的方法寻找最优相机位姿和3D/2D匹配关系。实验证明：相比于传统SoftPOSIT算法，本文算法具有更高的求解精度和收敛率，并且可适用范围更广。     

基于图优化的惯性/地磁/激光雷达复合定位技术研究

为解决卫星失锁条件下车辆的高精度、高可靠性定位问题,结合惯性导航、运动约束、地磁 匹配、激光点云匹配方法的优势,提出了一种基于图优化的惯性/地磁/激光雷达复合定位方案。 首先,采用因子图优化算法,实现惯导预积分信息、运动约束信息、地磁匹配信息、激光雷达点云匹 配信息的异步多源信息融合。然后,在点云匹配失效时,惯性/运动约束/地磁可以实现精度保持, 为点云匹配提供持续可用的先验信息,以避免点云匹配一旦失效后由于先验位姿发散再难匹配的 问题。最后,搭建试验平台完成跑车试验。试验结果表明,该方案可以实现车辆的高精度、高可靠 性定位,点云匹配有效定位精度为1.24m(max),均方根为0.48m,在因点云地图缺失而造成匹配 失效时,惯性/运动约束/地磁可实现定位精度保持在10.29m(max)。