基于磁力计、IMU和单目视觉的自主定位方法

基于单目视觉与惯性测量单元(IMU)融合的SLAM(simultaneous localization and mapping)技术,具有硬件成本低、体积小和消耗计算资源少等优点,在移动机器人导航系统中得到了广泛的应用。单目视觉SLAM系统主要通过求解对极几何来解算位姿,但当平移为零时(仅存在姿态旋转运动),存在解算漂移的问题。通过将磁力计的数据融合到单目视觉SLAM算法中,不但可以解决纯旋转情况下姿态解算漂移问题,还可以提高解算精度。物理仿真实验的结果表明,与传统的SLAM算法相比,本文提出的基于磁力计、IMU和单目视觉融合的算法具有精度高、鲁棒性好的优点。     

视觉与惯性融合的多旋翼飞行机器人室内定位技术

随着人工智能技术的发展，无人机的应用场景趋向多元，人们对无人机的需求也不仅仅满足于简单的飞行任务，而是赋予其飞行机器人的角色，对其自主导航、复杂环境下的定位以及智能协同方面提出了更高的要求。针对室内场景下的定位需求，融合视觉与惯性数据实现了多旋翼飞行机器人的室内定位。在视觉前端加入图像增强算法以提高图像灰度对比度，减少了光流跟踪的误匹配点数。提出了一种基于图像信息的特征点提取和图像帧发布策略提高了定位精度，解决了室内环境下的定位漂移问题。针对飞行机器人室内自主跟踪及降落任务，设计了基于视觉定位的飞行机器人自主降落系统。在Gazebo中搭建飞行机器人模型仿真验证自主降落系统有效性，在EuRoC数据集下对定位算法进行对比评估，搭建飞行机器人平台在真实场景下进行室内定位实验，完成了室内场景下平台自主跟踪及降落任务，并采用运动捕捉系统获取的定位真值数据进行了误差分析，结果表明该定位技术满足室内场景下的自主跟踪及降落任务需求。     

基于Mecanum轮配送车的视觉与磁带双重导引技术研究

针对卫星总装过程中提出的物料配送需求,设计并实现了以Mecanum轮全方位移动平台为基础,可在狭窄配送通道内快速、灵活移动的智能物料配送车。结合总装现场实际环境条件,配送车采用了视觉导引与磁带导引相结合的智能导引策略,有效消除了光照强度变化、地面裂纹、电磁信号干扰等环境因素对车道线采集的影响,最终实现总装物料从库房至多工位的自动配送。     

基于类脑模型与深度神经网络的目标检测与跟踪技术研究

目标检测与跟踪技术广泛应用于交通、医疗、安保和航天等领域.目前，目标检测与跟踪技术面临目标微弱、背景复杂、目标被遮挡等挑战.同时，随着脑科学研究的不断深入，人们对人脑视觉系统的理解逐渐透彻，利用类脑计算解决复杂背景下高精度目标检测与跟踪问题成为相关领域的重要研究方向.本文结合神经工程导向的类脑模型和计算机工程导向的深度神经网络(Deep Neural Networks, DNNs)，提出多种基于类脑模型与深度神经网络的目标检测与跟踪算法，包括：基于演算侧抑制的目标检测算法，基于结构 对比度(Structure Contrast, SC)视觉注意模型的弱小目标检测算法和基于记忆机制与分层卷积特征的目标跟踪算法.实验结果表明，将类脑模型和深度神经网络应用于目标检测和跟踪领域，有利于实现复杂条件下的高精度目标检测和鲁棒性目标跟踪.     

一种基于语义信息辅助的无人机视觉/惯性融合定位方法CSCD

视觉传感器在无人机室内定位中发挥着重要作用。传统基于特征点的视觉里程计算法通过底层亮度关系进行描述匹配,抗干扰能力不足,会出现匹配错误甚至失败的情况,导航系统的精度及鲁棒性有待提升。由于室内环境存在丰富的语义信息,提出了一种基于语义信息辅助的无人机视觉/惯性融合定位方法。首先,将室内语义信息进行因子建模,并与传统的视觉里程计方法进行融合;然后,基于惯性预积分方法,在因子图优化中添加惯性约束,以进一步提高无人机在动态复杂环境下的定位精度和鲁棒性;最后,通过无人机室内飞行试验对算法的定位精度进行了分析。试验结果表明,相较于传统的视觉里程计算法,该方法具有更高的精度和鲁棒性。     

无人机视觉引导对接过程中的协同目标检测

无人机空中自主回收是未来的发展趋势,对空中载具的自动识别是实现视觉引导回收的关键技术之一。目前对于空中关联目标检测的研究局限于单个目标个体,没有充分利用关联目标之间的信息。本文针对空中高动态对接中的关联目标检测问题,提出了一种母机与挂载对接物体的单阶段快速协同目标检测算法,包括相关类别并行独立分支目标检测、相关类别掩模增强检测以及相关类别的特征一致性约束,这些模块能够共同提升检测表现。实验表明,在测试集中该算法相比于YOLOv4能够提升4.3%的平均精度,相比YOLOv3-Tiny能够提升31.6%的平均精度。同时,该算法已应用在MBZIRC2020的高动态空中对接项目上,实现机载图像在线实时处理,团队借此斩获冠军。     

基于点线特征融合的双目惯性SLAM算法

针对室内弱纹理场景下,基于点特征的SLAM算法难以追踪足够多的有效特征点,导致系统定位精度和鲁棒性较差,甚至完全失效的问题,提出一种基于点线特征并融合惯性测量单元(IMU)的双目视觉惯性SLAM算法。利用点线特征的互补优势来提高数据关联的准确性,同时引入IMU数据为视觉定位算法提供先验和尺度信息,通过联合最小化多残差函数得到更准确的相机位姿,并据此构建环境点线特征地图、稠密地图和导航地图。针对传统线特征提取算法在复杂场景下易检测到大量短线段和相似线段特征以及线段存在过分割等弊端,利用线段长度抑制、近线合并及断线拼接策略在FLD算法的基础上进行改进,以降低线特征的误匹配率,运行速度是LSD算法的2倍以上。通过对比多组公开数据集和真实弱纹理场景下得到的仿真实验结果可知,所提算法在保证定位精度的同时能够获得更为丰富的环境地图,具备较好的鲁棒性。     

图像序列中机动目标三维运动和结构的计算

综合视觉运动分析中的2类处理方法,选取图像中的角点作为特征点,在理论上证明了图像序列的光流场可以近似地用角点的位移场代替。利用已有文献中的建模思想,详细推导出递归计算机动目标三维运动和结构的非线性计算模型,采用广义卡尔曼滤波(EKF)递归地计算图像序列中机动目标的三维运动和结构。合成图像序列和真实图像序列实验结果表明该算法能取得较好的效果。     

基于RBF神经网络的结构光三维视觉检测方法

研究了基于RBF(Redial Basis Function)神经网络的结构光三维视觉检测方法.该方法利用RBF网络良好的非线性映射能力以及学习、泛化能力,通过所获取的高精度的样本数据来训练RBF网络,最终建立起了用于结构光三维视觉检测的RBF网络模型.与常规方法相比,该方法不需要考虑视觉模型误差、光学调整误差等因素对视觉检测系统测量精度的影响,因而能够有效的克服常规建模方法的不足,保证了检测系统具有较高的精度.     

基于深度学习的自冲铆接偏铆缺陷检测算法研究

自冲铆接技术适合铝钢等异种材料连接,接头性能可靠,在航空工业中有着广阔的应用场景,但目前针对自冲铆接缺陷无损检测的相关研究较少。提出了基于深度学习的自冲铆接偏铆缺陷检测算法,首先通过剪切力学性能试验得出偏铆自冲铆接件相较于正常铆接件力学性能下降了5.6%;然后通过自冲铆接偏铆件外部形貌特征将偏铆程度由外部特征定义在0～10的区间;最后探究了单步检测同双步检测间的检测效果差异,提出了YOLOv5s(You Only Look Once v5s)加ResNet18的检测方案,并通过Grad-CAM(Gradient-Weighted Class Activation Mapping)对不同检测方案的效果差异进行了可视化的解释。测试表明,提出的YOLOv5s加ResNet18的检测方案在所采集的数据测试集中可以达到100%正确率,高于仅用YOLOv5s取得的95.18%正确率,远高于仅用ResNet18取得的84.1%正确率。