基于高斯过程的机器人自适应抓取策略

在机器人抓取作业时,目标物体的位姿经常发生变化。为了使机器人在运动过程中能够适应物体的位姿变化,提出了一种基于高斯过程的机器人自适应抓取策略。该方法建立了从观测空间到关节空间的映射,使机器人从样本中学习,省去了机器人视觉系统的标定和逆运动学求解。首先,拖动机器人抓取物体,记录物体的观测变量和机器人的关节角度;然后,利用记录的样本训练高斯过程模型,实现观测变量和关节角度的关联;最后,当得到新的观测变量时,通过训练的高斯过程模型得到机器人的关节角度。经过训练后,UR3机器人成功抓取了物体。     

真实场景水下语义分割方法及数据集

随着水下生物抓取技术的不断发展,高精度的水下物体识别与分割成为了挑战。已有的水下目标检测技术仅能给出物体的大体位置,无法提供物体轮廓等更加细致的信息,严重影响了抓取效率。为了解决这一问题,标注并建立了真实场景水下语义分割数据集DUT-USEG,该数据集包含6 617张图像,其中1 487张具有语义分割和实例分割标注,剩余5 130张图像具有目标检测框标注。基于该数据集,提出了一个关注边界的半监督水下语义分割网络(US-Net),该网络通过设计伪标签生成器和边界检测子网络,实现了对水下物体与背景之间边界的精细学习,提升了边界区域的分割效果。实验表明:所提方法在DUT-USEG数据集的海参、海胆和海星3个类别上相较于对比方法提升了6.7%,达到了目前最好的分割精度。      

基于动态视觉传感器的无人机目标检测与避障

针对无人机在动态环境中感知动态目标与躲避高速动态障碍物,提出了基于动态视觉传感器的目标检测与避障算法。设计了滤波方法和运动补偿算法,滤除事件流中背景噪声、热点噪声及由相机自身运动产生的冗余事件;设计了一种融合事件图像和RGB图像的动态目标融合检测算法,保证检测的可靠性。根据检测结果对目标运动轨迹进行估计,结合障碍物运动特点和无人机动力学约束改进速度障碍法躲避动态障碍物。大量仿真试验、手持试验及飞行试验验证了所提算法的可行性。     

基于经验的抓取姿态构造及数据手套校正

针对数据手套校正过程中真实人手姿态获取困难、校正模型简单的问题,提出一种基于真实抓取经验的校正数据库构造方法.该算法根据人手生理结构和手套传感器布局建立具有更高运动逼真度的虚拟手运动学模型,实现更为灵活的拇指运动和软手掌效果;在不需要任何外部硬件设备的情况下,将真实抓取经验与最优化理论结合,寻找针对给定三维物体及操作任务的最优抓取姿态,从而构造真实人手姿态数据库;利用最小二乘拟合和闭环迭代算法获得精确的数据手套传感器输出模型.实验结果表明:所提出的姿态构造方法能有效提高数据手套校正效率,且操作过程简单,易于实现自动化校正,适合实际工程应用.     

改进YOLOv5s的弱光水下生物目标检测算法

针对水下光学图像目标检测过程中由于水中光线衰弱严重、图像环境复杂和拍摄设备移动等造成的生物识别精度低的问题,提出了基于改进YOLOv5s的弱光水下生物目标实时检测算法YOLOv5s-underwater。针对弱光水下光线衰弱的问题,引入了限制对比度自适应直方图均衡(CLAHE)算法对输入图像进行预处理,解决了颜色失真和图像毛糙的问题。针对复杂的弱光水下图像环境,提出了快速空间金字塔池化(SPPF)模块,解决了水下物体区分度低和特征损失严重的问题。针对拍摄设备移动带来的场景和形态变化问题,提出了一种基于旋转窗口的SwinTransformer模块,提高了模型的泛化能力。针对水下小目标,修改了网络模型结构,提高了小目标的检测能力。仿真和实验结果表明：所提算法相较于YOLOv5s检测精度提高30.7%,证明了算法的有效性。     

基于立体图像的多路径特征金字塔网络3D目标检测

3D目标检测是计算机视觉和自动驾驶中一项重要的场景理解任务。当前基于立体图像的3D目标检测方法大多没有充分考虑多个目标之间的尺度存在较大差异,从而尺度小的物体容易被忽略,导致检测精度低。针对这一问题,提出了一种基于立体图像的多路径特征金字塔网络(MpFPN)3D目标检测方法。MpFPN对特征金字塔网络进行了扩展,增加了自底向上的路径、由上至下的路径及输入特征图到输出特征图之间的连接,为联合区域提议网络提供了更高语义信息和更细粒度空间信息的多尺度特征信息。实验结果表明:在3D目标检测KITTI数据集上,无论在场景简单、中等、复杂情况下,所提方法获得的结果都优于比较方法的结果。      

基于深度学习的无人机视觉目标检测与跟踪

针对目标检测中小目标物体漏检率及误检率高等问题,提出了一种基于Yolov3-Tiny算法的改进模型。改进k-means聚类方法,增加3×3和1×1的卷积池化层,将第9层卷积输出上采样,并与第8层卷积得到的特征图进行连接,得到新的输出:52×52卷积层,形成新的特征金字塔。基于卡尔曼滤波算法实现目标跟踪,提出融合跟踪算法的检测网络,使用匈牙利匹配算法对检测边缘框与跟踪边缘框进行最优匹配,利用跟踪结果修正检测结果,提高了检测速度,同时提升了检测能力。在ROS、Gazebo和自动驾驶仪软件PX4的综合仿真环境下对所提算法进行了对比试验。试验结果表明:改进算法平均检测速度降低了15.6%,mAP提高了6.5%。融合跟踪算法后的网络平均检测速度提高了34.2%,mAP提高了8.6%。融合跟踪算法后的网络能够满足系统实时性和准确性的要求。      

基于改进YOLOv5s的安全帽检测算法

针对现有安全帽检测算法难以检测小目标、密集目标等缺点，提出一种基于YOLOv5s的安全帽检测改进算法。采用DenseBlock模块来代替主干网络中的切片结构，提升网络的特征提取能力；在网络颈部检测层加入SE-Net通道注意力模块，引导模型更加关注小目标信息的通道特征，以提升对小目标的检测性能；对数据增强方式进行改进，丰富小尺度样本数据集；增加一个检测层以便能更好地学习密集目标的多级特征，从而提高模型应对复杂密集场景的能力。此外，构建一个面向密集目标及远距离小目标的安全帽检测数据集。实验结果表明：所提改进算法比原始YOLOv5s算法平均精确率（mAP@0.5）提升6.57%，比最新的YOLOX-L及PP-YOLOv2算法平均精确率分别提升1.05%与1.21%，在密集场景及小目标场景下具有较强的泛化能力。     

基于R-D SSD模型航空发动机安装工位检测算法

为解决航空发动机在安装过程中大多实行人工安装、定位不精确等问题,在研究其自动化安装方法中,针对航空发动机安装工位的检测需求,提出了一种残差网络与膨胀卷积相融合的SSD改进算法(R-D SSD)。将经典SSD模型的主干网络VGG16替换为残差网络ResNet-101,并增加其输出特征图上的预选框数量,解决了原始算法对底层特征抓取能力不足的问题,进而弥补了对小目标检测效果较差的缺陷;利用膨胀卷积扩大网络的感受野,获取足够的安装工位边缘特征细节信息,在不改变网络结构的同时,保证了模型良好的实时性和对目标的检测精度。实验表明:对于小目标数据集和整个数据集,R-D SSD算法的平均检测精度较原始算法分别提高了8.6%和4.0%,可以满足航空发动机安装时平均检测精度不低于85%的要求。      

四旋翼无人机的自适应故障诊断与估计

针对四旋翼无人机执行器常见故障，提出一种基于自适应技术和观测器的鲁棒故障检测和估计（FDE）方法。在故障检测阶段，设计非线性诊断观测器，通过解析函数推导出阈值，确保所提检测方法的鲁棒性，并对所设计的观测器和残差评估函数进行证明。在故障估计阶段，提出基于切换ρ-修正的自适应律来准确估计检测到故障的方案。该方案不仅能够同时估计系统状态和残差信号，而且能估计未知故障的特征和大小。通过线性矩阵不等式进行设计参数的计算。利用2种故障场景分别进行仿真验证，同时在4种情况下讨论所提方法的有效性。基于四旋翼无人机硬件在环实验台验证了所提方法的可行性。     

基于Faster R-CNN的精密零部件的识别方法

在航空航天领域中，惯性陀螺等精密器件装配精度要求较高，目前大多采用人工装配的方法，装配效率低、装配过程受人主观影响大。针对上述存在的问题，采用基于Faster R-CNN模型的目标识别算法，通过VGG16特征提取网络提取特征信息，在模型训练过程中利用COCO数据集的深度网络模型进行迁移训练，防止模型过拟合并加速参数的训练过程。同时，该方法还与其他深度学习模型以及传统的目标识别算法进行了对比，在自建的数据模型测试集上进行试验。结果表明，基于VGG16的Faster R-CNN目标识别模型在复杂环境及物体发生遮挡的情况下对于惯性陀螺的识别具有明显的优势，准确率可达到87.80%，召回率80.30%，识别速度可达到15FPS，能够满足实时性要求。     

单目视觉三维运动位姿测量方法研究

针对基于点特征的单目视觉位姿测量,研究了一种基于不共面5个编码特征点的单目视觉解算算法,利用大靶面高分辨率相机采集运动物体姿态图像,利用目标物体上编码特征点间的几何约束关系,通过正交迭代解算算法完成目标物体的位姿测量。实验结果表明：位移测量不确定度优于0.5mm,姿态测量不确定度优于0.05°,可满足航空航天领域试验测量要求。     

基于水下机器人的海产品智能检测与自主抓取系统

针对水下机器人实现自主抓取过程中缺乏引导系统的问题,提出了一种依托水下机器人的海产品智能检测与自主抓取系统,用来解决水下目标的智能检测问题,并引导水下机器人进行海产品的自主抓取。将卷积神经网络检测算法应用到水下场景,利用水下图像数据集训练特定的网络模型DSOD检测海产品。建立短基线定位系统定位水下作业的机器人。通过分析相机成像坐标系与定位系统坐标系之间的关系,提出了一种计算海产品实际位置的坐标转换方法,计算海产品的实际位置。设计了一种基于反馈机制的多信号分析方法,引导机器人在水下移动并抓捕海产品。为了验证所提系统的有效性,搭建了一款水下抓捕机器人,并成功将所提算法应用到机器人,在真实海洋环境中进行海产品的自主抓取实验。      

基于Kinova机械臂RGBD相机的目标抓取

在轨服务与维护是未来航天技术的重要发展方向.在轨服务如燃料加注、剪切与操作电线、旋拧盖子和拆装阀门等任务,具有负载轻、近距离感知及精准定位和抓取等特点.针对这些应用场景,采用轻量化机械臂Kinova及自带彩色和深度(red, green, blue and depth, RGBD)相机进行感知、定位和抓取,完成地面验证实验,为在轨服务提供理论支持.介绍了机械臂抓取系统的研究背景并描述开发平台及其特点,以及相机标定、彩色相机与深度相机配准原理.利用机器人操作系统(robot operating system, ROS)的坐标变换树得到彩色图像目标像素在世界坐标系的坐标位置.针对特定的抓取对象提出基于色调、饱和度和亮度(hue, saturation and value, HSV)颜色空间图像分割方法,进行目标检测、分割以及空间定位,实验环节机械臂根据视觉定位结果完成目标抓取过程,证明了颜色空间图像分割方法和深度图结合定位的有效性,为在轨服务提供了理论验证.     

基于多模态联合语义感知的零样本目标检测

零样本目标检测借助语义嵌入作为引导信息,将未见过的物体的视觉特征与类别语义嵌入映射到同一空间,根据其在映射空间的距离进行分类,但由于语义信息获取的单一性,视觉信息缺乏可靠表示,易混淆背景信息和未见过对象信息,使得视觉和语义之间很难无差别对齐。基于此,借助视觉上下文模块捕捉视觉特征的上下文信息,并通过语义优化模块对文本上下文和视觉上下文信息进行交互融合,增加视觉表达的多样化,使模型感知到前景的辨别性语义,从而有效地实现零样本目标检测。在MS-COCO的2个划分数据集上进行实验,在零样本目标检测和广义零样本目标检测的准确率和召回率上取得了提升,结果证明了所提方法的有效性。     

基于级联注意力机制的孪生网络视觉跟踪算法

针对全卷积孪生网络（SiamFC）在相似物体干扰及目标发生大尺度外观变化时容易跟踪失败的问题，提出了一种基于级联注意力机制的孪生网络视觉跟踪算法。首先，在网络的最后一层加入非局部注意力模块，从空间维度得到关于目标区域的自注意特征图，并与最后一层特征进行相加运算。其次，考虑到不同通道特征对不同目标和各类场景的响应差异，引入通道注意力模块实现对特征通道的重要性选择。为了进一步提高跟踪的鲁棒性，将其与SiamFC算法进行加权融合，得到最终的响应图。最后，将提出的孪生网络模型在GOT10k和VID数据集上进行联合训练，进一步提升模型的表达力与判别力。实验结果表明:所提算法相比于SiamFC，在跟踪精度上提高了9.3%，在成功率上提高了5.4%。      

生物工程微操作机器人视觉系统的研究

针对生物工程领域显微操作的要求和特点,设计并实现了一个显微视觉系统.该系统采用基于相关系数的模板匹配算法和基于形态学运算的识别算法,能同时获得至少3个目标的二维位置信息.这两种算法均可由能够用硬件并行实现的离散卷积运算来实现,从而能够快速地计算目标的位置信息,实现了实时视觉伺服控制.实验结果表明视觉伺服控制能有效地提高系统的性能;视觉系统能够满足实时控制的要求.     

封闭式仿生螺旋缠绕软体夹持器的设计与研究

针对目前软体夹持器缺乏螺旋缠绕变形的理论研究及传统多指软体夹持器夹持力不足的问题，开展了针对纤维增强结构的仿生软体夹持器螺旋缠绕变形特性的研究，提出了一种新的封闭式抓取方式。首先，设计了仿生软体夹持器，该夹持器由软体夹持装置、软体夹持套、紧固套及连接装置组成。其次，基于Mooney-Rivlin模型建立了驱动压强与驱动器螺旋缠绕变形后端面扭转角度的非线性数学模型，并对夹持器封闭式抓取的末端闭合特性进行了分析。然后，开展了单元驱动器螺旋缠绕变形的仿真及实验，结果证明了理论模型的正确性。最后，进行了仿生软体夹持器封闭式抓取实验。结果表明:封闭式仿生软体夹持器具有较大的负载能力及良好的目标适应性。      

基于改进SSD的无人机航拍目标检测

针对无人机航拍图像尺度变化大、识别难度大和目标普遍较小的问题,提出一种基于改进单阶段多框检测器(single shot multibox detector, SSD)的无人机航拍目标检测算法——RCBnet.该算法为了提升网络的特征提取能力,将SSD算法的特征提取网络修改为Resnet-50并采用特征融合的方式,将特征图进行融合,用融合后的特征图构建特征金字塔;为了增强算法对物体的检测能力,设计一种联合注意力机制的多尺度卷积结构来有效调节感受野,实现不同尺寸卷积核对特征图的并行运算;针对训练过程中正负样本极具不平衡的问题,该算法采用Focal Loss损失函数训练网络模型,使其侧重于困难样本.通过与其他经典算法相比可知,所提算法在无人机航拍图像中具有更高的检测精度、更好的检测性能和鲁棒性,相比SSD,精度提高达3.46%.     

高温环境下物体外形轮廓动态测量与评价方法探索

针对高温环境下的物体外形轮廓测量,给出了一种基于立体视觉的动态测量与评定方法。包括实现轮廓度测量的光学特征构建方法、基于光谱原理的高温图像采集方法、理论轮廓数据建模及评价方法。通过试验将该方法的测量结果与三坐标测量机的测量结果进行了分析和比较。结果证明,该方法的轮廓度测量误差小于0.5mm,可以满足高温环境下物体外形轮廓检测的要求。