基于区域分割的红外与可见光图像融合算法的研究(英文)

由于红外图像和可见光图像的成像特点不同,因此在航空监视领域红外图像和可见光图像融合有重要的研究意义。由于非下采Contourlet变换具有更好的方向性、较高的逼近精度和更好的稀疏表达性能,能有效的提取图像的特征信息。因此我们在非下采Contourlet域,以空间频率为度量标准对红外图像进行阈值分割,经过分割将红外图像和可见光图像分别划分为目标区域以及背景,随后对红外图像和可见光图像进行边缘检测从而得到边缘区域,针对三个不同区域分别选择不同的融合规则进行融合。通过两组不同灰度差异的红外与可见光图像的实验,将基于像素点,窗口策略的融合算法和本文所提出基于区域算法进行了主观和客观的对比,试验结果表明基于区域分割的红外与可见光图像融合算法不仅能有效提取出红外图像中的目标信息还能有效的保持可见光图像的所反映的光谱信息,因此本文提出的算法是一种有效且可行的图像融合算法。     

无人车基于激光雷达/视觉的目标体积自动测量方法

近些年,基于激光雷达和视觉的目标感知在无人系统中得到了广泛应用。目标的体积测量在很多应用场景可以发挥极其重要的作用,然而对识别感知目标的体积测量,目前尚无大量研究。首次提出了一种基于激光雷达/视觉的无人车目标体积自动测量方法,实现了无人车与目标体积测量功能的结合。通过在LeGO-LOAM算法中加入点云畸变补偿,相较于原始LeGO-LOAM算法,无人车在高速情况下的构图精度得到提升;通过将激光雷达与视觉进行深度融合,实现了目标的自动识别与全局定位;通过基于平面拟合的地面分割与欧式聚类,实现了目标点云轮廓的实时获取;通过设计一种基于切片法的不规则物体体积测量方法,实现了无人车在运动情况下对目标体积的自动估计。最终,分别通过Gazebo仿真和实际试验验证了算法的有效性。试验结果表明,所提算法在无人车运动的情况下对静态目标物的实时体积测量精度优于3%,具有较好的工程应用价值。     

基于无监督深度学习的红外与可见光图像融合

目前已知的多数基于卷积神经网络的红外与可见光图像融合模型没有充分利用来自可见光源图像的层次特征,因此导致融合图像细节纹理不足。受残差网络和密集网络的启发,提出了一种基于无监督深度学习的图像融合算法来解决融合图像细节纹理信息不足的问题。使用的残差密集块有连续存储机制,最大程度地保留每层的特征信息,局部残差融合和全局残差融合的设计有利于学习图像中的结构纹理。此外,为了更好地保留可见光图像中的细节纹理,引入了生成对抗网络对数据集进行无监督学习。主客观实验表明,该算法不仅获得了良好的视觉融合效果,融合图像具有更多的边缘纹理信息,在客观评价指标上对比现有优秀的算法也较大的提升。     

一种基于天水线的红外舰船图像目标识别方法

针对海天背景下红外舰船目标的识别,提出了一种基于天水线的目标识别方法.利用被识别目标相对天水线的空间位置目标红外特征量和图像帧间信息识别目标,在强干扰环境下,利用该方法进行了仿真实验,得到了很好的效果.     

红外与可见光图像融合的空间碎片识别方法

针对暗弱空间环境中空间碎片的识别问题,提出了一种光照不均匀环境中的空间碎片识别方法。不同于现有识别方案,该方法从光照不均匀导致空间碎片图像源细节丢失造成识别性能下降的角度出发,首先将空间碎片的红外和可见光图像进行深度融合,并建立空间碎片融合图像数据库,然后基于训练样本采用深度学习技术训练得到空间碎片识别模型。算法分析表明,该图像融合方案具有高度的细节保留能力,识别模型具有在暗弱环境中高精度目标识别能力。最后进行了仿真实验,实验结果表明,该识别方案在姿态变化、图像源亮度变化等干扰条件下都具有较好的鲁棒性。     

一种基于边缘特征的改进ORB算法

ORB算法运算速度快,抗旋转变换能力好,但对可见光和红外图像匹配效果较差,为解决该问题,提出了一种基于边缘特征的改进ORB算法。该算法首先针对传统canny算子需要人工设定阈值的缺点,采用基于改进最大类间方差（Otsu）的自适应canny算子对图像进行边缘检测,然后对边缘图像进行ORB特征检测与描述,最后在最近次临近粗匹配的基础上进行RANSAC算法精匹配,提高了算法正确率。实验结果表明,该算法对可见光与红外图像匹配具有较好的鲁棒性,正确匹配点数和正确匹配率均比ORB算法高,能推广使用到可见光和红外图像融合等领域。     

航天器空间对接位置视觉测量方法

针对航天器空间对接过程中对接环位置的实时测量问题,提出了一种基于单目视觉的对接环识别定位新方法.通过将采集到的目标图像序列RGB信息转换到HSV色彩空间,以图像色调值为判据,实现了航天器空间对接环目标特征的有效提取.结合最小二乘椭圆拟合算法和小孔成像理论,建立了单目视觉的对接环识别定位模型,以完成航天器空间位置的精确计算.仿真结果表明,航天器近距定位可达到小于2 cm的精度,完全能够满足对接的精度要求.     

一种基于红外图像的目标自动识别算法

红外成像制导具有在各种复杂战术环境下自主搜索、捕获、识别和跟踪目标的能力,代表了当代红外制导技术的发展趋势。提出了一种红外图像预处理、跟踪、分类的自动目标识别算法,利用小波变换、形态学方法对红外图像进行预处理,提取不同频带的惯性不变矩作为特征量,利用神经网络进行分类识别,结果表明该算法具有很高的识别率,对于精确制导武器的目标识别研究具有一定的参考价值。     

基于加权的可见光与红外光图像融合算法

红外图像所含边缘等细节偏少、可见光又容易受外部环境干扰,融合图像可以提供更全面的信息,符合人或机器的视觉特性,为图像进一步分析、识别等提供基础。提出一种比值与梯度加权的可见光与红外光图像融合算法,结合小波变换在图像分解中的特性及信号集中的特点,将小波变换应用于红外光和可见光图像融合中可以提高融合信息的理解能力。针对分解获得的低频系数主要反映图像细节信息的特点,对低频系数采用比值加权分析融合规则;针对分解获得的高频系数主要反映图像边缘信息特征的特点,对高频系数采用改进边缘检测算子梯度加权的融合规则。选取多组图像进行了不同融合规则实验对比分析,通过客观评价指标进行评价,改进的融合算法可以获得较清晰的融合图像,可以增加图像的互补信息,并能较好地提高融合图像的清晰度。     

CamShift在加油锥套识别跟踪中的应用

针对插头锥套式自主空中加油过程中加油锥套的识别跟踪问题,提出了一种基于Cam Shift的视觉识别跟踪算法。选取加油锥套跟踪视觉特征,将RGB空间图像转换到HSV色彩空间,并采用自适应阈值算法分割图像。运用最小二乘椭圆拟合算法解算锥套在图像中的中心点坐标;根据目标像素位置变换速度,对Mean Shift算法的目标搜索窗宽进行自适应修正;定义基于巴氏系数的阈值函数,处理锥套被遮挡的情况;将VC与Open CV相结合,设计了加油锥套视觉跟踪软件,对锥套位置进行实时解算和显示。试验结果表明,该算法可达到毫米级精度,满足自主空中加油视觉导航的技术要求。     

基于改进DeepSORT的视觉/激光雷达目标跟踪与定位方法CSCD

通过结合目标跟踪与相对定位,在对多帧检测目标进行关联与分析的同时,可以获取其三维信息。但当目标外观特征变换较大时,传统目标跟踪算法较易发生漏匹配或身份变换,而仅依靠对齐点云的相对定位算法较易出现定位失效的情况。针对以上问题,提出了一种基于改进DeepSORT的目标跟踪与定位方法在原始DeepSORT算法中加入基于位置约束的匹配,解决了因外观改变导致的漏匹配问题;在获取跟踪信息的基础上,设计了基于目标运动模型的相对定位方法,解决了图像中目标较小时相对定位不连续且定位精度较低的问题。试验结果表明,与传统DeepSORT算法相比,多目标跟踪准确度提高了5.9%;与仅依靠对齐点云的相对定位算法相比,定位精度提高了62.4%。     

改进的 YOLOv4在飞机蒙皮损伤检测中的应用

针对飞机蒙皮检测中存在的小目标检测欠佳、漏检等问题,提出了 1种基于增强特征融合和 ATSS的 YO. LOv4飞机蒙皮图像目标检测算法。首先,增加用于目标预测的大尺度浅层特征层,以提高模型对小目标的检测效果;其次,增加特征融合网络层数,通过浅层与深层特征层的深度融合,丰富多尺度特征图中的特征信息;然后,通过 K-means++聚类算法对数据集的真实框聚类,获得更具代表性的先验框尺寸,以提高预测框对目标的定位准确度;最后,引入 ATSS对 YOLOv4的样本选择策略进行优化,通过自适应获取最优的 IoU阈值,实现正负样本自动划分,提升模型的检测性能。实验表明,在增加少量计算成本的情况下,算法的检测性能得到有效提升,mAP提升 7.7%,检 测的准确率达到 80%以上。     

基于多模态感知与融合的无人车韧性导航系统

针对野外复杂环境下的无人车自主导航需要,建立了一种基于多源融合定位、语义建图与运动规划的智能导航系统.首先,针对IMU、轮式里程计、视觉SLAM与激光雷达SLAM等测量子系统,设计了误差状态扩展卡尔曼滤波器进行融合定位.其次,基于改进的CNN语义分割网络生成环境的语义图像,与3D激光雷达点云融合,并使用最大概率更新算法构建语义3D地图.接着,在语义和几何信息投影获得可通行性代价的基础上,提出了一种语义动态窗口的局部路径规划方法.最后,将以上感知、定位与规划方法整合成完整的智能导航系统,在城市与野外典型场景的测试中,相对定位误差小于0.4％D,具备一定的韧性导航定位和智能感知规划能力.     

N-fold Bernoulli probability based adaptive fast-tracking algorithm and its application to autonomous aerial refuelling

Recently, deep learning has been widely utilized for object tracking tasks. However, deep learning encounters limits in tasks such as Autonomous Aerial Refueling (AAR), where the target object can vary substantially in size, requiring high-precision real-time performance in embedded systems. This paper presents a novel embedded adaptiveness single-object tracking framework based on an improved YOLOv4 detection approach and an n-fold Bernoulli probability theorem. First, an Asymmetric Convolutional Network (ACNet) and dense blocks are combined with the YOLOv4 architecture to detect small objects with high precision when similar objects are in the background. The prior object information, such as its location in the previous frame and its speed, is utilized to adaptively track objects of various sizes. Moreover, based on the n-fold Bernoulli probability theorem, we develop a filter that uses statistical laws to reduce the false positive rate of object tracking. To evaluate the efficiency of our algorithm, a new AAR dataset is collected, and extensive AAR detection and tracking experiments are performed. The results demonstrate that our improved detection algorithm is better than the original YOLOv4 algorithm on small and similar object detection tasks; the object tracking algorithm is better than state-of-the-art object tracking algorithms on refueling drogue tracking tasks.     

面向视觉着陆的高精度结构化约束特征点研究

为提高视觉着陆过程中无人机的相对定位精度,选取视觉图像中的直线交点作为结构化约束特征点,设计了基于梯度一致性的边缘检测算法,并结合Shi-Tomasi角点检测算法进行结构化约束特征点的粗定位。对LSD直线检测算法进行改进并设计了亚像素角点定位精度改进算法,在结构化约束特征点粗定位的基础上,将其精度提高到亚像素级。基于实际场景中固有约束的结构化约束特征点具有鲁棒性、旋转和尺度不变性,抗干扰能力更强,其高精度定位有利于提高视觉着陆相对定位的精度与可靠性。     

面向视觉着陆的高精度结构化约束特征点研究

为提高视觉着陆过程中无人机的相对定位精度,选取视觉图像中的直线交点作为结构化约束特征点,设计了基于梯度一致性的边缘检测算法,并结合Shi-Tomasi角点检测算法进行结构化约束特征点的粗定位。对LSD直线检测算法进行改进并设计了亚像素角点定位精度改进算法,在结构化约束特征点粗定位的基础上,将其精度提高到亚像素级。基于实际场景中固有约束的结构化约束特征点具有鲁棒性、旋转和尺度不变性,抗干扰能力更强,其高精度定位有利于提高视觉着陆相对定位的精度与可靠性。     

基于CenterNet的航空遥感图像目标检测

为实现高精度的航空图像目标检测,将Anchor free的目标检测算法CenterNet应用到检测中,同时使用Resnet50主干网络,并引入CIoU损失替代原有损失函数对网络模型做出了改进。改进后的算法在RSOD与DIOR数据集上进行测试,结果显示在保证网络轻量化的前提下检测精度有明显的提高,证明了算法在航空目标检测方面的可行性与准确性。