A mask R-CNN based method for inspecting cable brackets in aircraft

In the aviation industry, cable bracket is one of the most common parts. The traditional assembly state inspection method of cable bracket is to manually compare by viewing 3D models. The purpose of this paper is to address the problem of inefficiency of traditional inspection method. In order to solve the problem that machine learning algorithm requires large dataset and manually labeling of dataset is a laborious and time-consuming task, a simulation platform is developed to automatically generate synthetic realistic brackets images with pixel-level annotations based on 3D digital mock-up. In order to obtain accurate shapes of brackets from 2D image, a brackets recognizer based on Mask R-CNN is trained. In addition, a semi-automatic cable bracket inspection method is proposed. With this method, the inspector can easily obtain the inspection result only by taking a picture with a portable device, such as augmented reality (AR) glasses. The inspection task will be automatically executed via bracket recognition and matching. The experimental result shows that the proposed method for automatically labeling dataset is valid and the proposed cable bracket inspection method can effectively inspect cable bracket in the aircraft. Finally, a prototype system based on client-server framework has been developed for validation purpose.     

飞机蒙皮铆接质量视觉检测系统的构建

飞机蒙皮的铆接质量是影响飞机蒙皮性能的重要指标,在分析了蒙皮铆接质量检测要素的基础上,构建了飞机蒙皮铆接质量的视觉检测系统。通过分析视觉检测系统中图像分割方法的特点,使用改进遗传算法与OSTU方法相结合对蒙皮图像进行分割,取得了较好的分割效果,并在分割图像基础上,介绍了铆钉特征的提取方法以及检测要素的获取方法。     

基于图像特征融合的粉末床缺陷检测方法

针对单一特征对粉末床缺陷表达不明确导致检测效果不佳的问题,提出了一种基于特征融合的增材制造过程粉末床缺陷视觉检测方法。该算法分别使用SIFT方法、灰度共生矩阵和Hu不变矩提取尺度空间特征、纹理特征和几何特征,借助词袋模型对每张图像构建3组视觉单词直方图,通过串行融合3组视觉单词直方图得到新的特征矩阵,采用特征选择对融合后特征矩阵进行降维,并传入随机森林分类器中进行训练。实验结果表明,不同特征对粉末床不同类型缺陷检测具有不同的贡献,优化特征融合参数后,算法平均准确率达到97.46%,缺陷检测效果明显提升。     

改进的 YOLOv4在飞机蒙皮损伤检测中的应用

针对飞机蒙皮检测中存在的小目标检测欠佳、漏检等问题,提出了 1种基于增强特征融合和 ATSS的 YO. LOv4飞机蒙皮图像目标检测算法。首先,增加用于目标预测的大尺度浅层特征层,以提高模型对小目标的检测效果;其次,增加特征融合网络层数,通过浅层与深层特征层的深度融合,丰富多尺度特征图中的特征信息;然后,通过 K-means++聚类算法对数据集的真实框聚类,获得更具代表性的先验框尺寸,以提高预测框对目标的定位准确度;最后,引入 ATSS对 YOLOv4的样本选择策略进行优化,通过自适应获取最优的 IoU阈值,实现正负样本自动划分,提升模型的检测性能。实验表明,在增加少量计算成本的情况下,算法的检测性能得到有效提升,mAP提升 7.7%,检 测的准确率达到 80%以上。     

基于厚壁工件X射线实时成像的焊缝缺陷自动检测

基于X射线成像的焊缝缺陷自动检测技术对提高工业射线检测的自动化水平具有重要意义。焊缝缺陷在线连续检测的实时性要求较高,随着工件厚度的增加,其焊缝X射线实时图像的信噪比变得很低,使得已有的处理算法难以满足实时性以及有效处理缺陷误检与漏检之间的矛盾。针对这些问题,在分析了传统方法在厚壁工件X射线图像焊缝缺陷自动检测中存在的问题基础上,对传统方法进行了改进,提出了双阈值背景消除法和平行焊接方向波形分析法,然后利用所提出算法之间的冗余性和互补性,融合多种分割结果以解决缺陷误检与漏检之间的矛盾。试验结果表明,所提出的缺陷自动检测方法能够在满足实时性要求的同时,实现缺陷检出,有效避免误检。     

飞机蒙皮裂纹的数学形态学识别方法

提出了一种基于数学形态学的飞机蒙皮裂纹磁光图像检测方法。首先应用内距均值法确定磁光图像中类圆形铆钉区域的圆形参数,然后利用自适应线性星形形态学腐蚀算子分割裂纹缺陷。其中,以四点方向快速定位法确定腐蚀算子的方向,并用中心对称法处理裂纹缺陷区域粘连的情况,最后,根据备选区域相关特征进行分类,判别缺陷存在及其特征参数。实验结果表明：算法在检测裂纹的多种特征方面具有优越性。     

基于注意力机制的实例分割算法

实例分割作为计算机视觉领域极具挑战性的任务之一,要求在图像分类的基础上为每一个物体生成像素级别的分割掩码.业界主流方案可分为自上而下和自下而上两种范式,自上而下范式又可分为双阶段分割和单阶段分割.单阶段分割方案为了提高推断速度,往往使用全图卷积操作取代双阶段分割方案中先检测后分割的策略.然而,卷积网络的平移不变性使得同一种类的不同实例提取到的特征相似,仅靠全图卷积难以进行区分,从而导致单阶段分割方案精度下降.针对单阶段分割精度降低的问题,提出了一种注意力机制,该机制在特征图每个位置的特征向量上进行点积运算,并将运算结果作为新的特征图,同一位置点积结果最大化,不同位置点积结果最小化,以丰富特征图中不同实例的差异信息.通过注意力机制使得单阶段分割方案中的全图卷积操作能更好地区分同一种类的不同实例,从而生成高质量分割掩码.在公开数据集上进行实验,验证了所提方法的有效性.     

Prior-guided GAN-based interactive airplane engine damage image augmentation method

Deep learning-based methods have achieved remarkable success in object detection, but this success requires the availability of a large number of training images. Collecting sufficient training images is difficult in detecting damages of airplane engines. Directly augmenting images by rotation, flipping, and random cropping cannot further improve the generalization ability of existing deep models. We propose an interactive augmentation method for airplane engine damage images using a prior-guided GAN to augment training images. Our method can generate many types of damages on arbitrary image regions according to the strokes of users. The proposed model consists of a prior network and a GAN. The Prior network generates a shape prior vector, which is used to encode the information of user strokes. The GAN takes the shape prior vector and random noise vectors to generate candidate damages. Final damages are pasted on the given positions of background images with an improved Poisson fusion. We compare the proposed method with traditional data augmentation methods by training airplane engine damage detectors with state-of-the-art object detectors, namely, Mask R-CNN, SSD, and YOLO v5. Experimental results show that training with images generated by our proposed data augmentation method achieves a better detection performance than that by traditional data augmentation methods.     

飞机结构X射线裂纹图像智能评定

飞机结构X 射线图像评定过程存在复杂背景下裂纹分割不准、检出难等问题。基于高效层聚合网络提出一种飞机结构X 射线裂纹图像智能评定模型（ELAN-Seg）,将ELAN-Seg 模型和DeepLabv3+模型的射线图像裂纹分割能力进行对比,结合图像处理技术对模型分割的裂纹长度进行评估,利用飞机强度试验及外场维护过程采集的X 射线图像对模型进行验证。结果表明：分割的最小裂纹长度约为3 mm,ELAN-Seg 模型对复杂背景射线图像裂纹分割更加准确,裂纹漏检率小于3.8%,该模型具有工程适用性。     

基于深度学习的发动机叶片故障检测技术

为了解决航空发动机叶片故障检测中存在的检测精度欠佳、检测效率不高的问题,提出了一种基于深度学习的目标检测方法。针对小样本数据集检测精度低、模型训练速度慢等问题,对Faster R-CNN目标检测算法进行结构优化,引入Res2Net结构,通过分割串联的策略强化残差模块的卷积学习能力,搭建了细粒级的多尺度残差模型Res2Net-50,以提升模型的特征提取能力。同时,在网络的训练过程中,采用多次余弦退火衰减法对学习率进行调整,以加快模型的训练速度,提升模型的训练质量。针对航空发动机叶片裂纹和缺损2种故障类型进行网络训练与检测试验,试验结果表明:优化后的模型识别准确率提高了0.7%,模型的平均检测精度提高了1.8%,训练时间缩短了5.56%,取得了比较好的检测效果。     

基于机器视觉技术的飞机绕机外观检查方法研究

大型民用飞机试飞和航线运营期间,对其外观表面进行绕机外观检查是适航性安全检查的必要工作。目前飞机的绕机检查主要采用人工绕机方式,该方式,且成本高、效率低,易出现漏检、误检等人为因素,因此智能外观表面检查方法的研究是一项迫切的任务。相比于其他工业检测任务,飞机外观检查智能识别目前无公开数据集,且飞机真实外观损伤类型多样。通过对飞机外观图像的采集和处理,研究基于YOLO V3的飞机表面检查工程方法,初步建立了飞机外观损伤图像数据集框架。首先采用YOLO检测网络粗略获取飞机外观损伤位置和损伤类型,其次针对不同损伤类型的特点,用水平集算法获取图像块中更精准的损伤位置,最后根据精细化后的结果进行量化分析。提出了能够解决机器深度学习网络智能检测已知类别损伤的方法,对未知损伤具有较强容忍度和较大的灵活性与适应性。实践表明,本文提出的方法可以解决传统人工目视检测的部分弊端,可以为机器人智能绕机检查的工程应用提供技术参考,对降低飞机试飞和运营阶段的维修、维护成本有重要意义。     

一种基于语义分割的机场跑道检测算法

针对复杂电磁作战环境下无人机自主着陆应用场景,提出了一种基于图像语义分割的机场跑道检测算法,并设计构建了轻量高效的端到端跑道检测神经网络RunwayNet。在特征提取部分,使用空洞卷积对ShuffleNet V2进行改造,得到了输出特征图分辨率可调的主干网络,并利用自注意力机制设计了自注意力网络模块,使网络具备全局跑道特征提取能力。设计了解码器模块将网络浅层丰富的细节、空间位置信息与顶层粗略、抽象的语义分割信息相融合,从而获得精细的跑道检测输出结果。实验结果表明,RunwayNet网络在无人机着陆全过程都可以对跑道区域进行精准的分割识别,并且在嵌入式计算平台上能达到接近实时的处理速度,具有很强的实用价值。     

Impulse feature extraction method for machinery fault detection using fusion sparse coding and online dictionary learning

Impulse components in vibration signals are important fault features of complex machines. Sparse coding(SC) algorithm has been introduced as an impulse feature extraction method, but it could not guarantee a satisfactory performance in processing vibration signals with heavy background noises. In this paper, a method based on fusion sparse coding(FSC) and online dictionary learning is proposed to extract impulses efficiently. Firstly, fusion scheme of different sparse coding algorithms is presented to ensure higher reconstruction accuracy. Then, an improved online dictionary learning method using FSC scheme is established to obtain redundant dictionary and it can capture specific features of training samples and reconstruct the sparse approximation of vibration signals. Simulation shows that this method has a good performance in solving sparse coefficients and training redundant dictionary compared with other methods. Lastly, the proposed method is further applied to processing aircraft engine rotor vibration signals. Compared with other feature extraction approaches, our method can extract impulse features accurately and efficiently from heavy noisy vibration signal, which has significant supports for machinery fault detection and diagnosis.     

民机复合材料目视检查中的眼动与疲劳检测

疲劳是导致民机复合材料结构目视检查差错的重要诱因，疲劳检测对于减少人的差错，保障飞行安全具有重要意义。对基于眼动行为的疲劳度量与检测方法进行了研究，建立了民机复合材料结构目视检查实验场景，利用Tobii眼动仪提取了正常状态和疲劳状态下的目视检查眼动数据，分析了瞳孔直径、平均注视时间、平均注视频率、平均眼跳时间、平均眼跳频率、注视热点与轨迹和扫视速度等眼动行为与疲劳的关系，进而提取了能表征疲劳的瞳孔直径、平均注视时间和扫视速度3种眼动指标，以该指标构建特征向量，利用支持向量机（SVM）方法构建了目视检查疲劳检测模型。研究发现疲劳状态下的目视检查平均注视时间更长，扫视速度更慢、瞳孔直径减小，右瞳孔减小程度更大，核函数为径向基函数和高斯函数的SVM方法对疲劳的检测效果好。研究结果表明，利用SVM方法训练由瞳孔直径、平均注视时间和扫视速度构成的眼动特征向量能有效检测目视检查中的疲劳状态。     

民用航空器注册号识别的鲁棒性方法研究

为了提高空管自动化水平并降低运行成本,提出一种基于计算机图像处理技术的民用航空器注册号识别方法.首先将全局阈值分割算法与形态学分割算法结合,实现对航空器图像中注册号的精确定位.然后采用主成分分析法解决注册号倾斜校正问题,并分别针对粘连和非粘连情况的注册号字符进行有效切割.最后利用基于特征提取的模板匹配算法,完成对注册号字符的准确识别.在此基础上,基于MATLAB搭建实验测试平台对上述方法进行仿真验证.实验结果表明,方法能够针对不同角度拍摄的航空器图像快速、准确地识别其注册号,单幅图像识别耗时在0.5 s左右.相比于其他方法,在图像拍摄方面要求较低,有效性与鲁棒性较高,计算速度较快,可以满足实时监控的需求.     

自由飞行下基于集成学习的概率型冲突探测算法

空中交通流量的持续增加对中、短期飞行冲突探测的精度与处理大量目标的能力的要求更高,提出基于集成学习(ensemble learning)的冲突探测算法。首先,对飞机冲突过程建模,收集飞行样本;其次,提取飞机当前位置、速度矢量、向前看时间、待转弯时刻和转角为特征量,训练基本分类器,获得元数据集;然后,以支持向量机为二级分类器,元数据集为新的特征量,训练Stacking元分类器(meta classifier),分类阶段通过Sigmoid函数概率映射法输出冲突概率;最后进行仿真分析。结果表明:基于集成学习的冲突探测算法对冲突探测具有较高的准确率,使得虚警概率大幅下降,且适用于转弯飞行。     

Hybrid discriminative/class-specific classifiers for narrowband signals

The class-specific (CS) method of signal classification operates by computing low-dimensional feature sets defined for each signal class of interest. By computing separate feature sets tailored to each class, i.e., CS features, the CS method avoids estimating probability distributions in a high-dimension feature space common to all classes. Building a CS classifier amounts to designing feature extraction modules for each class of interest. In this paper we present the design of three CS modules used to form a CS classifier for narrowband signals of finite duration. A general module for narrowband signals based on a narrowband tracker is described. The only assumptions this module makes regarding the time evolution of the signal spectrum are: (1) one or more narrowband lines are present, and (2) the lines wandered either not at all, e.g., CW signal, or with a purpose, e.g., swept FM signal. The other two modules are suited for specific classes of waveforms and assume some a priori knowledge of the signal is available from training data. For in situ training, the tracker-based module can be used to detect as yet unobserved waveforms and classify them into general categories, for example short CW, long CW, fast FM, slow FM, etc. Waveform-specific class-models can then be designed using these waveforms for training. Classification results are presented comparing the performance of a probabilistic conventional classifier with that of a CS classifier built from general modules and a CS classifier built from waveform-specific modules. Results are also presented for hybrid discriminative/generative versions of the classifiers to illustrate the performance gains attainable in using a hybrid over a generative classifier alone.     

面向飞机蒙皮对缝的移动机器人自主跟踪方法

提出一种面向飞机蒙皮对缝的移动机器人自主跟踪方法,用以解决大型蒙皮上表面装配对缝的自动化测量问题。移动机器人包括对缝测量模块和运动控制模块,对缝测量模块在测量对缝间隙阶差的同时得到机器人相对于对缝的位姿,运动控制模块控制机器人自主调姿。基于双线结构光与对缝的相对位置关系,提出机器人在不同情况下的自主调姿方法,解决了机器人在运动过程中与对缝产生偏差时的自主调姿问题。通过试验表明移动机器人对缝自主跟踪的位置误差为5.81mm,角度误差为3.52°。     

基于改进YOLOv4的航空发动机小目标损伤检测研究

智能化的航空发动机损伤检测是飞机故障诊断重要的研究方向,针对现有目标检测模型对航空发动机的小目标损伤检测效果差的问题,提出了一种改进的基于You Only Look Once version 4(YOLOv4)的多尺度目标检测方法。在路径聚合网络（PANet）中构建低层次的特征融合层,将更浅层的特征与深层特征融合,提高网络对小目标损伤的检测性能。为减少网络中的冗余参数,在颈部结构中引入了深度可分离卷积,将标准卷积重构为深度可分离卷积的形式。实验表明：改进后的YOLOv4对小目标损伤的检测精度提升了3.43%,模型大小降低了54.06 MB,同时检测速度提高了31.03%。研究结果表明改进的YOLOv4模型对小目标损伤具有更好的检测性能。     

一种新的泊位飞机阴影分割方法

飞机泊位自动引导系统中,识别跟踪定位泊位飞机时,会出现灰度较低区域被误判为阴影区域的现象,严重影响识别效果,因此分割飞机阴影是泊位成功与否的关键技术。提出一种将形态学的幂变换与无边界主动轮廓线模型结合的阴影分割方法,首先利用多方向权重形态学对泊位飞机图像中的噪声和微小的干扰区域进行滤除,然后进行幂变换来增强图像质量,最后利用无边界主动轮廓线模型分割阴影。实验结果表明,该方法不仅能够滤除噪声,保留图像细节,而且能提高分割阴影的精确度,并且抑制了泊位飞机分割产生的＂拖尾＂现象,有效地检测出运动飞机的阴影。