复杂动态场景下目标检测与分割算法

在动态场景等复杂条件下,往往难以对序列图像目标进行准确的检测与分割。根据序列图像中目标在复杂条件下的成像特点,提出了一种基于融合尺度不变特征变换(SIFT)流特征显著模型的动态场景目标检测与分割算法。通过对SIFT流算法表示运动特征信息的优势进行分析,并结合图像国际照明协会(CIE)Lab颜色空间的颜色和亮度特征信息,建立四维特征向量空间。利用改进的多尺度中心-环绕对比方法生成各特征通道的显著图并进行线性融合,建立序列图像的动态场景目标显著模型。最后利用均值漂移聚类算法和形态学处理实现对检测目标的精确分割。实验结果表明,相比传统检测与分割算法,该算法在动态背景与航拍等复杂场景下能够分割出更为完整的目标区域,具有良好的鲁棒性和高分割精度。      

基于EfficientDet的无预训练SAR图像船舶检测器

针对多尺度、多场景的合成孔径雷达(SAR)图像船舶检测问题，提出了一种基于EfficientDet的无预训练目标检测器。现有的基于卷积神经网络的SAR图像船舶检测器并没有表现出其应有的出色性能。重要原因之一是依赖分类任务的预训练模型，没有有效的方法来解决SAR图像与自然场景图像之间存在的差异性；另一个重要原因是没有充分利用卷积神经网络各层的信息，特征融合能力不够强，难以处理包括海上和近海在内的多场景船舶检测，尤其是无法排除近海复杂背景的干扰。SED就这2个方面改进方法，在公开SAR船舶检测数据集上进行实验，检测精度指标平均准确率(AP)达到94.2%，与经典的深度学习检测器对比，超过最优的RetineNet模型1.3%，在模型大小、算力消耗和检测速度之间达到平衡，验证了所提模型在多场景条件下多尺度SAR图像船舶检测具有优异的性能。      

基于倒置残差注意力的无人机航拍图像小目标检测

针对无人机航拍图像背景复杂、小尺寸目标较多等问题,提出了一种基于倒置残差注意力的无人机航拍图像小目标检测算法。在主干网络部分嵌入倒置残差模块与倒置残差注意力模块,利用低维向高维的特征信息映射,获得丰富的小目标空间信息和深层语义信息,提升小目标的检测精度;在特征融合部分设计多尺度特征融合模块,融合浅层空间信息和深层语义信息,并生成4个不同感受野的检测头,提升模型对小尺寸目标的识别能力,减少小目标的漏检;设计马赛克混合数据增强方法,建立数据之间的线性关系,增加图像背景复杂度,提升算法的鲁棒性。在VisDrone数据集上的实验结果表明：所提模型的平均精度均值比DSHNet模型提升了1.2%,有效改善了无人机航拍图像小目标漏检、误检的问题。     

一种迭代聚合的高分辨率网络Anchor-free目标检测方法

针对目前Anchor-free目标检测方法CenterNet（ObjectsasPoints）生成热力图不准确、检测精度不足的问题，提出了一种基于特征迭代聚合的高分辨率表征网络CenterNet-DHRNet。首先，引入高分辨率表征骨干网络，并用迭代聚合的方式对不同分辨率的特征图进行融合，提高网络的分辨率，有效减少图像在下采样过程中损失的空间语义信息。其次，使用高效通道注意力机制对高分辨率表征骨干网络的输出进行优化。最后，利用结合空洞卷积的空间金字塔池化操作增强网络对不同尺度物体的感受野。实验在PASCALVOC数据集和KITTI数据集上进行，结果表明:CenterNet-DHRNet精度更高，满足实时检测的性能要求，具有良好的鲁棒性。      

一种历史信息特征敏感的行人迭代检测方法

基于深度学习的目标检测算法通常需要使用非极大值抑制等后处理方法对预测框进行筛选，无法在行人拥挤的场景下平衡模型的检测精度和召回率。虽然迭代检测的方法可以解决非极大值抑制等方法带来的问题，但是重复检测同样会限制模型的性能。提出了一种历史信息特征敏感的行人迭代检测方法。引入带权重的历史信息特征（WHIC），提高特征的区分度；利用历史信息特征提取模块（HIFEM）得到不同尺度的历史信息特征，并融合进主网络中进行多尺度检测，增强了模型对历史信息特征的敏感度，有效抑制重复检测框的产生。实验结果表明：所提方法在拥挤场景的行人检测数据集CrowdHuman和WiderPerson上取得了最优的检测精度和召回率。     

基于跨尺度特征聚合网络的多尺度行人检测

行人的空间尺度差异是影响行人检测性能的主要瓶颈之一。针对这一问题，提出了跨尺度特征聚合网络（TS-FAN）有效检测多尺度行人。首先，鉴于不同尺度空间呈现出的特征差异性，引入一种基于多路径区域建议网络（RPN）的尺度补偿策略，其在多尺度卷积特征层上自适应地生成一系列与其感受野大小相对应的候选目标尺度集。其次，考虑到不同层次卷积特征在视觉语义上的互补性，提出了跨尺度特征聚合网络模块，其通过横向连接、自上而下路径和由底向上路径，有效地聚合具有语义鲁棒性的高层特征和具有精确定位信息的低层特征，实现对卷积层特征的增强表示。最后，联合多路径RPN尺度补偿策略和跨尺度特征聚合网络模块，构建了一种尺度自适应感知的多尺度行人检测网络。实验结果表明，所提方法与当前一流的行人检测方法TLL-TFA相比，在整个Caltech公开测试数据集上（All:行人高度大于20像素）的行人漏检率降低到26.21%（提高了11.94%），尤其对于Caltech小尺寸行人子数据集上（Far:行人高度在20~30像素之间）的行人漏检率降低到47.30%（提高了12.79%），同时在尺度变化剧烈的ETH数据集上的效果也取得显著提升。      

用于遥感图像变化检测的全尺度特征聚合网络

变化检测(CD)是遥感的一项重要任务，通常面临许多伪变化和较大的尺度变化。目前的方法主要侧重于对差异特征的建模，忽略了从原始图像中提取足够的信息，影响了特征的识别能力，难以稳定地区分出变化区域。针对以上问题，提出了一种全尺度特征聚合网络(FFANet)来更充分地利用原始图像特征，促使生成的特征表示在语义上更丰富、在空间上更准确，从而提高了网络对小目标和目标边缘的检测性能。同时，拓展了深监督来结合多尺度的预测图，以促使不同对象在更合适的尺度上进行检测，从而提升了网络对对象尺度变化的鲁棒性。在CDD数据集上，相比于基线网络，所提方法仅增加了1.01×106的参数量，就将F₁分数提升了0.034。      

基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法

红外弱小目标的检测识别是军事侦察和遥感探测领域的一项关键技术。针对现有的传统目标检测方法普遍存在的检测误报率高、环境适应性差等问题,本文设计提出了一种基于Swin Transformer和多尺度特征融合的红外弱小目标检测方法。该方法首先在基于编解码Unet网络架构的基础上,通过引入Swin Transformer的自注意力机制代替常规的卷积核来进行目标特征的分层提取,从而有助于在更大的感受野下挖掘目标在不同尺度下的潜在信息;之后,通过设计一个自底向上的跨层特征融合模块作为网络模型的解码器,可以从复杂背景中保留红外弱小目标特征,并将目标的浅层局部信息和深层语义信息进行充分融合。试验测试结果表明,所提方法在红外小目标公共测试数据集SIRST上能够实现0.747的交并比指标(IoU),以及0.752的归一化交并比指标(nIoU),其性能均优于其它典型方法,在不同复杂场景下均拥有更好的检测效果。     

基于改进SSD的风机叶片表面缺陷检测方法

针对无人机对风机叶片表面缺陷检测中出现的多尺度目标问题,本文提出一种基于改进SSD的风机叶片缺陷检测方法。以具有多尺度结构框架的目标检测模型SSD为基础,引入残差网络ResNet50作为其特征提取网络,用以获取更深层次的细节特征信息,从而提升缺陷检测模型的整体效果。在建立的风机叶片表面缺陷图像数据集下进行模型验证,结果表明,该方法的平均精确度mAP@.5为84.29%,与YOLOv3和RetainNet相比,对各类型缺陷的平均精确度分别提高了2.92%和8.69%,同时较传统SSD算法平均精确度提升了2.21%。     

基于Pos-FCN的红外图像背景抑制方法

红外图像背景抑制可以为红外目标检测识别任务提供支撑。在实际的应用场景中,红外图像中的目标多为弱小目标,其特征不明显,一般背景抑制算法难以将其从背景中分离,而达不到背景抑制的最佳效果。针对上述问题,提出使用Pos-FCN网络实现红外图像背景抑制的方法,该方法使用特征卷积结构,依靠高分辨网络结构获取弱小目标的特征信息,通过大尺寸卷积特征图的前向传播方式实现了高维度特征中弱小目标信息的保留,使用卷积降采样特征提取和上采样图像恢复方式实现了端到端的处理,并在前置训练阶段引入了位置信息强化网络骨干特征提取效果。结果表明,该方法处理后的红外图像中信杂比提高至3.877,对比度提高至0.297,检测率达到了93.6%,因此,该方法可以实现良好的背景抑制效果。     

基于深度学习的无人机视觉目标检测与跟踪

针对目标检测中小目标物体漏检率及误检率高等问题,提出了一种基于Yolov3-Tiny算法的改进模型。改进k-means聚类方法,增加3×3和1×1的卷积池化层,将第9层卷积输出上采样,并与第8层卷积得到的特征图进行连接,得到新的输出:52×52卷积层,形成新的特征金字塔。基于卡尔曼滤波算法实现目标跟踪,提出融合跟踪算法的检测网络,使用匈牙利匹配算法对检测边缘框与跟踪边缘框进行最优匹配,利用跟踪结果修正检测结果,提高了检测速度,同时提升了检测能力。在ROS、Gazebo和自动驾驶仪软件PX4的综合仿真环境下对所提算法进行了对比试验。试验结果表明:改进算法平均检测速度降低了15.6%,mAP提高了6.5%。融合跟踪算法后的网络平均检测速度提高了34.2%,mAP提高了8.6%。融合跟踪算法后的网络能够满足系统实时性和准确性的要求。      

运动信息引导的目标检测算法

在室外监控视频的场景下，由于场景的复杂性及目标的多样性，监控视频中的目标存在难以检测的情况，如目标被遮挡、目标尺寸变化等，目标检测任务仍然存在挑战。基于此，提出了一种利用运动信息引导基于卷积神经网络的目标检测算法来提高目标检测的准确率。对运动目标检测算法进行一定的改进，使得到的运动前景图中能够保持静止目标前景的存在；利用运动前景图中的前景可以指示目标空间位置的特点，在特征层面将网络提取的特征图与获取的以运动前景图为主的运动信息相融合，提高特征图可能存在目标区域的响应值；在目标检测算法的检测器中，引入一个定位分支，利用视频帧的运动前景图，学习候选目标的定位置信度，并与目标的分类置信度加权求和，作为目标最终的置信度，再通过非极大值抑制方法得到检测结果。实验证明，在固定摄像机下采集的数据集中，所提算法能够提升目标检测的准确率。      

基于三维光场的静态场景前景分割

为解决复杂场景中的前景提取问题提出一种基于三维光场分析的静态场景前景分割方法.首先,通过在一条直线等间距的不同视点上拍摄场景的序列图像构建密集采样的三维光场.其次,用线段检测(LSD)直线检测算法从对极平面图(EPI)中分析提取出场景边缘及其深度信息.借助分段三次Hermite多项式(PCHIP)快速插值算法恢复整个场景的深度信息.最终,通过阈值法实现对不同深度的前景物体的分割.初步实验结果表明,本方法能够较准确地恢复场景中多个物体之间的空间关系,前景分割结果较好地克服了现有基于区域聚类和数学形态学等方法在复杂场景应用中存在的过分割问题.      

基于动态特征选择的遥感图像目标检测算法

在遥感图像目标检测领域内,旋转物体的检测存在挑战,卷积神经网络在提取信息时会受制于固定的空间结构,采样点无法聚焦于目标;遥感图像尺度变化大,不同物体需要具有不同尺度感受野的特征映射,具有单一尺度感受野的特征映射无法包含所有有效信息。基于此,提出了可变形对齐卷积,根据候选边框调节采样点,并根据特征映射学习采样点的细微偏移,使采样点聚焦于目标,从而实现动态特征选择;同时提出了基于可变形对齐卷积的感受野自适应模块,对具有不同尺度感受野的特征映射进行融合,自适应地调整神经元的感受野。在公开数据集上的大量实验验证了所提算法可以提高遥感图像目标检测的精度。      

复杂背景下机场道面细带状结构病害检测算法

机场道面裂缝、角隅断裂、接缝破碎、修补等病害宽度狭小、长短不一、图像中像素占比少,呈细带状结构,且与复杂背景对比度低,现有检测算法效果不佳。针对以上问题,提出了一种基于注意力机制与特征融合的深度神经网络模型DetMSPNet。首先,利用注意力机制模块CBAM,使得特征学习更加专注于细带状结构病害区域,抑制干扰信息;其次,构建残差空洞金字塔模块,提取不同尺度空间下的特征信息;然后,设计最大池化支路,便于之后浅、深层不同层次特征进行融合,加强模型对于病害的定位能力,并且将深层特征输入3种不同扩张率的扩张卷积和金字塔池化模块,使得病害特征包含更多全局上下文信息;最后,对所有层输出的病害特征信息进行融合,实现不同尺度、不同层次特征的信息互补。与目前3种经典的目标检测算法在机场道面病害图像数据集APD上做了对比实验,结果表明:所提算法的mAP达到78.51%,优于对比算法。所提DetMSPNet模型,提高了算法对机场道面细带状结构病害检测中宽度狭小、长短不一、图像中像素占比少、与复杂背景对比度低等情况的适应能力。      

真实场景水下语义分割方法及数据集

随着水下生物抓取技术的不断发展,高精度的水下物体识别与分割成为了挑战。已有的水下目标检测技术仅能给出物体的大体位置,无法提供物体轮廓等更加细致的信息,严重影响了抓取效率。为了解决这一问题,标注并建立了真实场景水下语义分割数据集DUT-USEG,该数据集包含6 617张图像,其中1 487张具有语义分割和实例分割标注,剩余5 130张图像具有目标检测框标注。基于该数据集,提出了一个关注边界的半监督水下语义分割网络(US-Net),该网络通过设计伪标签生成器和边界检测子网络,实现了对水下物体与背景之间边界的精细学习,提升了边界区域的分割效果。实验表明:所提方法在DUT-USEG数据集的海参、海胆和海星3个类别上相较于对比方法提升了6.7%,达到了目前最好的分割精度。      

热红外视频监控下行人目标前景区域提取

在热红外视频监控环境下，针对热红外图像因周围环境温度变化而导致热红外图像灰度值反转的问题，提出了一种通过热红外图像的边界特征和运动特征的融合来提取行人目标前景区域的方法。首先，利用行人目标和周围环境存在的显著性差异来提取行人目标的边界特征，对所提取的边界特征进行边界填充，并利用热红外行人目标分类器来排除误检目标，从而获取最终的边界特征提取结果；其次，利用相邻帧之间的运动信息来获取行人目标的运动特征，对所获取的运动特征进行形态学处理，并利用热红外行人目标分类器来排除误检目标，从而获取最终的运动特征提取结果；最后，对所获取的边界特征提取结果和运动特征提取结果进行融合来获得最终的检测结果。实验证明，在公开的OSU和LSI热红外图像行人目标检测数据集中，所提方法能够有效地降低环境温度变化的不利影响，并提高行人目标前景区域提取的精度。      

基于视频帧间运动估计的无人机图像车辆检测

基于人工智能(AI)芯片搭建轻量化深度神经网络，可以在无人机(UAV)机载端实现视频中车辆目标的自动检测，具有重要的应用前景。为此，提出了一种针对无人机图像车辆目标的检测方法，并在AI芯片上进行部署与测试。方法具体包括:结合无人机图像中车辆目标的尺寸范围，对MobileNet-SSD网络进行裁剪，构建轻量化单帧图像检测器；为解决小目标特性在轻量网络框架下引发的检测性能下降问题，引入帧间运动矢量估计，根据相邻帧信息辅助预测当前帧丢失目标的位置范围，并利用检测结果进行修正，实现丢失目标的再召回。通过对多个数据集进行融合与自动补充标注，搭建了一个高质量的无人机图像车辆目标数据集；同时将方法在基于RK3399芯片计算的嵌入式开发平台上进行实验验证，结果表明:搭建的网络能够显著减少存储资源占用，具有轻量化的特点；同时相比于单帧检测法，引入视频帧间运动估计方法可以有效提高检测精度，并在AI芯片上实现125.3 ms/帧的检测速度。