一种结合全局和局部相似性的小样本分割方法

针对小样本分割中如何提取支持图像和查询图像共性信息的问题，提出一种新的小样本分割模型，同时结合了全局相似性和局部相似性，实现了更具泛化能力的小样本分割。具体地，根据支持图像和查询图像全局特征和局部特征之间的相似性，提出了一种新型注意力谱生成器，进而实现查询图像的注意力谱生成和区域分割。所提注意力谱生成器包含2个级联模块:全局引导器和局部引导器。在全局引导器中，提出了一种新的基于指数函数的全局相似性度量，对查询图像特征和支持图像的全局特征进行关系建模，输出前景增强的查询图像特征。在局部引导器中，通过引入局部关系矩阵对支持图像特征和查询图像特征之间的局部相似性进行建模，得到与类别无关的注意力谱。在Pascal-5i数据集上做了大量的实验，在1-shot设定下mIoU达到了59.9%，5-shot设定下mIoU达到了61.9%，均优于现有方法。