基于多级语义对齐的图像-文本匹配算法

图像中的区域特征更关注于图像中的前景信息，背景信息往往被忽略，如何有效的联合局部特征和全局特征还没有得到充分地研究。为解决上述问题，加强全局概念和局部概念之间的关联得到更准确的视觉特征，提出一种基于多级语义对齐的图像-文本匹配算法。提取局部图像特征，得到图像中的细粒度信息；提取全局图像特征，将环境信息引入到网络的学习中，从而得到不同的视觉关系层次，为联合的视觉特征提供更多的信息；将全局-局部图像特征进行联合，将联合后的视觉特征和文本特征进行全局-局部对齐得到更加精准的相似度表示。通过大量的实验和分析表明：所提算法在2个公共数据集上具有有效性。