基于多级语义对齐的图像-文本匹配算法 |
| |
引用本文: | 李艺茹,姚涛,张林梁,孙玉娟,付海燕.基于多级语义对齐的图像-文本匹配算法[J].北京航空航天大学学报,2024(2):551-558. |
| |
作者姓名: | 李艺茹 姚涛 张林梁 孙玉娟 付海燕 |
| |
作者单位: | 1. 鲁东大学信息与电气工程学院;2. 西南交通大学烟台新一代信息技术研究院;3. 大连理工大学信息与通信工程学院 |
| |
基金项目: | 国家自然科学基金(61872170,62076052,61873117);;国家重点研发项目(2021ZD0113002)~~; |
| |
摘 要: | 图像中的区域特征更关注于图像中的前景信息,背景信息往往被忽略,如何有效的联合局部特征和全局特征还没有得到充分地研究。为解决上述问题,加强全局概念和局部概念之间的关联得到更准确的视觉特征,提出一种基于多级语义对齐的图像-文本匹配算法。提取局部图像特征,得到图像中的细粒度信息;提取全局图像特征,将环境信息引入到网络的学习中,从而得到不同的视觉关系层次,为联合的视觉特征提供更多的信息;将全局-局部图像特征进行联合,将联合后的视觉特征和文本特征进行全局-局部对齐得到更加精准的相似度表示。通过大量的实验和分析表明:所提算法在2个公共数据集上具有有效性。
|
关 键 词: | 图像-文本匹配 跨模态信息处理 特征提取 神经网络 特征融合 |
|
|