| 文本信息辅助图像差异描述生成 |
| |
| 引用本文： | 陈玮婧,王维莹,金琴.文本信息辅助图像差异描述生成[J].北京航空航天大学学报,2022,48(8):1436-1444. |
| |
| 作者姓名： | 陈玮婧 王维莹 金琴 |
| |
| 作者单位： | 中国人民大学 信息学院, 北京 100872 |
| |
| 基金项目： | 国家自然科学基金61772535国家自然科学基金62072462北京市自然科学基金4192028 |
| |
| 摘 要： | 图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容，从而将视觉信息转化为文本描述，便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述生成任务的延伸，其难点在于如何确定2张图像之间的视觉语义差别，并将视觉差异信息转换成对应的文本描述。基于此，提出了一种引入文本信息辅助训练的模型框架TA-IDC。采取多任务学习的方法，在传统的编码器-解码器结构上增加文本编码器，在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息，建模视觉和文本2个模态间的语义关联，以获得高质量的图像差别描述。实验证明，TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12%、2%和3%。
|
| 关 键 词： | 图像差异描述 模态融合 图像描述 计算机视觉 自然语言处理 |
| 收稿时间： | 2021-09-06 |
Image difference caption generation with text information assistance |
| |
| Institution: | School of Information, Renmin University of China, Beijing 100872, China |
| |
| Abstract: | |
| |
| Keywords: | |
|
| 点击此处可从《北京航空航天大学学报》浏览原始摘要信息 |
| 点击此处可从《北京航空航天大学学报》下载免费的PDF全文 |
