| 基于依存句法的图像描述文本生成 |
| |
| 引用本文： | 毕健旗,刘茂福,胡慧君,代建华.基于依存句法的图像描述文本生成[J].北京航空航天大学学报,2021,47(3):431-440. |
| |
| 作者姓名： | 毕健旗 刘茂福 胡慧君 代建华 |
| |
| 作者单位： | 1.武汉科技大学 计算机科学与技术学院, 武汉 430065 |
| |
| 基金项目： | 全军共用信息系统装备预先研究项目;国家社会科学基金重大研究计划 |
| |
| 摘 要： | 现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则，但文本多为简单句，在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时，可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息，用于计算图像区域间关系并得到图像区域关系特征；融合图像区域关系特征和图像区域特征，与文本词向量通过长短期记忆网络（LSTM），用于生成图像描述文本。在测试阶段，通过测试图像与训练图像集的内容关键词，计算2幅图像的内容重合度，间接提取与测试图像对应的依存句法模板；模型基于依存句法模板，生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力，表明模型中的依存句法信息增强了深度学习模型的可解释性。
|
| 关 键 词： | 图像描述文本生成 依存句法 图像结构注意力 内容重合度 深度模型可解释性 |
| 收稿时间： | 2020-08-21 |
Image captioning based on dependency syntax |
| |
| BI Jianqi,LIU Maofu,HU Huijun,DAI Jianhua.Image captioning based on dependency syntax[J].Journal of Beijing University of Aeronautics and Astronautics,2021,47(3):431-440. |
| |
| Authors: | BI Jianqi LIU Maofu HU Huijun DAI Jianhua |
| |
| Institution: | 1.School of Computer Science and Technology, Wuhan University of Science and Technology, Wuhan 430065, China2.Hubei Provincial Key Laboratory of Intelligent Information Processing and Real-time Industrial System, Wuhan University of Science and Technology, Wuhan 430081, China3.Hunan Provincial Key Laboratory of Intelligent Computing and Language Information Processing, Hunan Normal University, Changsha 410081, China |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《北京航空航天大学学报》浏览原始摘要信息 |
| 点击此处可从《北京航空航天大学学报》下载免费的PDF全文 |
