基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性：简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息（即区域或单词）。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络（MMTN）模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明：所提模型达到了最先进的性能。     

基于图对比的上下位关系检测

上下位关系是自然语言处理(NLP)下游任务的基础，因此上下位关系检测是自然语言处理领域备受关注的问题。针对现有词嵌入方法采用随机初始化词向量，不能很好地捕获上下位关系不对称和可传递的特性，且现有模型没有充分利用预测向量与真实投影之间关系的局限性，提出了一种基于图对比学习的上下位关系检测(HyperCL)方法。引入图对比学习进行数据增强，基于最大化局部和全局表示的互信息，学习具有鲁棒性的词特征表示。所提方法学习了将下位词的词向量投影到上位词和非上位词，同时能够更好地区分嵌入空间中的上位词和非上位词，从而提高了检测精度。在2个基准数据集上的实验结果表明，所提模型比现有方法在准确率上提升了0.03以上。      

基于图对比注意力网络的知识图谱补全

知识图谱(KG)补全旨在通过知识库中已知三元组来预测缺失的链接。由于大多数方法都是独立地处理三元组，而忽略了知识图谱所具有的异质结构和相邻节点中固有的丰富的信息，导致不能充分挖掘三元组的特征。考虑基于端到端的知识图谱补全任务，提出了一种图对比注意力网络(GCAT)，通过注意力机制同时捕获局部邻域内实体和关系的特征，并封装实体邻域上下文信息。为了有效封装三元组特征，引入一个子图级别的对比训练对象用于增强生成的实体嵌入的质量。为了验证GCAT的有效性，在链接预测任务上评估了所提方法，实验结果表明，在数据集FB15k-237中，MRR比InteractE提高0.005，比A2N模型提高0.042;在数据集WN18RR中，MRR比InteractE提高0.019，比A2N模型提高0.032。实验证明提出的GCAT模型能够有效预测知识图谱中缺失的链接。