基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性：简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息（即区域或单词）。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络（MMTN）模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明：所提模型达到了最先进的性能。     

基于动态语义记忆网络的长尾图像描述生成

图像描述生成任务旨在基于输入图像生成对应的自然语言描述。现有任务数据集中大部分图像的描述语句通常包含少量常见词和大量罕见词，呈现出长尾分布。已有研究专注于提升模型在整个数据集上的描述语句准确性，忽视了对大量罕见词的准确描述，限制了在实际场景中的应用。针对这一问题，提出了基于动态语义记忆网络(DSMN)的长尾图像描述生成模型，旨在保证模型对常见名词准确描述的同时，提升模型对罕见名词的描述效果。DSMN模型能够动态挖掘罕见词与常见词的全局语义关系，实现从常见词到罕见词的语义知识迁移，通过协同考虑全局单词语义关系信息及当前输入图像和已生成单词的局部语义信息提升罕见词的语义特征表示能力和预测性能。为了有效评价长尾图像描述生成方法，基于MS COCO Captioning数据集定义了长尾图像描述生成任务专用测试集Few-COCO。在MS COCO Captioning和Few-COCO数据集上的多个量化实验表明，DSMN模型在Few-COCO数据集上的罕见词描述准确率为0.602 8%，召回率为0.323 4%，F-1值为0.356 7%，相较于基准方法提升明显。      

基于图对比的上下位关系检测

上下位关系是自然语言处理(NLP)下游任务的基础，因此上下位关系检测是自然语言处理领域备受关注的问题。针对现有词嵌入方法采用随机初始化词向量，不能很好地捕获上下位关系不对称和可传递的特性，且现有模型没有充分利用预测向量与真实投影之间关系的局限性，提出了一种基于图对比学习的上下位关系检测(HyperCL)方法。引入图对比学习进行数据增强，基于最大化局部和全局表示的互信息，学习具有鲁棒性的词特征表示。所提方法学习了将下位词的词向量投影到上位词和非上位词，同时能够更好地区分嵌入空间中的上位词和非上位词，从而提高了检测精度。在2个基准数据集上的实验结果表明，所提模型比现有方法在准确率上提升了0.03以上。      

基于时空注意力机制的新冠肺炎疫情预测模型

新冠肺炎疫情持续蔓延给人类社会带来深远影响，准确预测各地区的病毒传播趋势对防控疫情而言至关重要。现有研究主要基于传统的时序预测模型和传染病模型，鲜有考虑疫情地区关联复杂和时序依赖性强的特点，限制了其疫情预测的性能。为此，针对新冠肺炎疫情的预测任务，提出了一种时空注意力驱动的自编码器框架。通过引入空间注意力机制捕捉病毒感染序列间的动态空间关联性，利用时间注意力机制挖掘病毒感染序列中复杂的时序依赖性，以此实现对不同地区的新冠肺炎病毒传播趋势的准确预测。在模型的编码器端，融合空间注意力机制的长短期记忆(LSTM)网络，关联目标地区与其他地区的病毒感染序列，提取该区域近期新冠肺炎疫情的时序特征。在模型的解码器端，将时间注意力机制引入基于LSTM网络的解码器中，通过捕捉病毒感染序列的时序依赖性推测未来的新冠肺炎疫情趋势变化。在多个公开的新冠肺炎疫情数据集上对所提模型进行验证，实验结果表明:所提模型的预测性能超越了LSTM等模型；在公开的欧洲部分国家新冠肺炎疫情数据集上，预测误差指标RMSE和MAE分别降低了22.3%和25.0%，在中国部分省级单位新冠肺炎疫情数据集上，RMSE和MAE分别降低了10.1%和10.4%。      

基于图对比注意力网络的知识图谱补全

知识图谱(KG)补全旨在通过知识库中已知三元组来预测缺失的链接。由于大多数方法都是独立地处理三元组，而忽略了知识图谱所具有的异质结构和相邻节点中固有的丰富的信息，导致不能充分挖掘三元组的特征。考虑基于端到端的知识图谱补全任务，提出了一种图对比注意力网络(GCAT)，通过注意力机制同时捕获局部邻域内实体和关系的特征，并封装实体邻域上下文信息。为了有效封装三元组特征，引入一个子图级别的对比训练对象用于增强生成的实体嵌入的质量。为了验证GCAT的有效性，在链接预测任务上评估了所提方法，实验结果表明，在数据集FB15k-237中，MRR比InteractE提高0.005，比A2N模型提高0.042;在数据集WN18RR中，MRR比InteractE提高0.019，比A2N模型提高0.032。实验证明提出的GCAT模型能够有效预测知识图谱中缺失的链接。