基于语义相关的多模态社交情感分析

社交平台允许用户采用多种信息模态发表意见与观点，多模态语义信息融合能够更有效地预测用户所表达的情感倾向。因此，多模态情感分析近年来受到了广泛关注。然而，多模态情感分析中视觉与文本存在的语义无关问题，导致情感分析效果不佳。针对这一问题，提出了基于语义相关的多模态社交情感分析（MSSA-SC）方法。采用图文语义相关性分类模型，对图文社交信息进行语义相关性识别，若图文语义相关，则对图文社交信息使用图文语义对齐多模态模型进行图文特征融合的情感分析；若图文语义无关，则仅对文本模态进行情感分析。在真实社交媒体数据集上进行了实验，由实验结果可知，所提方法能够有效降低图文语义无关情况对多模态社交媒体情感分析的影响。与此同时，所提方法的Accuracy和Macro-F1指标分别为75.23%和70.18%，均高于基准模型。      

基于噪声柯西分布的社交图像标签优化与标注

随着社交网络的快速发展，带有用户提供标签的社交网络图像呈现爆炸式增长。但是用户提供的标签是不准确的，存在很多不相关以及错误的标签。这势必会增加相关多媒体任务的困难。针对标签噪声无序性以及常用的高斯分布对标签噪声中大噪声过于敏感的问题，但是高斯分布对大噪声比较敏感。鉴于此，采用对各种噪声都具有鲁棒性的柯西分布拟合噪声，提出了一个基于噪声柯西分布的弱监督非负低秩深度学习（CDNL）模型，通过柯西分布建模标签噪声来获得理想标签，并利用深度神经网络模块学习视觉特征和理想标签之间的内在联系，来得到图像对应的正确标签，从而大幅提高社交网络图像的标签准确率。所提模型不仅可以修正错误标签、补充缺失标签，也可以对新图像进行标注。在2个公开的社交网络图像数据集上进行了验证，并且与一些最新的相关工作进行了对比，证实了所提模型的有效性。      

基于依存句法的图像描述文本生成

现有图像描述文本生成模型能够应用词性序列和句法树使生成的文本更符合语法规则，但文本多为简单句，在语言模型促进深度学习模型的可解释性方面研究甚少。将依存句法信息融合到深度学习模型以监督图像描述文本生成的同时，可使深度学习模型更具可解释性。图像结构注意力机制基于依存句法和图像视觉信息，用于计算图像区域间关系并得到图像区域关系特征；融合图像区域关系特征和图像区域特征，与文本词向量通过长短期记忆网络（LSTM），用于生成图像描述文本。在测试阶段，通过测试图像与训练图像集的内容关键词，计算2幅图像的内容重合度，间接提取与测试图像对应的依存句法模板；模型基于依存句法模板，生成多样的图像描述文本。实验结果验证了模型在改善图像描述文本多样性和句法复杂度方面的能力，表明模型中的依存句法信息增强了深度学习模型的可解释性。      

基于图对比的上下位关系检测

上下位关系是自然语言处理(NLP)下游任务的基础，因此上下位关系检测是自然语言处理领域备受关注的问题。针对现有词嵌入方法采用随机初始化词向量，不能很好地捕获上下位关系不对称和可传递的特性，且现有模型没有充分利用预测向量与真实投影之间关系的局限性，提出了一种基于图对比学习的上下位关系检测(HyperCL)方法。引入图对比学习进行数据增强，基于最大化局部和全局表示的互信息，学习具有鲁棒性的词特征表示。所提方法学习了将下位词的词向量投影到上位词和非上位词，同时能够更好地区分嵌入空间中的上位词和非上位词，从而提高了检测精度。在2个基准数据集上的实验结果表明，所提模型比现有方法在准确率上提升了0.03以上。      

基于动态语义记忆网络的长尾图像描述生成

图像描述生成任务旨在基于输入图像生成对应的自然语言描述。现有任务数据集中大部分图像的描述语句通常包含少量常见词和大量罕见词，呈现出长尾分布。已有研究专注于提升模型在整个数据集上的描述语句准确性，忽视了对大量罕见词的准确描述，限制了在实际场景中的应用。针对这一问题，提出了基于动态语义记忆网络(DSMN)的长尾图像描述生成模型，旨在保证模型对常见名词准确描述的同时，提升模型对罕见名词的描述效果。DSMN模型能够动态挖掘罕见词与常见词的全局语义关系，实现从常见词到罕见词的语义知识迁移，通过协同考虑全局单词语义关系信息及当前输入图像和已生成单词的局部语义信息提升罕见词的语义特征表示能力和预测性能。为了有效评价长尾图像描述生成方法，基于MS COCO Captioning数据集定义了长尾图像描述生成任务专用测试集Few-COCO。在MS COCO Captioning和Few-COCO数据集上的多个量化实验表明，DSMN模型在Few-COCO数据集上的罕见词描述准确率为0.602 8%，召回率为0.323 4%，F-1值为0.356 7%，相较于基准方法提升明显。      

融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

基于多模态掩码Transformer网络的社会事件分类

多模态社会事件分类的关键是充分且准确地利用图像和文字2种模态的特征。然而,现有的大多数方法存在以下局限性：简单地将事件的图像特征和文本特征连接起来,不同模态之间存在不相关的上下文信息导致相互干扰。因此,仅仅考虑多模态数据模态间的关系是不够的,还要考虑模态之间不相关的上下文信息（即区域或单词）。为克服这些局限性,提出一种新颖的基于多模态掩码Transformer网络（MMTN）模型的社会事件分类方法。通过图-文编码网络来学习文本和图像的更好的表示。将获得的图像和文本表示输入多模态掩码Transformer网络来融合多模态信息,并通过计算多模态信息之间的相似性,对多模态信息的模态间的关系进行建模,掩盖模态之间的不相关上下文。在2个基准数据集上的大量实验表明：所提模型达到了最先进的性能。     

双重模态文本引导的图像修复算法

为解决现有图像修复算法因缺乏足够的上下文信息导致修复大面积破损时效果差且修复结果不可控的缺陷，提出了双重模态文本引导的图像修复算法。引入文本标签作为修复的控制引导，确保修复结果的整体与区域一致，并增加修复的可控多样性。设计双重模态掩码注意力机制提取破损区域的语义信息；通过深度文本图像融合模块加深生成器中的文本图像融合过程，并应用图像文本匹配损失最大化生成图像与文本之间的语义相似度；采用投射鉴别器训练生成图像与真实图像增强修复图像的真实性。在2个带有文本标签的数据集上进行定量和定性实验，结果表明：生成的修复图像与引导文本描述一致，可根据不同的文字描述生成多样的结果。     

二维类间边界Fisher分析的多元时间序列降维

针对传统边界Fisher分析及相关方法用于多元时间序列降维的局限性，提出一种基于二维类间边界Fisher分析的多元时间序列降维方法。针对边界Fisher分析进行模型改进，在本征图和惩罚图的基础上引入类间惩罚图，用来描述各个类中心之间的距离，并对目标函数进行改进，提出类间边界Fisher分析模型；对所提模型进行二维化拓展，提出基于二维类间边界Fisher分析的降维模型，使其能够直接处理二维矩阵数据，有效保留结构信息；通过计算协方差矩阵将多元时间序列集转化为等长特征集，利用降维模型将等长特征集投影到低维空间，达到数据降维和特征表示的目的。实验结果表明：所提方法能够有效对多元时间序列进行降维，达到良好的分类效果。     

产品协同设计中异构模型数据融合的有效策略

针对复杂产品设计中，不同设计工具产生的模型数据之间的融合问题，提出了一种工具间端到端的异构模型数据融合策略。利用数据库管理动态特性，通过模型信息共享，实现异构模型数据之间的融合。在OpenMBEE系统集成环境中，通过建模工具CREO二次开发，利用所提策略获取全生命周期设计中的动态模型属性信息，通过3D模型编辑及重用功能测试，验证了所提策略的有效性。利用自动获取可视化模型属性信息的智能算法，设计一种基于Transformer模型与双向长短期记忆(Bi-LSTM)模型相结合的模型属性智能提取算法，利用神经网络的多层感知特性，通过对模型中属性文本信息进行深度学习、特征分析，实现了对异构数据属性信息的自动提取功能。利用CAMEO建模工具设计的需求分析模型构建模型数据集，验证了智能模型信息自动提取功能的有效性。      

基于图对比注意力网络的知识图谱补全

知识图谱(KG)补全旨在通过知识库中已知三元组来预测缺失的链接。由于大多数方法都是独立地处理三元组，而忽略了知识图谱所具有的异质结构和相邻节点中固有的丰富的信息，导致不能充分挖掘三元组的特征。考虑基于端到端的知识图谱补全任务，提出了一种图对比注意力网络(GCAT)，通过注意力机制同时捕获局部邻域内实体和关系的特征，并封装实体邻域上下文信息。为了有效封装三元组特征，引入一个子图级别的对比训练对象用于增强生成的实体嵌入的质量。为了验证GCAT的有效性，在链接预测任务上评估了所提方法，实验结果表明，在数据集FB15k-237中，MRR比InteractE提高0.005，比A2N模型提高0.042;在数据集WN18RR中，MRR比InteractE提高0.019，比A2N模型提高0.032。实验证明提出的GCAT模型能够有效预测知识图谱中缺失的链接。      

基于异质信息网络的恶意代码检测

恶意代码对网络安全、信息安全造成了严重威胁。如何快速检测恶意代码,阻止和降低恶意代码产生的危害一直是亟需解决的问题。通过获取恶意应用的动态信息、构造异质信息网络(HIN),提出了描述恶意代码动态特征的方法,实现了恶意代码检测与分类。构建了FILE、API、DLL三类对象的4种元图,刻画了恶意代码HIN的网络模式。经过改进的随机游走策略,尽可能多地获取元图中对象节点的上下文信息,将其作为连续词包(CBOW)模型的输入,从而得到词向量的网络嵌入。通过投票方法改进主角度分析模型,得到多元图特征融合的分类结果。在仅可获得有限信息的情况下,大大提高了基于单元图特征的恶意样本分类准确率。      

一种全局的无关线性图嵌入故障特征提取算法

针对故障特征数据维数高、非线性且系统难以建立物理模型的故障诊断问题,提出了一种全局的无关线性图嵌入故障特征提取算法.通过监督学习建立原始特征的关系图,以线性图嵌入为框架进行特征降维.特征的降维过程既保留了同类数据的局部结构,又考虑了异类数据之间的全局分布,同时最大程度地消除了特征之间的统计相关性.在标准故障数据集上的实验结果表明:与已有的经典算法相比,能更有效地提取出故障的典型特征,因而更有利于故障诊断系统训练网络的快速收敛,实现快速、准确的故障诊断.     

大规模物联网恶意样本分析与分类方法

物联网（IoT）恶意样本发展迅猛，在网络中大量攻击各类物联网设备，但由于开源问题导致其家族特征并不明显，需要一种更细粒度的样本分类方法，以解决高级威胁样本发现和攻击组织追踪等问题。针对该问题，对2019年5月至2020年5月捕获到的157 911个物联网恶意样本进行了大规模分析，并标注了一套包含9个家族分支共计12 278个样本的数据集。提出了物联网恶意样本的分类方法，通过静态逆向分析提取FCG图和文本等复杂结构特征，利用图表示学习和文本表示学习的特征，在标注的数据集上取得了平均召回率88.1%的分类效果。所提方法在实际工作应用中效果优异。      

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。      

基于GAN网络的红外图像生成技术

当将人工智能技术应用于军事领域中的目标识别任务时,针对由红外图片采集的局限性而造成的训练数据不足的问题,提出了基于生成对抗网络以生成红外图像的方法,实现了数据集的扩充。对基本的生成对抗网络进行了改进,将网络的输入由随机噪声变为真实图片,使之实现了图片到图片的风格转换,即彩色图片转变为红外图片。经过网络模型的搭建和训练,实验结果表明,该方法能够有效生成清晰和高质量的红外图片,解决了由红外数据不足而造成的网络训练不充分的问题。     

基于调制卷积神经网络的空地数据链信道估计

针对复杂环境下空地数据链正交频分复用(OFDM)系统信道估计精度不足的问题,提出了一种基于调制卷积神经网络(MCNN)和双向长短时记忆网络(BiLSTM)结合的信道估计算法。利用最小二乘算法(LS)提取初始信道状态信息(CSI);利用MCNN网络提取初始CSI的深度特征,并对网络模型进行压缩;利用BiLSTM网络对最终CSI进行预测,实现信道估计。利用构建的空地信道模型生成信道系数数据集,实现神经网络模型的训练与测试。仿真结果表明:与传统算法和现有深度学习方法相比,所提出的信道估计算法具有更小的估计误差,高信噪比条件下的系统误码率(BER)性能提升接近一个数量级;由于引入了调制滤波器技术,随着神经网络层数增加,网络模型参数量大幅减少。      

复杂背景下机场道面细带状结构病害检测算法

机场道面裂缝、角隅断裂、接缝破碎、修补等病害宽度狭小、长短不一、图像中像素占比少,呈细带状结构,且与复杂背景对比度低,现有检测算法效果不佳。针对以上问题,提出了一种基于注意力机制与特征融合的深度神经网络模型DetMSPNet。首先,利用注意力机制模块CBAM,使得特征学习更加专注于细带状结构病害区域,抑制干扰信息;其次,构建残差空洞金字塔模块,提取不同尺度空间下的特征信息;然后,设计最大池化支路,便于之后浅、深层不同层次特征进行融合,加强模型对于病害的定位能力,并且将深层特征输入3种不同扩张率的扩张卷积和金字塔池化模块,使得病害特征包含更多全局上下文信息;最后,对所有层输出的病害特征信息进行融合,实现不同尺度、不同层次特征的信息互补。与目前3种经典的目标检测算法在机场道面病害图像数据集APD上做了对比实验,结果表明:所提算法的mAP达到78.51%,优于对比算法。所提DetMSPNet模型,提高了算法对机场道面细带状结构病害检测中宽度狭小、长短不一、图像中像素占比少、与复杂背景对比度低等情况的适应能力。