分布式用户痕迹采集存储系统

在复杂网络的分布式环境中，精准全面地采集海量用户在浏览网站过程中的行为数据和网站过程数据并高效存储是用户行为分析的前提和基础。为了解决数据类型的多样性和存储的差异性问题，提高数据的检索效率，为企业的个性化需求做用户行为的分析提供支持，设计了白盒模式的用户痕迹采集存储系统。用户访问Web服务器过程中会产生交互/交易数据以及用户操作，浏览网站过程中会产生图片、视频、商品描述等多种类型的文件，这些界面和数据称为用户浏览痕迹，操作序列则作为用户行为的实际动作顺序记录。对用户数据和操作序列分析，能精确反映用户特征。采集模型通过界面窗口树来建模，提供统一数据存取接口，根据数据类型的不同，分别存储于不同的位置，完整采集用户痕迹，应用程序传递参数指定存储位置创建数据库文件，通过存取接口可以分类型、按要求存取用户数据，解决了面向互联网的用户交互痕迹捕获、存储和检索的问题，具有良好的精确性和完整性。      

融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

基于多特征图像视觉显著性的视频摘要化生成

如何高效提取视频内容即视频摘要化，一直是计算机视觉领域研究的热点。简单通过图像颜色、纹理等特征进行检测已无法有效、完整地获取视频摘要。基于视觉注意力金字塔模型，提出了一种改进的可变比例及双对比度计算的中心-环绕视频摘要化方法。首先，以超像素方法对视频图像序列进行像素块划分以加速图像计算；然后，检测不同颜色背景下的图像对比度特征差异并进行融合；最后，结合光流运动信息，合并静态图像与动态图像显著性结果提取视频关键帧，在提取关键帧时，利用感知哈希函数进行相似性判断完成视频摘要化生成。在Segtrack V2、ViSal及OVP数据集上进行仿真实验，结果表明:所提方法可以有效提取图像感兴趣区域，得到以关键帧图像序列表示的视频摘要。      

基于两层元数据与本体的异构数据共享技术

针对多源、多类、异构数据难以同时共享的问题,提出了一种两层元数据结合本体的信息共享技术.首先,分析了两层元数据的结构,介绍了如何通过两层元数据统一描述多类异构数据.其次,针对元数据缺乏语义信息不能描述数据类别之间的隐含关系的问题,在元数据之上建立本体层,对元数据进行语义描述和本体推理.最后,在数据检索方面,利用Lucene全文检索引擎与SPARQL(Simple Protocol and RDF Query Language)本体查询语言相结合,在关键词查询过程增加了SPARQL检索操作,提高了查全率,并优化了检索时间.实验选取了2014-2015赛季欧洲足球冠军联赛数据作为测试数据,证明了本文方法在异构数据共享上的有效性和元数据查询性能的改进.      

基于知识本体的资源管理平台框架设计与实现

针对大量领域信息资源缺乏有效内容分析这一问题,设计、开发了通过构建领域本体来充分发掘信息资源之间内在关系,实现信息资源增值服务的原型系统.首先构造了服装知识本体CO(Costume Ontology)用来表示服装领域知识.利用CO对被管信息资源进行语义描述,在描述数据库的基础上,实现基于语义的信息检索.讨论了服装知识本体的建模过程,本体的形式化表示以及存储方式.实验系统采用J2EE架构,开发了存储组件、语义查询接口组件、语义分析组件和语义推理组件.通过使用资源描述框架RDF,实现被管信息资源到知识本体层的映射.通过语义分析和语义推理,可以充分利用信息资源之间的关系实现相关信息资源检索与语义融合.     

热红外视频监控下行人目标前景区域提取

在热红外视频监控环境下，针对热红外图像因周围环境温度变化而导致热红外图像灰度值反转的问题，提出了一种通过热红外图像的边界特征和运动特征的融合来提取行人目标前景区域的方法。首先，利用行人目标和周围环境存在的显著性差异来提取行人目标的边界特征，对所提取的边界特征进行边界填充，并利用热红外行人目标分类器来排除误检目标，从而获取最终的边界特征提取结果；其次，利用相邻帧之间的运动信息来获取行人目标的运动特征，对所获取的运动特征进行形态学处理，并利用热红外行人目标分类器来排除误检目标，从而获取最终的运动特征提取结果；最后，对所获取的边界特征提取结果和运动特征提取结果进行融合来获得最终的检测结果。实验证明，在公开的OSU和LSI热红外图像行人目标检测数据集中，所提方法能够有效地降低环境温度变化的不利影响，并提高行人目标前景区域提取的精度。      

基于深度视觉语义嵌入的视频缩略图推荐

视频缩略图作为视频内容最直观的表现形式,在视频共享网站中发挥很重要的作用,是吸引用户是否会点击观看该视频的关键要素之一。一句与视频内容相关的描述性语句,再搭配一幅与语句内容相关的视频缩略图,往往对用户更有吸引力,因此提出一种深度视觉语义嵌入模型来构建完整的视频缩略图推荐框架。该模型首先使用卷积神经网络（CNN）来提取视频关键帧的视觉特征,并使用循环神经网络（RNN）来提取描述语句的语义特征,再将视觉特征与语义特征嵌入到维度相同的视觉语义潜在空间;然后通过比较视觉特征与语义特征之间的相关性来推荐与特定的描述语句内容密切相关的视频关键帧作为视频缩略图推荐结果。在不同类型的网络视频数据上的实验表明,所提方法能够有效地从网络视频中推荐出与给定描述性语句内容较相关的视频缩略图序列,提升视频的用户浏览体验。      

基于多尺度残差卷积网络的HEVC视频隐写分析

图片、语音、视频等多媒体形式的信息交流在网络通信中占有重要地位，同时也有很多非法信息的传播隐匿于此。隐写分析是甄别隐秘信息是否存在的有效手段，提出了一种通用的基于多尺度残差卷积网络的HEVC视频隐写分析算法。网络主体由残差计算、特征提取和二分类3部分构成，其中在特征提取部分针对性地提出了残差卷积层、多尺度残差卷积模块及隐写分析残差块。实验结果表明:所提算法基于视频像素域分析网络的检测率高达99.75%，比传统的手工提取特征方法具有更大的优势。      

多媒体课件中教学流程和教学呈现的表示方法

引入了通用转换网络对多媒体课件的教学流程作了形式化描述,并在此基础上讨论了教学流程及教学呈现在多媒体课件写作系统中的内部表示方法.该方法将课件中的教学流程描述和教学呈现的表示相分离,使课件写作系统更加灵活;其次,引入呈现描述来表示教学呈现内容,实现了教学内容的并发呈现.本文同时给出了相应表示方法实现的内部结构.     

一种时空特征聚合的水下珊瑚礁鱼检测方法

水下监控视频中的珊瑚礁鱼检测面临着视频成像质量不高、水下环境复杂、珊瑚礁鱼视觉多样性高等困难，是一个极具挑战的视觉目标检测问题，如何提取高辨识度的特征成为制约检测精度提升的关键。提出了一种时空特征聚合的水下珊瑚礁鱼检测方法，通过设计视觉特征聚合和时序特征聚合2个模块，融合多个维度的特征以实现这一目标。前者设计了自顶向下的切分和自底向上的归并方案，可实现不同分辨率多层卷积特征图的有效聚合；后者给出了一种帧差引导的相邻帧特征图融合方案，可通过融合多帧特征图强化运动目标及其周边区域的特征表示。公开数据集上的实验表明:基于以上2个模块设计的时空特征聚合网络可以实现对水下珊瑚礁鱼的有效检测，相比于多个主流方法和模型取得了更高的检测精度。      

基于内容的可视化多媒体查询语言的设计

设计了一个基于内容的可视化多媒体查询语言CBVMQL(Content-Based Visual Multimedia Query Language),该语言将语义表达、概念化定义、面向对象的语义表示和图像示例有机地结合起来,不仅提供了一个自然的可视化查询接口,而且也支持通过自动查询生成来精确地操纵信息.同时,它还结合多媒体的内容信息,实现了基于内容的多媒体查询.     

基于BoF模型的多特征融合纹理图像分类

针对特征词袋（BoF）模型缺乏空间和几何信息,对纹理图像内容表达不明显等问题,提出一种基于BoF模型的多特征融合纹理分类算法。将灰度梯度共生矩阵（GGCM）和尺度不变特征转换（SIFT）融合特征作为纹理图像的区域特征描述,通过动态权重鉴别能量分析进行最优参数特征选择,并用BoF量化纹理特征,使用支持向量机对图像进行训练和预测,得出分类结果。实验结果表明,本文算法对有旋转扭曲的纹理、边缘模糊纹理、有光照变化的纹理及杂乱纹理等均能取得较好的分类效果,相对于传统BoF模型及凹凸划分（CCP）方法等算法在UIUC纹理库上的分类正确率均有不同程度的提高,平均分类正确率分别提高12.8%和7.9%,说明本文算法针对纹理图像分类具有较高的精度和较好的鲁棒性。      

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索，使得生成特征的表现能力较差的问题，设计了一种基于多语义线索的跨模态视频检索模型，该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧，有选择性地关注视频数据的重要信息，获取数据的全局特征；采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征；通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索，更好地挖掘数据中的语义信息，进而提高检索效果。在此基础上，提出了一种改进的三元组距离度量损失函数，采用了基于相似性排序的困难负样本挖掘方法，提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较，所提算法在文本检索视频任务上提高了11.1%；在MSVD数据集上的实验表明:与当前先进的方法比较，所提算法在文本检索视频任务上总召回率提高了5.0%。      

基于空间注意力机制的行人再识别方法

行人再识别是图像检索领域的一个重要部分，但是由于行人姿态各异、背景复杂等因素，导致提取到的行人特征鲁棒性和代表性不强，进而影响行人再识别的精度。在AlignedReID++算法基础上，提出了基于空间注意力机制的行人特征提取方法，应用在行人再识别中取得了很好的效果。首先，在特征提取部分，引入空间注意力机制来增强特征表达，同时抑制可能的噪声；其次，通过在卷积层中引入实例正则化层（IN）来辅助批正则化层（BN）对特征进行归一化处理，解决单一BN层对特征色调变化以及光照变化的不敏感性，提高特征提取对亮度、色调变化的鲁棒性；最后，在Market1501、DukeMTMC和CUHK03 3个行人再识别通用数据集上对所提改进模型进行测试评价。实验结果显示:改进后的模型在3个数据集上识别精度分别提升了2%、2.9%和5.1%，表明改进后的模型相较于改进前的模型，在精度以及鲁棒性上都有显著提高。      

基于SVC视频流的低复杂度多播组分解算法

多播是一种高效率利用带宽资源的技术，可以有效缓解多媒体传输过程中的带宽压力，但传统的多播技术会带来“瓶颈用户”问题，限制多播组内用户的数据速率。多播组分解技术将多播组划分为若干子组并以不同速率接收数据，可以有效解决瓶颈用户带来的速率限制。构建了面向用户端的视频多播传输方案，将可伸缩视频编码（SVC）的分层特点和组分解技术相结合，各多播子组根据实际接收能力解调得到不同质量的SVC视频数据，在保证用户基本视频数据传输的基础上，实现总系统速率最大化。提出了面向资源公平调配的低复杂度多播组分解算法，在改进低复杂度分组（LCS）算法过程中考虑SVC视频层限制，并引入常值向量抑制资源分配不公的情况。经过实验数据模拟和性能评估，所提算法在带宽资源和用户数量变化时，均可以稳定地保持较高的系统速率、频谱效率及系统公平性，且计算复杂度较低，能够实际应用于4G和5G网络架构下的视频传输。