融合语义信息的视频摘要生成

视频摘要任务旨在通过生成简短的视频片段来表示原视频的主要内容，针对现有方法缺乏对语义信息探索的问题，提出了一种融合语义信息的视频摘要生成模型，学习视频特征使其包含丰富的语义信息，进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数；视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间，以使2种特征相互靠近；视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离，以生成带有语义信息的视频摘要。测试时，在获取视频摘要的同时，该模型获得简短的文本摘要作为副产品，可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息，比现有先进方法取得了更好的性能，在这2个数据集上F-score指标分别提高了0.5%和1.6%。      

基于HTTP自适应流媒体传输的3D视频质量评价

3D视频网络服务的关键在于提高用户的体验质量（QoE）,而体验质量往往会由于网络环境的变化及视频内容的不同而受到影响。传统的2D视频传输可以采用基于HTTP的自适应流媒体（HAS）速率自适应机制有效地利用网络带宽,提高用户体验质量。因此对于如何利用动态自适应流媒体技术实现至少需要传输两路视频流的3D网络视频服务已经越来越被关注。HAS技术的关键在于媒体质量级别的动态转换策略,主要研究了3D视频中不同视点比特率的变化对用户观看体验质量的影响。首先,建立一个主观数据库探讨块级客观质量与3D视频的视觉体验质量之间的关系,块级客观质量将随着比特率的变化而变化。其次,提出了一种基于卷积神经网络（CNN）的QoE模型,该模型可以通过块级客观质量有效地评估QoE,模型预测值和平均意见分（MOS）的皮尔森线性相关系数（PLCC）为0.906,可在自适应流媒体应用中为3D视频传输中不同视点的码率调整提供指导。      

基于抽象汇编指令的恶意软件家族分类方法

恶意软件变体的大量出现对网络安全造成巨大威胁。针对基于汇编指令的恶意软件家族分类方法中，操作数语义与运行环境密切相关而难以提取，导致指令语义缺失，难以正确分类恶意软件变体的问题。提出了一种基于抽象汇编指令的恶意软件家族分类方法。通过抽象出操作数类型重构指令，使操作数语义脱离运行环境的约束；利用词注意力机制与双向门循环单元（Bi-GRU）构建指令嵌入网络以捕获指令行为语义，并结合双向循环神经网络（Bi-RNN）学习恶意软件家族共性指令序列，以减小变体技术对指令序列的干扰；融合原始指令和家族共性指令序列构建特征图像，并通过卷积神经网络实现恶意软件家族分类。公开数据集上的实验结果表明:所提方法能够有效提取操作数信息，抵抗恶意软件变体中无关指令的干扰，实现恶意软件变体的家族分类。      

基于多特征图像视觉显著性的视频摘要化生成

如何高效提取视频内容即视频摘要化,一直是计算机视觉领域研究的热点。简单通过图像颜色、纹理等特征进行检测已无法有效、完整地获取视频摘要。基于视觉注意力金字塔模型,提出了一种改进的可变比例及双对比度计算的中心-环绕视频摘要化方法。首先,以超像素方法对视频图像序列进行像素块划分以加速图像计算;然后,检测不同颜色背景下的图像对比度特征差异并进行融合;最后,结合光流运动信息,合并静态图像与动态图像显著性结果提取视频关键帧,在提取关键帧时,利用感知哈希函数进行相似性判断完成视频摘要化生成。在Segtrack V2、ViSal及OVP数据集上进行仿真实验,结果表明:所提方法可以有效提取图像感兴趣区域,得到以关键帧图像序列表示的视频摘要。      

基于单帧图像质量加权的视频质量评价模型

利用人眼视觉特性与视频序列时空相关特性,提出了基于视频序列内单帧图像质量加权的视频质量评价模型.其中,单帧图像质量利用峰值信噪比和结构相似性度量作为图像质量的描述参数,采用神经网络(NN,Neural Network)与支持向量机(SVM,Support Vector Machines)建立图像质量评价模型;视频序列质量由序列内单帧图像质量加权衡量,加权因子描述了视频序列内运动及场景变化的剧烈程度.仿真实验结果表明,该模型的输出能有效地反映图像的主观质量.模型预测出的单帧图像质量和视频序列质量的单调性相比PSNR分别提高7.42%和10.47%,均方根误差相比则提高了36.06％和10.48%.      

基于编解码双路卷积神经网络的视觉自定位方法

为了从单张RGB图像估计出相机的位姿信息,提出了一种深度编解码双路卷积神经网络（CNN）,提升了视觉自定位的精度。首先,使用编码器从输入图像中提取高维特征;然后,使用解码器提升特征的空间分辨率;最后,通过多尺度位姿预测器输出位姿参数。由于位置和姿态的特性不同,网络从解码器开始采用双路结构,对位置和姿态分别进行处理,并且在编解码之间增加跳跃连接以保持空间信息。实验结果表明:所提网络的精度与目前同类型算法相比有明显提升,其中相机姿态角度精度有较大提升。      

基于神经网络的撞球机器人控制器设计

对撞球机器人的母球控制问题展开研究,设计了一种基于神经网络(NN)的控制器,使机器人能够控制母球在击打目标球后按照预定的模式运动至目标点——即完成走位。针对该问题非线性且非光滑的特点,对坐标系进行阐述并给出机器人击球的模型;在光滑的假设下使用理论分析的方法建立母球的运动学模型与边库反弹的理想镜像模型;进而使用神经网络方法对理想模型进行修正,并对不同的轨迹模式进行分析与分类。测试结果表明:经过训练的机器人能够掌握各种模式的走位,统计结果与模型分析结果相吻合;相比于单一使用神经网络方法,本文使用理论分析与神经网络相结合的方法能够有效地提升网络的品质,降低训练的误差。     

基于多尺度失真感知特征的重定向图像质量评估

在不同宽高比显示设备上的图像观看体验通常受到图像重定向操作方法的影响。为了提高重定向图像主观感知与客观评估之间的一致性,提出了基于多尺度失真感知特征（MSDA）的客观重定向图像质量评估（RIQA）方法。语义失真和细节失真经常出现在图像的不同尺度上,因此从图像的不同尺度中提取失真感知特征。提出了一个描述原始图像和重定向图像之间的宽高比相似度（ARS）的精确度量。此外,使用视觉注意力融合图来模拟人类视觉系统对图像的主观关注度。在2个基准数据库上的实验结果表明,所提出的MSDA方法的肯德尔排名相关系数（KRCC）、皮尔逊线性相关系数（PLCC）和斯皮尔曼秩次相关系数（SRCC）指标分别比对比方法中最优方法提高4.1%、1.8%和4.5%。      

基于深度学习的无人机数据链信噪比估计算法

无人机数据链通信受到各种自然与人为的干扰,信噪比（SNR）是信道状态和通信质量的有效评估指标。为解决传统估计算法信噪比估计精度不足的问题,提出了一种卷积神经网络（CNN）与长短时记忆（LSTM）网络结合的估计模型。利用仿真与实测相结合的方式,构建了一个包含不同信噪比、调制方式、衰落信道等信息的无人机通信信号数据集;在网络训练阶段,将样本序列进行分割,对分割后的每一部分序列使用CNN-LSTM网络提取深度特征,多次训练并保存模型参数;在测试阶段,利用构建好的测试集完成对算法的验证与测试,得到信噪比估计值。实验表明,相比于传统信噪比估计算法与单一网络结构的深度学习算法,所提算法的均方误差最低,实现了对信噪比的高精度估计。      

基于高层语义嵌入的孪生网络跟踪算法

在不加深网络的前提下,为提高孪生网络的特征表达能力,提出基于高层语义嵌入的孪生网络跟踪算法。利用卷积和上采样运算设计了语义嵌入模块,有效融合了深层特征和浅层特征,达到了优化浅层特征的目的,且该模块可以针对任意网络进行灵活的设计与部署。在孪生网络框架下,对AlexNet骨干网络不同层之间添加2个语义嵌入模块。在离线训练阶段进行循环优化,使深层语义信息逐渐转移到较浅的特征层,在跟踪阶段,舍弃语义嵌入模块,仍采用原始的网络结构。实验结果表明：相比于SiamFC,所提算法在OTB2015数据集上精度提高了0.102,成功率提高了0.054。     

文本信息辅助图像差异描述生成

图像描述生成任务要求机器自动生成自然语言文本来描述图像所呈现的语义内容，从而将视觉信息转化为文本描述，便于对图像进行管理、检索、分类等工作。图像差异描述生成是图像描述生成任务的延伸，其难点在于如何确定2张图像之间的视觉语义差别，并将视觉差异信息转换成对应的文本描述。基于此，提出了一种引入文本信息辅助训练的模型框架TA-IDC。采取多任务学习的方法，在传统的编码器-解码器结构上增加文本编码器，在训练阶段通过文本辅助解码和混合解码2种方法引入文本信息，建模视觉和文本2个模态间的语义关联，以获得高质量的图像差别描述。实验证明，TA-IDC模型在3个图像差异描述数据集上的主要指标分别超越已有模型最佳结果12%、2%和3%。      

基于相关滤波和轨迹预测的视频卫星动态目标跟踪算法

为解决卫星视频中有遮挡或相似目标情况下目标跟踪的问题,提出了一种改进的相关滤波算法,在跟踪框架中加入了干扰判别模块和基于神经网络的轨迹预测模型。通过比较平均峰值相关能量指标值与自适应阈值来判别跟踪器是否受到干扰。双向长短期记忆网络以目标历史轨迹编码为输入来完成轨迹预测,结合相关滤波输出结果和网络预测结果来确定目标的位置。实验表明,所提出算法的精度提升了2.10%,在有遮挡或相似目标等情况下仍具有较好的跟踪性能。     

一种时空特征聚合的水下珊瑚礁鱼检测方法

水下监控视频中的珊瑚礁鱼检测面临着视频成像质量不高、水下环境复杂、珊瑚礁鱼视觉多样性高等困难,是一个极具挑战的视觉目标检测问题,如何提取高辨识度的特征成为制约检测精度提升的关键。提出了一种时空特征聚合的水下珊瑚礁鱼检测方法,通过设计视觉特征聚合和时序特征聚合2个模块,融合多个维度的特征以实现这一目标。前者设计了自顶向下的切分和自底向上的归并方案,可实现不同分辨率多层卷积特征图的有效聚合;后者给出了一种帧差引导的相邻帧特征图融合方案,可通过融合多帧特征图强化运动目标及其周边区域的特征表示。公开数据集上的实验表明:基于以上2个模块设计的时空特征聚合网络可以实现对水下珊瑚礁鱼的有效检测,相比于多个主流方法和模型取得了更高的检测精度。