QoE驱动的VR视频自适应采集与传输

在虚拟现实（VR）视频流媒体传输中,如何在带宽受限的条件下提高用户的质量体验（QoE）是一项巨大的挑战。为了更好地提高资源利用率和用户的QoE,提出了一个面向多用户的QoE驱动上下行链路联合的VR视频流媒体自适应采集与传输系统。与传统的VR视频无线传输系统不同的是,所提系统考虑了上行传输部分。其中,视频服务器根据上行链路和下行链路的带宽信息、用户的实时视角信息,以速率自适应为基础进行码率选择和资源分配。定义了QoE驱动的码率选择和资源分配问题,以最大化整个系统所有用户的QoE值。提出了联合KKT条件和分支定界法的速率自适应选择算法。实验结果表明:所提系统可以有效提高所有用户的QoE值,与上行链路平均分配资源算法相比,系统QoE值提高了14.27%,同时与传统的VR视频速率自适应算法相比,系统QoE值提高了23.47%。      

基于深度视觉语义嵌入的视频缩略图推荐

视频缩略图作为视频内容最直观的表现形式,在视频共享网站中发挥很重要的作用,是吸引用户是否会点击观看该视频的关键要素之一。一句与视频内容相关的描述性语句,再搭配一幅与语句内容相关的视频缩略图,往往对用户更有吸引力,因此提出一种深度视觉语义嵌入模型来构建完整的视频缩略图推荐框架。该模型首先使用卷积神经网络（CNN）来提取视频关键帧的视觉特征,并使用循环神经网络（RNN）来提取描述语句的语义特征,再将视觉特征与语义特征嵌入到维度相同的视觉语义潜在空间;然后通过比较视觉特征与语义特征之间的相关性来推荐与特定的描述语句内容密切相关的视频关键帧作为视频缩略图推荐结果。在不同类型的网络视频数据上的实验表明,所提方法能够有效地从网络视频中推荐出与给定描述性语句内容较相关的视频缩略图序列,提升视频的用户浏览体验。      

基于SVC视频流的低复杂度多播组分解算法

多播是一种高效率利用带宽资源的技术，可以有效缓解多媒体传输过程中的带宽压力，但传统的多播技术会带来“瓶颈用户”问题，限制多播组内用户的数据速率。多播组分解技术将多播组划分为若干子组并以不同速率接收数据，可以有效解决瓶颈用户带来的速率限制。构建了面向用户端的视频多播传输方案，将可伸缩视频编码（SVC）的分层特点和组分解技术相结合，各多播子组根据实际接收能力解调得到不同质量的SVC视频数据，在保证用户基本视频数据传输的基础上，实现总系统速率最大化。提出了面向资源公平调配的低复杂度多播组分解算法，在改进低复杂度分组（LCS）算法过程中考虑SVC视频层限制，并引入常值向量抑制资源分配不公的情况。经过实验数据模拟和性能评估，所提算法在带宽资源和用户数量变化时，均可以稳定地保持较高的系统速率、频谱效率及系统公平性，且计算复杂度较低，能够实际应用于4G和5G网络架构下的视频传输。      

带QoP反馈的实时视频服务质量控制框架

分析了实时视频在现有"尽力而为"IP网络上传输所面临的带宽、延迟和丢失等问题,介绍了需要采用的拥塞控制和差错控制等应用级服务质量控制策略,并提出了一种联合的支持应用级服务质量控制的实时视频传输框架.该框架既考虑了网络资源的动态变化和影响,又兼顾了视频的服务质量调整对视频的表现质量的限制因素,充分利用了服务质量和表现质量之间的映射关系,具有更广泛的实用价值.      

场信号预处理的扩展视频编码器设计

虽然视频标准中给出了场信号的一些编码方法,但由于宏块划分方式比较多造成运动估计非常耗时,很难得到实际应用.为此,设计了具有运动自适应去隔行预处理功能的扩展视频编码器.该编码器先将场信号处理成逐行信号,之后采用固定帧方式进行编码.在将场信号处理成帧信号时,首先对相同奇、偶性的四场做运动检测,然后对具有不同运动特点的区域采用不同的插值方法得到待插值像素,最后插值场与当前场交织成逐行帧.测试结果表明,该编码器在相同压缩比下能取得与其它编码方法相同的峰值信噪比,编码一帧时间为宏块级帧/场自适应方法的1/3.此外,该编码器能有效地解决场信号在逐行扫描设备上的显示问题.      

基于单帧图像质量加权的视频质量评价模型

利用人眼视觉特性与视频序列时空相关特性,提出了基于视频序列内单帧图像质量加权的视频质量评价模型.其中,单帧图像质量利用峰值信噪比和结构相似性度量作为图像质量的描述参数,采用神经网络(NN,Neural Network)与支持向量机(SVM,Support Vector Machines)建立图像质量评价模型;视频序列质量由序列内单帧图像质量加权衡量,加权因子描述了视频序列内运动及场景变化的剧烈程度.仿真实验结果表明,该模型的输出能有效地反映图像的主观质量.模型预测出的单帧图像质量和视频序列质量的单调性相比PSNR分别提高7.42%和10.47%,均方根误差相比则提高了36.06％和10.48%.      

低延迟视频编码技术

随着视频编码和视频传输技术的广泛应用,视频需求量剧增,实时视频通信成为视频行业的一项重要研究内容,核心目标是提供更好的用户体验和更低的延迟。低延迟视频编码是实时视频通信应用的关键部分,通过降低编码延迟可以有效地降低系统的整体延迟。首先,分析了视频传输系统的延迟来源,从通用的视频编码框架出发着重介绍了编码延迟的产生机制;其次,概述了国内外主流的视频编码标准,介绍了率失真优化技术的原理和模型,为低延迟视频编码器的设计提供了理论基础;最后,从参考结构、流水线设计、编码模式搜索、码率控制和硬件加速多个维度描述了优化编码延迟的技术手段,并总结了业界具有代表性的低延迟视频编码方案,简要说明了现有低延迟视频编码技术的局限性,并对未来的发展方向做了展望。      

基于PF_RING的多核视频流高性能传输模型

在视频流高性能传输任务中,视频流量的传输问题已成为一个研究的热点。为此,提出了一种基于PF_RING技术的模型。通过使用PF_RING+TNAPI技术,并结合内存路由表、多核、多队列多线程等相关技术确保视频流的高性能传输。同时为了保证不同网域间共享视频数据的安全传输,提出了一种面向视频控制信令双向物理通道、视频流单向物理通道的视频传输模型。实验结果表明:所提方法在有效吞吐量、CPU使用率和平均误码率方面均取得了10%以上的提升。因此,所提方法通过采用PF_RING+TNAPI技术,同时结合视频传输模型,确保了共享视频数据传输的安全性和高效性。      

Stewart平台远程操作试验系统的研制

为了研究Stewart平台大时延情况下的远程操作稳定性,建立了相关试验系统.用以太网模拟远程通信信道,连接2套Stewart平台控制系统;利用DirectX技术,对用户屏蔽了具体硬件设备,建立了用户输入接口和视频反馈;利用OpenGL(Open Graphic Library)技术,建立了虚拟操作环境,以便于未来利用虚拟操作环境补偿时延;用神经网络的位置正解方法代替传统方法驱动虚拟模型,获得更高的精度;对通讯的带宽进行在线监控,优先保证指令传输;通过改变发送速率,保证视频连续发送.试验结果表明,用户通过输入指令可以方便地控制平台,平台位姿可以通过虚拟操作环境和视频进行反馈,系统满足了设计要求.      

基于相关滤波和轨迹预测的视频卫星动态目标跟踪算法

为解决卫星视频中有遮挡或相似目标情况下目标跟踪的问题,提出了一种改进的相关滤波算法,在跟踪框架中加入了干扰判别模块和基于神经网络的轨迹预测模型。通过比较平均峰值相关能量指标值与自适应阈值来判别跟踪器是否受到干扰。双向长短期记忆网络以目标历史轨迹编码为输入来完成轨迹预测,结合相关滤波输出结果和网络预测结果来确定目标的位置。实验表明,所提出算法的精度提升了2.10%,在有遮挡或相似目标等情况下仍具有较好的跟踪性能。     

网络服务性能测量体系结构

网络测量基础设施是网络测量领域研究的关键问题,在Internet网络环境下,网络服务提供商和网络管理员希望能从用户的角度了解其网络服务的服务质量,而用户希望获得定量的指标来选择质量最优的网络服务提供商.为此,在研究现有网络测量基础设施的前提下,提出一种分布式网络服务性能测量体系结构--SPMA.探讨了现有测量基础设施的经验和不足,重点介绍了SPMA的结构及其特点.SPMA采用了一种用户可定制、测量内容可扩展的通讯模型和数据模型,并使用了一种基于测量代理的测量探针自动部署机制.SPMA通过在不同网域部署测量探针收集被测目标的性能指标,从而可以最大限度的反映用户可获得的服务质量;它对外以Web服务模式提供测量服务,易于用户提交测量请求和获得测量结果.