一种面向无线视频流的包调度算法

以终端系统为研究对象,给出了一种端到端的无线网络视频流系统结构.在一个GOP(Group Of Picture)中,各个视频包VP(Video Packet)对视频解码质量影响不同,据此定义了视频帧 的重要性系数.在此基础上提出了一种基于视频帧重要性的无线视频流包调度算法WV SPSA(Wireless Video Streaming oriented Packet Scheduling Algorithm),该算法能够根据视频帧的重要性动态调整视频帧的发送次序.仿真结果表明,所提出的视频流系统结构合理,WVSPSA算法性能优于目前主流的EDF(Earliest Deadline First )算法.      

基于HTTP自适应流媒体传输的3D视频质量评价

3D视频网络服务的关键在于提高用户的体验质量（QoE）,而体验质量往往会由于网络环境的变化及视频内容的不同而受到影响。传统的2D视频传输可以采用基于HTTP的自适应流媒体（HAS）速率自适应机制有效地利用网络带宽,提高用户体验质量。因此对于如何利用动态自适应流媒体技术实现至少需要传输两路视频流的3D网络视频服务已经越来越被关注。HAS技术的关键在于媒体质量级别的动态转换策略,主要研究了3D视频中不同视点比特率的变化对用户观看体验质量的影响。首先,建立一个主观数据库探讨块级客观质量与3D视频的视觉体验质量之间的关系,块级客观质量将随着比特率的变化而变化。其次,提出了一种基于卷积神经网络（CNN）的QoE模型,该模型可以通过块级客观质量有效地评估QoE,模型预测值和平均意见分（MOS）的皮尔森线性相关系数（PLCC）为0.906,可在自适应流媒体应用中为3D视频传输中不同视点的码率调整提供指导。      

基于SM4算法的白盒密码视频数据共享系统

基于SM4算法的白盒密码视频数据共享系统是一种保障监控视频数据跨级跨域共享安全的系统，提出了一种基于国密SM4算法的白盒密码实现方式，并分析了算法的安全性，解决了SM4算法在非信任硬件环境中的安全运行问题。研制了基于后台权限控制机制的视频数据安全共享软件系统，包括共享数据上传/下载、共享审核、数据白盒加密处理、访问控制、基于白盒密码算法的共享视频解密播放器，实现了视频数据共享全过程的安全管控。搭建了实验环境，对所提系统进行了功能性能实验。实验结果表明，所提系统功能性能满足设计要求。      

基于FPGA的高效机载视频采集及预处理方法

为提高机载视频编码系统的数据采集及预处理性能,以现场可编程门阵列(FPGA)为硬件平台,研究了多模式机载视频采集、颜色空间转换和视频数据传输的高效处理方法.针对机载应用需要实时采集不同模式视频的特点,设计了一种可靠的视频采集策略,通过引入错误自检机制,可以实时监测视频采集的正确性,避免视频数据的错误积累;针对机载视频颜色空间转换预处理中浮点乘法浪费计算资源和增加系统功耗的问题,设计了一种基于高低位分离的截断式查找表乘法器,减少了存储空间和计算位宽,结合流水线处理技术实现了一种高效视频颜色空间转换方法,在保证计算精度和性能的同时,处理功耗最大降低了27%;针对FPGA处理器与系统核心编码处理器(DSP)之间存在大量视频数据的频繁传输特点,结合SRIO(Serial Rapid I/O)链路的传输方式,设计了一种以FPGA为控制核心的数据交互机制,减轻了DSP的处理负担使其专注于视频编码运算,提高系统性能.      

Moving object detection using color distribution motion enhancement and comparison

为检测无人机视频中的地面运动目标,提出了一种运动和颜色信息相结合的算法,采用前向运动历史图像来增强独立运动信息和抑制背景噪声,确保完整分割出候选运动区域;提出一种迭代的、基于局部颜色分布比对的方法,去除候选区域中的背景像素,以更准确地提取单个运动目标,算法不仅节约了计算量,还有效降低了误检和漏检的可能性．多组无人机视频的实验结果表明了所提算法的高效性和鲁棒性。     

基于运动增强和颜色分布比对的运动目标检测

为检测无人机视频中的地面运动目标,提出了一种运动和颜色信息相结合的算法.采用前向运动历史图像来增强独立运动信息和抑制背景噪声,确保完整分割出候选运动区域; 提出一种迭代的、基于局部颜色分布比对的方法,去除候选区域中的背景像素,以更准确地提取单个运动目标.算法不仅节约了计算量,还有效降低了误检和漏检的可能性.多组无人机视频的实验结果表明了所提算法的高效性和鲁棒性.     

基于多特征图像视觉显著性的视频摘要化生成

如何高效提取视频内容即视频摘要化,一直是计算机视觉领域研究的热点。简单通过图像颜色、纹理等特征进行检测已无法有效、完整地获取视频摘要。基于视觉注意力金字塔模型,提出了一种改进的可变比例及双对比度计算的中心-环绕视频摘要化方法。首先,以超像素方法对视频图像序列进行像素块划分以加速图像计算;然后,检测不同颜色背景下的图像对比度特征差异并进行融合;最后,结合光流运动信息,合并静态图像与动态图像显著性结果提取视频关键帧,在提取关键帧时,利用感知哈希函数进行相似性判断完成视频摘要化生成。在Segtrack V2、ViSal及OVP数据集上进行仿真实验,结果表明:所提方法可以有效提取图像感兴趣区域,得到以关键帧图像序列表示的视频摘要。      

基于多尺度残差卷积网络的HEVC视频隐写分析

图片、语音、视频等多媒体形式的信息交流在网络通信中占有重要地位,同时也有很多非法信息的传播隐匿于此。隐写分析是甄别隐秘信息是否存在的有效手段,提出了一种通用的基于多尺度残差卷积网络的HEVC视频隐写分析算法。网络主体由残差计算、特征提取和二分类3部分构成,其中在特征提取部分针对性地提出了残差卷积层、多尺度残差卷积模块及隐写分析残差块。实验结果表明:所提算法基于视频像素域分析网络的检测率高达99.75%,比传统的手工提取特征方法具有更大的优势。      

基于SVC视频流的低复杂度多播组分解算法

多播是一种高效率利用带宽资源的技术，可以有效缓解多媒体传输过程中的带宽压力，但传统的多播技术会带来“瓶颈用户”问题，限制多播组内用户的数据速率。多播组分解技术将多播组划分为若干子组并以不同速率接收数据，可以有效解决瓶颈用户带来的速率限制。构建了面向用户端的视频多播传输方案，将可伸缩视频编码（SVC）的分层特点和组分解技术相结合，各多播子组根据实际接收能力解调得到不同质量的SVC视频数据，在保证用户基本视频数据传输的基础上，实现总系统速率最大化。提出了面向资源公平调配的低复杂度多播组分解算法，在改进低复杂度分组（LCS）算法过程中考虑SVC视频层限制，并引入常值向量抑制资源分配不公的情况。经过实验数据模拟和性能评估，所提算法在带宽资源和用户数量变化时，均可以稳定地保持较高的系统速率、频谱效率及系统公平性，且计算复杂度较低，能够实际应用于4G和5G网络架构下的视频传输。      

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索,使得生成特征的表现能力较差的问题,设计了一种基于多语义线索的跨模态视频检索模型,该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧,有选择性地关注视频数据的重要信息,获取数据的全局特征;采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征;通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索,更好地挖掘数据中的语义信息,进而提高检索效果。在此基础上,提出了一种改进的三元组距离度量损失函数,采用了基于相似性排序的困难负样本挖掘方法,提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较,所提算法在文本检索视频任务上提高了11.1%;在MSVD数据集上的实验表明:与当前先进的方法比较,所提算法在文本检索视频任务上总召回率提高了5.0%。      

遥感卫星高速数传信息流设计

随着卫星遥感技术水平的提高,遥感数据的类型和数据量快速增加。为适应多类型、高速率遥感数据传输的复杂需求,对数传信息流进行了顶层设计,定义了数传与遥感系统数据接口以及数传帧格式,对遥感数据传输所需码速率进行了分类计算,为设计固定的下行数传码速率提供了依据。进而针对不同类型的遥感数据提出了基于分组优先级虚拟信道动态调度策略的数传信息流设计方案,确保不同类型遥感数据的传输满足不同的应用需求。对高速遥感数据确保满足较低的缓存容量需求,对低速遥感数据确保满足实时性传输需求。采用动态仿真技术对数传信息流设计方案进行了试验验证。设计方案可为后续新一代遥感卫星数传系统设计提供参考。     

视觉辅助遥操作在卫星在轨自维护中的应用

为了克服时延对空间机器人遥操作的影响,提出了利用视觉技术辅助遥操作进行卫星自维护的方法.针对遥操作数据传输滞后的问题,设计并实现了一种基于视觉的共享控制策略,该策略将维护任务分为自由空间控制与自主视觉伺服控制.在自由空间控制阶段,通过3D图形预测仿真以及实时反馈的视频流,提高了遥操作者的视觉临场感.在自主控制阶段,采用冗余特征视觉伺服控制,克服了系统对标定精度的依赖性,从而提高了整个系统的智能化程度.最后,通过对典型的卫星维护任务实例的分析,验证了该方法的有效性.     

QoE驱动的VR视频自适应采集与传输

在虚拟现实（VR）视频流媒体传输中,如何在带宽受限的条件下提高用户的质量体验（QoE）是一项巨大的挑战。为了更好地提高资源利用率和用户的QoE,提出了一个面向多用户的QoE驱动上下行链路联合的VR视频流媒体自适应采集与传输系统。与传统的VR视频无线传输系统不同的是,所提系统考虑了上行传输部分。其中,视频服务器根据上行链路和下行链路的带宽信息、用户的实时视角信息,以速率自适应为基础进行码率选择和资源分配。定义了QoE驱动的码率选择和资源分配问题,以最大化整个系统所有用户的QoE值。提出了联合KKT条件和分支定界法的速率自适应选择算法。实验结果表明:所提系统可以有效提高所有用户的QoE值,与上行链路平均分配资源算法相比,系统QoE值提高了14.27%,同时与传统的VR视频速率自适应算法相比,系统QoE值提高了23.47%。      

AVB网络流量整形帧模型端到端延迟计算

音视频桥接技术(AVB)以传统以太网为基础,通过基于信用量的整形(CBS)算法进行流量整形,提供了音视频流确定性传输的基础保障。在CBS流模型的延迟分析计算基础上,考虑了AVB网络中数据帧实际排队和调度的离散特性,提出了一种改进的CBS帧模型来计算音视频流量的排队传输延迟,并推导了帧模型下最坏延迟计算公式。采用典型的车载网络应用场景对2种模型进行演算验证,结果表明:同流模型相比,CBS帧模型中得到的端到端延迟更小,显示出更好的紧性评估效果,同时这种紧性评估在针对低优先级流量的延迟分析时,差异会更加显著。     

大容量信息实时传输技术研究

在信道带宽受限的条件下,实现大容量信息的实时传输是面向空间应用的遥科学技术要解决的核心问题之一。提出了将双总线寻址与双Ｂｕｆｆｅｒ相结合的技术结构,从而实现了在规定的传输协议、规定的信息道链路带宽的约束条件下,视频图像的实时无缝传输与主动遥操作。通过一些关键性技术难点的突破,达到了在２Ｍｂｉｔ／ｓ码速率下按ＣＣＳＤＳ（空间数据系统协调委员会）的位流协议在地基上实时复现出高质量的视频图像序列。     

面向星载应用的地面测试系统设计CSCD

星间数据传输体制要求星载设备数据传输具备实时性、高精确性,在数据传输过程中必须保持节拍同步。相关星载设备在上天前要进行严格的数据流测试以保证满足要求,因此在地面搭建数据流测试系统有重大的意义。本文通过对1553B总线仿真卡进行二次开发,完成了地面测试系统的设计。对相关星载设备的测试结果表明,该系统实现了1553B总线中的BC-RT(总线-远程终端)、RT-BC(远程终端-总线控制器)、RT-RT、MT(监视终端)传输模式,完成了限定时间内规定数据量的正确传输,保证了数据传输节拍的同步,确保了对相关星载设备的数据流测试。该系统不仅能够满足相关星载设备的测试需求,而且可以作为一种通用的数据流测试平台,较好地提供了1553B总线数据级的测试手段。     

面向空间通信的DTN一体化传输性能约束研究

相比于地面网络，空间通信链路具有较长的延迟、频繁的中断、较高的误码率及上下行链路非对称等特性，互联网成熟的网络技术并不适用，对网络可靠传输性能的保障提出了挑战。不同于空间IP协议体系方案，针对空间通信链路特性，采用多种传输机制兼容的DTN（delay tolerant networking）协议架构。重点针对链路非对称、和信道误码率等特性，研究对保障可靠传输的TCP和LTP两种传输机制的性能制约，并给出LTP（Licklider transport protocol）机制的跨层包尺寸优化模型。基于半实物仿真平台，构建静止轨道GEO以下的空间通信场景，进行真实数据流仿真，分析链路因素对协议传输性能的影响。仿真结果表明，在近地端误码率和信道非对称比例较小的空间通信场景中，仍可以采用TCP机制保障可靠传输，但对于误码率和信道非对称比例较高的通信场景，应考虑采用LTP传输机制保障通信的有效性和可靠性。