基于分段化结构重建的2D/3D视频转换方法

为了缓解3D片源的不足,设计了一种分段化结构重建方法为视频2D/3D转换提供深度线索.采用分层提取的方式,将视频基于内容分解为子序列,在每个子序列中建立优化准则选择出处于非退化状态的关键帧,并以此为基础提出了分段化结构重建框架,利用改进的耦合自标定算法重构出每个子序列对应的离散3D结构信息,从而获取视频的深度线索.实验结果表明,该方法通过分段化后的局部优化,不仅使结构化重建能够有效处理多场景下的连续镜头,还加快了转换的效率,能够稳定、高效地获取深度信息,适用于视频2D/3D转换.      

基于FPGA的高效机载视频采集及预处理方法

为提高机载视频编码系统的数据采集及预处理性能,以现场可编程门阵列(FPGA)为硬件平台,研究了多模式机载视频采集、颜色空间转换和视频数据传输的高效处理方法.针对机载应用需要实时采集不同模式视频的特点,设计了一种可靠的视频采集策略,通过引入错误自检机制,可以实时监测视频采集的正确性,避免视频数据的错误积累;针对机载视频颜色空间转换预处理中浮点乘法浪费计算资源和增加系统功耗的问题,设计了一种基于高低位分离的截断式查找表乘法器,减少了存储空间和计算位宽,结合流水线处理技术实现了一种高效视频颜色空间转换方法,在保证计算精度和性能的同时,处理功耗最大降低了27%;针对FPGA处理器与系统核心编码处理器(DSP)之间存在大量视频数据的频繁传输特点,结合SRIO(Serial Rapid I/O)链路的传输方式,设计了一种以FPGA为控制核心的数据交互机制,减轻了DSP的处理负担使其专注于视频编码运算,提高系统性能.      

低延迟视频编码技术

随着视频编码和视频传输技术的广泛应用，视频需求量剧增，实时视频通信成为视频行业的一项重要研究内容，核心目标是提供更好的用户体验和更低的延迟。低延迟视频编码是实时视频通信应用的关键部分，通过降低编码延迟可以有效地降低系统的整体延迟。首先，分析了视频传输系统的延迟来源，从通用的视频编码框架出发着重介绍了编码延迟的产生机制；其次，概述了国内外主流的视频编码标准，介绍了率失真优化技术的原理和模型，为低延迟视频编码器的设计提供了理论基础；最后，从参考结构、流水线设计、编码模式搜索、码率控制和硬件加速多个维度描述了优化编码延迟的技术手段，并总结了业界具有代表性的低延迟视频编码方案，简要说明了现有低延迟视频编码技术的局限性，并对未来的发展方向做了展望。      

基于运动对象自动检测和查询的监控系统

针对现有的视频监控系统的缺陷,提出基于运动对象自动检测和查询的智能视频监控系统.利用帧间差的4次统计量的假设验证,自动检测运动对象.用形态学腐蚀和膨胀算子对检测的运动对象的二值图像进行处理,以提高检测运动对象的可靠性,降低误警率.为自动跟踪运动对象轨迹,提出检测块概念.依据检测的运动对象和事件,建立相应的监控信息标注数据库,进而由时间段、运动对象及场景中发生的事件来查询监控信息,实现"跳跃"式随机检索监控信息.实验结果证明提出的方法对实现智能的视频监控系统是有效且健壮的.      

Stewart平台远程操作试验系统的研制

为了研究Stewart平台大时延情况下的远程操作稳定性,建立了相关试验系统.用以太网模拟远程通信信道,连接2套Stewart平台控制系统;利用DirectX技术,对用户屏蔽了具体硬件设备,建立了用户输入接口和视频反馈;利用OpenGL(Open Graphic Library)技术,建立了虚拟操作环境,以便于未来利用虚拟操作环境补偿时延;用神经网络的位置正解方法代替传统方法驱动虚拟模型,获得更高的精度;对通讯的带宽进行在线监控,优先保证指令传输;通过改变发送速率,保证视频连续发送.试验结果表明,用户通过输入指令可以方便地控制平台,平台位姿可以通过虚拟操作环境和视频进行反馈,系统满足了设计要求.      

基于多语义线索的跨模态视频检索算法

针对现有的大多数跨模态视频检索算法忽略了数据中丰富的语义线索，使得生成特征的表现能力较差的问题，设计了一种基于多语义线索的跨模态视频检索模型，该模型通过多头目自注意力机制捕捉视频模态内部对语义起到重要作用的数据帧，有选择性地关注视频数据的重要信息，获取数据的全局特征；采用双向门控循环单元（GRU）捕捉多模态数据内部上下文之间的交互特征；通过对局部数据之间的细微差别进行联合编码挖掘出视频和文本数据中的局部信息。通过数据的全局特征、上下文交互特征和局部特征构成多模态数据的多语义线索，更好地挖掘数据中的语义信息，进而提高检索效果。在此基础上，提出了一种改进的三元组距离度量损失函数，采用了基于相似性排序的困难负样本挖掘方法，提升了跨模态特征的学习效果。在MSR-VTT数据集上的实验表明:与当前最先进的方法比较，所提算法在文本检索视频任务上提高了11.1%；在MSVD数据集上的实验表明:与当前先进的方法比较，所提算法在文本检索视频任务上总召回率提高了5.0%。      

基于帧频的星载SAR系统视频成像能力分析

视频合成孔径雷达(video synthetic aperture radar, ViSAR)作为一种微波遥感体制能以摄像式模式对重点区域的时敏目标展开持续性的动态监视，已经受到越来越广泛的关注，但针对视频SAR系统的视频成像能力的分析还不够深入。首先建立了视频SAR回波信号模型，并结合给定的星载SAR系统参数，提出了一种基于帧频的适合分析星载SAR系统视频成像能力的模型，并基于X波段和Ka波段雷达参数对系统进行了仿真分析。研究表明，在形成相同帧率的SAR视频时，SAR系统频率越高，越容易形成独立帧率的SAR视频；在形成相同方位分辨率帧图像的SAR视频时，中心斜视角越大，所需的孔径交叠率越大。研究成果可为星载SAR系统设计提供理论分析支撑。     

虚拟座舱中的三维音响

对可提供三维空间听觉信息并增强人在虚拟环境中沉浸感的双耳声做了介绍。从声音传播、被感知角度,对双耳声的数学模型做了推导。由于头部相关传递函数和单声道的声音信号卷积可生成双耳声,因此对头部相关传递函数做了较详细的阐述。对长时间声音信号的卷积算法中的重叠保留法做了论述,对可仿真声源平滑运动的交叉衰减技术做了介绍,最后对虚拟座舱中的一种三维音响生成方案做了设计。     

Learning in an immersive digital theater

The Houston Museum of Natural Science, in collaboration with Rice University has an outreach program taking portable digital theaters to schools and community sites for over five years and has conducted research on student learning in this immersive environment. By using an external independent evaluator, the effectiveness of NASA-funded Education and Public Outreach (EPO) projects can be assessed. This paper documents interactive techniques and learning strategies in full-dome digital theaters. The presentation is divided into Evaluation Strategies and Results and Interactivity Strategies and Results. All learners from grades 3–12 showed statistically significant short-term increase in knowledge of basic Earth science concepts after a single 22-min show. Improvements were more significant on items that were taught using more than one modality of instruction: hearing, seeing, discussion, and immersion. Thus immersive theater can be an effective as well as engaging teaching method for Earth and Space science concepts, particularly those that are intrinsically three-dimensional and thus most effectively taught in an immersive environment. The portable system allows taking the educational experience to rural and tribal sites where the underserved students could not afford the time or expense to travel to museums.     

基于Internet和Java3D的多机器人操作虚拟环境

网络传输时延的不确定性和机器人之间的有效协调是多机器人遥操作系统研究的关键问题.采用Java和Java3D技术构建了基于Internet的虚拟操作环境,改变了传统上基于视频信息作为反馈的操作模式,克服了网络传输时延对系统操作性能的影响.提出了基于虚拟向导的概念并加以实现,处于异端的操作者能够准确地预测其它操作者的操作意图并实现有效的协调动作.通过两个典型操作实例的分析,验证了系统的合理性与可行性.     

"混合控制"驱动虚拟人实现维修仿真

目前在开展虚拟维修仿真过程中,驱动虚拟人多采用2种方式,一种为沉浸式的虚拟外设控制,另一种为非沉浸式的算法控制.2种方式各有其局限性,为了提高维修仿真的实现效率,提出混合控制的方法及实现结构,即在算法控制虚拟人的仿真过程中插入虚拟外设控制方式,目的在于充分利用这2种控制方法的长处.对混合控制系统结构进行了描述,分析了2种控制方式之间的转换机制,并用实例加以验证.在当前的软硬件技术条件下混合控制方法为实现维修仿真提供了有效的技术手段.     

真实感DVE时空一致性技术

传统的一致性解决方案大多将重点放在构建完全一致性模型,缺少对虚拟环境本身运动规律的分析.从认知虚拟环境客观规律出发,提出基于真实感的一致性模型,遵从以人为本的原则,构建描述分布式虚拟环境下时空一致的数学模型,判断虚拟环境下的节点是否达到时空一致,并加以验证.在充分利用一致性模型的基础上通过单向数据传输减少时间扭曲后的回滚节点数目,增强用户沉浸感;利用时延神经网络对大于传输延迟上限的节点状态进行预测;完成节点的状态修复,从而保证时空同步一致.经过独立实验测试,验证了模型的有效性以及解决方法的可行性.     

基于视频的三维人体姿态估计

已有的三维人体姿态估计方法侧重于通过单帧图像来估计人体的三维姿态,忽略了视频中前后帧之间的相关性,因此,通过挖掘视频在时间维度上的信息可以进一步提高三维人体姿态估计的准确率。基于此,设计了一种可以充分提取视频时序信息的卷积神经网络结构,在获得高精度的同时也具有消耗计算资源小的优点,仅仅使用二维关节点的坐标为输入即可恢复完整的三维人体姿态。然后提出了一种新的损失函数利用相邻帧间人体姿态的连续性,来改进视频序列中三维姿态估计的平滑性,同时也解决了因缺少帧间信息而导致准确率下降的问题。通过在公开数据集Human3.6M上进行测试,实验结果表明本文方法相比目前的基准三维姿态估计算法的平均测试误差降低了1.2 mm,对于视频序列的三维人体姿态估计有着较高的准确率。      

时空域上下文学习的视频多帧质量增强方法

卷积神经网络（CNN）在视频增强方向取得了巨大的成功。现有的视频增强方法主要在空域探索图像内像素的相关性,忽略了连续帧之间的时域相似性。针对上述问题,提出一种基于时空域上下文学习的多帧质量增强方法（STMVE）,即利用当前帧以及相邻多帧图像共同增强当前帧的质量。首先根据时域多帧图像直接预测得到当前帧的预测帧,然后利用预测帧对当前帧进行增强。其中,预测帧通过自适应可分离的卷积神经网络（ASCNN）得到;在后续增强中,设计了一种多帧卷积神经网络（MFCNN）,利用早期融合架构来挖掘当前帧及其预测帧的时空域相关性,最终得到增强的当前帧。实验结果表明,所提出的STMVE方法在量化参数值37、32、27、22上,相对于H.265/HEVC,分别获得0.47、0.43、0.38、0.28 dB的性能增益;与多帧质量增强（MFQE）方法相比,平均获得0.17 dB的增益。