基于深度视觉语义嵌入的视频缩略图推荐

视频缩略图作为视频内容最直观的表现形式,在视频共享网站中发挥很重要的作用,是吸引用户是否会点击观看该视频的关键要素之一。一句与视频内容相关的描述性语句,再搭配一幅与语句内容相关的视频缩略图,往往对用户更有吸引力,因此提出一种深度视觉语义嵌入模型来构建完整的视频缩略图推荐框架。该模型首先使用卷积神经网络（CNN）来提取视频关键帧的视觉特征,并使用循环神经网络（RNN）来提取描述语句的语义特征,再将视觉特征与语义特征嵌入到维度相同的视觉语义潜在空间;然后通过比较视觉特征与语义特征之间的相关性来推荐与特定的描述语句内容密切相关的视频关键帧作为视频缩略图推荐结果。在不同类型的网络视频数据上的实验表明,所提方法能够有效地从网络视频中推荐出与给定描述性语句内容较相关的视频缩略图序列,提升视频的用户浏览体验。      

一种面向无线视频流的包调度算法

以终端系统为研究对象,给出了一种端到端的无线网络视频流系统结构.在一个GOP(Group Of Picture)中,各个视频包VP(Video Packet)对视频解码质量影响不同,据此定义了视频帧 的重要性系数.在此基础上提出了一种基于视频帧重要性的无线视频流包调度算法WV SPSA(Wireless Video Streaming oriented Packet Scheduling Algorithm),该算法能够根据视频帧的重要性动态调整视频帧的发送次序.仿真结果表明,所提出的视频流系统结构合理,WVSPSA算法性能优于目前主流的EDF(Earliest Deadline First )算法.      

一种面向矢量视频处理器的并行存储结构

视频编解码算法不仅复杂度非常高,对数据存储需要密集的矢量化访问.针对这一问题提出了一种线性斜移结构的二维存储方案,支持任意行或任意列的单指令存取,与SIMD(Simple Instruction Multiple Data)结构的矢量处理器相结合,能够成倍的加速视频计算的执行效率.给出了该方案的地址计算逻辑和存储结构,精简的地址计算逻辑和数据重排逻辑构成了视频处理器的矢量地址产生单元,解决了数据重排的高延迟和高复杂度问题.结合H.264视频编码标准对这一结构的性能进行了分析和对比,对该编码标准中的运动估计,分像素插值和去块效应滤波这3个计算复杂度最高的模块在该结构下的执行效率进行了分析和对比.      

监控视频中异常事件检测技术研究进展

异常事件检测技术是当前智能监控技术研究领域关注的一个热点,作为计算机视觉的重要研究内容,其主要目标是利用计算机自动检测出可被视为异常的事件。传统方法存在低层视频特征描述能力弱,异常检测方法计算代价大,对复杂场景建模时鲁棒性差等方面的限制。本文结合国内外的研究现状和目前的主流方法,介绍了监控视频中异常事件检测涉及的基本技术,分析了各类监控视频特征提取方法、特征学习模型和异常检测方法的优缺点,整理归纳了可用于监控视频中异常事件检测的常用实验数据集,最后讨论了监控视频中异常事件检测技术的难点、挑战及未来发展趋势。     

基于深度学习的先进陶瓷零件实时缺陷检测系统

传统先进陶瓷零件检测与分类的主流方法为纯机械尺寸过滤和人工判断,为解决其成本高、失误率高和损坏率高等问题,提出了基于深度学习的多目标实时检测分类模型（Multi-object real-time detection and classification model, MRDC）。该模型以YOLOv3为基础,使用SKNet作为注意力机制进行特征重构提高精确度,配合灰度图快速转化算法与跳帧检测方法提高检测速度,可实现实时缺陷检测。对实际生产中的先进陶瓷零件进行采集训练,多批次采集图像数据,每批数据含多个陶瓷零件的1 000张图像,平均精确率均值达到99.19％,用先进陶瓷零件生产线视频检验,识别分类的正确率达到100％,可以保证每分钟检测450~550个零件。多目标实时检测分类模型拥有识别速度更快、识别准确率更高和零件不易损坏等优点,可极大地节约生产原料与人力成本,减少废品产出。     

大斜视直升机载太赫兹ViSAR振动补偿成像算法

太赫兹视频合成孔径雷达（ViSAR）载波波长短,直升机载平台的微小高频振动将引起回波信号相位的显著变化,进而严重恶化ViSAR的成像性能。本文在建立斜视ViSAR平台振动成像几何模型的基础上,提出了大斜视模式下的振动相位误差补偿成像算法。该算法结合运动补偿原理,将斜视成像侧视化处理,然后采用改进的多普勒Keystone变换方法在二维频域校正由平台振动引起的距离单元徙动,最终在距离多普勒域实现振动相位误差补偿。仿真结果验证了该算法的有效性。      

视频内窥镜技术在火箭管路上的应用

为检测火箭增压输送管路内表面缺陷,提高管路质量,开展了内窥镜技术在火箭管路内表面应用技术研究。介绍了内窥镜设备技术特点,内窥镜管路检测存在问题,设备探头选择和尺寸测量校准的工艺方法,对检测出的内表面缺陷类型进行归类总结,对难以定性的缺陷利用电镜和金相等技术进行微观分析。结果显示:采用视频内窥镜检测技术对火箭管路内表面进行检测时,应根据增压输送管路的内径尺寸优先选择直径较大的探头;采用标定缺陷对比法进行测量校准,其测量准确,现场检测适用性强;检测缺陷图像清晰,效果稳定,内表面缺陷类型定性准确,检测效果满足工艺要求。     

基于多样性约束和离散度分层聚类的无监督视频行人重识别

视频行人重识别是一项应用非常广的计算机视觉任务。目前的视频行人重识别方法通常是基于监督学习的,该方法需要手工标记大量的数据,代价非常高且并不适用于现实场景。本文提出了一种从底向上的基于多样性约束和离散度分层聚类的无监督视频行人重识别方法。该方法首先将每个样本当作是一个不同的类,然后结合类内间离散度进行从底向上的分层聚类,类间和类内离散度都小的类别将被优先合并,同时在聚类准则中加入一项多样性约束来平衡每类中的样本数量,最后,利用线性变化的特征存储器动态更新模型。在Mars和DukeMTMC-VideoReID两个大型视频数据集上的实验结果表明,相比于目前先进的无监督视频行人重识别方法,本文方法在性能上有一定的提升。     

基于几何矩阵的增强虚拟现实

增强虚拟现实是组合真实场景和虚拟场景,以达到丰富真实场景的目的.针对摄像机相对景深做较小运动时所获得的视频,提出了一种基于几何矩阵的增强虚拟现实方法.摄像机在这种运动情况下,可以用一个几何矩阵来描述两帧之间的关系,这样就大大简化真实场景和虚拟场景的组合.同时,由于虚拟场景来自二维图像,因此,非常容易对准虚拟物体在视频中的位置.理论和真实视频实验表明,本文提出的增强虚拟现实方法具有计算量小和真实性强等优点.