HEVC对偶编码单元划分优化算法

为了解决视频数据量日益增长与用户享受高质量视频体验需求之间的矛盾,HEVC在H.264/AVC标准的基础上通过引入新型的编码结构和算法进一步将编码效率提升了50%,但是也极大地提升了编码复杂度。基于此,提出对偶编码单元(CU)划分网络DualNet,来降低HEVC中帧内编码复杂度。该网络由预测网络和目标网络2个部分组成,其中,预测网络通过分析图像统计特征实现编码单元划分决策,从而跳过四叉树的遍历搜索,提高编码单元划分决策的时间效率;目标网络基于率失真代价评价和优化决策模型提升编码单元划分性能,实现模型互补和最优率失真估计。实验结果表明:与HEVC标准对比,所提算法在实现相近的压缩效果的前提下能够节省64.06%的编码时间。      

时空域上下文学习的视频多帧质量增强方法

卷积神经网络（CNN）在视频增强方向取得了巨大的成功。现有的视频增强方法主要在空域探索图像内像素的相关性,忽略了连续帧之间的时域相似性。针对上述问题,提出一种基于时空域上下文学习的多帧质量增强方法（STMVE）,即利用当前帧以及相邻多帧图像共同增强当前帧的质量。首先根据时域多帧图像直接预测得到当前帧的预测帧,然后利用预测帧对当前帧进行增强。其中,预测帧通过自适应可分离的卷积神经网络（ASCNN）得到;在后续增强中,设计了一种多帧卷积神经网络（MFCNN）,利用早期融合架构来挖掘当前帧及其预测帧的时空域相关性,最终得到增强的当前帧。实验结果表明,所提出的STMVE方法在量化参数值37、32、27、22上,相对于H.265/HEVC,分别获得0.47、0.43、0.38、0.28 dB的性能增益;与多帧质量增强（MFQE）方法相比,平均获得0.17 dB的增益。      

一种基于曼哈顿距离的帧间加权预测算法

合并模式通过共享邻域块的运动矢量（MV）来节省编码运动信息比特数,有效提升了编码器率失真性能。然而,当前合并模式中的运动补偿预测（MCP）不够准确。为此,分析了合并模式中的预测残差分布特点,并提出了一种基于曼哈顿距离的加权预测算法作为合并模式的附加候选项。首先,采用邻域合并候选项的运动矢量进行运动补偿预测得到多个预测块;然后,根据候选块位置与像素点的曼哈顿距离对获得的多个预测块进行加权平均得到附加候选项;最后,通过率失真优化（RDO）从附加候选项和原有候选项中选择出最佳的合并模式。实验结果显示:在联合探索测试模型JEM 7.0平台上,所提算法在不同的编码器配置下均获得了率失真性能的提升,其中低延迟P帧下达到了平均1.34%的比特率节省。      

场信号预处理的扩展视频编码器设计

虽然视频标准中给出了场信号的一些编码方法,但由于宏块划分方式比较多造成运动估计非常耗时,很难得到实际应用.为此,设计了具有运动自适应去隔行预处理功能的扩展视频编码器.该编码器先将场信号处理成逐行信号,之后采用固定帧方式进行编码.在将场信号处理成帧信号时,首先对相同奇、偶性的四场做运动检测,然后对具有不同运动特点的区域采用不同的插值方法得到待插值像素,最后插值场与当前场交织成逐行帧.测试结果表明,该编码器在相同压缩比下能取得与其它编码方法相同的峰值信噪比,编码一帧时间为宏块级帧/场自适应方法的1/3.此外,该编码器能有效地解决场信号在逐行扫描设备上的显示问题.      

基于三维Saab变换的高光谱图像压缩方法

高光谱图像中存储了丰富的光谱信息,具有极大的应用价值,但现有大部分高光谱图像压缩方法难以同时兼顾图像中的空间冗余与谱间冗余,导致压缩性能受到局限。针对该问题,提出了一种基于三维修正偏置的子空间(Saab)变换的高光谱图像压缩方法。采用三维Saab变换对高光谱图像的分块进行空间光谱信息融合的降维操作,同时去除谱间冗余和局部空间冗余;利用高效率视频编码(HEVC)中的帧内编码模块进一步去除空间冗余和统计冗余;实现低失真、高比率的高光谱图像压缩。在多个高光谱图像数据集上的实验结果表明,所提方法在同码率下重建图像的信噪比(SNR)比采用主成分分析(PCA)降维的方法至少提高0.62 dB,在高码率的情况下性能优于张量分解的压缩方法。同时,验证了不同降维方法对分类任务的性能影响,结果表明,所提方法更好地保留了图像中的重要特征,在低码率的情况下仍可以保持较高的分类精度。      

基于定点旋转的遥操作前端视觉自标定

为解决遥操作过程中当前端视觉内参数改变时的标定问题,特别是在一些危险的或是人无法到达的环境下,在前端放置标定物用传统的方法进行标定是不可能的,因此采用了一种基于定点旋转的自标定技术来进行标定.对基于定点旋转的自标定方法进行了理论推导,得到了标定步骤.在试验过程中,摄像机固定在一种旋转装置上进行拍摄,采用SIFT(Scale Invariant Feature Transformation)算法对拍摄的图像进行特征点检测和匹配,采用牛顿算法进行计算.为和传统的标定方法进行比较,对自制的平面模板进行拍摄,利用Harris算子对平面模板图像进行角点检测,用传统的标定方法重新对摄像机进行标定.结果表明两种方法得到的答案相近,用传统标定方法标定结果是接近摄像机真实参数值的,说明这种新的标定方法是一种有效的标定方法.      

基于视频帧间运动估计的无人机图像车辆检测

基于人工智能(AI)芯片搭建轻量化深度神经网络，可以在无人机(UAV)机载端实现视频中车辆目标的自动检测，具有重要的应用前景。为此，提出了一种针对无人机图像车辆目标的检测方法，并在AI芯片上进行部署与测试。方法具体包括:结合无人机图像中车辆目标的尺寸范围，对MobileNet-SSD网络进行裁剪，构建轻量化单帧图像检测器；为解决小目标特性在轻量网络框架下引发的检测性能下降问题，引入帧间运动矢量估计，根据相邻帧信息辅助预测当前帧丢失目标的位置范围，并利用检测结果进行修正，实现丢失目标的再召回。通过对多个数据集进行融合与自动补充标注，搭建了一个高质量的无人机图像车辆目标数据集；同时将方法在基于RK3399芯片计算的嵌入式开发平台上进行实验验证，结果表明:搭建的网络能够显著减少存储资源占用，具有轻量化的特点；同时相比于单帧检测法，引入视频帧间运动估计方法可以有效提高检测精度，并在AI芯片上实现125.3 ms/帧的检测速度。      

改进的帧内帧间模式选择快速算法

为提高I帧和P帧的编码效率,H.264视频编码标准采用多模式帧内预测和多子块模式帧间预测,并选择率失真最优的模式进行编码,导致编码复杂度很高.为此,提出一种基于小波变换的帧内模式快速选择结合帧间预测下帧内模式预判断的算法.利用小波变换后的低频子图做帧内模式选择,由此预判断宏块中每个4×4子块可能的预测模式,使原来9次的代价函数计算减少到平均3.75次;使用去均值的差值平方和,预判断宏块是否选择帧间预测下的帧内编码模式,减少P帧编码时间.实验表明,改进算法在峰值信噪比降低不超过0.0644dB的情况下,编码速度平均提高19%左右.      

一种新的无人机航拍图像压缩方法

针对无人机机载视频图像由于受到天气或电磁波干扰产生的异常帧引起的压缩码率波动问题,提出了一种基于对图像进行预分析,剔除异常帧后进行压缩编码的方法.对于几种常见的异常帧进行建模,分析了其图像信号特点,结合信号统计特性和其信息熵量度,可靠地检测出视频序列中的异常帧, 最后对剔除了异常帧的序列应用H.264标准进行压缩编码.理论分析和试验结果都证明此方法在不丢失无人机机载视频图像序列信息量的情况下,可以保持压缩码率恒定并提高了其压缩效率.      

H.264中多参考帧快速运动估计算法

针对H.264的运动估计计算量太大的问题,通过研究并验证视频多帧参考时的运动连续性,提出了一种基于有效区域的快速运动估计算法(VRF,Valid-Region-based Fast Motion Estimation). 该算法在第一个参考帧中用三步搜索(3SS,3-Step Search)快速估计整像素精度运动矢量, 并以此定义一个有效区域, 参考其它帧时, 在该有效区域内作改进的3SS估计; 然后选择最佳参考帧; 最后在所选择的最佳参考帧的有效区域内作全搜索和相应的分数像素精度估计. 实验证明, 和H.264全搜索相比, 本算法的运动估计搜索点数降低了82%以上, 而恢复质量(用峰值信噪比(PSNR,Peak Signal to Noise Ratio)表征)平均只下降0.24 dB,且码速率只增加8.81%; 和另一个经典的帧选择快速算法相比, 本算法的搜索点数降低了39%,且码速率平均下降了5.17%, 而恢复质量只下降0.08 dB.      

空间液滴蒸发实验中液滴图像的无损压缩算法

为了提高空间液滴蒸发实验中图像无损压缩率, 根据连续采集到的液滴图像之间相关性很大的特点, 提出了一种基于JPEG-LS和帧间预测误差编码的图像序列无损压缩算法. 该算法对图像序列第一帧采用JPEG-LS算法编码, 对帧间预测误差帧进行Golomb编码, 从而实现对连续采集到的液滴图像序列进行无损压缩. 实验结果表明, 该算法比单纯采用JPEG-LS算法的压缩率有明显提高, 编解码过程更简单, 编码需要时间更少.      

基于伴随式的分布式联合信源信道编码

提出一种基于伴随式(Syndrome)的具有抗差错性能的分布式联合信源信道编码方案.在不增加编码端复杂度的前提下,设计一种新的基于伴随式的编码器,使其同时具有压缩和抗差错的性能;其次,设计相应的译码器,并改进现有的联合译码算法,在译码中引入新的信息交互过程,提高了译码性能.仿真结果表明:该方案的性能优于现有的基于伴随式的分布式联合信源信道编码方案的性能,而且在信噪比较高时,该方案的性能也优于基于校验位(Parity)的分布式联合信源信道编码的性能.     

基于小波域的分形图像压缩

在分析产生块效应原因基础上,定义了一种度量块效应的客观方法.为了消除传统分形图像压缩中产生的块效应,提出先将原图像变换到小波域,再进行分形压缩.这种方法既继承了传统分形图像压缩的编码原理,又利用了小波变换的优良特性,从而取得了更好的压缩效果.此外,根据小波系数的能量分布特征,提出了一种加快相似匹配的方法.     

机载图像无损/近无损压缩方案及其FPGA实现

根据机载图像压缩和传输的特点,在改进JPEG-LS算法基础上,设计了一种有效的图像无损/近无损压缩方案.该方案由去相关处理、熵编码及压缩位率控制三部分组成.去相关处理部分解决了JPEG-LS预测模型本身的误码扩散问题,熵编码部分使用快速有效的Golomb熵编码器完成对预测误差的编码,同时解决了机载应用中数据传输率恒定条件下压缩码率的控制问题.对压缩算法现场可编程门阵列(FPGA)设计中的一些关键问题也给出了有效的解决途径,从而形成了一套完整、可行的机载图像压缩解决方案.最后通过FPGA实现和验证了压缩方案及逻辑设计的正确性和可行性.      

基于局域纹理特征的图像无损压缩

局域纹理是识别图像的基本要素,因此在图像压缩处理中分析局域纹理特征是达到去相关的有效途径,在此原理基础上提出了一种新的基于局域纹理特征的无损压缩方法,该算法由去相关处理和熵编码两部分组成,去相关操作是通过一组预测模型自适应选择最佳的模型进行处理,然后使用快速有效的CCSDS编码器对最佳去相关模型的预测误差进行编码,最后给出了该算法与JPEG2000及JPEG-LS的无损压缩结果的比较,实验结果显示,该算法的压缩结果明显优于JPEG2000及JPEG-LS的无损压缩结果.      

改进的SSDA并行算法及其在TEM中的应用

介绍了一种把图像匹配中的序贯相似性检测算法(SSDA,Sequential Similarity Detection Algorithm)应用到地形匹配中的方法,把地形匹配系统中的数字高程模型、高程数据和实时剖面数据分别视为SSDA算法中的搜索图、灰度值和模板,同时提出了动态门限序列和分组选取随机点的方法,最后将改进的SSDA算法进行并行化并用消息传递接口(MPI, Message Passing Interface)实现.实验结果表明,改进的SSDA算法能有效地提高地形匹配的速度和计算精度,而相应的并行程序也能取得较好的加速比,从而一定程度上解决了传统的地形匹配算法时间复杂度高、实时性差的问题.     

基于FPGA的高效机载视频采集及预处理方法

为提高机载视频编码系统的数据采集及预处理性能,以现场可编程门阵列(FPGA)为硬件平台,研究了多模式机载视频采集、颜色空间转换和视频数据传输的高效处理方法.针对机载应用需要实时采集不同模式视频的特点,设计了一种可靠的视频采集策略,通过引入错误自检机制,可以实时监测视频采集的正确性,避免视频数据的错误积累;针对机载视频颜色空间转换预处理中浮点乘法浪费计算资源和增加系统功耗的问题,设计了一种基于高低位分离的截断式查找表乘法器,减少了存储空间和计算位宽,结合流水线处理技术实现了一种高效视频颜色空间转换方法,在保证计算精度和性能的同时,处理功耗最大降低了27%;针对FPGA处理器与系统核心编码处理器(DSP)之间存在大量视频数据的频繁传输特点,结合SRIO(Serial Rapid I/O)链路的传输方式,设计了一种以FPGA为控制核心的数据交互机制,减轻了DSP的处理负担使其专注于视频编码运算,提高系统性能.