全文总字数：8016字

1. 研究目的与意义及国内外研究现状

随着多媒体呈像技术、图像采集技术以及互联网行业的发展，视频越来越成为人们工作、生活、学习、娱乐等不可缺少的一部分，高清化的视频也越来越受到人们的关注。由于受到目前网络环境及存储方式的限制，原始视频必须经过编码压缩才能有效率地传输和存储。高效视频编码（High Efficient Video Coding，HEVC）在自适应量化过程中需要通过耗费大量时间递归遍历所有编码单元划分计算率失真代价获取最优量化参数。本文提出基于卷积神经网络的HEVC量化参数快速决策方法，实现最优量化参数快速决策，节省视频编码时间。

国内外研究现状

由于人们越来越青睐超高清视频在生活中的应用，国内外学术界、研究机构和各大视频公司对视频编码领域越来越感兴趣。在国际上，德国HHI 研究所主要从事高效视频编码中的先进编码技术以及高效视频编扩展应用的研究[6][7][8]；美国南加州大学研究了基于高效视频编码的屏幕内容编码[9]；韩国先进技术学院（KAIST）主要从事高效视频编码的主观质量评价工作[10]；美国加州大学旧金山分校和韩国KAIST共同提出了一种帧层面的高效视频编码码率控制算法[11]等。在国内，以北京大学、清华大学为代表的院校，以及企业界华为、TCL、海尔、PPS、爱奇艺等相继开展了高效视频编码技术方面的研究，主要包括高效视频编码的计算复杂度优化、码率控制以及其扩展应用等等。北京大学高文教授课题组主要从事高效视频编码码率控制及其扩展应用的优化工作[12][13][14]；清华大学戴琼海教授课题组研究高效视频编码并行计算问题[15][16]；清华大学何云教授课题组[17][18]、浙江大学虞露教授课题组[19][20]、上海大学张兆阳教授课题组[21][22]都从事了高效视频编码的计算复杂度优化工作。在编码复杂度优化中，现有的工作主要从对预测模块进行优化，消除视频单帧或连续帧之间的冗余信息。其中帧内预测主要是消除空间域冗余，而帧间预测主要是消除时间域冗余。优化不同预测单元尺寸的大小以及减少帧内预测方向是帧内预测的两个重要的优化方向。Tian等 人[23]提出了高效帧内PU选择算法，通过分析CTU及其子CU的纹理复杂度等，判断是否直接进行下 一轮PU模式选择过程。唐等人[24]根据相邻编码单元的时空相关信息，减小CU的遍历范围，并且 通过判断当前最佳预测模式是否为planar模式，优化不同的预测模式的选择。Belghith等人[25]通过Sobel算子来检测CU的边缘，分析CU的纹理内容。内容简单的CU直接在当前深度下进行编码。 内容复杂的CU将继续划分，提高了CU的编码效率。文献[26]提出了一种基于图像纹理特征的CU尺 寸快速决策算法。Yao等人[27]利用纹理的方向特性，对纹理平缓的PU选择DC和planar模式作为PU 编码的候选模式，对纹理方向明显的PU选择与纹理方向基本一致的模式作为候选模式。齐等人根 据纹理方向信息和空间相关性以及Soble算子计算得出纹理方向信息等，选择帧内预测模式[28]。 Liquan等人提出了一种基于纹理信息与视频图像的时空关系的快速帧内选择算法[29]，通过计算 平均绝对偏差获得纹理信息。Yi等人提出了一种基于边缘检测信息的HEVC快速帧内预测算法[30]。帧间预测的优化方向主要是更好地选择图像的CU和PU，降低编码复杂度。文献[31]模型化运动 矢量和残差以及Skip模式下的 PU的关系，降低PU决策复杂度。文献[32]基于已经编码的帧及 相邻块与当前编码CTU之间的关系模型，动态调整 CTU 的层次，并且通过检查CU的运动特性和率 失真代价，提前终止下层CU的运动估计，来降低编码复杂度。文献[33]通过计算编码数据中Skip 模式下CU的平均RD-cost，判断是否通过用Skip模式编码当前CU，从而节省了对其它编码模式的 RD-cost的计算。文献[34]通过分析TU尺寸与非零量化系数个数之间的条件概率分布，提前终止TU 的划分。文献[35]通过使用视频相邻帧之间在时间域上的相关性，采用帧差离散度判定CU的深度，再利用当前深度下CU的区域运动特征对其所处运动区域进行划分，减少预测模式决策方案。目前已经提出的复杂度优化算法主要采用消除时空间冗余的思路，对高效视频编码中帧内预测和帧间预测模块CU以及PU相关技术进行复杂度优化，但是上述的大部分方法对科研工作者的科研经验及对该方向的理解程度要求较高，很容易忽略隐含但有用的特征。而对于量化模块，上述方法仍然采用递归搜索的方式对量化过程中的最优量化参数进行选取，大部分视频编码时间都集中在计算最优量化参数过程中，影响视频编码效率。

2. 研究的基本内容

本文旨在解决高效视频编码过程中的量化模块需要耗费大量时间计算最优量化参数的问题，研究基于卷积神经网络的量化参数快速决策方法。

1. 采用原始hevc最优量化参数选取方法制作数据集。

2. 以第一步骤的结果制定训练集搭建卷积神经网络来预测hevc量化过程中不同编码单元的最优量化参数。

3. 实施方案、进度安排及预期效果

实行方案及进度安排如下：1. 查阅相关文献，制作训练集；（1月-2月）2. 进行实验，比较结果，方案优化；（2月-3月）3. 撰写论文；（4月）预期效果是采用本研究提供的量化参数决策方法结合HEVC参考代码与原始代码相比，视频的压缩效率显著提高，在其他损失忽略不计的能情况下，极大地节省编码时间。

4. 参考文献

[1] Sullivan G J, Ohm J R, Han W J, et al. Overview of the high efficiency video coding (HEVC) standard[J]. IEEE Transactions on circuits and systems for video technology, 2012, 22(12): 1649-1668.[2] Pourazad M T , Doutre C , Azimi M , et al. HEVC: The New Gold Standard for Video Compression: How Does HEVC Compare with H.264/AVC?[J]. IEEE Consumer Electronics Magazine, 2012, 1(3):36-46.[3] 朱秀昌，李欣，陈杰，新一代视频编码标准-HEVC[J]. 南京邮电大学学报(自然科学版), 2013, 33(3):1-11.[4] Sector I T U T S. ITU-t recommendation H. 265: High efficiency video coding[J]. Ge-neva, Switzerland: Telecommunication Standardization Sector, 2013.[5] 沈燕飞, 李锦涛, 朱珍民,等. 高效视频编码[J]. 计算机学报, 2013, 36(11):2340-2355.[6] Marpe D, Schwarz H, Bosse S, et al. Video compression using nested quadtree structures, leaf merging, and improved techniques for motion representation and entropy coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(12): 1676-1687.[7] Lakshman H, Rudat C, Albrecht M, et al. Conditional motion vector refinement for improved prediction[C]//2012 Picture Coding Symposium. IEEE, 2012: 497-500.[8] Mller K, Schwarz H, Marpe D, et al. 3D high-efficiency video coding for multi-view video and depth data[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3366-3378.[9] Hu S, Cohen R A, Vetro A, et al. Screen content coding for HEVC using edge modes[C]//2013 IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE, 2013: 1714-1718.[10] Bae S H, Kim J, Kim M, et al. Assessments of subjective video quality on HEVC-encoded 4K-UHD video for beyond-HDTV broadcasting services[J]. IEEE Transactions on Broadcasting, 2013, 59(2): 209-222.[11] Lee B, Kim M, Nguyen T Q. A frame-level rate control scheme based on texture and nontexture rate models for high efficiency video coding[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(3): 465-479.[12] Zhang X, Tian Y, Huang T, et al. Optimizing the hierarchical prediction and coding in HEVC for surveillance and conference videos with background modeling[J]. IEEE transactions on image processing, 2014, 23(10): 4511-4526.[13] 司俊俊, 马思伟, 王诗淇, 等. 一种基于变换系数拉普拉斯分布的 HEVC 码率控制算法[J]. 上海大学学报 (自然科学版), 2013, 19(3): 229-234.[14] Zhou M, Gao W, Jiang M, et al. HEVC lossless coding and improvements[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(12): 1839-1843.[15] Yan C, Zhang Y, Xu J, et al. A highly parallel framework for HEVC coding unit partitioning tree decision on many-core processors[J]. IEEE Signal Processing Letters, 2014, 21(5): 573-576.[16] Yan C, Zhang Y, Xu J, et al. Efficient parallel framework for HEVC motion estimation on many-core processors[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(12): 2077-2089.[17] Quanhe Y, Yaocheng R, Yun H. Fast intra mode decision strategy for HEVC[C]//2013 IEEE China Summit and International Conference on Signal and Information Processing. IEEE, 2013: 500-504.[18] Cao X, Lai C, Wang Y, et al. Short distance intra coding scheme for HEVC[C]//2012 Picture Coding Symposium. IEEE, 2012: 501-504.[19] Shen X, Yu L, Chen J. Fast coding unit size selection for HEVC based on Bayesian decision rule[C]//2012 picture coding symposium. IEEE, 2012: 453-456.[20] Shen X, Yu L. CU splitting early termination based on weighted SVM[J]. EURASIP journal on image and video processing, 2013, 2013(1): 4.[21] Shen L, Zhang Z, Liu Z. Adaptive inter-mode decision for HEVC jointly utilizing inter-level and spatiotemporal correlations[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2014, 24(10): 1709-1722.[22] Shen L, Liu Z, Zhang X, et al. An effective CU size decision method for HEVC encoders[J]. IEEE Transactions on Multimedia, 2013, 15(2): 465-470.[23] Tian G, Goto S. Content adaptive prediction unit size decision algorithm for HEVC intra coding[C]//2012 picture coding symposium. IEEE, 2012: 405-408.[24] 唐浩漾, 荆倩, 程颖涛,等. 一种 HEVC 帧内编码的快速算法[J]. 计算机工程与应用, 2017, 53(18):182-185.[25] Belghith F, Kibeya H, Ayed M A B, et al. Fast coding unit partitioning method based on edge detection for HEVC intra-coding[J]. Signal, image and video processing, 2016, 10(5): 811-818.[26] Min B, Cheung R C C. A fast CU size decision algorithm for the HEVC intra encoder[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(5): 892-896.[27] Yao Y, Li X, Lu Y. Fast intra mode decision algorithm for HEVC based on dominant edge assent distribution[J]. Multimedia Tools and Applications, 2016, 75(4): 1963-1981.[28] 齐美彬, 朱广辉, 杨艳芳, 蒋建国. 利用纹理和空间相关性的HEVC帧内预测模式选择[J]. 中国图象图形学报, 2014, 19(8):1119-1125.[29] Shen L, Zhang Z, Liu Z. Effective CU size decision for HEVC intracoding[J]. IEEE Transactions on Image Processing, 2014, 23(10): 4232-4241.[30] Ting Y C, Chang T S. Fast intra prediction algorithm with transform domain edge detection for HEVC[C]//2012 IEEE Asia Pacific Conference on Circuits and Systems. IEEE, 2012: 144-147.[31] Kim J, Yang J, Won K, et al. Early determination of mode decision for HEVC[C]//2012 Picture Coding Symposium. IEEE, 2012: 449-452.[32] Shen L, Liu Z, Zhang X, et al. An effective CU size decision method for HEVC encoders[J]. IEEE Transactions on Multimedia, 2013, 15(2): 465-470.[33] Kim J, Jeong S, Cho S, et al. Adaptive coding unit early termination algorithm for HEVC[C]//2012 IEEE International Conference on Consumer Electronics (ICCE). IEEE, 2012: 261-262.[34] Choi K, Jang E S. Early TU decision method for fast video encoding in high efficiency video coding[J]. Electronics letters, 2012, 48(12): 689-691.[35] 冯磊, 戴明, 赵春蕾, 熊晶莹. 基于运动特征的HEVC快速帧间预测编码研究[J]. 光电子激光, 2017(01):95-103.