1. 研究目的与意义（文献综述）

随着消费级虚拟现实技术的不断完善，oculus rift、htc vive（vr）、三星gear vr等vr设备得到井喷式发展。全景视频也随之进入公众的视野，在视频会议、景观展示、机器人自动导航、远程监测控制等领域得到广泛应用。全景视频，也称为球面视频或沉浸式视频，是通过全景摄像机在同一时刻捕获360°范围内的场景来获得，观看者在观看过程中能看到全方位的视频，产生身临其境的感受。然而，为了达到沉浸式的视觉体验，全景视频需要有极高的分辨率（至少4k）和极高的帧速率（例如90fps甚至更高），这将导致它消耗的数据量非大，这也给全景视频的存储和传输带来了巨大的挑战。但是，现有的编解码技术都是针对二维的平面视频所设计的，目前还没有为全景视频量身定制的编解码方法。现有的视频编码方法通常是将球形视频利用某种投影方法[1](例如erp、cmp等)投影到二维平面上，再利用现有的编码方案（例如h.265/hevc[2]、h.264/avs[3]等进行编码。

从球面到二维平面的投影变换将引人为误差，如冗余样本，形状失真和不连续的边界。冗余样本会导致许多无效像素被编码，增大了要处理的数据量。不连续的边界会影响预测性能，而形状失真导致视频编码中低效的运动估计（me）和运动补偿（mc）[4]。一般来说，不同的投影方法会导致不同类型的人为误差。例如，等矩形投影（erp）在极点区域附近存在冗余样本和水平拉伸的问题。立方体投影（cmp）会产生不连续的边界，严重影响运动估计和运动补偿的效果。所以针对这些问题，提出一种有效的全景视频编码方法十分有意义。

目前针对全景视频的压缩主要分两类：一种是针对用户观看时的视口(viewport)进行高效压缩；一种是对投影平面的高效压缩，比如对等矩形投影视频、立方体投影视频进行压缩。zare 等 [5]提出了针对视口的编码方案，将整幅图像分成若干个 tile 块,根据视口观看位置分别编码传输该位置所对应的 tile块的数据，这样避免了因传输整幅图像而占用过多带宽的问题，但由于对图像中部区域分配较大的码率而上下两部分区域采用较低的码流，会导致观看上下两部分时出现画面质量较差的情况。j. zheng等[6]提出了一种自适应的运动模型选择方法，以解决全景视频在投影平面的复杂的非线性运动。针对不同类型的运动，选择不同的运动模型。虽然这种方法可以对全景视频有效的压缩，但是针对复杂的运动的运动模型，需要得到过多的运动参数。budagavi 等[7]提出将等矩形格式视频基于不同区域采用不同尺度的高斯滤波后再进行编码，但由于采用了低通滤波会一定程度造成画面模糊，对于图像细节部分损伤较大。li 等[8]提出将等矩形格式视频按照高度分成三部分，中间部分保持原始宽度，将等矩形投影上下两部分内容压缩成两个圆形。这是旨在通过降低等矩形投影面中冗余像素面积达到提高编码性能的目的，但是没有考虑将图像部分压缩成圆形对人眼较为关注区域画面质量造成了影响。

2. 研究的基本内容与方案

2.1 研究内容和目标

研究内容：学习新一代高效视频编码标准h.265/hevc的原理、标准与实现，掌握hevc的编码框架和其中的关键技术。分析研究相比于传统的2d视频，全景视频的特点。利用全景视频的特点，对hevc的帧间编码方法经行改进，提出一种适用于全景视频的高效的帧间预测编码算法。

研究目标：通过对hevc的帧间预测编码方法的改进，实现提高hevc标准对全景视频的兼容性和提高hevc标准对全景视频的编码效率的预期目标。

3. 研究计划与安排

第1周—第3周 查阅相关文献资料，明确研究内容,了解全景视频编码的国内外的现有方案，撰写开题报告；

第4周—第5周 进一步的查阅资料,构建算法的数学模型，完成论文开题；

第6周—第12周 利用hevc参考软件hm16.16在visual studio开发环境下实现算法，并撰写论文初稿；

4. 参考文献（12篇以上）

[1]y. he, b. vishwanath, x. xiu, y. ye, “ahg8: interdigital’s projection format conversion tool,”joint video exploration team of itu-t sg16 wp3 and iso/iecjtc1/sc29/wg11, jvet-d0021,oct. 2016, chengdu, china.

[2] g. j. sullivan, j. r. ohm, w. j. han and t. wiegand, "overview of the high efficiency video coding (hevc) standard," in ieee transactions on circuits and systems for video technology, vol. 22, no. 12, pp. 1649-1668, dec. 2012.

[3] t. wiegand, g. j. sullivan, g. bjontegaard and a. luthra, "overview of the h.264/avc video coding standard," in ieee transactions on circuits and systems for video technology, vol. 13, no. 7, pp. 560-576, july 2003.