一种VR图像处理方法

摘要

本申请公开了一种VR图像处理方法，包括如下步骤：确定需要处理的图像；选取至少一个焦点区域；确定焦点区域的焦点区域轮廓；依据焦点区域轮廓对焦点区域与背景图像进行融合处理；将融合处理后的图像传输给VR头显。本申请达到了保证传输图像的高清部分与非高清部分衔接自然，有效的提升用户体验的舒适度的技术效果。

权利要求

1.一种VR图像处理方法，其特征在于，包括如下步骤：确定需要处理的图像；

选取至少一个焦点区域；

确定焦点区域的焦点区域轮廓；

依据焦点区域轮廓对焦点区域与背景图像进行融合处理；

将融合处理后的图像传输给VR头显。

2.根据权利要求1所述的VR图像处理方法，其特征在于，利用CamShift算法确定焦点区域轮廓。

3.根据权利要求1所述的VR图像处理方法，其特征在于，确定焦点区域轮廓方法具体为：确定第一边缘轮廓；

确定第二边缘轮廓；

将第一边缘轮廓和第二边缘轮廓存入焦点对象文件库。

4.根据权利要求3所述的VR图像处理方法，其特征在于，根据第一边缘轮廓向内收缩计算确定第二边缘轮廓。

5.根据权利要求4所述的VR图像处理方法，其特征在于，第一边缘轮廓上的每个像素的向内收缩计算公式为：收缩后像素值＝(第一轮廓像素值-中心点)×收缩系数。

6.根据权利要求5所述的VR图像处理方法，其特征在于，收缩系数为0.6～0.9。

7.根据权利要求6所述的VR图像处理方法，其特征在于，收缩系数为0.8。

8.根据权利要求1所述的VR图像处理方法，其特征在于，对融合后的图像的传输方法为：高清传输焦点区域并同步非高清传输背景图像。

说明书

一种VR图像处理方法

技术领域

[0001] 本申请涉及VR图像传输技术领域，尤其涉及一种VR图像处理方法。

背景技术

[0002] 当今对图像传输过程中对分辨率的要求越来越高，尤其是在VR图像传输领域，因为VR需要双目输出，所以在传输上就有双倍大小图像输出的需求。根据目前的可行性方案，如果发送端使用X264编码压缩然后在接收端使用h264解码可以实时传输压缩后的视频流数据，并能有效降低网络传输数据量。但是网路传输领域还是存在传输高清、特高清视频会导致延迟加重的情况和无法即时性观察的可能性，特别是这种4K或者8K的视频传输压力则更大，相对应的视频编码领域压缩率越高则清晰度就越低，无法满足又能即时传输又能让客户观看高清视频的可能性，也无法满足VR的双目输出全景高清图的需求，若将一帧图像部分高清传输，部分非高清传输，则高清部分与非高清部分又容易出现断层现象，从而影响用户体验的舒适度。

发明内容

[0003] 本申请的目的在于提供一种VR图像处理方法，保证了传输图像的高清部分与非高清部分衔接自然，有效的提升了用户体验的舒适度。

[0004] 为达到上述目的，本申请提供一种VR图像处理方法，包括如下步骤：确定需要处理的图像；选取至少一个焦点区域；确定焦点区域的焦点区域轮廓；依据焦点区域轮廓对焦点区域与背景图像进行融合处理；将融合处理后的图像传输给VR头显。

[0005] 优选的，利用CamShift算法确定焦点区域轮廓。

[0006] 优选的，确定焦点区域轮廓方法具体为：确定第一边缘轮廓；确定第二边缘轮廓；将第一边缘轮廓和第二边缘轮廓存入焦点对象文件库。

[0007] 优选的，根据第一边缘轮廓向内收缩计算确定第二边缘轮廓。

[0008] 优选的，第一边缘轮廓上的每个像素的向内收缩计算公式为：收缩后像素值＝(第一轮廓像素值-中心点)×收缩系数。

[0009] 优选的，收缩系数为0.6～0.9。

[0010] 优选的，收缩系数为0.8。

[0011] 优选的，对融合后的图像的传输方法为：高清传输焦点区域并同步非高清传输背景图像。

[0012] 本申请实现的有益效果如下：

[0013] (1)保证了传输图像的高清部分与非高清部分衔接自然，有效的提升了用户体验的舒适度。

[0014] (2)能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。

附图说明

[0015] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

[0016] 图1为VR图像处理方法一种实施例的流程图；

[0017] 图2为确定焦点区域轮廓方法一种实施例的流程图。

具体实施方式

[0018] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0019] 如图1所示，本发明提供一种VR图像处理方法，包括如下步骤：

[0020] S110：播放视频，确定视频中需要进行处理的图像。

[0021] 具体的，工作人员通过视频播放工具播放视频，在播放过程中，工作人员在需要设置焦点的地方暂停视频，暂停后显示在视频播放工具上的那帧图像为需要进行处理的图像。

[0022] S120：从需要处理的图像中选取至少一个焦点区域。

[0023] 具体的，工作人员利用鼠标对图像中的至少一个区域进行框选，被框选的区域即为焦点区域，确定焦点区域后，执行S130。

[0024] S130：确定焦点区域的焦点区域轮廓。

[0025] 进一步的：作为一种实施例，利用CamShift算法(Continuously AdaptiveMean-Shift，连续的自适应MeanShift算法)确定焦点区域轮廓。

[0026] 具体的，CamShift算法(Continuously Adaptive Mean-Shift，连续的自适应MeanShift算法)是对MeanShift算法的改进算法，能够在跟踪的过程中随着跟踪目标大小的变化实时调整搜索窗口大小，将视频图像的所有帧作MeanShift算法，并将上一帧的结果(即Search Window的质心和大小)作为下一帧MeanShift算法的Search Window(搜索窗口)的初始值，来寻找最优迭代结果，将最优迭代结果中的质心用到窗口的零阶矩M00和一阶矩M10，M01中计算零阶矩大小，零阶矩是Search Window(搜索窗口)内所有像素的积分，搜索窗口内所有像素的积分等于Search Window(搜索窗口)的尺寸，Search Window(搜索窗口)的大小为焦点区域轮廓。

[0027] 进一步的，CamShift和MeanShift的运算均在反向投影图像上进行的，通过反向投影计算并生成目标区域(即焦点区域)的H分量的直方图，并将目标区域上每一个像素点的像素值替换为当前像素值所在bin对应的直方图bin的数值。经过反向投影后，目标区域的搜索窗口大部分像素值归一化为最大值255，根据使用时的测试结果确定一个阀值，如果计算出来零阶矩大于该阈值，则目标铺满了整个搜索窗口，需要判断搜索窗口之外的区域是否还存在目标区域，若存在，需要增大搜索窗口的尺寸；如果零阶矩小于该阈值，则需要缩小搜索窗口的尺寸。故当目标的大小发生变化的时候，通过CamShift算法能够自适应的调整搜索窗口大小，对目标区域进行跟踪，得出焦点区域轮廓。

[0028] 进一步的，如图2所示，作为另一个实施例，确定焦点区域轮廓方法步骤如下：

[0029] S210：确定第一边缘轮廓。

[0030] 具体的，工作人员用鼠标在需要处理的图像上画出第一边缘轮廓，第一边缘轮廓围成的区域大于需要框选的焦点区域。

[0031] S220：确定第二边缘轮廓。

[0032] 具体的，根据第一边缘轮廓向内收缩计算第二边缘轮廓。

[0033] 具体的，根据工作人员画出第一边缘轮廓时鼠标的移动轨迹计算轨迹上所有的像素点的所有路径。计算所有路径的平均值得出中心点。所有像素点向内收缩计算得出第二边缘轮廓，计算公式如下：

[0034] 收缩后像素值＝(第一轮廓像素值-中心点)×收缩系数

[0035] 其中，收缩系数取值范围为0.6～0.9，该收缩系数的值为用户根据实时测试取值，优选的，系数取值为0.8。需要处理的图像上所有像素的收缩后像素值的连线即为第二边缘轮廓。

[0036] S230:将第一边缘轮廓和第二边缘轮廓存入焦点对象文件库。

[0037] 具体的，将每一帧图像的图像大小、焦点区域、第一边缘轮廓、第二边缘轮廓等数据传入焦点对象文件库存储。

[0038] S140：依据焦点区域轮廓对焦点区域与背景图像进行融合处理。

[0039] 播放视频时，计算机从焦点对象文件库中读取该播放视频中每一帧图像对应的焦点对象、第一边缘轮廓、第二边缘轮廓和图像大小等数据。并将清晰度数据、第一边缘轮廓、第二边缘轮廓与视频数据同步传输给VR客户端。VR客户端接收数据后，先利用原图渲染一张非高清图作为背景图像，然后在背景图像上对应的焦点区域渲染一层焦点区域的高清图，根据第一边缘轮廓逐渐向第二边缘轮廓进行融合，形成融合区域，保证处理后图像显示时具有舒服的视觉感。完成焦点区域与背景图像的融合处理后，执行S150。

[0040] S150：将融合处理后的图像传输给VR头显。

[0041] 进一步的，对融合后的图像的传输方法为：高清传输焦点区域并同步非高清传输背景图像。

[0042] 本申请实现的有益效果如下：

[0043] (1)保证了传输图像的高清部分与非高清部分衔接自然，有效的提升了用户体验的舒适度。

[0044] (2)能够达到降低网络传输数据量，避免传输延迟并且满足客户观看视频为高清视频的技术效果。

[0045] 尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。