远程全景图像实时传输和流畅显示的方法

摘要

本发明提供远程全景图像实时传输和流畅显示的方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述处理单元包括响应测试装置，所述响应测试装置可以测试响应时间。与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。通过缓存图像以及缓存图像整合的方式，防止眩晕感的出现。

权利要求

1.远程全景图像实时传输和流畅显示的方法，其特征在于，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述处理单元包括响应测试装置，所述响应测试装置可以测试响应时间，所述响应时间为终端向服务器发出信号到终端接收到对应返回信号所用的时间，远程全景图像实时传输和流畅显示的方法包括以下步骤：S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；

S2：所述处理单元对接收到的检测结果进行处理，并发送请求至所述服务器请求图像数据；

S3：所述服务器传输对应图像数据至所述终端。

2.根据权利要求1所述的远程全景图像实时传输和流畅显示的方法，其特征在于，所述处理单元存储接收到的图像数据，后接收到的图像数据与之前存储的图像数据位置重叠的，重叠位置更新为后接收到的图像数据。

3.根据权利要求2所述的远程全景图像实时传输和流畅显示的方法，其特征在于，所述运动检测单元包括姿态检测装置，所述姿态检测装置可以检测使用者的角度坐标信息。

4.根据权利要求3所述的远程全景图像实时传输和流畅显示的方法，其特征在于，所述服务器待传输的图像包括视窗图像区域和极限区域，所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，并根据使用者的运动数据确定极限区域。

5.根据权利要求4所述的远程全景图像实时传输和流畅显示的方法，其特征在于，通过确定对应延迟时间内人类所述视窗图像区域变化的极限边界，形成所述极限边界与延迟时间的一一对应关系，并根据所述极限边界范围确定对应延迟时间内所述极限区域。

6.根据权利要求4所述的远程全景图像实时传输和流畅显示的方法，其特征在于，所述极限区域的计算方法是：S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α0，β0，γ0)；

S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα1，Δβ1，Δγ1)和反向最大偏移量(Δα2，Δβ2，Δγ2)，整理使用者可能出现的角度坐标集合Ф＝{(α0-Δα2<α<α0+Δα1)，(β0-Δβ2<β<β0+Δβ1)，(γ0-Δγ2<γ<γ0+Δγ1)，|α，β，γ}；

S2.13集合Ф对应的视窗图像区域的集合即为所述极限区域。

7.根据权利要求2所述的远程全景图像实时传输和流畅显示的方法，其特征在于，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

8.根据权利要求7所述的远程全景图像实时传输和流畅显示的方法，其特征在于，使用者角度坐标最大偏移量为使用者该坐标方向最大运动角速度和延迟时间的乘积。

9.根据权利要求8所述的远程全景图像实时传输和流畅显示的方法，其特征在于，根据所述延迟时间的大小，所述处理单元判断需要传输的画质，并向使用者提出建议。

10.根据权利要求1—9任一项所述的远程全景图像实时传输和流畅显示的方法，其特征在于，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。

说明书

远程全景图像实时传输和流畅显示的方法

技术领域

[0001] 本发明涉及全景图像传输领域，更具体地说，涉及远程全景图像实时传输和流畅显示的方法。

背景技术

[0002] 全景显示目前一般采用曲面屏或近眼显示装置营造一个虚拟的三维场景，让使用者不管朝向哪个方向都可以看到虚拟世界中的图像，有较强的沉浸感。全景视频或游戏目前一般是在主机中提前下载好整个文件再播放，很难实现远程实时传输，这是由于目前的网络传输速度存在较大的限制，而全景视频或游戏的传输需要很大的实时数据传输量，这是目前大多数的网络条件难以满足的。即使通过降低传输图像画质来节省数据传输量，但这样不仅会造成传输图像质量下降，晶格感严重，还会由于网络波动导致画面中断，使用户产生严重的眩晕感。

发明内容

[0003] 为了解决当前远程全景图像影响沉浸感和眩晕感严重的缺陷，本发明提供沉浸感强且防眩晕的远程全景图像实时传输和流畅显示的方法。

[0004] 本发明解决其技术问题所采用的技术方案是：提供一种远程全景图像实时传输和流畅显示的方法，包括服务器，传输系统和终端，所述终端包括处理单元、运动检测单元和显示单元，所述处理单元分别与所述运动检测单元和所述显示单元电性连接，所述处理单元包括响应测试装置，所述响应测试装置可以测试响应时间，所述响应时间为终端向服务器发出信号到终端接收到对应返回信号所用的时间，远程全景图像实时传输和流畅显示的方法包括以下步骤：

[0005] S1：所述运动检测单元检测使用者的运动状态并将检测结果传输至所述处理单元；

[0006] S2：所述处理单元对接收到的检测结果进行处理，并发送请求至所述服务器请求图像数据；

[0007] S3：所述服务器传输对应图像数据至所述终端。

[0008] 优选地，所述处理单元存储接收到的图像数据，后接收到的图像数据与之前存储的图像数据位置重叠的，重叠位置更新为后接收到的图像数据。

[0009] 优选地，所述运动检测单元包括姿态检测装置，所述姿态检测装置可以检测使用者的角度坐标信息。

[0010] 优选地，所述服务器待传输的图像包括视窗图像区域和极限区域，所述处理单元根据所述运动检测单元提供的角度坐标信息得出使用者的视窗图像区域，并根据使用者的运动数据确定极限区域。

[0011] 优选地，通过确定对应延迟时间内人类所述视窗图像区域变化的极限边界，形成所述极限边界与延迟时间的一一对应关系，并根据所述极限边界范围确定对应延迟时间内所述极限区域。

[0012] 优选地，所述极限区域的计算方法是：

[0013] S2.11所述处理单元记录所述运动检测单元提供的使用者角度坐标信息(α0，β0，γ0)；

[0014] S2.12所述处理单元计算出延迟时间内使用者角度坐标的正向最大偏移量(Δα1，Δβ1，Δγ1)和反向最大偏移量(Δα2，Δβ2，Δγ2)，整理使用者可能出现的角度坐标集合Ф＝{(α0-Δα2<α<α0+Δα1)，(β0-Δβ2<β<β0+Δβ1)，(γ0-Δγ2<γ<γ0+Δγ1)，|α，β，γ}；

[0015] S2.13集合Ф对应的视窗图像区域的集合即为所述极限区域。

[0016] 优选地，所述延迟时间为使用者被检测到运动状态的时间点到服务器对应下行数据传输完毕所用的时间。

[0017] 优选地，使用者角度坐标最大偏移量为使用者该坐标方向最大运动角速度和延迟时间的乘积。

[0018] 优选地，根据所述延迟时间的大小，所述处理单元判断需要传输的画质，并向使用者提出建议。

[0019] 优选地，所述终端为虚拟现实头盔、增强现实眼镜或全景曲面屏。

[0020] 与现有技术相比，本发明采用根据运动检测单元检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域和缓冲图像区域的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。通过缓存图像以及缓存图像整合的方式，防止眩晕感的出现。姿态检测装置可以探测使用者的角度坐标信息，实时将相关信息传输至处理单元以确定极限区域。固定极限区域与延迟时间一一对应可以很方便地确定极限区域的范围。通过确定使用者延迟时间内角度坐标的最大偏移量可以更精确极限区域的范围，进一步减少数据传输量。设置响应测试装置可以测量使用者的网速情况，判断传输的画质，同时方便得出延迟时间t10。

附图说明

[0021] 下面将结合附图及实施例对本发明作进一步说明，附图中：

[0022] 图1是目前远程图像实时传输和显示方法；

[0023] 图2是全景图像显示示意图；

[0024] 图3是本发明远程全景图像实时传输和流畅显示的方法结构示意图；

[0025] 图4是本发明远程全景图像实时传输和流畅显示的方法视窗图像区域示意图；

[0026] 图5是本发明远程全景图像实时传输和流畅显示的方法传输图像区域示意图；

[0027] 图6是本发明远程全景图像实时传输和流畅显示的方法图像缓存示意图。

具体实施方式

[0028] 为了解决当前远程全景图像影响沉浸感和眩晕感严重的缺陷，本发明提供沉浸感强且防眩晕的远程全景图像实时传输和流畅显示的方法。

[0029] 为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

[0030] 请参阅图1。图1是目前远程图像实时传输和显示方法，终端13包括显示单元131，通过终端13向服务器11请求数据，服务器11根据终端13请求的数据传输对应的图像数据到终端13，终端13经过处理后将图像信号传输至显示单元131。这种传输对终端13和服务器11的处理速度以及传输数据的速度都有一定的要求，如果这些速度无法达到要求，视频就会出现卡顿，严重影响使用体验。在目前的远程音像实时传输和显示中，服务器11性能、终端13性能和网络带宽及稳定性成为了制约音像传输的关键因素。因此，在目前高清视频的传输和大型游戏中，性能卓越的终端13和稳定高速的网络配置是不能缺少的。

[0031] 请参阅图2。图2是全景图像显示示意图。全景图像多通过虚拟现实头盔、增强现实眼镜和全景曲面屏来呈现，需要保证使用者20不管朝向什么方向，都可以感受到如同现实般的图像，因此在非远程虚拟现实显示中，需要制作全方位360度的图像，存储在终端13，待使用者20的运动和位置状态被确定后，终端13传输对应的图像信息到显示单元131中。而在远程实时传输中，无法提前制作全方位360度的图像，只能依靠实时传输360度的图像来保证使用者20不管朝向什么方向都可以感受到如同现实般的图像。但是同时传输如此多的信息需要很大的网络带宽支持，目前的技术无法达到要求，这就使得远程全景图像实时传输和播放遇到很大的难题。一个解决方案是降低图像的画质，当图像的画质降低到一定的标准时，实时传输数据量大为减少，网络带宽可以满足，但这会导致图像非常模糊，晶格感严重，严重影响虚拟现实的沉浸感和体验。而且在网络出现波动时，传输图像会出现中断，造成使用者产生严重的眩晕感。

[0032] 请参阅图3—图5，在本发明中，完成远程全景音像实时传输和播放需要服务器11、传输系统12和终端13，服务器11和终端13之间通过传输系统12连接并相互传递信息。终端13包括处理单元137、显示单元131、环境模拟单元139和运动检测单元135，处理单元137分别与显示单元131、环境模拟单元139和运动检测单元135电性连接。环境模拟单元139可以根据处理单元137的相关命令模拟环境场景，服务器11可以传输环境信息到终端13，并由处理单元137命令环境模拟单元139进行表达。环境模拟单元139可以配备鼓风机(图未示)模拟风向和配备喷水装置(图未示)模拟喷水、下雨等环境变化。运动检测单元135包括姿态检测装置1353。处理单元137包括响应测试装置1371，响应测试装置1371可以测量网络响应速度。

[0033] 由于人的视角限制，现实中人不能同时看到360度全景空间的图像，呈现在人面前的是一个“视窗”，图示视窗图像区域31。我们这里以虚拟现实显示为例讲述全景图像显示的原理，全景曲面屏和增强现实显示方法与其类似，此处不再赘述。在非远程虚拟现实显示中，由于设备响应速度较快，在使用者20的角度信息被探测到后，终端13传输对应的视窗图像区域31到显示单元131中，整个过程可以控制到11ms以下，而在这低于11ms的时间内，使用者20的运动状态不会发生太大改变，这部分时间延迟可以忽略。使用者20在显示单元131中看到11ms之前的图像大脑生理上不会产生延迟感，这是非远程虚拟现实显示的基本原理。在这种传输中，每个角度坐标对应唯一的视窗图像区域31。但是在远程虚拟现实显示中，由于网络响应速度远大于11ms，再使用这种方式来传播图像就会产生很大的延迟感。因此我们必须传输大于视窗图像区域31的图像存储在终端13中，再重新测量使用者20的角度坐标，在存储的图像中抓取对应的视窗图像区域31到显示单元131中。这其中，大于视窗图像区域31的图像我们称为缓冲图像区域33，缓冲图像区域33和视窗图像区域31共同构成传输图像区域30。

[0034] 从使用者20的运动状态和位置信息被探测到，到图像信息传递给使用者，需要一个传递和处理的时间周期。令这个时间周期的起始时刻为T0，则该时间周期需要：使用者20的运动状态被探测到并传递到处理单元137的时间为探测时间t1、处理单元137处理的时间为t2、处理单元137传输数据到服务器11所需时间t3、服务器11处理时间t4、服务器11向处理单元137传输对应图像数据的时间t5。(t1+t2+t3+t4+t5)这段时间我们称为延迟时间，记延迟时间为t10。延迟时间t10根据服务器11、终端13的性能以及网络传输速度的不同各有不同。可以很容易得出，响应测试装置1371测量的响应时间为(t3+t4+t5)，由于t1和t2对于特定的终端来说是基本是固定不变的，因此延迟时间t10就可以通过响应时间(t3+t4+t5)和固定的时间t1、t2计算出来。

[0035] 本发明远程全景图像实时传输和流畅显示的方法的传输过程是：在T0时刻，使用者20的角度坐标信息被运动检测单元135检测到，经过t1的时间该信息传递到处理单元137，处理单元137经过t2时间的处理向服务器11请求传输图像区域30的数据，经过t3时间数据请求信息传输到服务器11，服务器11经过t4时间的处理将传输图像区域30对应数据下行传输到终端13，经过t5的时间到达终端并接收完成，此时记为T1时刻。同时，运动检测单元
135检测使用者20在T1时刻的角度坐标信息，并将该信息传输至处理单元137，处理单元137经过处理后，在传回的传输图像区域30中抓取对应T1时刻角度坐标信息的视窗图像区域31并传输至显示单元131。

[0036] 本发明中，传输图像区域30的范围是比较重要的。传输图像区域30如果过小，使用者20在缓冲时间内的运动可能造成视窗图像区域31超出传输图像区域30的范围，造成黑边的出现；传输图像区域30如果过大，网络条件可能满足不了。我们将保证黑边不出现的传输图像区域30的最小允许范围区域称为极限区域32，则我们的传输图像区域30必须大于32才能保证黑边不出现，不会因此影响虚拟现实的显示效果。视窗图像区域31和极限区域32都是由服务器11的待传输图像中截取的部分图像。

[0037] 我们可以采用固定极限区域32范围的方案。通过大量收集相关实验数据，确定对应延迟时间t10内人类视窗图像区域31变化的极限边界，这些极限边界围成的集合就构成了该延迟时间t10对应的极限区域32。在本方案中，极限区域32的极限边界与延迟时间t10存在一一对应关系。在响应测试装置1371测定响应时间(t3+t4+t5)后，处理单元137根据响应时间和系统固定的时间t1、t2计算出延迟时间t10，并对应得出极限区域32的极限边界范围，根据该极限边界范围确定极限区域32。

[0038] 我们还可以采用计算使用者20最大角度偏移量的方式确定极限区域32。我们建立虚拟的直角坐标系，使用者此时沿x轴、y轴和z轴的角度坐标为α0、β0、γ0，处理单元137通过计算的方式计算出延迟时间t10内使用者20角度坐标的正向最大偏移量(Δα1，Δβ1，Δγ1)和反向最大偏移量(Δα2，Δβ2，Δγ2)，整理使用者可能出现的坐标集合：

[0039] Ф＝{(α0-Δα2<α<α0+Δα1)，(β0-Δβ2<β<β0+Δβ1)，(γ0-Δγ2<γ<γ0+Δγ1)，|α，β，γ}；

[0040] 集合Ф内所有坐标对应的视窗图像区域31围成的图像区域的集合即为极限区域32。对应的角度坐标可以由姿态检测装置1353检测得到。

[0041] 角度坐标的最大偏移量有很多算法，其中一种就是利用使用者20的最大运动角速度来计算。这里，我们令使用者20的最大运动角速度是ω，则使用者20沿x轴、y轴和z轴各个方向转动的最大角速度为ωα、ωβ、ωγ，在延迟时间t10内使用者20沿x轴、y轴和z轴各个方向转动的最大角度为ωαt10、ωβt10、ωγt10，角度坐标的变化范围为：

[0042] {((α0-ωαt10)≤α≤(α0+ωαt10))，((β0-ωβt10)≤β≤(β0+ωβt10))，((γ0-ωγt10)≤γ≤(γ0+ωγt10))}，

[0043] 此时，角度坐标的集合为：

[0044] Ф＝{((α0-ωαt10)≤α≤(α0+ωαt10))，((β0-ωβt10)≤β≤(β0+ωβt10))，((γ0-ωγt10)≤γ≤(γ0+ωγt10))|α，β，γ}。

[0045] 一般情况下，当使用者20的网络条件良好时，其延迟时间t10较小，在延迟时间内其运动范围较小，极限区域32的范围就小；当使用者20的网络条件不佳时，其延迟时间t10较大，在延迟时间内其运动范围较大，极限区域32的范围就大。当极限区域32的区域达到和大于360度全景图像的范围时，无法保证向使用者提供流畅的虚拟现实体验，这时我们称为极限区域32过饱和。通过部分降低传输画质可以达到减少数据传输量和减小延迟时间t10的目的。响应测试装置1371在使用者20连接服务器后，测试响应时间并间接得到延迟时间t10，根据延迟时间t10的大小，处理单元137判断需要传输的画质。根据延迟时间t10从大到小，处理单元137分别给出：不建议接入、低画质、中等画质、高清画质的判断，并提供给使用者20参考。当画质处于低画质而极限区域32达过过饱和时，不建议接入；当画质处于低画质时极限区域32未达到过饱和，画质处于中等画质极限区域32过饱和时，给出低画质的建议；当画质处于中等画质极限区域32未达到过饱和，画质处于高清画质极限区域32过饱和时，给出中等画质的建议；当画质处于高清画质极限区域32未达到过饱和时，给出高清画质的建议。

[0046] 请参阅图6，当使用者20选择清晰度或系统默认清晰度后，终端13根据运动检测单元135检测到的结果向服务器11请求数据，以带宽允许的最大范围请求传输图像区域30数据。传输图像区域30数据被传输到处理单元137后，处理单元137将该区域图像数据存储下来，形成缓存图像区域39。令终端13的刷新率为f，则刷新周期为(1/f)，当本次传输完成后，(1/f)时间前的传输图像区域30变为现在的缓存图像区域39，缓存图像区域39与传输图像区域30之间有重叠的部分，我们称为重叠图像区域35。当传输开始后，处理单元137每接收到一个传输图像区域30的数据就将其存储下来，并更新重叠图像区域35的数据，形成一个不断更新的图像区域。在网络情况正常时，传输图像区域30的数据可以满足播放需求，即传输图像区域30大于等于极限区域32；当使用者20的网络出现波动网速下降时，根据使用者20的实际网络情况，缩小传输图像区域30的范围，最小可以缩小为0，当传输图像区域30的范围小于极限区域32时，仅使用传输图像区域30的数据不能满足播放需求。我们在传输图像区域30以外的其他图像区域使用存储下来的缓存图像区域39的数据。由于刷新率f较高，在较短时间内使用者20周围的环境不会发生较大的变化，时时传输的图像有较大的可能可以和之前存储下来的图像数据融合在一起而没有突兀感，这样就避免了眩晕感的出现，使使用者20不会感觉到网速变差带来的问题。为了避免极少数情况下时时传输的图像和之前存储下来的图像不能很好融合(如遇到闪电等光线急剧变化场景)，我们可以令处理单元
137在图像融合后对融合图像的边缘进行像素检测，如果检测到图像边缘有较大的像素差别影响融合效果，则处理单元137放弃使用传输图像区域30的数据，沿用存储下来的图像数据。这样可以避免图像不能融合带来的突兀感。

[0047] 与现有技术相比，本发明采用根据运动检测单元135检测结果对应传输图像数据的方案，节省了很多的网络带宽，使远程全景图像实时传输和显示得以实现。通过截取视窗图像区域31和缓冲图像区域33的方式，不仅减少了数据传输量，而且避免了黑边出现和延迟感的产生。通过缓存图像以及缓存图像整合的方式，防止眩晕感的出现。姿态检测装置1353可以探测使用者的角度坐标信息，实时将相关信息传输至处理单元137以确定极限区域32。固定极限区域32与延迟时间一一对应可以很方便地确定极限区域32的范围。通过确定使用者20延迟时间内角度坐标的最大偏移量可以更精确极限区域32的范围，进一步减少数据传输量。设置响应测试装置1371可以测量使用者20的网速情况，判断传输的画质，同时方便得出延迟时间t10。

[0048] 上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。