一种全景播放方法和装置

摘要

本申请实施例提供了一种全景播放方法，包括：终端侧接收全景图像和关键图像，其中，所述关键图像为基于全景中的各特定位置拍摄的高清图像；接收用户选择的图像观看位置；判断所述图像观看位置是否为所述特定位置；当所述图像观看位置不是所述特定位置时，在所述全景图像中提取出与所述图像观看位置相适配的局部图像，并展现所述相适配的局部图像；当所述图像观看位置是特定位置时，展现所述特定位置的高清图像。本申请实施例通过采用全景图像、局部高清图像混合展现的方法，即保留了全景的环视感，又能清晰展现关键位置的图像。

权利要求

1.一种全景播放方法，其特征在于，包括：

终端侧接收全景图像和关键图像，其中，所述关键图像为基于全景中的各特定位置拍摄的高清图像，所述特定位置是通过预设服务器统计在先接收到的各个用户选择的图像观看位置的次数，将次数满足预设要求的用户选择的图像观看位置作为特定位置得到的；

接收用户选择的图像观看位置；

判断所述图像观看位置是否为所述特定位置；

当所述图像观看位置不是所述特定位置时，在所述全景图像中提取出与所述图像观看位置相适配的局部图像，并展现所述相适配的局部图像；

当所述图像观看位置是特定位置时，展现所述特定位置的高清图像；

所述全景图像和所述关键图像由图像采集设备同时采集，所述图像采集设备包括多个摄像头；

所述图像采集设备用于采用两条数据通路将所述全景图像和关键图像上传到所述预设服务器；一路传输全景图像；一路传输高清的关键图像；

所述预设服务器用于将所述全景图像和所述关键图像进行流混合处理后，传输到所述终端侧。

2.根据权利要求1所述的方法，其特征在于，全景中的各个位置由预设的坐标系表示；

所述判断所述图像观看位置是否为所述特定位置的步骤包括：当用户选择的图像观看位置的坐标与特定位置的坐标匹配时，判断所述图像观看位置是特定位置；

当用户选择的图像观看位置的坐标与特定位置的坐标不匹配时，判断所述图像观看位置不是特定位置。

3.根据权利要求2所述的方法，其特征在于，还包括：将接收到的用户选择的图像观看位置上传至所述预设服务器；所述预设服务器还用于将所述特定位置发送至所述图像采集设备。

4.一种全景播放装置，其特征在于，包括：

位于终端侧的图像接收装置，用于接收全景图像和关键图像，其中，所述关键图像为基于全景中的各特定位置拍摄的高清图像，所述特定位置是通过预设服务器统计在先接收到的各个用户选择的图像观看位置的次数，将次数满足预设要求的用户选择的图像观看位置作为特定位置得到的；

位于终端侧的位置接收装置，用于接收用户选择的图像观看位置；

位于终端侧的位置判断模块，用于判断所述图像观看位置是否为所述特定位置；

位于终端侧的第一展现模块，用于当所述图像观看位置不是所述特定位置时，在所述全景图像中提取出与所述图像观看位置相适配的局部图像，并展现所述相适配的局部图像；

位于终端侧的第二展现模块，用于当所述图像观看位置是特定位置时，展现所述特定位置的高清图像；

所述全景图像和所述关键图像由图像采集设备同时采集，所述图像采集设备包括多个摄像头；

所述图像采集设备用于采用两条数据通路将所述全景图像和关键图像上传到所述预设服务器；一路传输全景图像；一路传输高清的关键图像；

所述预设服务器用于将所述全景图像和所述关键图像进行流混合处理后，传输到所述终端侧。

5.根据权利要求4所述的装置，其特征在于，全景中各个的位置由预设的坐标系表示；

所述位置判断模块进一步包括：

第一判断子模块，用于当用户选择的图像观看位置的坐标与特定位置的坐标匹配时，判断所述图像观看位置是特定位置；

第二判断子模块，用于当用户选择的图像观看位置的坐标与特定位置的坐标不匹配时，判断所述图像观看位置不是特定位置。

6.根据权利要求5所述的装置，其特征在于，还包括：位于终端侧的上传模块，用于将接收到的用户选择的图像观看位置上传至所述预设服务器；所述预设服务器还用于将所述特定位置发送至所述图像采集设备。

说明书

一种全景播放方法和装置

技术领域

[0001] 本申请涉及视频播放技术领域，特别是涉及一种全景播放方法和一种全景播放装置。

背景技术

[0002] 目前全景直播已经开始慢慢进入我们的视野。但是全景直播的性能一直难以达到普通直播的效果。这主要是由全景直播系统的带宽，展现方式所决定。

[0003] 目前全景采集系统，采集端的分辨率实际上是非常高的，采集到的高清全景图像数据量非常大，而由于传输的限制，无法将如此大数据量的图像直接展现到终端侧。因此全景视频实际上采用对局部放大现实的展现方式，用户只能看到全景图像中的一个局部图像，而不能同时观看到整个全景图像。在进行全景播放时，关键位置的图像往往是大多数人所关注的，例如，在全景直播的选秀节目时，主持人所在位置就是人们关注的关键位置。提升关键位置的图像清晰度具有非常大的价值。

发明内容

[0004] 鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种全景播放方法和相应的一种全景播放装置。

[0005] 为了解决上述问题，本申请实施例公开了一种全景播放方法，包括：

[0006] 终端侧接收全景图像和关键图像，其中，所述关键图像为基于全景中的各特定位置拍摄的高清图像；

[0007] 接收用户选择的图像观看位置；

[0008] 判断所述图像观看位置是否为所述特定位置；

[0009] 当所述图像观看位置不是所述特定位置时，在所述全景图像中提取出与所述图像观看位置相适配的局部图像，并展现所述相适配的局部图像；

[0010] 当所述图像观看位置是特定位置时，展现所述特定位置的高清图像。

[0011] 优选的，所述全景图像和所述关键图像由图像采集设备同时采集，所述图像采集设备包括一个或多个摄像头。

[0012] 优选的，所述图像采集设备用于采用不同的数据通道将所述全景图像和所述关键图像传输至预设服务器；所述预设服务器用于将不同数据通道传输的所述全景图像和所述关键图像进行流混合处理后，传输到所述终端侧。

[0013] 优选的，全景中的各个位置由预设的坐标系表示；所述判断所述图像观看位置是否为所述特定位置的步骤包括：

[0014] 当用户选择的图像观看位置的坐标与特定位置的坐标匹配时，判断所述图像观看位置是特定位置；

[0015] 当用户选择的图像观看位置的坐标与特定位置的坐标不匹配时，判断所述图像观看位置不是特定位置。

[0016] 优选的，所述的方法还包括：

[0017] 将接收到的用户选择的图像观看位置上传至所述预设服务器；所述预设服务器还用于统计在先接收到的各个用户选择的图像观看位置的次数，将次数满足预设要求的用户选择的图像观看位置作为特定位置，将所述特定位置发送至所述图像采集设备。

[0018] 同时，本申请还公开了一种全景播放装置，包括：

[0019] 位于终端侧的图像接收装置，用于接收全景图像和关键图像，其中，所述关键图像为基于全景中的各特定位置拍摄的高清图像；

[0020] 位于终端侧的位置接收装置，用于接收用户选择的图像观看位置；

[0021] 位于终端侧的位置判断模块，用于判断所述图像观看位置是否为所述特定位置；

[0022] 位于终端侧的第一展现模块，用于当所述图像观看位置不是所述特定位置时，在所述全景图像中提取出与所述图像观看位置相适配的局部图像，并展现所述相适配的局部图像；

[0023] 位于终端侧的第二展现模块，用于当所述图像观看位置是特定位置时，展现所述特定位置的高清图像。

[0024] 优选的，所述全景图像和所述关键图像由图像采集设备同时采集，所述图像采集设备包括一个或多个摄像头。

[0025] 优选的，所述图像采集设备用于采用不同的数据通道将所述全景图像和所述关键图像传输至预设服务器；所述预设服务器用于将不同数据通道传输的所述全景图像和所述关键图像进行流混合处理后，传输到所述终端侧。

[0026] 优选的，全景中各个的位置由预设的坐标系表示；所述位置判断模块进一步包括：

[0027] 第一判断子模块，用于当用户选择的图像观看位置的坐标与特定位置的坐标匹配时，判断所述图像观看位置是特定位置；

[0028] 第二判断子模块，用于当用户选择的图像观看位置的坐标与特定位置的坐标不匹配时，判断所述图像观看位置不是特定位置。

[0029] 优选的，所述的装置还包括：

[0030] 位于终端侧的上传模块，用于将接收到的用户选择的图像观看位置上传至所述预设服务器；所述预设服务器还用于统计在先接收到的各个用户选择的图像观看位置的次数，将次数满足预设要求的用户选择的图像观看位置作为特定位置，将所述特定位置发送至所述图像采集设备。

[0031] 本申请实施例包括以下优点：

[0032] 本申请实施例通过采用全景图像、局部高清图像混合展现的方法，即保留了全景的环视感，又能清晰展现关键位置的图像。

附图说明

[0033] 图1是本申请实施例中一种全景播放方法的步骤流程图；

[0034] 图2是本申请实施例中一种全景播放系统的示意图；

[0035] 图3是本申请实施例中一种全景播放装置的结构框图。

具体实施方式

[0036] 为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

[0037] 本申请实施例的核心构思之一在于，将全景图像、局部高清图像混合展现。

[0038] 参照图1，示出了本申请的一种全景播放方法实施例的步骤流程图，具体可以包括如下步骤：

[0039] 步骤101，终端侧接收全景图像和关键图像，其中，所述关键图像为基于全景中的各特定位置拍摄的高清图像；所述全景图像可以包括：对由多个摄像头基于全景的不同位置，拍摄后得到的局部图像进行合成后的图像，以及，由单个摄像头对全景进行拍摄获得的全景图像；

[0040] 全景拍摄是指以某个点为中心进行水平360度和垂直180度拍摄，目前，全景直播已经被广泛用于体育赛事直播、会议直播、选秀节目等领域。用于全景直播的图像采集设备一般可以包括三个摄像头，每个摄像头拍摄一个角度范围内的图像，各个摄像头拍摄的图像经过拼接合成后就能得到全景图像。图像采集设备也可以是单个特殊镜头的拍摄设备，例如，鱼眼镜头、反射镜头，可以直接拍摄全景图像。

[0041] 步骤102，接收用户选择的图像观看位置；

[0042] 在本申请实施例中，终端侧可以是网页浏览器，在全景视频的播放页面上一般设置有观看位置调整选项。通过位置调整选项，可以调整向上下左右各个方向调整需要观看的位置。

[0043] 步骤103，判断所述图像观看位置是否为所述特定位置；

[0044] 特定位置一般是视频中展现重要内容的位置，例如，在足球赛事全景直播中，特定位置可以是禁区附近的位置；在会议全景直播中，特定位置可以是会议的主讲人所坐的位置。当用户选择的观看位置的不是特定位置时，从全景图像中提取该观看位置的局部图像进行显示。

[0045] 步骤104，当所述图像观看位置不是所述特定位置时，在所述全景图像中提取出与所述图像观看位置相适配的局部图像，并展现所述相适配的局部图像；

[0046] 步骤105，当所述图像观看位置是特定位置时，展现所述特定位置的高清图像。

[0047] 在本申请实施例中，对特定位置拍摄有高清图像，当用户选择的观看位置的是特定位置时，采用特定位置的高清图像进行显示。通过全景图像与高清的特定位置图像像结合进行播放的方法，即保留了全景视频的环视感，同时，特定位置的图像也能够以高清图像进行显示。

[0048] 作为本申请实施例的一种优选示例，所述全景图像和所述关键图像由图像采集设备同时采集，所述图像采集设备包括一个或多个摄像头。

[0049] 目前全景采集系统，图像采集设备可包括多个摄像头，各个摄像头所拍摄的画面经过拼接组合成全景图像，但图像的拼接会使得图像产生扭曲，并且拼接边缘清晰度较低。另外，图像采集设备也可以是单个特殊镜头的拍摄设备，例如，鱼眼镜头、反射镜头，可以直接拍摄全景图像。目前图像采集设备摄像头的分辨率实际上是非常高，在摄像头主要聚焦区域的图像仍然是高清图像。

[0050] 由于全景视频的呈现方式，实际上是对局部放大现实，用户只能看到全景图像中的局部图像，大量数据用户感知不到，用户观看的图像数据只占视频通路传输的全部数据的一部分，使得实际传输效率很低。另外传输完全高清的全景图像需要很大的带宽，而由于现有传输带宽的限制，完全高清的全景图像无法直接呈现到用户侧。

[0051] 作为本申请实施例的一种优选示例，所述图像采集设备用于采用不同的数据通道将所述全景图像和所述关键图像传输至预设服务器；所述预设服务器用于将不同数据通道传输的所述全景图像和所述关键图像进行流混合处理后，传输到所述终端侧。

[0052] 图像采集设备采集到全景图像和关键图像后，分别使用两条数据通路将全景图像和关键图像上传到服务器；一路传输全景图像；一路传输高清的关键图像。在用户观点播全景视频时，服务器将全景图像和关键图像进行流混合处理，然后将混合处理后的数据流发送到用户的终端侧，使得用户能在观看全景直播时，观看到高清的局部图像。

[0053] 作为本申请实施例的一种优选示例，所述预设服务器还用于统计在先接收到的各个用户选择的图像观看位置的次数，将次数满足预设要求的用户选择的图像观看位置作为当前的特定位置，将当前的特定位置发送至所述图像采集设备。

[0054] 作为本申请实施例的一种优选示例，全景中的各个位置由预设的坐标系表示；所述步骤103可以包括如下子步骤：

[0055] 子步骤S11，当用户选择的图像观看位置的坐标与特定位置的坐标匹配时，判断所述图像观看位置是特定位置；

[0056] 子步骤S12，当用户选择的图像观看位置的坐标与特定位置的坐标不匹配时，判断所述图像观看位置不是特定位置。

[0057] 图像采集设备在将局部图像拼接成全景图像时，可以对全景中的各个位置设置坐标系。在用户的终端侧，用户选择的图像观看位置也是通过坐标表示。用户在终端侧选择好图像观看位置后，终端侧判断图像观看位置的坐标是否与特定位置坐标匹配。作为本申请实施例的一种优选示例，特定位置可以由服务器通过对多个用户选择的图像观看位置进行统计获得，也可以是通过负责直播过程的编导来决定。

[0058] 作为本申请实施例的一种优选示例，所述的全景播放方法还可以包括以下步骤：

[0059] 将接收到的用户选择的图像观看位置上传至所述预设服务器；所述预设服务器还用于统计在先接收到的各个用户选择的图像观看位置的次数，将次数满足预设要求的用户选择的图像观看位置作为特定位置，将所述特定位置发送至所述图像采集设备。

[0060] 终端侧将接收到的用户选择的图像观看位置上传至服务器，服务器统计在先接收到的各个终端侧上传的各个用户选择的图像观看位置的次数，服务器可以将统计得到次数较多的几个图像观看位置作为特定位置。

[0061] 参照图2，示出了本申请实施例中一种全景播放系统的示意图，其中，全景播放系统20可以包括：图像采集设备201、全景输出模块202、关键图像输出模块203、服务器204、用户观看选择模块205、决策模块206、流混合传输模块207、混合呈现模块208；

[0062] 图像采集设备201对全景进行图像采集，图像采集设备201可以包括一个或多个摄像头，单个的特殊摄像头可以直接拍摄全景图像，普通的摄像头可以采集全景中一个位置的局部图像。

[0063] 全景输出模块202采用图像采集设备采集的图像生成全景图像，并输出至服务器204；全景输出模块202对各个摄像头采集的局部图像进行拼接，组合成全景图像。

[0064] 关键图像输出模块203采用图像采集设备201采集的图像生成高清的关键图像，并将关键图像输出至服务器204；图像采集设备201采用高分辨率的摄像头，可以直接拍摄到高清图像，关键图像输出模块203从摄像头拍摄到的局部图像中找到摄像头聚焦处的高清图像。

[0065] 用户观看选择模块205接收用户选择的图像观看位置；用户观看选择模块205可以是设置视频网页上位置调整选项，可以在上下左右四个方向调整用户需要观看的位置。

[0066] 决策模块206通过统计用户选择的图像观看位置决定全景中哪些位置的图像中哪些需要作为高清的关键图像输出。

[0067] 流混合传输模块207将服务器204中的全景图像和关键图像进行流混合处理，并流混合处理后的图像发送至混合呈现模块208。

[0068] 混合呈现模块208判断用户选择的图像观看位置是采用全景中的局部图像进行展现还是采用高清的关键图像进行展现；全景中各个位置都设有坐标值，各个位置的图像也就可以通过坐标来表示；用户选择的图像观看位置也可以通过坐标来表示，当用户选择的图像观看位置的坐标与特定位置的坐标匹配时时，采用高清的关键图像来展现；当用户选择的图像观看位置的坐标没有与特定位置的坐标匹配时，采用全景中的局部图像进行显示。

[0069] 需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。

[0070] 参照图3，示出了本申请的一种全景播放装置实施例的结构框图，具体可以包括如下模块：

[0071] 位于终端侧的图像接收装置301，用于接收全景图像和关键图像，其中，所述关键图像为基于全景中的各特定位置拍摄的高清图像；所述全景图像包括：对由多个摄像头基于全景的不同位置，拍摄后得到的局部图像进行合成后的图像，以及，由单个摄像头对全景进行拍摄获得的全景图像；

[0072] 位于终端侧的位置接收装置302，用于接收用户选择的图像观看位置；

[0073] 位于终端侧的位置判断模块303，用于判断所述图像观看位置是否为所述特定位置；

[0074] 位于终端侧的第一展现模块304，用于当所述图像观看位置不是所述特定位置时，在所述全景图像中提取出与所述图像观看位置相适配的局部图像，并展现所述相适配的局部图像；

[0075] 位于终端侧的第二展现模块305，用于当所述图像观看位置是特定位置时，展现所述特定位置的高清图像。

[0076] 作为本申请实施例的一种优选示例，所述全景图像和所述关键图像由图像采集设备同时采集，所述图像采集设备包括一个或多个摄像头。

[0077] 作为本申请实施例的一种优选示例，所述图像采集设备用于采用不同的数据通道将所述全景图像和所述关键图像传输至预设服务器；所述预设服务器用于将不同数据通道传输的所述全景图像和所述关键图像进行流混合处理后，传输到所述终端侧。

[0078] 作为本申请实施例的一种优选示例，全景中各个的位置由预设的坐标系表示；所述位置判断模块进一步包括：

[0079] 第一判断子模块，用于当用户选择的图像观看位置的坐标与特定位置的坐标匹配时，判断所述图像观看位置是特定位置；

[0080] 第二判断子模块，用于当用户选择的图像观看位置的坐标与特定位置的坐标不匹配时，判断所述图像观看位置不是特定位置。

[0081] 作为本申请实施例的一种优选示例，所述的装置还可以包括：

[0082] 位于终端侧的上传模块，用于将接收到的用户选择的图像观看位置上传至所述预设服务器；所述预设服务器还用于统计在先接收到的各个用户选择的图像观看位置的次数，将次数满足预设要求的用户选择的图像观看位置作为特定位置，将所述特定位置发送至所述图像采集设备。

[0083] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0084] 本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

[0085] 本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0086] 本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0087] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0088] 这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0089] 尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

[0090] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

[0091] 以上对本申请所提供的一种全景播放方法和一种全景播放装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。