一种全景视频处理方法及装置

摘要

本发明实施例提供了一种全景视频处理方法及装置，方法包括：获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息；确定第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息，其中，第二全景球坐标系以播放源全景视频的时间为轴线；根据第二视线焦点信息，确定源全景视频的视线追踪图谱；根据视线追踪图谱对源全景视频进行处理，得到目标全景视频。本发明实施例依据视线追踪图谱对源全景视频的内容进行处理，从而可以将精彩的视频内容设置在用户习惯观看的位置，使得视频制作方可以提供出符合用户观看习惯的全景视频，提升了用户观看体验。

权利要求

1.一种全景视频处理方法，其特征在于，所述方法包括：获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息；

确定所述第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息，其中，所述第二全景球坐标系以播放所述源全景视频的时间为轴线；

根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱；

根据所述视线追踪图谱对所述源全景视频进行处理，得到目标全景视频；

其中，所述用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息，具体通过以下步骤确定：根据用户观看所述源全景视频时，用户的视线焦点在预设的第一全景球坐标系中的位置，得到第一视线焦点信息；

所述确定所述第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息的步骤包括：依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点信息在所述预设的第二全景球坐标系中对应的第二视线焦点信息。

2.根据权利要求1所述的方法，其特征在于，所述第一全景球坐标系以播放所述源全景视频的时间为轴线；所述第一全景球坐标系由所述第二全景球坐标系按照预设规则映射得到。

3.根据权利要求1所述的方法，其特征在于，

所述视线焦点对应至少一个基本视线元素；所述基本视线元素根据所述全景视频终端的屏幕尺寸和像素密度确定；

所述根据用户观看所述源全景视频时，用户的视线焦点在预设的第一全景球坐标系中的位置，得到第一视线焦点信息的步骤包括：当用户观看所述源全景视频时，将用户的视线焦点对应的基本视线元素确定为有效视线元素；

根据所述有效视线元素在所述第一全景球坐标系中的位置，确定所述有效视线元素在所述第一全景球坐标系的第一视线焦点信息。

4.根据权利要求3所述的方法，其特征在于，每个所述视线焦点对应一个视线中心点，所述视线中心点对应的基本视线元素为中心点视线元素，所述方法还包括：分别确定各所述有效视线元素的权重；其中，所述有效视线元素的权重由所述视线焦点对应的各基本视线元素，与所述视线焦点对应的中心点视线元素的位置关系确定；

根据所述有效视线元素的权重，确定所述有效视线元素在所述第一全景球坐标系中的第一视线焦点信息的权重；

由所述第一视线焦点信息的权重，映射得到所述第一视线焦点信息对应的第二视线焦点信息的权重；

所述根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱的步骤包括：根据所述第二视线焦点信息，和，所述第二视线焦点信息的权重，确定所述源全景视频的视线追踪图谱。

5.根据权利要求1所述的方法，其特征在于，所述第一视线焦点信息包括：第一视线焦点时间图谱；

所述根据用户观看所述源全景视频时，用户的视线焦点在预设的第一全景球坐标系中的位置，得到第一视线焦点信息的步骤包括：确定用户观看所述源全景视频时，在预设时间段内用户的视线焦点在所述第一全景球坐标系中的移动轨迹，得到第一视线焦点图谱；

所述依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点信息在所述预设的第二全景球坐标系中对应的第二视线焦点信息的步骤包括：依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点时间图谱在所述预设的第二全景球坐标系中对应的第二视线焦点信息。

6.一种全景视频处理装置，其特征在于，所述装置包括：第一视线焦点信息获取模块，用于获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息；

第二视线焦点信息确定模块，用于确定所述第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息，其中，所述第二全景球坐标系以播放所述源全景视频的时间为轴线；

视线追踪图谱确定模块，用于根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱；

目标全景视频确定模块，用于根据所述视线追踪图谱对所述源全景视频进行处理，得到目标全景视频；

第一视线焦点信息确定模块，用于根据用户观看所述源全景视频时，用户的视线焦点在预设的第一全景球坐标系中的位置，得到第一视线焦点信息；

所述第二视线焦点信息确定模块包括：

第二视线焦点信息确定子模块一，用于依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点信息在所述预设的第二全景球坐标系中对应的第二视线焦点信息。

7.根据权利要求6所述的装置，其特征在于，

所述第一全景球坐标系以播放所述源全景视频的时间为轴线；所述第一全景球坐标系由所述第二全景球坐标系按照预设规则映射得到。

8.根据权利要求6所述的装置，其特征在于，所述视线焦点对应至少一个基本视线元素；所述基本视线元素根据所述全景视频终端的屏幕尺寸和像素密度确定；

所述第一视线焦点信息确定模块包括：

有效视线元素确定子模块，用于当用户观看所述源全景视频时，将用户的视线焦点对应的基本视线元素确定为有效视线元素；

第一视线焦点信息确定子模块，用于根据所述有效视线元素在所述第一全景球坐标系中的位置，确定所述有效视线元素在所述第一全景球坐标系的第一视线焦点信息。

9.根据权利要求8所述的装置，其特征在于，每个所述视线焦点对应一个视线中心点，所述视线中心点对应的基本视线元素为中心点视线元素，所述装置还包括：有效视线元素权重确定模块，用于分别确定各所述有效视线元素的权重；其中，所述有效视线元素的权重由所述视线焦点对应的各基本视线元素，与所述视线焦点对应的中心点视线元素的位置关系确定；

第一视线焦点信息权重确定模块，用于根据所述有效视线元素的权重，确定所述有效视线元素在所述第一全景球坐标系中的第一视线焦点信息的权重；

第二视线焦点信息权重确定模块，用于由所述第一视线焦点信息的权重，映射得到所述第一视线焦点信息对应的第二视线焦点信息的权重；

所述视线追踪图谱确定模块包括：

视线追踪图谱确定子模块，用于根据所述第二视线焦点信息，和，所述第二视线焦点信息的权重，确定所述源全景视频的视线追踪图谱。

10.根据权利要求6所述的装置，其特征在于，所述第一视线焦点信息包括：第一视线焦点时间图谱；

所述第一视线焦点信息确定模块包括：

第一视线焦点图谱确定子模块，用于确定用户观看所述源全景视频时，在预设时间段内用户的视线焦点在所述第一全景球坐标系中的移动轨迹，得到第一视线焦点图谱；

所述第二视线焦点信息确定模块包括：

第二视线焦点信息确定子模块二，用于依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点时间图谱在所述预设的第二全景球坐标系中对应的第二视线焦点信息。

说明书

一种全景视频处理方法及装置

技术领域

[0001] 本发明涉及视频处理技术领域，特别是涉及一种全景视频处理方法及装置。

背景技术

[0002] 随着视频处理技术的发展，全景视频得到越来越多的应用，全景视频是一种全方位360度的视频，用户在观看视频的时候，可以随意调节视频上下左右进行观看。

[0003] 现有技术中，视频制作方在制作全景视频时，往往只是根据视频的剧情内容，在全景视频的不同区域设置关键的剧情内容。

[0004] 然而，本领域技术人员在研究上述技术方案的过程中发现，用户在观看全景视频时，同一时刻仅能观看到有限的内容，往往会出现：视频制作方在某些区域精心设计的关键内容不被用户看到，浪费视频制作方视频制作资源的同时，严重影响用户的观影体验。

发明内容

[0005] 鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种全景视频处理方法及装置。

[0006] 根据本发明的第一方面，提供了一种全景视频处理方法，所述方法包括：

[0007] 获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息；

[0008] 确定所述第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息，其中，所述第二全景球坐标系以播放所述源全景视频的时间为轴线；

[0009] 根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱；

[0010] 根据所述视线追踪图谱对所述源全景视频进行处理，得到目标全景视频。

[0011] 根据本发明的第二方面，提供了一种全景视频处理装置，所述装置包括：

[0012] 第一视线焦点信息获取模块，用于获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息；

[0013] 第二视线焦点信息确定模块，用于确定所述第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息，其中，所述第二全景球坐标系以播放所述源全景视频的时间为轴线；

[0014] 视线追踪图谱确定模块，用于根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱；

[0015] 目标全景视频确定模块，用于根据所述视线追踪图谱对所述源全景视频进行处理，得到目标全景视频。

[0016] 本发明实施例包括以下优点：本发明实施例预先设定有以播放源全景视频的时间为轴线的第二全景球坐标系，当用户通过全景视频终端观看源全景视频时，获取该全景视频终端确定的第一视线焦点信息；并确定第一视线焦点信息在第二全景球坐标系中对应的第二视线焦点信息，则根据第二全景球坐标系的第二视线焦点信息，可以确定出该源全景视频的视线追踪图谱，当对源全景视频进行处理时，依据视线追踪图谱对源全景视频的内容进行处理，从而可以实现依据用户的观看习惯，将精彩的视频内容设置在用户习惯观看的位置，对于用户不关注的区域相应的就不需要浪费资源设置大量内容，因此，使得视频制作方可以提供出符合用户观看习惯的全景视频，节约制作方视频制作资源的同时，提升了用户观看体验。

[0017] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述技术方案和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

[0018] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

[0019] 图1是本发明实施例提供的一种全景视频处理方法的流程图；

[0020] 图2是本发明实施例提供的一种全景视频处理方法的具体流程图；

[0021] 图3是本发明实施例提供的一种全景视频处理装置的框图；

[0022] 图4是本发明实施例提供的一种全景视频处理装置的具体框图。

具体实施方式

[0023] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0024] 应当理解，此处所描述的具体实施例仅用以解释本发明，仅仅是本发明一部分实施例，而不是全部的实施例，并不用于限定本发明。

[0025] 实施例一

[0026] 参照图1，示出了一种全景视频处理方法的流程图。

[0027] 需要说明的是，本发明实施例可以应用于服务器端，该服务器端可以是WEB(World Wide Web，万维网)服务器，也可以是其他形式的服务器，服务器端可以根据一个用户观看源全景视频时的观看习惯，确定视线追踪图谱，进而对源全景视频进行处理，得到针对该用户的定制化目标全景视频，以便于该用户重新观影时得到更好的观影体验；服务器端也可以根据多个用户观看源全景视频时的观看习惯，确定视线追踪图谱，进而对源全景视频进行处理，得到符合大多数用户观影习惯的目标全景视频，以提升用户的观影体验。

[0028] 当然，本发明实施例还可以应用于全景视频终端，该全景视频终端可以是VR(Virtual Reality，虚拟现实)眼镜等可以观看全景视频的终端设备，全景视频终端可以根据一个用户观看源全景视频时的观看习惯，确定视线追踪图谱，进而对源全景视频进行处理，得到针对该用户的定制化目标全景视频，以便于该用户重复观影时得到更好的观影体验；全景视频终端也可以根据多个用户观看源全景视频时的观看习惯，确定视线追踪图谱，进而对源全景视频进行处理，得到符合大多数用户观影习惯的目标全景视频，以提升用户的观影体验；本发明实施例对应用的设备及获取数据时所对应的用户数量不做具体限制。

[0029] 该全景视频处理方法具体可以包括如下步骤：

[0030] 步骤101：获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息。

[0031] 本发明实施例中，源全景视频是与目标全景视频相对应的概念，可以理解为：源全景视频是提供给用户观看，以供采集用户视线焦点信息的全景视频，目标全景视频是采用本发明实施例的方法对源全景视频处理后得到的符合用户观看习惯的源全景视频。

[0032] 具体应用中，当用户使用全景视频终端观看源全景视频时，在源全景视频播放的过程中，每一个播放时刻，用户的视线会关注源全景视频的一个位置区域，通过全景视频终端中设置的视线追踪设备或应用，可以得到用户在观看全景视频时每个时刻对应的原始视线焦点信息，该原始视线焦点信息具体可以是，用户的视线焦点对应在源全景视频中的位置信息。

[0033] 本发明实施例的第一视线焦点信息，可以是原始视线焦点信息；也可以是全景视频终端根据各原始视线焦点信息，确定出的由若干个原始视线焦点信息绘制成的视线焦点时间图谱，本发明实施例对获取的第一视线焦点信息的具体内容不做限制。

[0034] 具体应用中，获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息的方法具体可以是：当用户使用全景视频终端观看源全景视频时，实时获取每一时刻全景视频终端确定的第一视线焦点信息；也可以是当用户使用全景视频终端观看源全景视频时，间隔的获取部分或全部全景视频终端确定的各时刻的第一视线焦点信息；本发明实施例对获取第一视线焦点信息的具体方法不做限制。

[0035] 可以理解，在获取该第一视线焦点信息时，可以设置触发获取操作的方式，例如，在全景视频终端确定到第一视线焦点信息时，自动触发获取操作；或者，向全景视频终端发出获取请求后，触发获取操作，本发明实施例对触发获取第一视线焦点信息的具体方法不做限制。

[0036] 步骤102：确定所述第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息，其中，所述第二全景球坐标系以播放所述源全景视频的时间为轴线。

[0037] 本发明实施例中，第二视线焦点信息可以是：第二全景球坐标系中的位置信息，具体可以是位置坐标。

[0038] 一个源全景视频可以对应一个第二全景球坐标系，该第二全景球坐标系以播放源全景视频的时间为轴线，每一个播放时刻对应一个第二全景球，该第二全景球用于记录源全景视频的视频内容所属位置的坐标，则随着源全景视频的播放，第二全景球坐标系可以呈现出以播放时间为轴线的第二全景球集合。可以理解，本发明实施例的以播放所述源全景视频的时间为轴线，并不要求必须是以播放时间为轴线，只要是沿着播放的时间为顺序的轴线就可以，例如，播放时间是00分00秒、00分01秒、00分02秒等，则时间轴线上可以用00分00秒、00分01秒、00分02秒等进行标注，也可以以当前时刻的具体时间为初始值，按照播放时间依次增加，比如2018年2月10日30分15秒、2018年2月10日30分16秒、2018年2月10日30分17秒等等，本发明实施例对此不做具体限制。

[0039] 具体应用中，全景视频终端确定的第一视线焦点信息，与预设的第二全景球坐标系具有对应关系，可以根据该对应关系确定第一视线焦点信息在第二全景坐标系中对应的第二视线焦点信息。举例来说，假设第二全景球坐标系中对应的源全景视频为4000像素，而全景视频终端可能由于设备性能、网络性能等影响，播放源全景视频时，只能以720像素播放，那么，在源全景视频相同的位置区域中，全景视频终端确定的第一视线焦点信息的位置信息可能只有25个，而第二全景球坐标系中的位置信息可能有50个，两者对应的位置坐标也会有差异，因此，可以依据全景视频终端的像素点与第二全景球坐标系对应的源全景视频的像素点的关系，确定第一视线焦点信息在第二全景坐标系中对应的第二视线焦点信息。当然，本领域技术人员可以根据实际的应用场景，确定第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息，本发明实施例对此不做具体限制。

[0040] 步骤103：根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱。

[0041] 具体应用中，在确定了第二视线焦点信息后，可以将第二视线焦点信息在第二全景球坐标系中进行标注，绘制出以源全景视频播放时间为轴线的视线追踪图谱，该视线追踪图谱可以反映用户在使用全景视频终端观看源全景视频时，每个时刻用户视线的实际落焦点，即反映出用户观看该源全景视频时的观影习惯。

[0042] 步骤104：根据所述视线追踪图谱对所述源全景视频进行处理，得到目标全景视频。

[0043] 本发明实施例中，根据所述视线追踪图谱对所述源全景视频进行处理具体可以是：对源全景视频进行处理时，将视线追踪图谱所反映的用户视线的实际落焦点位置，确定为用户习惯观看的位置，在该位置设置较为精彩的视频内容或声音效果等，从而得到符合用户观看习惯的目标全景视频。

[0044] 综上所述，本发明实施例预先设定有以播放源全景视频的时间为轴线的第二全景球坐标系，当用户通过全景视频终端观看源全景视频时，获取该全景视频终端确定的第一视线焦点信息；并确定第一视线焦点信息在第二全景球坐标系中对应的第二视线焦点信息，这样，根据第二全景球坐标系的第二视线焦点信息，可以确定出该源全景视频的视线追踪图谱，当对源全景视频进行处理时，依据视线追踪图谱对源全景视频的内容进行处理，从而可以实现依据用户的观看习惯，将精彩的视频内容设置在用户习惯观看的位置，对于用户不关注的区域相应的就不需要浪费资源设置大量内容，因此，使得视频制作方可以提供出符合用户观看习惯的全景视频，节约制作方视频制作资源的同时，提升了用户观看体验。

[0045] 实施例二

[0046] 参照图2，示出了一种全景视频处理方法的具体流程图，具体可以包括如下步骤：

[0047] 步骤201：全景视频终端根据用户观看源全景视频时，用户的视线焦点在预设的第一全景球坐标系中的位置，得到第一视线焦点信息；

[0048] 其中，所述第一全景球坐标系以播放所述源全景视频的时间为轴线；所述第一全景球坐标系由所述第二全景球坐标系按照预设规则映射得到。

[0049] 本发明实施例中，优选地，由全景视频终端确定第一视线焦点信息，即全景视频终端负责记录用户在观看源全景视频时的视线实际落焦点，由服务器端进行步骤202至步骤205的操作，即服务器端负责根据获取到的用户观看源全景视频时的第一视线焦点信息确定视线追踪图谱，并对源全景视频进行处理，则可以避免由全景视频终端同时进行用户视线焦点信息获取和源视频处理等操作时，全景视频终端负担过大造成的效率低下问题，也降低了对全景视频终端配置的要求。

[0050] 具体应用中，全景视频终端中预设有第一全景球坐标系，该第一全景球坐标系也是以播放源全景视频的时间为轴线，每一个播放时刻对应一个第一全景球，该第一全景球用于记录源全景视频的视频内容所属位置的坐标，则随着源全景视频的播放，第一全景球坐标系可以呈现出以播放时间为轴线的第一全景球集合。

[0051] 本发明实施例中，第一全景球坐标系由第二全景球坐标系按照预设规则映射得到。具体来说，由于需要通过第二全景球坐标系确定出源全景视频对应的视线追踪图谱，因此第二全景球坐标系设置的源全景视频像素值通常较高，而第一全景球坐标系是设置在全景视频终端，全景视频终端因为设备配置或网络原因，通常设置源全景视频的像素值较低；因此，本发明实施例的预设规则可以是根据全景视频终端的像素值与第二全景球坐标系设定的像素值的比例关系确定，也可以是本领域技术人员根据实际应用场景确定，本发明实施例对预设规则不做具体限制。

[0052] 作为本发明实施例的一种优选方案，所述视线焦点对应至少一个基本视线元素；所述基本视线元素根据所述全景视频终端的屏幕尺寸和像素密度确定；所述根据用户观看所述源全景视频时，用户的视线焦点在预设的第一全景球坐标系中的位置，得到第一视线焦点信息的步骤包括：

[0053] 步骤A1：当用户观看所述源全景视频时，将用户的视线焦点对应的基本视线元素确定为有效视线元素。

[0054] 具体应用中，由于不同的全景视频终端屏幕像素密度差别较大，需要根据全景视频终端具体的屏幕尺寸和像素密度建立基本的视线元素的大小，定义该全景视频终端播放源全景视频时的基本视线元素，例如，将基本视线元素定义为全景视频终端当前屏幕下播放视频时的基本元素大小，具体可以是一个独立的像素点，也可以是若干个像素点的集合；用户在观看源全景视频时，用户视线的实际落焦点通常是一个区域，对应着至少一个基本视线元素，将用户视线焦点对应的基本视线元素确定为有效视线元素，只根据有效的视线元素确定第一视线焦点信息。

[0055] 步骤A2：根据所述有效视线元素在所述第一全景球坐标系中的位置，确定所述有效视线元素在所述第一全景球坐标系的第一视线焦点信息。

[0056] 具体应用中，全景视频终端可以根据有效视线元素在第一全景球坐标系中的位置，确定该有效视线元素在第一全景球坐标系的第一视线焦点信息。

[0057] 作为本发明实施例的另一种优选方案，每个所述视线焦点对应一个视线中心点，所述视线中心点对应的基本视线元素为中心点视线元素，所述方法还包括：

[0058] 步骤B1：分别确定各所述有效视线元素的权重；其中，所述有效视线元素的权重由所述视线焦点对应的各基本视线元素，与所述视线焦点对应的中心点视线元素的位置关系确定。

[0059] 具体应用中，根据用户的视线焦点范围，可以确定出该视线焦点对应的视线中心点，具体来说，在视线焦点正中央的位置，对应的就是该视线焦点的视线中心点。

[0060] 本发明实施例中，根据视线焦点对应的各基本视线元素与所述视线焦点对应的中心点视线元素的位置关系，可以确定各有效视线元素的权重，例如，如表1所示，假设表1中一个方格对应一个基本视线元素，整个表1构成用户在某一时刻的视线焦点对应的有效视线元素，最中间的方格对应的是中心点视线元素，将中心点视线元素赋予最高的权重值，例如中心点视线元素的权重值设置为10，中心点视线元素第一周围绕的有效视线元素赋予低一级的权重值，例如权重值可以设置为9，中心点视线元素第二周围绕的有效视线元素赋予更低一级的权重值，例如权重值可以设置为8，以此类推，第三周围绕的有效视线元素权重值可以设置为7，第四周围绕的有效视线元素权重值可以设置为6，即，位置距离中心点视线元素越远的有效视线元素，对应的权重值越小，实际应用中，可以将与视线焦点的视场角不超过5°的视线，对应的视线元素进行权重赋值，与视线焦点的视场角超过5°的视线部分，通常是用户视力不能达到的部分，可以不予考虑。

[0061]6 6 6 6 6 6 6 6 6
6 7 7 7 7 7 7 7 6
6 7 8 8 8 8 8 7 6
6 7 8 9 9 9 8 7 6
6 7 8 9 10 9 8 7 6
6 7 8 9 9 9 8 7 6
6 7 8 8 8 8 8 7 6
6 7 7 7 7 7 7 7 6
6 6 6 6 6 6 6 6 6

[0062] 表1

[0063] 步骤B2：根据所述有效视线元素的权重，确定所述有效视线元素在所述第一全景球坐标系中的第一视线焦点信息的权重。

[0064] 本发明实施例中，可以将有效视线元素的权重值，直接赋值给该有效视线元素在第一全景球坐标系中的第一视线焦点信息，作为该第一视线焦点信息的权重；也可以将有效视线元素的权重值，通过一定的变化处理，例如按照比例、加减等算法对有效视线元素的权重值进行计算后，作为该有效视线元素在第一全景球坐标系中的第一视线焦点信息的权重，可以理解，本领域技术人可以根据实际的应用场景，设定第一视线焦点信息的权重，本发明实施例对此不做具体限制。

[0065] 步骤B3：由所述第一视线焦点信息的权重，映射得到所述第一视线焦点信息对应的第二视线焦点信息的权重。

[0066] 本发明实施例中，可以将第一视线焦点信息的权重值，直接赋值给该第一视线焦点信息对应的第二视线焦点信息，作为该第二视线焦点信息的权重；也可以将第一视线焦点信息的权重值，通过一定的变化处理，例如按照比例、加减等算法对第一视线焦点信息的权重值进行计算后，作为该第一视线焦点信息对应的第二视线焦点信息的权重，可以理解，本领域技术人可以根据实际的应用场景，设定第二视线焦点信息的权重，本发明实施例对此不做具体限制。

[0067] 本发明实施例中，考虑到视线中心点通常是用户最关注的位置，距离视线中心点远的位置通常是用户视线的余光部分，余光部分对反映用户观影习惯所起的作用不大，因此，依据各有效视线元素与视线中心点的位置关系确定出各有效视线元素的权重，并最终确定出第二视线焦点信息的权重，则在根据第二视线焦点信息确定视线追踪图谱时，可以将根据所述第二视线焦点信息，和，所述第二视线焦点信息的权重，确定所述源全景视频的视线追踪图谱，权重大的第二视线焦点信息在视线追踪图谱中得到突出的显示，例如，后续将若干观众在每个时刻或每个帧中视线元素的权重值累加求和，获得该时刻或该特定帧下视线追踪图谱示意值，在第二全景球坐标系中，组成整个全景视频的视线追踪图谱，使得视线追踪图谱能更加准确的反映出用户的观影习惯。

[0068] 作为本发明实施例的另一种优选方案，所述第一视线焦点信息包括：第一视线焦点时间图谱；所述根据用户观看所述源全景视频时，用户的视线焦点在预设的第一全景球坐标系中的位置，得到第一视线焦点信息的步骤包括：

[0069] 步骤C1：确定用户观看所述源全景视频时，在预设时间段内用户的视线焦点在所述第一全景球坐标系中的移动轨迹，得到第一视线焦点图谱。

[0070] 本发明实施例中，全景视频终端根据预设时间段内用户的视线焦点在第一全景球坐标系中的移动轨迹，确定出第一视线焦点图谱，该第一视线焦点图谱是一段时间内连续的第一视线焦点信息集合。

[0071] 相应的，所述依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点信息在所述预设的第二全景球坐标系中对应的第二视线焦点信息的步骤包括：依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点时间图谱在所述预设的第二全景球坐标系中对应的第二视线焦点信息。

[0072] 本发明实施例中，全景视频终端确定的第一视线焦点图谱是一段时间内连续的第一视线焦点信息集合，相较于原始第一视线焦点信息的集合，服务器端依据连续的第一视线焦点信息集合确定第二视线焦点信息时，不需要判断每个第一视线焦点信息对应的播放时刻，只需要获知第一视线焦点图谱中第一个第一视线焦点信息对应的播放时刻，就可以顺序处理第一视线焦点图谱中其他的第一视线焦点信息，能大大提升确定第二视线焦点信息的效率。

[0073] 步骤202：获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息。

[0074] 步骤203：依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点信息在所述预设的第二全景球坐标系中对应的第二视线焦点信息；其中，所述第二全景球坐标系以播放所述源全景视频的时间为轴线。

[0075] 本发明实施例中，根据步骤201中设定的第二全景球坐标系与第一全景球坐标系的映射关系，可以确定第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息。例如根据全视频终端的像素值与第二全景球坐标系设定的像素值的比例关系，确定第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息；当然，也可以是本领域技术人员根据实际应用场景确定，本发明实施例对此不做具体限制。

[0076] 步骤204：根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱。

[0077] 作为本发明实施例的一种优选方案，在通过步骤B3确定出第二实现焦点信息的权重后，所述根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱的步骤包括：根据所述第二视线焦点信息，和，所述第二视线焦点信息的权重，确定所述源全景视频的视线追踪图谱。

[0078] 具体应用中，服务器可以将若干观众在每个时刻或每个帧中第二视线焦点信息的权重值累加求和，获得该时刻或该特定帧下视线追踪图谱示意值，从而在第二全景球坐标系中，组成整个全景视频的视线追踪图谱，使得视线追踪图谱能更加准确的反映出用户的观影习惯。

[0079] 步骤205根据所述视线追踪图谱对所述源全景视频进行处理，得到目标全景视频。

[0080] 本发明实施例中，预先设定有以播放源全景视频的时间为轴线的第二全景球坐标系，当用户通过全景视频终端观看源全景视频时，获取该全景视频终端确定的第一视线焦点信息；并确定第一视线焦点信息在第二全景球坐标系中对应的第二视线焦点信息，则根据第二全景球坐标系的第二视线焦点信息，可以确定出该源全景视频的视线追踪图谱，当对源全景视频进行处理时，依据视线追踪图谱对源全景视频的内容进行处理，从而可以实现依据用户的观看习惯，将精彩的视频内容设置在用户习惯观看的位置，对于用户不关注的区域相应的就不需要浪费资源设置大量内容，因此，使得视频制作方可以提供出符合用户观看习惯的全景视频，节约制作方视频制作资源的同时，提升了用户观看体验。

[0081] 需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

[0082] 实施例三

[0083] 参照图3，示出了一种全景视频处理装置的框图，该装置具体可以包括：

[0084] 第一视线焦点信息获取模块310，用于获取用户使用全景视频终端观看源全景视频时确定的第一视线焦点信息。

[0085] 第二视线焦点信息确定模块320，用于确定所述第一视线焦点信息在预设的第二全景球坐标系中对应的第二视线焦点信息，其中，所述第二全景球坐标系以播放所述源全景视频的时间为轴线。

[0086] 视线追踪图谱确定模块330，用于根据所述第二视线焦点信息，确定所述源全景视频的视线追踪图谱。

[0087] 目标全景视频确定模块340，用于根据所述视线追踪图谱对所述源全景视频进行处理，得到目标全景视频。

[0088] 优选的，参照图4，在图3的基础上示出了一种全景视频处理装置的具体框图。

[0089] 所述装置还包括：

[0090] 第一视线焦点信息确定模块350，用于根据用户观看所述源全景视频时，用户的视线焦点在预设的第一全景球坐标系中的位置，得到第一视线焦点信息；其中，所述第一全景球坐标系以播放所述源全景视频的时间为轴线；所述第一全景球坐标系由所述第二全景球坐标系按照预设规则映射得到。

[0091] 所述装置的所述第二视线焦点信息确定模块350包括：

[0092] 第二视线焦点信息确定子模块一3501，用于依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点信息在所述预设的第二全景球坐标系中对应的第二视线焦点信息。

[0093] 优选的，所述装置的所述视线焦点对应至少一个基本视线元素；所述基本视线元素根据所述全景视频终端的屏幕尺寸和像素密度确定；

[0094] 所述第一视线焦点信息确定模块350包括：

[0095] 有效视线元素确定子模块，用于当用户观看所述源全景视频时，将用户的视线焦点对应的基本视线元素确定为有效视线元素；

[0096] 第一视线焦点信息确定子模块，用于根据所述有效视线元素在所述第一全景球坐标系中的位置，确定所述有效视线元素在所述第一全景球坐标系的第一视线焦点信息。

[0097] 优选的，所述装置的每个所述视线焦点对应一个视线中心点，所述视线中心点对应的基本视线元素为中心点视线元素，所述装置还包括：

[0098] 有效视线元素权重确定模块，用于分别确定各所述有效视线元素的权重；其中，所述有效视线元素的权重由所述视线焦点对应的各基本视线元素，与所述视线焦点对应的中心点视线元素的位置关系确定；

[0099] 第一视线焦点信息权重确定模块，用于根据所述有效视线元素的权重，确定所述有效视线元素在所述第一全景球坐标系中的第一视线焦点信息的权重；

[0100] 第二视线焦点信息权重确定模块，用于由所述第一视线焦点信息的权重，映射得到所述第一视线焦点信息对应的第二视线焦点信息的权重；

[0101] 所述视线追踪图谱确定模块330包括：

[0102] 视线追踪图谱确定子模块，用于根据所述第二视线焦点信息，和，所述第二视线焦点信息的权重，确定所述源全景视频的视线追踪图谱。

[0103] 优选的，所述装置的所述第一视线焦点信息包括：第一视线焦点时间图谱；

[0104] 所述第一视线焦点信息确定模块350包括：

[0105] 第一视线焦点图谱确定子模块，用于确定用户观看所述源全景视频时，在预设时间段内用户的视线焦点在所述第一全景球坐标系中的移动轨迹，得到第一视线焦点图谱；

[0106] 所述第二视线焦点信息确定模块320包括：

[0107] 第二视线焦点信息确定子模块二，用于依据所述第二全景球坐标系与所述第一全景球坐标系的映射关系，确定所述第一视线焦点时间图谱在所述预设的第二全景球坐标系中对应的第二视线焦点信息。

[0108] 本发明实施例中，预先设定有以播放源全景视频的时间为轴线的第二全景球坐标系，当用户通过全景视频终端观看源全景视频时，第一视线焦点信息获取模块310获取该全景视频终端确定的第一视线焦点信息；第二视线焦点信息确定模块320确定第一视线焦点信息在第二全景球坐标系中对应的第二视线焦点信息，则视线追踪图谱确定模块330根据第二全景球坐标系的第二视线焦点信息，可以确定出该源全景视频的视线追踪图谱，当对源全景视频进行处理时，目标全景视频确定模块340依据视线追踪图谱对源全景视频的内容进行处理，从而可以实现依据用户的观看习惯，将精彩的视频内容设置在用户习惯观看的位置，对于用户不关注的区域相应的就不需要浪费资源设置大量内容，因此，使得视频制作方可以提供出符合用户观看习惯的全景视频，节约制作方视频制作资源的同时，提升了用户观看体验。

[0109] 对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0110] 本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

[0111] 本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0112] 在一个典型的配置中，所述计算机设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非持续性的电脑可读媒体(transitory media)，如调制的数据信号和载波。

[0113] 本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程全景视频处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程全景视频处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0114] 这些计算机程序指令也可存储在能引导计算机或其他可编程全景视频处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0115] 这些计算机程序指令也可装载到计算机或其他可编程全景视频处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0116] 尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

[0117] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

[0118] 以上对本发明所提供的一种全景视频处理方法和一种全景视频处理装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。