一种AR增强的游戏直播方法和系统

摘要

本申请公开了一种AR增强的游戏直播方法，包括：在直播前，客户端预先接收并存储游戏的静态模型数据；采集模块收集游戏直播中的音视频数据，并进行编码，同时采集游戏直播中的动态模型数据；采集模块将动态模型数据和音视频数据打包压缩后，通过网络传输给客户端；客户端加载预先存储的静态模型数据，并结合接收到的动态模型数据进行AR渲染，实时显示游戏视频，并播放相应的音频。本申请还公开了一种对应的AR增强的游戏直播系统。应用本申请公开的技术方案，能够改进现有的直播技术，尤其是3D游戏直播方面，通过引入前沿的AR技术，使得观众在观看直播时获得更新的体验和更好的感受，同时为AR应用的发展提供了新的思路和途径。

权利要求

1.一种AR增强的游戏直播方法，其特征在于，包括：在直播前，客户端预先接收并存储游戏的静态模型数据；

采集模块收集游戏直播中的音视频数据，并进行编码，同时采集游戏直播中的动态模型数据；

采集模块将动态模型数据和音视频数据打包压缩后，通过网络传输给客户端；

客户端加载预先存储的静态模型数据，并结合接收到的动态模型数据进行AR渲染，实时显示游戏视频，并播放相应的音频。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：预先对直播的3D游戏场景进行模型重构，转变为适宜通过AR显示的AR模型，所述静态模型数据和动态模型数据构成AR模型数据。

3.根据权利要求2所述的方法，其特征在于：所述动态模型数据包括：模型动态行为数据、坐标数据、状态数据；

所述静态模型数据包括：3D场景数据、人物模型数据。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述采集模块将动态模型数据和音视频数据打包压缩后，通过网络传输给客户端包括：采集模块将动态模型数据和音视频数据打包压缩后，向服务器推送打包压缩后的动态模型数据和音视频数据；

服务器收到采集模块推送的所述打包压缩后的动态模型数据和音视频数据后，推送给CDN节点，并由所述CDN节点继续推送到各个客户端，或者，服务器对接收到的所述打包压缩后的动态模型数据和音视频数据进行动态编码以适应不同的客户端需要，同时将所述打包压缩后的动态模型数据和音视频数据存储在云端数据库中，供客户端请求回看时调用播放。

5.根据权利要求3所述的方法，其特征在于，客户端进行AR渲染包括：客户端对接收到的静态模型数据、动态模型数据和音视频数据进行解码，同时利用客户端的摄像头获得现实场景，对现实场景进行分析，确定AR显示区域方向，建立三维坐标系，将解码后的AR模型在指定AR显示区域显示，同时播放直播视频和音频。

6.根据权利要求5所述的方法，其特征在于：解码分为音视频数据的解码和AR模型数据的解码，其中，AR模型数据的解码分为静态模型数据和动态模型数据的解码；在进行AR显示时，先渲染静态模型数据，再将动态模型数据叠加在静态模型数据上进行渲染显示。

7.根据权利要求4所述的方法，其特征在于，该方法还包括：进行用户交互操作，具体包括：调整客户端摄像头的拍摄位置，以调整AR模型的显示位置、角度，调整摄像头焦距，以调整AR模型的大小，利用客户端向服务器发出回看请求，调取存放在云端数据库中的所述打包压缩后的动态模型数据和音视频数据进行回看。

8.一种AR增强的游戏直播系统，其特征在于，包括：采集模块、传输模块和客户端模块，其中：

采集模块用于收集游戏直播中的音视频数据，并进行编码，同时采集游戏直播中的动态模型数据，将动态模型数据和音视频数据打包压缩后，推送给传输模块；

传输模块用于通过网络将采集模块所采集的打包压缩后的动态模型数据和音视频数据传输给客户端；

客户端在直播前预先接收并存储游戏的静态模型数据，在接收到传输模块的所述打包压缩后的动态模型数据和音视频数据后，加载预先存储的静态模型数据，并结合接收到的动态模型数据进行AR渲染，实时显示游戏视频，并播放相应的音频。

9.根据权利要求8所述的系统，其特征在于：所述采集模块包括：音视频采集模块、AR场景建模模块和数据压缩编码模块，其中：所述音视频采集模块通过麦克风和摄像头采集直播者的音视频数据；

所述AR场景建模模块将直播的3D游戏场景进行模型重构，转变为适宜通过AR显示的AR模型，模型重构包括：将静态模型和动态模型剥离，将静态模型的模型范围框选在一个合适的大小内，并分别渲染静态模型和动态模型；

所述数据压缩编码模块用于将音视频数据压缩编码成可通过网络传输的流媒体形式，并将AR模型的静态模型数据和动态模型数据分别压缩编码，最终将所述动态模型数据和音视频数据打包发送到传输模块。

10.根据权利要求8所述的系统，其特征在于：所述传输模块包括：直播服务器推流模块、实时转码服务模块、数据存储服务模块和视频分发服务模块，其中：

所述直播服务器推流模块的服务包括：将采集模块所采集的动态模型数据和音视频数据推送到服务器端，以及将服务器中的动态模型数据和音视频数据推送到各个视频分发服务模块；

所述实时转码服务模块用于满足不同平台的客户端需求，将数据转换成对应不同平台可解析的编码；

所述数据存储服务模块用于提供可回看的功能，将直播中采集的所述动态模型数据和音视频数据同步存储在数据库中，用户可根据自身需要调取相应的动态模型数据和音视频数据进行回看；

所述视频分发服务模块用于将缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响应用户请求。

11.根据权利要求8所述的系统，其特征在于：所述客户端模块包括数据解码模块、场景标定模块、显示模块和AR交互模块，其中：所述数据解码模块对接收自传输模块的所述打包压缩后的动态模型数据和音视频数据进行解码，得到音视频数据和动态模型数据，动态模型数据发送给场景标定模块进行重构；

所述场景标定模块通过客户端模块的摄像头得到现实场景，再运用环境理解技术，对现实场景进行平面标定，如果现实场景中无平面，则标定在场景的中间位置或者由用户指定显示位置，所标定的区域用于显示AR模型，将模型叠加在现实场景中，最终交由显示模块进行显示；

所述AR交互模块用于接收用户操作，包括移动摄像头观看不同方位，调整摄像头远近用于放大缩小AR模型，当用户进行操作时，需要实时进行渲染，达到AR显示的稳定性。

说明书

一种AR增强的游戏直播方法和系统

技术领域

[0001] 本申请涉及智能终端应用技术领域，特别涉及一种AR增强的游戏直播方法和系统。

背景技术

[0002] 当今的网络直播技术随着自媒体的广泛深入日趋成熟，网络直播平台也成为了一种崭新的社交媒体。网络直播技术主要分为实时直播游戏、电影或电视剧等。在中国，网络
直播平台不下百余家，其中最有名气的也有数十家，可谓是百花齐放。直播平台也催生出了
网红经济，依托网红庞大的粉丝群，创造了一个又一个的营销奇迹。网络直播主要涉及流媒
体技术，主要分为三大部分：音视频采集处理、视频网络传输协议和客户端播放器。本申请
主要关注点在3D游戏直播，因为游戏直播是网络直播中最重要的一块，且占比超过50％。

[0003] 增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行
互动。增强现实技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信
息相互补充、叠加。把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着
它。AR技术主要包含计算机视觉、三维配准、识别跟踪等技术。本申请主要涉及到3D游戏模
型重组、三维配准以及识别跟踪。

[0004] 网络直播的发展经历了大概十多年的时期，从最早的视频网站(土豆，优酷)的兴起，到各大网络媒体争相自制内容(网剧)，再到自媒体的发展壮大(斗鱼，YY等平台诞生)，
最终形成一套完整的从内容到传播再到盈利的良好生态链。直播平台的诞生催生了网红经
济，网红经济又将直播带上了新的台阶。

[0005] 直播需要对应的设备和技术，内容方设备通常是网络摄像头以及麦克风，对应的技术涉及到视频数据的采集和编码。网络传输方主要是通过互联网进行传播，涉及到的技
术有传输协议：RTP与RTCP控制指令、SIP和SDP等。播放方为不同平台的网络终端，主要涉及
视频解码和播放技术。这些技术相对成熟稳定。

[0006] AR(增强现实)技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。AR技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技
术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、
味道、触觉等)通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被
人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到
同一个画面或空间同时存在。

[0007] AR系统具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。AR技术可广泛应用到军事、医疗、建筑、教
育、工程、影视、娱乐等领域。

[0008] 一个好的直播首先要有好的内容。现有的直播中，尤其是游戏直播，内容画面的采集无非是摄像头采集或者直接传输游戏画面，已经不能满足观看者需求。

[0009] 摄像头采集的画面经过视频压缩编码后往往视频质量下降，而直接传播游戏画面带入感和丰富度又不够，必须配以足够的解说才能引起观看者兴趣。所以当前的直播在内
容采集方面还存在着不足之处。

[0010] 同时，对于AR技术来说，该技术最大的限制是应用场景，虽然AR已经慢慢走近大众视线，但其实用性产品其实很匮乏，AR对于大众来讲最大的应用是游戏类。然而要完成一个
可以匹配不同场景的AR游戏也是充满挑战性的。AR技术的另一个局限是，实时性差，因为在
渲染时需要大量的运算，所以在做大型实时游戏时，AR就显得不尽如人意。

发明内容

[0011] 本申请提供了一种AR增强的游戏直播方法和系统，旨在改进现有的直播技术，尤其是3D游戏直播方面，引入前沿AR技术，使得观众在观看直播时获得更新的体验和更好的
感受，同时为AR应用的发展提供新的思路和途径。

[0012] 本申请公开了一种AR增强的游戏直播方法，包括：

[0013] 在直播前，客户端预先接收并存储游戏的静态模型数据；

[0014] 采集模块收集游戏直播中的音视频数据，并进行编码，同时采集游戏直播中的动态模型数据；

[0015] 采集模块将动态模型数据和音视频数据打包压缩后，通过网络传输给客户端；

[0016] 客户端加载预先存储的静态模型数据，并结合接收到的动态模型数据进行AR渲染，实时显示游戏视频，并播放相应的音频。

[0017] 较佳的，该方法还包括：

[0018] 预先对直播的3D游戏场景进行模型重构，转变为适宜通过AR显示的模型，所述静态模型数据和动态模型数据构成AR模型数据。

[0019] 较佳的，所述动态模型数据包括：模型动态行为数据、坐标数据、状态数据；

[0020] 所述静态模型数据包括：3D场景数据、人物模型数据。

[0021] 较佳的，所述采集模块将动态模型数据和音视频数据打包压缩后，通过网络传输给客户端包括：

[0022] 采集模块将动态模型数据和音视频数据打包压缩后，向服务器推送信息；

[0023] 服务器收到采集模块的信息推送后，推送给CDN节点，并继续推送到各个客户端，或者，服务器对接收到的信息进行动态编码以适应不同的客户端需要，同时将数据存储在
云端数据库中，供客户端请求回看时调用播放。

[0024] 较佳的，客户端进行AR渲染包括：

[0025] 客户端对接收自服务器的信息进行解码，同时利用客户端的摄像头获得现实场景，对现实场景进行分析，确定AR显示区域方向，建立三维坐标系，将解码后的3D场景信息
在指定AR显示区域显示，同时播放直播视频和音频。

[0026] 较佳的，信息的解码分为音视频信息的解码和3D场景信息的解码，其中，3D场景信息的解码分为静态模型数据和动态模型数据的解码；在进行AR显示时，先渲染静态模型数
据，再将动态模型数据叠加在静态模型数据上进行渲染显示。

[0027] 较佳的，该方法还包括：

[0028] 进行用户交互操作，具体包括：调整客户端摄像头的拍摄位置，以调整AR模型的显示位置、角度，调整摄像头焦距，以调整AR模型的大小，利用客户端向服务器发出回看请求，
调取存放在云端数据库中的数据进行回看。

[0029] 本申请还公开了一种AR增强的游戏直播系统，包括：采集模块、传输模块和客户端模块，其中：

[0030] 采集模块用于收集游戏直播中的音视频数据，并进行编码，同时采集游戏直播中的动态模型数据，将动态模型数据和音视频数据打包压缩后，推送给传输模块；

[0031] 传输模块用于通过网络将采集模块所采集的数据传输给客户端；

[0032] 客户端在直播前预先接收并存储游戏的静态模型数据，在接收到传输模块的数据后，加载预先存储的静态模型数据，并结合接收到的动态模型数据进行AR渲染，实时显示游
戏视频，并播放相应的音频。

[0033] 较佳的，所述采集模块包括：音视频采集模块、AR场景建模模块和数据压缩编码模块，其中：

[0034] 所述音视频采集模块通过麦克风和摄像头采集直播者的音视频信息；

[0035] 所述AR场景建模模块将直播的3D游戏场景进行模型重构，转变为适宜通过AR显示的模型，模型重构包括：将静态模型和动态模型剥离，将静态模型的模型范围框选在一个合
适的大小内，并分别渲染静态模型和动态模型；

[0036] 所述数据压缩编码模块用于将音视频数据压缩编码成可通过网络传输的流媒体形式，并将AR的静态模型数据和动态模型数据分别压缩编码，最终将所有数据打包发送到
传输模块。

[0037] 较佳的，所述传输模块包括：直播服务器推流模块、实时转码服务模块、数据存储服务模块和视频分发服务模块，其中：

[0038] 所述直播服务器推流模块的服务包括：将采集模块所采集的数据推送到服务器端，以及将服务器中的数据推送到各个视频分发服务模块；

[0039] 所述实时转码服务模块用于满足不同平台的客户端需求，将数据转换成对应不同平台可解析的编码；

[0040] 所述数据存储服务模块用于提供可回看的功能，将直播数据同步存储在数据库中，用户可根据自身需要调取相应的直播数据进行回看；

[0041] 所述视频分发服务模块用于将缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓
存服务器上，由缓存服务器直接响应用户请求。

[0042] 较佳的，所述客户端模块包括数据解码模块、场景标定模块、显示模块和AR交互模块，其中：

[0043] 所述数据解码模块对接收自传输模块的数据进行解码，得到音视频数据和AR模型数据，其中，AR模型数据分为动态模型数据和静态模型数据，音视频数据可直接在显示模块
显示，AR模型数据发送给场景标定模块进行重构；

[0044] 所述场景标定模块通过客户端模块的摄像头得到现实场景，再运用环境理解技术，对现实场景进行平面标定，如果显示场景中无平面，则标定在场景的中间位置或者由用
户指定显示位置，所标定的区域用于显示AR模型，将模型叠加在现实场景中，最终交由显示
模块进行显示；

[0045] 所述AR交互模块用于接收用户操作，包括移动摄像头观看不同方位，调整摄像头远近用于放大缩小AR模型，当用户进行操作时，需要实时进行渲染，达到AR显示的稳定性。

[0046] 由上述技术方案可见，本发明通过AR技术改进现有的直播方式，主要用在3D游戏的直播。将直播中的游戏地图和人物渲染为实时的三维模型，该三维模型通过网络传输到
观众的智能终端上，并通过AR方式显示出来。观众通过移动、旋转、缩放等方式控制终端来
观看游戏实况的局部或全局的任意角度，再配合以语音解说和玩家视频内容，观众可以更
好更全面地体验游戏直播，并且仿佛置身于游戏战场一般，沉浸感十足。

[0047] 本发明是一种用于增强现有直播技术的技术方案，是现有直播方法的改进和增强，并且拓宽了AR的使用范围，为未来的直播和AR行业提供了一种崭新的思路。

附图说明

[0048] 图1为本发明AR增强的游戏直播系统的结构图；

[0049] 图2为本发明AR增强的游戏直播方法的流程图；

[0050] 图3为本发明直播服务器推流服务的示意图；

[0051] 图4为本发明客户端的具体流程示意图；

[0052] 图5为进行显示器标定的示意图；

[0053] 图6为本发明普通玩家游戏直播实施例的显示画面；

[0054] 图7为本发明普通玩家游戏直播实施例的流程图；

[0055] 图8为本发明职业游戏竞赛直播实施例的显示画面；

[0056] 图9为本发明职业游戏竞赛直播的实施例流程图；

具体实施方式

[0057] 为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

[0058] 针对现有技术的不足，本申请提供两个解决方案：

[0059] 1、针对当前直播内容采集的弊端，尤其是游戏直播中，无法让观众更好地体验直播内容这一点，本申请进行了改进。具体的：本申请提供一种通过AR方式展示游戏直播画面
的方法，包括：内容采集端采用AR渲染游戏画面，将数据打包并通过网络传输到终端(也可
称为客户端)，终端通过AR方式实时显示游戏画面，并播放音频。该方法能够让观众沉浸式
地体验游戏直播，直播效果更好。

[0060] 2、针对当前AR应用情景的局限性，本申请将当今流行的直播与前沿技术AR相结合，不仅让直播有了新的方式，也让AR拓宽了应用场景，同时也解决了AR的时效性问题。内
容采集端将模型分为静态模型数据和动态模型数据，其中，静态模型(数据量较大)数据可
以在直播前预先传输到客户端，客户端可以本地存储这些数据。动态数据大都是游戏游玩
中产生的用户数据，如人物的移动，动作等数据，这些数据的数据量小，可以利用网络实时
传输，延迟很低。在客户端进行AR渲染时，加载预先存储的静态模型数据，并且配合网络传
输的动态模型数据，在数据渲染上可以做到实时性，技术难度也相较很低。这样就可以改进
AR实时渲染慢的问题。

[0061] 为解决以上问题，本发明提出一种AR增强的游戏直播系统，如图1所示，主要由以下模块构成：

[0062] 1.采集模块：采集模块的主要功能模块包括音视频采集、AR场景建模、数据压缩打包编码等；

[0063] 2.传输模块：传输模块的主要功能模块包括直播服务器推流、实时转码服务、数据存储服务、以及视频分发服务等；

[0064] 3.客户端模块：客户端模块的主要功能模块包括数据解码、场景标定、AR交互、显示等。

[0065] 基于图1所示结构，本发明的流程如图2所示，具体的:

[0066] 一、采集模块：

[0067] 采集模块主要用于直播方采集音视频，并对3D游戏进行AR建模，对数据进行预处理，最终压缩编码后发出。其中：

[0068] 1)音视频采集模块通过麦克风和摄像头采集直播者的音视频信息，此时为原始数据。

[0069] 2)AR场景建模模块将直播的3D游戏场景进行模型重构，转变为适宜通过AR显示的模型。模型重构的主要工作有：将静态模型和动态模型剥离，将静态模型的模型范围框选在
一个合适的大小内，并分别渲染静态模型和动态模型。

[0070] 3)数据压缩编码模块用于将音视频数据压缩编码成可以通过网络传输的流媒体形式，并将AR的静态模型数据和动态模型数据分别压缩编码，最终将所有数据打包发送到
直播服务器端。

[0071] 二、传输模块

[0072] 传输模块主要用于直播数据的传输,对采集模块所采集的数据进行分发、转码、存储等工作，确保数据传输的准确性和实效性。其中：

[0073] 1)直播服务器推流模块的服务分为两部分：第一部分是将采集终端所采集的数据推送到服务器端，第二部分是将服务器中的数据推送到各个CDN节点(内容分发网络节点)。

[0074] 其中涉及的主要协议有RTMP(Routing Table Maintenance Protocol路由选择表维护协议)和RTSP(Real Time Streaming Protocol实时流传输协议)等。特别需要指出的
是：本申请中的数据分为两种，一种是传统的音视频数据，另一种是AR模型数据，模型数据
中静态模型数据往往较大，但变化频率低，可以在其变化的时候进行传输；动态模型数据量
小，变化频率高，可以实时传输。动态模型数据可以包括：模型动态行为数据、坐标数据、状
态数据等；静态模型数据可以包括：3D场景数据、人物模型数据等。

[0075] 2)实时转码服务模块是为了适配不同的客户端而设置的，用于满足不同平台的客户端需求，将数据转换成对应不同平台可解析的编码。

[0076] 具体请见附图3所示直播服务器推流服务。

[0077] 3)数据存储服务模块用于提供可回看的功能，将直播数据同步存储在数据库中，用户可根据自身需要调取相应的直播数据进行回看。

[0078] 4)视频分发服务模块即为CDN节点，使用CDN节点尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输得更快、更稳定。其基本原理是广泛采用
各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访
问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由
缓存服务器直接响应用户请求。

[0079] 三、客户端模块

[0080] 客户端模块主要用于直播数据的解析以及AR呈现，用户也可以通过命令改变观看角度、大小等，最终达到AR直播的效果。其中：

[0081] 1)数据解码模块将服务器端传来的数据进行解码，解析成两部分数据，一部分是音视频数据，另一部分为AR模型数据，其中AR模型数据又分为动态模型数据和静态模型数
据。音视频数据可以直接在显示端显示，AR模型数据需要交给场景标定模块进行重构。

[0082] 2)场景标定模块通过用户终端的摄像头得到现实场景，再运用环境理解技术，对现实场景进行平面标定，如果显示场景中无平面，则标定在场景的中间位置或者由用户指
定显示位置。所标定的区域用于显示AR模型，将模型叠加在现实场景中，最终交由显示模块
进行显示。

[0083] 3)AR交互模块用于接收用户操作，如移动摄像头观看不同方位，调整摄像头远近用于放大缩小AR模型等。当用户进行操作时，需要实时进行渲染，达到AR显示的稳定性。AR
交互模块进行的用户交互操作，具体可以包括：调整客户端摄像头的拍摄位置，以调整AR模
型的显示位置、角度，调整摄像头焦距，以调整AR模型的大小，利用客户端向服务器发出回
看请求，调取存放在云端数据库中的数据进行回看。

[0084] 客户端具体的流程参见图4，具体包括：通过用户终端的摄像头拍摄得到现实场景，由场景标定模块运用环境理解技术对现实场景进行平面标定或者用户指定显示位置，
进行三维重建，最后根据数据解码模块解析得到的AR数据/视频数据、平面标定的结果、三
维重建得到的模型，将模型叠加在现实场景中进行渲染合成，并最终交由显示模块进行显
示。

[0085] 下面对具体涉及的AR技术做一些补充阐述：

[0086] 1、相机参数标定，客户端的摄像头是基于视觉的AR系统的重要组件，因此，在使用中必须先标定摄像头的内参数。对于普通的摄像头，可以采用matlab自带的摄像头标定工
具箱来标定。不仅可以标定出摄像头的内参数，还能标定出镜头畸变。该工具箱采用的是棋
盘格标定法。标定工作需要事先完成，否则无法进行三维重建。

[0087] 2、显示器标定，是将显示器上的物体位置和实际物体位置进行的一种换算方式，同时也是三维重建中重要的组成部分。最常用的一种方法是单点主动对准法(SPAAM)，将屏
幕上的一些十字光标与真实世界中的物体进行多次对齐，多次对齐需要通过手转动完成。
数据获取后，通过DLT方法构建方程组求解投影矩阵，下图5所示。

[0088] 3、视觉一致性，包含几何一致性和光照一致性，几何一致性包括虚拟物体放置在正确位置后，无论摄像头如何移动，也不会改变该无心物体的位置，此外，遮挡也要保持一
致，空间位置的不同，会导致遮挡发生变化。光照一致性是指渲染的虚拟物体怎样保持与真
实环境一致的光照效果，解决这个问题的途径是通过获得真实环境中的光源分布，然后在
虚拟世界中模拟该光照效果。

[0089] 本发明的最终目的为在现有的直播技术中增加AR呈现，让直播更加生动形象。接下来通过两个较佳实施例对本发明每个部分进行详细的实施分析。

[0090] 本实施分析均以“王者荣耀”这类MOBA类3D游戏直播为例，MOBA类3D游戏之所以可运用本申请所提技术，是因为这类游戏都有一个固定大小的场景，所有的人物均在此场景
中活动。这样就可以很方便地区分静态模型和动态模型。同理，有固定大小场景的3D游戏
(如星际争霸，CS等)均可以套用。

[0091] 实施例一、普通玩家游戏直播

[0092] 本实施例以普通玩家游戏直播为例进行说明，包括以下步骤：

[0093] 步骤1.摄像头采集玩家当前视频，麦克风采集玩家音频，此部分为音视频原始数据。

[0094] 步骤2.3D游戏AR模型采集分为两部分，以“王者荣耀”为例：

[0095] 一部分采集游戏整体地图，因为每局游戏地图是一样的，所以地图数据可以本地保存，不需要重复采集，这类数据属于静态数据；

[0096] 另一部分为玩家控制的人物、小兵、野怪等，这类属于动态数据，但这些人物模型大多都是确定的，唯一不确定的是人物姿态以及坐标朝向等。

[0097] 在收集数据时为了减少数据量，以收集这些不确定的数据为主，而可以确定的数据大多静态保存。其中静态数据如游戏地图、人物模型等均为游戏厂商提供，动态数据从玩
家的游戏中收集。

[0098] 步骤3.对采集到的音视频原始数据进行编码处理，常用的编码方式包括：CBR、VBR等，常用的视频编码格式包括：H.265、H.264、MPEG‑4等，封装容器有TS、MKV、AVI、MP4等，音
频包括：G.711μ、AAC、Opus等，封装有MP3、OGG、AAC等。

[0099] 步骤4.将编码处理后的音视频数据和AR模型数据整合打包，向服务器发送请求推送。服务器接收到请求命令后，允许推流，直播方推送相应数据到服务器端，可采用RTMP/
RTSP等协议进行推送。RTMP协议是被Flash用于对象、视频、音频的传输。该协议建立在TCP
协议或者轮询HTTP协议之上。RTMP协议就像一个用来装数据包的容器，这些数据既可以是
AMF格式的数据，也可以是FLV中的视音频数据。一个单一的连接可以通过不同的通道传输
多路网络流，这些通道中的包都是按照固定大小的包传输的。

[0100] 步骤5.为了适配不同的观看直播终端，对音视频数据进行实时转码，将转码后的数据可分发给各个CDN节点。

[0101] 步骤6.每个CDN节点根据观众用户选择的直播内容，推送相应的数据给用户。用户收到数据后进行解码，解码分为两个步骤：第一步是区分出音视频数据和AR模型数据；第二
步是对这两部分数据分别进行解析，其中，音视频数据可以使用相关硬件或软件对接收到
的数据进行解码，得到可以直接显示的图像/声音，一般对应的编码器均带有相应的解码
器，也有一些第三方解码插件等。AR模型数据需要区分静态和动态两部分数据。

[0102] 步骤7.客户端同时利用终端上的摄像头，获得当前的现实场景，通过计算机视觉等技术，对当前环境进行理解，选择合适的渲染位置(如桌面，地面等)建立对应的三维坐
标。如果显示场景中无平面，则在场景的中间位置或者由用户指定位置建立对应的三维坐
标。

[0103] 步骤8.在指定渲染位置开始渲染AR模型，先构建静态模型，再将动态模型叠加在静态模型上，最终形成完整的AR场景。

[0104] 步骤9.将渲染好的图像交由显示终端显示，同时在显示终端中开辟一部分区域显示视频数据，并用终端上的音频播放器播放音频数据。最终呈现如图6所示。

[0105] 步骤10.用户可以调节终端姿态以调整AR显示效果，如放大、缩小AR模型等。举例说明：如果想观察游戏中某个局部，用户可以将终端对准该位置，并向前移动，这样局部位
置就会随着终端前移而放大，同理，想观察全局时，则向后移动终端。如果想调整视角可以
通过左移或者右移终端来调节。

[0106] 附图7是本实施例的流程图，该流程对应上述步骤1‑10。

[0107] 实施例二、职业游戏竞赛直播

[0108] 本实施例以职业游戏竞赛直播为例进行说明，职业游戏竞赛直播不同于普通玩家的直播，竞赛直播需要提供更多的游戏数据如记分牌、玩家表现等，并且需要支持回放功
能，因此，需要用到云端存储。与上述实施例一类似的步骤不再赘述，具体步骤如下：

[0109] 步骤1、摄像头采集玩家视频信息，麦克风采集解说音频信息，并且还需记录当前游戏数据(记分、玩家表现等)。

[0110] 步骤2、与实施例一步骤2相同。

[0111] 步骤3、与实施例一步骤3相同。

[0112] 步骤4、与实施例一步骤4相同，同时打包游戏数据。

[0113] 步骤5、与实施例一步骤5相同，同时将所有数据在云端数据库存储备份。

[0114] 步骤6、与上实施例一步骤6相同，同时解压游戏数据。

[0115] 步骤7‑9、与实施例一7‑9相同，在渲染时加入游戏数据的展示，具体呈现如图8所示。

[0116] 步骤10、与实施例一步骤10相同，并且用户可以选择自己想看的直播内容，从云端数据库调取对应的数据在本地进行观看。

[0117] 图9是本实施例的流程图，该流程对应上述步骤1‑10。

[0118] 与现有技术相比，本发明为现有的直播系统提供了一个全新的直播方式，引入了AR技术，其优点是观众可以更好更全面地体验游戏直播，并且仿佛置身于游戏战场一般，沉
浸感十足。

[0119] 同时也为AR应用场景提供了新的模式，为AR的未来发展提出了新的思路。借助各大直播平台，有助于AR技术的推广，能让大家更加广泛接纳该技术。

[0120] 以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。