利用数字内容增强现场表演的系统和方法专利检索-表演者版权及相关权专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

利用数字内容增强现场表演的系统和方法

阅读：1079发布：2020-05-16

IPRDB可以提供利用数字内容增强现场表演的系统和方法专利检索，专利查询，专利分析的服务。并且描述了利用通过追踪一个或多个表演者的运动的数字内容增强一个或多个表演者的现场表演并利用基于所追踪的动作的实时数字内容扩充现场表演。，下面是利用数字内容增强现场表演的系统和方法专利的具体信息内容。

权利要求

1.一种利用数字内容增强一个或多个表演者的现场表演的系统，其特征在于，所述系统包括：表演捕捉设备；和

渲染引擎；

其中，所述表演捕捉设备被配置为追踪所述一个或多个表演者的运动并将信号传输到所述渲染引擎，所述信号是基于所述一个或多个表演者的运动而产生的；并且所述渲染引擎被配置为利用基于来自所述表演捕捉设备的所述信号的数字内容实时扩充现场表演。

2.如权利要求1所述的系统，其特征在于，进一步包括投影仪、激光器、显示屏、音频/音响系统和/或全息技术，用于接收来自所述渲染引擎的数字内容。

3.如权利要求1所述的系统，其特征在于，其中，所述表演捕捉设备包括摄像动作追踪模块，所述摄像动作追踪模块被配置为追踪所述一个或多个表演者的运动。

4.如权利要求3所述的系统，其特征在于，其中，所述摄像动作追踪模块集成到现场舞台系统中。

5.如权利要求1所述的系统，其特征在于，其中，所述表演捕捉设备通过无线链路将所述信号传输到所述渲染引擎。

6.如权利要求1所述的系统，其特征在于，其中，所述渲染引擎被配置为接收来自多个手持设备的输入并利用基于来自所述表演捕捉设备的所述信号和来自所述多个手持设备的所述输入的数字内容扩充现场表演。

7.如权利要求6所述的系统，其特征在于，其中，所述渲染引擎被配置为通过无线链路接收来自所述多个手持设备的信号。

8.如权利要求1所述的系统，其特征在于，其中，所述渲染引擎被配置为接收指示观众人员统计和分布数据的信号，并利用基于来自所述表演捕捉设备的所述信号和指示所述观众人员统计和分布数据的所述信号的数字内容扩充现场表演。

9.一种利用数字内容增强一个或多个表演者的现场表演的方法，其特征在于，所述方法包括：追踪所述一个或多个表演者的运动；

将信号传输到渲染引擎，所述信号是基于所述一个或多个表演者的运动而产生的；和利用基于所述信号的数字内容实时扩充现场表演。

10.如权利要求9所述的方法，其特征在于，进一步包括通过所述渲染引擎接收预渲染的数字内容以及基于所述一个或多个表演者的运动和所述预渲染的数字内容的至少一部分产生信号。

11.如权利要求10所述的方法，其特征在于，进一步包括通过所述渲染引擎接收观众人员统计和分布数据以及基于所接收的所述观众人员统计和分布数据选择所接收的所述预渲染的数字内容的所述至少一部分。

12.如权利要求9所述的方法，其特征在于，其中，所述渲染引擎在实时渲染服务器中执行。

13.如权利要求12所述的方法，其特征在于，进一步包括通过所述渲染服务器控制投影仪、激光器、显示屏、音频/音响系统和/或全息技术中的至少一个。

14.如权利要求12所述的方法，其特征在于，进一步包括通过所述渲染服务器发送输出数据到观众的多个手持设备。

15.如权利要求14所述的方法，其特征在于，进一步包括通过所述渲染引擎接收来自所述观众的所述多个手持设备的输入并基于所述一个或多个表演者的运动和所述观众的所述手持设备的输入产生信号。

16.如权利要求9所述的方法，其特征在于，进一步包括发送增强的现场表演到社交平台。

说明书全文

利用数字内容增强现场表演的系统和方法

技术领域

[0001] 本公开涉及利用数字内容增强一个或多个表演者的现场表演的系统和方法。更具体地，本公开涉及利用基于追踪一个或多个表演者的动作的数字内容增强一个或多个表演者的现场表演的系统和方法。

背景技术

[0002] 通常的现场表演，如现场戏剧表演，不提供任何形式的现场表演或任何在现场表演中的互动观众的参与的实时数字增强。

[0003] 例如，通常的现场表演可以用视觉和音频效果充实，而充实通常由现场表演的工作人员控制，保持视觉和音频效果的出现与现场表演的表演动作同步。或者，视觉和听觉效果的时间线可以被预设定，在这种情况下，表演者必须小心地与被预设定的视觉和听觉效果出现的时间线同步表演。然而，在这两种情况下，实现完美的同步是困难的，所以将复杂的数字增强综合到现场表演中是具有挑战性的。

[0004] 此外，在通常的现场表演中，互动观众的参与是具有挑战性的，因为大量的人群可能会引起压倒性的输入，导致现场表演的工作人员不能适度地应对。

发明内容

[0005] 本内容用于以简化形式介绍概念的选择，这会在下面在具体实施方式中进一步描述。本内容并不旨在指定所要求保护的主题的关键特征，也不旨在用于辅助确定所要求保护的主题的范围。

[0006] 实时数字增强和互动观众的参与的潜力似乎是庞大的，因此存在解决这些问题的需要。

[0007] 根据本公开内容，通过一种利用数字内容增强一个或多个表演者的现场表演的系统和一种利用数字内容增强一个或多个表演者的现场表演的方法可以解决通常的现场表演中的问题。

[0008] 根据第一个方面，一种利用数字内容增强一个或多个表演者的现场表演的系统包括表演捕捉设备和渲染引擎。该表演捕捉设备被配置为追踪一个或多个表演者的运动并将信号输出到渲染引擎，该信号是基于一个或多个表演者的运动而产生的。渲染引擎被配置为利用基于来自表演捕捉设备的信号的数字内容实时增强现场表演。

[0009] 因此，一个或多个表演者可以以通常的方式进行表演，比如坚持预定的情节，此时一个或多个表演者的运动被表演捕捉设备追踪并被传输到渲染引擎。渲染引擎被配置为将所追踪的运动(这可以是所传输的动作捕捉信号)转换为大范围的数字内容，以向现场观众显示和/或被现场观众听到，从而扩充了现场表演并增强现场观众的视觉和/或听觉体验。

[0010] 因此，现场观众所看到或听到的取决于一个或多个表演者所做，尤其是他们怎么做，比如基于表演者的决定、他们的策略和技巧等，正如他们动作所表达的，他们的动作被渲染引擎转换为想要的数字内容，增强现场观众对现场表演的享受。

[0011] 优选地，该系统进一步包括投影仪、激光器、显示屏、音频/音响系统和全息技术中的一个以上的任意组合，用于接收来自渲染引擎的数字内容。

[0012] 因此，现场观众体验的增强可以包括各种各样的视觉和听觉效果，这补充了现场表演。特别地，视觉效果可以不仅仅补充一个或多个表演者的表演，还成为表演的一个组成部分，例如通过提供一个印象，这印象是一个或多个表演者与在显示屏中的视觉图像或在舞台上由激光器或全息技术产生的视觉图像互动。

[0013] 优选地，表演捕捉设备包括摄像动作追踪模块，该摄像动作追踪模块被配置为追踪一个或多个表演者的动作。

[0014] 摄像动作追踪模块可以提供实时动作捕捉技术，并不限制捕捉的动作，从而使系统可以在各种各样的现场表演环境中使用，其中的摄像动作追踪模块可以无缝集成。

[0015] 优选地，摄像动作追踪模块集成到现场舞台系统中。

[0016] 如整个说明书和权利要求中使用的术语“现场舞台系统”旨在指安装在上或在舞台附近的照明和/或音频/音响系统。摄像动作追踪模块集成到现场舞台系统进一步增加了表演捕捉设备无缝融合到现场表演环境。例如，照相机可以附着到现场表演舞台上的光设备，它可以是一个简单的安装过程。

[0017] 优选地，表演捕捉设备通过无线链路将信号传输到渲染引擎。

[0018] 在表演捕捉设备和渲染引擎之间的无线连接，诸如IEEE 802.11或IEEE 802.16连接，使得表演捕捉设备和渲染引擎在现场表演环境的放置有很大的自由，也节省系统安装的工作。然而，本公开不限于特定的无线技术，任何其它进行数据的无线传输的技术或协议都可以被使用。

[0019] 优选地，渲染引擎被配置为接收来自多个手持设备的输入并利用基于来自表演捕捉设备的信号和来自多个手持设备的输入的数字内容扩充现场表演。

[0020] 因此，现场观众的体验还可通过加入观众互动式手持设备来得到进一步的增强，例如智能电话、平板电脑、游戏控制器或其它类似设备。通过从多个手持设备到渲染引擎的输入来表达他们的动作，手持设备使得现场观众有能力影响现场表演。

[0021] 优选地，渲染引擎被配置通过无线链路接收来自多个手持设备的信号。

[0022] 具有无线链路，诸如蜂窝网络、IEEE 802.11连接或IEEE 802.16连接，促进交互参与，还使得相对于现场观众放置渲染引擎有很大的自由。

[0023] 优选地，渲染引擎被配置为接收指示观众人员统计和分布数据的信号，并利用基于来自表演捕捉设备来的信号和指示观众人员统计和分布数据的信号的数字内容扩充现场表演。

[0024] 因此，渲染引擎可以被配置为发起数字内容/输出的大阵列，以向现场观众显示，其中，向现场观众显示/现场观众听到的数字内容的确切本质取决于在现场表演中的特定场景或时刻、观众人员统计以及现场表演的类型和现场表演的制作人所想要的效果。

[0025] 根据另一个方面，一种利用数字内容增强一个或多个表演者的现场表演的方法包括：追踪一个或多个表演者的运动；将信号传输到渲染引擎，该信号是基于一个或多个表演者的运动而产生的；和利用基于信号的数字内容实时扩充现场表演。

[0026] 因此，现场捕捉技术将一个或多个表演者的表演传输到渲染引擎，其被配置为利用一个或多个表演者的运动作为输入信号来启动，建立，渲染，从而利用实时数字内容增强并扩充现场表演。如上所述，通过合适的投影机、激光器、显示屏、音频/音响系统和/或全息技术，该数字内容可实时地向现场观众显示/被现场观众听到。

[0027] 优选地，渲染引擎接收预渲染的数字内容和/或预定的视觉效果，并基于一个或多个表演者的运动和预渲染的数字内容的至少一部分和/或预定的视觉效果的至少一部分产生信号。

[0028] 因此，渲染引擎还允许预渲染的数字内容和/或预定的视觉效果向现场观众显示和/或被现场观众听到，并允许一个或多个表演者在即将来临的场景所做的来决定随后的数字内容。

[0029] 优选地，该方法进一步包括通过渲染引擎接收观众人员统计和分布数据以及基于所接收的观众人员统计和分布数据选择所接收的预渲染的数字内容的至少一部分或/或预定的视觉效果的至少一部分。

[0030] 因此，向现场观众显示和/或被现场观众听到的所接收的预渲染的数字内容和/或预定的视觉效果基于所接收的观众人员统计和分布数据被选择，因此鉴于现场表演的制作人的艺术概念而适于观众。例如，现场表演的制作人可以针对不同的观众人员统计提供不同的预渲染的数字内容和/或预定的视觉效果，并且可以根据实际的观众人员统计，例如，现场观众的平均年龄、预定年龄范围、性别分布等等，通过渲染引擎选择各预渲染的数字内容和/或预定的视觉效果。

[0031] 优选地，渲染引擎是在实时渲染服务器中执行。渲染服务器可控制投影仪、激光器、显示屏、音频/音响系统和/或全息技术中的一个以上的任意组合。

[0032] 实时渲染服务器因而可以包括足够的硬件资源来实时执行数字内容的渲染。此外，显示屏和投影仪可被用于显示数字内容来增强舞台上的现场表演，但也可以用于显示利用数字内容所扩充并增强的现场表演。

[0033] 优选地，所述渲染服务器发送输出数据到观众的多个手持设备。

[0034] 因此，现场观众可以通过手持设备发布现场舞台照片、视频和其他内容到社交媒体平台。此外，观众也可通过提供如何连接和提交输入到渲染引擎的指示，邀请朋友或熟人参与来增强现场表演。

[0035] 优选地，渲染引擎接收来自观众的多个手持设备的输入并基于一个或多个表演者的运动和观众的手持设备的输入产生信号。

[0036] 因此，该方法允许通过手持设备，例如智能电话、平板电脑、游戏控制器或其它类似设备，进行观众互动和影响。手持设备可以通过无线连接而被连接到渲染服务器并给现场观众带来影响现场表演的数字扩充和增强的能力。例如，观众的动作可以通过渲染引擎使用或解读，以建立数字内容。

[0037] 优选地，该方法还包括发送增强的现场表演到社交平台。

[0038] 发送增强的现场表演到社交平台，使得各种不同的人关注现场表演，并使得利用社交平台账户连接到渲染服务器成为可能，该社交平台账户可能被用于确定观众人员统计和分布数据。

[0039] 此外，渲染引擎还可以允许一个或多个表演者通过他们的运动启动特殊效果。任何特殊效果的潜力和精确本质是巨大的，并且这些特殊效果可以是实时的、数字建立和视觉或音频效果，它们不限于这种格式，并可以例如是由一个或多个表演者触发的真实世界中的物理效果，例如通过手势、触摸增强现场表演的数字内容的一个元素或按压与渲染引擎通信的物理触发器。

[0040] 此外，物理的照明系统，例如光设备，也可以设置在现场表演环境的舞台上。例如，物理光设备可以由渲染引擎中的基于物理的照明部件进行控制。位于渲染引擎内部的照明工程学会(IES)准则认可的并且基于物理的照明部件可以因此使得现场动作照亮无缝驱动的虚拟光线，从而提供了独特的照明体验。(IES准则提供物理光元素的光强度的分布的计算机可读说明，如聚光灯。)

[0041] 根据本公开的另一方面，提供了一种存储了指令的计算机可读介质，例如一个或多个非临时性计算机可读介质，其中，根据本公开的一个或多个实施例响应于计算设备的执行的上述指令使计算设备自动执行一种利用数字内容增强一个或多个表演者的现场表演的方法。特别是，上述指令可以使计算设备自动追踪一个或多个表演者的运动，将基于一个或多个表演者的运动而产生的信号传输到渲染引擎，并基于上述信号利用数字内容实时扩充现场表演。

[0042] 因此，前面的内容公开了一种系统和一种使用(实时)渲染引擎以利用实时数字内容/输出，特别是通过增强现实技术和/或全息技术扩充现场表演的观众体验的方法。该数字内容/输出例如通过一系列的投影机、激光器、增强现实屏幕和音频/音响输出设备的任意组合被显示。现场观众的体验可以通过交互元件得到进一步增强，其受到连接到渲染引擎的手持交互式设备影响，这使得进一步数字增强现场表演。

附图说明

[0043] 进一步的优点和特征将通过下面的描述变得显而易见，参照附图，其中：

[0044] 图1是示例性现场表演环境的示意图；和

[0045] 图2是示出了在现场表演环境中执行的操作的流程图。

具体实施方式

[0046] 现在将参考在附图中示出的实施例并且具体的语言将用来描述该实施例。尽管如此，可以理解的是，这不意味着对本发明的范围的限制，图示系统中的改变和进一步的修改以及本申请的公开内容的原理的进一步应用被设想为对本公开所涉及的领域的技术人员来说会在现在或在将来发生。

[0047] 图1是示例性的现场表演环境100的示意图。现场表演环境100包括实时渲染引擎102，其在实时渲染服务器104中执行。可替代地，实时渲染引擎102可以在实时渲染引擎设备中执行，并且该实时渲染引擎设备可以连接到实时渲染服务器104。

[0048] 现场表演环境100还包括舞台和现场观众108，该舞台作为舞台环境106的一部分。舞台环境106还包括音频/音响系统110和显示屏112，该显示屏从实时渲染服务器104中接收数字内容。此外，舞台环境106包括投影仪114，经由无线链路，该投影仪从实时渲染服务器104中接收输出数据120形式的数字内容。

[0049] 舞台环境106还包括表演捕捉设备116，该表演捕捉设备具有摄像动作追踪模块，可以追踪作为现场表演的一部分的一个或多个表演者的运动。可选地，摄像动作追踪模块也追踪在舞台环境106的光条件。表演捕捉设备116将与一个或多个表演者的运动相关的信号和可选地与光条件和/或现场表演的视频流相关的信号作为输入数据118发送到实时渲染引擎102。

[0050] 实时渲染引擎102基于输入数据118产生数字内容，其中数字内容要向现场观众108显示或者被现场观众108听到，以扩充并增强在舞台环境106的现场表演，和/或扩充并增强现场表演的视频流，如果由表演捕捉设备116提供的话。

[0051] 为了扩充并增强在舞台环境106的现场表演，实时渲染服务器104可以传输数字内容到音频/音响系统110和显示屏112。另外，实时渲染服务器104可以发送输出数据120形式的数子内容到投影仪114。另外，数字内容也可通过将实时渲染服务器104的输出数据120发送到多个交互式观众设备122，例如手机或平板电脑的手持设备，向现场观众108显示或被现场观众108听到，其中该输出数据120包括已增强的现场表演的视频流。

[0052] 交互式观众设备122也可以被用于补充或修改发送到实时渲染引擎102的输入数据118，由此通过影响向现场观众108显示或者被现场观众108听到的数字内容产生，允许现场观众108参与到现场表演。另外的可能影响数字内容产生的因素是观众人员统计和分布数据124，对现场观众108分类可以进一步补充和修改被发送到实时渲染引擎102的输入数据118，由此允许鉴于特定的现场观众108剪辑该数字内容。

[0053] 实时渲染引擎102还可以提供有预渲染的数字内容126和/或预定的视觉效果128。例如，预渲染的数字内容126和/或预定的视觉效果128可以在现场表演的时间线上的某些点被显示或被听到，而由输入数据118产生的数字内容可以被用于补充或延续预渲染的数字内容126和/或预定的视觉效果128。

[0054] 根据进一步的方面，体验130可能被现场观众108在社交平台上分享。例如，输出数据120，例如，增强的现场表演的视频可在社交平台上被传输到现场观众108的朋友或熟人。

[0055] 图2是示出了现场表演环境100中执行的操作的流程图200。在202，表演被表演捕捉设备116无线捕捉。在204，捕捉的表演被传输到实时渲染引擎102。例如，所捕捉的表演利用无线链路被传输到实时渲染引擎102，诸如IEEE 802.11或IEEE 802.16。

[0056] 在206，实时渲染服务器104被实时渲染引擎触发，基于捕捉的表演生成数字内容。在208，实时数字内容向现场观众108显示并且与捕捉的表演的至少一部分一起被传输到手持交互式观众设备122。任选地，在210，现场观众108还利用手持设备捕捉现场表演体验。

[0057] 手持交互式观众设备122可在212被用于提供输入数据118到实时渲染引擎204。另外，手持交互式观众设备122也可在212中使用，以提供实时数字内容和/或现场表演的体验到社交平台。在214，实时数字内容和/或现场表演的体验可与社会平台上的其他用户分享。

[0058] 为了进一步促进现场表演环境100的其它方面的理解，现在将参考两个示例性使用情况。

[0059] 根据第一使用情况，在舞台环境106进行的现场表演的场景可包含现场表演者和根据基于烟全息效果的数字建立的一条龙，也就是说，数字地建立的内容和现实世界特殊效果的组合。在表演中，表演者与龙战斗，并且捕捉到的表演者的动作无线传送到实时渲染引擎102。

[0060] 实时渲染引擎102将表演者的战斗动作转换成新的实时数字内容，例如，人物或头像等等，这又反应出表演者的运动和动作。表演捕捉设备116拍摄舞台环境106上的现场动作和实时渲染引擎102通过传送了产生的数字内容的HD-SDI视频组合该视频镜头。显示屏112呈现最终的增强现实场景给现场观众。

[0061] 根据第二使用情况，视频游戏的水平被显示给现场观众108和舞台环境106中的表演者。表演者对他/她所看到进行反应，并且在现场观众108面前现场表演游戏水平。所显示的数字内容由视频游戏决定且与表演者的能力水平、所采用的策略、所做的决定等直接相关。现场观众108可以通过其手持互动式观众设备122参与到现场表演中，他们自身的反应、决定等可以被实时渲染引擎102解读，例如，让他们可以与现场表演者竞争。

[0062] 现场观众108可以捕捉舞台环境106中的现场表演或输出数据120，然后通过社交平台将捕捉的内容分享给他们的朋友。手持交互式观众设备122的应用程序甚至可以使这些朋友通过社交平台来提供合并的输入，并驱动由实时渲染引擎102渲染的虚拟内容。

[0063] 上述的例子和使用情况和附图仅仅是用于说明与现有技术相比本公开和它的优点，并且不应当被理解为在任何意义上的限制。

标题	发布/更新时间	阅读量
以网际网络为才艺表演者推广的方法-专利编号CN103457961B	2020-05-12	528
一种可以让表演者和观众互动的录音棚-专利编号CN104660869A	2020-05-14	538
用于舞台表演者的道具支撑背带-专利编号CN101991960B	2020-05-12	1041
以网际网络为才艺表演者推广的方法-专利编号CN103457961A	2020-05-13	267
用于舞台表演者的道具支撑背带-专利编号CN101991960A	2020-05-13	983
用于舞台表演者的道具支撑背带-专利编号CN109381875B	2020-05-11	104
舞台表演者自动定位系统-专利编号CN109238238A	2020-05-11	296
用于舞台表演者的道具支撑背带-专利编号CN109381875A	2020-05-11	1006
表演者的无标记点三维实时捕捉系统-专利编号CN103559736B	2020-05-13	845
表演者的无标记点三维实时捕获系统-专利编号CN103559736A	2020-05-12	868

利用数字内容增强现场表演的系统和方法

利用数字内容增强现场表演的系统和方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式