一种虚拟三维场景中实现遥控互动的系统

摘要

本发明涉及一种虚拟三维场景中实现遥控互动的系统和控制方法，该交互控制系统解决了如何由操作者来进行与虚拟演播室场景、动画及场景内的物体(object)的交互与控制。该系统主要包含三大模块，一是三维制作和实时渲染模块，二是播出和控制模块，三是交互模块。交互模块中包含了无线遥控、语音识别、影像识别、位置跟踪(动作识别)和触摸屏(提供了一个可视化的多媒体播控界面及多点触摸控制手段)等子系统。操作者可以各种交互手段通过播出和控制模块去驱动三维实时渲染引擎，实现对虚拟场景的即时选播和对虚拟物体的控制。系统可应用于电视台虚拟演播室以及其他虚拟交互演示场合。

权利要求

1.一种虚拟三维场景中实现遥控互动的方法，其特征在于，包括步骤：

1)三维场景制作步骤，利用三维制作软件制作三维场景文件并导出场景中每个物体(Object)的属性参数，并利用播出控制模块提取场景文件信息及物体属性参数，生成场景播放列表；

2)关联步骤，利用播出控制模块将交互控制设备的控制信号与指定场景关联，以控制场景调用和播放；将交互控制设备的控制信号与指定物体的属性参数关联，以控制虚拟物体运动；

3)操作步骤，主持人通过各种交互控制设备可随机或按序列控制各个场景的调用，并可通过交互控制设备对三维场景中的物体属性参数进行实时赋值，以实现对虚拟场景中的虚拟物体的实时调用控制；

4)渲染播出步骤，利用实时三维渲染引擎技术实现对主持人控制下的三维场景其中包含的物体对象实时渲染播出。

2.如权利要求1所述的虚拟三维场景中实现遥控互动的方法，所述的交互控制设备可以是以下设备中的一种或多种组合：

1)无线电子遥控设备，

2)触摸屏设备，

3)语音识别设备，

4)电磁式和红外式位置跟踪设备，

5)影像识别和跟踪设备。

3.如权利要求1中所述的虚拟三维场景中实现遥控互动的方法，其中所述的关联步骤还包括以下的一种或几种组合：

1)将无线电子遥控设备和某个场景的调用相关联，

2)将触摸屏中的预设操作区域和某个场景的调用相关联，

3)将触摸屏中触摸笔或手指的位置移动和某个虚拟物体的位置属性参数相关联，

4)将触摸屏中通过多点触摸技术识别不同的多个手指操作命令，并和场景的切换或虚拟物体的属性参数相关联，

5)将语音识别设备的识别命令和场景的切换相关联，

6)将位置跟踪设备的位置信息和某个虚拟物体的位置属性参数相关联，

7)通过动作识别技术识别位置跟踪设备的不同运动轨迹所代表的不同命令，并和场景的切换相关联，

8)通过影像识别和跟踪设备，识别人体不同动作所代表的不同命令，并跟踪指定部位的位置信息，和场景的切换或虚拟物体的属性参数相关联。

4.如权利要求1中所述的虚拟三维场景中实现遥控互动的方法，其中所述的渲染播出步骤可通过接口指令调用独立的第三方实时三维图像渲染引擎。

5.一种虚拟三维场景中实现遥控互动的系统，其特征在于，系统包括：

1)三维场景制作模块：该模块可以导入通用三维制作软件等制作完成的三维场景文件，也可自行创建三维场景模版，并需要导出物体的属性参数；

2)播出控制模块：用于提供场景动画播放列表、场景动画预览、虚拟互动控制设置、场景动画播放的后台控制、渲染引擎控制；

3)交互控制信号处理模块：该模块主要完成对多种交互控制设备的控制信号的分析处理，并形成归一的控制信号以对虚拟场景以及虚拟物体进行控制；

4)应用系统模块：配合通用播出控制模块使用；

5)渲染输出模块：该模块主要包含三维实时渲染引擎，播出控制模块根据接口协议驱动渲染输出模块，即驱动三维渲染引擎对场景进行实时渲染，并输出视频。

6.如权利要求5所述的虚拟三维场景中实现遥控互动的系统，所述的应用系统模块可以是竞猜模块：该模块主要负责选手的基础设定、每轮竞猜结果与场景动画的关联设置，并在每轮竞猜结束后将结果传递给渲染输出控制模块，该模块提供与外部程序的接口，支持竞猜结果的自动产生或结果的手工录入。

7.如权利要求5所述的虚拟三维场景中实现遥控互动的系统，所述的交互控制设备可以是以下设备中的一种或多种组合：

1)无线电子遥控设备，

2)触摸屏设备，

3)语音识别设备，

4)电磁式和红外式位置跟踪设备，

5)影像识别和跟踪设备。

8.如权利要求7所述的虚拟三维场景中实现遥控互动的系统，所述的触摸屏设备可以提供一个可视化的图像操作界面，该界面由多媒体演示软件进行编辑产生，可以在屏幕上任意设定操作对象或区域，切换屏幕内的不同界面，并通过接口同步控制实时渲染引擎，该引擎渲染的画面也可通过触摸屏工作站被同步采集到触摸屏画面中。

9.如权利要求5所述的虚拟三维场景中实现遥控互动的系统，所述的渲染输出控制模块的互动控制效果包括：

1)下一个动画：控制场景中下一个动画的播放，

2)上一个动画：控制回到场景的上一个动画，同时当前动画回到第一帧；

3)动画播放暂停：控制播放中的场景动画的暂停，

4)动画播放：控制暂停后的场景动画继续播放，

5)动画停止：场景动画播放的停止，回到动画最前面，

6)视频播放：控制插入的视频文件的播放，可支持的视频文件格式有.avi、.mov、.mpeg、.rmvb、.wmv，

7)视频播放暂停：控制插入的视频文件的播放暂停，

8)任意动画：控制场景中任意动画的播放，

9)回到场景动画顶端：一键回到当前场景的最顶端动画，主要针对于节目录制中NG情况，

10)动画的跳过：播放时可跳过某个动画，直接播放下一个动画，

11)场景内部物体的选择、移动、旋转、放大、缩小。

说明书

一种虚拟三维场景中实现遥控互动的系统

技术领域：

[0001] 本发明主要涉及三维虚拟仿真技术和交互控制技术，是一种涉及电视台互动虚拟演播室播报，及其他领域高端互动多媒体展示领域应用的人机互动虚拟演示系统。背景技术：

[0002] 本发明是一种3D虚拟实时渲染引擎技术和各种交互控制技术相结合的高端演示系统，其中3D实时渲染引擎技术是一种目前广泛应用于电视台虚拟演播室的技术，它通过硬件将预先制作好的3D动画、虚拟场景在播出时实时地渲染出来并通过扣像合成技术与主持人、嘉宾的画面相结合，从而实现一种3D虚拟场景下的播报应用。其特点是利用3D技术能实现各种绚目的3D效果和虚拟三维物体的引入，并在同一节目中实现不同场景的切换，而完成很多实景演播室中不能达到的效果。

[0003] 该类3D虚拟演播室的应用在广电有如下特点：

[0004] 1、可渲染用通用的三维软件制作的场景

[0005] 3D虚拟演播室系统。除兼容二维外，可用通用的三维软件如3d Studio Max及Maya制作出来的带有材质、虚拟灯光与摄像机、动画等三维场景。通过异常强大的硬件渲染器功能，可实时把三维物件或动画渲染成全D1分辨率，32位彩色的视频。

[0006] 2、可直通实况或预录视频

[0007] 当把视频与3D图像相混时，3D虚拟演播室系列可使使用者把直通视频粘贴到虚拟场景中的物件表面。可支持多路实况直通视频及多路AVI/MPEG视频，全D1分辨率或低一些。并能做出诸如玻璃或水波纹等效果。

[0008] 3、可实现虚拟模块积木式组合

[0009] 虚拟场景、虚拟大屏幕、虚拟物体、虚拟特效、外来视频、动画文件相互独立，可以随时积木式组合，并且均可以采用所见即所得的方式进行任意的运动轨迹编辑，均可以实现三维平移、旋转和缩放，并保证正确的透视关系。

[0010] 4、可虚拟多个视频窗口

[0011] 虚拟场景中可以添加多个虚拟大屏幕窗用于播放不同的视频，其中可播放两路外视频，并且不论虚拟大屏幕的位置如何，都能确保大屏幕中视频画面的广播级质量。虚拟大屏幕中的视频信号可接受分量视频、数字视频信号。

[0012] 5、独特的虚拟摄像机让你可以从任何角度展示场景

[0013] 虚拟摄像机可以用来拍摄远超出演播室范围的场景部分，即无限蓝箱功能。虚拟摄像机所拍片段可以和真实摄像机所拍的无缝结合在一起。

[0014] 6、系统具有前景深度键功能

[0015] 通过该功能可以方便的实现操作者在三维虚拟场景中的穿越和遮挡；并且无需任何操作就可以实现虚拟物体、虚拟视频板和虚拟特效环绕操作者运动，实现自动遮挡。节目操作者在虚拟背景层间可进行穿越，使得合成的画面更加真实。可实现刮风、下雨、下雪、太空遨游、火山爆发等虚拟效果，使节目制作更加真实和奇特。

[0016] 7、系列系统具有多机位双通道功能

[0017] 使得不同机位的输出可以方便的进行特技切换，实现淡入、淡出、划像、DVE等效果，也方便的实现了预监功能。

[0018] 8、系列灵活性大、使用简便

[0019] 当场景更换、机位变动时，重新进行摄像机与虚拟背景的定位非常简便，所有参数由计算机自动测定，操作人员仅需点击鼠标进行确认，前后仅需数分钟即可完成；一旦定位完成，只需简单地按传统的摄像方法对摄像机作推拉、平摇和俯仰操作，即可实现虚拟节目制作。即使作多机位间切换，所需动作仅仅是用鼠标点击摄像机的视窗而已，且前景、背景、大屏幕窗口播出等多种视频成份均可在同帧场逆程内完成，保证了多机位切换无闪烁、无跳动、无黑场的无缝切换。

[0020] 一个操作人员，即使是他接触时间不长，也会方便地操作本系统。操作人员用键盘、鼠标和手柄既可执行预设的节目单，也可进行修改。

[0021] 9、系列可与其它A/V录制/编辑设备集成

[0022] 任何的模拟或数字视音频输出都可与不同档次的A/V录制/编辑设备、特效、字幕、制作切换台集成，甚至连实时MPEG编码器进行压缩数字视音频的网络传输(含因特网)。

[0023] 3D渲染引擎的常规控制技术是通过各家公司独自编写的控制软件来实现3D场景的编排、控制与参数设定。安装在后台的控制机上，控制人员通过软件与演播室中的操作者配合完成场景的切换和各种3D效果的控制。

[0024] 因为受制于后台控制人员与前端操作者之间的协调同步问题使该类虚拟演播室节目在操作者的现场发挥和整体节目的连贯性上都大受影响，操作者不得不随时注意听耳脉中后台导播的指令，而且还得时刻记住自己所处的位置，操作者仅仅是读稿，节目表现形式单一，仅仅是将背景和操作者合成在一起。

[0025] 本发明的为操作者提供了各种交互控制手段，将节目场景的控制权从导播移交到了操作者手中，从而大大提高了操作者的能动性，使节目场景的切换更为自然流畅，而且支持人和虚拟场景中的物体也可实现交互，大大丰富了节目的表现力。

[0026] 本发明涉及的主要交互技术包括：

[0027] 1.语音识别技术：语音信号通过采集后输入到主机中，通过语音分析软件将已定义的语音命令相比对，符合率超过一定的数值即被认为是发出某个指令。该指令可被输出用于控制其他设备或系统。语音命令经过训练后可提供识别率。

[0028] 2.影像识别技术：其基本原理是通过摄像头捕捉人体的某个部位(例如：手)的形状和运动的信息，并将该信息传送给主机，主机将该信息以数据的形式存储起来，通过软件系统对存储的数据进行分析，并将分析后的结果输出给被控制的设备，以达到一种互动的效果。该技术应用领域比较广泛，可用于广告媒体、教育、娱乐等等，从而达到人体与多媒体内容的深度交互。

[0029] 3.动作捕捉及位置跟踪技术：通过无线定位或红外跟踪技术可以实现对人体运动的轨迹捕捉。人体在特定的位置设定一个跟踪终端设备，主机可以实时跟踪该终端的位置信息，该信息经过采样后，可与已预先设定的轨迹定义信息相比对，符合率超过一定的数值即被认为是发出某个指令。该指令以及位置信息可输出用于交互控制。轨迹定义可以通过训练以提供识别率。

[0030] 4.Media poster高速多媒体浏览技术：这是为在触摸屏上实现图形化控制界面而开发的一种高速图文交互技术，该技术可以实现对海量数字内容的高速浏览。通过此技术可以轻松浏览卫星照片级别的高分辨率图片，并兼容多种多媒体格式文件，如声音、视频、文本文件、flash、html等，将大数据量的多媒体内容整合到一个用户界面上，随意拖动、放大、缩小、切换，给人全新的使用感受。

[0031] 该技术结合应用了多点触摸技术，可以实现对多个手指的同步跟踪和轨迹分析，从而实现用手指实现较为复杂和生动的控制方式，如用两个手的手指可以随意缩放图像，用单手若干手指的转动可实现图像的立体翻转等效果。

[0032] 该技术已实现对虚拟实时三维渲染引擎的控制，并可采集虚拟实时三维渲染引擎输出的图像，显示在触摸屏中，以提供操作者一个可监控的控制画面。通过该画面，操作者还可以控制虚拟场景中的物体，如移动、缩放等。发明内容：

[0033] 一种虚拟三维场景中实现遥控互动的方法，其特征在于，包括步骤：

[0034] 1)三维场景制作步骤，利用三维制作软件制作三维场景文件并导出场 景中每个物体(Object)的属性参数(如轨迹，位置，尺寸，角度等)，并利用播出控制模块提取场景文件信息及物体属性参数，生成场景播放列表；

[0035] 2)关联步骤，利用播出控制模块将交互控制设备的控制信号与指定场景关联，以控制场景调用和播放；将交互控制设备的控制信号与指定物体的属性参数关联，以控制虚拟物体运动；

[0036] 3)操作步骤，操作者通过各种交互控制设备可随机或按序列控制各个场景的调用，并可通过交互控制设备对三维场景中的物体属性参数进行实时赋值，以实现对虚拟场景中的虚拟物体的实时调用控制，如选中并移动某一物体；

[0037] 4)渲染播出步骤，利用实时三维渲染引擎技术实现对操作者控制下的三维场景(其中包含被控制的物体对象)的实时渲染播出。

[0038] 所述的虚拟三维场景中实现遥控互动的方法进一步包括，所述的交互控制设备可以是以下设备中的一种或多种组合：

[0039] 1)无线电子遥控设备，如无线遥控器、遥控开关、红外触发开关；

[0040] 2)触摸屏设备；

[0041] 3)语音识别设备；

[0042] 4)位置跟踪设备，如电磁式和红外式位置跟踪设备；

[0043] 5)影像识别和跟踪设备，如手势识别和跟踪系统；

[0044] 所述的虚拟三维场景中实现遥控互动的方法进一步包括，其中所述的关联步骤还包括以下的一种或几种组合：

[0045] 1)将无线电子遥控设备和某个场景的调用相关联；

[0046] 2)将触摸屏中的预设操作区域和某个场景的调用相关联；

[0047] 3)将触摸屏中触摸笔或手指的位置移动和某个虚拟物体的位置属性参数相关联；

[0048] 4)将触摸屏中通过多点触摸技术识别不同的多个手指操作命令，并和场景的切换或虚拟物体的属性参数相关联；

[0049] 5)将语音识别设备的识别命令和场景的切换相关联；

[0050] 6)将位置跟踪设备的位置信息和某个虚拟物体的位置属性参数相关联；

[0051] 7)通过动作识别技术识别位置跟踪设备的不同运动轨迹所代表的不同命令，并和场景的切换相关联；

[0052] 8)通过影像识别和跟踪设备，识别人体不同动作(如手势)所代表的不同命令，并跟踪某指定部位(如手指尖)的位置信息，和场景的切换或虚拟物体的属性参数相关联。

[0053] 所述的虚拟三维场景中实现遥控互动的方法进一步包括，其中所述的渲染播出步骤可通过接口指令调用独立的第三方实时三维图像渲染引擎，例如以色列Orad公司提供的实时渲染工作站DVG。

[0054] 一种虚拟三维场景中实现遥控互动的系统，其特征在于，系统包括：

[0055] 1)三维场景制作模块：该模块可以导入通用三维制作软件例如3D MAX等制作完成的三维场景文件和/或自行创建三维场景模版，并导出物体的属性参数；

[0056] 2)播出控制模块：用于提供场景动画播放列表、场景动画预览、虚拟互动控制设置、场景动画播放的后台控制、渲染引擎控制的功能；

[0057] 3)交互控制信号处理模块：该模块主要完成对多种交互控制设备的控制信号的分析处理，并形成归一的控制信号以对虚拟场景以及虚拟物体进行控制；

[0058] 4)应用系统模块：根据应用逻辑和流程设计并存储相应的应用方式，配合通用播出控制模块使用，应用例如是游戏类节目，问答类节目；

[0059] 5)渲染输出模块：该模块主要包含三维实时渲染引擎，播出控制模块根据接口协议驱动渲染输出模块，即驱动三维渲染引擎对场景进行实时渲染，并输出视频。

[0060] 所述的虚拟三维场景中实现遥控互动的系统进一步包括，所述的应用系统模块例如竞猜模块：该模块主要负责选手的基础设定、每轮竞猜结果与场景动画的关联设置，并在每轮竞猜结束后将结果传递给渲染输出控制模块，该模块提供与外部程序的接口，支持竞猜结果的自动产生或结果的手工录入。

[0061] 所述的虚拟三维场景中实现遥控互动的系统进一步包括，所述的交互控制设备可以是以下设备中的一种或多种组合：

[0062] 1)无线电子遥控设备，如无线遥控器、遥控开关、红外触发开关；

[0063] 2)触摸屏设备；

[0064] 3)语音识别设备；

[0065] 4)位置跟踪设备，如电磁式和红外式位置跟踪设备；

[0066] 5)影像识别和跟踪设备，如手势识别和跟踪系统；

[0067] 所述的虚拟三维场景中实现遥控互动的系统进一步包括，所述的触摸屏设备可以提供一个可视化的图像操作界面，该界面由多媒体演示软件(如高速多媒体演示软件Media Poster)进行编辑产生，可以在屏幕上任意设定操作对象或区域，切换屏幕内的不同界面，并通过接口同步控制实时渲染引擎，该引擎渲染的画面也可通过触摸屏工作站被同步采集到触摸屏画面中。

[0068] 所述的虚拟三维场景中实现遥控互动的系统进一步包括，所述的渲染输出控制模块的互动控制效果包括包括下述效果中的一种或多种：

[0069] 1、下一个动画：控制场景中下一个动画的播放；

[0070] 2、上一个动画：控制回到场景的上一个动画，同时当前动画回到第一帧；

[0071] 3、动画播放暂停：控制播放中的场景动画的暂停，例如循环动画，可通过循环动画的停止达到随机选择的效果；

[0072] 4、动画播放：控制暂停后的场景动画继续播放；

[0073] 5、动画停止：场景动画播放的停止，回到动画最前面；

[0074] 6、视频播放：控制插入的视频文件的播放，可支持的视频文件格式有.avi、.mov、.mpeg、.rmvb、.wmv；

[0075] 7、视频播放暂停：控制插入的视频文件的播放暂停；

[0076] 8、任意动画：控制场景中任意动画的播放；

[0077] 9、回到场景动画顶端：一键回到当前场景的最顶端动画，主要针对于节目录制中NG情况；

[0078] 10、动画的跳过：播放时可跳过某个动画，直接播放下一个动画；

[0079] 11、场景内部物体的选择、移动，旋转，放大，缩小。

[0080] 社会效益和经济效益

[0081] 1.虚拟互动系统可改善目前虚拟节目形式单一，节目操作者与场景及播出内容无法实现交互的问题，可大大提高虚拟节目表现形式的丰富性。

[0082] 2.虚拟互动系统将控制权移交给操作者或节目参与者，在电视演播领域是一个革命性的突破，人与虚拟场景的互动依赖不再仅仅于后台技术人员的配合控制，这将大大节约节目录制的人力成本，提供录制效率。

[0083] 3.虚拟互动系统中各种控制手段的引入带来了虚拟节目设计理念的创新，可实现以往在虚拟演播室内无法实现的节目类型，有利于虚拟演播室在价值的提升。

[0084] 4.虚拟互动系统除应用于电视台演播领域外，还可利用于其他的高端展示场合，如各类展览会、三维仿真实验室、军事指挥中心等，各种控制手段的引入将对三维虚拟技术的应用和推广起很大的推动作用。

附图说明

[0085] 附图1所示的是整个系统的模块配置图；

[0086] 附图2所示的是整个系统的配置图，着重于虚拟互动的技术实现的描述；

[0087] 附图3所示的是整个系统工作的流程图；

[0088] 附图4所示的是触摸屏和Media Poster结合的子系统的画面，人员可以通过触摸屏切换虚拟背景并同时操作(放大/缩小/拖动/切换)Media Poster系统中的多媒体内容，并通过视频采集输入到虚拟的大屏幕中；

[0089] 附图5所示的是语音识别子系统的实现原理图；

[0090] 附图6所示的是影像识别子系统的实现原理图；

[0091] 附图7所示的以双工作站同步方式解决蓝屏扣像问题的示意图。

具体实施方式

[0092] 1.系统架构

[0093] 1.1虚拟互动系统技术架构

[0094] 1.1.1虚拟互动系统模块组成

[0095] 虚拟互动系统主要为五大模块，一是三维场景制作模块，播出控制模块，交互控制信号处理模块，应用系统模块，渲染输出模块。如图1所示。

[0096] 各模块的功能如下：

[0097] 1)三维场景制作模块：该模块可以导入通用三维制作软件例如3D MAX等制作完成的三维场景文件，也可自行创建三维场景模版，并需要导出物体的属性参数；

[0098] 2)播出控制模块：用于提供场景动画播放列表、场景动画预览、虚拟互动控制设置、场景动画播放的后台控制、渲染引擎控制的功能；

[0099] 3)交互控制信号处理模块：该模块主要完成对多种交互控制设备的控制信号的分析处理，并形成归一的控制信号以对虚拟场景以及虚拟物体进行控制；

[0100] 4)应用系统模块：如游戏类节目，问答类节目等涉及定向应用逻辑和流程的应用系统模块，配合通用播出控制模块使用。例如：多人竞猜类游戏主要通过虚拟互动控制系统中的游戏控制模块(设置分数、对、错等的关联动画)，根据每轮结果播放预先设置好的关联动画来实现。游戏控制模块不涉及游戏的规则，仅仅在获得结果后播放相应的动画。在有独立的游戏自动判断系统的支持下，则可通过程序接口与虚拟互动控制系统相连接，可实现全流程的自动化播出；如无自动判断系统则后台手动输入结果控制对应动画的播出；

[0101] 5)渲染输出模块：该模块主要包含三维实时渲染引擎，播出控制模块根据接口协议驱动渲染输出模块，即驱动三维渲染引擎对场景进行实时渲染，并输出视频。

[0102] 系统的工作流程是：

[0103] 三维场景制作模块将虚拟物体和场景创建完毕后，将场景及物体的参数导入到播出控制模块，播出控制模块将场景和物体与交互控制信号处理模块中的不同交互方式直接创建关联(见图2步骤A)，并接受交互控制信号处理模块发出的信息，即时调用相关场景间及物体，并驱动渲染输出模块的三维渲染引擎实时进行渲染并输出图像；或者交互控制信号处理模块先与应用系统模块创建关联(见图2步骤B)，应用系统模块再与播出控制模块建立关联，应用系统模块接收到交互控制信号处理模块发出的信息后作出逻辑判断，按结果对播出控制模块发送对应信息，播出控制模块即时调用相关场景间及物体，并驱动渲染输出模块的三维渲染引擎实时进行渲染并输出图像；应用系统模块可以根据不同的节目需求和流程设计(如游戏节目等)，最终可以制播流程的全自动化。

[0104] 其中，交互控制信号处理模块是实现虚拟交互的重点，它包含了无线遥控、语音识别、影像识别、位置跟踪(动作识别)和触摸屏(提供了一个可视化的多媒体播控界面及多点触摸控制手段)等子系统。

[0105] 交互控制信号处理模块的系统实现如图3所示。

[0106] 交互模块(无线遥控器、语音识别、影像识别、位置跟踪/动作捕捉、红外触摸屏等)在操作者的控制、触发通过内部局域网络向播出控制模块发送信息，播出控制模块接收到指令后按预先设定的协议向渲染模块(渲染引擎)发出指令，渲染引擎按指令将播放特定的场景、动画并同时输出两路SDI视频信号。一路SDI视频信号直接接入导控台系统，另一路SDI视频信号通过视频采集卡输入到触摸屏控制工作站，操作者可在触摸屏上通过软件在输入的场景上做各种互动操作(如：放大场景画面、在视频上画线批注，参见图4)在将整合的信号输入到导控台中。

[0107] 1.1.2交互控制信号处理模块各子系统介绍：

[0108] 无线控制子系统，开关电子控制器、手持电子控制终端通过手指的物理挤压产生控制信号，红外对管通过阻隔红外线产生控制信号，无线控制器通过无线网络接收下控制信号并传输给播出控制工作站。在播出工作站中我们预先定义了不同控制信号所对应的控制功能。在播出时控制工作站收到无线终端的控制信号后按预先设定控制功能向渲染引擎发送指令播放场景动画。

[0109] 如我们预先设置一个过门的场景动画，并在虚拟演播室中对应的位置安置一对红外对管。当操作者在演播室中穿过红外对管时，触发控制信号，无线控制器接收到信号后将他发送给播出控制平台，平台会发送给渲染引擎播放开门动画的指令，因此在合成的场景中，门会打开，操作者会从门中通过。完成从门中走出的效果。

[0110] 该控制子系统的优点在于无线功能，通过无线接收器的接收而代替有线的方式，从而可根据节目内容形式的不同，轻松的改变无线控制终端的位置，并且无须考虑如何将传输线进行隐藏，大大增加操作者的运动区域。

[0111] 语音识别子系统，通过麦克风采集操作者的声音将其数字编码传递给播出控制工作站，通过与语音库的对照，识别出操作者话语中所包含的数字信息，如在控制播出机内我们预先定义了“下一个”的语音信息对应的是播放下一个动画的控制指令，操作者说“现在让我们来看下一个动画”，其中“下一个”的语音信息被收集到后控制机识别出其对应的指令，并向渲染引擎发出播放下一个动画的指令，渲染引擎播出下一个场景的动画。参见图5.[0112] 该系统的重点在于语音识别的容错率，

[0113] 影像识别子系统，通过摄像头捕捉识别出人体局部部位的图象信息(如手指)及其运动轨迹，并将信息传送给播出控制主机，主机将该信息以数据的形式存储起来，通过软件系统对存储的数据进行分析和重新组合，并将分析后的数据与控制指令进行关联，播出控制机在收到操作者的局部影像信号后实时的对渲染引擎发送对应的控制指令，播放场景动画。

[0114] 其主要特点是无须在操作者身上佩带任何设备，完全通过图象的捕捉与识别技术，识别出身体的局部位置，并跟踪其运动轨迹，将存储下的运动轨迹数字话并匹配到对应的控制指令，当在节目播出时捕捉到同样的运动轨迹后播出控制平台自动发送控制指令渲染输出模块，播放指定的场景动画。该子系统还拥有多点功能，摄像头可同时捕捉两个手指的动作信息并把其同步传给主机，控制主机识别出两个手指的移动位置将其转化为控制指令传输给渲染引擎，控制虚拟场景中物体object的旋转、拉伸与缩小。

[0115] 参见图6。

[0116] 位置跟踪(动作识别)子系统，通过在操作者身上安装无线或红外位置跟踪设备例如手部，该跟踪设备在节目录制时会将操作者的手部动作轨迹记录下来，并通过无线接收设备将该信息传送给主机，主机接收下信息后可对一些特定的局部动作如手部动作(手上下挥动一下)进行识别，确认动作匹配后将会按预先定义的对应功能向虚拟引擎发送指令，虚拟引擎播放相关的场景动画。同时动作捕捉技术可以识别也可以实时的与渲染引擎的物体控制对应，如在手上拿着跟踪装置，操作者移动手上的跟踪装置时主机会将识别出的移动轨迹实时发送给渲染引擎，渲染引擎实时的将预先设定的object(例如：虚拟的雨伞)在合成的画面中置于跟踪装置之上跟随其的移动而移动。

[0117] 触摸屏子系统，将红外触摸屏设置为蓝色，在屏内画置浅蓝色按钮，在触摸屏控制工作站中通过MP软件定义其触发功能(上一条/下一条/任意一条动画/视频播放/停止等)。由于色键器会把红外触摸屏整个扣掉，如将浅蓝色按钮与虚拟场景中的按钮或其它虚拟物体对齐后，录影棚中点击浅蓝色按钮控制虚拟场景物体动画对应的节目效果将是操作者直接点击虚拟场景中的按钮或者虚拟物体控制虚拟场景中的动画。该方式可配合动作达到点击触发动画以外的节目效果，比如拉动视频窗的效果。

[0118] MP(Mediaposter)图文控制软件，在两台完全同步的控制主机上分别安装Mediaposter图文控制互动媒体软件。两台机器的内容完全一致，并都与同一触摸屏通信(通过usb或rs232)，其中一台主机的DVI视频输出输入到触摸屏并通过MP在画面上叠加蓝色遮照，另一台同步的主机将DVI视频信号传输给渲染引擎，作为一路视频输入展现在虚拟场景中，在播出时演播室内的摄像机拍摄的触摸屏内容为蓝色，合成在虚拟场景中会被扣去，但操作者可看见触摸屏里蓝色的内容从而进行交互，同时另一台与渲染引擎相连的同步主机将未加遮照的视频信息传输给渲染引擎，在虚拟场景中触摸屏被扣去的部分导入未加蓝色遮照的视频，从而解决了触摸屏中的内容与虚拟场景结合时蓝色内容会被扣去的问题。系统结构图参见图7。

[0119] MP软件同时提供触摸屏内部的二维多媒体内容，主持在触摸屏中操纵二维内容如放大图片、视频，拖动图片，点击屏幕内下一页的按钮，在触发屏幕内二维内容放到下一张图片的动作时，发送控制信息给控制播出工作站，工作站按预先定义的指令使渲染引擎播放场景变换的动画从而达到3D与3D内容的结合。参见图4。

[0120] 1.1.3场景动画控制效果

[0121] 虚拟互动系统提供的场景动画控制效果包括下述效果中的一种或多种：

[0122] 1、下一个动画：控制场景中下一个动画的播放；

[0123] 2、上一个动画：控制回到场景的上一个动画，同时当前动画回到第一帧；

[0124] 3、动画播放暂停：控制播放中的场景动画的暂停，例如循环动画，可通过循环动画的停止达到随机选择的效果；

[0125] 4、动画播放：控制暂停后的场景动画继续播放；

[0126] 5、动画停止：场景动画播放的停止，回到动画最前面；

[0127] 6、视频播放：控制插入的视频文件的播放，可支持的视频文件格式有.avi、.mov、.mpeg、.rmvb、.wmv；

[0128] 7、视频播放暂停：控制插入的视频文件的播放暂停；

[0129] 8、任意动画：控制场景中任意动画的播放；

[0130] 9、回到场景动画顶端：一键回到当前场景的最顶端动画，主要针对于节目录制中NG情况；

[0131] 10、动画的跳过：播放时可跳过某个动画，直接播放下一个动画；

[0132] 11、场景内部物体的选择、移动，旋转，放大，缩小。

[0133] 这些控制功能可完全与交互模块的控制信号相关联，从而实现外部控制。在实际播出中控制平台同时作为交互模块的备份方案，尤其是直播节目当交互模块中的设备出现问题或操作者操作不当时，后台导控人员可以通过控制机上的控制平台界面同步完成操作者的对应动作，而确保节目的正常播出。