情景互动式多媒体智能终端及其应用

摘要

本发明涉及情景互动式多媒体智能终端，其特征在于：由底座，以及翻盖组成，翻盖中间设有显示屏，底座上端为一书写展示平台，主机还连接有能立体交错拍摄上述书写展示平台及带有使用者现场环境的两个摄像头，第一摄像头转动连接在翻盖上，第一摄像头能翻转向下正对实时拍摄书写展示平台上文字信息内容，及在书写展示平台区域的手写或手部活动信息内容；第二摄像头为广角摄像头，第二摄像头能实时拍摄获取书写展示平台区域使用者手写或手部活动信息内容，以及带有使用者上半身的现场环境视屏或图像。本发明目的是提供一种情景互动式多媒体智能终端及其应用，对多媒体智能终端所在区域空间的立体拍摄，真正实现参与者现场互相还原，使用方便。

权利要求

1.情景互动式多媒体智能终端，其特征在于：其由带有主机的底座，以及与底座通过转轴相连的翻盖组成，主机连接有话筒和扬声器，翻盖中间设有显示屏，显示屏与主机连接，所述底座上端为一书写展示平台，底座一侧设置有设备接口和网络接口；所述主机还连接有能立体交错拍摄上述书写展示平台及带有使用者现场环境的两个摄像头，两个摄像头分别为：第一摄像头，第一摄像头活动连接在所述翻盖上，第一摄像头能翻转向下正对实时拍摄书写展示平台上文字信息内容，及在书写展示平台区域的手写或手部活动信息内容；

第二摄像头，第二摄像头为广角摄像头，第二摄像头能实时拍摄获取书写展示平台区域使用者手写或手部活动信息内容，以及位于书写展示平台前侧区域带有使用者上半身的现场环境视频或图像；

所述第二摄像头设置在翻盖上，第二摄像头垂直于翻盖设置或向下设定角度倾斜于翻盖设置，在翻盖打开竖直状态下，第二摄像头面向使用者一侧；在翻盖打开竖直状态下，第二摄像头能实时拍摄获取书写展示平台区域使用者手写或手部活动信息内容，以及带有使用者上半身的现场环境视频或图像；

所述第一摄像头通过第一连接件转动连接在所述翻盖上端，第一连接件为一翻转板，翻盖上端设有凹槽，翻转板转动连接在凹槽内，第一摄像头设置在翻转板上；

所述第一摄像头和第二摄像头均为高清拍摄的高清摄像头；

所述主机的处理器还连接有环境感知模块，环境感知模块包括声音传感器、环境温度传感模块、环境湿度传感模块、光线传感器模块和气体检测模块，主机通过环境感知模块获得声音传感器、环境温度传感模块、环境湿度传感模块、光线传感器模块和气体检测模块感应的数据分析与判断后通过显示屏、扬声器作出本地提示或者通过服务器远程发往其它移动智能终端；

所述主机的处理器连接有WIFI模块、3G/4G传输模块和蓝牙通讯模块中的一个或多个通讯模块；底座上还设置总线接口，主机的处理 器通过总线接口连接有触摸屏。

2.一种权利要求1所述情景互动式多媒体智能终端的应用，其特征在于：其可以应用于远程情景互动式多媒体辅导教学系统、远程情景互动式多媒体交流系统、远程情景互动式多媒体互助学习系统、远程情景互动式多媒体即时通信系统或远程情景互动式多媒体培训系统。

说明书

情景互动式多媒体智能终端及其应用

[技术领域]

[0001] 本发明涉及情景互动式教学设备，具体涉及的是一种情景互动式多媒体智能终端及其应用，其可以应用于远程情景互动式多媒体辅导教学系统、远程情景互动式多媒体交流系统、远程情景互动式多媒体互助学习系统、远程情景互动式多媒体培训系统、远程情景互动式通信系统等。[背景技术]

[0002] 目前老师给学生上课和师生之间的交流，一般是通过课堂上讲授等面对面方式开展的。近十年发展起来的电化教育和课材教学等，只是借助于一些电器设备将教材讲义等教学资料和语音教学等内容录制下来，帮助学生阅读、培养听讲能力和进行复习。随着网络的发展，利用互联网进行远程教学已经逐步得到普及，人们可以通过网络获取知识，不用到学校上课；同时，教学时间也比较自由，学生可以根据自己的时间安排听课时间，不用按照规定的时间上课。此外，教师也可以将教学内容录制一次后便一劳永逸，只需将教学视频放到服务器中由学生访问。

[0003] 然而，现有的互联网教学系统，没有互动功能，无法让师生进行互动，学生只能在终端听课，即使有疑问也无法提问。再者，现有的系统通常只有一个摄像头拍摄且一个界面显示，一个摄像头虽然能采集现场情景，但是摄像头采集的现场情景一般为带有使用者及周围环境的现场情景，其采集的信息过于抽象，例如摄像头只拍摄到学生或老师整体动作，或投影仪投影显示内容，但对学生或老师的局部动作、表情无法显示最佳画质。由于各个摄像头焦距不同，对拍摄对象大小不同，拍摄对象所处在整个教学环境位置不同时光线不同，采用单一摄像头采集现场情景的做法难以满足互动教学时的局部高清显示效果的要求，而且采用单一摄像头也难以将多个局部效果同时拍摄显 示，即使可以调整摄像头角度，也只能单一显示正在拍摄的画面，不方便在一个环境中采集不同位置高清图像。因此，有必要改进现有情景互动式多媒体智能终端，使其具有多个局部拍摄界面，同时针对同一环境下不同位置分别拍摄显示，真正实现学生、老师现场互相还原的技术效果。

[0004] 互联网教学中对除了现场互相还原的图像采集急需改进外，现有互动教学设备终端还存在一个急需解决的现实问题：计算机、互联网的普及给我们带来了很大的便利，加快了信息的传播和交流，同时也带来了一些坏的影响：例如电脑打字，造成人对字体字形的模糊，长时间电脑打字使得手书写汉字困难，很多时候认识的字却写不出来。为此，在提供情景互动式多媒体智能终端时，本申请人也将锻炼动手能力的教学糅合到多媒体智能终端，使得学生、老师之间或亲朋之间现场互动过程中实时查看手书写、绘画等动手能力，避免过于依靠机器操作带来的缺点。[发明内容]

[0005] 本发明目的是提供一种情景互动式多媒体智能终端及其应用，对多媒体智能终端所在区域空间的立体拍摄，真正实现参与方现场情景互相还原，使用方便。

[0006] 为了解决上述存在的问题，本发明采用了下列技术方案：

[0007] 情景互动式多媒体智能终端，其特征在于：其由带有主机的底座，以及与底座通过转轴相连的翻盖组成，主机连接有话筒和扬声器，翻盖中间设有显示屏，显示屏与主机连接，所述底座上端为一书写展示平台，底座一侧设置有设备接口和网络接口；所述主机还连接有能立体交错拍摄上述书写展示平台及带有使用者现场环境的两个摄像头，两个摄像头分别为：

[0008] 第一摄像头，第一摄像头转动连接在所述翻盖上，第一摄像头能翻转向下正对实时拍摄书写展示平台上文字信息内容，及在书写展示平台区域的手写或手部活动信息内容；

[0009] 第二摄像头，第二摄像头为广角摄像头，第二摄像头能实时拍摄 获取书写展示平台区域使用者手写或手部活动信息内容，以及位于书写展示平台前侧区域带有使用者上半身的现场环境视屏或图像。

[0010] 如上所述情景互动式多媒体智能终端，其特征在于：所述第二摄像头设置在翻盖上，第二摄像头垂直于翻盖设置或向下设定角度倾斜于翻盖设置，在翻盖打开竖直状态下，第二摄像头面向使用者一侧；在翻盖打开竖直状态下，第二摄像头能实时拍摄获取书写展示平台区域使用者手写或手部活动信息内容，以及带有使用者上半身的现场环境视屏或图像。

[0011] 如上所述情景互动式多媒体智能终端，其特征在于：所述第二摄像头与翻盖分体设置，第二摄像头通过带插头导线与底座上主机连接。

[0012] 如上所述情景互动式多媒体智能终端，其特征在于：所述第一摄像头通过第一连接件转动连接在所述翻盖上端，第一连接件为一翻转板，翻盖上端设有凹槽，翻转板转动连接在凹槽内，第一摄像头设置在翻转板上。

[0013] 如上所述情景互动式多媒体智能终端，其特征在于：所述第一摄像头通过第二连接件转动连接在所述翻盖上端边缘，第二连接件为转动连接的两连杆，分别为第一连杆和第二连杆，第一连杆与翻盖或背部固定，第二连杆能绕铰轴翻转压靠在翻盖上端边缘，所述第一摄像头转动连接在第二连杆上。。

[0014] 如上所述情景互动式多媒体智能终端，其特征在于：所述第一摄像头通过第三连接件转动连接在所述翻盖上，第三连接件为自由弯曲支架，所述第一摄像头固定在自由弯曲支架一端，自由弯曲支架另一端设有活动夹，活动夹可夹持在翻盖上。

[0015] 如上所述情景互动式多媒体智能终端，其特征在于：所述第一摄像头和第二摄像头均为高清拍摄的高清摄像头。

[0016] 如上所述情景互动式多媒体智能终端，其特征在于：所述主机的处理器还连接有环境感知模块，环境感知模块包括声音传感器、环境温度传感模块、环境湿度传感模块、光线传感器模块和气体检测模块， 主机通过环境感知模块获得声音传感器、环境温度传感模块、环境湿度传感模块、光线传感器模块和气体检测模块感应的数据分析与判断后通过显示屏、扬声器作出以本地提示或者通过服务器远程发往其它移动智能终端。

[0017] 如上所述情景互动式多媒体智能终端，其特征在于：所述主机的处理器连接有WIFI模块、3G/4G传输模块和蓝牙通讯模块中的一个或多个通讯模块。

[0018] 如上所述情景互动式多媒体智能终端，其特征在于：所述底座上还设置总线接口，主机的处理器通过总线接口连接有触摸屏。

[0019] 如上所述情景互动式多媒体智能终端，其特征在于：所述设备接口为USB接口、耳机、话筒接口和红外接口中的一个或多个。网络接口为以太网接口。底座内设置有与主机的处理器连接的电池模块，底座上还设置有音量调节按键。

[0020] 一种所述情景互动式多媒体智能终端的应用，其特征在于：其可以应用于远程情景互动式多媒体辅导教学系统、远程情景互动式多媒体交流系统、远程情景互动式多媒体互助学习系统、远程情景互动式多媒体即时通信系统或远程情景互动式多媒体培训系统。

[0021] 本发明的有益效果是：本发明用于教师的日常远程互动式教学或远程互动式辅导教学中，可以非常便捷地建立全新的教学辅导关系，达到充分、合理、高效地利用教育教学资源在授课老师一侧，本发明可以采集两路视频或图像信息，通过互联网送到学生的终端显示器上显示，在学生终端一侧，本发明可以采集两路视频或图像信息，通过互联网送到老师的授课终端显示器上显示，这样就可以形成良好的互动效果，教师可以通采集到的相关信息，随时掌握到相关学生的学习状态和效果，比如能够随时查看学生在书写展示台上写出的字是否有错误或字形是否规范；随时查看学生书写时握笔姿势是否正确，学生是否举手提问或举手要求发言，学生在学习新课程时表情是否兴奋或不敢兴趣、学生精神状态以及学习环境等等；通过学生终端的第一摄像头、第二摄像头对学生终端所在区域空间的立体交错拍摄，教师除 了可以获得传统学习终端能活动的音频外，教师还可清楚地知道学生学习时局部细化动作内容，例如学生的动作、表情，方便教师随时调整自己的教学节奏，真正实现学生、老师现场互相还原，使用方便。[附图说明]

[0022] 图1为本发明电路结构框图。

[0023] 图2为本发明立体结构示意图。[具体实施方式]

[0024] 如图1和图2所示，情景互动式多媒体智能终端，其由带有主机1的底座2，以及与底座2通过转轴相连的翻盖3组成，翻盖3对应设有与底座2卡接的卡扣31，主机连接有话筒和扬声器20，翻盖3中间设有显示屏8，显示屏8与主机的处理器连接，所述底座上端为一书写展示平台22，书写展示平台22上可直接书写或放置通用白纸、试卷、教材、画纸等学习用品及学习材料。底座一侧设置有设备接口和以太网接口，设备接口为USB接口、耳机、话筒接口和红外接口中的一个或多个。底座内设置有与主机的处理器连接的电池模块，底座上还设置有音量调节按键和开关按键21。

[0025] 主机还连接有能立体交错拍摄上述书写展示平台及带有使用者现场环境的两个摄像头，两个摄像头分别为：第一摄像头和第二摄像头，第一摄像头和第二摄像头均为高清拍摄的高清摄像头。

[0026] 第一摄像头4，第一摄像头4活动连接在翻盖3上，第一摄像头4能翻转向下正对实时拍摄书写展示平台22上文字信息内容，及在书写展示平台区域的手写或手部活动信息内容；

[0027] 第二摄像头5，第二摄像头5为广角摄像头，第二摄像头能实时拍摄获取书写展示平台区域使用者手写或手部活动信息内容，以及位于书写展示平台前侧区域带有使用者上半身的现场环境视屏或图像。

[0028] 第一摄像头与翻盖有多种连接结构。

[0029] 第一种：第一摄像头通过第一连接件转动连接在翻盖上端，第一连接件为一翻转板，翻盖上端设有凹槽，翻转板转动连接在凹槽内，第一摄像头设置在翻转板上。

[0030] 第二种(见图1)：第一摄像头通过第二连接件9转动连接在翻盖上端边缘，第二连接件为转动连接的两连杆，分别为第一连杆和第二连杆，第一连杆与翻盖或背部固定，第二连杆能绕铰轴翻转压靠在翻盖上端边缘，第一摄像头转动连接在第二连杆上。

[0031] 第三种：第一摄像头通过第三连接件转动连接在翻盖上，第三连接件为自由弯曲支架，第一摄像头固定在自由弯曲支架一端，自由弯曲支架另一端设有活动夹，活动夹可夹持在翻盖上。

[0032] 第二摄像头5也有多种设置结构。

[0033] 第一种(见图1)：第二摄像头设置在翻盖上，第二摄像头垂直于翻盖设置或向下设定角度倾斜于翻盖设置，在翻盖打开竖直状态下，第二摄像头面向使用者一侧；在翻盖打开竖直状态下，第二摄像头能实时拍摄获取书写展示平台区域使用者手写或手部活动信息内容，以及带有使用者上半身的现场环境视屏或图像。

[0034] 第二种：第二摄像头与底座、翻盖分体设置，第二摄像头通过带插头导线与主机连接。

[0035] 本发明保护主要是针对现场环境音频采集的技术，其中对视频采集技术改进为主，尤其对摄像头拍摄角度和摄像头拍摄内容的选择是本发明改进的重点，以实现立体拍摄，书写内容、手部书写动作、学生动作表情同时采集的技术目的。采集到信息后的加工、传送的具体结构不是对本发明创造的限定。

[0036] 主机的处理器还连接有环境感知模块6，环境感知模块包括声音传感器、环境温度传感模块、环境湿度传感模块、光线传感器模块和气体检测模块，主机通过环境感知模块获得声音传感器、环境温度传感模块、环境湿度传感模块、光线传感器模块和气体检测模块感应的数据分析与判断后通过显示屏、扬声器作出以本地提示或者通过服务器远程发往其它移动智能终端。

[0037] 主机的处理器连接有WIFI模块、3G/4G传输模块和蓝牙通讯模块中的一个或多个通讯模块。底座上还设置总线接口，主机的处理器通过总线接口连接有触摸屏。本发明中，处理器为数字多媒体应用 处理器，选用TI公司的DM8168芯片，其作用在于处理音视频信息。电源模块用于为设备提供工作电源。通讯模块作用在于接收发送音视频信息。以太网接口实现远程语音互动；扬声器用于广播声音；开关按键用于控制电源通断；显示屏用于显示视频和文字。

[0038] 进一步改进：显示屏为2D显示装置或3D显示装置或2D转3D可切换3D显示装置。人类是通过右眼和左眼所看到的物体的细微差异来感知物体的深度，从而识别出立体图像的，这种差异被称为视差。3D显示技术就是通过人为的手段来制造人的左右眼的视差，给左、右眼分别送去有视差的两幅图像，使大脑在获取了左右眼看到的不同图像之后，产生观察真实三维物体的感觉。例如一种2D-3D可切换3D显示装置，包括显示面板和透镜组件；所述透镜组件，包括两个组合透镜和一个半波板，每个组合透镜由一个单折射透镜和一个可加电形成电场的双折射透镜构成，不加电时，自然光从一个组合透镜射入，产生无折射的寻常光和折射的非寻常光，然后通过半波板旋转90度后射入另外一个组合透镜，该另外一个组合透镜将旋转后产生的寻常光无折射透射，非寻常光折射；加电时，自然光无折射的从一个组合透镜透射，穿过半波板后从另外一个组合透镜无折射的透射出去。还可以采用薄膜晶体管电路对部分区域进行独立的控制。也可以直接通过3D显示装置显示，例如狭缝光栅式3D显示装置和微透镜阵列3D显示装置。

[0039] 一种所述情景互动式多媒体智能终端的应用，其可以应用于远程情景互动式多媒体辅导教学系统、远程情景互动式多媒体交流系统、远程情景互动式多媒体互助学习系统、远程情景互动式多媒体即时通信系统或远程情景互动式多媒体培训系统。

[0040] 本发明运用到互联网时，数字多媒体应用处理器分别连接第一摄像头、第二摄像头、通讯模块、显示屏、耳机、扬声器和话筒，数字多媒体应用处理器将从话筒、第一摄像头、第二摄像头获取的音视频数据通过通讯模块发送至服务器。