一种3D人机交互桌面系统

摘要

本发明提供一种3D人机交互桌面系统，属于用户桌面设计开发领域。本发明自底层往上依次为3D交互设备层、3D交互语义层、3D交互任务层、3D交互技术层和应用语义层，所述应用语义层包括具体应用语义，是各种交互任务的组合；所述3D交互技术层对交互的技术内容进行架构、评估和实现，对交互任务进行指导操作；所述3D交互任务层是对交互任务的定义与派发层；所述3D交互语义层用来控制交互设备进行执行；所述3D交互设备层处于最底层，与外接设备产生交互。本发明可模拟真实世界中的事物，使用户更容易理解认知，表现方式灵活，信息容量大；桌面3D交互语法构造相对容易，语义表达相对清晰，交互系统便于定义。

权利要求

1.一种3D人机交互桌面系统，其特征在于：自底层往上依次为3D交互设备层、3D交互语义层、3D交互任务层、3D交互技术层和应用语义层，所述应用语义层包括具体应用语义，是各种交互任务的组合；所述3D交互技术层对交互的技术内容进行架构、评估和实现，对交互任务进行指导操作；所述3D交互任务层是对交互任务的定义与派发层；所述3D交互语义层用来控制交互设备进行执行；所述3D交互设备层处于最底层，与外接设备产生交互，所述3D交互设备层包括多功能开关、触摸板和空调面板，所述空调面板用来控制空调的操作并将操作动作和结果在所述3D人机交互桌面系统模拟显示。

2.根据权利要求1所述的一种3D人机交互桌面系统，其特征在于：所述多功能开关包括菜单选择、3D视角转换和信息录入。

3.根据权利要求1所述的一种3D人机交互桌面系统，其特征在于：所述触摸板能够与手机互联操作。

4.根据权利要求1所述的一种3D人机交互桌面系统，其特征在于：所述3D交互技术层包括Inflexion UI技术、OpenGL ES 3D渲染技术、CAN通信、3D模型创建和数据库支持。

5.根据权利要求4所述的一种3D人机交互桌面系统，其特征在于：所述3D模型创建的方法为：建立模型；导入模型资源；根据模型资源和模型空间信息确立模型空间位置；根据模型外观效果信息进行模型渲染。

6.根据权利要求5所述的一种3D人机交互桌面系统，其特征在于：所述模型空间位置包括模型的空间定位和动作。

7.根据权利要求1所述的一种3D人机交互桌面系统，其特征在于：所述3D交互任务层由用户界面的用户派发功能指令。

8.根据权利要求1所述的一种3D人机交互桌面系统，其特征在于：所述3D交互语义层定义了所述3D交互任务层派发指令的具体实现方法。

说明书

一种3D人机交互桌面系统

技术领域

[0001] 本发明涉及用户桌面设计开发领域，尤其涉及一种3D人机交互桌面系统。

背景技术

[0002] 人机交互界面的发展主要分三个阶段——批处理命令界面时代、命令行处理界面时代和WIMP界面时代，各个阶段的界面风格迥异。每一种界面都是随着计算机硬件、软件技术的不断提高和优化，发展到达新一阶段的界面。每一个新的阶段都能更大幅度地拓展人机交互的频带宽度，使用户的生成效率提高。目前人机界面已经步入第四个阶段，也就是Post-WIMP界面时代。在WIMP开始使用的时期，它提高了人们的生产力，因此得到迅速的发展和广泛的使用，但是随着科学技术的不断发展，WIMP界面也逐渐暴露出各种缺陷，比如交互方式单一、交互频带狭小，表明它跟不上时代的脚步，已经成为约束计算机发展进步的瓶颈。人性化、智能化的要求使得禁锢在Desktop范式之上的WIMP界面无法对虚拟现实（Virtual Reality，简称VR）等技术开展应用，因此时代的进步推动用户界面的进一步发展。

[0003] 就目前的发展情况来看，Non-WIMP界面要成为主流用户界面还需要很长的时间，因为Non-WIMP界面中无法从当前的2D图形用户界面中借鉴经验，而且它的交互泛型、交互技术、界面隐喻、开发工具等都是全新的，并且Non-WIMP界面与其他学科诸如认知心理学、人机工效学等都有交集，在不考虑用户习惯的情况下，以上矛盾的存在使得该界面的发展面临众多短时间难以克服的障碍。

[0004] 在这种情况下，对于Post-WIMP界面的研究就显得尤为必要，作为其中的一种主要界面形式，3D用户界面由于维度的增加产生了质的变化，相对其他界面具有画面逼真生动，具有沉浸感的优点。3D用户界面要想在最大程度上做到实用，就必须符合广大用户的使用习惯。

发明内容

[0005] 为解决现有技术中存在的问题，本发明提供一种3D人机交互桌面系统。

[0006] 本发明自底层往上依次为3D交互设备层、3D交互语义层、3D交互任务层、3D交互技术层和应用语义层，所述应用语义层包括具体应用语义，是各种交互任务的组合；所述3D交互技术层对交互的技术内容进行架构、评估和实现，对交互任务进行指导操作；所述3D交互任务层是对交互任务的定义与派发层；所述3D交互语义层用来控制交互设备进行执行；所述3D交互设备层处于最底层，与外接设备产生交互。

[0007] 本发明作进一步改进，所述3D交互设备层包括多功能开关、触摸板和空调面板，所述空调面板用来控制空调的操作并将操作动作和结果在所述3D人机交互桌面系统模拟显示。

[0008] 本发明作进一步改进，所述多功能开关包括菜单选择、3D视角转换和信息录入。

[0009] 本发明作进一步改进，所述触摸板能够与手机互联操作。

[0010] 本发明作进一步改进，所述3D交互技术层包括Inflexion UI技术、OpenGL ES 3D渲染技术、CAN通信、3D模型创建和数据库支持。

[0011] 本发明作进一步改进，所述3D模型创建的方法为：建立模型；导入模型资源，设置按键映射；根据模型资源和模型空间信息确立模型空间位置；根据模型外观效果信息进行模型渲染。

[0012] 本发明作进一步改进，所述模型空间位置包括模型的空间定位和动作。

[0013] 本发明作进一步改进，所述3D交互任务层由用户界面的用户派发功能指令。

[0014] 本发明作进一步改进，所述3D交互语义层定义了所述3D交互任务层派发指令的具体实现方法。

[0015] 与现有技术相比，本发明的有益效果是：可模拟真实世界中的事物，使用户更容易理解认知，表现方式灵活，信息容量大；桌面3D交互语法构造相对容易，语义表达相对清晰，交互系统便于定义。

附图说明

[0016] 图1为本发明3D人机交互桌面系统结构示意图；

[0017] 图2为本发明3D交互设备层结构示意图；

[0018] 图3为本发明3D交互技术层结构示意图；

[0019] 图4为本发明3D模型创建方法示意图。

具体实施方式

[0020] 下面结合附图和实施例对本发明做进一步详细说明。

[0021] 如图1所示，本发明自底层往上依次为3D交互设备层、3D交互语义层、3D交互任务层、3D交互技术层和应用语义层，所述应用语义层包括具体应用语义，是各种交互任务的组合；所述3D交互技术层对交互的技术内容进行架构、评估和实现，对交互任务进行指导操作；所述3D交互任务层是对交互任务的定义与派发层；所述3D交互语义层用来控制交互设备进行执行；所述3D交互设备层处于最底层，与外接设备产生交互。

[0022] 具体来说，应用语义层主要包括具体应用语义体应用语义相关的内容，它常常是有各种一般或者特殊交互任务组合而成。

[0023] 3D交互技术层是对交互所采用的技术内容进行架构、评估和实现的管理者。技术的好坏直接影响着交互的效率。交互设备实现交互目的的过程中，体现着交互技术的优劣。相同的交互任务以及相同的交互设备，可以选择不同的交互技术来实现。交互技术应该在交互任务层之上，对交互任务进行指导操作。高频、高效的交互方式应该是交互技术的最终目的。同时，交互任务和交互设备是交互技术研究的保障。因为若没有实际的交互任务发生，也就无从谈起交互技术。而交互设备则能全面反映出交互技术的优劣，因为技术的设计必须针对相应的交互设备。譬如说，同样的启动汽车空气净化器这个任务，可以使用多功能开关设备操作，也可以使用红外立体手势感应设备启动。可见，交互技术的设计需要考虑交互设备的实际。

[0024] 3D交互任务层是3D交互语义层的任务下达者。我们可以总结为对交互任务的定义与派发层。交互任务可以是单一的基本交互任务，也可以是繁复的多重交互任务，但是无论任何任务，这一层都属于3D交互技术的核心内容。因为任务的内涵定义、结构设计以及任务要求都是由该层下传达。

[0025] 3D交互语义层是在选择了交互设备以后，对交互设备的操作定义，它不包括所有的硬件设备，而是对3D交互任务的一个语义描述，用来控制交互设备进行执行，这个执行的操作是最小的语法单元，并且与交互设备不发生联系。换句话说，语义层的作用是控制设备，但是不同的设备可以使用同一种语义。

[0026] 3D交互设备层根据用户的交互动作的不同选择外接设备。交互设备的选择非常重要，它将对交互动作和交互结果造成直接的影响，因此它处于3D人机交互桌面系统的最底层，是交互的设备支持。

[0027] 如图2所示，所述3D交互设备层包括多功能开关、触摸板和空调面板，所述空调面板用来控制空调的操作并将操作动作和结果在所述3D人机交互桌面系统模拟显示。

[0028] 所述多功能开关包括菜单选择、3D视角转换和信息录入，所述触摸板能够与手机互联操作，所述空调面板包括空调操作和接口。

[0029] 如图3和图4所示，"Inflexion UI" 界面，是给Android装置所使用的，最大的特色为3D显示。本发明3D人机交互桌面系统的实现中，3D交互技术层选用了Inflexion UI技术、OpenGL ES 3D渲染技术、CAN通信等。Inflexion UI界面系统处于核心地位，通过调用各个模块来实现相应的功能需求和业务流程。

[0030] OpenGL（全写Open Graphics Library）是个定义了一个跨编程语言、跨平台的应用程序接口（API）的规格，它用于生成二维、三维图像。OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL 三维图形 API 的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。OpenGL ES 包含浮点运算和定点运算系统描述以及 EGL针对便携设备的本地视窗系统规范。

[0031] 系统用户界面可以导入3D模型，通过OpenGL技术渲染呈现到用户面前。程序初始化，将调用资源管理模块，将用户的设置载入程序。业务流程处理主要负责将用户指令接收传递到中间件，中间件控制多媒体等设备运行并将结果反馈给界面系统。在3D交互技术层的数据交互一定是有数据库来支撑。

[0032] 所述3D模型创建的方法为：建立模型；导入模型资源；根据模型资源和模型空间信息确立模型空间位置；根据模型外观效果信息进行模型渲染。

[0033] 具体实现方法为：

[0034] 首先，由3DMax或者Blender创建相应的模型，最终导出为COLLADA ade格式的模型文件。应用程序初始化时应先初始化渲染引擎，将场景渲染所需要的所有资源加载到内存中，然后加载配置文件，再通过初始化后的渲染句柄，访问并加载场景文件和模型文件，在屏幕客户区渲染绘制场景和模型实体，然后启动人机交互，应用程序渲染启动完成。

[0035] 然后，在Inflexion UI Tools开发平台中新建UI Design Project，导入模型资源，包括图片资源、渲染文件资源等，配置device.sample文件设置多功能开关和空调面板的按键映射。将模型资源拖入页面template，通过设置3D Object的Location（位置）、Orientation（方向）、Extent（大小）和Scale（比例）等属性控制3D模型在页面中的定位和动作，模型的OpenGL属性设置effect文件用来渲染3D模型，显现光影、纹理、阴影、明暗等三维立体效果。

[0036] 本发明的3D交互任务层由UI用户派发功能指令，3D交互语义层定义了任务层派发指令的具体实现方法，如：调节汽车座椅指令，在3D交互语义层中规定多功能开关左旋转座椅靠背向上翻转，多功能开关右旋转座椅靠背向下翻转。开关空调指令等。

[0037] 3D人机交互界面中，当外部设备座椅靠背向后调节，通过CAN向车载系统发送命令消息，并且传递位移信息和角度信息，车载系统的3D人机交互桌面系统会同步座椅靠背模型的3D影像，比如座椅靠背向上或者向下。当然在座椅设备支持的情况下，也可以通过调节车载系统中的座椅，来控制实际座椅的角度和位置，使用户体验一种模拟现实的感觉。

[0038] 以上所述之具体实施方式为本发明的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明所作的等效变化均在本发明的保护范围内。