基于手机端和电子白板的增强现实方法及系统

摘要

本发明提供了一种基于手机端和电子白板的增强现实方法及系统，方法包括：在手机端和电子白板端分别预设3D模型数据库；手机端获取待3D显示的图片；手机端从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；手机端获取摄像机实时影像数据；将所述实时影像数据和所述3D模型的标识发送至电子白板端；电子白板端依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；电子白板端将获取到的3D模型叠加在摄像机影像上显示。通过手机端和电子白板端的交互，实现在电子白板端的增强现实效果；并且，手机端只需要发送3D模型的标识给电子白板端，极大地减少了数据传输量。

权利要求

1.一种基于手机端和电子白板的增强现实方法，其特征在于，包括：在手机端和电子白板端分别预设3D模型数据库；

手机端获取待3D显示的图片；

手机端从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；

手机端获取摄像机实时影像数据；

将所述摄像机实时影像数据和所述3D模型的标识发送至电子白板端；

电子白板端依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；

电子白板端将获取到的3D模型叠加在摄像机实时影像上显示；

手机端将所述3D模型叠加在摄像机实时影像中显示。

2.根据权利要求1所述的基于手机端和电子白板的增强现实方法，其特征在于，所述电子白板端将获取到的3D模型叠加在所述摄像机实时影像上显示，之后进一步包括：手机端获取对所述3D模型的操作指令；

将所述操作指令发送至电子白板端；

电子白板端依据所述操作指令控制所述获取到的3D模型进行相应的操作。

3.根据权利要求1所述的基于手机端和电子白板的增强现实方法，其特征在于，所述电子白板端将获取到的3D模型叠加在所述摄像机实时影像上显示，之后进一步包括：电子白板端获取对所述3D模型的操作指令；

电子白板端依据所述操作指令控制所述获取到的3D模型进行相应的操作。

4.根据权利要求1所述的基于手机端和电子白板的增强现实方法，其特征在于，手机端从3D模型数据库中获取与所述图片匹配的3D模型，具体为：识别所述图片的特征信息；

将所述特征信息与手机端的3D模型数据库中的3D模型进行比对，得到与所述图片匹配的3D模型。

5.一种基于手机端和电子白板的增强现实系统，其特征在于，包括：手机端、电子白板端和预设单元；所述预设单元用于在手机端和电子白板端分别预设3D模型数据库；

所述手机端包括：

图片获取模块，用于获取待3D显示的图片；

匹配模块，用于从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；

影像获取模块，用于获取摄像机实时影像数据；

发送模块，用于将所述摄像机实时影像数据和所述3D模型的标识发送至电子白板端；

所述电子白板端包括：

3D模型获取模块，用于依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；

显示模块，用于获取到的3D模型叠加在摄像机实时影像上显示；

第一显示模块，用于将所述3D模型叠加在摄像机影像上显示。

6.根据权利要求5所述的基于手机端和电子白板的增强现实系统，其特征在于，所述手机端还包括：第一指令获取模块，用于获取对所述3D模型的操作指令；

所述发送模块还用于将所述操作指令发送至电子白板端；

所述电子白板端还包括：

控制模块，用于依据所述第一指令获取模块获取的操作指令控制所述获取到的3D模型进行相应的操作。

7.根据权利要求5所述的基于手机端和电子白板的增强现实系统，其特征在于，所述电子白板端还包括：第二指令获取模块，用于获取对所述3D模型的操作指令；

控制模块，用于依据所述第二指令获取模块获取的操作指令控制所述获取到的3D模型进行相应的操作。

8.根据权利要求5所述的基于手机端和电子白板的增强现实系统，其特征在于，所述匹配模块包括：识别模块，用于识别所述图片的特征信息；

比对模块，用于将所述特征信息与手机端的3D模型数据库中的3D模型进行比对，得到与所述图片匹配的3D模型。

说明书

基于手机端和电子白板的增强现实方法及系统

技术领域

[0001] 本发明涉及增强现实技术，尤其涉及一种基于手机端和电子白板的增强现实方法及系统。

背景技术

[0002] 目前AR技术已经应用于玩具等儿童市场，但很少应用到教育领域，而且主要应用于手机移动端，并不支持用到电子白板这种硬件体系中。

[0003] 例如，公开号为CN 105608934A的中国专利，公开了一种AR儿童早教童话故事舞台剧系统，包括舞台模型和物理设备；所述物理设备包括摄像头、识别模块、合成模块、处理模块、显示器件和存储器；所述摄像头用于捕获所述舞台模型的图像，所述识别模块用于舞台模型图像与相应舞台模型图像的标记信息绑定；所述合成模块用于集成舞台模型图像和舞台模型图像的位置信息到存储器，当位置信息正确时调用处理模块；处理模块用于获取虚拟物理模型，模拟仿真后将真实图像与虚拟信息叠加，并在显示器件上显示叠加结果。然而，该方案仅实现了在移动设备增强现实的效果，而没有与电子白板交互，无法应用到教学领域。

发明内容

[0004] 本发明所要解决的技术问题是：提供一种基于手机端和电子白板的增强现实方法及系统，能够在电子白板上实现增强现实的效果。

[0005] 为了解决上述技术问题，本发明采用的技术方案为：

[0006] 一种基于手机端和电子白板的增强现实方法，包括：

[0007] 在手机端和电子白板端分别预设3D模型数据库；

[0008] 手机端获取待3D显示的图片；

[0009] 手机端从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；

[0010] 手机端获取摄像机实时影像数据；

[0011] 将所述摄像机实时影像数据和所述3D模型的标识发送至电子白板端；

[0012] 电子白板端依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；

[0013] 电子白板端将获取到的3D模型叠加在在摄像机实时影像上显示。

[0014] 本发明提供的另一个技术方案为：

[0015] 一种基于手机端和电子白板的增强现实系统，包括：手机端、电子白板端和预设单元；所述预设单元用于在手机端和电子白板端分别预设3D模型数据库；

[0016] 所述手机端包括：

[0017] 图片获取模块，用于获取待3D显示的图片；

[0018] 匹配模块，用于从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；

[0019] 影像获取模块，用于获取摄像机实时影像数据；

[0020] 发送模块，用于将所述摄像机实时影像数据和所述3D模型的标识发送至电子白板端；

[0021] 所述电子白板端包括：

[0022] 3D模型获取模块，用于依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；

[0023] 显示模块，用于将和获取到的3D模型叠加在摄像机实时影像上显示。

[0024] 本发明的有益效果在于：通过手机端获取待3D显示的图片，由于手机端设有3D模型数据库，从而能够从该3D模型数据库中得到与所述图片匹配的3D模型及其标识；手机端还获取摄像机实时影像数据；由于电子白板端也设有3D模型数据库，因此手机端只需要将该摄像机实时影像数据和3D模型的标识发送给电子白板端，电子白板端依据该标识即可从自身的3D模型数据库中找到相应的3D模型，进而将接收到的摄像机实时影像和该相应的3D模型叠加显示，即可实现增强现实的效果。本发明通过手机端和电子白板端的交互，实现在电子白板端的增强现实效果；并且，电子白板端本地预设了3D模型数据库，手机端只需要发送3D模型的标识给电子白板端，一方面极大地减少了数据传输量，另一方面，即使手机端与电子白板端的通信终止，电子白板端也可以停留在当前的播放场景中。

附图说明

[0025] 图1为本发明一实施例的基于手机端和电子白板的增强现实方法的流程图；

[0026] 图2为本发明一实施例的基于手机端和电子白板的增强现实系统的结构示意图；

[0027] 图3为本发明实施例一的基于手机端和电子白板的增强现实方法的流程图；

[0028] 图4为本发明实施例二的基于手机端和电子白板的增强现实方法的流程图；

[0029] 图5为本发明实施例三的基于手机端和电子白板的增强现实方法的流程图；

[0030] 图6为本发明实施例四的基于手机端和电子白板的增强现实方法的流程图；

[0031] 图7为本发明实施例五的基于手机端和电子白板的增强现实系统的结构示意图；

[0032] 图8为本发明实施例五的优选实施的基于手机端和电子白板的增强现实系统的结构示意图。

[0033] 标号说明：

[0034] 1、手机端；11、图片获取模块；12、匹配模块；13、发送模块；14、影像获取模块；15、第一显示模块；16、第一指令获取模块；2、电子白板端；21、3D模型获取模块；22、显示模块；23、控制模块；24、第二指令获取模块；3、预设单元。

具体实施方式

[0035] 为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

[0036] 本发明最关键的构思在于：手机端和电子白板端分别预设3D模型数据库；手机端获取待3D显示的图片对应的3D模型及该3D模型的标识；并将摄像机实时影像数据和标识发送给电子白板；电子白板依据该标识从3D模型数据库中获取对应的3D模型。

[0037] 请参照图1，本发明提供：

[0038] 一种基于手机端和电子白板的增强现实方法，包括：

[0039] 在手机端和电子白板端分别预设3D模型数据库；

[0040] 手机端获取待3D显示的图片；

[0041] 手机端从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；

[0042] 手机端获取摄像机实时影像数据；

[0043] 将所述摄像机实时影像数据和所述3D模型的标识发送至电子白板端；

[0044] 电子白板端依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；

[0045] 电子白板端将获取到的3D模型叠加在摄像机实时影像上后显示。

[0046] 进一步的，所述手机端获取摄像机实时影像数据，之后进一步包括：

[0047] 手机端将所述3D模型叠加在摄像机实时影像中显示。

[0048] 从上述描述可知，手机端和电子白板端实现同步显示。

[0049] 进一步的，所述电子白板端将获取到的3D模型叠加在所述摄像机影像上显示，之后进一步包括：

[0050] 手机端获取对所述3D模型的操作指令；

[0051] 将所述操作指令发送至电子白板端；

[0052] 电子白板端依据所述操作指令控制所述获取到的3D模型进行相应的操作。

[0053] 从上述描述可知，还可通过触摸、滑动手机端等方式，同步控制电子白板端的3D模型进行旋转、移动等。

[0054] 进一步的，所述电子白板端将获取到的3D模型叠加在所述摄像机影像上显示，之后进一步包括：

[0055] 电子白板端获取对所述3D模型的操作指令；

[0056] 电子白板端依据所述操作指令控制所述获取到的3D模型进行相应的操作。

[0057] 从上述描述可知，也可通过直接在电子白板端进行多点触摸、滑动、拖拽、点击等操作来控制在电子白板端显示的3D模型放大、缩小、旋转等。

[0058] 进一步的，手机端从3D模型数据库中获取与所述图片匹配的3D模型，具体为：

[0059] 识别所述图片的特征信息；

[0060] 将所述特征信息与手机端的3D模型数据库中的3D模型进行比对，得到与所述指定图片匹配的3D模型。

[0061] 从上述描述可知，通过比对上述图片的特征信息和3D模型数据库中的3D模型，得到与该图片匹配的3D模型。

[0062] 请参照图2，本发明的另一个技术方案为：

[0063] 一种基于手机端和电子白板的增强现实系统，包括：手机端1、电子白板端2和预设单元3；所述预设单元3用于在手机端1和电子白板端2分别预设3D模型数据库；

[0064] 所述手机端1包括：

[0065] 图片获取模块11，用于获取待3D显示的图片；

[0066] 匹配模块12，用于从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；

[0067] 影像获取模块14，用于获取摄像机实时影像数据；

[0068] 发送模块13，用于将所述摄像机实时影像数据和所述3D模型的标识发送至电子白板端；

[0069] 所述电子白板端2包括：

[0070] 3D模型获取模块21，用于依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；

[0071] 显示模块22，用于将获取到的3D模型叠加在摄像机实时影像上显示。

[0072] 从上述描述可知，手机端1的图片获取模块11获取到待3D显示的图片后，匹配模块12从手机端的3D模型数据库中获取与该图片匹配的3D模型及其标识，影像获取模块14获取摄像机实时拍摄的影像数据；并通过发送模块13将实时拍摄的影像数据和标识发送给电子白板端；从而电子白板端2的3D模型获取模块21根据该标识从自身的3D模型数据库中获取到对应的3D模型；进而显示模块22将获取到的3D模型叠加在实时拍摄的影像上显示。发明通过手机端1和电子白板端2交互实现电子白板端2的增强现实的效果；并且具有传输数据量小的优点。

[0073] 进一步的，所述手机端1还包括：

[0074] 第一显示模块15，用于将所述3D模型叠加在摄像机影像上显示。

[0075] 从上述描述可知，电子白板端2的显示模块22能够将将3D模型叠加在摄像机影像上显示，手机端1的第一显示模块15也将3D模型叠加在摄像机影像上显示，实现手机端1和电子白板端2同步显示。

[0076] 进一步的，所述手机端1还包括：

[0077] 第一指令获取模块16，用于获取对所述3D模型的操作指令；

[0078] 所述发送模块13还用于将所述操作指令发送至电子白板端2；

[0079] 所述电子白板端2还包括：

[0080] 控制模块23，用于依据所述第一指令获取模块16获取的操作指令控制所述获取到的3D模型进行相应的操作。

[0081] 进一步的，所述电子白板端2还包括：

[0082] 第二指令获取模块24，用于获取对所述3D模型的操作指令；

[0083] 控制模块23，用于依据第二指令获取模块24获取的操作指令控制所述获取到的3D模型进行相应的操作。

[0084] 从上述描述可知，可通过手机端1的第一指令获取模块16获取对手机端3D模型的操作指令，再通过发送模块13发送该操作指令给电子白板端2，实现手机端1远程控制电子白板端2的3D模型操作；也可通过电子白板端2的第二指令获取模块24获取对电子白板端2的3D模型的操作指令，直接控制电子白板端2的3D模型操作。

[0085] 请参照图3，本发明的实施例一为：

[0086] 一种基于手机端和电子白板的增强现实方法，包括：

[0087] 在手机端和电子白板端分别预设3D模型数据库；

[0088] 手机端获取待3D显示的图片；例如，需要将图片A进行3D显示，则通过手机端扫描图片A；

[0089] 手机端从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；具体的，包括：识别所述图片的特征信息；将所述特征信息与手机端的3D模型数据库中的3D模型进行比对，得到与所述指定图片匹配的3D模型；并获取该3D模型的标识；所述标识可以是3D模型的ID编号；

[0090] 手机端获取摄像机实时影像数据；

[0091] 手机端将所述3D模型叠加在摄像机实时影像上显示；同时，将所述摄像机实时影像数据和所述3D模型的标识发送至电子白板端；

[0092] 电子白板端依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；例如，假设ID为a，则从3D模型数据库中选择ID为a的3D模型；

[0093] 电子白板端获取到的3D模型叠加在摄像机实时影像上显示；具体的，显示时，电子白板端先依据接收到的摄像机实时影像数据渲染出摄像机实时影像，再在所述摄像机实时影像上叠加获取到的3D模型；如将上述从电子白板端3D模型数据库中选择的ID为a的3D模型叠加在渲染出的摄像机实时影像上；上述手机端显示同理。

[0094] 请参照图4，本发明的实施例二为：

[0095] 一种基于手机端和电子白板的增强现实方法，与上述实施例一的区别在于：

[0096] 所述电子白板端将获取到的3D模型叠加在所述摄像机实时影像上显示，之后进一步包括：

[0097] 手机端获取对所述3D模型的操作指令；例如，滑动手机端的屏幕，控制该3D模型旋转；

[0098] 将所述操作指令发送至电子白板端；例如，将对3D模型的控制指令发送给电子白板；

[0099] 电子白板端依据所述控制指令控制所述获取到的3D模型进行相应的操作；实现在电子白板上同步控制该3D模型旋转。

[0100] 请参照图5，本发明的实施例三为：

[0101] 一种基于手机端和电子白板的增强现实方法，与上述实施例的区别在于：

[0102] 所述电子白板端将获取的3D模型叠加在所述摄像机实时影像上显示，之后进一步包括：

[0103] 电子白板端获取对所述3D模型的操作指令；

[0104] 电子白板端依据所述操作指令控制所述获取到的3D模型进行相应的操作；例如，滑动电子白板端的屏幕，控制电子白板端显示的3D模型旋转。

[0105] 在一优选实施例中，上述实施例二和实施例三的控制电子白板端显示的3D模型进行操作的方式可以同时存在。

[0106] 下面是本发明的一个具体应用场景：

[0107] 假设需要通过电子白板端展示课本某章节的图片M的人体模型；首先，通过手机端扫描图片M，从手机端的3D模型数据库中获取到与图片M匹配的人体模型，以及该人体模型的ID：R；

[0108] 手机端还可跟随课本进行移动拍摄，获取所拍摄的视频；然后将人体模型叠加在拍摄的视频上显示；同时，手机端还将该视频和上述人体模型的ID：R发送给电子白板端；电子白板端根据ID：R，从电子白板端的3D模型数据库中获取到对应的人体模型；电子白板端的视频流数据和3D模型数据是分离的，电子白板端先渲染出现视频，再在视频播放界面上叠加3D模型，实现增强现实的效果。

[0109] 若用户通过滑动手机端的屏幕，控制手机端显示的人体模型旋转；则手机端将对人体模型发出的旋转控制指令发送给电子白板端，电子白板端根据该指令控制电子白板端显示的人体模型旋转。也可以直接滑动电子白板端的屏幕，控制电子白板端显示的人体模型旋转。

[0110] 当手机端退出与电子白板的建立连接关系时，电子白板端可选择驻留在当前播放场景。

[0111] 请参照图6，本发明的实施例四为：

[0112] 一种与实施例一基于手机端和电子白板的增强现实方法对应的系统，包括：手机端1、电子白板端2和预设单元3；所述预设单元3用于在手机端1和电子白板端2分别预设3D模型数据库；

[0113] 所述手机端1包括：

[0114] 图片获取模块11，用于获取待3D显示的图片；

[0115] 匹配模块12，用于从3D模型数据库中获取与所述图片匹配的3D模型，以及所述3D模型的标识；所述匹配模块包括：识别模块，用于识别所述图片的特征信息；比对模块，用于将所述特征信息与手机端的3D模型数据库中的3D模型进行比对，得到与所述指定图片匹配的3D模型；

[0116] 影像获取模块14，用于获取摄像机实时影像数据；

[0117] 第一显示模块15，用于将所述3D模型叠加在摄像机实时影像上显示；

[0118] 发送模块13，用于将所述摄像机实时影像数据和所述3D模型的标识发送至电子白板端；

[0119] 所述电子白板端2包括：

[0120] 3D模型获取模块21，用于依据所述3D模型的标识从3D模型数据库中获取对应的3D模型；

[0121] 显示模块22，用于将所述获取到的3D模型叠加在接收到的摄像机影像上显示。

[0122] 请参照图7，本发明的实施例五为：

[0123] 一种基于手机端和电子白板的增强现实系统，与实施例四的区别在于：

[0124] 所述手机端1还包括：

[0125] 第一指令获取模块16，用于获取对所述3D模型的操作指令；

[0126] 所述发送模块13还用于将所述操作指令发送至电子白板端；

[0127] 控制模块23，用于依据所述第一指令获取模块16获取的操作指令控制所述获取到的3D模型进行相应的操作。

[0128] 在一优选实施例中，如图8所示，所述电子白板端2还包括：第二指令获取模块24，用于获取对所述3D模型的操作指令；所述控制模块23用于依据所述第二指令获取模块24获取的操作指令控制所述获取到的3D模型进行相应的操作。

[0129] 综上所述，本发明提供的基于手机端和电子白板的增强现实方法及系统，通过手机端和电子白板端交互，实现电子白板端的增强现实效果；并且既可以通过手机端控制电子白板端的3D模型进行相应操作，又可以直接通过电子白板端控制电子白板端的3D模型进行相应操作。同时，手机端将摄像机影像数据和3D模型的标识发送给电子白板端，无需传输3D模型，大大减少了数据传输量；影像数据和3D模型数据是分开的，手机端与电子白板端终止通信也不会影响电子白板端的当前显示。以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。