一种基于AR虚拟现实技术的整形手术实时捕捉系统转让专利

申请号 : CN201611141189.1

文献号 : CN106580472B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 童培诚段会锋

申请人 : 快创科技(大连)有限公司

摘要 :

本发明公开了一种基于AR虚拟现实技术的整形手术实时捕捉系统,包括:图像采集单元,采集人体需要进行整形部位的图像信息;AR呈现单元,接收所述图像采集单元传送的人体需要整形部位的真实图像信息结合影像辨识技术展现该人体部位的虚拟图像,数据分析单元与AR呈现单元实时数据通信,工作状态下:当AR呈现单元为人体部位进行整形手术佩戴整形模型时所述数据分析单元根据人体的五官特征对每次佩戴的整形模型进行合理性分析整理出器官的曲线是否符合标准状态并绘制出整形后的图像;该系统还包括与AR呈现单元进行实时数据通信的终端单元,AR呈现单元将用户选择的整形模型以及该整形调整下用户的人体具体外部图像实时传送至终端单元。

权利要求 :

1.一种基于AR虚拟现实技术的整形手术实时捕捉系统,其特征在于包括:

图像采集单元,采集人体需要进行整形部位的图像信息;

AR呈现单元,接收所述图像采集单元传送的人体需要整形部位的真实图像信息结合影像辨识技术展现该人体部位的虚拟图像,所述AR呈现单元读取该人体部位的特征点信息将不同的整形模型投射、叠加到该部位进行虚拟现实展示,同时通过摄像头捕捉人体的影像信息,该人体部位的3D影像将以360度形式在患者的身体上显示;

数据分析单元,与所述AR呈现单元实时数据通信,工作状态下:当AR呈现单元为人体部位进行整形手术佩戴整形模型时所述数据分析单元根据人体的五官特征对每次佩戴的整形模型进行合理性分析整理出器官的曲线是否符合标准状态并绘制出整形后的图像;

整形体验单元,接收所述数据分析单元传送的数据信息根据数据分析单元选择的整形模型以及人体需要整形的部位进行整形体验,所述整形体验单元调取其内部存储的整形工具以及该整形过程中具体细节制作出整体整形流程并生成整形视频;工作状态下:整形体验单元采用CamShift算法对整形手术过程中的步骤进行跟踪处理;

首先将每个动作图像进行颜色空间转换,再采用MeanShift算法通过迭代寻优方式,找到概率分布的极值来定位每一个动作过程,将视频图像的所有帧做MeanShift运算,搜索到每一个步骤的中心位置;

该系统还包括与AR呈现单元进行实时数据通信的终端单元,所述AR呈现单元将用户选择的整形模型以及整形调整下用户的人体具体外部图像实时传送至终端单元。

2.根据权利要求1所述的一种基于AR虚拟现实技术的整形手术实时捕捉系统,其特征在还于:所述AR呈现单元包括存储有与人体的多个器官进行配套的整形模型的存储模块和映射模块,在AR呈现单元为人体的器官进行整形展现时,所述映射模块实时对人体的实际器官的边缘部位与模型的边缘部位进行无缝对接。

3.根据权利要求1所述的一种基于AR虚拟现实技术的整形手术实时捕捉系统,其特征在还于:所述数据分析单元包括存储有基于人体美学技术的人体各个面部器官和人体多个器官协调比例信息的数据模块和分析建议模块,所述分析建议模块结合人体美学技术对整形后的人体表情进行数据化分析和美感建议。

4.根据权利要求1所述的一种基于AR虚拟现实技术的整形手术实时捕捉系统,其特征在还于:所述整形体验单元包括存储有各个整形过程中使用的工具信息的元素存储单元,所述元素存储单元内存储有各个工具的使用说明和与之匹配的手术类型以及该工具的操作手法,所述整形体验单元还包括视频体验生成单元,所述视频体验生成单元根据选择的整形工具和整形部位生成整形视频;

观看中用户可以调取每一整形步骤进行慢镜头播放读取元素存储单元内具体的整形手法和用力程度。

5.根据权利要求1所述的一种基于AR虚拟现实技术的整形手术实时捕捉系统,其特征在还于:采用MeanShift算法具体流程为:a、对该步骤进行初始化搜索,b、根据颜色直方图进行反向投影,获取搜索框的颜色概率分布;c、使用MeanShift算法,更新搜索框的中心位置和大小,对下一帧图像序列使用上一帧的搜索框位置和大小进行处理;d、重复步骤b和c,从而定位出每一个动作图像的中心位置。

说明书 :

一种基于AR虚拟现实技术的整形手术实时捕捉系统

技术领域

[0001] 本发明涉及虚拟现实技术领域,尤其涉及一种基于AR虚拟现实技术的整形手术实时捕捉系统。

背景技术

[0002] AR即增强现实是一种通过计算摄影机摄像的位置以及角度再结合相应的图像处理技术,这种技术的目的是在计算机屏幕上把虚拟世界在现实世界中进行互动和呈现。通常情况下技术人员是将显示器屏幕扩展到真实环境中,使计算机窗口与图标叠映于现实对象,由用户的眼睛、手势来指点进行操作让三维物体在用户的全景视野中根据当前任务或者需要交互的改变其形状和外观,对于现实目标通过叠加虚拟景象产生透视的增强效果。例如我们可以将地图信息直接插入到现实景观来引导驾驶员进行行车驾驶,用户可以通过虚拟现实技术来观看景观信息等等。
[0003] 目前人体整形手术得到广大用户的关注和讨论的话题,很多人采用整形手术来调整自己的面部特征或者身体的其他部位特征从而使自己的五官更加完美,使自己的身心更加愉悦。但是现有技术中医生都是采用直接在人体上进行整形手术的方式,没有在手术前给出用户一个更明确的手术后图像信息,这样造成很多整形手术存在失败或者是用户不满意的现象。

发明内容

[0004] 根据现有技术存在的问题,本发明公开了一种基于AR虚拟现实技术的整形手术实时捕捉系统,包括
[0005] 图像采集单元,采集人体需要进行整形部位的图像信息;
[0006] AR呈现单元,接收所述图像采集单元传送的人体需要整形部位的真实图像信息结合影像辨识技术展现该人体部位的虚拟图像,所述AR呈现单元读取该人体部位的特征点信息将不同的整形模型投射、叠加到该部位进行虚拟现实展示,同时通过摄像头捕捉人体的影像信息,该人体部位的3D影像将以360度形式在患者的身体上显示;
[0007] 数据分析单元,与所述AR呈现单元实时数据通信,工作状态下:当AR呈现单元为人体部位进行整形手术佩戴整形模型时所述数据分析单元根据人体的五官特征对每次佩戴的整形模型进行合理性分析整理出器官的曲线是否符合标准状态并绘制出整形后的图像;
[0008] 整形体验单元,接收所述数据分析单元传送的数据信息根据上述选择的整形模型以及人体需要整形的部位进行整形体验,所述整形体验单元调取其内部存储的整形工具以及该整形过程中具体细节制作出整体整形流程并生成整形视频;
[0009] 首先将每个动作图像进行颜色空间转换,再采用MeanShift算法通过迭代寻优方式,找到概率分布的极值来定位每一个动作过程,将视频图像的所有帧做MeanShift运算,搜索到每一个步骤的中心位置;
[0010] 该系统还包括与AR呈现单元进行实时数据通信的终端单元,所述AR呈现单元将用户选择的整形模型以及该整形调整下用户的人体具体外部图像实时传送至终端单元。
[0011] 所述AR呈现单元包括存储有与人体的多个器官进行配套的整形模型的存储模块和映射模块,在AR呈现单元为人体的器官进行整形展现时,所述映射模块实时对人体的实际器官的边缘部位与模型的边缘部位进行无缝对接。
[0012] 所述数据分析单元包括存储有基于人体美学技术的人体各个面部器官和人体多个器官协调比例信息的数据模块和分析建议模块,所述分析建议模块结合人体美学技术对整形后的人体表情进行数据化分析和美感建议。
[0013] 所述整形体验单元包括存储有各个整形过程中使用的工具信息的元素存储单元,所述元素存储单元内存储有各个工具的使用说明和与之匹配的手术类型以及该工具的操作手法,所述整形体验单元还包括视频体验生成单元,所述视频体验生成单元根据选择的整形工具和整形部位生成整形视频;
[0014] 观看中用户可以调取每一整形步骤进行慢镜头播放读取元素存储单元内具体的整形手法和用力程度。
[0015] 由于采用了上述技术方案,本发明提供的一种基于AR虚拟现实技术的整形手术实时捕捉系统,通过图像采集单位来采集人体需要整形的实际的图像信息,通过AR呈现单元进行整形匹配虚拟现实的图像显示,通过数据分析单元对整形结果进行理论分析和美感评价,这样用户可以根据虚拟现实相结合技术对整形后的情况进行详细的了解和观察,从而判定以及选择采用哪种方案进行整形手术。

附图说明

[0016] 为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0017] 图1为本发明系统的结构示意图。

具体实施方式

[0018] 为使本发明的技术方案和优点更加清楚,下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述:
[0019] 如图1所示的一种基于AR虚拟现实技术的整形手术实时捕捉系统,包括[0020] 图像采集单元,采集人体需要进行整形部位的图像信息;
[0021] AR呈现单元,接收所述图像采集单元传送的人体需要整形部位的真实图像信息结合影像辨识技术展现该人体部位的虚拟图像,所述AR呈现单元读取该人体部位的特征点信息将不同的整形模型投射、叠加到该部位进行虚拟现实展示,同时通过摄像头捕捉人体的影像信息,该人体部位的3D影像将以360度形式在患者的身体上显示;
[0022] 数据分析单元,与所述AR呈现单元实时数据通信,工作状态下:当AR呈现单元为人体部位进行整形手术佩戴整形模型时所述数据分析单元根据人体的五官特征对每次佩戴的整形模型进行合理性分析整理出器官的曲线是否符合标准状态并绘制出整形后的图像;
[0023] 整形体验单元,接收所述数据分析单元传送的数据信息根据上述选择的整形模型以及人体需要整形的部位进行整形体验,所述整形体验单元调取其内部存储的整形工具以及该整形过程中具体细节制作出整体整形流程并生成整形视频;
[0024] 首先将每个动作图像进行颜色空间转换,再采用MeanShift算法通过迭代寻优方式,找到概率分布的极值来定位每一个动作过程,将视频图像的所有帧做MeanShift运算,搜索到每一个步骤的中心位置。通过对每一个步骤进行中心定位方便我们对每一个详细的步骤进行具体分析和观察,进行详细的动作捕捉。
[0025] 该系统还包括与AR呈现单元进行实时数据通信的终端单元,所述AR呈现单元将用户选择的整形模型以及该整形调整下用户的人体具体外部图像实时传送至终端单元。通过终端单元我们可以将整形后的形象进行远程传输,传送给其他的朋友或者服务终端进行分析和美感体验。
[0026] 所述AR呈现单元包括存储有与人体的多个器官进行配套的整形模型的存储模块和映射模块,在AR呈现单元为人体的器官进行整形展现时,所述映射模块实时对人体的实际器官的边缘部位与模型的边缘部位进行无缝对接。采用无缝对接技术这样可以得到更加真实的图像信息,并且医护人员观看到对接方式可以帮助医护人员更好的进行整形手术,增加整形手术的成功性和完美性。
[0027] 进一步的,所述数据分析单元包括存储有基于人体美学技术的人体各个面部器官和人体多个器官协调比例信息的数据模块和分析建议模块,所述分析建议模块结合人体美学技术对整形后的人体表情进行数据化分析和美感建议。通过数据模块我们可以调取其内部存储的人体美学的相关知识,例如用户选取了一种类型的整形手术但是不知道自己选取是否合格或者自己选取的是否美观然后我们可以调取分析建议模块让其对我们的整形后的图像进行分析给出合理性的分析报告,供医护人员和整形患者使用。
[0028] 所述整形体验单元包括存储有各个整形过程中使用的工具信息的元素存储单元,所述元素存储单元内存储有各个工具的使用说明和与之匹配的手术类型以及该工具的操作手法,所述整形体验单元还包括视频体验生成单元,所述视频体验生成单元根据选择的整形工具和整形部位生成整形视频;
[0029] 观看中用户可以调取每一整形步骤进行慢镜头播放读取元素存储单元内具体的整形手法和用力程度。医护人员可以根据整形体验单元随时调取该手术的具体过程以及每一个详细的手术步骤具体包括例如手术刀的使用过程,具体如何进行切割和缝合过程等等都有详细的讲解和说明,并且可以调取视频进行详细的观看,供医护人员使用。
[0030] 以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。