一种基于结构光系统的面部填充吸收率计算方法

摘要

本发明公开了一种基于结构光系统的面部填充吸收率计算方法，通过一种非刚体区域排除的优化算法来实现注射前后模型的精确的配准，对精确配准的模型提出了精确构造封闭网格的方法来实现对注射前后的体积变化进行精确的计算；为得到精准的玻尿酸和脂肪吸收率的计算结果，通过以下步骤：A步骤:采用基于时间序列的结构光三维重建技术来获取得到稠密的点云，并对点云进行滤波去噪。对处理后的点云进行配准，曲面生成；B步骤:采用同样的方式得到注射前后两个精准的模型，通过本发明提出的配准算法将两个模型进行精准的配准；C步骤:针对注射区域计算体积，利用吸收率(存在率)计算公式得到结果。

权利要求

1.一种基于结构光系统的面部填充吸收率计算方法，其特征在于，通过一种非刚体区域排除的优化算法来实现注射前后模型的精确的配准，对精确配准的模型提出了精确构造封闭网格的方法来实现对注射前后的体积变化进行精确的计算；为得到精准的玻尿酸和脂肪吸收率的计算结果，通过以下步骤：A步骤:采用基于时间序列的结构光三维重建技术来获取得到稠密的点云，并对点云进行滤波去噪，对处理后的点云进行配准，曲面生成；

B步骤:采用同样的方式得到注射前后两个精准的模型，通过本发明提出的配准算法将两个模型进行精准的配准；

C步骤:针对注射区域计算体积，利用吸收率计算公式得到结果；

所述一种非刚体区域排除的优化算法，通过将一个高精度的摄像机和投影仪固定在铝板上，在对单或双套结构光系统进行标定之后，投影仪按时序投射一系列编码的图案到人脸上，摄像机同步投影仪的时序对编码的图案进行采集；通过对得到的编码图片三维扫描系统得到精准的三维数据；

因光照的原因和解码算法的误判操作，生成的点云中会有一定量噪声点的存在，采用滤波算法将噪点去除；

采用人脸模型采集系统对人脸进行采集，通过控制系统控制单或双套结构光系统对人脸进行拍摄和数据的采集，采用结构光系统1得到的点云{pi},采用结构光系统2采集得到点云{qi}；

点云的配准算法一般对初始位置的要求都比较高；系统中扫描的对象是人脸，利用人脸识别库Dlib可以识别出人脸上的68个关键点具体，利用相机的标定参数利用重投影变化可以得到关键点的三维坐标 和 通过对关键点的三维坐标基于SVD方法求解出一个初始的刚体变换矩阵Minit＝[Rinit Tinit]，利用刚体变换Minit对点云{pi}和{qi}进行一个粗配准以后得到 和 在对已经粗配准以后的点云利用Trimmed ICP进行一个精配准得到点云 通过对获取得到的稠密点云 采用泊松表面重建的方法来进行曲面生成；泊松表面重建的算法融合了全局和局部方法的优点，采取隐性拟合的方式，通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程，通过对该方程进行等值面提取，从而得到具有几何实体信息的表面模型。

说明书

一种基于结构光系统的面部填充吸收率计算方法

技术领域

[0001] 本发明涉及到医学整容领域，尤其涉及到一种基于结构光系统的面部填充吸收率计算方法。

背景技术

[0002] 玻尿酸、自体脂肪注射等面部填充手术是现在医学整容、以及面部缺陷恢复手术中最常见的手术。玻尿酸、自体脂肪的吸收率(存在率)的计算对指导药物研发和医学手术都存在很大的指导意义。但是目前学术上或者是市场上存在的计算面部填充物的吸收率的方法驳杂而且精度不高。

[0003] 常见的面部填充物的吸收率的方法有：利用印模材料计算体积差和利用工业三维扫描仪器扫描，Geomagic Studio进行后期处理的方法。前者采用的是接触式的操作对材料和人工操作敏感不容易得到精确的结果。后者中存在的问题主要有三维数据采集精度不够高，配准不精确，体积计算误差大等缺点。

[0004] 面部填充手术是现在整形手术中面部美容和容貌恢复的重要手段，玻尿酸和自体脂肪是面部填充最常见的填充剂；依据填充部位的不同填充手术可以分为眼睑凹陷填充、颞部凹陷填充、脸颊凹陷填充、额部凹陷填充、非假体的鼻部填充。而填充物的吸收率计算是面部填充手术的一个重要的衡量的指标，通过计算吸收率(存活率)可以对面部填充手术具有重要的指导意义。现代医学日益依靠先进的计算机技术作为其重要的辅助工具，常见的有CT影像分析，计算机辅助诊断系统等。随着三维重建技术的成熟，有不少的医生、科研人员引入三维重建技术来进行玻尿酸和脂肪吸收率(存活率)的计算。

[0005] 现有的吸收率计算方法有以下方案：

[0006] 【1】采用Geomagic Studio配准的吸收率计算方法。该方案通过市面上通用的工业三维扫描仪器，对术前术后的人脸生成网格模型。将模型导入到Geomagic Studio软件当中,通过软件中的“对齐”中的“手工注册”选择多个点进行粗略配准之后，利用“全局注册”对两个模型进行精确配准之后。对注射区域进行选择裁切之后，再利用补洞操作将两片分离的点云闭合成一个封闭的网格，进行计算得到注射前后的体积变化，从而计算得到吸收率。

[0007] 【2】采用口腔印模材料的凹陷缺损填充吸收率计算。该方案是通过标记面部凹陷缺损范围，采用口腔印模材料敷在面部凹陷处，注意双侧对称，带材料干燥之后，将其置于装有水的量杯中，水面上升的毫升数，即为印模材料的体积，同样在术后一段时间后，采用同样的方法采集面部印模材料，利用量杯计算出第二次的印模材料的体积，两次计算的结构即为脂肪的填充吸收体积。

[0008] 现有的技术主要分成两种，第一种是采用易成型的一些材料(如口腔印模材料)来实现凹陷区域的吸收率和存在率的计算；第二种是采用采样三维模型利用工业模型处理软件Geomagic等方法进行体积计算。

[0009] 这些方法存在的缺点主要有

[0010] 1).采用接触式的方法，给病人造成比较大的心理压力。

[0011] 2).采用印模材料的方法中，很难掌握好两次采集的位姿形态，而造成较大的误差。

[0012] 3).采用Geomagic Studio的方法，因为经典的ICP对初始的配准位置很敏感，加上注射区域是会出现一定的隆起，不能被当成刚体来看待；所以采用软件的“手工注册”之后在用全局注册的方法存在很大的误差。

发明内容

[0013] 本发明提一种基于结构光系统的面部填充吸收率计算方法,解决的上述问题。

[0014] 为解决上述问题，本发明提供的技术方案如下：一种基于结构光系统的面部填充吸收率计算方法，通过一种非刚体区域排除的优化算法来实现注射前后模型的精确的配准，对精确配准的模型提出了精确构造封闭网格的方法来实现对注射前后的体积变化进行精确的计算；为得到精准的玻尿酸和脂肪吸收率的计算结果，通过以下步骤：

[0015] A步骤:采用基于时间序列的结构光三维重建技术来获取得到稠密的点云，并对点云进行滤波去噪。对处理后的点云进行配准，曲面生成；B步骤:采用同样的方式得到注射前后两个精准的模型，通过本发明提出的配准算法将两个模型进行精准的配准；

[0016] C步骤:针对注射区域计算体积，利用吸收率(存在率)计算公式得到结果。

[0017] 优选的技术方案，所述一种非刚体区域排除的优化算法，通过将一个高精度的摄像机和投影仪固定在铝板上，在对单或双套结构光系统进行标定之后，投影仪按时序投射一系列编码的图案到人脸上，摄像机同步投影仪的时序对编码的图案进行采集；通过对得到的编码图片三维扫描系统得到精准的三维数据；

[0018] 因光照的原因和解码算法的误判操作，生成的点云中会有一定量噪声点的存在，采用滤波算法将噪点去除；

[0019] 采用人脸模型采集系统对人脸进行采集，通过控制系统控制单或双套结构光系统对人脸进行拍摄和数据的采集，采用结构光系统1得到的点云{pi},采用结构光系统2采集得到点云{qi}；

[0020] 点云的配准算法一般对初始位置的要求都比较高；系统中扫描的对象是人脸，利用人脸识别库Dlib可以识别出人脸上的68个关键点具体，利用相机的标定参数利用重投影变化可以得到关键点的三维坐标 和 通过对关键点的三维坐标基于SVD方法求解出一个初始的刚体变换矩阵Minit＝[Rinit Tinit]，利用刚体变换Minit对点云{pi}和{qi}进行一个粗配准以后得到 和 在对已经粗配准以后的点云利用Trimmed ICP进行一个精配准得到点云 通过对获取得到的稠密点云 采用泊松表面重建的方法来进行曲面生成；泊松表面重建的算法融合了全局和局部方法的优点，采取隐性拟合的方式，通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程，通过对该方程进行等值面提取，从而得到具有几何实体信息的表面模型。

[0021] 相对于现有技术的有益效果是，本发明采用的是一种非接触式的脂肪、玻尿酸吸收率和存在率的计算方法，计算精准快速；与同样采用三维采集的体积计算算法相比，本发明提出了一种基于排除选区的算法，可以实现精准的配准。同时提出构建封闭模型的算法可以精准的计算出注射区域的体积。

附图说明

[0022] 为了更清楚的说明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需使用的附图作简单介绍，显而易见的，下面描述中的附图仅仅是发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0023] 图1为本发明的单套结构光系统采集示意图；

[0024] 图2为本发明采用的人脸模型采集系统示意图；

[0025] 图3为本发明Dlib人脸68点示意图；

[0026] 图4为本发明不同情况下注射前后模型示意图；

[0027] 图5的左边a.传统的配准算法配准结果示意图,右边b注射点在网格上的表示示意图；

[0028] 图6利用本发明提出的配准方法得到配准效果；

[0029] 图7封装模型计算算法。

具体实施方式

[0030] 为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

[0031] 需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本说明书所使用的术语“固定”、“一体成型”、“左”、“右”以及类似的表述只是为了说明的目的，在图中，结构相似的单元是用以相同标号标示。

[0032] 除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。

[0033] 本发明是从三维重建到最后的计算结果进行的一个全链路的发明方法，为得到精准的玻尿酸和脂肪吸收率(存活率)的计算结果，本发明的主要步骤是

[0034] 1)采用基于时间序列的结构光三维重建技术来获取得到稠密的点云，并对点云进行滤波去噪。对处理后的点云进行配准，曲面生成；

[0035] 2)采用同样的方式得到注射前后两个精准的模型，通过本发明提出的配准算法将两个模型进行精准的配准；

[0036] 3)针对注射区域计算体积，利用吸收率(存在率)计算公式得到结果。

[0037] 本发明的一个实施例是1：面部三维点云获取及网格化

[0038] 目前主要的三维重建技术主要有：双目重建、TOF重建、单目重建、光度学重建、以及结构光重建等。基于结构光的三维重建技术具有精度高，成像速度快等特点。本发明采用的就是基于时间编码结构光系统的三维重建；

[0039] 如图1本发明通过将一个高精度的摄像机和投影仪固定在铝板上，在对结构光系统进行标定之后，投影仪按时序投射一系列编码的图案到人脸上，摄像机同步投影仪的时序对编码的图案进行采集。

[0040] 本文采用的投影仪是TI公司 LightCrafterTM 4500的解决方案，该解决方案可实现高频投射二值编码最高可达到4225HZ；所以利用该解决方案可以实现非接触地快速编码的数据采集。

[0041] 通过对得到的编码图片采用专利号为：【CN201310201336.X】，专利名称为一种三维扫描系统，得到精准的三维数据。

[0042] 因为光照的原因和解码算法的误判操作，生成的点云中会有一定量噪声点的存在，需要采用滤波算法将噪点去除。在本发明专利中基于高斯的点云去噪，其次利用离群点去除算法来去除离群点。

[0043] 由于单套结构光设备只能采集得到单个视角的点云，针对人脸我们采用了图2所示的结构对人脸进行采集，通过控制系统控制两套结构光对人脸进行拍摄和数据的采集，结构光系统1得到的点云{pi},采用结构光系统2采集得到点云{qi}。

[0044] 点云的配准算法一般对初始位置的要求都比较高。系统中扫描的对象是人脸，利用人脸识别库Dlib可以识别出人脸上的68个关键点具体如图3所示，利用相机的标定参数利用重投影变化可以得到关键点的三维坐标 和 通过对关键点的三维坐标基于SVD方法求解出一个初始的刚体变换矩阵Minit＝[Rinit Tinit]，

[0045] 利用刚体变换Minit对点云{pi}和{qi}进行一个粗配准以后得到 和 在对已经粗配准以后的点云利用Trimmed ICP进行一个精配准得到点云

[0046] 通过对获取得到的稠密点云 本发明专利采用泊松表面重建的方法来进行曲面生成；泊松表面重建的算法融合了全局和局部方法的优点，采取隐性拟合的方式，通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程，通过对该方程进行等值面提取，从而得到具有几何实体信息的表面模型。优点在于，重建出的模型具有水密性的封闭特征，具有良好的几何表面特性和细节特性。

[0047] 本发明实施例2：注射前后的人脸模型配准算法；

[0048] 上文中提到的配准是针对采集系统得到的两片点云，同一时刻下的人脸模型可以被当成刚体来看待，两片点云的重叠区域可以当成完全贴合，所以采用步骤2的算法可以得到精确配准两片点云。如图4所示，因为ICP算法采用的是最小化两个模型重叠区域的距离平方和，所以直接利用ICP算法对模型进行配准就可能对会左边的真实的效果配准成右边的效果。利用关键点进行直接配准也存在的问题，如步骤2所述利用关键点进行配准，由于人脸识别算法在前后两次识别的误差会导致模型不能精确的配准；若采用的是手工拾取关键点，由于手工的误差也会导致配准后的模型存在很大的误差。

[0049] 本发明实施例3：一种基于排除选取的配准算法；

[0050] 根据经验知识，可以判定脂肪或玻尿酸的注射点在注射前后分别为p'和p且注射点一般是存在变化区域的点。对注射前后的两个模型，采用类似步骤2的方法，先利用关键点进行一个粗匹配，再利用基于Trimmed ICP的算法进行一个精配准，得到类似图5右边所示的算法效果。图5左边展示的是该算法在真实模型上的效果，右边是注射前的网格模型和注射点所示位置。

[0051]

[0052]

[0053]

[0054] 其中 代表的注射前后的三角形网格(此处两网格代表的即为注射前后的人脸网格)， 代表的根据优化算法选择的注射前后的变化区域。因为采用的是相同的设备采集注射前后形变区域的网格的个数密度基本一致所以我们对经验参数α＝0.8 β＝1.2来限制参数j j'防止其落入不合理的局部最小值区域。对优化算法的初始参数j＝TriP' j'＝TriP,其中TriP'代表的包含注射点P'的注射前的网格中的三角形，同理TriP代表的包含注射点P的注射前的网格中的三角形。利用网格的邻接关系，可以对定义域j×j'∈{{1...M}×{1...N}}，本发明专利采用全局搜索的算法(Matlab工具fminsearch函数实现了改算法)从定义域中计算目标方程使的配准的误差最小。最后即得到两片点云的注射区域最优配准区域 和 对得到的最优区域
利用Trimmed ICP算法可以得到刚体变换R,T。

[0055] 图6.是利用本算法实现的非刚体区域排除的配准效果，可以看到除了非刚体区域即红线和绿线未贴合区域，其他刚体区域都很好的贴合。

[0056] 本发明实施例4：

[0057] 针对注射区域计算出变化体积，求解出吸收率(存在率)；

[0058] 对已经配准完的模型进行体积计算，根据注射点求出封闭的变化区域的体积。根据注射点依照邻接关系查看每个三角形是否与另外一个模型的三角形有相交。如图所示左边灰色部分是注射后的模型，蓝色区域是注射前的网格模型，显示的三角形网格是注射前的三角形网格，三角形网格可能会存在两种相交状态如图所示的红色三角形和黄色三角形，针对红色三角形，只需要添加一条边就可以构成一个新的三角形，而对黄色三角形采用的是如图7所示的添加两条边将三角形转化为两个三角形。

[0059] 这样我们就得到注射前后变化的一个封闭的模型。根据体积计算公式[0060] Vtotal＝∑Vi

[0061]

[0062]

[0063] i∈{1,K}

[0064] 其中{(xi1,yi1,zi1),(xi2,yi2,zi2),(xi3,yi3,zi3)}代表的是Trii三角形中的三个顶点的坐标。公式中K代表的是封闭多面体的三角形个数。

[0065] 最后可以得到脂肪和玻尿酸的吸收率和存在率是 其中Vinject代表的注射的脂肪的体积一般单位是毫升；

[0066] 在本发明专利中通过手工选择初始配准点的方法可以实现，其他部分的吸收率计算，如胸部等多个部位的脂肪注射率计算；本发明已经过临床实际认证，效果很理想，和设计的预期一致。

[0067] 本发明采用的是一种非接触式的脂肪、玻尿酸吸收率和存在率的计算方法，计算精准快速；与同样采用三维采集的体积计算算法相比，本发明提出了一种基于排除选区的算法，可以实现精准的配准。同时提出构建封闭模型的算法可以精准的计算出注射区域的体积。

[0068] 需要说明的是，上述各技术特征继续相互组合，形成未在上面列举的各种实施例，均视为本发明说明书记载的范围；并且，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。