医疗机器人导航定位图像中的标记拾取方法

摘要

本发明公开一种技术方案，综合使用多种图像处理技术，准确、高效地自动拾取从C型臂X光机采集的医疗机器人导航定位图像中的定位标记点和标记线。处理过程为：在图像中真实成像范围内，首先使用图像增强方法抑制噪声，突出目标，增强前、背景的对比；然后使用图像分割技术分割出背景和前景，所有前景的内容作为备选区域；使用区域生长方法对备选区域做连通区域编号标记；再通过模板匹配获得候选标记点，在所有候选标记点周围检测标记线；最后使用形状判别确定准确的标记点，并利用标记线确定标记点的分组和编号。

权利要求

1.一种综合使用多种图像处理技术的方法，准确、高效地自动拾取从C型臂X光机采集的医疗机器人导航定位图像中的定位标记点和标记线，包括如下步骤：A.图像增强：用半径较大的圆形模板对图像做均值滤波并与原图相减，结果取绝对值；然后分段线性拉伸以增强前景和背景间的对比度；

B.图像分割：对增强结果使用均值漂移方法(Mean Shift)进行滤波，并对滤波结果使用大津法(Otsu)分割为二值图像，背景标为0，前景标为1；

C.连通区域标记：用区域生长方法编号标记所有不同于背景的连通区域；

D.模板匹配获得候选标记点：在分割为前景的像素的邻域内用选定大小的圆形模板组与二值图像匹配，使用绝对差和做相似性判别，记录与模板组中的任一模板匹配相似性达到要求的区域，作为候选标记点；

E.识别标记线：在以候选标记点中心为圆心的圆形邻域内，将圆等分为若干扇形，相应于将360度等分为若干份，每个扇形对应固定的角度范围；分别统计落在这些扇形内的、不是背景、不在候选标记点区域内的像素点的数目，形成直方图；直方图的峰值大于给定阈值且唯一时，判定为存在标记线，峰值所在的扇形区域对应的角度范围记为标记线的大致方向，并判定该候选标记点为与标记线相邻的候选标记点；

F.形状判别、标记点编号：连通区域按面积大小排序，计算连通区域的外包矩形，外包矩形的长宽在给定阈值范围内，且长宽比在给定阈值范围内，且连通区域面积与外包矩形的面积比大于给定阈值，则该连通区域为标记点；最后加入前一步判定的与标记线相邻的候选标记点，并结合标记点面积大小、标记线位置和指向，对标记点分组编号；

其特征在于：

步骤C的连通区域标记只需要安排在步骤B之后、步骤F之前，即步骤C可以调换到步骤D之后或步骤E之后执行；

步骤A中的圆形模板半径为经验选择，至少比估计的标记点成像半径的上限大；模板是离散的，只需要近似为圆形；

步骤D中的模板组的模板是离散的，形状只需要近似为圆形；其半径大小是经验选择，成像结果中标记点每种可能的半径都对应生成一个模板，模板圆形范围内的值全为1；匹配相似性达到要求特指绝对差和的结果小于模板像素数的35％、在邻域范围内最小且唯一；

步骤F中连通区域的外包矩形指恰好包含连通区域的最小矩形。

2.根据权利要求1中所述的一种综合使用多种图像处理技术的方法，其特征在于：

步骤A的图像增强之前，先判断图像是否偏暗，若是则对图像进行对数变换，增强暗颜色的亮度和对比度；否则不执行对数变换；然后执行高斯平滑，在平滑结果上执行步骤A的处理过程。

3.根据权利要求1中所述的一种综合使用多种图像处理技术的方法，其特征在于：

步骤D中的模板组中每个模板的边界处向外扩展一圈，这一圈像素取值为0，匹配计算时的求和范围包括最外一圈；匹配相似性达到要求时，记当前点为中心、与边界扩展前的模板对应的像素总体形成的区域为候选标记点。

4.根据权利要求1中所述的一种综合使用多种图像处理技术的方法，其特征在于：

步骤E中累积直方图时，每个不是背景、不在候选标记点区域内的像素点，以标记点中心为原点，实际计算出像素点的角度；根据各个角度范围的中心对应的角度与当前角度的差，使用加权函数累加到直方图上多个邻近的箱格内；加权函数满足条件：箱格对应角度范围中心的角度与当前点角度差最小的累加最大的值，角度差越大累加值越小。

说明书

医疗机器人导航定位图像中的标记拾取方法

[0001] 技术领域本发明涉及图像处理与模式识别技术，具体地说，是医疗机器人导航定位使用的C型臂X光机图像的处理与定位标记拾取技术。

[0002] 背景技术医疗机器人导航定位技术中，常使用C型臂X光机从多个方位获取多幅图像，利用各个图像上的标记点关系建立机器人空间与手术空间的坐标映射。使用图像引导定位具有准确、高效的优点，能减少X光线对病人和医生的伤害，减小手术创伤。图1示意了手术中采集到的图像的一种理想情况，其中矩形区域1表示成像结果存储和显示范围；大圆2表示C型臂X光机真实成像范围，也称为有效图像区域；小的圆形3和4表示两组定位钢珠在图像上形成的暗影；线5表示标记钢丝在图像上形成的暗影；手术中患者手术部位等场景内容成像在2范围内。定位钢珠在图像上形成的圆形暗影3、4称为标记点，定位钢丝形成的线状暗影5称为标记线。使用钢珠做定位标记点的优点是，从任何方向投影成像的结果都是圆形，且其暗影比骨骼等形成的暗影更暗；标记线的作用是区分两组钢珠并顺序编号，例如标记线关联的组记为前坐标系，另一组记为后坐标系，标记线紧邻的标记点开始顺时针编号，另一组标记点也依照对应顺序编号。常使钢丝紧邻某个钢珠并指向该钢珠的中心，以易于辨别。

[0003] 手术中需要在多幅图像上拾取所有标记点，准确标记出各点的中心，建立机器人空间与手术空间的坐标映射。为简化操作、缩短手术时间、降低手术创伤，可以通过图像处理技术自动拾取标记点，完全或部分代替复杂、耗时的手工选取。自动拾取标记点的难点在于，实际手术中采集的图像比图1的示意复杂得多：背景、患者骨骼、手术床的边缘等都在图像中形成暗影，灰暗程度在某些情况下接近标记点和标记线的暗影灰暗程度；由于成像过程中量化等的影响，图像中存在较强的噪声，且钢珠形成的暗影不是理想圆形，钢丝成像也不是理想直线。

[0004] 使用标定板进行相机标定或X光机标定时，也常需要自动拾取标定板上的标记点。不同于手术中采集的图像，标定时采集的图像背景单纯，标定板上的标记点与背景对比强烈，标记点自动拾取相对简单。因此，相机标定或X光机标定中常用的标记点自动拾取方法不能准确拾取医疗机器人导航定位图像中的标记点和标记线。

[0005] 发明内容本发明公开一种综合使用多种图像处理技术的方法，准确、高效地自动拾取从C型臂X光机采集的医疗机器人导航定位图像中的定位标记点和标记线。

[0006] 本发明的基本思路为：所有处理过程都只计算图像中真实成像范围内的部分；首先使用图像增强方法抑制噪声，突出目标；然后使用图像分割技术分割出所有备选的区域；再通过模板匹配获得候选标记点，在所有候选标记点周围检测标记线；最后使用形状判别确定准确的标记点，并利用标记线确定标记点的编号。

[0007] 实现本发明思路的技术方案流程如图2所示，其优点是：充分考虑了手术场景成像的特点，降低噪声和背景的干扰，标记点和标记线拾取准确率高；计算复杂度低，在主流平台下可实时计算；易于实现。具体描述如下(所有处理过程都只计算图像中真实成像范围内的部分)：

[0008] A.图像增强：用半径较大的圆形模板对图像做均值滤波并与原图相减，结果取绝对值；然后分段线性拉伸以增强前景和背景间的对比度；

[0009] B.图像分割：对增强结果使用均值漂移方法(Mean Shift)进行滤波，并对滤波结果使用大津法(Otsu)分割为二值图像，背景标为0，前景标为1；

[0010] C.连通区域标记：用区域生长方法编号标记所有不同于背景的连通区域；

[0011] D.模板匹配获得候选标记点：在分割为前景的像素的邻域内用选定大小的圆形模板组与二值图像匹配，使用绝对差和做相似性判别，记录与模板组中的任一模板匹配相似性达到要求的区域，作为候选标记点；

[0012] E.识别标记线：在以候选标记点中心为圆心的圆形邻域内，将圆等分为若干扇形，相应于将360度等分为若干份，每个扇形对应固定的角度范围；分别统计落在这些扇形内的、不是背景、不在候选标记点区域内的像素点的数目，形成直方图；直方图的峰值大于给定阈值且唯一时，判定为存在标记线，峰值所在的扇形区域对应的角度范围记为标记线的大致方向，并判定该候选标记点为与标记线相邻的候选标记点；

[0013] F.形状判别、标记点编号：连通区域按面积大小排序，计算连通区域的外包矩形，外包矩形的长宽在给定阈值范围内，且长宽比在给定阈值范围内，且连通区域面积与外包矩形的面积比大于给定阈值，则该连通区域为标记点；最后加入前一步判定的与标记线相邻的候选标记点，并结合标记点面积大小、标记线位置和指向，对标记点分组编号。

[0014] 其中，步骤C的连通区域标记只需要安排在步骤B之后、步骤F之前，即步骤C可以调换到步骤D之后或步骤E之后执行。

[0015] 图像增强中使用的圆形模板半径为经验选择，至少比估计的标记点成像半径上限大。如标记点成像结果半径在10像素以下，可以使用半径为15像素左右的圆形模板，也可以使用半径为20像素左右的圆形模板，结果都在可接受范围内。模板是离散的，只需要近似为圆形。图像增强步骤使标记点等小尺度的内容被强化突出，而骨骼阴影等大尺度的内容被减弱。

[0016] 模板匹配的目的是检测标记线及紧邻标记线的标记点。因为当标记线和标记点的暗影连在一起时，其形状表现既不能判断为点也不能判断为线，所以形状判别在这种情况下无法检测到该标记点。同时，标记点的形状不是理想圆形，模板匹配的结果可靠性不高，需要降低模板与候选匹配位置的相似性要求，以获得更多的候选标记点。检测出标记线后，再通过形状判别精确筛选出其余标记点。

[0017] 模板匹配中圆形模板组的模板是离散的，形状只需要近似为圆形，其半径大小是经验选择，成像结果中标记点每种可能的半径都对应生成一个模板。如标记点成像结果半径约在5至10像素范围内，模板组可定为半径从4像素到12像素，共9个圆形模板。匹配相似性达到要求特指绝对差和的结果小于模板像素数的35％、在邻域范围内最小且唯一。因为只在前景像素的邻域范围内匹配，排除了在整个图像面积中占绝大部分的背景区域，且可以通过预先判断迅速排除大多数不符合条件的内容，如大面积连续区域、过小的噪声点等，所以模板匹配的计算量不大。

[0018] 相比直接的Hough变换方法，本发明中使用的标记线检测方法计算更简单，且考虑了与标记点的位置关系，受背景中线状特征的影响小。

[0019] 附图说明图1是手术中采集到的图像的内容示意图

[0020] 图2是技术方案流程示意图

[0021] 图3是图像增强流程示意图

[0022] 图4是分段线性拉伸使用的映射折线示意图

[0023] 图5是对数变换示意图

[0024] 图6是一种加权函数的函数形状示意图

[0025] 具体实施方式现在结合附图，描述本发明的一种具体实施方式。

[0026] 依据技术方案流程示意图图2和“发明内容”中的具体描述，标记自动拾取的过程主要包括：图像增强，图像分割，连通区域标记，模板匹配获取候选标记点，识别标记线，形状判别、标记点编号。

[0027] 手术中，C型臂X光机采集的图像的真实成像范围对应图1中大圆2所示区域，标记自动拾取的计算只考虑大圆内的内容。

[0028] 第一步是图像增强。用半径较大的圆形模板对图像做均值滤波并与原图相减，结果取绝对值；然后分段线性拉伸增强前景和背景间的对比度。

[0029] 模板是离散的，只需要近似为圆形，其半径为经验选择，至少比估计的标记点成像半径上限大。如标记点成像结果半径在10像素以下，可以使用半径为15像素左右的圆形模板，也可以使用半径为20像素左右的圆形模板，结果都在可接受范围内。均值滤波是常用的图像处理算法，使用的模板(也称为滤波核)的每个元素值都相等，总和为1。如这里使用的圆形模板，若取半径为20，则滤波结果相当于对每个像素重新赋值，赋值过程为：对应每个位置，在原图像上取半径为20像素的圆形邻域，计算邻域内的像素均值，作为新图像上对应位置的像素值。

[0030] 分段线性拉伸也是常用的图像处理算法，本实施例中使用的分段线性拉伸映射如图4示意，其作用是使暗的颜色更暗，亮的颜色更亮，中间亮度的对比度增强。折线的4个端点可取经验值，映射的少量差别对后续处理影响不大。

[0031] 图像增强的流程如图3所示，标准步骤不包括虚线框内的内容。虚线框内的处理过程能进一步改善图像增强效果，提高标记拾取计算的鲁棒性。虚线框内的过程具体描述为：累计图像内亮度值大于给定阈值的像素个数，当个数小于给定阈值时判断图像为偏暗，执行对数变换；否则不执行对数变换；然后对图像进行高斯平滑，抑制采集和量化等过程产生的噪声。

[0032] 为降低X射线的伤害，有时在较低辐射强度下成像，采集图像结果偏暗。此种情况下，通过对数变换将图像的亮度、对比度调整到合适范围内，可改善图像增强效果。对数变换的映射曲线如图5所示，其作用是增强暗颜色的亮度和对比度，减弱亮颜色的对比度。曲线的映射关系可取经验值，只需要保持曲线形状类似图5所示。高斯平滑时，模板的大小和参数为经验取值，如可取为3*3大小、方差为1，或5*5大小、方差为2等。

[0033] 第二步是图像分割。对增强结果Mean Shift滤波，并对滤波结果使用Otsu阈值分割方法分割为二值图像，背景标为0，前景标为1。

[0034] 标记点、标记线成像结果的边缘相对模糊，且图像增强步骤不能完全消除背景、量化噪声等的干扰，直接图像二值化分割出的结果中存在很多噪声点，标记点、标记线常与背景等被分割成连通的大片区域。在二值化前先用Mean Shift滤波消除小尺度的噪声，增强标记点、标记线与背景信息的对比。Mean Shift滤波算法是一种保持特征的平滑方法，参考自“D.Comaniciu，P.Meer.Mean shift：a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence.2002，24(5)：603-619”，其中坐标空间和颜色空间都使用高斯核函数，令(x，y，c)表示每个像素点的横坐标、纵坐标、颜色值，则在每个像素点上算法可描述为如下的迭代过程：1)初始值(x0，y0，c0)和收敛条件ε，令j＝0；2)计算3) 若 ||(xj+1，yj+1，
2
cj+1)-(xj，yj，cj)|| ＞ε，用(xj+1，yj+1，cj+1)替换(xj，yj，cj)，重新计算2)，否则将(x0，y0)处的像素值赋值为cj+1，结束。其中hxy和hc分别称为坐标带宽和颜色带宽，其值为经验值，根据实验结果选取，如可取为12和5或11和4等；求和范围为当前坐标j的邻域范围，可取为9*9或11*11的矩形。坐标带宽、颜色带宽和邻域范围控制了要消除的噪声尺度和要增强的特征的尺度。

[0035] 使用Otsu方法计算阈值，分割滤波结果为二值图像。Otsu方法又称最大类间方差方法，是统计意义下的最优阈值分割，是图像处理中的经典算法。二值化的目的是将图像直接划分为前景和背景，标记线和标记点都在前景对象中检测。

[0036] 第三步是连通区域标记，这一步也可以放在第四步或第五步之后。用区域生长方法编号标记所有不同于背景的连通区域，目的是在前景的不同内容间加以区分，便于统计各个连通区域的面积，区分不同前景对象，进行长宽比、形状特征计算等。对前景区域的编号标记过程可描述为：生成与二值图像等大的新图像，像素值全赋为0，记L＝1；逐像素扫描二值图像，循环执行下面的步骤：1)在二值图像中不是背景、且在新图像中对应位置值为0的像素，标号为L；2)新图像中，以当前标记为L的像素为种子区域，迭代加入满足条件的像素到种子区域内，并标号种子区域内的像素为L，直至没有可加入的，令L＝L+1；其中，满足条件的像素为：与种子区域中像素按4连通或8连通方式相邻、在新图像中值为0、且在二值图中不是背景的像素。

[0037] 第四步是模板匹配获得候选标记点。在分割为前景的像素的邻域内用选定大小的圆形模板组与二值图像匹配，使用绝对差和做相似性判别，记录与模板组中的任一模板匹配相似性达到要求的区域，作为候选标记点。

[0038] 模板匹配的详细过程为：根据设备和成像的特点，估计标记点的成像结果半径大致范围，预先生成模板组，例如，定为半径分别为4像素至12像素，共9个模板，模板形状近似为圆形；在二值图像上所有分割为前景的区域内，分别使用每个模板匹配；用绝对差和作相似性判别，公式为 其中x，y为当前中心点坐标，ti，j为模板上的值，全1，bx+i，y+j为二值图像上的值，前景1，背景0；即模板中心与当前中心点对齐，所有像素对应相减并取绝对值；求和范围为模板对应的圆形范围；若绝对差和结果小于模板像素数的35％、在邻域范围内最小且唯一，则认为匹配相似性达到要求，记当前点为中心、模板半径范围内的像素总体形成的区域为候选标记点。因为模板值全为1，图像上值为1或0，所以绝对差和计算的结果是图像上当前点为中心的、与模板对应的圆形邻域内像素与模板中像素不同的总个数。

[0039] 为了进一步提高模板匹配的可靠性，一种改进是：在模板组的每个模板的边界处向外扩展一圈，这一圈像素取值为0；形成的新模板仍近似为圆形，内部全1，最外一圈全0，匹配时的求和范围包括最外一圈；绝对差和结果小于模板像素数(包括扩展的一圈)的35％时达到相似性要求，记当前点为中心、与边界扩展前的模板对应的像素总体形成的区域为候选标记点。这种改进相当于在模板的外圈加了一层相反的取值，使最优匹配区域真正类似标记点，区域本身是圆面，周围是背景。这种方法排除了原匹配方法中的一部分不可能是真实标记点的候选标记点，提高了算法鲁棒性；这种方法也不需要先排除大片连续区域再匹配。

[0040] 第五步是识别标记线。取候选标记点中心为圆心的圆形邻域。圆形邻域的半径是经验取值，与估计的标记线成像长度有关，只要在邻域范围内能检测出线，并能排除常见的背景干扰，如取半径为45像素。在圆形范围内，将圆等分为若干扇形，如等分为24份；相应于将0-360度等分为每15度一份，形成角度范围：0-15度，15-30度，30-45度，......，345-360度，共24个；也可以等分为30份或20份等。在圆形邻域中分别统计落在这些角度范围内的、不是背景、不在候选标记点区域内的像素点的数目，形成直方图；直方图的每个箱格对应一个角度范围，箱格取值为圆形邻域中落在该角度范围内的、不是背景、不在候选标记点区域内的像素点数目，即可能落在该角度范围内的标记线上的像素数目；直方图峰值大于给定阈值且唯一时，判定为存在标记线；记直方图峰值所在扇形区域，即对应的角度范围为标记线的大致方向。

[0041] 为了提高标记线检测的精度，统计直方图时的一种改进是：每个不是背景、不在候选标记点区域内的像素点，以标记点中心为原点，实际计算出像素点的角度；根据各个角度范围的中心对应的角度与当前角度的差，使用加权函数累加到直方图上多个邻近的箱格内。如，一种加权方法是，圆周等分为24份情况下，30-45度范围的中心角度为37.5度，一个点计算出角度为37.5度，则在直方图上30-45度对应的箱格内累加1，在15-30度对应的箱格内累加0.5，在45-60度的箱格内累加0.5，其它箱格累加0；如上的加权可以用函数表示为： 其中t表示直方图中箱格对应的角度范围的中心的角度，θ表示当前点计算出的角度，函数形状如图6所示。还可以使用高斯加权函数等，加权函数可以使用各种形式，只要能满足条件：箱格对应角度范围中心的角度与当前点角度差最小的累加最大的值，角度差越大累加值越小。

[0042] 第六步是形状判别、标记点编号。统计各个编号标记后的连通区域，计算面积，即属于该连通区域的像素数；计算外包矩形，即恰好包含当前区域的最小矩形，计算方法是找出连通区域内像素的最小横坐标作为矩形的左边、最小纵坐标作为矩形的上边、最大横坐标作为右边、最大纵坐标作为下边。将连通区域按面积大小排序，区域的外包矩形的长宽在给定阈值范围内，且长宽比在给定阈值范围内，且连通区域面积与外包矩形的面积比大于给定阈值，则该连通区域为标记点。这种判断方法是保证连通区域面积在合理范围内，且圆度与标记点的圆度接近。最后加入前一步判定的与标记线相邻的候选标记点，并结合标记点面积大小、标记线位置和指向，对标记点分组编号。如果某个面积与其余的面积都相差很大，直接排除，各标记点可先按面积粗略分组，然后使用与标记线的位置关系精确编号；标记点编号规则可自由约定，例如标记线邻接的点为1，指向的点编号为2，同组内顺时针编号，另一组中与标记线邻接点最近的点编为1，其余顺时针编号。

[0043] 本发明的一个实施例在PC平台实现，可实时计算单幅图像，能够准确、高效地识别标记线和标记点。