医疗用图像处理装置以及医疗用图像处理方法

摘要

本发明的医疗用图像处理装置的特征在于具有：边缘提取部，其提取从医疗用摄像装置输入的活体组织的像的二维图像的边缘；三维模型估计部，其根据二维图像来估计活体组织的三维模型；局部区域设定部，其在二维图像中设定以关注像素为中心的局部区域；判定部，其判定局部区域是否由在边缘提取部中提取出的边缘的至少一部分分割；形状特征量计算部，其根据判定部的判定结果，使用三维坐标数据来计算关注像素的形状特征量，该三维坐标数据与局部区域中未被在边缘提取部中提取出的边缘所分割的区域且存在关注像素的区域对应；以及隆起形状检测部，其根据形状特征量计算部的计算结果来检测隆起形状。

权利要求

1.一种医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有：三维模型估计部，其根据从医疗用摄像装置输入的活体组织的像的二维图像，估计所述活体组织的三维模型；

局部区域设定部，其在所述三维模型中设定以关注体素为中心的局部区域；

判定部，其判定所述局部区域中所包含的三维坐标数据的数是否比预定的阈值多；

形状特征量计算部，其根据所述判定部的判定结果，在所述局部区域中所包含的三维坐标数据的数比预定的阈值多的情况下，使用所述局部区域中所包含的三维坐标数据，计算所述关注体素中的形状特征量；

隆起形状检测部，其根据所述形状特征量计算部的计算结果来检测隆起形状；以及提取所述二维图像的边缘的边缘提取部，所述局部区域设定部根据所述边缘提取部的边缘提取结果，判定所述关注体素是否是与所述二维图像的边缘对应的体素，并且根据该判定的结果来变更所述局部区域的尺寸。

2.根据权利要求1所述的医疗用图像处理装置，其特征在于，在所述关注体素不是与所述二维图像的边缘对应的体素的情况下，所述局部区域设定部将所述局部区域的尺寸设定为第一尺寸，并且在所述关注体素是与所述二维图像的边缘对应的体素的情况下，所述局部区域设定部将所述局部区域的尺寸设定为比该第一尺寸小的第二尺寸。

说明书

医疗用图像处理装置以及医疗用图像处理方法

技术领域

[0001] 本发明涉及医疗用图像处理装置以及医疗用图像处理方法，尤其是涉及根据活体组织的像的二维图像，估计该活体组织的三维模型的医疗用图像处理装置以及医疗用图像处理方法。

背景技术

[0002] 以往，在医疗领域中，使用X线诊断装置、CT、MRI、超声波观测装置以及内窥镜装置等图像摄像设备的观察被广泛进行。这种图像摄像设备中的内窥镜装置例如具有以下的作用和结构：具有能够插入到体腔内的插入部，通过固体摄像元件等摄像单元拍摄由配置在该插入部的前端部的物镜光学系统所成像的体腔内的像，并将其作为摄像信号进行输出，根据该摄像信号在监视器等显示单元上显示体腔内的像的图像。而且，用户根据显示在监视器等显示单元上的体腔内的像的图像，例如对体腔内的脏器等进行观察。 [0003] 内窥镜系统能够直接拍摄消化道粘膜的像。因此，用户能够综合观察例如粘膜的色调、病变的形状和粘膜表面的细微构造等。此外，近些年来，提出了能够根据与所拍摄的体腔内的像对应的二维图像的数据，估计该体腔内的像的三维模型的内窥镜装置。 [0004] 并且，作为能通过内窥镜装置检测存在着具有局部隆起形状的病变的预定图像的图像处理方法，例如通过使用日本特开2005-192880号公报中所记载的图像处理方法，还能够检测包括息肉等病变部位的图像。

[0005] 但是，对于通过内窥镜拍摄的作为具有隆起形状的活体组织的像的、例如包含大肠的褶皱或者息肉等活体组织的像在内的二维图像，大多在该内窥镜的视野方向上包括不可视区域。而且，所述二维图像中的不可视区域一般被称作遮挡(Occlusion)。 [0006] 日本特开2005-192880号公报的图像处理方法在作为根据由内窥镜取得的二维图像来估计三维模型时的处理而使用的情况下，由于根据存在于所述遮挡的部分上的、可靠性较低的三维数据来进行估计，从而具有隆起形状的检测效率下降的问题：。 发明内容

[0007] 鉴于上述方面，本发明的目的在于提供一种在根据由内窥镜取得的二维图像估计三维模型时，与以往相比能够使隆起形状的检测效率提高的医疗用图像处理装置以及医疗用图像处理方法。

[0008] 根据本发明中第一方式的医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有：边缘提取部，其根据从医疗用摄像装置输入的活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计部，其根据所述二维图像来估计所述活体组织的三维模型；局部区域设定部，其在所述二维图像中设定以关注像素为中心的局部区域；判定部，其判定所述局部区域是否被在所述边缘提取部中提取出的边缘的至少一部分分割；形状特征量计算部，其根据所述判定部的判定结果，使用三维坐标数据来计算所述关注像素的形状特征量，该三维坐标数据与所述局部区域中没有被在所述边缘提取部中提取出的边缘分割的区域且存在所述关注像素的区域对应；以及隆起形状检测部，其根据所述形状特征量计算部的计算结果来检测隆起形状。

[0009] 根据本发明中第二方式的医疗用图像处理装置，其特征在于，在所述第一方式的医疗用图像处理装置中，作为用于判定所述局部区域是否被在所述边缘提取部中提取出的边缘的至少一部分分割的处理，所述判定部进行对存在于所述局部区域内的边缘的各端部是否与所述局部区域的任意一个端部接触进行检测的处理。

[0010] 根据本发明中第三方式的医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有：三维模型估计部，其根据从医疗用摄像装置输入的活体组织的像的二维图像，估计所述活体组织的三维模型；局部区域设定部，其在所述三维模型中设定以关注体素为中心的局部区域；判 定部，其判定所述局部区域中所包含的三维坐标数据的数是否比预定的阈值多；形状特征量计算部，其根据所述判定部的判定结果，在所述局部区域中所包含的三维坐标数据的数比预定的阈值多的情况下，使用所述局部区域中所包含的三维坐标数据，计算所述关注体素中的形状特征量；以及隆起形状检测部，其根据所述形状特征量计算部的计算结果来检测隆起形状。

[0011] 根据本发明中第四方式的医疗用图像处理装置，其特征在于，在所述第三方式的医疗用图像处理装置中，该医疗用图像处理装置还具有提取所述二维图像的边缘的边缘提取部，所述局部区域设定部根据所述边缘提取部的边缘提取结果，判定所述关注体素是否是与所述二维图像的边缘对应的体素，并且根据该判定的结果来变更所述局部区域的尺寸。

[0012] 根据本发明中第五方式的医疗用图像处理装置，其特征在于，在所述第四方式的医疗用图像处理装置中，在所述关注体素不是与所述二维图像的边缘对应的体素的情况下，所述局部区域设定部将所述局部区域的尺寸设定为第一尺寸，并且在所述关注体素是与所述二维图像的边缘对应的体素的情况下，所述局部区域设定部将所述局部区域的尺寸设定为比该第一尺寸小的第二尺寸。

[0013] 根据本发明中第六方式的医疗用图像处理装置，其特征在于，该医疗用图像处理装置具有：边缘提取部，其根据从医疗用摄像装置输入的活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计部，其根据所述二维图像来估计所述活体组织的三维模型；形状特征量计算部，其根据与所述二维图像的一个边缘对应的部分的三维坐标数据，计算所述三维模型中的该一个边缘的曲率，将该曲率作为形状特征量；以及隆起形状检测部，其根据所述形状特征量计算部的计算结果来检测隆起形状。

[0014] 根据本发明中第一方式的医疗用图像处理方法，其特征在于，该医疗用图像处理方法具有：边缘提取步骤，根据从医疗用摄像装置输入的活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计步骤，根据所述二维图像来估计所述活体组织的三维模型；局部区域设定步骤， 在所述二维图像中设定以关注像素为中心的局部区域；判定步骤，判定所述局部区域是否被在所述边缘提取步骤中提取出的边缘的至少一部分分割；形状特征量计算步骤，根据所述判定步骤的判定结果，使用三维坐标数据来计算所述关注像素的形状特征量，该三维坐标数据与所述局部区域中没有被在所述边缘提取步骤中提取出的边缘分割的区域且存在所述关注像素的区域对应；以及隆起形状检测步骤，根据所述形状特征量计算步骤的计算结果来检测隆起形状。

[0015] 根据本发明中第二方式的医疗用图像处理方法，其特征在于，在所述第一方式的医疗用图像处理方法中，在所述判定步骤中，作为用于判定所述局部区域是否被在所述边缘提取步骤中提取出的边缘的至少一部分分割的处理，进行对存在于所述局部区域内的边缘的各端部是否与所述局部区域的任意一个端部接触进行检测的处理。 [0016] 根据本发明中第三方式的医疗用图像处理方法，其特征在于，该医疗用图像处理方法具有：三维模型估计步骤，根据从医疗用摄像装置输入的活体组织的像的二维图像，估计所述活体组织的三维模型；局部区域设定步骤，在所述三维模型中设定以关注体素为中心的局部区域；判定步骤，判定所述局部区域中所包含的三维坐标数据的数是否比预定的阈值多；形状特征量计算步骤，根据所述判定步骤的判定结果，在所述局部区域中所包含的三维坐标数据的数比预定的阈值多的情况下，使用所述局部区域中所包含的三维坐标数据，计算所述关注体素中的形状特征量；以及隆起形状检测步骤，根据所述形状特征量计算步骤的计算结果来检测隆起形状。

[0017] 根据本发明中第四方式的医疗用图像处理方法，其特征在于，在所述第三方式的医疗用图像处理方法中，该医疗用图像处理方法还具有提取所述二维图像的边缘的边缘提取步骤，在所述局部区域设定步骤中，根据所述边缘提取步骤的边缘提取结果，判定所述关注体素是否是与所述二维图像的边缘对应的体素，并且根据该判定的结果来变更所述局部区域的尺寸。

[0018] 根据本发明中第五方式的医疗用图像处理方法，其特征在于，在所 述第四方式的医疗用图像处理方法中，在所述局部区域设定步骤中，在所述关注体素不是与所述二维图像的边缘对应的体素的情况下，将所述局部区域的尺寸设定为第一尺寸，并且在所述关注体素是与所述二维图像的边缘对应的体素的情况下，将所述局部区域的尺寸设定为比该第一尺寸小的第二尺寸。

[0019] 根据本发明中第六方式的医疗用图像处理方法，其特征在于，该医疗用图像处理方法具有：边缘提取步骤，根据从医疗用摄像装置输入的活体组织的像的二维图像，提取该二维图像的边缘；三维模型估计步骤，根据所述二维图像来估计所述活体组织的三维模型；形状特征量计算步骤，根据与所述二维图像的一个边缘对应的部分的三维坐标数据，计算所述三维模型中的该一个边缘的曲率，将该曲率作为形状特征量；以及隆起形状检测步骤，根据所述形状特征量计算步骤的计算结果来检测隆起形状。

附图说明

[0020] 图1是表示应用了本发明实施方式所涉及的医疗用图像处理装置的内窥镜系统的整体结构的一个例子的图。

[0021] 图2是表示图1的医疗用图像处理装置在第一实施方式中执行的处理步骤的一个例子的流程图。

[0022] 图3是表示通过图1的医疗用图像处理装置取得的边缘图像的一个例子的图。 [0023] 图4是图3的边缘图像中的一个局部区域的放大图。

[0024] 图5是表示针对图4的一个局部区域实施了标示时的状态的示意图。 [0025] 图6是表示如图5所示实施了标示的各区域与三维模型中存在上述各区域的三维坐标数据的部分之间的对应关系的图。

[0026] 图7是表示图1的医疗用图像处理装置在第二实施方式中执行的处理步骤的一个例子的流程图。

[0027] 图8是表示图1的医疗用图像处理装置在第二实施方式中执行的处理步骤且与图7不同的例子的流程图。

[0028] 图9是表示图1的医疗用图像处理装置在第三实施方式中执行的处理步骤的一个例子的流程图。

具体实施方式

[0029] (第一实施方式)

[0030] 图1到图6涉及本发明的第一实施方式。图1是表示应用了本发明实施方式所涉及的医疗用图像处理装置的内窥镜系统的整体结构的一个例子的图。图2是表示图1的医疗用图像处理装置在第一实施方式中执行的处理步骤的一个例子的流程图。图3是表示通过图1的医疗用图像处理装置取得的边缘图像的一个例子的图。图4是图3的边缘图像中的一个局部区域的放大图。图5是表示针对图4的一个局部区域实施了标示时的状态的示意图。图6是表示如图5所示实施了标示的各区域与三维模型中存在上述各区域的三维坐标数据的部分之间的对应关系的图。

[0031] 如图1所示，内窥镜系统1的主要部分构成为具有：医疗用观察装置2，其拍摄被摄体，并且输出该被摄体的像的二维图像；由个人计算机等构成的医疗用图像处理装置3，其对从医疗用观察装置2输出的二维图像的影像信号进行图像处理，并且将进行了该图像处理之后的影像信号作为图像信号输出；以及监视器4，其显示基于从医疗用图像处理装置3输出的图像信号的图像。

[0032] 另外，医疗用观察装置2的主要部分构成为具有：内窥镜6，其插入到体腔内，并且拍摄该体腔内的被摄体，作为摄像信号进行输出；光源装置7，其提供用于照明通过内窥镜6拍摄的被摄体的照明光；照相机控制单元(以下简称为CCU)8，其对内窥镜6进行各种控制，并且对从内窥镜6输出的摄像信号进行信号处理，作为二维图像的影像信号进行输出；
以及监视器9，其根据从CCU 8输出的二维图像的影像信号，对通过内窥镜6拍摄的被摄体的像进行图像显示。

[0033] 内窥镜6构成为具有插入到体腔内的插入部11和设置在插入部11的基端侧的操作部12。另外，在从插入部11内的基端侧到插入部11内的前端侧的前端部14的部分上，插入贯穿(插穿)有用于传送从光源装 置7提供的照明光的光导13。

[0034] 光导13的前端侧配置在内窥镜6的前端部14上，并且后端侧与光源装置7相连接。由于光导13具有这种结构，因此从光源装置7提供来的照明光通过光导13传送之后，从设于插入部11的前端部14的前端面上的未图示的照明窗射出。而且，通过从未图示的照明窗射出照明光，来照明作为被摄体的活体组织等。

[0035] 在内窥镜6的前端部14设有摄像部17，该摄像部17具有：物镜光学系统15，其安装在与未图示的照明窗相邻的未图示的观察窗上；以及例如由CCD(电荷耦合元件)等构成的摄像元件16，其配置在物镜光学系统15的成像位置上。根据这种结构，通过物镜光学系统15成像的被摄体的像在通过摄像元件16进行拍摄之后，作为摄像信号被输出。 [0036] 摄像元件16经由信号线与CCU 8相连接。而且，摄像元件16根据从CCU 8输出的驱动信号进行驱动，并对CCU 8输出摄像信号。

[0037] 另外，输入到CCU 8的摄像信号在设置于CCU 8内部的未图示的信号处理电路中进行信号处理，由此转换为二维图像的影像信号被输出。从CCU 8输出的二维图像的影像信号被输出到监视器9和医疗用图像处理装置3。由此，在监视器9上将基于从CCU 8输出的影像信号的被摄体的像显示为二维图像。

[0038] 医疗用图像处理装置3具有：图像输入部21，其对从医疗用观察装置2输出的二维图像的影像信号进行A/D转换并输出；作为中央运算处理装置的CPU 22，其对从图像输入部21输出的影像信号进行图像处理；处理程序存储部23，其被写入了与该图像处理有关的处理程序；图像存储部24，其存储从图像输入部21输出的影像信号等；以及信息存储部25，其存储作为CPU 22的图像处理结果的图像数据等。

[0039] 另外，医疗用图像处理装置3具有：存储装置接口26；作为存储装置的硬盘27，其经由存储装置接口26存储作为CPU 22的图像处理结果的图像数据等；显示处理部28，其根据作为CPU 22的图像处理结果的图像数据，进行用于在监视器4上对该图像数据进行图像显示的显示处理，并且将进行了该显示处理后的图像数据作为图像信号输出；以及由 键盘等构成的输入操作部29，其能通过用户输入CPU 22进行的图像处理中的参数和对医疗用图像处理装置3的操作指示。而且，监视器4显示基于从显示处理部28输出的图像信号的图像。

[0040] 并且，医疗用图像处理装置3的图像输入部21、CPU 22、处理程序存储部23、图像存储部24、信息存储部25、存储装置接口26、显示处理部28和输入操作部29经由数据总线30而彼此连接。

[0041] 下面，对内窥镜系统1的作用进行说明。

[0042] 首先，用户将内窥镜6的插入部11插入到体腔内。而且，当由用户将插入部11插入到体腔内时，通过设置于前端部14的摄像部17拍摄作为被摄体的活体组织的像。然后，将通过摄像部17拍摄的活体组织的像作为摄像信号输出到CCU 8。

[0043] CCU 8在未图示的信号处理电路中，对从摄像部17的摄像元件16输出的摄像信号进行信号处理，由此将该摄像信号转换为二维图像的影像信号并输出。而且，监视器9根据从CCU 8输出的影像信号，将活体组织的像显示成二维图像。另外，CCU 8将通过对从摄像部17的摄像元件16输出的摄像信号进行信号处理而得到的二维图像的影像信号输出到医疗用图像处理装置3。

[0044] 此外，输出到医疗用图像处理装置3的二维图像的影像信号在图像输入部21中进行了A/D转换之后，被输入到CPU 22。

[0045] CPU 22针对从图像输入部21输出的二维图像实施基于相邻像素间的深浅等级之比的边缘提取处理(图2的步骤S1)。通过该处理，CPU 22取得例如图3所示的图像来作为与所述二维图像对应的边缘图像。

[0046] 此外，所述边缘提取处理不限于基于相邻像素间的深浅等级之比的处理，也可以是例如使用与所述二维图像的红色分量对应的带通滤波器来进行的处理等。 [0047] 接着，CPU 22根据从图像输入部21输出的二维图像，通过使用例如从明暗恢复形状(Shape From Shading)法等，实施基于该二维图像的亮度信息等的几何学中的转换等处理，从而进行与该二维图像的各像素对应的三维坐标数据的估计(图2的步骤S2)。 [0048] 此外，在本实施方式中，将从图像输入部21输出的二维图像设为ISX×ISY尺寸的图像，即：该图像在水平方向上具有ISX个像素，在垂直方向上具有ISY个像素。 [0049] CPU 22在将边缘图像内的各像素中的关注像素k设定为1(图2的步骤S3)后，在该边缘图像内，设定以该关注像素k为中心的N×N(例如15×15)尺寸的局部区域Rk(图2的步骤S4)。另外，将关注像素k设为通过1≤k≤ISX×ISY确定的变量。此外，将所述N的值设为不超过二维图像中的水平方向上的像素数ISX以及该二维图像中的垂直方向上的像素数ISY的各值中的任意一个的值。

[0050] 通过图2的步骤S4的处理，CPU 22在例如图3和图4所示那样设定了局部区域Rk后，进行在该局部区域Rk内是否存在边缘的判定(图2的步骤S5)。并且，CPU 22在检测出在局部区域Rk内存在边缘时，进一步进行如下判定：该局部区域Rk是否被该边缘分割(图2的步骤S6)。

[0051] CPU 22在图2的步骤S5的处理中检测出在局部区域Rk内不存在边缘时，进行后述的图2的步骤S8的处理。此外，CPU 22在图2的步骤S6的处理中检测出该局部区域Rk没有被局部区域Rk内的边缘分割时，进行后述的图2的步骤S8的处理。

[0052] CPU 22在图2的步骤S6的处理中，通过检测存在于局部区域Rk内的边缘的各端部是否与该局部区域Rk的任意一个端部接触，进行是否分割了该局部区域Rk的判定。 [0053] 具体而言，CPU 22例如在图5所示的局部区域Rk中，检测出边缘Ek的两端分别与该局部区域Rk的端部接触，并且根据该检测出的结果，判定为该局部区域Rk被分割为2个。

[0054] CPU 22在图2的步骤S6的处理中，检测出该局部区域Rk被存在于局部区域Rk内的边缘分割时，对通过该边缘所分割的(局部区域Rk内的)各区域进行标示(图2的步骤S7)。

[0055] 具体而言，CPU 22例如在图5所示的局部区域Rk中，隔着边缘Ek将左侧的区域设定为标记(label：标签)1，并且，隔着边缘Ek将右侧的区域设定为标记2。 [0056] 在根据二维图像进行三维模型的估计时，将在局部区域Rk内由边缘Ek分割的各区域估计为隔着该边缘Ek存在于各个不连续的面上的三维坐标数据。CPU 22根据通过进行作为图2的步骤S7的处理所示出的标记而取得的、存在于上述不连续的面上的三维坐标数据，检测在三维模型内是否产生了遮挡(occlusion)。并且，CPU 22例如按照图6所示那样，采用使图5的设定为标记1的部分相当于边缘的上侧涉及遮挡的部分的三维坐标数据，来进行三维模型的估计。此外，CPU 22例如按照图6所示那样，采用使图5的设定为标记2的部分相当于边缘的左侧涉及遮挡的部分的三维坐标数据，来进行三维模型的估计。 [0057] 此外，CPU 22在图2的步骤S5的处理中检测出在局部区域Rk内不存在边缘时，或者在图2的步骤S6的处理中检测出该局部区域Rk没有被局部区域Rk内的边缘分割的任意一种情况下，将局部区域Rk整个区域设为1个标记(图2的步骤S8)。 [0058] 其后，CPU 22使用局部区域Rk中的、与关注像素k所属的标记相同的标记的区域内的各像素的三维坐标数据，取得曲面方程式(图2的步骤S9)。

[0059] 具体而言，例如在图5所示的局部区域Rk中，CPU 22使用关注像素k所属的标记2的区域内的像素的三维坐标数据，取得曲面方程式。并且，CPU 22在图2的步骤S8的处理中将局部区域Rk的整个区域设为1个标记的情况下，使用存在于局部区域Rk的整个区域内的各像素的三维坐标数据，取得曲面方程式。

[0060] CPU 22根据在图2的步骤S9的处理中取得的曲面方程式，计算关注像素k中的形状特征量(图2的步骤S10)。另外，在本实施方式中，CPU 22分别计算形状指标(ShapeIndex)值和曲率(Curvedness)值，将其作为所述形状特征量。此外，能使用与例如美国专利申请公开号为No.20030223627所记载的方法相同的方法，根据曲面方程式计算出所述的形状指标值和曲率值。因此，在本实施方式的说明中，省略与形状指标值及曲率值的计算方法相关的说明。

[0061] 此外，CPU 22通过进行图2的步骤S9和步骤S10的处理，能够不 使用与三维模型中的遮挡相当的部分的数据、即估计结果可靠性相对较低的三维坐标数据，而使用估计结果的可靠性相对较高的三维坐标数据，精度良好地计算出关注像素k中的形状特征量。 [0062] CPU 22在图2的步骤S10的处理中计算出关注像素k的形状特征量后，进行该关注像素k的值是否是ISX×ISY的判定(图2的步骤S11)。并且，在关注像素k的值是ISX×ISY的情况下，CPU 22继续进行后述图2的步骤S13的处理。此外，在关注像素k的值不是ISX×ISY的情况下，CPU 22将关注像素k的值设为k+1(图2的步骤S12)，然后再次进行上述的图2的步骤S4到步骤S11的一系列处理。

[0063] CPU 22在图2的步骤S11的处理中完成了边缘图像内的各像素的形状特征量的计算后，还通过进行基于计算出的各个形状特征量的阈值处理，检测三维模型内的隆起形状(图2的步骤S13)。

[0064] 具体而言，例如在将形状指标值的阈值Sth设定为0.9，并且将曲率值的阈值Cth设定为0.2的情况下，CPU 22检测具有比该阈值Sth大并且比该阈值Cth大的形状特征量的三维坐标数据组，将其作为(起因于息肉等病变的、局部的)隆起形状。 [0065] 此外，针对用户，隆起形状的检测结果例如可以通过显示在监视器4上的二维图像(或三维模型)的对应部分的着色来表示，并且，还可以通过指示显示在监视器4上的二维图像(或三维模型)的对应部分的记号和(或)字符来表示。

[0066] 如上所述，本实施方式的医疗用图像处理装置3在作为图2所示的处理的上述一系列处理中，仅使用估计结果的可靠性相对较高的三维坐标数据进行形状特征量的计算。其结果，本实施方式的医疗用图像处理装置3在根据由内窥镜取得的二维图像估计三维模型时，与以往相比能够使隆起形状的检测效率提高。

[0067] (第二实施方式)

[0068] 图7和图8涉及本发明的第二实施方式。图7是表示图1的医疗用图像处理装置在第二实施方式中进行的处理步骤的一个例子的流程图。图8是表示图1的医疗用图像处理装置在第二实施方式中进行的处理步 骤且与图7不同的例子的流程图。 [0069] 另外，对具有与第一实施方式相同结构的部分，省略详细说明。此外，本实施方式所使用的内窥镜系统1的结构与第一实施方式相同。

[0070] 接着，对在医疗用图像处理装置3中进行的图像处理动作进行说明。 [0071] CPU 22根据从图像输入部21输出的二维图像，使用例如从明暗恢复形状法等，实施基于该二维图像的亮度信息等的几何学中的转换等处理，从而进行与该二维图像的各像素对应的三维坐标数据的估计(图7的步骤S101)。

[0072] 之后，CPU 22根据在图7的步骤S101的处理中估计出的各三维坐标数据，例如通过分别计算x坐标的最大值和最小值之差、y坐标的最大值和最小值之差以及z坐标的最大值和最小值之差，取得三维模型的尺寸(图7的步骤S102)。

[0073] 另外，本实施方式的CPU 22在图7的步骤S102的处理中，通过分别检测出在x轴方向(水平方向)上存在TDX个体素、在y轴方向(深度方向)上存在TDY个体素、以及在z轴方向(高度方向)上存在TDZ个体素，取得TDX×TDY×TDZ来作为三维模型的尺寸。 [0074] CPU 22在将三维模型内的各体素中的关注体素b设定为1(图7的步骤S103)后，在该三维模型内，设定以该关注体素b为中心的P×P×P(例如15×15×15)尺寸的局部立体区域Db(图7的步骤S104)。另外，将关注体素b设为通过1≤b≤TDX×TDY×TDZ确定的变量。此外，将上述P的值设为不超过三维模型中的x轴方向上的体素数TDX、该三维模型中的y轴方向上的体素数TDY以及该三维模型中的z轴方向上的体素数TDZ的各值的任意一个的值。

[0075] 此外，CPU 22在检测出存在于局部立体区域Db内的体素的个数Q(图7的步骤S105)后，对该体素的个数Q的值和通过(P×P)/2的运算所计算出的值进行比较(图7的步骤S106)。

[0076] CPU 22在检测出体素的个数Q的值比通过(P×P)/2的运算所计算出的值大的情况下，进一步使用存在于局部立体区域Db内的各体素的三维坐标数据，进行取得曲面方程式的处理(图7的步骤S107)。并且， CPU 22在检测出体素的个数Q的值小于等于通过(P×P)/2的运算所计算出的值的情况下，进行后述的图7的步骤S109的处理。 [0077] 另外，上述的体素的个数Q的值是表示通过CPU 22估计出(可靠性比较高的)三维坐标数据的体素的个数的值。此外，上述(P×P)/2的值是表示CPU 22取得曲面方程式时所需要的体素的个数的下限的值。即，CPU 22通过上述的图7的步骤S106的处理，进行局部立体区域Db是否是能取得曲面方程式的区域的判断。

[0078] CPU 22根据在图7的步骤S107的处理中取得的曲面方程式，计算关注体素b中的形状特征量(图7的步骤S108)。另外，在本实施方式中，CPU 22分别计算形状指标值和曲率值来作为上述形状特征量。此外，通过使用例如与美国专利申请公开号为No.20030223627所记载的方法相同的方法，能够根据曲面方程式计算出上述形状指标值和曲率值。因此，在本实施方式的说明中，省略与形状指标值及曲率值的计算方法相关的说明。

[0079] 此外，CPU 22能够通过进行图7的步骤S106～步骤S108的处理，从处理对象中排除较多地包括与三维模型中的遮挡相当的部分的数据、即估计结果的可靠性相对较低的三维坐标数据的区域，同时将较多地包括估计结果的可靠性相对较高的三维坐标数据的区域作为处理对象，精度良好地计算出关注体素b中的形状特征量。

[0080] CPU 22在图7的步骤S108的处理中计算出关注体素b的形状特征量后，进行该关注体素b的值是否是TDX×TDY×TDZ的判定(图7的步骤S109)。并且，CPU 22在关注体素b的值是TDX×TDY×TDZ的情况下，继续进行后述图7的步骤S111的处理。此外，CPU22在关注体素b的值不是TDX×TDY×TDZ的情况下，将关注体素b的值设为b+1(图7的步骤S110)后，再次进行上述的图7的步骤S104～步骤S109的一系列处理。 [0081] CPU 22在图7的步骤S110的处理中完成了三维模型内的各体素的形状特征量的计算后，还进行基于计算出的各个形状特征量的阈值处理，从而检测该三维模型内的隆起形状(图7的步骤S111)。

[0082] 具体而言，例如在将形状指标值的阈值Sth1设定为0.9，并且将曲率值的阈值Cth1设定为0.2的情况下，CPU 22检测具有比该阈值Sth1大并且比该阈值Cth1大的形状特征量的三维坐标数据组，将其作为(起因于息肉等病变的、局部的)隆起形状。 [0083] 此外，针对用户，隆起形状的检测结果例如可以通过显示在监视器4上的二维图像(或三维模型)的对应部分的着色来表示，并且，还可以通过指示显示在监视器4上的二维图像(或三维模型)的对应部分的记号和(或)字符来表示。

[0084] 如上所述，本实施方式的医疗用图像处理装置3在作为图7所示的处理的上述的一系列处理中，仅在较多地包括估计结果的可靠性相对较高的三维坐标数据的区域中进行形状特征量的计算。其结果，本实施方式的医疗用图像处理装置3在根据由内窥镜取得的二维图像估计三维模型时，与以往相比能够使隆起形状的检测效率提高。 [0085] 另外，在本实施方式中，CPU 22不限于进行使用固定尺寸的局部立体区域来检测成为曲面方程式的取得对象的区域这样的处理，例如，还可以进行如下处理，即：根据关注体素是否存在于边缘上来变更局部立体区域的尺寸，并且检测成为曲面方程式的取得对象的区域。

[0086] 此时，首先，CPU 22针对二维图像实施在第一实施方式的说明中已作描述的、与图2的步骤S1相同的边缘提取处理(图8的步骤S201)。通过该处理，CPU22检测出在上述二维图像中存在边缘的部分。

[0087] 此外，CPU 22通过与图7的步骤S101及步骤S102的处理同样的处理，进行与该二维图像的各像素对应的三维坐标数据的估计，并且根据各个上述三维坐标数据，取得三维模型的尺寸(图8的步骤S202和步骤S203)。

[0088] CPU 22在将三维模型内的各体素中的关注体素e设定为1(图8的步骤S204)后，根据该关注体素e的三维坐标数据，判定该关注体素e是否是根据二维图像内的形成边缘的像素估计的(图8的步骤S205)。

[0089] 在关注体素e是根据二维图像内的形成边缘的像素估计出的情况下，CPU 22将变量P1设定为R(图8的步骤S206)，然后继续进行后述的图 8的步骤S208的处理。此外，在关注体素e不是根据二维图像内的形成边缘的像素估计出的情况下，CPU 22将变量P1设定为T(图8的步骤S207)，然后继续后述的图8的步骤S208的处理。

[0090] 另外，将在图8的步骤S206的处理中所设定的值R设定为比在图8的步骤S207的处理中所设定的值T小的值(例如R＝T/2)。即，CPU 22在图8的步骤S205～S207的处理中，通过根据关注体素是否存在于边缘上来变更局部立体区域的尺寸，从而与进行了图7所示的一系列处理的情况相比，能够较多地取得成为曲面方程式的取得对象的区域。 [0091] 此外，CPU 22通过与图7的步骤S104及步骤S105的处理同样的处理，设定以关注体素e为中心的P1×P1×P1的尺寸的局部立体区域De，并且检测出存在于该局部立体区域De内的体素的个数Q1(图8的步骤S208和步骤S209)。

[0092] 此后，CPU 22对上述体素的个数Q1的值和通过(P1×P1)/2的运算所计算出的值进行比较(图8的步骤S210)。

[0093] 在检测出体素的个数Q1的值比通过(P1×P1)/2的运算所计算出的值大的情况下，CPU 22进一步使用存在于局部立体区域De内的各体素的三维坐标数据，进行取得曲面方程式的处理(图8的步骤S211)。并且，在检测出体素的个数Q1的值小于等于通过(P1×P1)/2的运算所计算出的值的情况下，CPU 22进行后述的图8的步骤S213的处理。 [0094] 另外，上述的体素的个数Q1的值是表示通过CPU 22估计出(可靠性比较高的)三维坐标数据的体素的个数的值。此外，上述(P1×P1)/2的值是表示CPU 22取得曲面方程式时所需要的体素的个数的下限的值。即，CPU 22通过上述的图8的步骤S210的处理，进行局部立体区域De是否是能够取得曲面方程式的区域的判断。

[0095] CPU 22根据在图8的步骤S211的处理中所取得的曲面方程式，计算关注体素e中的形状特征量(例如形状指标值和曲率值)(图8的步骤S212)。

[0096] 此后，CPU 22进行关注体素e的值是否是TDX×TDY×TDZ的判定(图8的步骤S213)。并且，CPU 22在关注体素e的值是TDX×TDY×TDZ 的情况下，继续进行后述图8的步骤S215的处理。此外，CPU 22在关注体素e的值不是TDX×TDY×TDZ的情况下，将关注体素e的值设为e+1(图8的步骤S214)后，再次进行上述的图8的步骤S205～步骤S213的一系列处理。

[0097] CPU 22在图8的步骤S213的处理中完成了三维模型内的各体素的形状特征量的计算后，还进行基于计算出的各个形状特征量的阈值处理，从而检测该三维模型内的隆起形状(图8的步骤S215)。

[0098] 具体而言，例如在将形状指标值的阈值Sth2设定为0.9，并且将曲率值的阈值Cth2设定为0.2的情况下，CPU 22检测具有比该阈值Sth2大并且比该阈值Cth2大的形状特征量的三维坐标数据组，将其作为(起因于息肉等病变的、局部的)隆起形状。 [0099] 此外，针对用户，隆起形状的检测结果例如可以通过显示在监视器4上的二维图像(或三维模型)的对应部分的着色来表示，并且，还可以通过指示显示在监视器4上的二维图像(或三维模型)的对应部分的记号和(或)字符来表示。

[0100] 如上所述，本实施方式的医疗用图像处理装置3通过进行图8所示的一系列处理，与进行图7所示的一系列处理的情况相比，能够更加高效地检测出隆起形状。 [0101] (第三实施方式)

[0102] 图9涉及本发明的第三实施方式。图9是表示图1的医疗用图像处理装置在第三实施方式中进行的处理步骤的一个例子的流程图。

[0103] 另外，对具有与第一实施方式及第二实施方式相同结构的部分，省略详细说明。此外，用于本实施方式的内窥镜系统1的结构与第一实施方式及第二实施方式相同。 [0104] 接着，对在医疗用图像处理装置3中进行的图像处理动作进行说明。 [0105] 首先，CPU 22针对二维图像实施在第一实施方式的说明中已述的、与图2的步骤S1相同的边缘提取处理，并且针对所提取的各边缘进行标示(图9的步骤S301和S302)。 [0106] 另外，在本实施方式中，CPU 22通过进行图9的步骤S301和S302的处理，从二维图像中提取A个边缘，并且对所提取的各边缘赋予1～A的编号的标记。

[0107] 此后，CPU 22通过与图7的步骤S101的处理相同的处理，进行与二维图像的各像素对应的三维坐标数据的估计(图9的步骤S303)。

[0108] CPU 22在将边缘编号f设定为1(图9的步骤S304)后，根据形成边缘编号f的边缘的各体素的三维坐标数据，检测成为该边缘的中点的体素Gf(图9的步骤S305)。 [0109] 此外，CPU 22计算通过图9的步骤S305的处理所检测出的体素Gf中的边缘编号f的边缘的曲率CVf，将该曲率CVf作为形状特征量(图9的步骤S306)。

[0110] CPU 22进行边缘编号f的值是否是A的判定(图9的步骤S307)。并且，在边缘编号f的值是A的情况下，CPU 22继续进行后述图9的步骤S309的处理。此外，在边缘编号f的值不是A的情况下，CPU 22将边缘编号f的值设为f+1(图9的步骤S308)后，再次进行上述的图9的步骤S305～步骤S307的一系列处理。

[0111] CPU 22通过图9的从步骤S305到步骤S308的处理，完成了三维模型内的各边缘的曲率CVf的计算后，还进行基于计算出的各个上述曲率CVf的阈值处理，从而检测该三维模型内的隆起形状(图9的步骤S309)。

[0112] 具体而言，例如在将曲率的阈值CVth设定为0.2的情况下，CPU 22检测具有比该阈值CVth大的曲率的三维坐标数据组，将该三维坐标数据组作为起因于隆起形状的边缘。 [0113] 此外，针对用户，隆起形状的检测结果例如可以通过显示在监视器4上的二维图像(或三维模型)的对应部分的着色来表示，并且，还可以通过指示显示在监视器4上的二维图像(或三维模型)的对应部分的记号和(或)字符来表示。

[0114] 如上所述，本实施方式的医疗用图像处理装置3在作为图9所示的处理的上述一系列处理中，根据表示边缘形状的形状特征量来进行隆起形状的检测。 [0115] 其结果，本实施方式的医疗用图像处理装置3在根据由内窥镜取得的二维图像估计三维模型时，与以往相比能够高速且高效地检测出隆起形状。

[0116] 并且，本发明不限于上述各实施方式，当然可以在不脱离发明主旨的范围内进行各种变更和应用。