图像处理装置、图像处理方法和记录介质

摘要

图像处理装置具有：深部区域检测部，其在管内图像中检测深部区域；轮廓边缘提取部，其提取管内壁的轮廓边缘；凸形状区域解析部，其对轮廓边缘中的凸形状区域及其凸方向进行解析；以及异常区域检测部，其检测朝向深部区域的方向凸出的凸形状区域作为异常区域。

权利要求

1.一种图像处理装置，其特征在于，所述图像处理装置具有：深部区域检测部，其在管内图像中检测深部区域；

轮廓边缘提取部，其提取管内壁的轮廓边缘；

凸形状区域解析部，其对所述轮廓边缘中的凸形状区域及其凸方向进行解析；以及异常区域检测部，其检测朝向所述深部区域的方向凸出的凸形状区域作为异常区域。

2.根据权利要求1所述的图像处理装置，其特征在于，所述凸形状区域解析部具有：

弧形状区域检测部，其在所述轮廓边缘中检测呈弧形状的区域；以及弧形状凸方向计算部，其计算所述弧形状区域的凸方向。

3.根据权利要求2所述的图像处理装置，其特征在于，所述弧形状区域检测部具有：

稳健估计部，其根据所述轮廓边缘内的像素进行基于稳健估计的弧形状区域的检测；

以及

反复控制部，其进行控制，使得针对检测到的所述弧形状区域以外的区域反复进行基于所述稳健估计的所述弧形状区域的检测。

4.根据权利要求3所述的图像处理装置，其特征在于，所述弧形状区域检测部还具有贴标签部，该贴标签部进行贴标签，使得只有待连结的所述轮廓边缘成为相同的标签，所述稳健估计部根据标签相同的所述轮廓边缘内的像素进行所述弧形状区域的检测，所述反复控制部进行控制，使得针对检测到的所述弧形状区域以外的区域反复进行所述贴标签和所述弧形状区域的检测。

5.根据权利要求1所述的图像处理装置，其特征在于，所述凸形状区域解析部具有：

边缘分割部，其根据所述轮廓边缘的弯曲方向对该轮廓边缘进行分割；以及分割边缘凸方向计算部，其计算各分割边缘的凸方向。

6.根据权利要求5所述的图像处理装置，其特征在于，所述边缘分割部具有：

边缘坐标取得部，其按照连结顺序取得构成边缘的各像素的坐标即边缘坐标；

曲率变化解析部，其根据沿着所取得的边缘坐标的规定间隔的样本像素的坐标，对所述轮廓边缘的带符号曲率的变化进行解析；以及分割部，其在所述带符号曲率的符号反转位置处对所述轮廓边缘进行分割。

7.根据权利要求1所述的图像处理装置，其特征在于，所述异常区域检测部具有：

深部方向计算部，其根据所述深部区域的检测结果和所述凸形状区域的解析结果计算深部方向；以及区域判定部，其判定朝向所述深部方向凸出的所述凸形状区域，所述异常区域检测部检测由所述区域判定部判定出的凸形状区域作为异常区域。

8.根据权利要求7所述的图像处理装置，其特征在于，所述深部方向计算部具有：

深部区域代表位置计算部，其计算所述深部区域的代表位置；以及代表位置方向计算部，其计算从各凸形状区域的代表位置朝向所述深部区域的代表位置的方向。

9.根据权利要求7所述的图像处理装置，其特征在于，所述深部方向计算部具有：

距离转换图像生成部，其生成距所述深部区域的距离的距离转换图像；以及梯度方向计算部，其计算所述距离转换图像中的各凸形状区域的代表位置处的梯度方向。

10.根据权利要求7所述的图像处理装置，其特征在于，所述区域判定部具有角度计算部，该角度计算部计算所述凸形状区域的凸方向与所述深部方向这2个方向所成的角度，在所述角度为规定阈值以下的情况下，判定为朝向所述深部方向凸出的凸形状区域。

11.根据权利要求7所述的图像处理装置，其特征在于，所述区域判定部具有内积计算部，该内积计算部计算所述凸形状区域的凸方向和所述深部方向这2个方向的单位方向向量的内积，在所述内积为规定阈值以上的情况下，判定为朝向所述深部方向凸出的凸形状区域。

12.根据权利要求7所述的图像处理装置，其特征在于，所述异常区域检测部还具有凸形状区域特征量计算部，该凸形状区域特征量计算部计算所述凸形状区域的特征量，所述异常区域检测部检测朝向所述深部方向凸出的凸形状区域中的、该凸形状区域的特征量处于规定范围的区域作为异常区域。

13.根据权利要求12所述的图像处理装置，其特征在于，所述凸形状区域特征量计算部计算所述凸形状区域的长度、面积、与凸量相关的值中的任意一方作为所述凸形状区域的特征量。

14.根据权利要求7所述的图像处理装置，其特征在于，所述异常区域检测部还具有周边像素值信息计算部，该周边像素值信息计算部计算所述凸形状区域的周边的像素值信息，所述异常区域检测部检测朝向所述深部方向凸出的凸形状区域中的、周边像素值信息处于规定范围的区域作为异常区域。

15.根据权利要求14所述的图像处理装置，其特征在于，所述周边像素值信息计算部计算位于所述凸形状区域的凸方向侧的区域和位于隔着所述凸形状区域而与该区域对置的方向上的区域的像素值之间的变化。

16.根据权利要求1所述的图像处理装置，其特征在于，所述深部区域检测部具有：

低吸收波长成分选择部，其选择活体内的吸收/散射的程度最低的波长成分即低吸收波长成分的图像；

边缘周边区域排除部，其将所述低吸收波长成分的图像内的边缘周边区域的像素排除；以及低像素值区域检测部，其在将所述边缘周边区域的像素排除后的所述低吸收波长成分的图像中检测像素值相对较低的区域，所述深部区域检测部根据所述低像素值区域检测部的结果来检测所述深部区域。

17.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还具有非检查区域排除部，该非检查区域排除部在所述管内图像中将镜面反射、暗部、泡、残渣区域中的任意方排除。

18.一种计算机能够读取的记录介质，其记录有图像处理程序，其特征在于，所述图像处理程序使计算机执行以下步骤：深部区域检测步骤，在管内图像中检测深部区域；

轮廓边缘提取步骤，提取管内壁的轮廓边缘；

凸形状区域解析步骤，对所述轮廓边缘中的凸形状区域及其凸方向进行解析；以及异常区域检测步骤，检测朝向所述深部区域的方向凸出的凸形状区域作为异常区域。

说明书

图像处理装置、图像处理方法和记录介质

技术领域

[0001] 本发明涉及对管内图像实施图像处理的图像处理装置、图像处理方法和记录介质。

背景技术

[0002] 以往，公开了如下技术：根据内窥镜图像内的边缘线和边缘周边的像素数据来判定该边缘是否是异常组织的边缘(例如参照专利文献1)。在该技术中，根据边缘线所成的弧的内侧周边位置处的像素值梯度向量(像素值降低方向)与边缘线有无交叉，判定是否是异常组织的边缘。具体而言，在像素值梯度向量与边缘线交叉的情况下判定为息肉，在像素值梯度向量与边缘线未交叉的情况下判定为正常轮廓。

[0003] 现有技术文献

[0004] 专利文献

[0005] 专利文献1：日本特开2007-244518号公报

发明内容

[0006] 发明要解决的课题

[0007] 但是，在内窥镜图像中的粘膜褶皱边缘的附近，由于阴影而产生像素值降低，因此，多数情况下其里侧映出的粘膜面的像素值变高。因此，在仅使用上述专利文献1所记载的技术的情况下，即使是正常的粘膜褶皱边缘，弧的内侧周边位置即里侧映出的粘膜面中的像素值梯度向量与该粘膜褶皱边缘也交叉，有时误判定为异常组织的边缘。

[0008] 本发明是鉴于上述情况而完成的，其目的在于，提供能够抑制将正常边缘误判定为异常、能够高精度地检测异常组织的边缘的图像处理装置、图像处理方法和记录介质。

[0009] 用于解决课题的手段

[0010] 为了解决上述课题并实现目的，本发明的图像处理装置的特征在于，所述图像处理装置具有：深部区域检测部，其在管内图像中检测深部区域；轮廓边缘提取部，其提取管内壁的轮廓边缘；凸形状区域解析部，其对所述轮廓边缘中的凸形状区域及其凸方向进行解析；以及异常区域检测部，其检测朝向所述深部区域的方向凸出的凸形状区域作为异常区域。

[0011] 本发明的图像处理方法的特征在于，所述图像处理方法包括以下步骤：深部区域检测步骤，在管内图像中检测深部区域；轮廓边缘提取步骤，提取管内壁的轮廓边缘；凸形状区域解析步骤，对所述轮廓边缘中的凸形状区域及其凸方向进行解析；以及异常区域检测步骤，检测朝向所述深部区域的方向凸出的凸形状区域作为异常区域。

[0012] 本发明的计算机能够读取的记录介质记录有图像处理程序，其特征在于，所述图像处理程序使计算机执行以下步骤：深部区域检测步骤，在管内图像中检测深部区域；轮廓边缘提取步骤，提取管内壁的轮廓边缘；凸形状区域解析步骤，对所述轮廓边缘中的凸形状区域及其凸方向进行解析；以及异常区域检测步骤，检测朝向所述深部区域的方向凸出的凸形状区域作为异常区域。

[0013] 发明效果

[0014] 根据本发明，检测相对于管腔深部区域的方向成为凸形状的轮廓边缘区域作为异常区域，由此，能够抑制将正常轮廓边缘误检测为异常，能够高精度地检测异常区域。

附图说明

[0015] 图1是用于说明本发明的实施方式的概要的图。

[0016] 图2是示出本发明的实施方式1的图像处理装置的功能结构的框图。

[0017] 图3是示意地示出本发明的实施方式1的图像处理装置的凸形状区域解析部进行的处理的概要的图。

[0018] 图4是示出本发明的实施方式1的图像处理装置执行的处理的概要的流程图。

[0019] 图5是示出本发明的实施方式1的图像处理装置的管腔深部区域检测部进行的处理的概要的流程图。

[0020] 图6是示出本发明的实施方式1的图像处理装置的凸形状区域解析部进行的凸形状区域解析处理的概要的流程图。

[0021] 图7是示出本发明的实施方式1的图像处理装置的异常区域检测部进行的处理的概要的流程图。

[0022] 图8是示出本发明的实施方式1的变形例1的图像处理装置所具有的凸形状区域解析部的功能结构的框图。

[0023] 图9是示意地示出本发明的实施方式1的变形例1的图像处理装置的分割部进行的轮廓边缘的分割处理的概要的图。

[0024] 图10是示出本发明的实施方式1的变形例1的图像处理装置所具有的凸形状区域解析部进行的处理的概要的流程图。

[0025] 图11是示出本发明的实施方式1的变形例2的图像处理装置所具有的异常区域检测部的功能结构的框图。

[0026] 图12是示出本发明的实施方式1的变形例2的图像处理装置所具有的异常区域检测部进行的处理的概要的流程图。

[0027] 图13是示出本发明的实施方式2的图像处理装置的功能结构的框图。

[0028] 图14是示出本发明的实施方式2的图像处理装置进行的处理的概要的流程图。

[0029] 图15是示出本发明的实施方式3的图像处理装置的功能结构的框图。

[0030] 图16是示出本发明的实施方式3的图像处理装置进行的处理的概要的流程图。

[0031] 图17是示出本发明的实施方式4的图像处理装置的功能结构的框图。

[0032] 图18是示出本发明的实施方式4的图像处理装置进行的处理的概要的流程图。

[0033] 图19是示出另一个实施方式的图像处理装置的功能结构的框图。

[0034] 图20是示出另一个实施方式的图像处理装置进行的处理的概要的流程图。

具体实施方式

[0035] 下面，对用于实施本发明的方式(以下称为“实施方式”)进行说明。

[0036] 图1是用于说明本发明的实施方式的概要的图。具体而言，作为管内图像的一例，图1是示意地示出由导入到活体内并对活体内进行观察的内窥镜拍摄的管腔内图像的图。通常，内窥镜从倾斜方向对管腔内壁的粘膜面进行摄像。因此，在由内窥镜拍摄的图像中，如图1所示，映出从摄像距离较近的管腔近前的粘膜面到摄像距离较远的管腔深部的粘膜面，有时映出异常区域。基于粘膜褶皱的轮廓边缘基本上具有朝向与管腔深部方向相反的一侧凸出的形状，在异常区域的轮廓边缘中产生朝向管腔深部方向凸出的形状。本实施方式的图像处理装置的特征在于，关注这些凸形状的差异来检测异常区域。另外，由内窥镜拍摄的管腔内图像通常是在各像素位置处针对R(红)、G(绿)、B(蓝)的各波长成分具有像素值的彩色图像，但是不限于此。

[0037] (实施方式1)

[0038] 图2是示出本实施方式1的图像处理装置的功能结构的框图。该图所示的图像处理装置1具有运算部2和存储部3。

[0039] 运算部2具有根据与摄像距离相关的信息来检测管腔深部区域的管腔深部区域检测部21(深部区域检测部的一例)、提取管腔粘膜壁的轮廓边缘的轮廓边缘提取部22、对轮廓边缘中的凸形状区域及其凸方向进行解析的凸形状区域解析部23、检测朝向管腔深部区域的方向凸出的凸形状区域作为异常区域的异常区域检测部24。

[0040] 管腔深部区域检测部21具有选择活体内的吸收/散射的程度最低的低吸收波长成分的低吸收波长成分选择部211、将低吸收波长成分的图像内的边缘周边区域的像素排除的缘周边区域排除部212、在将边缘周边区域的像素排除后的低吸收波长成分的图像中检测像素值相对较低的区域的低像素值区域检测部213。

[0041] 一般情况下，认为集中存在由低像素值区域检测部213检测到的像素的区域是管腔深部区域。管腔深部区域检测部21对低像素值区域检测部213检测到的像素进行公知的贴标签处理(参考：CG-ARTS协会：数字图像处理：181P、贴标签)，汇集要连结的像素作为一个区域后，检测面积最大的区域作为管腔深部区域。

[0042] 例如在由R、G、B成分构成的图像的情况下，低吸收波长成分选择部211选择与血液的吸收波段分开且波长较长的成分、即不容易受到活体内的吸收、散射的影响的成分即R成分。低吸收波长成分选择部211通过进行这种选择，能够抑制由于粘膜表面映出的血管等而引起的像素值降低，能够得到与和粘膜表面之间的摄像距离最相关的像素值信息。

[0043] 边缘周边区域排除部212例如应用公知的边缘提取处理(参考：CG-ARTS协会：数字图像处理：114P、边缘提取：209P、轮廓线检测)确定边缘区域后，对该边缘区域进行公知的膨胀处理(参考：CG-ARTS协会：数字图像处理：179P、收缩/膨胀处理)，由此确定周边区域并将其排除。边缘周边区域排除部212通过排除边缘周边区域，能够排除如由于粘膜褶皱而在轮廓边缘周边产生的阴影部分那样、可能误检测为管腔深部的粘膜(照明光不容易到达而低吸收波长成分的像素值降低的粘膜)的区域。

[0044] 低像素值区域检测部213在将边缘周边区域排除后的低吸收波长成分的图像内检测像素值相对较低的规定面积比例的像素。另外，低像素值区域检测部213也可以在将边缘周边区域排除后的低吸收波长成分的图像内检测具有阈值以下的像素值的像素，该阈值是根据该图像内的像素所取的像素值范围而设定的。

[0045] 轮廓边缘提取部22选择活体内的吸收、散射的程度最低的低吸收波长成分(例如R成分)，对该波长成分的图像进行边缘提取处理。该边缘提取处理也能够应用上述公知的边缘提取处理。轮廓边缘提取部22通过选择低吸收波长成分，不会将粘膜表面的血管等的边缘误提取为轮廓边缘。另外，本实施方式1中的轮廓边缘提取处理例如还能够应用日本特开2014-104293号公报所公开的轮廓边缘提取法、日本特开2012-11137号公报所公开的求出三维像素值信息并对其应用边缘提取处理的方法。

[0046] 凸形状区域解析部23具有在轮廓边缘中检测呈弧形状的区域的弧形状区域检测部231、计算检测到的弧形状区域的凸方向的弧形状凸方向计算部232。图3是示意地示出凸形状区域解析部23进行的处理的概要的图。在图像中存在图3所示的波形的轮廓边缘的情况下，弧形状区域检测部231依次检测弧形状区域并作为3个凸形状区域进行解析，凸形状区域解析部23分别求出3个凸形状区域的凸方向。

[0047] 弧形状区域检测部231具有进行贴标签使得待连结的轮廓边缘成为相同标签的贴标签部231a、根据相同标签的轮廓边缘内的像素进行基于稳健(Robust)估计的弧形状(＝凸形状)区域检测的稳健估计部231b、判定检测为弧形状区域的区域以外的轮廓边缘区域的面积与规定阈值的大小的反复控制部231c。

[0048] 贴标签部231a利用要连结的像素彼此汇集后级的弧形状区域的检测中作为处理对象的轮廓边缘像素。贴标签部231a例如进行上述公知的贴标签处理。由此，能够实现检测精度的提高和处理速度的提高。

[0049] 稳健估计部231b例如随机提取相同标签的轮廓边缘内的像素中的至少3点以上，通过最小二乘法对提取出的像素的坐标应用圆。然后，稳健估计部231b求出该圆与相同标签的轮廓边缘内的各像素之间的距离，计算该距离为规定值以下的像素的个数(像素数)。在反复执行规定次数的这些“像素的提取”、“圆的应用”和“距离为规定值以下的像素数计算”后，最终选择距离为规定值以下的像素数最多的圆，检测与该圆之间的距离为规定值以下的像素作为弧形状区域。另外，稳健估计部231b进行的稳健估计的方法不限于这里说明的方法，也可以采用其他公知的稳健估计方法。

[0050] 弧形状凸方向计算部232针对检测到的全部弧形状区域，设从弧形状区域的弦朝向弧的方向为该弧形状区域的凸方向。更加优选弧形状凸方向计算部232计算从弧形状区域的曲率中心朝向弧形状区域的弧的中点的方向，设该方向为弧形状区域的凸方向。另外，弧形状凸方向计算部232也可以计算从弧的中点朝向弧形状区域的曲率中心的方向，设与计算出的方向相反的方向为凸方向。

[0051] 异常区域检测部24具有根据管腔深部区域的检测结果和凸形状区域的解析结果计算管腔深部方向的管腔深部方向计算部241(深部方向计算部的一例)、判定朝向管腔深部方向凸出的凸形状区域的区域判定部242。

[0052] 管腔深部方向计算部241具有计算管腔深部区域(深部区域的一例)的代表位置的深部区域代表位置计算部241a、计算从各凸形状区域的代表位置朝向管腔深部区域的代表位置的方向作为代表位置方向的代表位置方向计算部241b。

[0053] 深部区域代表位置计算部241a和代表位置方向计算部241b计算的代表位置只要是代表图像内的管腔深部区域或各凸形状区域的位置即可，可以是任意位置。作为这种代表位置，例如可以采用各区域的重心、外切于各区域的矩形区域的中心等。

[0054] 区域判定部242具有针对各凸形状区域计算凸形状区域的凸方向和管腔深部方向所成的角度(≦180°)的角度计算部242a。

[0055] 运算部2使用CPU(Central Processing Unit：中央处理单元)等通用处理器或ASIC(Application Specific Integrated Circuit：专用集成电路)等执行特定功能的各种运算电路等专用处理器构成。在运算部2是通用处理器的情况下，通过读入存储部3存储的各种程序，对构成图像处理装置1的各部进行指示和数据的传输等，对图像处理装置1整体的动作进行总括控制。并且，在运算部2是专用处理器的情况下，处理器可以单独执行各种处理，通过使用存储部3存储的各种数据等，处理器和存储部3也可以共同或结合执行各种处理。

[0056] 存储部3通过ROM(Read Only Memory：只读存储器)或RAM(Random Access Memory：随机存取存储器)等各种IC存储器、内置或利用数据通信端子连接的硬盘、或CD-ROM等信息记录装置及其读取装置等实现。存储部3除了存储图像处理装置1取得的管腔内图像的图像数据以外，还存储用于使图像处理装置1进行动作并使图像处理装置1执行各种功能的程序、该程序的执行中使用的数据等。具体而言，存储部3存储本实施方式的图像处理程序、该图像处理中使用的阈值等各种参数。

[0057] 存储部3记录的图像处理程序等各种程序能够记录在计算机可读取的记录介质中。并且，关于各种程序在存储部3或记录介质中的记录，可以在将计算机或记录介质作为产品出厂时进行，也可以通过经由通信网络的下载来进行。这里所说的通信网络例如通过现有的公共线路网、LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)等实现，与有线、无线无关。

[0058] 具有以上结构的图像处理装置1可以使用一个计算机实现，也可以使用多个计算机实现。后者的情况下，能够经由通信网络进行数据的发送接收，并且相互协作进行处理。另外，这里所说的计算机能够由通用的个人计算机或服务器等构成。

[0059] 另外，也可以使构成导入到被检体内对该被检体内进行观察的内窥镜系统的一部分、并对该内窥镜系统整体进行控制的处理器具有以上说明的图像处理装置1的功能。

[0060] 图4是示出图像处理装置1执行的处理的概要的流程图。首先，在步骤S1中，运算部2取得作为处理对象的管腔内图像(步骤S1)。

[0061] 在步骤S2中，管腔深部区域检测部21检测管腔深部区域(步骤S2)。图5是示出管腔深部区域检测部21进行的处理的概要的流程图。下面，参照图5对管腔深部区域检测部21的处理进行说明。

[0062] 在图5中，首先，低吸收波长成分选择部211选择活体内的吸收、散射的程度最低的低吸收波长成分(步骤S201)。例如在由R、G、B成分构成的图像的情况下，低吸收波长成分选择部211如上所述选择R成分。

[0063] 然后，边缘周边区域排除部212将低吸收波长成分的图像内的边缘周边区域的像素排除(步骤S202)。由此，能够防止边缘周边区域被误检测为管腔深部区域。

[0064] 然后，低像素值区域检测部213在排除后的低吸收波长成分的图像中检测像素值相对较低的区域(步骤S203)。

[0065] 接着，管腔深部区域检测部21根据由低像素值区域检测部213检测到的区域进行公知的贴标签处理等，由此检测管腔深部区域(步骤S204)。由此，管腔深部区域检测部21进行的管腔深部区域检测处理结束。

[0066] 在接着步骤S2的步骤S3中，轮廓边缘提取部22提取管腔粘膜壁的轮廓边缘(步骤S3)。轮廓边缘提取部22选择活体内的吸收、散射的程度最低的低吸收波长成分(例如R成分)，对该波长成分的图像进行上述边缘提取处理。

[0067] 在步骤S4中，凸形状区域解析部23对轮廓边缘中的凸形状区域及其凸方向进行解析(步骤S4)。在图像中存在图3所示的轮廓边缘的情况下，如上所述，弧形状区域检测部231依次检测弧形状区域并作为3个凸形状区域进行解析后，凸形状区域解析部23分别求出3个凸形状区域的凸方向。

[0068] 图6是示出凸形状区域解析部23进行的凸形状区域解析处理的概要的流程图。下面，参照图6对凸形状区域解析处理的概要进行说明。首先，贴标签部231a进行贴标签，使得待连结的轮廓边缘成为相同的标签(步骤S401)。

[0069] 接着，稳健估计部231b根据相同标签的轮廓边缘内的像素进行基于稳健估计的弧形状(＝凸形状)区域的检测(步骤S402)。稳健估计部231b针对贴标签后的全部轮廓边缘进行弧形状区域的检测。

[0070] 然后，反复控制部231c判定检测为弧形状区域的区域以外的轮廓边缘区域的面积与规定阈值的大小(步骤S403)。在判定结果为轮廓边缘区域的面积大于阈值的情况下(步骤S403：是)，凸形状区域解析部23将检测为弧形状区域的区域以外的轮廓边缘区域作为新的处理对象(步骤S404)，返回步骤S401。另一方面，在检测为弧形状区域的区域以外的轮廓边缘区域的面积为规定阈值以下的情况下(步骤S403：否)，凸形状区域解析部23结束弧形状区域的检测，转移到步骤S405。

[0071] 在步骤S405中，弧形状凸方向计算部232计算检测到的弧形状(＝凸形状)区域的凸方向(步骤S405)。由此，凸形状区域解析部23进行的凸形状区域解析处理结束。

[0072] 另外，在本实施方式1中，示出在弧形状区域的检测中使用贴标签和稳健估计的方法，但是，也可以不进行贴标签，将全部轮廓边缘像素作为对象而反复进行稳健估计。并且，也可以利用日本特愿2007-244519号公报所公开的圆的霍夫变换。并且，在稳健估计时，也可以不应用圆，而应用椭圆。

[0073] 在接着步骤S4的步骤S5中，异常区域检测部24检测朝向管腔深部区域的方向凸出的凸形状区域作为异常区域(步骤S5)。图7是示出异常区域检测部24进行的处理的概要的流程图。下面，参照图7对异常区域检测部24的处理进行说明。

[0074] 首先，管腔深部方向计算部241的深部区域代表位置计算部241a计算在步骤S2中求出的管腔深部区域的代表位置(步骤S501)。

[0075] 接着，代表位置方向计算部241b计算从步骤S4中求出的各凸形状区域的代表位置朝向管腔深部区域的代表位置的方向作为管腔深部方向(步骤S502)。另外，作为凸形状区域的代表位置，除了上述重心以外，例如还可以举出弧的中点、弦的中点。

[0076] 然后，区域判定部242的角度计算部242a针对各凸形状区域计算凸形状区域的凸方向和管腔深部方向所成的角度(步骤S503)。

[0077] 接着，区域判定部242判定由角度计算部242a计算出的角度为规定阈值以下的区域作为凸形状区域(步骤S504)。该阈值例如设定为90°以下的值。

[0078] 最后，异常区域检测部24检测判定出的凸形状区域作为异常区域(步骤S505)。由此，异常区域检测部24进行的异常区域检测处理结束。

[0079] 在接着步骤S5的步骤S6中，运算部2输出异常区域检测结果(步骤S6)。由此，图像处理装置1进行的一系列处理结束。

[0080] 根据以上说明的本发明的实施方式1，检测相对于管腔深部区域的方向成为凸形状的轮廓边缘区域作为异常区域，由此，能够抑制将正常轮廓边缘误检测为异常，能够高精度地检测异常区域即异常组织的边缘。

[0081] 并且，根据本实施方式1，选择低吸收波长成分，将边缘周边区域排除后，检测低像素值区域，由此，能够抑制血管、褶皱边缘的阴影的影响，能够高精度地检测管腔深部区域。

[0082] 并且，根据本实施方式1，检测轮廓边缘内的弧形状区域并计算其方向，由此，能够高精度地进行轮廓边缘内的凸形状区域的检测及其方向的计算。

[0083] 并且，根据本实施方式1，反复进行轮廓边缘的贴标签和稳健估计，由此，能够高精度且高速地检测轮廓边缘内的多个弧形状。

[0084] 另外，在本实施方式1中，示出根据与摄像距离相关的像素值检测管腔深部区域的方法，但是，例如也可以通过使用日本特开2003-93328号公报所公开的管腔方向检测方法来检测管腔深部区域。

[0085] (变形例1)

[0086] 图8是示出本实施方式1的变形例1的图像处理装置所具有的凸形状区域解析部的功能结构的框图。该图所示的凸形状区域解析部26具有根据轮廓边缘的弯曲方向对轮廓边缘进行分割的边缘分割部261、计算分割后的各边缘(分割边缘)的凸方向的分割边缘凸方向计算部262。除了凸形状区域解析部26以外的图像处理装置的功能结构与实施方式1中说明的图像处理装置1的功能结构相同。

[0087] 边缘分割部261具有边缘坐标取得部261a，其按照连结顺序取得构成边缘的各像素的坐标；曲率变化解析部261b，其根据沿着所取得的边缘坐标的规定间隔的样本像素的坐标，对轮廓边缘的带符号曲率的变化进行解析；以及分割部261c，其在带符号曲率的符号反转位置处对轮廓边缘进行分割。

[0088] 边缘坐标取得部261a例如通过使用公知的轮廓跟踪处理(参考：CG-ARTS协会：数字图像处理：178P、轮廓跟踪)来取得边缘坐标。

[0089] 根据以规定间隔(等间隔)排列的3个样本像素的坐标(x0,y0)、(x1,y1)、(x2,y2)，通过以下所示的式(1)计算曲率变化解析部261b解析的带符号曲率k。

[0090] 【数学式1】

[0091]

[0092] 带符号曲率k的符号反转相当于轮廓边缘的弯曲方向变化。曲率变化解析部261b通过沿着边缘坐标依次移位并计算样本像素的坐标，来对带符号曲率k的变化进行解析。另外，也可以根据例如基于低吸收波长成分的明亮度求出的与摄像面之间的距离，自适应地决定相邻的样本像素的间隔。

[0093] 图9是示意地示出分割部261c进行的轮廓边缘的分割处理的概要的图。在存在图9所示的波形的轮廓边缘的情况下，分割部261c以与波节相当的2个点A、B为边界，将轮廓边缘分割成3个区域。

[0094] 分割边缘凸方向计算部262针对全部分割边缘，计算从连接边缘两端的线段穿过分割边缘的方向作为分割边缘的凸方向。更加优选分割边缘凸方向计算部262计算从连接边缘两端的线段的中点朝向分割边缘上的中点(分割边缘的长度的中间点)的方向作为分割边缘的凸方向。例如，在图9所示的轮廓边缘的情况下，分割边缘凸方向计算部262针对分割后的3个凸形状区域分别进行解析，求出各凸形状区域的凸方向。

[0095] 图10是示出凸形状区域解析部26进行的处理的概要的流程图。首先，边缘坐标取得部261a按照连结顺序取得构成边缘的各像素的坐标(步骤S411)。

[0096] 接着，曲率变化解析部261b根据沿着所取得的边缘坐标的以规定间隔排列的3个样本像素的坐标，对轮廓边缘的带符号曲率的变化进行解析(步骤S412)。

[0097] 然后，分割部261c在带符号曲率的符号反转位置处对轮廓边缘进行分割(步骤S413)。

[0098] 凸形状区域解析部26针对全部轮廓边缘进行步骤S411～S413的处理。

[0099] 接着，分割边缘凸方向计算部262计算分割边缘的凸方向(步骤S414)。由此，凸形状区域解析部26进行的凸形状区域解析处理结束。

[0100] 另外，在本变形例1中，示出根据带符号曲率k对边缘进行分割的方法，但是，也可以分别求出3点(x0,y0)、(x1,y1)、(x2,y2)中的、以点(x1,y1)为基点并以点(x0,y0)为终点的向量和以点(x1,y1)为基点并以点(x2,y2)为终点的向量，根据这2个向量的外积的变化，求出分割位置。

[0101] 并且，在本变形例1中，作为凸形状区域的代表位置，例如能够举出分割边缘上的中间点、分割边缘上曲率最大的点、连接分割边缘端点的线段的中点。

[0102] 根据以上说明的本实施方式1的变形例1，检测相对于管腔深部区域的方向成为凸形状的轮廓边缘区域作为异常区域，由此，能够抑制将正常轮廓边缘误检测为异常，能够高精度地检测异常区域。

[0103] 并且，根据本变形例1，根据弯曲方向对轮廓边缘进行分割，在各分割边缘计算凸方向，由此，在轮廓边缘内存在多个凸形状的情况下，也能够高精度地进行凸形状区域的检测及其方向的计算。

[0104] (变形例2)

[0105] 图11是示出本实施方式1的变形例2的图像处理装置所具有的异常区域检测部的功能结构的框图。该图所示的异常区域检测部27具有根据管腔深部区域的检测结果和凸形状区域的解析结果计算管腔深部方向的管腔深部方向计算部271、判定朝向管腔深部方向凸出的凸形状区域的区域判定部272。除了异常区域检测部27以外的图像处理装置的功能结构与实施方式1中说明的图像处理装置1的功能结构相同。

[0106] 管腔深部方向计算部271具有距离转换图像生成部271a，其生成距管腔深部区域的距离的距离转换图像；和梯度方向计算部271b，其计算各凸形状区域的代表位置处的距离转换图像的梯度方向作为管腔深部方向。

[0107] 距离转换图像生成部271a例如通过使用公知的距离转换(参考：东京大学出版社：图像解析手册：576P、距离转换和骨架提取)来生成距离转换图像。

[0108] 区域判定部272具有内积计算部272a，该内积计算部272a针对各凸形状区域计算凸形状区域的凸方向和管腔深部方向这2个方向的单位方向向量的内积。在相同方向的情况下，单位方向向量的内积为1，在正交的情况下，单位方向向量的内积为0，在正相反方向的情况下，单位方向向量的内积为-1。

[0109] 图12是示出异常区域检测部27进行的处理的概要的流程图。距离转换图像生成部271a生成距管腔深部区域的距离的距离转换图像(步骤S511)。

[0110] 接着，梯度方向计算部271b计算各凸形状区域的代表位置处的距离转换图像的梯度方向作为管腔深部方向(步骤S512)。

[0111] 然后，内积计算部272a针对各凸形状区域计算凸形状区域的凸方向和管腔深部方向这2个方向的单位方向向量的内积(步骤S513)。

[0112] 接着，区域判定部272判定内积为规定阈值以上的凸形状区域(步骤S514)。

[0113] 最后，异常区域检测部27检测判定出的凸形状区域作为异常区域(步骤S515)。由此，异常区域检测部27进行的异常区域检测处理结束。

[0114] 根据以上说明的本实施方式1的变形例2，利用距管腔深部区域的距离的距离转换图像求出管腔深部方向，由此，在管腔深部的形状细长的情况下等，也能够高精度地求出管腔深部方向。

[0115] (实施方式2)

[0116] 在本发明的实施方式2中，着眼于轮廓边缘中包含的凸形状区域的大小的差异，由此进一步提高异常区域的检测精度。

[0117] 图13是示出本实施方式2的图像处理装置的功能结构的框图。该图所示的图像处理装置4具有运算部5和存储部3。下面，对与实施方式1的图像处理装置1的运算部2所具有的结构部位相同的结构部位标注相同标号进行说明。

[0118] 运算部5具有管腔深部区域检测部21、轮廓边缘提取部22、凸形状区域解析部23、异常区域检测部51。异常区域检测部51具有管腔深部方向计算部241、区域判定部242、计算凸形状区域的特征量的凸形状区域特征量计算部511。

[0119] 凸形状区域特征量计算部511计算的凸形状的特征量是凸形状区域的长度、面积、与凸量相关的值等。这里，与凸量相关的值是连接凸形状区域两端的线段和与其平行且与凸形状区域相切的线段之间的距离、在凸形状区域中应用弧形状的情况下的曲率、曲率半径等。凸形状区域的长度较短的、面积较小的、凸形状区域的凸量较小的凸形状区域等很可能是噪声。因此，为了不将这些区域误检测为异常区域，凸形状区域特征量计算部511计算上述凸形状的特征量。

[0120] 图14是示出图像处理装置4进行的处理的概要的流程图。步骤S11～S14的处理与图4中的步骤S1～S4分别相同。

[0121] 在步骤S15中，凸形状区域特征量计算部511计算朝向管腔深部方向凸出的凸形状区域的特征量，异常区域检测部51检测计算出的凸形状区域的特征量处于规定范围的区域作为异常区域(步骤S15)。下面，对步骤S15进行更加详细的说明。

[0122] 管腔深部方向计算部241和区域判定部242通过进行与实施方式1的步骤S501～S505(参照图7)或实施方式1的变形例1的步骤S511～S515(参照图12)相同的处理，判定朝向管腔深部方向凸出的凸形状区域。然后，凸形状区域特征量计算部511计算凸形状区域的特征量。异常区域检测部51检测特征量处于规定范围的凸形状区域作为异常区域。

[0123] 在接着步骤S15的步骤S16中，运算部5输出异常区域检测结果(步骤S16)。由此，本实施方式2的图像处理装置进行的一系列处理结束。

[0124] 根据以上说明的本发明的实施方式2，检测相对于管腔深部区域的方向成为凸形状的轮廓边缘区域作为异常区域，由此，能够抑制将正常轮廓边缘误检测为异常区域，能够高精度地检测异常区域。

[0125] 并且，根据本实施方式2，通过将根据管腔深部方向和凸形状区域的凸方向检测到的区域中的比较小的区域排除，能够进一步抑制轮廓边缘中的异常区域的误检测。

[0126] (实施方式3)

[0127] 在本发明的实施方式3中，在粘膜褶皱的非管腔深部侧的边缘的轮廓边缘朝向管腔深部方向凸出的情况和异常区域中，在凸形状区域周边的像素值信息中存在差异，利用该性质，进一步提高异常区域的检测精度。更具体而言，在本实施方式3中，在粘膜褶皱的非管腔深部侧的边缘的轮廓边缘朝向管腔深部方向凸出的情况下，凸形状区域的凸方向侧的褶皱上的粘膜与相反侧的褶皱下(缘)的粘膜相比，摄像距离较近，所以像素值变高，另一方面，在异常区域的像素值中存在与其相反的倾向，利用该性质，进一步提高异常区域的检测精度。

[0128] 图15是示出本实施方式3的图像处理装置的功能结构的框图。该图所示的图像处理装置6具有运算部7和存储部3。下面，对与实施方式1的图像处理装置1的运算部2所具有的结构部位相同的结构部位标注相同标号进行说明。

[0129] 运算部7具有管腔深部区域检测部21、轮廓边缘提取部22、凸形状区域解析部23、异常区域检测部71。异常区域检测部71具有管腔深部方向计算部241、区域判定部242、计算凸形状区域的周边的像素值信息的周边像素值信息计算部711。

[0130] 周边像素值信息计算部711计算位于凸形状区域的凸方向侧的区域的像素值和位于隔着凸形状区域而与该区域对置的方向上的区域的像素值之间的变化量。周边像素值信息计算部711例如计算从位于凸形状区域的凸方向侧的区域的像素值中减去位于隔着凸形状区域而与该区域对置的一侧的区域的像素值而得到的差。另外，在周边像素值信息计算部711计算像素值时，使用与摄像距离相关程度较高的低吸收波长成分的像素值会得到比较高的精度，所以更加优选。

[0131] 图16是示出图像处理装置6进行的处理的概要的流程图。步骤S21～S24的处理与图4中的步骤S1～S4分别相同。

[0132] 在步骤S25中，异常区域检测部71对轮廓边缘中的凸形状区域及其凸方向进行解析后，检测朝向管腔深部方向凸出的凸形状区域中的、周边像素值信息处于规定范围的区域作为异常区域(步骤S25)。

[0133] 管腔深部方向计算部241和区域判定部242通过进行与实施方式1的步骤S501～S505(参照图7)或实施方式1的变形例1的步骤S511～S515(参照图12)相同的处理，判定朝向管腔深部方向凸出的凸形状区域。

[0134] 然后，周边像素值信息计算部711计算凸形状区域的周边的像素值信息。在周边像素值信息计算部711计算上述差的情况下，在正常轮廓边缘区域和异常区域中，差的正负不同。具体而言，在正常轮廓边缘区域中差为正，而在异常区域中差为负。

[0135] 异常区域检测部71根据周边像素值信息计算部711的计算结果，例如检测上述差为负的区域作为异常区域。

[0136] 在接着步骤S25的步骤S26中，运算部7输出异常区域检测结果(步骤S26)。由此，本实施方式3的图像处理装置进行的一系列处理结束。

[0137] 根据以上说明的本发明的实施方式3，检测相对于管腔深部区域的方向成为凸形状的轮廓边缘区域作为异常区域，由此，能够抑制将正常轮廓边缘误检测为异常，能够高精度地检测异常区域。

[0138] 并且，根据本实施方式3，考虑凸形状区域周边的像素值变化来检测异常区域，由此，能够更高精度地检测异常区域。

[0139] (实施方式4)

[0140] 在本发明的实施方式4中，在进行轮廓边缘提取之前，将管腔内图像中包含的管腔深部等暗部、镜面反射等亮部、残渣和泡等非粘膜区域作为非检查区域进行排除，由此，进一步提高异常区域的检测精度。

[0141] 图17是示出本实施方式4的图像处理装置的功能结构的框图。该图所示的图像处理装置8具有运算部9和存储部3。下面，对与实施方式1的图像处理装置1的运算部2所具有的结构部位相同的结构部位标注相同标号进行说明。

[0142] 运算部9具有管腔深部区域检测部21、非检查区域排除部91、轮廓边缘提取部22、凸形状区域解析部23、异常区域检测部24。

[0143] 非检查区域排除部91根据颜色、频率、形状信息等确定非粘膜区域(暗部、亮部、残渣、泡等)，将该确定的非粘膜区域作为非检查区域进行排除。非检查区域排除部91例如通过应用日本特开2011-234931号公报(暗部、亮部)、日本特开2012-143340号公报(残渣)、日本特开2007-313119号公报(泡)所公开的技术来确定非粘膜区域。

[0144] 图18是示出图像处理装置8进行的处理的概要的流程图。步骤S31、S32分别对应于图4中的步骤S1、S2。

[0145] 在步骤S32之后，非检查区域排除部91根据颜色、频率、形状信息等确定非粘膜区域(暗部、亮部、残渣、泡等)，将确定的区域作为非检查区域进行排除(步骤S33)。

[0146] 步骤S34～S37的处理依次对应于图4中的步骤S3～S6的处理。

[0147] 根据以上说明的本发明的实施方式4，检测相对于管腔深部区域的方向成为凸形状的轮廓边缘区域作为异常区域，由此，能够抑制将正常轮廓边缘误检测为异常，能够高精度地检测异常区域。

[0148] 并且，根据本实施方式4，通过在提取轮廓边缘区域之前排除非检查区域，能够更高精度地检测异常区域。

[0149] 另外，也可以使上述实施方式1～3的图像处理装置具有非检查区域排除部91的功能结构。

[0150] (其他实施方式)

[0151] 至此，说明了用于实施本发明的方式，但是，本发明不应该仅由上述实施方式1～4来限定。例如，在检测异常区域时，也可以检测相对于穿过弧形状区域的弦的直线而存在于与管腔深部区域相同的一侧的弧形状区域作为异常区域。

[0152] 并且，除了活体用的内窥镜图像以外，还能够应用于CT结肠图(Colonic graph)中生成的虚拟内窥镜的管腔内图像、由工业用内窥镜拍摄的管内图像。

[0153] 图19是示出另一个实施方式的图像处理装置的功能结构的框图。该图所示的图像处理装置10具有运算部11和存储部3。下面，对与图像处理装置1的运算部2所具有的结构部位相同的结构部位标注相同标号进行说明。

[0154] 运算部11具有轮廓边缘提取部22、凸形状区域解析部101、异常区域检测部102。凸形状区域解析部101具有弧形状区域检测部231。弧形状区域检测部231具有贴标签部231a、稳健估计部231b、反复控制部231c。异常区域检测部102具有凸形状区域特征量计算部511。

[0155] 图20是示出图像处理装置10进行的处理的概要的流程图。步骤S41、S42的处理与图4中的步骤S1、S3的处理分别相同。

[0156] 在步骤S43中，凸形状区域解析部101的弧形状区域检测部231对轮廓边缘中的凸形状区域进行解析(步骤S43)。弧形状区域检测部231依次进行图6所示的步骤S401～S404的处理后，结束凸形状区域的解析处理。

[0157] 在步骤S44中，凸形状区域特征量计算部511计算凸形状区域的特征量，异常区域检测部102检测计算出的凸形状区域的特征量处于规定范围的区域作为异常区域(步骤S44)。

[0158] 在步骤S45中，运算部11输出异常区域检测结果(步骤S45)。由此，图像处理装置10进行的一系列处理结束。

[0159] 根据以上说明的图像处理装置10，将一个轮廓边缘分割成多个弧形状来进行异常区域的判定，所以，能够高精度地检测异常组织的边缘。

[0160] 另外，作为图像处理装置10中的凸形状区域解析部，也可以采用从图8所示的凸形状区域解析部26中去除分割边缘凸方向计算部262而得到的部分。即，该情况下的凸形状区域解析部具有边缘分割部261。边缘分割部261具有边缘坐标取得部261a、曲率变化解析部261b和分割部261c。

[0161] 并且，图像处理装置10中的异常区域检测部也可以还具有图15所示的周边像素值信息计算部711的功能。该情况下，异常区域检测部还能够考虑周边像素值信息来检测异常区域。

[0162] 并且，也可以使图像处理装置10还具有实施方式4中说明的非检查区域排除部91的功能。由此，能够更高精度地检测异常区域。

[0163] 标号说明

[0164] 1、4、6、8、10：图像处理装置；2、5、7、9、11：运算部；3：存储部；21：管腔深部区域检测部；22：轮廓边缘提取部；23、26、101：凸形状区域解析部；24、27、51、71、102：异常区域检测部；91：非检查区域排除部；211：低吸收波长成分选择部；212：边缘周边区域排除部；213：低像素值区域检测部；231：弧形状区域检测部；231a：贴标签部；231b：稳健估计部；231c：反复控制部；232：弧形状凸方向计算部；241、271、541：管腔深部方向计算部；242、272、542：区域判定部；241a：深部区域代表位置计算部；241b：代表位置方向计算部；242a：角度计算部；
261：边缘分割部；261a：边缘坐标取得部；261b：曲率变化解析部；261c：分割部；262：分割边缘凸方向计算部；271a：距离转换图像生成部；271b：梯度方向计算部；272a：内积计算部；
511：凸形状区域特征量计算部；711：周边像素值信息计算部。