内窥镜图像诊断辅助系统

摘要

一种内窥镜图像诊断辅助系统(100)具备：存储装置(10)，其保存预先分类成各病理类型的学习用图像群；以及处理装置(20)，其接收内窥镜图像，并进行该图像中的识别对象区域的图像与学习用图像群之间的特征量匹配，来识别该识别对象区域中的各病理类型。处理装置(20)进行识别对象区域以及识别对象区域的各个细化区域的图像与学习用图像群之间的特征量匹配，来计算识别对象区域以及各个细化区域中的各病理类型的识别概率，处理装置(20)将识别对象区域以及各个细化区域中的各病理类型的识别概率的平均值作为识别对象区域以及各个细化区域的分层重叠区域中的各病理类型的识别概率来计算。

权利要求

1.一种内窥镜图像诊断辅助系统，其特征在于：具备：

存储装置，所述存储装置保存预先分类成各病理类型的学习用图像群；以及处理装置，所述处理装置接收内窥镜图像，并进行该内窥镜图像中的识别对象区域的图像与所述学习用图像群之间的特征量匹配，来识别该识别对象区域中的各病理类型，所述处理装置进行所述识别对象区域的图像与所述学习用图像群之间的特征量匹配，来计算所述识别对象区域中的各病理类型的识别概率，在所述识别概率的最大值比阈值还小的情况下，所述处理装置细化所述识别对象区域来进行各个细化区域的图像与所述学习用图像群之间的特征量匹配，由此计算各个所述细化区域中的各病理类型的识别概率，所述处理装置将所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率的平均值作为所述识别对象区域以及各个所述细化区域的分层重叠区域中的各病理类型的识别概率来计算。

2.根据权利要求1所述的内窥镜图像诊断辅助系统，其特征在于：

所述处理装置用于根据不同尺寸的区域的识别精度来对所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率进行加权处理，从而计算所述平均值。

3.根据权利要求1所述的内窥镜图像诊断辅助系统，其特征在于：

根据所述识别对象区域以及各个所述细化区域的图像而得到的特征量是用基于特征袋法的视觉词的直方图来表现的，所述处理装置用于将如下所述的直方图相加来计算表示根据上位层次区域的图像而得到的特征量的直方图：所述直方图表示根据分层重叠的下位层次区域的图像而得到的特征量。

4.根据权利要求1所述的内窥镜图像诊断辅助系统，其特征在于：

所述处理装置用于对各病理类型进行一对多式的二分类识别，并基于所述的二分类识别的识别结果来计算所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率。

说明书

内窥镜图像诊断辅助系统

技术领域

[0001] 本发明涉及一种对内窥镜图像中的识别对象区域的病理类型进行识别的内窥镜图像诊断辅助系统，特别涉及一种提高识别精度的技术。

背景技术

[0002] 随着内窥镜技术的进步，近年来开发出了多种图像诊断设备。目前，在利用放大内窥镜诊查的图像增强内窥镜(Image Enhanced Endoscopy，IEE)领域中，提出了NBI(Narrow Band Imaging，窄带成像)、BLI(Blue Laser Imaging，蓝激光成像)放大内窥镜图像等的数字光学成像法(optical digital method)、数字成像法(digital method)，它们作为对肿瘤的筛选、质变诊断方法在临床上的意义逐渐地明朗。很多医生曾实施过消化道内窥镜检查，但是有时对此的诊断会受到观察者的感性、经验的影响。于是，就需要一种对症状进行定量性评价以作为“二次诊断(second opinion)”来辅助医生的诊断的CAD(Computer-Aided Diagnosis，计算机辅助诊断)系统。

[0003] 迄今为止，本申请发明人开发了下述方法，该方法是根据大肠的放大内窥镜图像而对与病理组织诊断之间具有较强关联性的分光图像(NBI图像)进行解析，对适合于计算机诊断辅助CAD的诊断基准进行设定的方法，并且开发出了能够给出与病理组织诊断之间具有较强关联性的定量性数字的图像辨别系统(内窥镜图像诊断辅助系统)。该系统中通过使用被称为Bag-of-Features(BoF，特征袋)或者Bag-of-Keypoints(关键点袋)的方法，将从内窥镜图像中的识别对象区域(下面又称为扫描窗SW)的图像中提取出的局部特征量转换成视觉词(Visual Word，VW)的直方图，进行与预先分类成各病理类型的学习用图像群(表现为各个视觉词的直方图的特征量)之间的图像匹配(特征量匹配)，由此计算识别对象区域中的各病理类型的识别概率。

[0004] 进而，本申请发明人使根据上述系统中计算成本特别高的识别对象区域的图像进行的特征量提取处理和病理判断(识别)处理硬件化，从而能够实时且以高识别精度来处理图像质量在Full HD(1920×1080像素)以上的内窥镜图像(例如参照非专利文献1、2)。

[0005] 非专利文献1：T.Mishima,S.Shigemi,A.T.Hoang，T.Koide，T.Tamaki，B.Raytchev，K.Kaneda，Y.Kominami,R.Miyaki,T.Matsuo，S.Yoshida and S.Tanaka，"Development of feature extraction architecture for computer-aided diagnosis system for colorectal endoscopic images with nbi magnification，"The 15th IEEE Hiroshima Student Symposium(HISS)，November 16-17 2013，p.B84-1-B84-4[0006] 非专利文献2：S.Shigemi，T.Mishima，A.T.Hoang，T.Koide，T.Tamaki,B.Raytchev,K.Kaneda,Y.Kominami,R.Miyaki,T.Matsuo,S.Yoshida and S.Tanaka,"Development of type identification architecture for computer-aided diagnosis system for colorectal endoscopic images with nbi magnification,"The 15th IEEE Hiroshima Student Symposium(HISS),November 16-17 2013,p.B79-1-B79-4发明内容

[0007] －发明要解决的技术问题－

[0008] 在现有的内窥镜图像诊断辅助系统中，在扫描窗(Scan Window，SW)(例如尺寸120×120像素的区域)中扫描了整个Full HD(全高清)内窥镜图像，然后判断出各扫描窗中的病理类型。但是，由于显现在内窥镜图像中的实际患部并非矩形的情况比较多，因此，多个病理类型混在一个扫描窗中的情况下多个病理类型的识别概率不相上下，从而很难判断该扫描窗中的病理类型。若为了解决该问题而减小扫描窗尺寸，则从一个扫描窗的图像中提取的特征量减少，因此这次会存在识别精度降低的可能性。此外，如果扫描窗尺寸减小，则整个Full HD(1920×1080像素)内窥镜图像的扫描量增加而导致处理速度降低，或者直到显示处理结果为止的时间(等待时间)增加，从而很难实时显示。

[0009] 本发明是鉴于所述问题而完成的。其目的在于：提高内窥镜图像诊断辅助系统的识别精度，其中，该内窥镜图像诊断辅助系统识别内窥镜图像中的识别对象区域中的病理类型。

[0010] －用以解决技术问题的技术方案－

[0011] 根据本发明一方面的内窥镜图像诊断辅助系统，具备：存储装置，所述存储装置保存预先分类成各病理类型的学习用图像群；以及处理装置，所述处理装置接收内窥镜图像，并进行该内窥镜图像中的识别对象区域的图像与所述学习用图像群之间的特征量匹配，来识别该识别对象区域中的各病理类型，所述处理装置进行所述识别对象区域的图像与所述学习用图像群之间的特征量匹配，来计算所述识别对象区域中的各病理类型的识别概率，在所述识别概率的最大值比阈值还小的情况下，所述处理装置细化所述识别对象区域来进行各个细化区域的图像与所述学习用图像群之间的特征量匹配，由此计算各个所述细化区域中的各病理类型的识别概率，所述处理装置将所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率的平均值作为所述识别对象区域以及各个所述细化区域的分层重叠区域中的各病理类型的识别概率来计算。

[0012] 此外，根据本发明另一方面的内窥镜图像诊断辅助系统具备：存储装置，所述存储装置保存预先分类成各病理类型的学习用图像群；以及处理装置，所述处理装置接收内窥镜图像，并进行该内窥镜图像中的识别对象区域的图像与所述学习用图像群之间的特征量匹配，来识别该识别对象区域中的各病理类型，所述处理装置进行所述识别对象区域以及所述识别对象区域的各个细化区域的图像与所述学习用图像群之间的特征量匹配，来计算所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率，所述处理装置将所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率的平均值作为所述识别对象区域以及各个所述细化区域的分层重叠区域中的各病理类型的识别概率来计算。

[0013] 根据上述方式，在内窥镜图像中分层重叠的多种尺寸的区域中计算各病理类型的识别概率，然后求这些识别概率的平均值，由此能够识别形状复杂的患部的病理类型。

[0014] 也可以为：所述处理装置用于根据不同尺寸的区域的识别精度来对所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率进行加权处理，从而计算所述平均值。根据上述方式，能够进一步提高识别精度。

[0015] 也可以为：根据所述识别对象区域以及各个所述细化区域的图像而得到的特征量是用基于特征袋法的视觉词的直方图来表现的，所述处理装置用于将如下所述的直方图相加来计算表示根据上位层次区域的图像而得到的特征量的直方图：所述直方图表示根据分层重叠的下位层次区域的图像而得到的特征量。根据上述方式，生成如下所述的直方图的处理变得简单，从而能够减少计算量来提高处理速度，其中，所述直方图表示根据上位层次区域的图像而得到的特征量。

[0016] 也可以为：所述处理装置用于对各病理类型进行一对多式的二分类识别，并基于所述的二分类识别的识别结果来计算所述识别对象区域以及各个所述细化区域中的各病理类型的识别概率。根据上述方式，能够提高识别精度。

[0017] －发明的效果－

[0018] 根据本发明，能够提高内窥镜图像诊断辅助系统的识别精度，其中，该内窥镜图像诊断辅助系统识别内窥镜图像中的识别对象区域中的病理类型。

附图说明

[0019] 图1是本发明一实施方式所涉及的内窥镜图像诊断辅助系统的简要结构图。

[0020] 图2是级联识别的概念图。

[0021] 图3是表示使级联识别硬件化的情况下的结构例的图。

[0022] 图4是对识别对象区域(扫描窗，SW)的分层细化进行说明的图。

[0023] 图5是表示自上而下的分层识别的例子的图。

[0024] 图6是表示自下而上的分层识别的例子的图。

[0025] 图7是表示不同病理类型和扫描窗的不同尺寸下的识别精度(True Positive)的例子的图表。

[0026] 图8A表示一个例子所涉及的内窥镜图像。

[0027] 图8B是表示用自下而上分层识别方法来解析在图8A中示出的内窥镜图像所得到的解析结果的图。

[0028] 图9A表示另一个例子所涉及的内窥镜图像。

[0029] 图9B是表示用自下而上分层识别方法来解析在图9A中示出的内窥镜图像所得到的解析结果的图。

具体实施方式

[0030] 下面，参照附图对本发明的实施方式进行说明。需要说明的是，为了便于说明，在下面的说明中，作为内窥镜图像使用了大肠NBI放大内窥镜图像，作为病理类型选用了广岛大学医院的NBI放大观察的意见分类(特别是类型A、类型B、类型C3这三种类型)。但是，本发明并不限于下述的实施方式，例如，本发明还能够适用于使用了消化道内窥镜图像的诊断辅助系统中。

[0031] 图1表示本发明一实施方式所涉及的内窥镜图像诊断辅助系统(下面称为“本系统”)的简要结构。本系统100是如下所述的系统，其基于客观指标来识别显现在大肠NBI放大内窥镜图像中的患部的病理类型，由此来辅助医生进行内窥镜诊断，或者向给经验少的医生进行的教育提供辅助。

[0032] 具体而言，本系统100具备存储装置10、处理装置20以及显示装置30。存储装置10由闪存等非易失性存储器、硬盘驱动器等构成。处理装置20由CPU(Central Processing Unit，中央处理器)、FPGA(Field Programmable Gate Array，现场可编程门阵列)、GPU(Graphics Processing Unit，图形处理器)等各种硬件构成。显示装置30由CRT(Cathode Ray Tube，阴极射线管)、LCD(Liquid Crystal Display，液晶显示器)等构成。

[0033] 处理装置20接收内窥镜图像，判断该图像中的识别对象区域(扫描窗，SW)中的各病理类型。判断结果例如作为不同病理类型的概率(识别概率)来予以显示，在显示装置30中将上述判断结果和内窥镜图像一起实时显示，或者在不同画面上实时显示判断结果。

[0034] 向处理装置20输入的内窥镜图像可以是来自正在进行诊查的内窥镜摄像头的实时影像，也可以是在过去的诊查中拍摄并保存下来的影像。在为前者的情况下，进行诊查时能够实时判断患部的病理类型。在为后者的情况下，能够有效地利用过去的数量庞大的归档影像来进行对内窥镜诊断的教育、训练。

[0035] 处理装置20包括特征量提取处理部21、识别特征矢量转换处理部22、识别判断部23以及识别概率计算部24。其中，针对特征量提取处理部21和识别判断部23实现了硬件化(参照非专利文献1、2)。对于剩余的识别特征矢量转换处理部22和识别概率计算部24而言，既可以实现硬件化，也可以通过处理装置20中的未图示的CPU等以软件处理方式进行处理。

[0036] 特征量提取处理部21从内窥镜图像中的扫描窗的图像提取局部特征量。在此，作为局部特征描述符，例如能够利用D-SIFT(Dense Scale-Invariant Feature Transform，密集的尺度不变特征转换)。

[0037] D-SIFT是如下所述的处理，即：在从输入图像网格(grid)状地取出特征点(关键点)时，将该特征点周围的局部区域中亮度值的梯度信息转换为128维参数(特征量)。首先，特征量提取处理部21利用高斯滤波器(Gaussian filter)进行平滑化处理，针对每一个像素求朝向x方向和y方向的亮度梯度。接下来，特征量提取处理部21利用所求出的亮度梯度将各像素的梯度方向分类成八个方向，并计算梯度强度。然后，针对将局部区域分割成4×4＝16个块中的每一个块(block)，特征量提取处理部21在每个方向(八个方向)上进行叠加，进而在每个块中利用自特征点开始算起的距离来进行基于高斯函数的加权处理。通过对按照上述方式得到的4×4×8方向＝128维的值进行归一化，从而得到128维的特征量矢量群。

[0038] 需要说明的是，如非专利文献1中的公开内容，通过省略对与自特征点开始算起的距离相对应的块的加权处理，能够共有相重叠的特征量描述区域的所有块的值。由此，能够大幅减少所需要的存储器容量。进而，如上述非专利文献1中的公开内容，通过做到了能够在不用反正切(arctan)函数的情况下计算各像素的亮度梯度方向、将亮度梯度方向减少成四个方向、或将归一化处理改变成阈值处理等等，从而将D-SIFT算法封装在软件、硬件中的处理变得容易，特征量提取处理速度会大幅提高。

[0039] 识别特征矢量转换处理部22将由特征量提取处理部21提取出的特征量矢量群转换成基于Bag-of-Features(BoF)法的视觉词(Visual Word，VW)的直方图。

[0040] 通过对从学习用图像群提取出的特征量矢量群进行分组即可得到视觉词。进一步详细而言如下。从预先分类为类型A的学习用图像群提取特征量矢量群，通过k-means(k-均值)法等方法来将特征量矢量群分组成多个(例如256个)组。各个组的中心即为视觉词。即，根据预先分类为类型A的学习用图像群而得到被赋予的特征为类型A的多个(例如256个)视觉词。同样，根据预先分类为类型B的学习用图像群而得到被赋予的特征为类型B的多个(例如256个)视觉词，此外，根据预先分类为类型C3的学习用图像群而得到被赋予的特征为类型C3的多个(例如256个)视觉词。

[0041] 对于上述的各组256个视觉词的三个集合，识别特征矢量转换处理部22找出与由特征量提取处理部21提取出的特征量矢量最为类似的部分、即矢量间距离最小的部分，将其给上述三个集合中的视觉词各投票一次。对由特征量提取处理部21提取出的特征量矢量群进行该投票处理，由此，特征量矢量群被转换成768(＝256×3)个视觉词的直方图。即，内窥镜图像中的扫描窗的图像由768维识别空间中的特征矢量表现。

[0042] 需要说明的是，还可以为：使用预先从学习用图像群提取出的特征量矢量，通过其它方法生成视觉词。此外，视觉词的维数也可以改变。

[0043] 在存储装置10中保存预先分类成各病理类型的学习用图像群。已保存在存储装置10中的学习用图像群也能够由上述的768个视觉词的直方图、即768维识别空间中的特征矢量来表现。

[0044] 识别判断部23将已保存在存储装置10中的学习用图像群用作教师数据，来识别已由识别特征矢量转换处理部22生成的视觉词的直方图属于类型A、类型B、类型C3中的哪一种病理类型。作为识别器，例如能够使用SVM(Support Vector Machine，支持向量机)。

[0045] 如非专利文献2中的公开内容，作为基于二分类识别器亦即SVM的多类分类识别方法，存在一对一法(One-versus-One approach)和两阶段判断法。例如，在一对一法下，并联地布置对类型A与类型B进行识别的识别器“A vs B”、对类型B与类型C3进行识别的识别器“B vs C3”以及对类型C3与类型A进行识别的识别器“C3vs A”，根据各识别器的识别结果能够得到最终的识别结果。

[0046] 除此之外，还能够将进行一对多式二分类识别的识别器级联连接来而对各病理类型进行识别(下面称为级联识别)。图2是级联识别的概念图。如图2所示，将对类型A与除类型A之外的部分进行识别的识别器“A vs￢A”、对类型B与除类型B之外的部分进行识别的识别器“B vs￢B”、对类型C3与除类型C3之外的部分进行识别的识别器“C3vs￢C3”级联连接，根据各识别器的识别结果能够得到最终的识别结果。

[0047] 进而，也可以为：在识别器“C3vs￢C3”的后级连接对类型A与类型B进行识别的识别器“A vs B”。其理由如下：在应该被分类为类型A的未知数据x在初级识别器“A vs￢A”中被分类到￢A类的情况下，为了再一次赋予被分类为类型A的机会。这在识别器“A vs￢A”的精度不是100％的情况下有效。因此，通过在末级连接该识别器“A vs B”，从而能够提高识别判断部23的识别精度。

[0048] 此外，向处理装置20输入的内窥镜图像存在下述问题，即：由光引起的图像的高光溢出(blown out highlights)、伴随利用水进行的冲洗的图像的紊乱、由大肠壁面的血管引起的脉动、由内窥镜操作引起的图像的离焦模糊等等。由于针对这样的离焦模糊图像不能准确地识别病理类型的概率较高，因此还可以为：在上述级联识别的初级识别器上连接二分类识别器，其中，所述二分类识别器对离焦模糊图像与除此之外的图像进行识别。

[0049] 上述级联识别可通过软件处理和硬件处理中任一者来实现。图3表示使级联识别硬件化的情况下的结构例。在利用硬件处理来实现级联识别的情况下，并联地布置各识别器，根据各识别器的识别结果能够得到最终的识别结果。

[0050] 返回图1，识别概率计算部24接收识别判断部23中各识别器的识别结果，例如通过最速下降法来计算各病理类型的识别概率。

[0051] 如上所述，处理装置20接收内窥镜图像，进行该图像中的扫描窗的图像与所述学习用图像群之间的图像匹配(特征量匹配)，从而识别扫描窗中的各病理类型。

[0052] 进而，处理装置20将扫描窗分层细化，使得能够识别非矩形的形状复杂的患部的病理类型。

[0053] 图4是对扫描窗的分层细化进行说明的图。例如，如图4所示，对内窥镜图像中的各扫描窗SW1～SW9进行处理，从而计算各病理类型的识别概率。在此，由于在扫描窗SW1、SW9中类型A几乎占了整个区域，因此在这些扫描窗中，类型A的识别概率非常高。此外，由于在扫描窗SW5中类型B几乎占了整个区域，因此在该扫描窗中，类型B的识别概率非常高。另一方面，由于在其它扫描窗中类型A和类型B是混在一起的，因此难以判断病理类型是类型A还是类型B。于是，对这样的扫描窗进行分层细化，从而生成尺寸更小的下位层次(例如级别2)的扫描窗或尺寸进一步小的下位层次(例如级别3)的扫描窗，在这些小尺寸扫描窗中对病理类型进行识别(以下称为分层识别)。需要说明的是，在下面的说明中，级别(level)是指扫描窗SW的层次。

[0054] 分层识别方法包括两种，即自上而下的方法和自下而上的方法。下面针对各种方法进行说明。

[0055] 图5表示自上而下的分层识别的例子。在自上而下的分层识别方法中，首先，用大尺寸扫描窗、即最上位级别的扫描窗对内窥镜图像进行扫描，在各扫描窗中进行识别处理。图5中的左侧部分表示将内窥镜图像分为扫描窗SW1,1～SW9,1并在各扫描窗进行识别处理后得到的结果。需要说明的是，SW的下标中的右侧数字表示扫描窗的级别(设最上位为级别
1)，SW的下标中的左侧数字表示该级别下的扫描窗的序号，这在下面的说明中也是同样的。
在图5的例子中，在扫描窗SW1,1～SW4,1、SW6,1～SW9,1中类型A的识别概率达到了90％。由此能够判断这些扫描窗中的病理类型为类型A。另一方面，在扫描窗SW5,1中，三种病理类型的识别概率不相上下。由此在扫描窗SW5,1中难以判断病理类型。

[0056] 如扫描窗SW5,1那样难以判断到底是哪一种病理类型的情况下，具体而言是识别概率的最大值比阈值(例如80～90％)还小的情况下，处理装置20对该扫描窗进行细化，从而在下位级别的扫描窗、即尺寸更小的扫描窗中进行识别处理。

[0057] 例如，如图5中的右侧部分所示，将三种病理类型的识别概率不相上下的扫描窗SW5,1分割成四个部分，在小的扫描窗SW1,2～SW4,2进行识别处理。这样，通过对扫描窗进行细化，能够以更佳的精度来识别非矩形的形状复杂的患部的病理类型。

[0058] 需要说明的是，在图5的例子中，将扫描窗SW5,1细化成区域之间彼此不重叠的扫描窗SW1,2～SW4,2，然而也可以为：细化后的各扫描窗的区域的一部分相重叠。

[0059] 上述的自上而下的识别处理是在识别概率的最大值比阈值还小的情况下进行将扫描窗细化下去这样的串行处理的，从这一点上来说，该自上而下的识别处理特别适合软件处理。而且，其不是用小尺寸扫描窗对整个内窥镜图像进行识别处理，而是只在必要的情况(识别概率的最大值比阈值还小的情况)下，用更小尺寸的扫描窗进行识别处理，因此能够高速地处理Full HD(1920×1080像素)的整个内窥镜图像。

[0060] 图6表示通过自下而上的方法进行的分层识别的例子。在自下而上的分层识别方法中，用多种尺寸大小的扫描窗进行识别处理。例如，在图6的例子中，用大(级别1)、中(级别2)、小(级别3)这样的各种尺寸的扫描窗进行识别处理。不仅是不同级别之间的各扫描窗的一部分或者全部区域可以相重叠，而且相同级别内的各扫描窗的一部分或者全部区域也可以相重叠。

[0061] 在自下而上的分层识别方法中，能够通过对根据下位层次扫描窗的图像的特征量而得到的直方图进行加权和求和，来计算根据上位层次扫描窗的图像的特征量而得到的视觉词的直方图。在此，如上所述，在特征量提取处理部21中，通过省略对与自特征点开始算起的距离相对应的块的加权处理，由此，只简单地相加对根据下位层次扫描窗的图像而得到的特征量予以表示的直方图并进行归一化，就能够生成对根据上位层次扫描窗的图像而得到的特征量予以表示的直方图。即，只要仅针对最下位级别(在图6的例子中为级别3)的各扫描窗生成视觉词的直方图即可，该最下位级别的上位级别的各扫描窗的直方图则能够根据最下位级别的各扫描窗的直方图而容易地计算出来。此外，对最下位级别的各扫描窗中的特征量的计算，则能够采用并行处理。从这样的方面来说，自下而上的识别处理特别适合于并行处理比较容易的硬件处理。

[0062] 在自上而下和自下而上中的任一分层识别方法中，各扫描窗的分层重叠区域中各病理类型的识别概率都是作为重叠区域的各扫描窗中各病理类型的识别概率的平均值来计算的。在图5的例子中，处理装置20计算扫描窗SW1,2及其上位层次扫描窗SW5,1中各病理类型的识别概率的平均值。此外，在图6的例子中，处理装置20计算扫描窗SW6,3、其上位层次扫描窗SW1,2、SW5,2、SW6,2、SW9,2、更上位层次扫描窗SW1,1～SW4,1中各病理类型的识别概率的平均值。

[0063] 图7是表示不同病理类型(类型A、类型B、类型C3以及所有类型的平均(all))和扫描窗的不同尺寸(60×60像素、120×120像素、200×200像素、500×500像素)下的识别精度(True Positive)的例子的图表。需要说明的是，将i设为类型A、类型B、类型C3、所有(All)中的任一者，则True Positive(i)由下述式来定义。

[0064] True Positive(i)＝Posi_Num(i)/Img_Num(i)×100[％]

[0065] 其中，Img_Num(i)表示类型为i的所有输入图像数据数，Posi_Num(i)表示类型为i的所有输入图像数据中准确地识别为类型i的数量。

[0066] 如图7所示，随着扫描窗的尺寸减小，所有病理类型的识别精度(True Positive)均降低。因此，在计算各扫描窗中各病理类型的识别概率的平均值的情况下，处理装置20还可以根据各扫描窗的不同尺寸下的识别精度来进行加权处理。由此能够提高识别精度。

[0067] 如上所述，根据本实施方式，能够高速且高精度地识别非矩形的形状复杂的患部的病理类型。

[0068] 需要说明的是，扫描窗无需是矩形的，其还可以具有多种形状。此外，扫描窗的尺寸也可以是任意的。

[0069] (实施例)

[0070] 下面，举出使用本实施方式所涉及的内窥镜图像诊断辅助系统100并通过自下而上分层识别方法来对内窥镜图像进行了解析的例子。

[0071] 图8A是一个例子所涉及的内窥镜图像。在该内窥镜图像的中央部显现出了轮廓由曲线与斜线形成的类型B的患部。此外，图9A是另一个例子所涉及的内窥镜图像。在该内窥镜图像的从中央部到右下方的位置上显现出了曲线轮廓的类型C3的患部。

[0072] 图8B是表示用自下而上分层识别方法来解析在图8A中示出的内窥镜图像所得到的解析结果的图。此外，图9B是表示用自下而上分层识别方法来解析在图9A中示出的内窥镜图像所得到的解析结果的图。需要说明的是，在两幅附图中，附图中的网格表示自下而上分层识别中的最下位层的扫描窗、即最小的识别对象区域，其尺寸是60×60像素。

[0073] 根据图8B所示的解析结果，在类型B的患部中的扫描窗中，所计算的类型B的识别概率高，能够准确地识别在图8A中示出的内窥镜图像中类型B的患部。

[0074] 此外，根据图9B所示的解析结果，在类型C3的患部中的扫描窗中，所计算的类型C3的识别概率高，能够准确地识别在图9A中示出的内窥镜图像中类型C3的患部。

[0075] 以上对本发明的实施方式和实施例进行了说明，但是本发明并不限于上述的实施方式的构成方式，而是能够进行多种变形。

[0076] 此外，利用上述实施方式来说明的构成方式只不过是本发明的一实施方式而已，并没有意图将本发明限定在该构成方式内。