图像处理设备、图像处理方法以及程序

摘要

本发明提供了一种图像处理设备、图像处理方法以及程序，其中，该图像处理设备对通过使分析对象成像而获得的病理图像进行分析，该图像处理设备包括：设置装置，其用于计算亮度差别特征量作为病理图像的每个像素的特征量，并且用于基于亮度差别特征量，使用已预先学习的细胞组织检测器来设置病理图像中的细胞组织区域。细胞组织检测器可以通过使用与细胞组织对应的图像的统计学习而预先学习。

权利要求

1.一种对通过使分析对象成像而获得的病理图像进行分析的图像处理设备，包括：设置装置，其用于计算亮度差别特征量作为病理图像的每个像素的特征量，并且用于基于所述亮度差别特征量，使用已预先学习的细胞组织检测器来设置所述病理图像中的细胞组织区域，其中，所述细胞组织检测器通过使用与细胞组织对应的图像的统计学习而预先学习，其中，所述设置装置包括：特征量计算装置，其用于计算亮度差别特征量作为病理图像的每个像素的特征量；

检测装置，其用于基于所述亮度差别特征量，使用已预先学习的细胞组织检测器来检测所述病理图像中的细胞组织区域；以及确定装置，其用于基于所检测到的细胞组织区域的大小、所述细胞组织检测器中的得分、以及所述病理图像中的位置，确定存在于所述病理图像中的多个细胞组织区域当中要作为主角的所述细胞组织区域。

2.根据权利要求1所述的图像处理设备，其中，所述设置装置包括：矩形区域决定装置，其用于确定由被确定为主角的所述细胞组织区域内接的矩形区域。

3.根据权利要求2所述的图像处理设备，还包括

分析装置，其用于对与已设置的所述细胞组织区域对应的病理图像进行分析，并用于检测病灶部位。

4.根据权利要求3所述的图像处理设备，还包括

成像装置，其用于使分析对象成像以生成所述病理图像。

5.根据权利要求4所述的图像处理设备，其中

所述特征量计算装置计算亮度差别特征量作为由所述成像装置以低分辨率成像的低分辨率的病理图像的每个像素的特征量，所述成像装置基于所确定的所述矩形区域，以高分辨率再次使所述分析对象成像，并且所述分析装置对由所述成像装置以高分辨率再次成像的高分辨率病理图像进行分析，并且检测病灶部位。

6.根据权利要求2所述的图像处理设备，

其中，所述统计学习是Boosting。

7.一种用于对通过使分析对象成像而获得的病理图像进行分析的图像处理设备的图像处理方法，包括以下步骤：通过所述图像处理设备，计算亮度差别特征量作为病理图像的每个像素的特征量，并且基于所述亮度差别特征量，使用已预先学习的细胞组织检测器来设置所述病理图像中的细胞组织区域，其中，所述细胞组织检测器通过使用与细胞组织对应的图像的统计学习而预先学习；

计算亮度差别特征量作为病理图像的每个像素的特征量；

基于所述亮度差别特征量，使用已预先学习的细胞组织检测器来检测所述病理图像中的细胞组织区域；以及基于所检测到的细胞组织区域的大小、所述细胞组织检测器中的得分、以及所述病理图像中的位置，确定存在于所述病理图像中的多个细胞组织区域当中要作为主角的所述细胞组织区域。

说明书

图像处理设备、图像处理方法以及程序

技术领域

[0001] 本发明涉及一种图像处理设备、图像处理方法以及程序，具体地，本发明涉及一种适于用于例如在通过拍摄人体断层而获得的病理图像上检测诸如肿瘤的病灶部位的图像处理设备、图像处理方法以及程序。

背景技术

[0002] 过去，存在如下图像识别技术：其在通过使人体的器官等成像而获得的病理图像上检测诸如肿瘤的病灶部位。

[0003] 例如，JP 2009-175040A公开了一种如下技术：在由人(病理医生)在病理图像上设置应该关注区域(ROI)之后，以高放大率再次使ROI成像来分析ROI。在分析中，ROI内的边缘信息被用作图像特征量。

[0004] 此外，JP 2007-310231A公开了一种用于详细检查如下部位的技术：在通过使用荧光染料的样品将该部位着色之后，应该使用暗视场显宏镜(macroscope)来分析该部位。

[0005] JP 2009-175334A公开了一种用于排除作为背景(不受关注的区域)的病理图像中的白色区域的技术。

发明内容

[0006] 如上所述，在用于检测病理图像上的病灶部位的图像识别中，过去做出如下处理：在病理图像上设置应该关注区域，并且排除不受关注的区域。

[0007] 然而，难以通过简单的处理在病理图像上适当地设置应该关注区域。

[0008] 鉴于前述内容，希望提供如下技术：通过简单的处理适当地检测病理图像上的应该关注的细胞组织区域。

[0009] 根据本发明的实施例，提供了一种图像处理设备，其对通过使分析对象成像而获得的病理图像进行分析，该图像处理设备包括：设置装置，其用于计算亮度差别特征量作为病理图像的每个像素的特征量，并且用于基于亮度差别特征量，使用已预先学习的细胞组织检测器来设置病理图像中的细胞组织区域。细胞组织检测器可以通过使用与细胞组织对应的图像的统计学习而预先学习。

[0010] 设置装置可以包括：特征量计算装置，其用于计算亮度差别特征量作为病理图像的每个像素的特征量；检测装置，其用于基于亮度差别特征量，使用已预先学习的细胞组织检测器来检测病理图像中的细胞组织区域；确定装置，其用于基于所检测到的细胞组织区域的大小、细胞组织检测器中的得分、以及病理图像中的位置，确定存在于病理图像中的多个细胞组织区域当中要作为主角(principal)的细胞组织区域；以及矩形区域决定装置，其用于确定由被确定为主角的细胞组织区域内接(inscribe)的矩形区域。

[0011] 图像处理设备还包括分析装置，其用于对与已设置的细胞组织区域对应的病理图像进行分析，并用于检测病灶部位。

[0012] 图像处理设备还包括成像装置，其用于使分析对象成像以生成病理图像。

[0013] 特征量计算装置可以计算亮度差别特征量作为由成像装置以低分辨率成像的低分辨率的病理图像的每个像素的特征量，成像装置可以基于所确定的矩形区域，以高分辨率再次使分析对象成像，并且分析装置可以对由成像装置以高分辨率再次成像的高分辨率病理图像进行分析，并且检测病灶部位。

[0014] 统计学习可以是Boosting。

[0015] 根据本发明的另一实施例，提供了一种对通过使分析对象成像而获得的病理图像进行分析的图像处理设备的图像处理方法，包括以下步骤：通过图像处理设备，计算亮度差别特征量作为病理图像的每个像素的特征量，并且基于亮度差别特征量，使用已预先学习的细胞组织检测器来设置病理图像中的细胞组织区域。细胞组织检测器可以通过使用与细胞组织对应的图像的统计学习而预先学习。

[0016] 根据本发明的另一实施例，提供了一种程序，其用于使得用于对通过使分析对象成像而获得的病理图像进行分析的计算机起以下作用：设置装置，其用于计算亮度差别特征量作为病理图像的每个像素的特征量，并且用于基于亮度差别特征量，使用已预先学习的细胞组织检测器来设置病理图像中的细胞组织区域。细胞组织检测器可以通过使用与细胞组织对应的图像的统计学习而预先学习。

[0017] 根据本发明的实施例，可计算亮度差别特征量作为病理图像的每个像素的特征量，并且基于亮度差别特征量，使用已预先学习的细胞组织检测器来设置病理图像中的细胞组织区域。

[0018] 根据本发明的另一实施例，可适当地检测在病理图像上要关注的应该关注细胞组织区域。

[0019] 此外，根据本发明的另一实施例，可通过仅详细检查所检测到的细胞组织区域立即检测病灶部位。

附图说明

[0020] 图1是示出根据本发明的病灶部位检测装置的配置示例的框图；

[0021] 图2是说明病理图像分析处理的流程图；

[0022] 图3是说明细胞组织区域分离处理的流程图；

[0023] 图4是示出低分辨率病理图像的示例的图；

[0024] 图5是说明如何基于低分辨率病理图像中的位置而计算得分SPi的图；

[0025] 图6是示出其上布置有多个分析对象的制备的载玻片(preparedslide)的示例的图；

[0026] 图7是示出对应于图6的矩形细胞组织区域的图；以及

[0027] 图8是示出计算机的配置示例的框图。

具体实施方式

[0028] 下文中，将参照附图详细描述本发明的优选实施例。注意，在该说明书和附图中，用相同的附图标记表示具有基本上相同功能和结构的结构元件，并且省略这些结构元件的重复说明。

[0029] <1.实施例>

[0030] [病灶部位检测装置的配置示例]

[0031] 病灶部位检测装置10包括成像单元11、图像处理单元12、以及病理分析单元13。

[0032] 成像单元11以低分辨率使制备的载玻片化的分析对象(例如，人体的器官切片等)的全部成像，并且将作为成像结果而获得的其低分辨率病理图像输出到图像处理单元12。注意，由于低分辨率图像仅使用每个像素的亮度，所以可用黑色和白色成像。

[0033] 此外，成像单元11以高分辨率仅使从图像处理单元12通知的低分辨率病理图像中的矩形细胞组织区域成像，并且将作为成像结果而获得的高分辨率病理图像输出到病理分析单元13。

[0034] 图像处理单元12将从成像单元11输入的低分辨率病理图像分离成要关注的应该关注细胞组织区域和要排除的背景区域(不是细胞组织的区域)，指定内接细胞组织区域的矩形区域(矩形细胞组织区域)，并且向成像单元11通知其坐标位置。

[0035] 病理分析单元13对从成像单元11输入的矩形细胞组织区域的高分辨率病理图像进行分析，并且检测诸如肿瘤的病灶部位。注意，病理分析单元13如何检测病灶部位是任意的。例如，病理分析单元13预先学习肿瘤部位的图像特征量以制作数据库，并且通过与高分辨率病理图像中的每个位置处的图像特征量进行比较来检测病灶部位。

[0036] 因此，与以高分辨率使分析对象的全部成像来进行分析的情况相比，通过在病理分析单元13中分析矩形细胞组织区域的高分辨率病理图像，能够降低计算成本，并且能够缩短系列处理所需的时间。

[0037] 接下来，将给出关于图像处理单元12的说明。图像处理单元12包括特征量计算单元21、细胞组织区域检测单元22、膨胀单元23、标记单元24、确定单元25、以及矩形区域决定单元26。

[0038] 特征量计算单元21依次将从成像单元11输入的低分辨率病理图像的每个像素指定为应该关注像素，并且设置以应该关注像素为中心的、具有规定大小(例如，5*5像素)的像素块。随后，基于其像素块计算亮度差别特征量作为应该关注像素的特征量。特征量计算单元21将针对低分辨率病理图像和其每个像素算出的亮度差别特征量输出到细胞组织区域检测单元22。

[0039] 这里，亮度差别特征量被配置成关注像素块内规定的多个像素对，并且计算像素对的每个亮度的差别。假定基于针对已学习的低分辨率病理图像(细胞组织的图像)算出的亮度差别特征量，通过统计学习技术(Boosting)来确定构成像素对的像素的位置。

[0040] 注意，亮度差别特征量有时可被称为PixDif，例如在JP 2005-284348A等中已将其详细公开。此外，可采用类哈尔(Haar-like)特征量作为特征量。如在“Paul Viola和 Michel J.Jones：“Rapid Object Detection Using aBoosted Cascade of Simple Features”，Proceedings of the 2001 IEEEComputer Society Conference on Computer Vision and PatternRecognition”中公知类哈尔特征。

[0041] 细胞组织区域检测单元22具有已学习的内嵌细胞组织区域检测器，并且基于从特征量计算单元21输入的、低分辨率病理图像的每个像素的亮度差别特征量，将低分辨率病理图像区分成细胞组织区域和细胞组织区域之外的区域。注意，存在以下可能性：这里的区分是基于亮度差别特征量的，以及不一定准确区分其边界附近。细胞组织区域检测单元22在随后的阶段将处理结果(包括示出与学习结果的类似度的得分)输出到膨胀单元23。

[0042] 膨胀单元23针对被区分为低分辨率病理图像中的细胞组织区域的区域执行膨胀处理，以使其轮廓微小地膨胀。结果，能够防止留下被区分为细胞组织之外的区域的区域(尽管它实际上是细胞组织)。膨胀单元23将处理的结果输出到标记单元24。

[0043] 标记单元24执行区域标记处理，该处理用于向分散在低分辨率病理图像上的每个细胞组织区域(利用膨胀处理完成)提供不同标记。例如，当两个细胞组织区域存在于低分辨率病理图像中时，执行标记处理，使得一方面存在细胞组织区域A，而另一方面存在细胞组织区域B。上述膨胀处理和区域标记处理是图像处理领域中公知的技术(例如，参见由数字图像处理编辑委员会监督的“Digital Image Processing(数字图像处理)”，第2版，计算机图形技术协会)。标记单元24将处理的结果输出到确定单元25。

[0044] 确定单元25针对在低分辨率病理图像中设置有标记的每个细胞组织区域，根据区域的大小、细胞组织区域检测单元22中的得分(示出与学习结果的类似度的得分)、以及基于低分辨率病理图像中的位置的得分来计算主角度得分SA。然后基于主角度得分SA将每个细胞组织区域确定为主角或非主角(secondary)。确定单元25将处理的结果输出到矩形区域决定单元26。

[0045] 矩形区域决定单元26设置矩形区域(矩形细胞组织区域)以由被确定为低分辨率病理图像中的主角的细胞组织区域内接，并且向成像单元11通知其坐标位置。

[0046] [操作说明]

[0047] 接下来，将说明病灶部位检测装置10的操作。图2是说明由病灶检测装置10进行的病理图像分析处理的流程图。

[0048] 在步骤S1，成像单元11以低分辨率使制备的载玻片化的分析对象的全部成像，并且将作为成像结果获得的低分辨率病理图像输出到图像处理单元12。

[0049] 在步骤S2，图像处理单元12将从成像单元11输入的低分辨率病理图像分离成细胞组织区域和背景区域，并且指定内接细胞组织区域的矩形细胞组织区域，并且向成像单元11通知其坐标位置。

[0050] 这里，参照图3和图4详细地说明步骤S2的处理(下文中，被称作细胞组织区域分离处理)。图3是说明细胞组织区域分离处理的流程图。图4示出了细胞组织区域分离处理的每个步骤中处理的低分辨率病理图像。

[0051] 在图像处理单元12中，从成像单元11输入的低分辨率病理图像被输入到特征量计算单元21a从成像单元11输入的低分辨率病理图像例如如在图4A所示。

[0052] 在步骤S11，特征量计算单元21依次将从成像单元11输入的低分辨率病理图像的每个像素指定为应该关注像素，并且设置以应该关注像素为中心的、具有规定大小的像素块。随后，基于其像素块计算亮度差别特征量作为应该关注像素的特征量。特征量计算单元21将针对低分辨率病理图像和其每个像素算出的亮度差别特征量输出到细胞组织区域检测单元22。细胞组织区域检测单元22将低分辨率病理图像区分成细胞组织区域和细胞组织区域之外的区域，并将低分辨率病理图像(其中，如图4B所示，例如以白色示出细胞组织区域，而以黑色示出细胞组织区域之外的区域)输出到膨胀单元23。

[0053] 在步骤S12，膨胀单元23针对被区分为低分辨率病理图像中的细胞组织区域的区域执行膨胀处理，并将作为处理结果获得的低分辨率病理图像(其中，如图4C所示，例如，细胞组织区域的轮廓被微小地膨胀)输出到标记单元24。

[0054] 在步骤S13，标记单元24执行区域标记处理，该处理用于向分散在低分辨率病理图像上的每个细胞组织区域(利用膨胀处理完成)提供不同标记。结果，如图4D所示，例如，如果两个细胞组织区域存在于低分辨率病理图像中，则一方面设置诸如细胞组织区域A的标记，而另一方面设置诸如细胞组织区域B的标记。标记单元24将处理的结果输出到确定单元25。

[0055] 在步骤S14，确定单元25针对在低分辨率病理图像中设置有标记的每个细胞组织区域，根据区域的大小、细胞组织区域检测单元22中的得分(示出与学习结果的类似度的得分)SDi、以及基于低分辨率病理图像中的位置的得分SPi，使用以下公式(1)，计算主角度得分SA。

[0056] SA＝∑(SDi×SPi) …(1)

[0057] 这里，这里的∑是指属于每个细胞组织区域的像素i的总和。

[0058] 此外，关于基于低分辨率病理图像中的位置的得分SPi，对于图5中示出的位置关系，采用通过使用以下公式(2)算出的值，使得得分随着它与屏幕中心越近而变得越大，以及得分随着它与外周越近而变得越小。

[0059] SP＝1-SQR[((x/W)-0.5)2×2+((y/H)-0.5)2×2] …(2)

[0060] 另外，确定单元25基于主角度得分SA，将每个细胞组织区域确定为主角或非主角。该确定例如将其主角度得分SA超过规定阈值的细胞组织区域确定为主角，并将其它确定为非主角。或者，从具有较大主角度得分SA的细胞组织区域起，将预定数目(例如，1)的细胞组织区域顺序地确定为主角，并且将其它确定为非主角。

[0061] 在图4的示例中，在屏幕中心的最大细胞组织区域被确定为主角，如图4E所示。确定单元25将处理的结果输出到矩形区域决定单元26。

[0062] 在步骤S15，矩形区域决定单元26设置矩形区域(矩形细胞组织区域)以由被确定为低分辨率病理图像中主角的细胞组织区域内接，并且向成像单元11通知其坐标位置。因此，细胞组织区域分离处理结束，并且处理返回到图2中的步骤S3。

[0063] 在步骤S3，基于从图像处理单元12通知的矩形细胞组织区域的坐标，成像单元11以高分辨率仅使制备的载玻片化的分析对象当中的矩形细胞组织区域成像，并且将作为成像结果而获得的高分辨率病理图像输出到病理分析单元13。

[0064] 在步骤S4，病理分析单元13对从成像单元11输入的高分辨率病理图像进行分析，并且检测诸如肿瘤的病灶部位。因此，病理图像分析处理结束。

[0065] 根据该病理图像分析处理，与以高分辨率使分析对象的全部成像来进行分析的情况相比，可降低计算成本和系列处理所花费的时间。

[0066] [其它应用示例]

[0067] 根据本发明，可应用于当扫描例如图6所示的、其上布置有多个分析对象(细胞组织)的制备的载玻片时的预处理。

[0068] 也就是，过去，扫描对象是与该图示出的类似的制备的载玻片的全部区域，或者由手设置的规定区域。然而，通过应用本申请中的发明，如图7A所示，可对制备的载玻片上的每个分析对象单独地设置矩形细胞组织区域，并且如图7B所示，可设置矩形细胞组织区域以内接制备的载玻片上的所有分析对象。因此，可使要扫描的对象的区域最小，并缩短其所需的时间。

[0069] 可以通过硬件或通过软件来执行上述系列处理。当通过软件执行系列处理时，配置以构成软件的程序能够从程序的记录介质安装到内嵌于专用硬件的计算机、或者例如能够通过安装各种程序执行各种功能的通用个人计算机。

[0070] 图8是示出通过执行上述系列处理的程序执行的计算机硬件的配置示例的框图。

[0071] 在该计算机100中，CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103经总线104互连。

[0072] 总线104还与输入/输出接口105连接。输入/输出接口105与输入单元106(键盘、鼠标、以及麦克风等)、输出单元107(显示器、扬声器等)、存储单元108(硬件、非易失性存储器等)、通信单元109(网络接口等)、操作可拆卸介质111(诸如磁盘、光盘、磁光盘或半导体存储器等)的驱动器110连接。

[0073] 在如上所述配置的计算机100，CPU 101例如通过经由输入/输出接口105和总线104将存储在存储单元108中的程序载入RAM 103以执行，来执行上述系列处理。

[0074] 注意，由计算机执行的程序可以是按时间顺序按本说明中描述的顺序执行处理的程序，或者可以是并行地或在诸如当存在调用时的必要时刻等执行处理的程序。

[0075] 此外，程序可以由一个计算机来处理，或者可以由多个计算机以分布式处理来处理。此外，程序可以被传输到远处的计算机以被执行。

[0076] 本领域的技术人员应理解，可以在所附权利要求或其等价物的范围内根据设计需要和其它因素进行各种修改、组合、子组合以及变更。

[0077] 本申请包含与2010年4月1日向日本专利局提交的日本优先权专利申请JP2010-084755中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。