荧光观察装置转让专利

申请号 : CN201280024503.1

文献号 : CN103547207B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 石原康成

申请人 : 奥林巴斯株式会社

摘要 :

根据荧光试药的种类、个体差异、病变部位的不同,提高提取荧光物质存在得多的区域的概率。本发明提供荧光观察装置(1),具有:照明部(3),对被摄体(F)照射激励光和照明光;荧光摄像部(18),拍摄由于激励光的照射在所述被摄体(F)中产生的荧光并取得荧光图像;返回光摄像部(19),拍摄由于照明光的照射从所述被摄体(F)返回的返回光并取得返回光图像;提取部(23),将荧光图像中具有超过灰度值阈值的灰度值的区域判定为关注区域并将其提取;显示部(7),使该提取部(23)提取出的关注区域和返回光图像对应地显示;正确与否输入部(8),使观察者输入显示部(7)显示的关注区域的判定的正确与否;以及阈值更新部(26),其以反映该正确与否输入部(8)所输入的输入结果的方式更新所述灰度值阈值。

权利要求 :

1.一种荧光观察装置,

所述荧光观察装置具有:

照明部,其对被摄体照射激励光和照明光;

荧光摄像部,其拍摄由于来自该照明部的激励光的照射而在所述被摄体中产生的荧光并取得荧光图像;

返回光摄像部,其拍摄由于来自所述照明部的照明光的照射而从所述被摄体返回的返回光并取得返回光图像;

其特征在于,所述荧光观察装置还具有:

提取部,其将所述荧光图像中具有超过灰度值阈值的灰度值的区域判定为关注区域并提取该关注区域;

显示部,其将该提取部提取出的所述关注区域和所述返回光图像对应起来进行显示;

正确与否输入部,其使观察者输入针对该显示部显示的所述关注区域的所述判定是否正确;以及阈值更新部,其以反映通过该正确与否输入部输入的输入结果的方式更新所述灰度值阈值。

2.根据权利要求1所述的荧光观察装置,其中,当通过所述正确与否输入部输入成所述判定正确时,所述阈值更新部以降低所述灰度值阈值的方式进行更新。

3.根据权利要求1或2所述的荧光观察装置,其中,当通过所述正确与否输入部输入成所述判定错误时,所述阈值更新部以增大所述灰度值阈值的方式进行更新。

4.根据权利要求1所述的荧光观察装置,其中,当通过所述正确与否输入部输入成所述提取部的所述判定正确时,在比所述关注区域的灰度值低预定余量的下位灰度值低于所述灰度值阈值的情况下,所述阈值更新部以使所述下位灰度值成为新的灰度值阈值的方式进行更新。

5.根据权利要求1所述的荧光观察装置,其中,所述荧光观察装置具有灰度值存储部,当所述提取部提取出所述关注区域并且观察者输入了对该关注区域的判定时,所述灰度值存储部将该关注区域的灰度值和判定结果对应起来进行存储,当通过所述正确与否输入部针对新的关注区域输入成所述判定正确时,所述阈值更新部计算对应于该输入的判定结果而存储在所述灰度值存储部内的过去的灰度值的平均值,并在比计算出的平均值低出所设定的余量的下位灰度值低于所述灰度值阈值的情况下,以使所述下位灰度值成为新的灰度值阈值的方式进行更新。

6.根据权利要求5所述的荧光观察装置,其中,所述阈值更新部对计算出所述平均值的过去的灰度值的标准偏差进行计算,根据计算出的标准偏差设定所述余量。

7.根据权利要求4至6中任意一项所述的荧光观察装置,其中,当通过所述正确与否输入部输入成所述判定错误时,所述阈值更新部以增大所述灰度值阈值的方式进行更新。

8.根据权利要求1或4所述的荧光观察装置,其中,当通过所述正确与否输入部输入成所述提取部的所述判定错误时,所述阈值更新部以使所述灰度值阈值和所述关注区域的灰度值之间的平均值成为新的灰度值阈值的方式进行更新。

9.根据权利要求5或6所述的荧光观察装置,其中,当通过所述正确与否输入部输入成所述提取部的所述判定错误时,所述阈值更新部计算对应于该输入的判定结果而存储在所述灰度值存储部内的过去的灰度值的平均值,并以使计算出的平均值成为新的灰度值阈值的方式进行更新。

10.根据权利要求1所述的荧光观察装置,其中,所述显示部使所述关注区域和所述返回光图像重叠来显示。

11.根据权利要求1所述的荧光观察装置,其中,所述提取部将具有超过所述灰度值阈值的灰度值、且具有超过面积阈值的面积的区域作为所述关注区域来提取。

12.根据权利要求1所述的荧光观察装置,其中,所述荧光观察装置具有保存部,所述保存部将所述关注区域的灰度值和与过去的判定结果相关的信息对应起来进行保存,所述显示部按每个所述关注区域,从所述保存部调用与该灰度值对应的与过去的判定结果相关的信息并显示该信息。

13.根据权利要求1所述的荧光观察装置,其中,所述荧光观察装置具有:

拆装部件,其为了变更观察条件而被拆装,该拆装部件存储有识别信息;

识别信息读取部,其读取存储在该拆装部件内的识别信息;以及存储部,其使所述识别信息和所述灰度值阈值对应起来进行存储,所述提取部使用对应于所安装的拆装部件的识别信息而存储在所述存储部内的所述灰度值阈值来开始所述关注区域的提取。

14.根据权利要求1所述的荧光观察装置,其中,所述荧光观察装置具有:

单独信息输入部,其输入各所述被摄体的单独信息;以及存储部,其将所述单独信息和所述灰度值阈值对应起来进行存储,所述提取部使用对应于由所述单独信息输入部所输入的所述单独信息而存储在所述存储部内的所述灰度值阈值来提取所述关注区域。

15.一种荧光观察装置,

所述荧光观察装置具有:

照明部,其对被摄体照射激励光和照明光;

荧光摄像部,其拍摄由于来自该照明部的激励光的照射而在所述被摄体中产生的荧光并取得荧光图像;

返回光摄像部,其拍摄由于来自所述照明部的照明光的照射而从所述被摄体返回的返回光并取得返回光图像;

其特征在于,所述荧光观察装置还具有:

提取部,其将所述荧光图像中的如下区域判定为关注区域并提取该关注区域,所述区域具有超过灰度值阈值的灰度值、且该区域的与所述灰度值不同的其它特征量和所述灰度值相乘后的指标值超过预定指标阈值;

显示部,其将所述提取部提取出的所述关注区域和所述返回光图像对应起来进行显示;

正确与否输入部,其使观察者输入针对该显示部显示的所述关注区域的所述判定是否正确;以及阈值更新部,其以反映通过所述正确与否输入部输入的输入结果的方式更新所述灰度值阈值。

16.根据权利要求15所述的荧光观察装置,其中,当通过所述正确与否输入部输入成所述判定正确时,所述阈值更新部以降低所述灰度值阈值的方式进行更新。

17.根据权利要求15或16所述的荧光观察装置,其中,当通过所述正确与否输入部输入成所述判定错误时,所述阈值更新部以增大所述灰度值阈值的方式进行更新。

18.根据权利要求15所述的荧光观察装置,其中,所述荧光观察装置具有:

拆装部件,其为了变更观察条件而被拆装,该拆装部件存储有识别信息;

识别信息读取部,其读取存储在该拆装部件内的识别信息;以及存储部,其使所述识别信息和所述灰度值阈值对应起来进行存储,所述提取部使用对应于所安装的拆装部件的识别信息而存储在所述存储部内的所述灰度值阈值来开始所述关注区域的提取。

19.根据权利要求15所述的荧光观察装置,其中,所述荧光观察装置具有:

单独信息输入部,其输入各所述被摄体的单独信息;以及存储部,其将所述单独信息和所述灰度值阈值对应起来进行存储,所述提取部使用对应于由所述单独信息输入部所输入的所述单独信息而存储在所述存储部内的所述灰度值阈值来提取所述关注区域。

说明书 :

荧光观察装置

技术领域

[0001] 本发明涉及荧光观察装置。

背景技术

[0002] 以往,公知有这样的荧光内窥镜装置:取得观察对象的反射光图像和荧光图像,在荧光图像的信号强度超过预定的设定级别的情况下,发出警告信号,防止病变等的漏看。
[0003] 现有技术文献
[0004] 专利文献
[0005] 【专利文献1】日本特开2006-191989号公报

发明内容

[0006] 发明要解决的课题
[0007] 然而,专利文献1的荧光内窥镜装置由于根据固定的阈值提取病变部,因而具有如下缺点:由于荧光试药的种类、个体差异、病变部位的不同而不能一个不漏地提取病变部。
[0008] 本发明是鉴于上述情况而作成的,本发明的目的是提供一种与荧光试药的种类、个体差异、病变部位的不同无关、能更可靠地提取所需要的关注区域的荧光观察装置。
[0009] 用于解决课题的手段
[0010] 为了达到上述目的,本发明提供以下手段。
[0011] 本发明的一个方式是一种荧光观察装置,其中,所述荧光观察装置具有:照明部,其对被摄体照射激励光和照明光;荧光摄像部,其拍摄由于来自该照明部的激励光的照射而在所述被摄体中产生的荧光并取得荧光图像;返回光摄像部,其拍摄由于来自所述照明部的照明光的照射而从所述被摄体返回的返回光并取得返回光图像;提取部,其将所述荧光图像中具有超过灰度值阈值的灰度值的区域判定为关注区域并提取该关注区域;显示部,其将该提取部提取出的所述关注区域和所述返回光图像对应起来进行显示;正确与否输入部,其使观察者输入针对该显示部显示的所述关注区域的所述判定是否正确;以及阈值更新部,其以反映该正确与否输入部所输入的输入结果的方式更新所述灰度值阈值。
[0012] 根据上述方式,当从照明部发出的激励光照射到被摄体时,被摄体内包含的荧光物质被激励而产生的荧光由荧光摄像部拍摄,取得荧光图像。当从照明部发出的照明光照射到被摄体时,从被摄体返回的返回光由返回光摄像部拍摄,取得返回光图像。
[0013] 然后,所取得的荧光图像内、具有超过灰度值阈值的灰度值的区域由提取部判定为关注区域来提取,由显示部与返回光图像对应起来进行显示。由此,观察者可与荧光强的区域对应来观察被摄体的形状。
[0014] 在该状态下,由正确与否输入部督促观察到所显示的图像的观察者进行提取部的关注区域判定是否正确的输入。
[0015] 当观察者通过正确与否输入部输入了判定是否正确时,由阈值更新部以反映该输入结果的方式更新灰度值阈值。
[0016] 由此,可利用观察者的判定结果,校正用于提取关注区域的灰度值阈值,与荧光试药的种类、个体差异、病变部位的不同无关、能更可靠地提取所需要的关注区域。
[0017] 在上述方式中,当通过所述正确与否输入部输入成所述判定正确时,所述阈值更新部以降低所述灰度值阈值的方式进行更新。
[0018] 当提取部的关注区域判定被观察者输入成是正确的判定时,对于具有比提取出该关注区域的灰度值阈值低的灰度值的区域,有可能在以后的提取中也应作为关注区域被提取。因此,在该情况下,通过以降低灰度值阈值的方式进行更新,在下次提取时,对于具有比当前的灰度值阈值低的灰度值的区域,也能作为关注区域来提取,可防止所需要的关注区域被漏看。
[0019] 在上述方式中,当通过所述正确与否输入部输入成所述判定错误时,所述阈值更新部以增大所述灰度值阈值的方式进行更新。
[0020] 当提取部的关注区域判定被观察者输入成是错误的判定时,对于具有提取出该关注区域的灰度值阈值以下的灰度值的区域,在以后的提取中也应作为关注区域被提取的可能性低。在该情况下,通过以增大灰度值阈值的方式进行更新,可抑制不需要观察的区域作为关注区域被误提取。
[0021] 因此,即使有荧光试药的种类、个体差异、病变部位的不同,也能反映观察者的输入结果,针对观察状况更新为合适的灰度值阈值,可高效率地提取正确的关注区域。
[0022] 在上述方式中,当通过所述正确与否输入部输入成所述提取部的所述判定正确时,在比所述关注区域的灰度值低预定余量的下位灰度值低于所述灰度值阈值的情况下,所述阈值更新部以使所述下位灰度值成为新的灰度值阈值的方式进行更新。
[0023] 这样,具有比判定为关注区域的区域的灰度值低出预定余量的灰度值的区域也在下次作为关注区域被提取,通过适当选择余量,可在防止漏看需要观察的关注区域的同时,高效地提取关注区域。
[0024] 在上述方式中,所述荧光观察装置可以具有灰度值存储部,当所述提取部提取出所述关注区域并且观察者输入了对该关注区域的判定时,所述灰度值存储部使该关注区域的灰度值和判定结果对应起来进行存储,当由所述正确与否输入部针对新的关注区域输入成所述判定正确时,所述阈值更新部计算对应于该输入的判定结果而存储在所述灰度值存储部内的过去的灰度值的平均值,并在比计算出的平均值低出所设定的余量的下位灰度值低于所述灰度值阈值的情况下,以使所述下位灰度值成为新的灰度值阈值的方式进行更新。
[0025] 这样,可不仅反映最新的判定结果,而且反映过去的判定结果来更新阈值,可高精度地提取疑似病变的区域。
[0026] 在上述方式中,所述阈值更新部可以对计算出所述平均值的过去的灰度值的标准偏差进行计算,根据计算出的标准偏差设定所述余量。
[0027] 这样,可考虑观察者的判定输入的偏差来更新阈值S0。
[0028] 在上述方式中,当通过所述正确与否输入部输入成所述判定错误时,所述阈值更新部可以以增大所述灰度值阈值的方式进行更新。
[0029] 这样,当提取部的关注区域判定被观察者输入成是错误的判定时,对于具有提取出该关注区域的灰度值阈值以下的灰度值的区域,在以后的提取中也应作为关注区域被提取的可能性低。在该情况下,通过以增大灰度值阈值的方式进行更新,可抑制不需要观察的区域作为关注区域被误提取。
[0030] 因此,即使有荧光试药的种类、个体差异、病变部位的不同,也能反映观察者的输入结果,针对观察状况更新为合适的灰度值阈值,可高效率地提取正确的关注区域。
[0031] 在上述方式中,当通过所述正确与否输入部输入成所述提取部的所述判定错误时,所述阈值更新部可以以使所述灰度值阈值和所述关注区域的灰度值的平均值成为新的灰度值阈值的方式进行更新。
[0032] 这样,当提取部的判定错误时,新的灰度值阈值被提高到灰度值阈值和关注区域的灰度值的平均值,可防止不需要观察的区域作为关注区域被提取,可高效地提取关注区域。
[0033] 在上述方式中,当通过所述正确与否输入部输入成所述提取部的所述判定错误时,所述阈值更新部可以计算对应于该输入的判定结果而存储在所述灰度值存储部内的过去的灰度值的平均值,并以使计算出的平均值成为新的灰度值阈值的方式进行更新。
[0034] 这样,当提取部的判定错误时,新的灰度值阈值被更新为在过去被判定为错误时的灰度值的平均值,可防止不需要观察的区域作为关注区域被提取,可高效地提取关注区域。
[0035] 在上述方式中,所述显示部可以使所述关注区域和所述返回光图像重叠来显示。
[0036] 这样,可一眼确认返回光图像和关注区域的对应关系。由此,不仅可观察关注区域,还可观察其周边,当观察者判定提取部的判定结果是否正确时,可得到更详细的信息。结果,可使观察者进行更准确的判定。
[0037] 在上述方式中,所述提取部可以将具有超过所述灰度值阈值的灰度值的区域中、该区域的像素数超过像素值阈值的范围作为所述关注区域来提取。
[0038] 这样,可防止灰度值高而面积小的区域作为关注区域被提取,可抑制由噪声引起的误提取来高效率地提取关注区域。
[0039] 在上述方式中,所述荧光观察装置可以具有保存部,所述保存部使所述关注区域的灰度值和与过去的判定结果相关的信息对应起来进行保存,所述显示部按每个所述关注区域,从所述保存部读出与该灰度值对应的与过去的判定结果相关的信息并显示该信息。
[0040] 这样,当提取出关注区域时,与过去的判定结果相关的信息显示在显示部上,因此当观察者判定提取部的判定结果是否正确时,可参考所显示的过去的判定结果。结果,可使观察者进行更准确的判定。
[0041] 本发明的一个方式是一种荧光观察装置,所述荧光观察装置具有:照明部,其对被摄体照射激励光和照明光;荧光摄像部,其拍摄由于来自该照明部的激励光的照射而在所述被摄体中产生的荧光并取得荧光图像;返回光摄像部,其拍摄由于来自所述照明部的照明光的照射而从所述被摄体返回的返回光并取得返回光图像;提取部,其将所述荧光图像中的如下区域判定为关注区域并提取该关注区域,所述区域具有超过灰度值阈值的灰度值、且该区域的与所述灰度值不同的其它特征量和所述灰度值相乘后的指标值超过预定指标阈值;显示部,其使该提取部提取出的所述关注区域和所述返回光图像对应起来进行显示;正确与否输入部,其使观察者输入针对该显示部显示的所述关注区域的所述判定是否正确;以及阈值更新部,其以反映所述正确与否输入部所输入的输入结果的方式更新所述灰度值阈值。
[0042] 根据上述方式,通过将指标值超过指标阈值的区域作为关注区域来提取,还可以考虑灰度值以外的特征量作为用于提取关注区域的基准,可根据观察目的,高精度地提取更需要观察的关注区域。作为特征量,可列举例如区域的颜色等。
[0043] 在上述方式中,当所述正确与否输入部输入成所述判定正确时,所述阈值更新部可以以降低所述灰度值阈值的方式进行更新。
[0044] 在上述方式中,当所述正确与否输入部输入成所述判定错误时,所述阈值更新部可以以增大所述灰度值阈值的方式进行更新。
[0045] 在上述方式中,所述荧光观察装置可以具有:拆装部件,其为了变更观察条件而被拆装,该拆装部件存储有识别信息;识别信息读取部,其读取存储在该拆装部件内的识别信息;以及存储部,其将所述识别信息和所述灰度值阈值对应起来进行存储,所述提取部使用对应于所安装的拆装部件的识别信息而存储在所述存储部内的所述灰度值阈值来开始所述关注区域的提取。
[0046] 这样,当对拆装部件进行拆装来变更观察条件时,存储在拆装部件内的识别信息由识别信息读取部读取,由存储部与识别信息对应起来进行存储的灰度值阈值用于在提取部中提取关注区域。由此,可使用适合观察条件的灰度值阈值来高效率地提取需要观察的关注区域。
[0047] 这里,作为拆装部件,可列举例如内窥镜装置中的插入部等,作为在该情况下变更的观察条件,可列举可观察的荧光的波长、强度和观察对象部位(胃、大肠等)等。在细径的内窥镜中,由于照明光量根据观察对象部位的大小相对地改变,因而通过按安装的各插入部改变阈值的设定,可高效率地观察。
[0048] 在上述方式中,所述荧光观察装置可以具有:单独信息输入部,其输入各所述被摄体的单独信息;以及存储部,其将所述单独信息和所述灰度值阈值对应起来进行存储,所述提取部使用对应于由所述单独信息输入部所输入的所述单独信息而存储在所述存储部内的所述灰度值阈值来提取所述关注区域。
[0049] 这样,即使被摄体改变,也能使用按各被摄体单独设定的合适的灰度值阈值高精度地提取关注区域。
[0050] 发明效果
[0051] 根据本发明,取得以下效果:与荧光试药的种类、个体差异、病变部位的不同无关、能更可靠地提取所需要的关注区域。

附图说明

[0052] 图1是示出本发明的第1实施方式的荧光观察装置的整体结构图。
[0053] 图2是示出图1的荧光观察装置的第1变型例的整体结构图。
[0054] 图3A是示出图2的荧光观察装置的灰度值存储部内存储的数据的图。
[0055] 图3B是示出图2的荧光观察装置的阈值的变化的图。
[0056] 图4是示出本发明的第2实施方式的荧光观察装置的整体结构图。
[0057] 图5是说明图4的荧光观察装置的保存部内存储的数据的图。
[0058] 图6是示出图4的荧光观察装置的显示部显示的重叠图像的一例的图。
[0059] 图7是示出本发明的第3实施方式的荧光观察装置的整体结构图。
[0060] 图8是示出本发明的第4实施方式的荧光观察装置的整体结构图。
[0061] 图9是示出图1的荧光观察装置的第2变型例的整体结构图。

具体实施方式

[0062] ﹝第1实施方式﹞
[0063] 以下,参照附图对本发明的第1实施方式的荧光观察装置1进行说明。
[0064] 如图1所示,本实施方式的荧光观察装置1具有:细长的插入部2,其被插入体内;光源(照明部)3;照明单元(照明部)4,其从插入部2的末端向被摄体F照射来自该光源3的激励光和照明光;摄像单元5,其设置在插入部2的末端,取得作为被摄体F的活体组织的图像信息;图像处理部6,其配置在插入部2的基端侧,对由摄像单元5取得的图像信息进行处理;监视器(显示部)7,其显示由该图像处理部6处理后的图像;以及输入部8,其由观察者进行输入。
[0065] 光源3具有:氙灯9;滤镜10,其从由该氙灯9发出的光中分出激励光和照明光(例如,波段400nm~740nm);以及耦合透镜11,其使由滤镜10分出的激励光和照明光会聚。
[0066] 照明单元4具有:光导纤维12,其配置在插入部2的长度方向的大致全长范围内,引导由耦合透镜11会聚后的激励光和照明光;以及照明光学系统13,其设置在插入部2的末端,使由光导纤维12引导来的激励光和照明光扩散,对与插入部2的末端面对置的被摄体F进行照射。
[0067] 摄像单元5具有:物镜14,其使从被摄体F的规定观察范围返回的光会聚;二色镜15,其反射由该物镜14会聚后的光中的激励波长以上的光(激励光和荧光),透射波长比激励波长短的白色光(返回光);2个会聚透镜16、17,其分别使由该二色镜15反射的荧光和透过二色镜15的白色光会聚;以及CCD这样的2个摄像元件18、19,其对由会聚透镜16、17会聚后的白色光和荧光进行摄像。图中,标号20是从由二色镜15反射的光中遮断激励光(例如,仅使波段760nm~850nm的光透过)的激励光截止滤光片。
[0068] 图像处理部6具有:白色光图像生成部21,其根据由摄像元件18取得的白色光图像信息生成白色光图像G1;荧光图像生成部22,其根据由摄像元件19取得的荧光图像信息生成荧光图像G2;提取部23,其从荧光图像G2中提取具有预定阈值(灰度值阈值)以上的灰度值的关注区域;灰度值计算部24,其计算由提取部23提取出的关注区域内的各像素的灰度值的平均值即平均灰度值;重叠图像生成部25,其生成使由提取部23提取出的关注区域和白色光图像G1重叠后的重叠图像G;以及阈值更新部26,其更新阈值。
[0069] 提取部23提取由荧光图像生成部22生成的荧光图像中、具有预先设定的阈值以上的灰度值的区域作为关注区域。
[0070] 重叠图像生成部25将从荧光图像生成部生成的荧光图像G2中去除由提取部23提取出的关注区域以外的背景后的荧光图像与白色光图像G1重叠。
[0071] 监视器7显示由重叠图像生成部25生成的重叠图像G,并进行这样的显示,即,督促医师等的观察者输入所显示的重叠图像G内的提取部23提取出的关注区域作为疑似病变的区域是否正确的判定。作为督促输入的显示,例如列举有“提取出的区域是否疑似病变(Y/N)?”等。
[0072] 观察者目视确认监视器7显示的重叠图像G,根据白色光图像G1上显示的观察部位的形状和颜色等的形态的特征、或者关注区域的大小和亮度等,判定关注区域是否是疑似病变的区域,通过输入部8输入判定结果。
[0073] 输入部8是键盘和鼠标等的任意的输入装置。
[0074] 由输入部8输入的观察者的判定结果被输入到阈值更新部26。
[0075] 阈值更新部26使用由灰度值计算部24计算出的关注区域中的荧光的平均灰度值S1,根据由输入部8输入的判定结果更新阈值。
[0076] 具体地,在由观察者判定为“关注区域是疑似病变的区域”,即,“用于由提取部23提取关注区域的阈值正确”的情况下,将从计算出的平均灰度值S1减去预先决定的余量A后的值与当前的阈值S0进行比较,根据以下式,将较小的值更新为新的阈值S0。
[0077] MIN(S1-A,S0)
[0078] 这里,
[0079] S1:平均灰度值
[0080] A:余量
[0081] 另一方面,在由观察者判定为“关注区域不是疑似病变的区域”,即,“用于由提取部23提取关注区域的阈值S0错误”的情况下,将计算出的平均灰度值S1更新为新的阈值S0。
[0082] 由阈值更新部26更新后的阈值S0被输入到提取部23,作为新的阈值S0被设定在提取部23内。由此,当取得新的荧光图像时,根据新的阈值S0提取关注区域,重复相同的步骤更新阈值S0。
[0083] 以下,对这样构成的本实施方式的荧光观察装置1的作用进行说明。
[0084] 在使用本实施方式的荧光观察装置1进行被摄体F即患者的体内的活体组织的观察时,将插入部2插入体内,使插入部2的末端面与被摄体F对置。然后,使光源3工作,产生激励光和照明光,使其通过耦合透镜11入射到光导纤维12。在光导纤维12内被引导并到达了插入部2的末端的激励光和照明光通过插入部2的末端的照明光学系统13被扩散并照射到被摄体F。
[0085] 在被摄体F中,内部包含的荧光物质由激励光激励而发出荧光,并且在被摄体F的表面上反射白色光。荧光和照明光的反射光(白色光)从被摄体F返回到插入部2的末端面2a,其一部分由物镜14会聚。
[0086] 由物镜14会聚的荧光和白色光由二色镜15按每波长进行分支,透过了二色镜15后的光,例如,400nm~700nm的波段的白色光由会聚透镜16会聚,由摄像元件18作为白色光图像信息来取得。
[0087] 在从由物镜14会聚的荧光和白色光内、在二色镜15中反射的光、例如包含700nm~850nm的波段的激励光和荧光的光中通过激励光截止滤光片20去除了激励光(例如740nm以下的光)之后,仅荧光由会聚透镜17会聚,并由摄像元件19作为荧光图像信息来取得。
[0088] 由各摄像元件18、19取得的图像信息被送到图像处理部6。在图像处理部6中,白色光图像信息被输入到白色光图像生成部21,生成白色光图像G1。另一方面,荧光图像信息被输入到荧光图像生成部22,生成荧光图像G2。
[0089] 所生成的荧光图像G2被输入到提取部23,在提取部23中,具有预先设定的阈值S0以上的灰度值的区域作为关注区域被提取。然后,由灰度值计算部24计算该关注区域中的荧光的平均灰度值S1。
[0090] 然后,由重叠图像生成部25通过仅将与关注区域对应的部分的荧光图像与白色光图像G1重叠来生成重叠图像G,在监视器7上显示。在监视器7上还同时显示督促观察者进行输入的显示。
[0091] 观察者在观察监视器7上显示的重叠图像G的同时,判定所显示的关注区域是否疑似病变,将判定结果输入到输入部8。也就是说,根据观察者的输入来确认由提取部23提取出的关注区域的判定是否正确。然后,由输入部8输入的判定结果被输入到阈值更新部26。
[0092] 当观察者的判定结果被输入后,阈值更新部26根据关注区域的平均灰度值S1和观察者的判定结果更新阈值S0。
[0093] 在该情况下,根据本实施方式的荧光观察装置1,在由输入部8输入的判定结果是疑似病变的Y判定的情况下,阈值更新部26将从关注区域的平均灰度值S1减去预先决定的余量A后的值与阈值S0进行比较,将较小的值更新为新的阈值S0,因而更新后的阈值降低。
[0094] 也就是说,由于在使用更新前的高阈值提取出的关注区域疑似病变,因而通过降低阈值,在提取部23的下次提取中,可提取更低灰度值的疑似病变的区域,可防止漏看,可提高诊断精度。
[0095] 例如,当A=100、S0=1800、S1=1850时,根据MIN(S1-A,S0)=MIN(1850-100,1800)=MIN(1750,1800),新的阈值S0被更新为1750。
[0096] 另一方面,在由输入部8输入的判定结果为非疑似病变的N判定的情况下,阈值更新部26将关注区域的平均灰度值S1更新为新的阈值,因而更新后的阈值提高。也就是说,由于使用更新前的低阈值提取出的区域非疑似病变,因而通过提高阈值,在提取部23的下次提取中,可避免非疑似病变的区域被误作为关注区域提取,可进行高效诊断。
[0097] 这样,根据本实施方式的荧光观察装置1,具有这样的优点:通过将观察者的判定结果反馈给提取部23的判定阈值来更新阈值,由此可根据个体差异和病变部位的差异,高精度地提取疑似病变的区域。
[0098] 在本实施方式中,在由输入部8输入的判定结果为非疑似病变的N判定的情况下,将关注区域的平均灰度值S1更新为新的阈值,然而也可以将阈值S0和关注区域的平均灰度值S1的平均值更新为新的阈值S0。通过将新的阈值S0提高到上次的阈值S0与平均灰度值S1的中间地点,可防止在微妙的判定结果被输入后的提取中,具有比上次的平均灰度值稍低的平均灰度值的关注区域不被提取而漏掉。
[0099] 在本实施方式中,作为计算阈值更新部26中的新阈值的公式,例示了MIN(S1-A,S0),然而取而代之,还可以采用如下的其它任意规则,即,当Y判定时以比更新前的阈值降低的方式更新阈值,当N判定时以比更新前的阈值提高的方式更新阈值。
[0100] 在本实施方式中,关注区域采用了荧光图像G2中具有预先设定的阈值以上的灰度值的区域,然而可以将具有超过阈值的灰度值的区域中像素数超过像素数阈值的范围作为关注区域来提取。这样,可防止灰度值高而面积小的区域(噪声等)作为关注区域被提取,可高效率地提取关注区域。
[0101] 具有阈值以上的灰度值、且其像素数超过像素数阈值的关注区域的提取可以从最初使用灰度值提取出的区域中提取像素数多的区域,也可以从最初使用像素数提取出的区域中提取灰度值高的区域。
[0102] 在本实施方式中,通过重叠图像生成部25使作为关注区域被提取出的荧光图像G2和白色光图像G1重叠来显示在监视器7上,然而可以使荧光图像G2和白色光图像G1并列显示在监视器7上。此时,对荧光图像G2的关注区域进行轮廓显示等来显示在荧光图像G2上。这样,与仅显示使用阈值切取后的关注区域相比,可将更详细的信息提供给观察者,可使观察者进行更准确的判定。
[0103] 在本实施方式中,提取部23分别提取不同的2个以上的阈值以上的区域,可以使显示方法不同来显示在显示器7上。例如,提取部23可以提取平均灰度值S1超过阈值S0的区域、和例如超过阈值S0的80%的值的区域。
[0104] 在本实施方式中,在灰度值计算部24中计算关注区域的平均灰度值S1,然而也可以求出其它值。
[0105] 例如,可以使用在关注区域内灰度值最低的最低灰度值。在该情况下,阈值更新部26在由输入部8输入的判定是Y判定的情况下,将从关注区域的最低灰度值中减去余量A后的值与阈值SO进行比较,将较小的一方更新为新的阈值SO。这样,与使用平均灰度值S1时相比,可提高疑似病变的区域的防止漏看效果。
[0106] 例如,灰度值计算部24可以求出在关注区域内最高的最高灰度值。在该情况下,阈值更新部26在由输入部8输入的判定是N判定的情况下,将关注区域的最高灰度值更新为新的阈值SO。这样,与使用平均灰度值时相比,可更有效地提取疑似病变的区域。
[0107] 在由提取部23提取出的关注区域在同一画面上存在多个的情况下,为使观察者明白对哪个关注区域输入正确与否判定,以仅使要判定的关注区域的显示与其它关注区域不同的方式生成重叠图像G即可。为了与其它关注区域区别开,生成仅使要判定的关注区域的显示闪烁、使其它关注区域点亮的重叠图像G即可。
[0108] 在该情况下,针对多个关注区域,决定该判定的顺序,按照所决定的顺序,仅使要判定的关注区域的显示闪烁即可。针对一旦判定被输入后的关注区域,为了防止重复的判定输入,进行明白是判定完成的显示、例如,通过改变颜色等来显示即可。
[0109] 在本实施方式中,当在提取部23中提取出关注区域时,根据观察者的判定输入,仅使用该关注区域中的荧光的平均灰度值S1来更新阈值,然而取而代之,可以根据过去的多个关注区域的平均灰度值S1和此时的判定输入结果更新阈值。
[0110] 具体地说,设置灰度值存储部27,如图2所示,当由提取部23提取出关注区域、进行了观察者的判定输入时,灰度值存储部使该关注区域中的平均灰度值S1和判定输入结果相对应来存储。在该情况下,在灰度值存储部27内,例如如图3A所示存储数据即可。
[0111] 然后,当观察者针对新的关注区域的判定被输入时,阈值更新部26可以将对应于该所输入的判定结果存储在灰度值存储部27内的过去的平均灰度值S1全部读出,按以下方式更新阈值。
[0112] 例如,在由观察者输入了Y判定的情况下,将从自灰度值存储部27读出的在过去全部Y判定时的平均灰度值S1的平均值减去预先决定的余量A后的值与当前的阈值S0进行比较,根据以下式,将较小的值更新为新的阈值S0即可。
[0113] MIN(AVE(S1)-A,S0)
[0114] 这里,AVE(S1):过去的Y判定时的平均灰度值S1的平均值
[0115] A:余量
[0116] 另一方面,在由观察者输入了N判定的情况下,将从灰度值存储部27读出的过去的全部N判定时的平均灰度值S1的平均值更新为新的阈值S0即可。由此,阈值S0如图3B所示变化。
[0117] 这样,可不仅反映最新的判定结果,而且还反映过去的判定结果来更新阈值S0,可高精度地提取疑似病变的区域。
[0118] 这样,通过使过去的平均灰度值S1和判定结果对应地存储,作为在Y判定时的阈值S0的更新中使用的余量A,不仅可根据固定值,而且可根据所存储的Y判定时的平均灰度值S1的标准偏差SD(S1)进行设定。这样,具有的优点是,可考虑被验者之间的偏差、同一被验者的时间经过的偏差、观察者的判定输入的偏差来设定余量A,可更合适地更新阈值S0。
[0119] 在重视灵敏度(不漏看病变)的情况下,可以将Y判定时的新的阈值S1设定为MIN(AVE(S1)-3SD(S1)、S0),在重视特异度(不提取病变以外的部分)的情况下,可以将Y判定时的新的阈值S1设定为MIN(AVE(S1)-SD(S1)、S0)。这样,具有的优点是,可更新与检查目的对应的合适的阈值S0。
[0120] ﹝第2实施方式﹞
[0121] 以下,参照附图对本发明的第2实施方式的荧光观察装置30进行说明。
[0122] 在本实施方式的说明中,对与上述的第1实施方式的荧光观察装置1结构相同的部位附上相同标号而省略说明。
[0123] 如图4所示,本实施方式的荧光观察装置30不仅具有荧光观察装置1的图像处理部6,而且具有保存部31和概率计算部32。
[0124] 保存部31从阈值更新部26取得由灰度值计算部24计算出的关注区域的平均灰度值S1和从输入部8输入的观察者的判定结果,如图5所示,按所划分的各灰度值范围A1~A2、A2~A3、A3~A4…,使正确与否判定的次数B1、B2、B3…与Y判定被输入的次数C1、C2、C3…对应地保存。
[0125] 即,保存部31针对由灰度值计算部24计算出的平均灰度值S1的关注区域,当Y判定从输入部8被输入到阈值更新部26时,使该平均灰度值S1所属的灰度值范围的正确与否判定的次数和Y判定的次数的双方增加1。另一方面,当N判定从输入部8被输入到阈值更新部26时,仅使正确与否判定的次数增加1。
[0126] 概率计算部32当取得由灰度值计算部24计算出的关注区域的平均灰度值S1时,使用所取得的平均灰度值S1对保存部31内进行检索,针对该平均灰度值S1所属的灰度值范围读出所保存的正确与否判定的次数和Y判定的次数,将Y判定的次数除以正确与否判定的次数,从而计算Y判定的概率。
[0127] 然后,由概率计算部32计算出的概率被输出到重叠图像生成部25。
[0128] 如图6所示,重叠图像生成部25根据概率在关注区域内以显示按颜色划分的轮廓和概率的数值的方式生成重叠图像G。例如,如果关注区域的灰度值中的过去的Y判定的概率是90%以上,则使关注区域的轮廓为红色,如果是75%以上且不到90%,则为蓝色,如果是50%以上不到75%,则为黄色,并且在关注区域附近生成由数值表示概率的重叠图像G。
[0129] 根据这样构成的本实施方式的荧光观察装置30,由灰度值计算部24计算出的关注区域的平均灰度值S1被输出到概率计算部32,保存在保存部31内的与灰度值范围对应的Y判定次数和正确与否判定次数被读出,该平均灰度值S1所属的灰度值范围内的Y判定的概率被计算,并被输出到重叠图像生成部25。在重叠图像生成部25中,将针对所输入的关注区域在过去进行了Y判定的概率进行颜色划分而进行轮廓显示,并生成对概率进行了文字显示的重叠图像G,该重叠图像G被输出到监视器7。
[0130] 这样,根据本实施方式的荧光观察装置30,具有的优点是,通过将过去的Y判定的概率显示在关注区域的轮廓附近,可对照过去的判定结果判定关注区域的判定正确与否,可提高判定精度。
[0131] ﹝第3实施方式﹞
[0132] 以下,参照附图对本发明的第3实施方式的荧光观察装置40进行说明。
[0133] 在本实施方式的说明中,对与上述的第1实施方式的荧光观察装置1结构相同的部位附上相同标号而省略说明。
[0134] 如图7所示,本实施方式的荧光观察装置40在图像处理部6的白色光图像生成部21和重叠图像生成部25之间具有特征量提取部41、指标计算部42和区域选择部43,取代阈值更新部26而具有指标阈值更新部44。作为白色光图像取得用的摄像元件19,使用可拍摄彩色图像的摄像元件19。
[0135] 特征量提取部41从与提取部23提取出的关注区域对应的白色光图像G1的区域提取由摄像元件19取得的红色的灰度值。指标计算部42将由特征量提取部41提取出的红色的灰度值和由灰度值计算部24计算出的关注区域的平均灰度值S1相乘来计算指标。
[0136] 区域选择部43从提取部23提取出的关注区域中选择指标为预定的指标阈值以上的区域并将其输出。
[0137] 重叠图像生成部25将从荧光图像G2提取出的关注区域内由区域选择部43所选择的关注区域去除该关注区域外的背景来与白色光图像G1重叠。
[0138] 观察者在观察显示于监视器7上的重叠图像G的同时,判定超过所显示的指标阈值的区域是否疑似病变,将判定结果输入到输入部8。也就是说,超过由区域选择部43选择为病变怀疑高的指标阈值的区域的判定可对照观察者的判定确认是否正确。然后,由输入部8输入的判定结果被输出到指标阈值更新部44。
[0139] 指标阈值更新部44根据输入到输入部8的判定结果更新指标阈值。更新后的指标阈值被输出到区域选择部43,被设定为新的指标阈值。由此,当取得新的荧光图像G2并提取出关注区域时,指标超过新的指标阈值的区域显示在监视器7上,重复相同的步骤来更新阈值。
[0140] 在该情况下,白色光图像G1中的红色反映被摄体F的血管密度。在癌等的病变部中,往往由于血管新生而使血管的密度增高,因而往往反映在白色光图像G1的红色的强度上。由此,通过使血管密度的信息和荧光图像G2的双方组合并使用重叠图像G进行观察,可进行更准确的判定。
[0141] 因此,具有的优点是,通过使区域选择部43的判定反映观察者的判定来更新指标阈值,可高精度地提取是否疑似病变。
[0142] 在本实施方式中,可以根据使用的荧光药剂设定指标。在该情况下,当使用荧光强度强的药剂时,为了减弱荧光强度的影响,使药剂系数S1乘以关注区域的灰度值,另一方面,当使用荧光强度弱的药剂时,为了增强荧光来乘以药剂系数Sh,可设定不受药剂性能左右的指标。(S1<Sh)
[0143] ﹝第4实施方式﹞
[0144] 以下,参照附图对本发明的第4实施方式的荧光观察装置50进行说明。
[0145] 在本实施方式的说明中,对与上述的第1实施方式的荧光观察装置1结构相同的部位附上相同标号而省略说明。
[0146] 如图8所示,在本实施方式的荧光观察装置50中,具有针对光源3和图像处理部6可拆装的插入部2(拆装部件),以便可根据观察对象部位进行交换。在插入部2内设置有存储该插入部2的识别信息的IC芯片51。
[0147] 本实施方式的荧光观察装置50具有:读取装置52,其在安装有插入部2的光源侧读取IC芯片51内的识别信息;以及存储部53,其使识别信息和阈值对应地存储。
[0148] 当安装了插入部2时,读取装置52读出设置在该插入部2内的IC芯片51内的识别信息,从存储部53取得所读取的识别信息,将其输出到阈值更新部26。阈值更新部26根据由存储部53所存储的识别信息,变更阈值的设定方法。
[0149] 因此,根据本实施方式,由于照明光量根据观察对象部位的大小相对地改变,因而通过按各插入部2改变阈值的设定,可高效率地观察。
[0150] 具体地说,在细径的插入部2中,由于照明光量相对地变弱,因而有必要将阈值的初始值设定得低。在是疑似病变的Y判定的情况下,可以将余量A设定为大的值,或者在为非疑似病变的N判定的情况下,可以将(2×S0+S1)/3更新为新的阈值S0等,总是将阈值设定得低。
[0151] 病变部相对大的部位,例如大肠病变(息肉)与食道的病变(扁平上皮癌)等相比大,因而有必要将阈值S0的初始值设定得高。在是疑似病变的Y判定的情况下,可以将余量A设定为小的值,或者在为非疑似病变的N判定的情况下,可以将(2×S0+3×S1)/5更新为新的阈值S0等,总是将阈值设定得高。
[0152] 这样,可不受由插入部2的种类引起的照明光量、和由病变部位引起的荧光强度的变动影响来进行观察。
[0153] 在上述各实施方式的荧光观察装置1、30、40、50中,可以具有输入患者的ID的ID输入部61、和使ID和单独信息对应地存储的单独信息存储部62。
[0154] 作为单独信息,可列举用于提取该患者的关注区域的阈值、该患者的过去观察中的各灰度值范围的正确与否判定次数和Y判定次数等。
[0155] 在图9所示的例子中,单独信息存储部62存储在患者的过去观察中所更新的阈值作为单独信息。
[0156] 这样,具有的优点是,阈值更新部26读出与从ID输入部61所输入的ID对应地存储在单独信息存储部62内的单独信息来用于阈值更新,从而可高效率地进行观察。
[0157] 并且,可以使上述各实施方式中的任意方进行组合。
[0158] 在上述各实施方式中,作为荧光观察装置1、30、40、50例示出内窥镜作了说明,然而不限定于此,可以应用于其它任意的荧光观察装置。
[0159] 标号说明
[0160] F:被摄体;1、30、40、50:荧光观察装置;2:插入部(拆装部件);3:光源(照明部);4:照明单元(照明部);7:监视器(显示部);8:输入部(正确与否输入部);18:摄像元件(荧光摄像部);19:摄像元件(返回光摄像部);23:提取部;26:阈值更新部;31:保存部;43:区域选择部(提取部);44:指标阈值更新部(阈值更新部);52:读取装置(识别信息读取部);53:
存储部;61:ID输入部(单独信息输入部);62:单独信息存储部(存储部)。