类似病例检索装置以及类似病例检索方法转让专利

申请号 : CN201180015465.9

文献号 : CN103200861B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 近藤坚司高田和丰小塚和纪

申请人 : 松下电器产业株式会社

摘要 :

类似病例检索装置包括:图像特征提取部(150),从读片对象图像中提取多个图像特征量;读片项目一致性算出部(160),根据作为示出针对各个读片项目的每种图像特征量的值的存在范围的信息的第一读片知识,算出提取的多个图像特征量针对各个读片项目的一致性;读片项目候补显示部(170),显示一致性大的读片项目;读片项目选择部(180),选择读片项目;权重决定部(190),根据预先决定了各个图像特征量与各个读片项目之间的关联性的第二读片知识,按提取的每个图像特征量,在该图像特征量与被选择的读片项目之间的关联性越大的情况下就越决定值大的权重;类似病例检索部(200),对提取的多个图像特征量与从病例数据中包含的医用图像中提取的多个图像特征量,按每个图像特征量的权重来进行加权并比较,从而来检测病例数据。

权利要求 :

1.一种类似病例检索装置,从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据,所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据,所述读片报告是记载了对该医用图像进行读片后的结果的文本数据,该类似病例检索装置包括:图像特征提取部,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;

读片项目一致性算出部,根据第一读片知识,算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性,所述第一读片知识是示出,针对任意的读片项目,根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息,所述任意的读片项目是对医用图像的特征进行言语化后的字符串;

读片项目候补显示部,显示由所述读片项目一致性算出部算出的一致性比规定阈值大的读片项目,或者显示从一致性大的读片项目开始规定个数的读片项目;

读片项目选择部,使用户从由所述读片项目候补显示部显示的读片项目之中,选择读片项目;

权重决定部,针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性,根据预先决定的第二读片知识,按照由所述图像特征提取部提取的每个图像特征量来决定权重,在该图像特征量与所述读片项目选择部所选择的读片项目之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索部,以由所述权重决定部决定的每个图像特征量的权重,对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权,并进行比较,从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。

2.如权利要求1所述的类似病例检索装置,

所述读片项目一致性算出部,

根据所述第一读片知识,获得在一致性算出中与对象读片项目关联的所有的图像特征量的值的存在范围信息;

算出由所述图像特征提取部提取的各个图像特征量、与获得的所述存在范围信息的一致度;

在对于基于所述第二读片知识的与所述对象读片项目之间的关联性越高的图像特征量,就越使针对该图像特征量算出的所述一致度的权重增大的状态下,通过对针对所述图像特征提取部所提取的所述多个图像特征量算出的多个所述一致度进行统一,从而算出所述图像特征提取部所提取的所述多个图像特征量针对所述对象读片项目的一致性。

3.如权利要求1或者2所述的类似病例检索装置,

所述读片项目候补显示部,进一步,将读片项目和与该读片项目相对应的一致性一起显示。

4.如权利要求1或2所述的类似病例检索装置,

所述读片项目候补显示部,进一步,针对附属于医用图像的读片报告中的读片项目彼此间的搭配程度,根据预先决定的搭配概率信息,决定由所述读片项目选择部选择的读片项目彼此间的搭配概率,在决定的所述搭配概率为规定值以下的情况下,对示出读片项目的选择有可能出现错误的信息进行显示。

5.如权利要求1或2所述的类似病例检索装置,

所述读片项目候补显示部,进一步,针对附属于医用图像的读片报告中的读片项目彼此间的搭配程度,根据预先决定的搭配概率信息,对于与所述读片项目选择部所选择的读片项目的搭配概率在规定值以下的读片项目,显示不能选择。

6.如权利要求1或2所述的类似病例检索装置,

所述读片项目候补显示部,进一步,针对从附属于医用图像的读片报告中提取的、作为对医用图像的特征进行了言语化后的字符串的读片项目与疾病名称之间的关联性,根据预先决定的关联性信息,推定与被选择的读片项目的关联性最高的疾病名称,并显示该被推定的疾病名称。

7.一种类似病例检索装置,从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据,所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据,所述读片报告是记载了对该医用图像进行读片后的结果的文本数据,该类似病例检索装置包括:图像特征提取部,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;

读片项目一致性算出部,根据第一读片知识,算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性,所述第一读片知识是示出,针对任意的读片项目,根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息,所述任意的读片项目是对医用图像的特征进行言语化后的字符串;

读片项目设定部,将由所述读片项目一致性算出部算出的一致性为规定值以上的读片项目,设定为在进行类似病例检索时使用的读片项目;

权重决定部,针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性,根据预先决定的第二读片知识,按照由所述图像特征提取部提取的每个图像特征量来决定权重,在该图像特征量与所述读片项目设定部所设定的读片项目之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索部,以由所述权重决定部决定的每个图像特征量的权重,对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权,并进行比较,从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。

8.如权利要求7所述的类似病例检索装置,

所述读片项目设定部,根据用户过去从读片项目的组中选择的读片项目的履历信息,从所述读片项目一致性算出部所算出的一致性为规定值以上的读片项目中,将通过进行与所述履歴信息相同的选择而得到的读片项目,设定为在进行类似病例检索时使用的读片项目。

9.一种类似病例检索方法,从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据,所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据,所述读片报告是记载了对该医用图像进行读片后的结果的文本数据,该类似病例检索方法包括:图像特征提取步骤,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;

读片项目一致性算出步骤,根据第一读片知识,算出在所述图像特征提取步骤所提取的多个图像特征量针对每个读片项目的一致性,所述第一读片知识是示出,针对任意的读片项目,根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息,所述任意的读片项目是对医用图像的特征进行言语化后的字符串;

读片项目候补显示步骤,显示在所述读片项目一致性算出步骤算出的一致性比规定阈值大的读片项目,或者显示从一致性大的读片项目开始规定个数的读片项目;

读片项目选择步骤,使用户从在所述读片项目候补显示步骤显示的读片项目之中,选择读片项目;

权重决定步骤,针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性,根据预先决定的第二读片知识,按照在所述图像特征提取步骤提取的每个图像特征量来决定权重,在该图像特征量与在所述读片项目选择步骤所选择的读片项目之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索步骤,以在所述权重决定步骤决定的每个图像特征量的权重,对在所述图像特征提取步骤所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权,并进行比较,从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。

10.一种类似病例检索方法,从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据,所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据,所述读片报告是记载了对该医用图像进行读片后的结果的文本数据,该类似病例检索方法包括:图像特征提取步骤,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;

读片项目一致性算出步骤,根据第一读片知识,算出在所述图像特征提取步骤所提取的多个图像特征量针对每个读片项目的一致性,所述第一读片知识是示出,针对任意的读片项目,根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息,所述任意的读片项目是对医用图像的特征进行言语化后的字符串;

读片项目设定步骤,将在所述读片项目一致性算出步骤算出的一致性为规定值以上的读片项目,设定为在进行类似病例检索时使用的读片项目;

权重决定步骤,针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性,根据预先决定的第二读片知识,按照在所述图像特征提取步骤提取的每个图像特征量来决定权重,在该图像特征量与在所述读片项目设定步骤所设定的读片项目之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索步骤,以在所述权重决定步骤决定的每个图像特征量的权重,对在所述图像特征提取步骤所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权,并进行比较,从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。

说明书 :

类似病例检索装置以及类似病例检索方法

技术领域

[0001] 本发明涉及用于检索成为医用图像读片的参考的类似病例的类似病例检索装置以及类似病例检索方法。

背景技术

[0002] 近些年,由 于CT(Computed Tomography:电 脑断层扫 描),MRI(Magnetic Resonance Imaging:磁共振成像)等医用图像装置的发展以及普及,能够以大容量来获得被数字化的高精细的医用图像。并且,由医师读片完毕的医用图像,与读片报告一起依次被存储蓄积到PACS(Picture Archiving and Communication Systems:图像存储与通信系统)。在此,为了成为新的读片的参考,开始开发了从蓄积完毕的过去病例中,检索与读片对象的医用图像类似的过去的医用图像。
[0003] 在类似图像检索中,与检索对象图像相对应地对决定图像间的类似度的图像特征量进行最佳化是重要的。以往,按照进行类似图像检索的成为对象的脏器来设计图像特征量的情况较多,针对脏器以外的概念级别(例如,疾病的种类、疾病的行进度、或者疾病的重症度等),几乎在类似图像检索中采用同一个图像特征量。
[0004] 作为将检索时所使用的图像特征量,针对脏器以外的概念级别进行动态地变更的类似图像检索法,公开了以下的技术。
[0005] 在非专利文献1中公开的是,作为解决方法采用“customized-queries”approach(CQA:特定化-询问方法)这两个步骤的检索方法。具体而言,在第一步骤,利用能够将疾病的种类,疾病的行进度或疾病的重症度等种类进行最佳分类的图像特征量,来对查询图像进行分类。在第二步骤,利用被最佳化了的图像特征量,来检索类似图像,所述最佳化用于对成为分类结果的种类中所包含的病例进一步进行的细分类。此时,每个种类的最佳的图像特征量是不通过教师的学习(unsupervised learning)事先求出的。并且,在该文献中,将CQA适用于肺部CT图像,这比利用以往的一种图像特征量来检索类似图像更能提高检索复现率。
[0006] (现有技术文献)
[0007] (非专利文献)
[0008] 非专利文 献1 Jennifer G.Dy et al.“Unsupervised Feature Selection Applied to Content-based Retrieval of Lung Images”,IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.25,no.3,March 2003发明概要
[0009] 发明要解决的问题
[0010] 然而,在上述以往的构成中,由于图像特征量(即,类似基准)是由被识别的疾病的种类,疾病的行进度或疾病的重症度等而被决定的,是仅利用被决定的图像特征量来检索类似图像的,因此没有结合反映了针对读片对象的医用图像的读片者关注点的类似图像检索。决定图像的类似性的指标(关注点)即使是针对特定的图像,但是形状、亮度、全体区域、部分区域等不同。至于利用哪个指标来检索“类似”的图像,只有进行类似图像检索的用户本人才知道。
[0011] 即出现的问题是,若是医用图像检索,即使是以根据被识别的疾病的种类、疾病的行进度或者疾病的重症度等而被事先最佳化了的图像特征量来进行检索,其检索结果也很难成为读片者所下的诊断的依据或给读片者在犹豫诊断时的辅助。

发明内容

[0012] 本发明为了解决上述以往的课题,目的在于提供一种能够将读片者的关注点反映到类似图像检索的类似病例检索装置。
[0013] 解决问题所采用的手段
[0014] 本发明的某个局面所涉及的类似病例检索装置从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据,所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据,所述读片报告是记载了对该医用图像进行读片后的结果的文本数据,该类似病例检索装置包括:图像特征提取部,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;读片项目一致性算出部,根据第一读片知识,算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性,所述第一读片知识是示出,针对任意的读片项目,根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息,所述任意的读片项目是对医用图像的特征进行言语化后的字符串;读片项目候补显示部,显示由所述读片项目一致性算出部算出的一致性比规定阈值大的读片项目,或者显示从一致性大的读片项目开始规定个数的读片项目;读片项目选择部,使用户从由所述读片项目候补显示部显示的读片项目之中,选择读片项目;权重决定部,针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性,根据预先决定的第二读片知识,按照由所述图像特征提取部提取的每个图像特征量来决定权重,在该图像特征量与所述读片项目选择部所选择的读片项目之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索部,以由所述权重决定部决定的每个图像特征量的权重,对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权,并进行比较,从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。
[0015] 通过此构成,根据从医用图像或者读片对象图像中提取的各个图像特征量来计算针对各个“读片项目”的一致性,读片对象图像的特征被变换为比每个单位疾病更详细的级别的“读片项目”,在以后的类似病例检索处理中,以比每个单位疾病更详细的级别来进行检索时所利用的图像特征量的最佳化成为可能。
[0016] “读片项目”是指,在本说明书中被定义为“读片医师将读片对象的图像的特征进行了语言化后的字符串”。按照使用的医用图像摄像装置或对象脏器等,作为读片项目而被使用的用语几乎是被限定的。例如有:形成叶状、棘状、不规则状、边界清晰、轮廓不清晰、低浓度、高浓度、低吸収、高吸収、磨玻璃状、钙化,嵌合体状、早期染色、低回声、高回声、以及起毛等。若被选择的读片项目为,形成叶状/棘状/不规则状,则可知读片者关注形状方面,若为低浓度/高浓度/低吸収/高吸収/磨玻璃状,则可知读片者则关注亮度方面。
[0017] 同时,由于读片项目是医师在制作读片报告时的共同语言,因此,类似病例检索装置的用户,即读片者能够容易地理解通过本装置来推定的读片项目的妥当性。
[0018] 并且,通过显示一致性大的读片项目,从而能够从众多的读片项目中严格选出与从读片对象图像中提取的图像特征量相关的读片项目并显示,因而对于类似病例检索装置的用户而言,读片项目的把握及选择变得容易。
[0019] 据此,能够进行反映了类似病例检索装置的用户,即读片者的关注点的类似病例检索。
[0020] 另外,本发明不仅可以作为具备具有这种特征的处理部的类似病例检索装置来实现,而且能够作为将类似病例检索装置中所具备的特征性的处理部所执行的处理作为步骤来实现的类似病例检索方法来实现。并且,可以作为使计算机执行,使作为类似病例检索装置中所包含的特征性的处理部的计算机发挥功能的程序或类似病例检索方法中所包含的特征性的步骤的程序来实现。并且,这些程序是可以通过CD-ROM(Compact Disc-Read Only Memory)等计算机可读取的非一时性的记录介质或互联网等通信网络来流通的。
[0021] 发明效果
[0022] 通过本发明的类似病例检索装置,能够提供一种将读片者的关注点反映到类似图像检索的类似病例检索装置。

附图说明

[0023] 图1是示出本发明的实施例1中的类似病例检索装置的构成的方框图。
[0024] 图2是本发明的实施例1中的读片知识制作顺序的流程图。
[0025] 图3是本发明的实施例1中的图像特征量提取顺序的流程图。
[0026] 图4示出了本发明的实施例1中的腹部CT检查的读片报告的例子。
[0027] 图5示出了从本发明的实施例1中的读片报告中提取的读片项目以及疾病名称。
[0028] 图6示出了从本发明的实施例1中的读片报告中提取的读片项目和疾病名称,以及与读片项目同时提取的位置与时相的信息。
[0029] 图7示出了从本发明的实施例1中的读片报告中提取的读片项目和疾病名称,以及与进行了逻辑性解释的读片项目同时提取的位置与时相的信息。
[0030] 图8示出了本发明的实施例1中的用于获得读片知识提取的一系列数据。
[0031] 图9是示出本发明的实施例1中的第一读片知识的制作顺序的流程图。
[0032] 图10示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量矢量的分布。
[0033] 图11示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量的分布信息的存放形式。
[0034] 图12是本发明的实施例1中的读片项目与图像特征量之间的相关关系(二值)的概念图。
[0035] 图13是本发明的实施例1中的读片项目与图像特征量之间的相关关系(多值)的概念图。
[0036] 图14是本发明的实施例1中的疾病名称与图像特征量之间的相关关系(二值)的概念图。
[0037] 图15是本发明的实施例1中的读片项目与疾病名称之间的相关关系(二值)的概念图。
[0038] 图16示出了本发明的实施例1中的作为读片知识而提取的(图像特征量-读片项目)之间的相关关系的存放形式。
[0039] 图17示出了本发明的实施例1中的作为读片知识而提取的(图像特征量-疾病名称)之间的相关关系的存放形式。
[0040] 图18示出了本发明的实施例1中的作为读片知识而提取的(读片项目-疾病名称)之间的相关关系的存放形式。
[0041] 图19是本发明的实施例1中的类似病例检索顺序的流程图。
[0042] 图20示出了本发明的实施例1中的类似病例检索画面的一个例子。
[0043] 图21是用于说明本发明的实施例1中的病变位置或区域的指定的图。
[0044] 图22示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量的分布信息的存放形式。
[0045] 图23示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量的分布信息的存放形式。
[0046] 图24示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量的分布信息的存放形式。
[0047] 图25示出了在本发明的实施例1中,被判断为一致性高的读片项目的显示形式。
[0048] 图26示出了在本发明的实施例1中,按每个图像来显示被判断为一致性高的读片项目时的显示形式。
[0049] 图27示出了在本发明的实施例1中,在显示被判断为一致性高的读片项目的同时还显示该一致性时的显示形式。
[0050] 图28示出了在本发明的实施例1中,在显示被判断为一致性高的读片项目的同时还显示该一致性时的显示形式。
[0051] 图29示出了在本发明的实施例1中,由读片者选择的读片项目的显示形式。
[0052] 图30示出了本发明的实施例1中的类似病例检索时的加权方法。
[0053] 图31示出了在本发明的实施例1中,在进行类似病例检索时通过滑动棒,来使用户设定读片项目间的权重的画面的例子。
[0054] 图32示出了在本发明的实施例2中,作为读片知识而被提取的读片项目彼此的相关关系的存放形式。
[0055] 图33示出了在本发明的实施例2中,被选择的读片项目的显示形式。
[0056] 图34示出了在本发明的实施例2中,显示针对被选择的读片项目有可能选择错误时的显示形式。
[0057] 图35示出了在本发明的实施例3中,被选择的读片项目与不能选择的读片项目的显示形式。
[0058] 图36示出了在本发明的实施例4中,从被选择的读片项目中推定的疾病名称的显示形式。
[0059] 图37是示出本发明的实施例5中的类似病例检索装置的构成的方框图。
[0060] 图38是示出本发明的实施例5中的类似病例检索的顺序的流程图。
[0061] 图39是示出本发明的实施例6中的第一类似病例检索装置的构成的方框图。
[0062] 图40是示出本发明的实施例6中的第二类似病例检索装置的构成方框图。
[0063] 图41是本发明的实施例6中的读片项目选择履历数据库中所存储的读片项目的选择履历信息的一个例子。
[0064] 图42是示出类似病例检索装置的其他的构成方框图。

具体实施方式

[0065] 以下,对本发明的实施例参照附图进行说明。另外,以下说明的实施例均为本发明的一个优选的具体例子。以下的实施例所示的数值、构成要素、构成要素的连接方式、步骤、步骤的顺序等仅为一个例子,本发明并非受此所限。本发明仅受限于权利要求书。因此,在以下的实施例的构成要素中,对于示出本发明的最上位概念的独立权利要求中没有记载的构成要素,虽然不是达成本发明的课题的必要因素,但作为优选的构成方式来进行说明。
[0066] 本发明的一个实施例所涉及的类似病例检索装置,从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据,所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据,所述读片报告是记载了对该医用图像进行读片后的结果的文本数据,该类似病例检索装置包括:图像特征提取部,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;读片项目一致性算出部,根据第一读片知识,算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性,所述第一读片知识是示出,针对任意的读片项目,根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息,所述任意的读片项目是对医用图像的特征进行言语化后的字符串;读片项目候补显示部,显示由所述读片项目一致性算出部算出的一致性比规定阈值大的读片项目,或者显示从一致性大的读片项目开始规定个数的读片项目;读片项目选择部,使用户从由所述读片项目候补显示部显示的读片项目之中,选择读片项目;权重决定部,针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性,根据预先决定的第二读片知识,按照由所述图像特征提取部提取的每个图像特征量来决定权重,在该图像特征量与所述读片项目选择部所选择的读片项目之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索部,以由所述权重决定部决定的每个图像特征量的权重,对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权,并进行比较,从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。
[0067] 通过此构成,根据从医用图像或者读片对象图像中提取的各个图像特征量来计算针对各个“读片项目”的一致性,读片对象图像的特征被变换为比每个单位疾病更详细的级别的“读片项目”,在以后的类似病例检索处理中,以比每个单位疾病更详细的级别来进行检索时所利用的图像特征量的最佳化成为可能。
[0068] “读片项目”是指,在本说明书中被定义为“读片医师将读片对象的图像的特征进行了语言化后的字符串”。按照使用的医用图像摄像装置或对象脏器等,作为读片项目而被使用的用语几乎是被限定的。例如有:形成叶状、棘状、不规则状、边界清晰、轮廓不清晰、低浓度、高浓度、低吸収、高吸収、磨玻璃状、钙化,嵌合体状、早期染色、低回声、高回声、以及起毛等。若被选择的读片项目为,形成叶状/棘状/不规则状,则可知读片者关注形状方面,若为低浓度/高浓度/低吸収/高吸収/磨玻璃状,则可知读片者则关注亮度方面。
[0069] 同时,由于读片项目是医师在制作读片报告时的共同语言,因此,类似病例检索装置的用户,即读片者能够容易地理解通过本装置来推定的读片项目的妥当性。
[0070] 并且,通过显示一致性大的读片项目,从而能够从众多的读片项目中,严格选出与从读片对象图像中提取的图像特征量相关的读片项目并显示,因而对于类似病例检索装置的用户而言,读片项目的把握以及选择变得容易。
[0071] 据此,能够进行反映了类似病例检索装置的用户,即读片者的关注点的类似病例检索。
[0072] 最好是,所述读片项目一致性算出部,根据所述第一读片知识,获得在一致性算出中与对象读片项目关联的所有的图像特征量的值的存在范围信息;算出由所述图像特征提取部提取的各个图像特征量、与获得的所述存在范围信息的一致度;在对于基于所述第二读片知识的与所述对象读片项目之间的关联性越高的图像特征量,就越使针对该图像特征量算出的所述一致度的权重增大的状态下,通过对针对所述图像特征提取部所提取的所述多个图像特征量算出的多个所述一致度进行统一,从而算出所述图像特征提取部所提取的所述多个图像特征量针对所述对象读片项目的一致性。
[0073] 根据此构成,即使存在有多种图像特征量的情况下,也能够使与关注的读片项目的关系小的图像特征量的影响减少,从而算出一致性。
[0074] 最好是,所述读片项目候补显示部,进一步,将读片项目和与该读片项目相对应的一致性一起显示。
[0075] 根据此构成,能够将本装置算出的读片项目的一致性的大小提示给用户,因此用户能过在选择读片项目时进行参考。
[0076] 最好是,所述读片项目候补显示部,进一步,针对附属于医用图像的读片报告中的读片项目彼此间的搭配程度,根据预先决定的搭配概率信息,决定由所述读片项目选择部选择的读片项目彼此间的搭配概率,在决定的所述搭配概率为规定值以下的情况下,对示出读片项目的选择有可能出现错误的信息进行显示。
[0077] 根据此构成,能够将难于共存的读片项目传达给用户,从而能够防止用户进行错误的读片项目的选择。
[0078] 最好是,所述读片项目候补显示部,进一步,针对附属于医用图像的读片报告中的读片项目彼此间的搭配程度,根据预先决定的搭配概率信息,对于与所述读片项目选择部所选择的读片项目的搭配概率在规定值以下的读片项目,显示不能选择。
[0079] 根据此构成,能够在选择了读片项目这一阶段之时,将不能选择的读片项目传达给用户,从而能够防止用户进行错误的读片项目的选择。
[0080] 最好是,所述读片项目候补显示部,进一步,针对从附属于医用图像的读片报告中提取的、作为对医用图像的特征进行了言语化后的字符串的读片项目与疾病名称之间的关联性,根据预先决定的关联性信息,推定与被选择的读片项目的关联性最高的疾病名称,并显示该被推定的疾病名称。
[0081] 根据此构成,通过将当前选择的读片项目相当于哪个疾病传达给用户,从而对于用户而言,能够成为判断选择完毕的读片项目的妥当性的辅助信息。
[0082] 本发明的其他的实施例所涉及的类似病例检索装置,从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据,所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据,所述读片报告是记载了对该医用图像进行读片后的结果的文本数据,该类似病例检索装置包括:图像特征提取部,从读片对象图像中提取多个图像特征量,所述读片对象图像是成为读片对象的医用图像;读片项目一致性算出部,根据第一读片知识,算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性,所述第一读片知识是示出,针对任意的读片项目,根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息,所述任意的读片项目是对医用图像的特征进行言语化后的字符串;读片项目设定部,将由所述读片项目一致性算出部算出的一致性为规定值以上的读片项目,设定为在进行类似病例检索时使用的读片项目;权重决定部,针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性,根据预先决定的第二读片知识,按照由所述图像特征提取部提取的每个图像特征量来决定权重,在该图像特征量与所述读片项目设定部所设定的读片项目之间的关联性越高的情况下,就越决定值大的权重;以及类似病例检索部,以由所述权重决定部决定的每个图像特征量的权重,对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权,并进行比较,从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。
[0083] 根据此构成,针对从医用图像或者读片对象图像中提取的各个图像特征量,在与根据读片对象图像推定的读片项目之间的关联性越高的情况下越以大的权重来加权,这样通过对图像特征量彼此进行比较,从而能够检索类似病例。这样,在没有用户进行的读片项目的选择的情况下,能够实现利用了作为一般的读片者的关注点的读片项目的加权。
[0084] 在本装置,由于是将一致性为规定值以上的读片项目用于类似病例检索的,因此能够进行基于一般的医师也会关注的读片项目的类似病例检索。
[0085] 最好是,所述读片项目设定部,根据用户过去从读片项目的组中选择的读片项目的履历信息,从所述读片项目一致性算出部所算出的一致性为规定值以上的读片项目中,将通过进行与所述履歴信息相同的选择而得到的读片项目,设定为在进行类似病例检索时使用的读片项目。
[0086] 根据此构成,能够利用与用户过去选择的读片项目相同的读片项目来进行类似病例检索。因此,例如能够利用与熟练的医师过去所选择的读片项目相同的读片项目,来进行针对新的读片对象图像的类似病例检索。
[0087] (实施例1)
[0088] 图1是本发明的实施例1中的类似病例检索装置的方框图。
[0089] 类似病例检索装置从病例数据库中检索包含与读片对象的医用图像类似的医用图像的病例数据,所述病例数据库中蓄积有多个包含医用图像和读片报告的病例数据,所述读片报告是记载有对该医用图像进行读片的结果的文本数据。类似病例检索装置包括:病例数据库100、第一读片知识数据库110、第二读片知识数据库120、读片对象图像读取部
130、读片对象图像显示部140、图像特征提取部150、读片项目一致性算出部160、读片项目候补显示部170、读片项目选择部180、权重决定部190、类似病例检索部200、以及类似病例显示部210。并且包括图中未示出的读片报告输入部。
[0090] 病例数据库100是存放有多个病例数据(以下,简单称为“病例”)的数据库,该病例数据是由CT(Computed Tomography:电脑断层扫描)或MRI(Magnetic Resonance Imaging:磁共振成像)等医用图像(在本说明书中将“图像数据”简称为“图像”)与读片报告配对而构成的,所述读片报告是对该医用图像进行读片后的结果。第一读片知识数据库110以及第二读片知识数据库120是存放有通过对多个病例进行分析而得到的读片知识的数据库。详细待后述。病例数据库100、第一读片知识数据库110以及第二读片知识数据库120被存储在HDD(Hard Disk Drive:硬盘驱动器)等存储装置。
[0091] 读片对象图像读取部120从医用图像摄像装置或在外部连接的存储装置等中,读取以CT或MRI等医用图像摄像装置拍摄的图像。
[0092] 读片对象图像显示部130由医疗用的高精细显示器等构成,显示由读片对象图像读取部120读取的读片对象图像。
[0093] 图像特征提取部160从由读片对象图像读取部120读取的读片对象图像中,提取多种图像特征量。
[0094] 读片项目一致性算出部160根据图像特征提取部150所提取的多个图像特征量和被存放在第一读片知识数据库110的第一读片知识,从现在的读片对象图像中算出多个图像特征量针对各个读片项目的一致性。
[0095] 读片项目候补显示部170根据在读片项目一致性算出部160算出的针对多个读片项目的每一个的一致性,将一致性比规定阈值大的读片项目、或者一致性大的之中的规定个数的读片项目,作为用于使用户选择的候补来显示。本类似病例检索装置的用户(读片者)是,放射科医师、临床医师等进行读片的医师。不过,用户并非受限于此,也会有临床检查技师或向医科学生这种没有获得医师资格的人的情况。
[0096] 读片项目选择部180从在读片项目候补显示部170显示的读片项目中,接受用户的选择结果以作为输入。
[0097] 权重决定部190根据图像特征提取部150所提取的图像特征量、以及被存放在第二读片知识数据库120中的第二读片知识,针对在图像检索时所使用的多个图像特征量分别决定权重。
[0098] 类似病例检索部200对图像特征提取部150所提取的多个图像特征量以及被登记在病例数据库100的病例中所包含的、从医用图像中提取的多个图像特征量,以在权重决定部190决定的每个图像特征量的权重来进行加权并比较,从所述病例数据库检索包含与读片对象图像类似的医用图像的病例。
[0099] 类似病例显示部210显示由类似病例检索部200检索的类似病例。类似病例显示部210的构成可以是与构成读片对象图像显示部140的高精细监视器为相同的机种,也可以将读片对象图像和类似病例同时显示在读片对象图像显示部140。另外,类似病例显示部210和读片对象图像显示部140的机种也可以不同。
[0100] 图中未示出的读片报告输入部接受来自用户的读片报告输入。即用户一边参考由读片对象图像显示部140显示的读片对象图像、以及由类似病例显示部210显示的类似病例,一边将读片报告输入到图中未示出的读片报告输入部。读片报告输入部由键盘或鼠标等构成。
[0101] 读片对象图像显示部140、读片项目候补显示部170、读片项目选择部180、类似病例显示部210、以及图中未示出的读片报告输入部构成读片终端220。
[0102] 以下,对本发明的各个部的工作进行详细说明。
[0103] <读片知识数据库的事前制作>
[0104] 在进行类似病例检索之时,需要事前得到读片知识,并将读片知识存放到第一读片知识数据库110以及第二读片知识数据库120。读片知识是从聚集的多个“病例”中得到的,该“病例”是由医用图像与读片报告的配对构成的,该读片报告是对该医用图像进行读片后的结果。作为病例,可以利用被存放于病例数据库100中的病例,也可以利用被存放在其他的数据库中的病例。所需的病例数是,利用各种数据挖掘算法能够得到某些法则性以及知识所需要的数量。通常采用数百~数万个的数据。在本实施例中,作为被存放在第一读片知识数据库110的第一读片知识采用以下的信息,该信息示出针对任意的读片项目,根据从与包含所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每个图像特征量的种类的值的存在范围。并且,作为被存放在第二读片知识数据库120的第二读片知识,采用从医用图像中提取的各个图像特征量与从所述医用图像所对应的读片报告中提取的各个读片项目之间的关联性,即采用(图像特征量-读片项目)这两项间的相关关系。
[0105] 作为“图像特征量”例如有医用图像中的脏器或与病变部分的形状相关的或者与亮度分布相关的图像特征量。图像特征量例如可以采用如下的非专利文献中所记载的490种特征量,该非专利文献是:“根本、清水、萩原、小畑、绳野所著‘根据来自多数特征量的特征选择的乳房X线图像上的肿瘤影像判别精度的改善以及快速的特征选择法的提出(多数の特徴量からの特徴選択による乳房X線像上の肿瘤影判別精度の改善と高速な特徴選択法の提案)’,电子信息通信学会论文集(電子情報通信学会論文誌)-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月”。在本实施例也按照医用图像的拍摄中所使用的医用图像摄像装置(医疗影像设备)或读片的对象脏器,来采用预先规定的数十~数百种的图像特征量。
[0106] “读片项目”是指,在本说明书中被定义为“读片医师将读片对象的图像的特征进行了语言化后的字符串”。按照使用的医用图像摄像装置或对象脏器等,作为读片项目而被使用的用语几乎是被限定的。例如有:形成叶状、棘状、不规则状、边界清晰、轮廓不清晰、低浓度、高浓度、低吸収、高吸収、磨玻璃状、钙化,嵌合体状、早期染色、低回声、高回声、以及起毛等。
[0107] 以下,利用图2的流程图来说明制作读片知识的顺序。在本实施例成为对象的是,即使用的医用图像摄像装置为多层面CT,对象脏器以及疾病分别为肝脏以及肝脏以及肝肿瘤。
[0108] 在步骤S10,从存放有用于得到读片知识的病例的数据库中获得一个病例。在此,将用于得到读片知识的病例的总数设为C个。每一个病例由医用图像与作为对该医用图像进行读片后的结果的读片报告的配对构成。在医用图像由多层面CT装置获得的情况下,每一个病例将包含多张切片图像。并且,通常在多层面CT图像由医师读片的情况下,将重要的切片图像的一张或多张作为关键图像添附到读片报告中。以下对多张的切片图像集合或多张的关键图像简称为“医用图像”或“图像”。
[0109] 在步骤S11,从医用图像提取图像特征量。利用图3的流程图对步骤S11的处理进行详细说明。
[0110] 在步骤S111,提取对象脏器的区域。在本实施例中提取肝脏区域。作为肝脏区域的提取方法,例如有利用非专利文献:“田中、清水、小畑所著‘考虑了异常部位的浓度图案的肝脏区域的提取方法的改善<第二部>(異常部位の濃度パターンを考慮した肝脏領域抽出手法の改良<第二報>’,电子信息通信学会技术研究报告(電子情報通信学会技术研究報告),医用图像,104(580),pp.7-12,2005年1月”等方法。
[0111] 在步骤S112,从在步骤S111提取的脏器区域中提取病变区域。在本实施例中为从肝脏区域提取肿瘤区域。作为肝肿瘤区域提取方法,例如有利用非专利文献:“中川、清水、一杉、小畑所著的‘根据三维腹部CT图像的肝肿瘤影像的自动提取方法的开发<第二部>(三维数腹部CT像からの肝肿瘤影の自動抽出手法の開発<第二報>’,医用图像,102(575),pp.89-94,2003年1月”等方法。在此,若将从第i个病例中的图像中提取的肿瘤的数量设为Mi,则肿瘤能够从(病例编号,肿瘤编号)的组(i,j)中来确定。在此,
1≤i≤C,1≤j≤Mi。并且,在本实施例中由于病变的对象是肝肿瘤,虽然称为了“肿瘤编号”,不过在本发明中采用共同的表现,称为“病变编号”。
[0112] 在步骤S113,从在步骤S112提取的病变区域选择一个区域。
[0113] 在步骤S114,从在步骤S113选择的病变区域中提取图像特征量。在本实施例中,作为图像特征量,从非专利文献:“根本、清水、萩原、小畑、绳野所著‘根据多个特征量中的特征选择的乳房X线图像上的肿瘤影像判别精确度的改善以及快速的特征选择法的提出(多数の特徴量からの特徴選択による乳房X線像上の肿瘤影判別精度の改善と高速な特徴選択法の提案’,电子信息通信学会论文集(電子情報通信学会論文誌)D-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月”中所记载的490种的特征量中,选用若干个能够适用于肝肿瘤的特征量。将该特征量数量设为NIF个。在该步骤中提取的特征量是根据(病例编号、从该病例(医用图像)中提取的肿瘤编号、特征量编号)的组(i,j,k)来确定的。在此为,1≤i≤C,1≤j≤Mi,1≤k≤NIF。
[0114] 在步骤S115,检查在步骤S112提取的病变区域中是否有未选择的病变,在有未选择的病变的情况下,返回到步骤S113,在选择了未选择的病变区域之后,再次执行步骤S114。在没有未选择的病变的情况下,即,在针对步骤S112所提取的所有的病变区域,进行了步骤S114的特征量选择的情况下,结束图3的流程图的处理,返回到图2的流程图。
[0115] 在图2的步骤S12,进行读片报告的分析处理。具体而言,从读片报告中提取读片项目以及疾病名称。在本实施例中,进行词素分析以及文法分析,该词素分析以及文法分析利用了存放有读片项目的读片项目单词辞典以及存放有疾病名称的疾病名称单词辞典。通过这些处理,提取与在各个单词辞典中存放的单词一致的单词。作为词素分析技术例如有,非专利文献:MeCab(http://mecab.sourceforge.net)或ChaSen(http://chasen-legacy.sourceforge.jp)等,作为文法分析技术例如有,KNP(http://nlp.kuee.kyoto-u.ac.jp/nl-resource/knp.html),CaboCha(http://chasen.org/~taku/software/cabocha/)等。读片报告由于是由医师以读片报告独特的表现来描述的情况较多,因此,希望能够开发出对读片报告具有针对性的词素分析技术、文法分析技术、以及各种单词辞典。
[0116] 图4示出了腹部CT检查的读片报告的例子,图5示出了从图4的读片报告中提取的读片项目以及疾病名称。读片项目通常提取多个,疾病名称提取一个。将从第i个病例中的读片报告中提取的读片项目的数量设为Ni,则读片项目能够根据(病例编号,读片项目编号)的组(i,j)来确定。在此为,1≤i≤C,1≤j≤Ni。
[0117] 并且,在图5中虽然仅提取了读片项目以及疾病名称的单词,不过也可以同时提取表示读片报告中的病变的位置的字符串,以及表示时相的字符串。在此对时相进行补充说明。在对肝脏的病变进行鉴别时有效的方法是,快速静脉注射造影剂,并随着时间的经过来进行拍摄的造影检查。一般在肝脏的造影检查中,对肝脏进行拍摄一般是在以下情况:造影剂流入肝动脉,多血症肿瘤染色的动脉相;分布到肠道以及脾脏的造影剂从门静脉流入,肝实质主要被造影的门静脉相;造影剂均衡地达到肝的血管内外的平衡相;以及造影剂留置在肝的间质组织的晩期相等。在读片报告中描述的较多的是病变在脏器上的位置以及在造影检查时关注的时相的信息。这样,由于不仅是读片项目,位置以及时相的信息也被合在一起提取,这将有用于以后将要说明的读片知识的提取。图6示出了与读片项目同时提供了位置和时相的信息的例子。例如,分析图4的读片报告,根据“在肝S3区域发现早期染色”这一文节,作为“早期染色”的位置属性“肝S3区域”被提取。同样,根据“在晚期相出现洗脱(washout)”这一文节,作为“洗脱(washout)”的时相属性“晚期相”被提取。
[0118] 若单纯地解释图4的读片报告,则如图6所示,关于“早期染色”的时相以及关于洗脱(washout)的位置的部分成为空白。对此,通过利用读片项目“早期染色”是与早期相相对应的单词这一事前知识,以及对表示示出“早期染色”的状态的肿瘤与“在晚期相的洗脱(washout)”的肿瘤为同一肿瘤的上下文进行解释,被提取的位置和时相的信息则成为图7所示那样。
[0119] 在步骤S13,检查在存放有用于得到读片知识的病例的数据库中是否有未获得的病例,在有未获得的病例的情况下,返回步骤S10,在获得了未获得的病例之后,执行步骤S11以及S12。在没有未获得的病例的情况下,即针对所有的病例执行了步骤S11的图像特征提取以及步骤S12的报告分析之后的情况下,进入步骤S14。
[0120] 由于步骤S11与步骤S12的结果不相互依存,因此执行顺序也可以相反。
[0121] 在达到步骤S14之时,例如获得图8所示的一系列数据。即,按照每个病例获得图像特征量、读片项目、以及疾病名称。对于病例编号1的病例,在医用图像中包含M1个病变,从各个病变提取的图像特征量的个数为NF个。并且,读片报告中的读片项目的数量为N1个。例如,在以病变编号(1,1)所示的第一个病变中,第一个图像特征量的值为0.851。并且,以读片项目编号(1,1)所示的第一个读片项目的值为“早期染色”。在图8的例子中,各个图像特征量为0以上1以下的数值,读片项目以及疾病名称为字符串。作为图像特征量也可以使用负的值或比1大的值。并且,作为读片项目以及疾病名称,也可以以预先决定的单词ID的形式来存放数据。
[0122] 在步骤S14,根据在步骤S11得到的图像特征量以及在步骤S12得到的读片项目,提取第一读片知识。利用图9的流程图对步骤S14的处理进行说明。
[0123] 在步骤S141,从到此为止(S14的紧前)得到的图8的一系列数据中,选择一个读片项目。作为选择的顺序,例如,能够利用在步骤S12所使用的读片项目单词辞典中的条目(读片项目编号)顺序。在本实施例中,读片项目单词辞典中的读片项目的所有条目数量为NII个。另外,作为选择顺序,可以采用图8的一系列数据中的出现顺序或任意的顺序的其他的方法。
[0124] 在步骤S142,从图8的一系列数据中,选择包含在步骤S141被选择的读片项目的读片报告中的病例。从选择的病例的医用图像中所包含的所有的病变中获得所有种类(NIF个)的图像特征量,将获得的图像特征量存放到与现在所选择的读片项目相对应的存储区域。
[0125] 在此,在一个病例中包含多个图像或多个病变(肿瘤)的情况较多,在这种情况下,则成为在读片报告中包含与多个病变相关的记载。例如,在造影CT検査中,以造影剂使用前以及使用后的多个时刻(即,多个时相)中的定时来进行CT摄影。因此,能够得到多个切片图像的集合,切片图像的一个集合中包含多个病变(肿瘤),从一个病变中提取多个图像特征量。因此,能够得到(切片图像集合数,即摄影的时相的数量)×(从一个患者检测出的病变数)的个数的(图像特征量的种类数)维数的图像特征量矢量。需要求出得到的多个图像特征量矢量、与从一个读片报告提取的疾病名称以及多个读片项目之间的相关关系。当然,通过利用大量的病例,虽然能够得到正确的对应,不过,与利用后述的病变位置和时相相同,若事先对读片报告的记载与对应的图像特征量在某种程度上进行对应,这样就能够更正确地求出相关关系。在一个病例中包含有多个病变的情况下,只要得到了当前选择的读片项目与病变的对应,可以存放仅从与当前选择的读片项目相对应的病变中提取的特征量。
[0126] 将在步骤S142存放的、与当前选择的读片项目相对应的图像特征量矢量绘图为NIF维数的特征量空间的状态,由图10的模式图示出。该空间上的一点相当于从一个病变图像(从原来的切片图像中切取病变区域后的部分图像)中得到的一个NIF维数的特征量矢量。
[0127] 在步骤S143,确认是否有还未选择的读片项目,若有则返回到步骤S141。若没有则结束图9的流程图。
[0128] 在此时刻,图10所示的与一个读片项目相对应的图像特征量矢量的分布能够得到与读片项目的个数同等的数量。在本实施例中,针对读片项目单词辞典的所有条目(NII個)的每一个,能够得到图10所示的分布。将这些分布分别作为第一读片知识。得到的分布,即与特征量的值的存在范围有关的信息以图11的形式,被存放在第一读片知识数据库110。
[0129] 图11示出了针对NII个读片项目,存放了从对于第i个读片项目的NFi个病变图像(从原来的切片图像切取病变区域后的部分图像)中提取的特征量矢量的状态。从各个病变图像提取的特征量矢量由NIF个的值(NIF维数)构成,各个值的存在范围为[0,1]。
[0130] 以上是第一读片知识的最基本的算出方法以及存放形式。对于其他的例子,在进行类似病例检索的说明时一起说明。
[0131] 接着,在步骤S15,根据在步骤S11得到的图像特征量、在步骤S12得到的读片项目以及疾病名称,提取第二读片知识。在本实施例中,将图像特征量与读片项目这两项的相关关系作为读片知识。
[0132] 以下,除了(1)(图像特征量-读片项目)之间的相关关系以外,对(2)(图像特征量-疾病名称)之间的相关关系和(3)(读片项目-疾病名称)之间的相关关系进行说明。
[0133] (1)(图像特征量-读片项目)之间的相关关系
[0134] 对求出(图像特征量,读片项目)这一对之间的相关关系的方法进行说明。相关关系的表现形式虽然有多个,在此利用相关比。相关比是表示质的数据与量的数据之间的相关关系的指标,由(式1)来表示。
[0135] [数式1]
[0136] (式1)
[0137] 在此,xij:属于质的数据的种类i的第j个观测值
[0138] 属于质的数据的种类i的观测值的平均值
[0139] 全体的平均值
[0140] Ni:属于种类i的观测数
[0141] SB:种类间方差
[0142] ST:所有方差
[0143] 在读片报告中考虑包含某读片项目的情况以及不包含的情况这两个种类,将此作为质的数据。将从医用图像提取的某图像特征量的值本身作为量的数据。例如,针对被包含在用于提取读片知识的病例数据库中的所有病例,将读片报告划分为包含某读片项目的或不包含某读片项目的。在此,对求出读片项目“早期染色”与图像特征量“早期相中的肿瘤内部的平均亮度值”的相关比的方法进行说明。在(式1)中,将种类i=1设为包含“早期染色”,将种类i=2设为不包含“早期染色”。将从读片报告中包含“早期染色”的病例中提取的作为肿瘤图像的“早期相中的肿瘤内部的平均亮度值”的第j个观测值设为x1j。并且,将从读片报告中不包含“早期染色”的病例中提取的作为肿瘤图像的“早期相中的肿瘤内部的平均亮度值”的第j个观测值设为x2j。“早期染色”是指,由于表示的是在造影早期相中CT值上升,因此在这种情况下,能够预想到相关比增大(接近于1)。并且,早期染色依存于肿瘤的种类,而不依存于肿瘤的大小,因此能够预想到读片项目“早期染色”与图像特征量“肿瘤面积”的相关比变小(接近于0)。这样,计算所有的读片项目与所有的图像特征量之间的相关比。
[0144] 图12示出了读片项目与图像特征量之间的相关关系(在此为相关比)的概念图。左侧列举了多个读片项目,右侧列举了多个图像特征量的名称。并且,相关比为阈值以上的读片项目与图像特征量之间以实线连接。由于相关比的值在0以上1以下,因此作为阈值能够利用0.3~0.7左右的值。最终以阈值对计算的相关比进行二值化,从而求出图12所示的信息。对其中的一个例子进行补充。在肝肿瘤的造影CT检查中,肿瘤几乎在使用造影剂之前的CT图像(称为单纯、单纯CT、单纯相等)呈现低浓度,在大多的情况下,读片报告描述为“低浓度”、“有LDA(Low Density Area:低密度区)”等。因此,“低亮度”或“LDA”的读片项目与造影剂使用前的CT图像中的肿瘤内部的平均亮度(在图12中略记作“单纯相平均亮度”)之间的相关性增大。
[0145] 并且,图13是读片项目与图像特征量之间的相关关系(例如,相关比)的其他的概念图。在该图中,对相关比进行多值表现,读片项目与图像特征量之间的实线的宽度相当于相关比的大小。例如,在造影早期相的CT值上升的“早期染色”与早期动脉相(略称为早期相、动脉相)中的肿瘤内部的平均亮度(在图13中略记作“动脉相平均亮度”)之间的相关增大。
[0146] 通过关注相关比的值,能够确定与某读片项目相关性高的图像特征量。实际上在一个病例中,含有多个图像以及多个病变(肿瘤)的情况较多,在这种情况下,读片报告中含有多个与病变相关的记载。例如,在造影CT检查中,以造影剂使用前以及使用后的多个时刻中的定时来进行CT摄影。因此,能够得到多个切片图像的集合,切片图像的一个集合中含有多个病变(肿瘤),从一个病变中提取多个图像特征量。因此能够得到的图像特征量的数量为:(切片图像集合数)×(从一个患者检测出的病变数)×(图像特征量的种类数),并且需要求出这些多个图像特征量与从一个读片报告中提取的多个读片项目或疾病名称的相关关系。当然虽然能够通过利用大量的病例,来进行正确的对应,与利用图7所示的病变位置和时相同样,只要事先将读片报告的记载与对应的图像特征量进行对应,就能够求出更正确的相关关系。
[0147] 在以上的说明中,虽然对质的数据为包含某读片项目以及不包含的这两种情况进行了说明,不过也可以是某读片项目(例如,“边界清晰”)和成为其反义词的读片项目(例如,“边界不清晰”)这两种。并且,在读片项目为“低浓度”、“中浓度”、“高浓度”等序号尺度的情况下,作为上述的各个种类(在该例子中为三种)也可以计算相关比。
[0148] 并且,对于“低浓度”、“低亮度”、“低吸収”等同义语而言,可以预先制作同义语辞典,将这些作为相同的读片项目来处理。
[0149] (2)(图像特征量-疾病名称)之间的相关关系
[0150] 关于一对的(图像特征量,疾病名称)之间的相关关系,能够与(图像特征量,读片项目)之间的情况同样利用相关比。图14示出了疾病名称与图像特征量之间的相关关系(例如,相关比)的概念图。在该图中与图12相同,对相关关系进行二值表现,当然也可以进行图13所示的多值表现。
[0151] (3)(读片项目-疾病名称)之间的相关关系
[0152] 针对一对的(读片项目,疾病名称)之间的相关关系的求出方法进行说明。相关关系的表现方式为多个,在此利用对数似然比。对数似然比是表示质的数据之间的搭配强度的指标,以(式2)表示。
[0153] [数式2]
[0154]
[0155] (式2)
[0156] 在此,X为读片项目,Y为疾病名称。
[0157] a、b、c、d如下表所示,为单词各个组合的出现频度。
[0158]
[0159] a:单词X,Y搭配的频度
[0160] b:单词X以单体出现的频度
[0161] c:单词Y以单体出现的频度
[0162] d:单词X和Y均未出现的频度
[0163] 从(式2)可知,对数似然比可以看作是考虑了事件X、Y以及互斥事件的搭配指标。
[0164] 并且,也可以取代对数似然比,来采用(式3)所示的支持度(Support)、(式4)所示的可信度(Confidence)、以及(式5)所示的提高度Lift等。除此以外,也可以采用conviction、φ系数。关于conviction、φ系数,在与关联规则分析相关的文献(例如,非专利文献:加藤、羽室、矢田共著的“数据挖掘及其应用(データマイニングとその応用)”,朝仓书店)中有记载。
[0165] [数式3]
[0166] (式3)
[0167] 在此,X,Y:任意的项集合(X, )
[0168] |D|:所有事项数量
[0169] count(X):在数据库D中的包含有项集合X的事项数
[0170] 在此,由于求的是一对的(読影項目、疾病名)之间的关联规则,因此可以进行以下的再定义。
[0171] X:一个读片项目
[0172] I1读片项目名的项集合
[0173] Y:一个疾病名称
[0174] I2疾病名称的项集合
[0175] |D|:所有病例数量
[0176] count(X∪Y):所有病例中包含读片项目X与疾病名称Y双方的病例数量[0177] 该支持度的意思是,在所有病例,读片项目X与疾病名称Y同时出现的概率(搭配概率)。若读片项目X与疾病名称Y同时出现在较多的读片报告时,可以看作读片项目X与疾病名称Y的关联性(相关性)强。
[0178] (式4)
[0179] 在此,X,Y:任意的项集合(X, )
[0180] count(X):数据库D中的包含项集合X的事项数量
[0181] 可信度是指,在将条件部X的项的出现作为条件时,结论部Y的项的出现概率。在出现了读片项目X的读片报告中,若疾病名称Y出现得较多,则视为读片项目X与疾病名称Y的关联性强。
[0182] [数式5]
[0183] (式5)
[0184] 在此,X,Y:任意的项集合(X, )
[0185] count(X):在数据库D中,包含项集合X的事项数量
[0186] P(Y):项集合Y的出现概率
[0187]
[0188] |D|:所有事项数量
[0189] 提高度是指,相对于在不将读片项目X的出现作为条件时的疾病名称Y的出现概率,在将读片项目X的出现作为条件时的疾病名称Y的出现概率(即可信度)上升了多少的指标。提高度为1.0是指,不论读片项目X是否出现,疾病名称Y的出现概率不变,可以考虑为不关注规则( )。这意味着,读片项目X的出现与疾病名称Y的出现从统计上来看是独立的。在提高度比1.0大,且在该值越大的情况下越被视为关注规则。即视为读片项目X与疾病名称Y之间的相关性大。
[0190] 图15是读片项目与疾病名称之间的相关关系(例如,对数似然比)的概念图。在该图中与图12同样对相关关系进行二值表现,不过也可以是图13所示的进行多值表现。
[0191] 在以上的方法中,若进行步骤S15的处理,则能够分别得到图16、图17、图18所示的(图像特征量-读片项目)之间的相关关系、(图像特征量-疾病名称)之间的相关关系、(读片项目-疾病名称)之间的相关关系。另外表中的数值在图16和图17中为相关比,在图18中为对数似然比。相关比为0以上1以下的值。对数似然比取0以上的值。并且,得到的相关关系以图16、图17、图18的形式被存放到读片知识数据库110。
[0192] <类似病例检索>
[0193] 以下,利用图19的流程图以及图20的类似病例检索画面的例子对类似病例检索的顺序进行说明。
[0194] 图20所示的类似病例检索画面的例子是,由图1的读片对象图像显示部140、读片项目候补显示部170、读片项目选择部180、类似病例显示部210、读片报告输入部(图1中未示出)构成的读片终端220的画面例子。
[0195] 在步骤S30,通过读片对象图像读取部130,从医用图像摄像装置获得读片对象图像。与图2的制作读片知识之时相同,在本实施例中成为对象的医用图像摄像装置为多层面CT,对象脏器以及疾病为肝肿瘤。读取的图像(图20中的读片对象图像300),被显示在读片对象图像显示部140。
[0196] 在步骤S31,从读片者接受想要进行类似病例检索的对象的病变的指定。指定是在读片对象图像显示部140的画面上(读片对象图像300),通过利用鼠标来点击病变部而执行的。
[0197] 对该病变的指定进行说明。作为指定的方法,可以是指定病变的中心付近的一点,也可以指定病变区域(轮廓线)。在中心付近的一点被指定的情况下,以被指定的点作为基准,从该点的近旁区域开始,利用与步骤S112同样的方法来设定详细的病变区域。在大致指定了病变区域的情况下,从该区域中以与步骤S112同样的方法来设定详细的病变区域。
[0198] 关于病变位置或者区域的指定,利用图21来进行说明。在图21所示的读片对象图像400(在此为腹部CT)中包括:腹部周围410、对象脏器(在此为肝脏)420、以及病变区域430。在指定坐标的情况下,例如,以鼠标点击肿瘤的中心位置付近(图21的点440)。在指定了区域的情况下,所进行的方法是以矩形或圆形、椭圆来圈出图21的病变区域430,或者以自由的曲线来指定病变部(图21的病变区域430)与正常组织(图21的病变区域430的外侧)之间的边界。在仅指定中心坐标的情况下以及通过以矩形、圆形或椭圆形等来圈出指定的区域的情况下,虽然具有对读片者的负担小的优点,但是为了图像特征量的提取,需要另外通过图像处理算法来自动地提取正确的病变区域。关于肿瘤区域的提取可以采用与步骤S112相同的方法。
[0199] 在步骤S32,图像特征提取部150针对读片对象图像,从在步骤S31指定或者提取的病变区域提取图像特征量。若指定或者提取的病变区域为多个,则针对全体提取预先规定的NIF个的特征量。图像特征量的提取方法与步骤S114相同。
[0200] 在步骤S33,读片项目一致性算出部160利用在步骤S32提取的特征量,算出针对所有(NII个)的读片项目的一致性。在此,对一致性算出想法进行说明。图10是从包含某读片项目的读片报告中的病例提取的图像特征量矢量的分布。在步骤S32提取的特征量被置于图10的空间时,若在其近旁存在多个从过去的病例中提取的图像特征量,则考虑该读片项目符合目前的读片对象图像的可能性高。不过,由于与该读片项目相关小的图像特征量(矢量的要素)可以不必考虑,读片项目一致性算出部160利用第二读片知识数据库120中的(图像特征量-读片项目)之间的相关关系,选择并使用与该读片项目相关高的图像特征量(矢量的要素)。
[0201] 例如利用(式6)的倒数来计算一致性。
[0202] [数式6]
[0203]
[0204] (式6)
[0205] x:未知矢量i
[0206] u:比较对象中的第i个矢量
[0207] n:矢量的维数
[0208] wj:针对第j个维数的权重
[0209] 在此,x为连接了所有的从读片对象图像中提取的多个(NIF个)图像特征量的矢量。在连接不同种类的图像特征量之时,为了不受因每个特征量的尺度的不同而带来的影i响而进行正规化(正规化为平均值为0、方差值为1)。u是目前关注的读片项目i的特征量分布的平均矢量。另外,也可以用中间值来代替平均值。作为权重wj,利用读片项目i与图像特征量j之间的相关。相关关系可以从以图16的形式被存放在第二读片知识数据库
120的表中,参照对应的单元格的值来得出。作为权重wj,通过利用读片项目i与图像特征量j之间的相关,相关越小,该维数的图像特征量对一致性的影响就越小,从而能够计算出降低了与读片项目i的相关小的维数的图像特征量的影响的一致性。
[0210] 并且,作为权重wj,可以利用对读片项目i与图像特征量j的相关进行了二值化后的结果。具体而言,若相关比在规定的阈值以上,wj=1,否则为wj=0。作为权重wj利用了二值化后的相关的情况下,由读片项目来决定图像特征量中不需要的维数。若在第一读片知识的算出之前,第二读片知识的算出结束的情况下,作为第一读片知识,以图22所示的形式预先除外不需要的维数(图中的斜线部)的图像特征量并保存,从而能够减少第一读片知识的存储容量。另外,在图22中对于不需要的维数的图像特征量以影线来表示。
[0211] 并且,在(式6),作为图像特征量的各个维数的分布的代表值ui虽然利用了平均值(或者中间值),在图像特征量不是单峰性分布而是多峰性的情况下,在(式6)不能充分地表现原来的图像特征量的分布。在这样的情况下,例如,可以利用(式7)的高斯混合模型(Gaussian Mixture Model;GMM)来表现分布。在此x为N维数(N≥1)的变量,M为混合数,μm为第m个的正规分布的平均,Σm为第m个的正规分布的方差-协方差矩阵,λm为混合比(1≤m≤M)。
[0212] [数式7]
[0213] (式7)
[0214] 并且,在GMM的分布参数的算出(建模)中,能够利用最大期望演算法(EM:Expectation Maximization)。并且,在对分布进行建模的情况下,如图22所示,将不需要的维数(图中的影线部分)除外后的数据用于输入。其理由是,由于在与读片项目相关小的图像特征量中值分布的范围较广,因此,GMM的分布参数算出的收敛变慢,或者建模误差增大。
[0215] 在按照图像特征量的每个维数来求GMM的参数的情况下,求出的参数作为第一读片知识以图23所示的形式被存放在第一读片知识数据库110。在此,每个读片项目的图像特征量的所有维数各不相同(例如,读片项目为1,则为NIF1′维数,读片项目为2,则为NIF2′维数),这是因为如图22所示那样按每个读片项目除外了不需要的维数。
[0216] 在求出了多维数的GMM的参数的情况下,以图24所示的形式被存放在第一读片知识数据库110。图24的参数具体而言是,(式7)中的M、μm、Σm、λm(1≤m≤M)。图23的参数在(式7)中相当于x为标量的情况,以混合数M、第m个的正规分布的平均值μm、2
第m个的正规分布的方差σm、混合比λm来表示(1≤m≤M)。
[0217] 在图23、图24中为了方便作为所有的分布参数采用了相同(p1,p2,...,pdim)的dim维数的变量,但是由于模型化对象的分布各不相同,因此模型化后的正规分布的个数也各不相同。即参数的总数dim的值也各不相同。
[0218] 并且,也可以不利用EM算法这样的参量方法,而采用Parzen窗估计等无参量的方法来表现分布。
[0219] 在GMM的情况下,作为x,将从读片对象图像提取的多个(NIF个)图像特征量矢量代入到(式7),将被输出的似然p(x)作为一致性来利用。
[0220] 另外,读片项目一致性算出部160也可以不利用第二读片知识数据库120中的(图像特征量-读片项目)之间的相关关系,而利用所有的图像特征量来算出一致性。即在(式6)中权重wj不受j的影响而设为1,来算出一致性。
[0221] 在步骤S34,在针对在步骤S33计算出的NII个的读片项目的一致性中的、一致性大的读片项目被显示在读片项目候补显示部170。具体而言,在读片项目候补显示部170的画面上(图20的读片项目候补显示及选择区域310),以图25的形式来显示一致性大的读片项目。在图25,从所有的NII个的读片项目中,将与当前的读片对象图像之间的一致性高的读片项目,按一致性从大到小的顺序显示。显示的个数可以是规定的个数,也可以是一致性为阈值以上的个数。并且,显示的个数也可以是由读片者设定的形式。并且,在针对造影检查等同一脏器或同一病变有多个图像的情况下,如图26所示,可以按照每个图像来显示一致性大的读片项目。并且,显示的順番也可以不是一致性的从大到小的顺序、而可以是随机的顺序。
[0222] 由于在类似病例检索装置所处理的对象脏器或者疾病越多,读片项目的数量也就越多,因此使读片者从所有的读片项目的候补中选择读片项目是不现实的。这样,通过根据从读片对象图像提取的特征量来推定读片项目,以一致性的从大到小的顺序来显示,从而读片者能够容易地判断读片项目。
[0223] 并且,如图27所示,也可以在显示一致性大的读片项目的同时,显示一致性的值。通过同时显示一致性的值,从而能够给予用于辅助读片者进行读片项目的选择时的判断的附加信息(例如,可知在图27中,读片项目“环状”的一致性比其他的三个小)。
[0224] 并且,一致性的值除了可以用数值来表示以外,也可以使文字或背景的颜色或者亮度发生变化来显示。并且,如图28所示,也可以由棒状图等来表示。
[0225] 在步骤S35,针对在步骤S34显示的读片项目候补,通过读片项目选择部180来接受读片者的选择输入。这是为了使由读片者选择的读片项目作为类似病例检索时的类似尺度(观点)来利用。在画面上,读片项目候补显示及选择区域310以图25的形式来显示读片项目。针对该状态,通过使读片者利用鼠标来点击读片项目的字符串来选择输入读片项目。被选择的读片项目的例子由图29示出。在图29中对被选择的读片项目“早期染色”进行了黑白反相显示。并且,除了读片者利用点击画面上的GUI(虚拟键)的方法以外,还可以使用方向键或者回车键等键盘来选择读片项目。
[0226] 在步骤S36,权重决定部190利用在步骤S35选择的读片项目,针对图像特征量决定在进行加权检索时的权重。
[0227] 以下示出了加权方法的例子。
[0228] 目前的状况是,由读片项目选择部180选择了作为读片项目的“早期染色”和“washout(洗脱)”。权重决定部190参照以图16的形式被存放在读片知识数据库110的(图像特征量-读片项目)之间的相关关系表,获得“早期染色”与所有的图像特征量之间的相关关系、以及“washout”与所有的图像特征量之间的相关关系。在此将表示获得的相关关系的数值(相关比)直接用作权重,分别表示为wa、i、wb、i。在此,i为表示图像特征量的种类的注脚。使用这些权重,如(式8)那样计算与第i个图像特征量相对应的权重Wi。
[0229] [数式8]
[0230] Wi=wa,i+wb,i (式8)
[0231] 关于以上的加权方法,图30示出了概要。
[0232] 例如,针对第4个图像特征量“边缘强度”的权重,是将表示(早期染色-边缘强度)之间的相关关系的值wa,4与,表示(washout-边缘强度)之间的相关关系的值wb,4相加后的值。在读片项目的个数为2以外的情况下,通过对(读片项目-图像特征量)之间的相关关系进行相加也能够对应。根据该式,能够计算同时考虑了读片者所关注的读片项目,以及读片项目与图像特征量之间的关联性的权重,其结果是,能够进行重视了这些的类似病例检索。但是,在被选择的读片项目为多个的情况下则成为均等的对应,在读片项目中不能进行差別化。通过进一步将由读片者选择的读片项目的一致性作为权重来利用,从而能够实现读片项目之间的差別化。例如,在(式9)中,通过利用作为针对读片项目“早期染色”的一致性的wx,以及作为针对读片项目“washout”的一致性的wy,从而能够在读片项目之间进行加权。
[0233] [数式9]
[0234] Wi=wxwa,i+wywb,i (式9)
[0235] 并且,也可以使读片者按照选择的每个读片项目来设定权重。例如,图31示出了读片者利用滑动棒来设定权重的画面例子。分别在选择的“早期染色”和“washout”的右侧显示滑动棒。读片者通过以鼠标来使滑动棒的调节器左右滑动,从而使权重变化。
[0236] 在步骤S37,类似病例检索部200利用在步骤S32提取的图像特征量以及在步骤S36决定的权重,从病例数据库100中检索类似病例。被检索的类似病例被显示在类似病例显示部210(在画面上为类似病例显示区域330)。
[0237] 类似病例检索部200对从被存储在病例数据库100病例中所包含的医用图像中提取的图像特征量与从读片对象图像中提取的图像特征量之间算出加权距离。类似病例检索部200将加权距离比规定的阈值小的病例作为类似病例,从病例数据库100中检索。或者类似病例检索部200将从加权距离小的规定个数的病例作为类似病例,从病例数据库100进行检索。
[0238] 加权距离例如能够通过(式6)来计算。在此,x是对从读片对象图像提取的多个(NIF个)图像特征量全体进行连接的矢量。ui是病例数据库100中所存放的病例中的、从第i个病例提取的图像特征量。在连接不同种类的图像特征量之时,为了不受因每个特征量的规模不同而造成的影响而进行正规化(正规化为,平均值为0,方差为1)。
[0239] 在本实施例中,根据读片者选择的读片项目,在进行类似病例检索时进行加权距离计算。即针对与被选择的读片项目相关大的图像特征量,使权重相对增大,针对相关小的图像特征量,使权重相对减小。据此,能够进行反映了读片者的关注点的类似病例检索。
[0240] 在步骤S38,读片者通过读片报告输入区域320输入读片报告。在多层面CT装置的情况下,通过重构通常能够得到多张与体轴垂直的面(axial view:轴位)的切片图像。读片者针对这些多个切片图像一边改变切片位置一边确认病变(在本实施例为肝肿瘤)的有无,并输入读片报告。在输入读片报告之时,读片者可以利用鼠标等输入设备,来指定在读片对象图像上检测出的病变的位置(切片编号,以及切片图像上的坐标和区域信息)。在读片对象图像上存在多个病变,并在读片报告中进行了与这些多个病变相关的描述的情况下,只要明确地记录读片对象图像的病变与读片报告中的描述,就将该读片报告利用于第一读片知识数据库110和第二读片知识数据库的制作中。
[0241] 并且,在读片报告记入经过了一定时间以上的情况下,或有来自读片者的有关读片结束的输入的情况下,结束图19的处理。用于受理类似病例检索请求以及读片结束输入的处理部虽然在图1没有示出,既可以是被内藏于读片终端220的键盘内等的物理开关,也可以是以医疗用的高精细监视器等构成的被显示在读片对象图像显示部140的GUI(图形用户界面)菜单等。
[0242] 在以上说明的实施例1中,根据从读片对象图像提取的特征量来推定读片项目,向读片者以一致性的从大到小的顺序来显示推定的读片项目。据此,读片者的读片项目的选择判断变得容易。并且,在进行针对读片项目的一致性的计算之时,通过利用读片项目与图像特征量之间的相关,从而能够减小相关小的图像特征量的维数对一致性的影响,并能够降低与读片项目无关的特征量的影响,以及计算一致性。并且,通过对与一致性大的读片项目和一致性的值同时进行显示,从而能够给予用于辅助读片者在进行读片项目的判断的付加信息。
[0243] (实施例2)
[0244] 接着,对实施例2进行说明。与实施例1的不同之处是,在事前制作第二读片知识数据库120之时,能够同时算出读片项目彼此的相关关系(搭配关系)。并且,在由读片者进行读片项目选择之时,在彼此搭配频度低的读片项目被选择的情况下,向读片者通知在选择上有可能出现错误。以下,对以实施例1之间的差异为中心进行说明。
[0245] 本发明的实施例2中的类似病例检索装置的方框图与实施例1相同。但是,读片项目候补显示部170与第二读片知识数据库120连接之处与图1不同。
[0246] <读片知识数据库的事前制作>
[0247] 本发明的实施例2中的类似病例检索装置的读片知识数据库制作流程与实施例1相同,均为图2,由于从S10到S14的工作与实施例1相同,因此省略详细说明。
[0248] 在步骤S15,根据在步骤S11得到的图像特征量、以及在步骤S12得到的读片项目和疾病名称,来提取第二读片知识。在本实施例中,将图像特征量与读片项目这两项的相关关系,以及读片项目彼此间的相关关系合起来作为读片知识。由于前者与实施例1相同,因此不进行重复说明。
[0249] 在此对后者的制作方法进行说明。在步骤S15被执行的时刻,由于图8的数据已经获得,因此,从图8的数据中进一步获得每个病例的读片项目集合。针对获得的每个病例的读片项目集合,利用在算出实施例1的(3)(读片项目-疾病名称)之间的相关关系时所使用的对数似然比(式2),计算读片项目之间的相关关系(搭配信息的对数似然比)。得到的相关关系成为图32的表。在图32的表中,不能算出对角成分(同一个读片项目间的相关),并且,由于上对角成分和下对角成分为同值,因此仅表示上对角成分。例如,可以知道读片项目1与读片项目3的对数似然比为0.973,读片项目1与读片项目3以高的概率搭配。
[0250] <类似病例检索>
[0251] 本发明的实施例2中的类似病例检索装置的类似病例检索流程与实施例1相同,为图19,从S30到S34以及从S36到S38的工作由于与实施例1相同,因此省略反复说明。
[0252] 在步骤S35,针对在步骤S34被显示的读片项目候补,通过读片项目选择部180,接受读片者的选择输入。这是为了将由读片者选择的读片项目作为类似病例检索时的类似尺度(观点)来利用。在画面上的读片项目候补显示及选择区域310,以图25的形式,来显示一致性大的读片项目。针对该状态,通过使读片者利用鼠标来点击读片项目的字符串,从而对读片项目进行选择输入。被选择的读片项目的例子由图33示出。在图33中对被选择的读片项目“早期染色”和“washout(洗脱)”进行黑白反相显示。
[0253] 接着,在被选择的读片项目为多个的情况下,读片项目候补显示部170列举所有的读片项目之间的组合。(在被选择的读片项目为一个的情况下不需要进行该处理)在被选择的读片项目为S个的情况下,其组合的方式为SC2种。并且,读片项目候补显示部170参照图32的读片项目彼此的相关关系表,针对SC2种组合方式,分别获得相关关系(搭配信息的对数似然比)。在获得的相关关系的值为规定的阈值以下的情况下,读片项目候补显示部170通过显示该读片项目的组合为“有可能在选择上出现错误”的消息,作为过去发生的频度小的组合提示给读片者。例如,图34所示,在被选择的读片项目(黑白反相)的旁边显示“要确认”。
[0254] 据此,读片者针对当前的读片对象的医用图像,能够把握自己所选择的读片项目的组合是过去发生频度小的组合。据此,读片者能够判断这些组合为在选择上有可能出现错误的组合,能够向读片者提供修改选择结果的机会。
[0255] (实施例3)
[0256] 接着,对实施例3进行说明。与实施例1的差异是,在第二读片知识数据库120的事前制作之时,读片项目彼此的相关关系(搭配关系)也同时被算出,在由读片者进行读片项目选择时,将彼此搭配频度低的读片项目预先设定为不能选择。以下,以与实施例1的差异为中心进行说明。
[0257] 本发明的实施例3中的类似病例检索装置的方框图与实施例1相同为图1。
[0258] <读片知识数据库的事前制作>
[0259] 本发明的实施例3中的类似病例检索装置的读片知识数据库的制作流程由于与实施例2相同,因此不进行反复说明。但是,读片项目候补显示部170与第二读片知识数据库120相连接之处与图1不同。
[0260] <类似病例检索>
[0261] 本发明的实施例3中的类似病例检索装置的类似病例检索流程,与实施例1相同为图19,从S30到S34以及从S36到S38的工作由于与实施例1相同,因此省略反复说明。
[0262] 在步骤S35,针对在步骤S34显示的读片项目候补,通过读片项目选择部180,接受读片者的选择输入。这是为了将由读片者选择的读片项目作为类似病例检索时的类似尺度(观点)来利用。在画面上的读片项目候补显示及选择区域310,以图25所示的形式,显示一致性大的读片项目。针对该状态,读片者通过以鼠标来点击读片项目的字符串,对读片项目进行选择输入。在此,每当读片者选择读片项目之时,读片项目候补显示部170参照图32的读片项目彼此间的相关关系表,针对被选择的读片项目,决定相关关系(搭配信息的对数似然比)的值成为规定的阈值以下的读片项目。读片项目候补显示部170对不能选择决定的读片项目的表示进行显示。例如,在图35中,被选择的读片项目“早期染色”为黑白反相显示,则对读片项目“磨玻璃状”进行阴影显示。据此,在读片项目“早期染色”被选择的情况下,显示不能选择读片项目“磨玻璃状”。当然,不能选择的读片项目的显示方法,也可以是使文字的浓度降低等其他的显示方法。并且,在读片者想要选择读片项目“磨玻璃状”而进行了点击的情况下,能够显示“与读片项目‘早期染色’的组合不恰当”这一消息。在读片者想优先选择读片项目“磨玻璃状”的情况下,能够通过对读片项目“早期染色”的选择进行解除,来选择读片项目“磨玻璃状”。
[0263] 据此,在读片者针对当前的读片对象的医用图像选择了读片项目的情况下,根据过去的组合,能够知道错误选择。因此,能够将错误选择防范于未然。
[0264] (实施例4)
[0265] 接着对实施例4进行说明。与实施例1的差异是,在第二读片知识数据库120的事前制作时同时算出(读片项目-病名)之间的相关关系,以及在由读片者进行读片项目选择之时,从正在选择的读片项目群中推定相关高的疾病名称,并显示给读片者。以下,以与实施例1的差异为中心进行。
[0266] 本发明的实施例3中的类似病例检索装置的方框图,与实施例1相同为图1。但是,读片项目候补显示部170与第二读片知识数据库120连接之处与图1不同。
[0267] <读片知识数据库的事前制作>
[0268] 本发明的实施例4中的类似病例检索装置的读片知识数据库制作流程,与实施例1相同为图2,由于从S10到S14的工作与实施例1相同不重复说明。
[0269] 在步骤S15,根据在步骤S11得到的图像特征量和在步骤S12得到的读片项目以及疾病名称,提取第二读片知识(权利要求中的关联性信息)。在实施例中,将图像特征量与读片项目这两项的相关关系、以及读片项目与疾病名称这两项的相关关系一同作为第二读片知识。关于前者由于与实施例1相同,因此不重复说明。
[0270] 关于后者,利用在实施例1的「(3)(读片项目-疾病名称)之间的相关关系」所记载的方法来算出。其结果是,得到图18的相关关系。
[0271] <类似病例检索>
[0272] 本发明的实施例4中的类似病例检索装置的类似病例检索流程,与实施例1相同为图19,从S30到S34以及从S36到S38的工作由于与实施例1相同,因此不重复说明。
[0273] 在步骤S35,针对在步骤S34显示的读片项目候补,通过读片项目选择部180,接受读片者的选择输入。这是为了将由读片者选择的读片项目作为类似病例检索时的类似尺度(观点)来利用。在画面上的读片项目候补显示及选择区域310,以图25所示的形式,显示一致性大的读片项目。针对该状態,通过使读片者以鼠标来点击读片项目的字符串,从而对读片项目进行选择输入。被选择的读片项目的例子由图33示出。在图33被选择的读片项目“早期染色”和“washout”以黑白反相的方式而被显示。接着,读片项目候补显示部170参照图18的(读片项目―疾病名称)的相关关系表,针对读片项目“早期染色”和“washout”这两项,获得与所有疾病的相关值(对数似然比)。读片项目候补显示部170按照每个疾病名称,计算与被选择的读片项目(在此为“早期染色”和“washout”)相对应的相关值的和。读片项目候补显示部170在相关值的和越大的情况下,就越视为与被选择读片项目的关联大的疾病名称,将相关值的和为最大的疾病名称以图36所示的形式,显示给读片者。例如,肝细胞癌作为与被选择的读片项目的关联最大的疾病名称被显示。
[0274] 这样,读片者能够通过自己所选择的读片项目,来把握当前的读片对象的医用图像相当于哪个疾病,从而作为读片项目的选择与疾病名称的诊断的参考。
[0275] (实施例5)
[0276] 接着对实施例5进行说明。与实施例1的差异是,在算出针对读片项目的一致性之后,不使读片者进行选择,而是利用算出的一致性,类似病例检索装置自动设定读片项目,根据自动设定的读片项目来计算权重,检索类似病例。以下,以与实施例1的差异为中心进行说明。
[0277] 本发明的实施例5中的类似病例检索装置的方框图由图37示出。对于与图1相同的构成要素不重复说明。实施例5所涉及的类似病例检索装置还具备读片项目设定部230。读片项目设定部230将在读片项目一致性算出部160算出的针对所有读片项目的一致性作为输入,设定在类似病例检索中所使用的读片项目。并且权重决定部190根据在读片项目设定部230设定的读片项目,计算针对类似病例检索时的图像特征量的权重。
[0278] 并且,可以取代读片终端220而利用读片终端220A。读片终端220A包括读片对象图像显示部140和类似病例显示部210。
[0279] <读片知识数据库的事前制作>
[0280] 本发明的实施例5中的类似病例检索装置的读片知识数据库制作流程,与实施例1相同为图2,由于工作与实施例1相同,因此不重复说明。
[0281] <类似病例检索>
[0282] 本发明的实施例5中的类似病例检索装置的类似病例检索流程由图38示出。从S30到S33的工作由于与实施例1相同,因此不重复说明。
[0283] 在步骤S34B,读片项目设定部230从针对在步骤S33计算的NII个读片项目的一致性中,设定成为计算类似病例检索时的图像特征量的权重的依据的读片项目。在此,读片项目设定部230通过选择一致性为规定的阈值以上的读片项目来进行设定。并且,也可以利用一致性从大到小的顺序,通过选择规定个数的读片项目来进行设定。
[0284] 在步骤S36,对通过选择而设定的所有的读片项目均等地利用(式8)来进行加权。根据(式9),针对由读片项目设定部230设定的读片项目,利用一致性在读片项目间进行加权。从步骤S36到S38的处理由于与实施例1相同,因此不进行详细的重复说明。
[0285] 这样,读片者能够不进行读片项目的选择,而按照当前的读片对象图像的内容,来执行对图像特征量的权重进行了最佳化的类似病例检索。
[0286] 并且,也可以是,在步骤S34B设定的读片项目以图25所示的形式来显示,并提示读片者目前重视哪个读片项目来进行类似病例检索的。并且,也可以将图27所示的一致性一同提示。而且,也可以是通过由读片者选择被提示的读片项目,参考当前的类似病例检索结果,来执行第二次的类似病例检索。
[0287] (实施例6)
[0288] 接着对实施例6进行说明。与实施例5的差异是,不是根据一致性来自动设定读片项目,而是利用读片项目的选择履历信息来设定读片项目。以下,以与实施例1以及5的不同之处为中心进行说明。
[0289] 图39以及图40示出了本发明的实施例6中的类似病例检索装置。对于与图1以及图37所示的类似病例检索装置相同的构成要素不重复说明。图39所示的类似病例检索装置用于读片项目的选择履历信息的制作之时。图40所示的类似病例检索装置用于利用读片项目的选择履历信息来自动设定读片项目并进行类似病例检索之时。以下,将图39所示的类似病例检索装置称为第一类似病例检索装置,将图40所示的类似病例检索装置称为第二类似病例检索装置。
[0290] 图39所示的第一类似病例检索装置除了图1所示的类似病例检索装置的构成以外,还具备读片项目选择履历数据库510。读片项目一致性算出部160将读片项目候补显示部170所显示的一致性高的读片项目和一致性的位次写入到读片项目选择履历数据库510。并且,读片项目选择部180将选择的读片项目信息写入到读片项目选择履历数据库
510。
[0291] 图41示出了读片项目选择履历数据库510中所存储的读片项目的选择履历信息的一个例子。选择履历信息包括:读片项目候补显示部170所显示的读片项目、读片项目一致性算出部160所算出的一致性的位次、以及示出读片项目选择部180受否接受选择输入的选择标志。在选择标志为1的情况时表示,读片项目选择部180接受了该读片项目的选择输入,在选择标志为0的情况时表示,读片项目选择部180没有接受该选择项目的选择输入。图41示出了图33所示的读片项目的显示被执行、读片项目“早期染色”和“washout”被选择水时的选择履历信息。
[0292] 图40所示的第二类似病例检索装置除了图37所示的类似病例检索装置的构成以外,还具备读片项目选择履历数据库510。读片项目设定部230参照读片项目选择履历数据库510,从在读片项目一致性算出部160算出的、一致性为规定的阈值以上的读片项目或者一致性从大的顺序开始规定个数的读片项目之中,设定用于类似病例检索的读片项目。读片项目设定部230的处理待以后详细说明。
[0293] <读片知识数据库的事前制作>
[0294] 本发明的实施例5中的第一类似病例检索装置以及第二类似病例检索装置的读片知识数据库制作流程与实施例1相同为图2,工作与实施例1相同,因此不重复说明。
[0295] <类似病例检索>
[0296] 本发明的实施例6中的第一类似病例检索装置的类似病例检索流程,与实施例1相同为图19。但是,追加进行以下的处理。
[0297] 即,在步骤S33,读片项目一致性算出部160将一致性为规定的阈值以上的读片项目或者从一致性大的开始规定个数读片项目、以及一致性的位次写入到读片项目选择履历数据库510。
[0298] 并且,在步骤S35,读片项目选择部180将读片者所选择的读片项目的信息写入到读片项目选择履历数据库510。
[0299] 本发明的实施例6中的第二类似病例检索装置的类似病例检索流程,与实施例5相同为图38。不过,S34B中的读片项目的设定处理与实施例5不同。
[0300] 即,在步骤S34B,读片项目设定部230参照读片项目选择履历数据库510,从在读片项目一致性算出部160算出的、一致性为规定的阈值以上的读片项目或者从一致性大的开始规定个数的读片项目之中,设定用于类似病例检索的读片项目。即,读片项目设定部230从读片项目选择履历数据库510中检索,具有与一致性为规定的阈值以上的读片项目或者从一致性大的开始规定个数的读片项目相同的读片项目的组合的选择履历信息。读片项目设定部230通过选择与检索的选择履历信息所示相同的读片项目,来进行设定。例如,一致性为规定的阈值以上的读片项目为“早期染色”、“斑点状”、“washout(洗脱)”、“内部不均一”、“环状”这五个的情况下,读片项目一致性算出部160通过参照图41所示的选择履历信息,选择读片项目“早期染色”和“washout”来进行设定。另外,对于一致性为规定的阈值以上的读片项目的组合,从在多种方式的选择履历信息(图41的选择模式为多个)的情况下,可以利用选择履歴的频度最多的选择履历信息,来对读片项目进行选择设定。并且,对于选择履歴的频度为上位的规定个数的选择履历,可以向读片者提示各个选择履历信息,使读片者从中进行选择。并且,选择履历信息最好是按照脏器別或者疾病名称而被分类,成为类似病例检索的对象的脏器或者疾病名称最好是利用相同的选择履历信息来设定读片项目。另外,成为类似病例检索的对象的脏器或者疾病名称由读片者输入。
[0301] 通过实施例6,读片者可以不必选择读片项目,而能够按照目前的读片对象图像的内容,来执行进行了针对图像特征量的权重的最佳化的类似病例检索。
[0302] 并且,也可以以图25所示的形式来显示在步骤S34B设定的读片项目,并向读片者提示目前是重视哪个读片项目来进行类似病例检索的。并且,也可以向图27那样将一致性也一同提示。而且,可以通过使读片者选择被提示的读片项目,来执行参考了目前的类似病例检索结果的第二次的类似病例检索。
[0303] 另外,在实施例1至6中,对以由医用图像和读片报告构成的病例进行检索为例进行了说明,不过本发明的检索对象并非限定于病例,也可以将由图像和与图像对应的文本数据构成的数据组合作为检索对象。例如,能够将由植物图像和与该植物图像对应的说明构成的数据组合作为检索对象。在这种情况下,取代医用图像的图像特征量,而利用植物图像的图像特征量(例如,花瓣数量,茎的粗细等),取代读片报告,而利用对植物图像的说明,这样,能够在制作上述的说明之时,在将读片者关注的图像特征量作为权重来反映的基础上,能够对植物图像进行检索。
[0304] 并且,如图42所示,病例数据库100、第一读片知识数据库110以及第二读片知识数据库120也可以不必具备在类似病例检索装置内,也可以存在于与类似病例检索装置所存在的位置A不同的位置B。在这种情况下,类似病例检索装置的读片项目一致性算出部160、权重决定部190、以及类似病例检索部200分别通过网络与病例数据库100、第一读片知识数据库110、以及第二读片知识数据库120连接。并且,与这些的数据库同样,图39以及图40所示的读片项目选择履历数据库510也可以不必具备在类似病例检索装置,而是可以存在于与类似病例检索装置所存在的位置不同的位置。
[0305] 并且,上述的各个装置,具体而言可以是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。RAM或硬盘驱动器中存储有计算机程序。微处理器通过按照计算机程序进行工作,各个装置能够实现其功能。在此,计算机程序是为了实现规定的功能,而由多个针对计算机指示指令的指令代码组合而成。
[0306] 并且,构成上述的各个装置的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而被制造的超多功能LSI,具体而言是包括微处理器、ROM、RAM等而被构成的计算机系统。RAM中存储有计算机程序。微处理器通过按照计算机程序进行工作,系统LSI能够实现其功能。
[0307] 而且,构成上述的各个装置的构成要素的一部分或全部可以由能够装卸于各个装置的IC卡或单体的模块构成。IC卡或模块是由微处理器、ROM、RAM等构成的计算机系统。IC卡或模块也可以包括上述的超多功能LSI。微处理器通过按照计算机程序进行工作,IC卡或模块能够实现其功能。该IC卡或模块可以具有抗篡改性。
[0308] 并且,本发明也可以是以上所示的方法。并且,也可以作为使计算机执行这些方法的计算机程序来实现,也可以是由所述计算机程序构成的数字信号。
[0309] 并且,本发明可以将上述的计算机程序或上述的数字信号记录到计算机可读取的非一时性记录介质中,这些非一时性记录介质例如是软盘、硬盘、CD-ROM、MO、DVD(数字多功能光盘)、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。并且,也可以作为被记录在这些非一时性的记录介质中的所述数字信号来实现。
[0310] 并且,本发明可以通过电气通信电路、无线或有线通信电路、以因特网为代表的网络、以及数据广播等来传递上述的计算机程序或上述的数字信号。
[0311] 并且,本发明可以是具备微处理器和存储器的计算机系统,所述存储器存储上述的计算机程序,所述微处理器按照上述的计算机程序来工作。
[0312] 并且,可以将上述的程序或上述的数字信号记录到上述的非一时性的记录介质并传送,或者可以将上述的程序或上述的数字信号通过所述网络等来传送,从而可以由独立的其它的计算机系统来执行。
[0313] 而且,上述的实施例以及上述的变形例可以分别自由组合。
[0314] 此次所公开的实施例全部应该理解为是一个例子,对本发明没有任何限制。本发明的范围不是上述的说明而是由权利要求来表示,与权利要求具有同等意思以及范围内的所有的变更均为本发明的趣旨所在。
[0315] 工业实用性
[0316] 本发明能够应用于检索并提示成为读片者所要参考的类似病例的类似病例检索装置,并且能够应用于为了研修读片医的读片教育装置等。
[0317] 符号说明
[0318] 100病例数据库
[0319] 110第一读片知识数据库
[0320] 120第二读片知识数据库
[0321] 130读片对象图像读取部
[0322] 140读片对象图像显示部
[0323] 150图像特征提取部
[0324] 160读片项目一致性算出部
[0325] 170读片项目候补显示部
[0326] 180读片项目选择部
[0327] 190权重决定部
[0328] 200类似病例检索部
[0329] 210类似病例显示部
[0330] 220,220A读片终端
[0331] 230读片项目设定部
[0332] 300读片对象图像
[0333] 310读片项目候补显示及选择区域
[0334] 320读片报告输入区域
[0335] 330类似病例显示区域
[0336] 410腹部周围
[0337] 420对象脏器
[0338] 430病变区域
[0339] 440点(病变的中心)
[0340] 510读片项目选择履历数据库