基于预筛查的快速标注方法和系统

摘要

本发明提供了基于预筛查的快速标注方法和系统，包括通过对CT扫描层图像中的肺结节进行预筛查，得到预筛查检测结果；根据预筛查检测结果对CT扫描层图像进行分类，得到分类图像并显示；根据分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息。本发明通过预筛查和多面立体标注相结合的方法提高筛查肺结节的准确度，更易于定位肺结节的空间位置，极大地降低了人工作业量，提高了标注的可信度。

权利要求

1.一种基于预筛查的快速标注系统，其特征在于，包括：预筛查单元，用于通过对CT扫描层图像中的肺结节进行预筛查，得到预筛查检测结果；

分类显示单元，用于根据所述预筛查检测结果对所述CT扫描层图像进行分类，得到分类图像并显示；

标注单元，用于根据所述分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息；

所述标注单元包括：

第一获取单元，用于获取根据所述分类图像选定的第一立体标注信息；

第二获取单元，用于获取对所述分类图像的预筛查修改信息和第二立体标注信息；

输出单元，用于存储并输出所述第一立体标注信息和所述第二立体标注信息；

所述预筛查修改信息为对所述预筛查检测结果中偏离医学判断的肺结节进行修改的信息，所述第二立体标注信息为根据所述预筛查修改信息进行肺结节标注的信息；

还包括关联标注单元，用于对所述肺结节的横断面图像、冠状位图像和矢状位图像进行关联；从所述横断面图像、所述冠状位图像和所述矢状位图像中选取任一图像，并将所述任一图像作为当前图像；获取所述当前图像的所述第一立体标注信息或所述第二立体标注信息；在除所述当前图像外的图像上显示所述第一立体标注信息或所述第二立体标注信息。

说明书

基于预筛查的快速标注方法和系统

技术领域

[0001] 本发明涉及医疗技术领域，尤其是涉及基于预筛查的快速标注方法和系统。

背景技术

[0002] 当前，肺癌作为全球第一大癌症,发病率逐年提升。肺癌的生存率与首次确诊时所处的病程阶段高度相关,因此肺癌影像学诊断是发现早期肺癌的重要手段,但受限于设备、经验、人眼客观识别能力外加超负荷作业，极易造成漏诊和误诊。

[0003] 随着雾霾等环境因素的恶化，肺癌在中国的发病率攀升，如不能有效发现病灶，将延误最佳治疗时机，给患者造成不可逆的损害。根据全国首个《中国医学误诊文献数据库》资料显示，中国临床医疗每年的误诊人数约为5700万人，总误诊率为27.8％，恶性肿瘤如鼻咽癌、白血病、胰腺癌等，平均误诊率高达到40％，；二是人力资源缺口放大，目前我国医学影像数据的年增长率约为30％，而放射科医师数量的年增长率约为4.1％，其间的差距是23.9％，放射科医师数量增长远不及影像数据增长。这意味着放射科医师在未来处理影像数据的压力会越来越大，甚至远远超过负荷。三是医学影响像信息利用率较低，医学图像一般具有很高的分辨率，而医师在观测时对于一些实际存在而人眼无法分辨的图像信息得不到充分应用，造成大量有用信息的浪费。人工排查肺结节和标注肺结节特征往往需要查看数百张CT扫描层图像，不仅耗费人力，同时也耽误时间，对医生的行医造成非常大的不便利。

[0004] 综上所述，现有技术的问题在于诊断肺结节以及标注肺结节特征等相关人工工作时产生的低效率问题。

发明内容

[0005] 有鉴于此，本发明的目的在于提供基于预筛查的快速标注方法和系统，通过预筛查和多面立体标注相结合的方法提高筛查肺结节的准确度，更易于定位肺结节的空间位置，极大地降低了人工作业量，提高了标注的可信度。

[0006] 第一方面，本发明实施例提供了基于预筛查的快速标注方法，包括：

[0007] 通过对CT扫描层图像中的肺结节进行预筛查，得到预筛查检测结果；

[0008] 根据所述预筛查检测结果对所述CT扫描层图像进行分类，得到分类图像并显示；

[0009] 根据所述分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息。

[0010] 结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述分类图像包括横断面图像、冠状位图像和矢状位图像，所述根据所述预筛查检测结果对所述CT扫描层图像进行分类得到各分类图像并显示，包括：

[0011] 对所述CT扫描层图像进行分类，得到所述横断面图像、所述冠状位图像和所述矢状位图像；

[0012] 根据所述横断面图像、所述冠状位图像和所述矢状位图像进行三维立体显示。

[0013] 结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述根据所述分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息包括：

[0014] 从所述分类图像中获取所述第一立体标注信息；

[0015] 获取对所述分类图像的预筛查修改信息和第二立体标注信息；

[0016] 存储并输出所述第一立体标注信息和所述第二立体标注信息。

[0017] 结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述第一立体标注信息包括肺结节特征信息，所述从所述分类图像的中获取所述第一立体标注信息，包括：

[0018] 根据所述分类图像中的所述肺结节获取所述肺结节特征信息，其中，所述肺结节特征信息包括分叶症、毛刺、棘状突起、血管集束症、胸膜凹陷征、空泡征、偏心空洞、气道阻塞、支气管充气征、肺内转移和肺门淋巴结。

[0019] 结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述预筛查修改信息为对所述预筛查检测结果中偏离医学判断的肺结节进行修改的信息，所述第二立体标注信息为根据所述预筛查修改信息进行肺结节标注的信息。

[0020] 结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述通过对CT扫描层图像中的肺结节进行预筛查得到预筛查检测结果包括：

[0021] 通过所述CT扫描层图像对第一神经网络和第二神经网络进行训练，分别得到第一检测结果和第二检测结果；

[0022] 对所述第一检测结果和所述第二检测结果进行综合处理，得到所述预筛查检测结果。

[0023] 结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述通过对CT扫描层图像中的肺结节进行预筛查得到预筛查检测结果，还包括：

[0024] 对所述CT扫描层图像中的肺结节进行排查，得到所述预筛查检测结果。

[0025] 结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，还包括：

[0026] 对所述肺结节的横断面图像、冠状位图像和矢状位图像进行关联；

[0027] 从所述横断面图像、所述冠状位图像和所述矢状位图像中选取任一图像，并将所述任一图像作为当前图像；

[0028] 获取所述当前图像的所述第一立体标注信息或所述第二立体标注信息；

[0029] 在除所述当前图像外的图像上显示第一立体标注信息或所述第二立体标注信息。

[0030] 第二方面，本发明实施例提供了基于预筛查的快速标注系统，包括：

[0031] 预筛查单元，用于通过对CT扫描层图像中的肺结节进行预筛查，得到预筛查检测结果；

[0032] 分类显示单元，用于根据所述预筛查检测结果对所述CT扫描层图像进行分类，得到分类图像并显示；

[0033] 标注单元，用于根据所述分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息。

[0034] 结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述标注单元包括：

[0035] 获取根据所述分类图像选定的第一立体标注信息；

[0036] 获取对所述分类图像的预筛查修改信息和第二立体标注信息；

[0037] 存储并输出所述第一立体标注信息和所述第二立体标注信息。

[0038] 本发明提供了基于预筛查的快速标注方法和系统，方法包括通过对CT扫描层图像中的肺结节进行预筛查，得到预筛查检测结果；根据预筛查检测结果对CT扫描层图像进行分类，得到分类图像并显示；根据分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息。本发明通过预筛查和多面立体标注相结合的方法提高筛查肺结节的准确度，更易于定位肺结节的空间位置，极大地降低了人工作业量，提高了标注的可信度。

[0039] 本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

[0040] 为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

[0041] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0042] 图1为本发明实施例提供的基于预筛查的快速标注方法流程图；

[0043] 图2为本发明实施例提供的基于预筛查的快速标注系统示意图；

[0044] 图3为本发明实施例提供的步骤S102方法流程图；

[0045] 图4为本发明实施例提供的步骤S103方法流程图；

[0046] 图5为本发明实施例提供的基于预筛查的快速标注方法应用场景示意图。

[0047] 图标：

[0048] 10-预筛查单元；20-分类显示单元；30-标注单元。

具体实施方式

[0049] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0050] 当前，肺癌作为全球第一大癌症,发病率逐年提升。肺癌的生存率与首次确诊时所处的病程阶段高度相关,因此肺癌影像学诊断是发现早期肺癌的重要手段,但受限于设备、经验、人眼客观识别能力外加超负荷作业，极易造成漏诊和误诊。现有技术的问题在于诊断肺结节以及标注肺结节特征等相关人工工作时产生的低效率问题。基于此，本发明实施例提供的基于预筛查的快速标注方法和系统，通过预筛查和多面立体标注相结合的方法提高筛查肺结节的准确度，更易于定位肺结节的空间位置，极大地降低了人工作业量，提高了标注的可信度。

[0051] 为便于对本实施例进行理解，首先对本发明实施例所公开的基于预筛查的快速标注方法进行详细介绍。

[0052] 实施例一：

[0053] 图1为本发明实施例提供的基于预筛查的快速标注方法流程图。

[0054] 参照图1，基于预筛查的快速标注方法包括：

[0055] 步骤S101，通过对CT扫描层图像中的肺结节进行预筛查，得到预筛查检测结果；

[0056] 步骤S102，根据预筛查检测结果对CT扫描层图像进行分类，得到分类图像并显示；

[0057] 步骤S103，根据分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息。

[0058] 进一步地，分类图像包括横断面图像、冠状位图像和矢状位图像，步骤S102包括：

[0059] 参照图3，步骤S201，对CT扫描层图像进行分类，得到横断面图像、冠状位图像和矢状位图像；

[0060] 步骤S202，根据横断面图像、冠状位图像和矢状位图像进行三维立体显示。

[0061] 进一步地，步骤S103包括：

[0062] 参照图4，步骤S301，从分类图像中获取第一立体标注信息；

[0063] 步骤S302，获取对分类图像的预筛查修改信息和第二立体标注信息；

[0064] 步骤S303，存储并输出第一立体标注信息和第二立体标注信息。

[0065] 具体地，上述过程可理解为：首先，获取预筛查系统的预筛查检测结果，该结果为进行肺结节预筛查后的CT扫描层面，然后，对任一肺结节进行CT扫描层面的分类图像显示，分别得到横断面、冠状位和矢状位图像，这里，需利用多平面重建技术对原始CT图像进行后处理，得到冠状位和矢状位图像，其次，获取对横断面、冠状位和矢状位的第一立体标注信息，该立体标注信息为勾选的肺结节特征信息，包括分叶征，毛刺等；接着，获取对横断面，冠状位和矢状位的肺结节预筛查修改信息，以及第二立体标注信息，该标注信息为人工修改预筛查肺结节结果后，重新标注的信息；最后，输出第一立体标注信息和第二立体标注信息。

[0066] 需要说明的是，分类后显示的三维立体图像，可以是由横断面图像、冠状位图像和矢状位图像组成的多面立体图像，如图5所示为本发明实施例提供的可能的可视化窗口，左上角为横断面图像，左下角为矢状位图像，右下角为冠状位图像，右上角为参考图像，图中白框为预筛选后的可疑肺结节，医生首先可查看该处筛查情况是否符合医学判断，在符合的情况下，参考三幅分类图像的肺结节信息，在右侧勾选该肺结节的特征信息。如果不符合医学判断，则可进行修改。医生可进行多面标注，不仅使医生更易于定位肺结节的空间位置，也提高了标注的准确性。

[0067] 进一步地，第一立体标注信息包括肺结节特征信息，步骤S301包括：

[0068] 根据分类图像中的肺结节获取肺结节特征信息，其中，肺结节特征信息包括分叶症、毛刺、棘状突起、血管集束症、胸膜凹陷征、空泡征、偏心空洞、气道阻塞、支气管充气征、肺内转移和肺门淋巴结。

[0069] 具体地，关于肺结节的第一立体标注信息还可以包括关于某一肺结节的其他相关信息，通过可视化平面向用户展示该肺结节所有可能的信息，并由用户进行勾选符合该肺结节的信息，省去了人工勾选的不便利，并且，立体多面的标注方式，加快了标注的速度，提高了准确度，经实验表明，每位医生由手工标注的100张/天提高到了300张/天，大大提高了工作效率。

[0070] 进一步地，预筛查修改信息为对预筛查检测结果中偏离医学判断的肺结节进行修改的信息，第二立体标注信息为根据预筛查修改信息进行肺结节标注的信息。

[0071] 具体地，医生可在标注预筛查检测结果中的肺结节的过程中，同时对预筛查检测结果进行检验，如果有不符合医学判断的肺结节被预筛选出来，则可对该错误肺结节进行信息修改，如删除或更改肺结节位置，对更改位置的肺结节也要进行标注，此时获取第二立体标注信息，该信息同样包括了该肺结节的特征信息。对偏离医学判断预筛查结果进行人工修改，增强标注可信度

[0072] 进一步地，步骤S101包括：

[0073] 通过CT扫描层图像对第一神经网络和第二神经网络进行训练，分别得到第一检测结果和第二检测结果；

[0074] 对第一检测结果和第二检测结果进行综合处理，得到预筛查检测结果。

[0075] 具体地，上述基于联合神经网络的肺部病灶发现方法，其预筛查过程主要步骤如下：获取肺部CT图像以及对应的标注信息；基于FasterRCNN建立第一神经网络，基于Unet建立第二神经网络；CT图像预处理；采用预处理后的CT图像和上述标注信息，对所述两个神经网络进行训练；在训练时，通过设置训练参数，限定第一神经网络仅学习图像区域大于设定阈值的区域；限定第二神经网络仅学习图像区域小于设定阈值的区域；将待检测的CT图像分别输入至上述两个神经网络，输出第一检测结果和第二检测结果；对两个检测结果进行综合处理，获得最终的肺结节和异常点的检测结果。

[0076] 与人工筛查相比，本预筛查方法有很强的应用价值，目标检测框架算法FasterRCNN具有快速识别的特点，Unet算法可以保留并检测的图像信息更加全面；因此，采用FasterRCNN识别较大肺结节，采用Unet识别较小肺结节，可以在保证运算速率的同时，更加全面地识别CT图像中的大小肺结节和异常点，提高筛查的准确度，降低人工作业量。

[0077] 进一步地，步骤S101还包括：

[0078] 对CT扫描层图像中的肺结节进行排查，得到预筛查检测结果。

[0079] 具体地，预筛查技术不限于上述提到的基于联合神经网络的肺部病灶发现方法，还可以为人工的筛查方法，以及其他各类筛查方法，本发明实施例的基于预筛查的快速标注方法可以对任一方式的合理筛查结果进行快速标注。

[0080] 进一步地，还包括：

[0081] 对肺结节的横断面图像、冠状位图像和矢状位图像进行关联；

[0082] 从横断面图像、冠状位图像和矢状位图像中选取任一图像，并将任一图像作为当前图像；

[0083] 获取当前图像的第一立体标注信息或第二立体标注信息；

[0084] 在除当前图像外的图像上显示标注信息。

[0085] 具体地，为了更快地提高标注速度，同一肺结节的横断面图像、矢状位图像和冠状位图像将在同一可视化窗口显示，获取医生对于某一分类图像的标注，将在其余两个图像中的肺结节同样标注出该肺结节的立体信息；如果在标注过程中对肺结节有前文提到的预筛查结果修改，则在重新定位肺结节的同时，在任一图像进行新肺结节定位操作，均在其余两个图像进行对应的操作，医生可根据另外两个图像的操作结果检验修改信息是否准确，利用立体对照检查的方法同样有效加快再筛选和标注的时间。

[0086] 本发明提供了基于预筛查的快速标注方法，方法包括通过对CT扫描层图像中的肺结节进行预筛查，得到预筛查检测结果；根据预筛查检测结果对CT扫描层图像进行分类，得到分类图像并显示；根据分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息。本发明通过预筛查和多面立体标注相结合的方法提高筛查肺结节的准确度，更易于定位肺结节的空间位置，极大地降低了人工作业量，提高了标注的可信度。

[0087] 实施例二：

[0088] 图2为本发明实施例提供的基于预筛查的快速标注系统示意图。

[0089] 参照图2，基于预筛查的快速标注系统包括：

[0090] 预筛查单元10，用于通过对CT扫描层图像中的肺结节进行预筛查，得到预筛查检测结果；

[0091] 分类显示单元20，用于根据预筛查检测结果对CT扫描层图像进行分类，得到分类图像并显示；

[0092] 标注单元30，用于根据分类图像分别获取第一立体标注信息、预筛查修改信息和第二立体标注信息。

[0093] 进一步地，标注单元30包括：

[0094] 第一获取单元(未示出)，用于获取根据分类图像选定的第一立体标注信息；

[0095] 第二获取单元(未示出)，用于获取对分类图像的预筛查修改信息和第二立体标注信息；

[0096] 输出单元(未示出)，用于存储并输出第一立体标注信息和第二立体标注信息。

[0097] 本发明实施例提供的基于预筛查的快速标注系统，与上述实施例提供的基于预筛查的快速标注方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

[0098] 本发明实施例所提供的基于预筛查的快速标注方法和系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

[0099] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0100] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

[0101] 此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0102] 最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。