乳房断层影像处理方法与电子装置

摘要

本发明提出一种乳房断层影像处理方法与电子装置。乳房断层影像处理方法包括：取得多张乳房影像，对至少一张标记乳房影像执行二值化运算与池化运算以得到病症遮罩；根据乳房影像与病症遮罩训练卷积神经网络；根据二维特定位置从不同层次的乳房影像中取得多个裁切影像，并将每一张裁切影像输入至卷积神经网络以取得多张裁切热图；以及将裁切热图依照层次的顺序输入至一递归神经网络以取得多张输出热图，结合输出热图以得到第一综合热图，并根据第一综合热图与病症遮罩之间的损失值来训练递归神经网络。借此，可以结合不同层次的多张影像来侦测病症。

权利要求

1.一种乳房断层影像处理方法，由一电子装置执行，其特征在于，该乳房断层影像处理方法包括：取得多个层次的多张乳房影像，对所述多张乳房影像中的至少一标记乳房影像执行一二值化运算与池化运算以产生至少一病症遮罩；

根据所述多张乳房影像与该至少一病症遮罩训练一卷积神经网络，其中该卷积神经网络包括第一分支与第二分支，该第一分支用以输出至少一数值以指示是否有病症，该第二分支用以输出一热图，该热图与该至少一病症遮罩之间的损失值用以训练该卷积神经网络；

根据一二维特定位置从不同的所述多个层次的所述多张乳房影像中取得多个裁切影像，并将每一所述裁切影像输入至该卷积神经网络以取得多张裁切热图；以及将所述多张裁切热图依照所述多个层次的顺序输入至一递归神经网络以取得多张输出热图，结合所述多张输出热图以得到一第一综合热图，并根据该第一综合热图与该至少一病症遮罩之间的损失值来训练该递归神经网络。

2.根据权利要求1所述的乳房断层影像处理方法，其特征在于，其中该卷积神经网络包括多个第一卷积层，该第一分支与该第二分支设置于所述多个第一卷积层之后，该第一分支包括一全域平均池化层与一全连接层，该第二分支包括一第二卷积层，该第二分支不包括该全域平均池化层与该全连接层。

3.根据权利要求2所述的乳房断层影像处理方法，其特征在于，还包括：

将多个阴性样本输入至该卷积神经网络，并根据判断为阳性的所述多个阴性样本重新训练该卷积神经网络。

4.根据权利要求2所述的乳房断层影像处理方法，其特征在于，其中该递归神经网络为一长短期记忆网络。

5.根据权利要求2所述的乳房断层影像处理方法，其特征在于，其中该第一综合热图为所述多张输出热图的平均。

6.根据权利要求1所述的乳房断层影像处理方法，其特征在于，其中该第一综合热图是对应至一第一角度，一第二综合热图是对应至一第二角度，该乳房断层影像处理方法还包括：结合该第一综合热图与该第二综合热图以产生一病灶位置。

7.一种电子装置，其特征在于，包括：

用以取得关于一乳房的多个层次的多张乳房影像，对所述多张乳房影像中的至少一标记乳房影像执行二值化运算与池化运算以得到至少一病症遮罩的程序模块；

用以根据所述多张乳房影像与该至少一病症遮罩训练一卷积神经网络的程序模块，其中该卷积神经网络包括第一分支与第二分支，该第一分支用以输出至少一数值以指示是否有病症，该第二分支用以输出一热图；

用以根据一二维特定位置从不同的所述多个层次的所述多张乳房影像中取得多个裁切影像，并将每一所述裁切影像输入至该卷积神经网络以取得多张裁切热图的程序模块；

以及

用以将所述多张裁切热图依照所述多个层次的顺序输入至一递归神经网络以取得多张输出热图，结合所述多张输出热图以得到一第一综合热图，并根据该第一综合热图与该至少一病症遮罩之间的损失值来训练该递归神经网络的程序模块。

8.根据权利要求7所述的电子装置，其特征在于，其中该卷积神经网络包括多个第一卷积层，该第一分支与该第二分支设置于所述多个第一卷积层之后，该第一分支包括一全域平均池化层与一全连接层，该第二分支包括一第二卷积层，该第二分支不包括该全域平均池化层与该全连接层。

9.根据权利要求7所述的电子装置，其特征在于，还包括用以将多个阴性样本输入至该卷积神经网络，并根据判断为阳性的所述多个阴性样本重新训练该卷积神经网络的程序模块。

10.根据权利要求7所述的电子装置，其特征在于，其中该第一综合热图为所述多张输出热图的平均。

说明书

乳房断层影像处理方法与电子装置

技术领域

[0001] 本揭露是关于乳房断层影像处理方法，能够结合不同层次的多张影像来侦测病症。

背景技术

[0002] 乳房摄影检查技术主要是利用低剂量的X光检查人类的乳房，其能检查肿块、钙化点等病灶，该技术比人工触诊方式更能够准确地发现乳房的病灶类型与位置，因此乳房摄影的影像在早期乳癌的筛检扮演重要的角色。数字乳腺断层摄影(Digital Breast Tomosynthesis，DBT)包括三维空间中的信息，因此每个视角影像数量比传统二维乳房摄影增加数十倍，若仅以二维深度学习模型进行侦测，假阳性率随之加倍的问题，需要有一套可以利用三维相邻信息的深度学习方法。

发明内容

[0003] 本发明的实施例提出一种乳房断层影像处理方法，由电子装置执行，此乳房断层影像处理方法包括：取得关于乳房的多个层次的多张乳房影像，对至少一张标记乳房影像执行二值化运算与池化运算以得到病症遮罩；根据乳房影像与病症遮罩训练卷积神经网络，此卷积神经网络包括第一分支与第二分支，第一分支用以输出至少一数值以指示是否有病症，第二分支用以输出热图，此热图与病症遮罩之间的损失值用以训练卷积神经网络；根据二维特定位置从不同层次的乳房影像中取得多个裁切影像，并将每一张裁切影像输入至卷积神经网络以取得多张裁切热图；以及将裁切热图依照层次的顺序输入至一递归神经网络以取得多张输出热图，结合输出热图以得到第一综合热图，并根据第一综合热图与病症遮罩之间的损失值来训练递归神经网络。

[0004] 在一些实施例中，卷积神经网络包括多个第一卷积层，第一分支与第二分支设置于第一卷积层之后。第一分支包括全域平均池化层与全连接层，第二分支包括第二卷积层，第二分支不包括全域平均池化层与全连接层。

[0005] 在一些实施例中，乳房断层影像处理方法还包括：将多个阴性样本输入至卷积神经网络，并根据判断为阳性的阴性样本重新训练卷积神经网络。

[0006] 在一些实施例中，上述的递归神经网络为长短期记忆网络。

[0007] 在一些实施例中，上述的第一综合热图为输出热图的平均。

[0008] 在一些实施例中，第一综合热图是对应至乳房的第一角度，第二综合热图是对应至乳房的第二角度。乳房断层影像处理方法还包括：结合第一综合热图与第二综合热图以产生病灶位置。

[0009] 以另外一个角度来说，本发明的实施例提出一种电子装置，包括：用以取得关于乳房的多个层次的多张乳房影像，对至少一张标记乳房影像执行二值化运算与池化运算以得到病症遮罩的程序模块；用以根据乳房影像与病症遮罩训练卷积神经网络的程序模块，此卷积神经网络包括第一分支与第二分支，第一分支用以输出至少一数值以指示是否有病症，第二分支用以输出热图，此热图与病症遮罩之间的损失值用以训练卷积神经网络；用以根据二维特定位置从不同层次的乳房影像中取得多个裁切影像，并将每一张裁切影像输入至卷积神经网络以取得多张裁切热图的程序模块；以及用以将裁切热图依照层次的顺序输入至一递归神经网络以取得多张输出热图，结合输出热图以得到第一综合热图，并根据第一综合热图与病症遮罩之间的损失值来训练递归神经网络的程序模块。

[0010] 在一些实施例中，电子装置还包括用以将多个阴性样本输入至卷积神经网络，并根据判断为阳性的阴性样本重新训练卷积神经网络的程序模块。

附图说明

[0011] 为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附附图作详细说明如下。

[0012] 图1是根据一实施例绘示电子装置的示意图；

[0013] 图2是根据一实施例绘示乳房影像的撷取示意图；

[0014] 图3是根据一实施例绘示不同层次的乳房影像以及对应的病症遮罩的示意图；

[0015] 图4是根据一实施例绘示卷积神经网络的示意图；

[0016] 图5是根据一实施例训练递归神经网络(recurrent neural network，RNN)的示意图；

[0017] 图6是根据一实施例绘示乳房断层影像处理方法的流程图。

[0018] 【符号说明】

[0019] 100:电子装置

[0020] 110:处理器

[0021] 120:存储器

[0022] 210:乳房

[0023] 211,212:夹板

[0024] 220:传感器

[0025] 230:X光发射器

[0026] 301～304:乳房影像

[0027] 310:影像

[0028] 320:病症遮罩

[0029] 401:阳性样本

[0030] 402:阴性样本

[0031] 410:卷积神经网络

[0032] 411,431:卷积层

[0033] 420:第一分支

[0034] 421:全域平均池化层

[0035] 422:全连接层

[0036] 430:第二分支

[0037] 432:热图

[0038] 501～504:裁切影像

[0039] 511～514:裁切热图

[0040] 520:递归神经网络

[0041] 531～534:输出热图

[0042] 540:综合热图

[0043] 550:病症遮罩

[0044] 601～604:步骤

具体实施方式

[0045] 关于本文中所使用的“第一”、“第二”等，并非特别指次序或顺位的意思，其仅为了区别以相同技术用语描述的元件或操作。

[0046] 图1是根据一实施例绘示电子装置的示意图。请参照图1，电子装置100可以是医疗仪器、平板计算机、个人计算机、笔记型计算机、服务器、分散式计算机、云端服务器或具有计算能力的各种电子装置等，本发明并不在此限。电子装置100包括了处理器110与存储器120，处理器110通讯连接至存储器120，在此通讯连接可以透过任意有线或无线的通讯手段来达成，或者也可透过互联网来达成。处理器110可为中央处理器、微处理器、微控制器、影像处理晶片、特殊应用集成电路等，存储器120可为随机存取存储器、只读存储器、快闪存储器、软盘、硬盘、光盘、U盘、磁带或是可透过网际网络存取的数据库，其中储存有多个指令，处理器110会执行这些指令来完成一乳房断层影像处理方法，以下将详细说明此方法。

[0047] 图2是根据一实施例绘示乳房影像的撷取示意图。请参照图2，在此所拍摄的乳房影像又称为数字乳腺断层摄影(Digital Breast Tomosynthesis，DBT)影像。夹板211、212相对设置，夹板212的一侧放置乳房210，乳房210由夹板211、212所固定，夹板212的另一侧则设置传感器220。X光发射器230由不同的角度向乳房210发射X光，此X光穿透乳房210以后由传感器220所接收。DBT影像可以呈现三维空间上的信息，每张影像可以呈现两个维度的信息，而剩下一个维度则由多个层次(例如数十个层次)来呈现，换言之第三个维度被离散化，每个层次是指第三个维度上的一个座标，以下所指的相邻层次是指第三个维度上相邻的座标。从每个角度都可以拍摄多个层次的乳房影像，在已知技术中是用二维影像的处理技术来分析不同层次的乳房影像，由于影像的数目较多，这样的作法可能会产生非常多的伪阳性。在此提出的乳房断层影像处理方法，可以结合不同角度不同层次的乳房影像。

[0048] 图3是根据一实施例绘示不同层次的乳房影像以及对应的病症遮罩的示意图。请参照图3，在取得不同层次的乳房影像301～304后，首先必须由医生来标记乳房影像中的病症(例如肿瘤)，医生可以直接在乳房影像中圈选他认为是病症的位置，影像310为乳房影像303中被标记部位的放大示意图，被标记的影像310可以经过二值化运算以产生二值化影像，例如数值“1”表示有病症，而数值“0”表示没有病症。在一些实施例中，影像310的大小为
224×224，因此二值化影像的大小也是224×224，此二值化影像可经过池化(pooling)运算而缩小，在此例子中成为大小为7×7的病症遮罩320，此病症遮罩320则用于以下说明的机器学习模型。在一些实施例中，医生是从乳房影像301～304中先找到病症最明显的部分，然后再找相邻层次的乳房影像中的病症，其他层次的病症同样可以产生对应的病症遮罩320。
由于经过了池化的处理，因此医生的圈选不需要非常精确，在一些已知技术中需要让医生以像素为单位来从乳房影像303中切割(segment)出病症，但这样的标记太耗费劳力。

[0049] 图4是根据一实施例绘示卷积神经网络的示意图。请参照图4，在此使用卷积神经网络410，并以乳房影像303为例来说明。首先以固定大小来裁切乳房影像303中被标记为病症的影像310，其大小例如为224×224，本揭露并不在此限。影像310会被当作是阳性样本，而乳房影像303中其他没有被标记的部分可以任意选取以产生阴性样本402。值得注意的是由于阳性样本的数目会远小于阴性样本的数目，因此在一些实施例中影像310会经过旋转、小范围平移、镜射等方式来进行扩增，借此产生更多数目的阳性样本401。阳性样本401与阴性样本402会输入至卷积神经网络410进行训练。

[0050] 卷积神经网络410包括一或多个卷积层411(也可包括池化层)，接着则分为第一分支420与第二分支430。第一分支420包括一个全域平均池化层(Global average pooling，GAP)421与全连接层(fully connected layer)422，最后输出两个数值以表示是否有病症，例如其中一个数值表示有病症的信心，而另一个数值表示没有病症的信心。在一些实施例中第一分支420也可以仅输出一个数值来表示有没有病症，本揭露并不在此限。第二分支430则包括了卷积层431，用以输出热图432，此热图432的大小相同于病症遮罩320的大小，也就是说，热图432包括了49个数值，用以表示对应的位置上有病症的信心。以另一个角度来说，第一分支420是用以判断影像中是否有病症，而第二分支430输出的热图则是用以指出病症的位置。值得注意的是，第二分支430不包括全域平均池化层与全连接层。

[0051] 在训练阶段，根据阳性样本或是阴性样本，第一分支420的基本事实(ground truth)可设定为数值“1”或“0”，接着可以计算第一分支420输出的数值与此基本事实之间的损失(loss)值。若是阳性样本，则病症遮罩320是根据医生的标记所产生；若是阴性样本，则病症遮罩320中的数值都表示没有病症(例如都是0)。在第二分支430是计算热图432与病症遮罩320之间的损失值，此损失值例如为均方误差或是二值交叉熵(binary cross entropy)，但本揭露并不在此限。上述第一分支420与第二分支430的损失值是用来训练卷积神经网络410，值得注意的是，第一分支420与第二分支430是一起训练的。

[0052] 在一些实施例中，也可以用两阶段的方式来训练卷积神经网络410。具体来说，第一阶段可以先用相对少量的阴性样本来做训练。在第二阶段，可以取得多张阴性影像(完全没有病症)，从这些阴性影像中任意撷取样本做为阴性样本，并把这些阴性样本输入至第一阶段所训练出来的卷积神经网络410，如果此卷积神经网络410的第一分支420输出的数值表示有病症，则此样本为伪阳性。接着，可以根据判断为阳性的阴性样本(伪阳性样本)重新训练卷积神经网络410。

[0053] 图5是根据一实施例训练递归神经网络(recurrent neural network，RNN)的示意图。请参照图5，接下来要结合不同层次的乳房影像301～304。具体来说，可以根据一个二维特定位置从不同层次(第三个维度)的乳房影像301～304中取得多个裁切影像501～504，如果在此二维特定位置上有其中一张裁切影像501～504有病症则这些裁切影像501～504可当作阳性样本，否则是阴性样本。裁切影像501在乳房影像301中的二维位置是相同于裁切影像502在乳房影像302中的二维位置，以此类推。以另一个角度来说，数字乳腺断层摄影影像是一种三维影像，上述的二维位置是指X座标与Y座标，而层次是指Z座标。在此是固定X座标与Y座标并且变动Z座标以取得裁切影像501～504。值得注意的是，在此例子中裁切影像501、504没有病症，而裁切影像502、503有病症。在一些实施例中，如果是阳性样本，则可以对裁切影像501～504进行旋转、小范围平移、镜射等方式来进行扩增，借此产生更多数目的阳性样本。

[0054] 每张裁切影像501～504都可以输入至卷积神经网络410以从第二分支430取得各自对应的裁切热图511～514。在此例子中，每个裁切热图511～514的大小为7×7。接下来，把这些裁切热图511～514依照层次的顺序(Z座标可以由小到大或是由大到小)输入至递归神经网络(RNN)520，此递归神经网络520例如为长短期记忆(Long Short‑Term Memory，LSTM)网络，但本揭露并不在此限。当每次输入一个裁切热图时，递归神经网络520都会输出一张热图(亦称为输出热图)，裁切热图511～514分别对应至输出热图531～534。

[0055] 接下来可以结合这些输出热图531～534以得到综合热图540。例如可以取输出热图531～534的平均以做为综合热图540。在一些实施例中，对于二维座标(共7×7个位置)中的每个位置可以取输出热图531～534中的最大值，而不同位置的最大值会形成综合热图540。

[0056] 接下来，根据综合热图540与病症遮罩550之间的损失值来训练递归神经网络520，此损失值例如为均方误差或是二值交叉熵，但本揭露并不在此限。当所有的裁切影像501～504只有一张对应的标记影像时(例如图3的标记影像310)，则可直接采用此病症遮罩320做为病症遮罩550。当有多张标记影像时，则可以将这些标记影像二维投影在同一层次的二维平面(即X‑Y平面)上，并用最大值、最小值、或是投票的方式来合并这些不同层次的标记影像以产生病症遮罩550。递归神经网络520是用以寻找裁切热图511～514之间的关联性，借此可以提供更高的准确性。举例来说，连续的裁切热图502、503都有病症，因此递归神经网络520或可学习到当连续的数张裁切热图都有病症时，可提高输出影像中的信心值。

[0057] 请参照图2，以上作法可适用于其中一个角度(亦称第一角度)，所产生的综合热图540可称为第一综合热图。同样的方法可以处理其他角度的乳房影像，例如第二角度是对应至第二综合热图，其中第二角度不同于第一角度。在一些实施例中可以结合不同角度的综合热图来产生病灶位置，详细内容可以参阅发明专利号TW I707663，在此并不重复赘述。在一些实施例中，共可结合四个角度的综合热图，而在其他实施例中可以结合更多或更少个角度的综合热图，本揭露并不在此限。

[0058] 在上述揭露中至少有三个特别的技术手段，第一个技术手段是采用标记遮罩以计算损失值，由于过程中经过池化运算，因此医生只需要标记出位置，不需要非常精细，这降低标记所需要时间；第二个技术手段是用两阶段的方式来训练卷积神经网络，这可大幅降低侦测错误率；第三个技术手段是将递归神经网络产生的多张输出影像结合成综合热图，再计算综合热图与病症遮罩的损失值，这可学习不同层次的乳房影像之间的关联性。这些手段对灵敏度(sensitivity，SEN)与特异性(specificity，SPE)的影响可参照以下表一。

[0059]技术手段 SEN SPE
无 72.4％ 60％
+手段1 79.3％ 75％
+手段1、2 80.9％ 78.1％
+手段1、2、3 85.5％ 77.1％

[0060] 表一

[0061] 图6是根据一实施例绘示乳房断层影像处理方法的流程图。请参照图6，在步骤601中，取得关于乳房的多个层次的多张乳房影像，对至少一张标记乳房影像执行二值化运算与池化运算以得到病症遮罩。在步骤602中，根据乳房影像与病症遮罩训练卷积神经网络，此卷积神经网络包括第一分支与第二分支，第一分支用以输出至少一数值以指示是否有病症，第二分支用以输出热图，此热图与病症遮罩之间的损失值用以训练卷积神经网络。在步骤603中，根据二维特定位置从不同层次的乳房影像中取得多个裁切影像，并将每一张裁切影像输入至卷积神经网络以取得多张裁切热图。在步骤604中，将裁切热图依照层次的顺序输入至一递归神经网络以取得多张输出热图，结合输出热图以得到第一综合热图，并根据第一综合热图与病症遮罩之间的损失值来训练递归神经网络。然而，图6中各步骤已详细说明如上，在此便不再赘述。值得注意的是，图6中各步骤可以实作为多个程序码或是电路，本发明并不在此限。此外，图6的方法可以搭配以上实施例使用，也可以单独使用。换言之，图6的各步骤之间也可以加入其他的步骤。

[0062] 以另外一个角度来说，本发明也提出了一电子装置，此电子装置中包含多个程序模块，这些程序模块可由任意的程序语言及/或平台所撰写，当这些程序模块被电子系统执行时，可完成上述的乳房断层影像处理方法。以另外一个角度来说，本发明也提出一种非暂态计算机可读取媒体，例如为随机存取存储器、只读存储器、快闪存储器、软盘、硬盘、光盘、U盘、或磁带，其中储存有多个指令由一计算机系统执行以完成上述的乳房断层影像处理方法。

[0063] 虽然本发明已以实施例揭露如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求书所界定的范围为准。