用于X射线管检测器校准的用户界面转让专利

申请号 : CN202180005698.4

文献号 : CN114502075B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : R·斯特德曼布克W·吕腾M·西蒙

申请人 : 皇家飞利浦有限公司

摘要 :

用于支持X射线成像的系统(SYS)和相关方法。该系统(SYS)包括机器学习模块(MLM),逻辑(LG),其被配置成计算用于调整X射线成像设备的成像几何构造以实现目标成像几何构造的输出校正信息。调制器(MOD,L‑MOD,H‑MOD,S‑MOD)是被配置成提供用于成像几何构造调整的用户指令的系统。用户指令被基于输出校正信息调制。机器学习模块先前被关于训练数据进行训练,训练数据包括特定用户对先前指令的响应。

权利要求 :

1.用于支持X射线成像的系统(SYS),包括:

预训练的或可训练的机器学习模块(MLM),其被配置成计算用于调整X射线成像设备的成像几何构造以获得目标成像几何构造的输出校正信息,其中所述X射线成像设备是移动类型且包括X射线源(XS)和X射线检测器(D),且在所述X射线源(XS)和所述X射线检测器(D)之间没有刚性机械联接,以及调制器(MOD,L‑MOD,H‑MOD,S‑MOD),其被配置成提供用于成像几何构造调整的用户指令,所述用户指令被基于所述输出校正信息调制,所述机器学习模块先前被关于训练数据进行训练,所述训练数据包括特定用户对用于所述成像几何构造调整的先前的用户指令的响应。

2.根据权利要求1所述的系统,其中,所述系统还包括存储与不同用户相关联的多个预训练的或可训练的机器学习模型的存储器(MEM)。

3.根据权利要求1或2所述的系统,其中,所述系统还包括用户识别(UID)功能,其被配置成基于凭证来识别用户,并导致基于所述凭证从所述多个预训练的或可训练的机器学习模型中选择所述机器学习模块(MLM)。

4.根据权利要求1或2所述的系统,其中:

i)所述调制器(L‑MOD)被配置成控制可见光投影仪,以将光束投射到表面上,所述光束被根据所述输出校正信息调制;和/或ii)所述调制器(H‑MOD)被配置成控制触觉振动器,以在a)与所述成像设备的X射线源机械联接的手动致动器(MA)或b)与所述成像设备的所述X射线源通信联接的电输入装置(JS)上根据所述输出校正信息施加机械振动;和/或iii)所述调制器(S‑MOD)被配置成控制电声换能器(SP),以根据所述输出校正信息以声音发出指令。

5.根据权利要求1或2所述的系统,其中,在当前成像几何构造改变时,所述用户指令被更新。

6.根据权利要求4所述的系统,其中,由所述调制器(L‑MOD)实现的对光的调制包括以下任一项或多项:由所述光束投射的光图案的改变、光梯度的改变、光颜色和/或色调的改变。

7.根据权利要求4所述的系统,其中,所述表面(SF)位于所述成像设备的检查区域(ER)中。

8.根据权利要求7所述的系统,其中,所述表面(SF)由位于所述检查区域中的患者(PAT)限定。

9.根据权利要求1或2所述的系统,其中,所述系统包括导航单元(NU),其被配置成计算输入校正信息,基于所述输入校正信息由所述机器学习模块(MLM)计算所述输出校正信息,所述输入校正信息被基于以下任一项或多项计算:i)由布置在所述成像设备处的传感器(SS)提供的传感器读数;ii)使用准直器设置以实现在所述成像设备的检测器处被检测到的投影而获取的侦察图像,所述投影具有形状,基于所述形状相对于预定参考形状的失真来计算所述输入校正信息;和iii)在所述X射线检测器(D)处被检测到的且由抗散射网格(ASG)引起的强度分布。

10.一种装置(AR),包括根据权利要求1‑9中的任一项所述的系统(SYS)和成像设备(IA)。

11.一种用于支持X射线成像的方法,包括:

通过机器学习模块(MLM)计算(S640)用于调整X射线成像设备的成像几何构造以实现目标成像几何构造的输出校正信息,其中所述X射线成像设备是移动类型且包括X射线源(XS)和X射线检测器(D),且在所述X射线源(XS)和所述X射线检测器(D)之间没有刚性机械联接,以及通过调制器提供(S650)用于成像几何构造调整的用户指令,所述用户指令被基于所述输出校正信息调制,其中所述机器学习模块先前被关于训练数据进行训练,所述训练数据包括特定用户对用于所述成像几何构造调整的先前的用户指令的响应。

12.一种计算机可读介质,其上已经存储有计算机程序单元,当所述计算机程序单元由至少一个处理单元执行时,所述计算机程序单元适于使所述至少一个处理单元执行根据权利要求11所述的方法。

说明书 :

用于X射线管检测器校准的用户界面

技术领域

[0001] 本发明涉及一种用于支持X射线成像的系统、一种包括X射线成像设备和这种系统的装置、一种用于支持X射线成像的方法、一种计算机程序单元和一种计算机可读介质。

背景技术

[0002] 医务人员有时会使用移动式X射线成像仪。即使在令人尴尬、不利的条件下,他们也允许获取X射线图像。例如,长期卧床的养老院老年患者需要定期进行胸部X射线检查,以监测可能导致肺炎的可能的肺部积水。
[0003] 然而,已注意到的是,尽管那些移动式X射线成像仪中的一些装备了有助于降低剂量的装置(例如准直器),但患者和工作人员受到的X射线剂量仍然高得惊人。此外,图像吞吐量有时会低于预期。
[0004] 在申请人的WO2008/023301中描述了一种移动式X射线成像仪。
[0005] US10,136,864B2公开了一种用于图像获取的X射线设备和相关方法。该设备包括视场校正器(CS),其被配置成接收由具有暂定准直器设置的成像仪在预拍摄成像阶段获取的侦察图像(SI)。

发明内容

[0006] 因此,可能需要改进的移动式X射线成像。
[0007] 本发明的目的通过独立权利要求的主题来解决,其中进一步的实施例被纳入从属权利要求中。应注意的是,本发明的以下描述的方面同样适用于包括X射线成像设备的所述装置、用于支持X射线成像的方法、计算机程序单元和计算机可读介质。
[0008] 根据本发明的第一方面,提供了一种用于支持X射线成像的系统,包括:
[0009] 预训练的或可训练的机器学习模块,其被配置成计算用于调整X射线成像设备的成像几何构造以获得目标成像几何构造的输出校正信息,其中该成像设备是移动类型且包括X射线源和X射线检测器,且X射线源和X射线检测器之间没有刚性机械联接,以及调制器,其被配置成提供用于成像几何构造调整的用户指令,该用户指令被基于输出校正信息调制,机器学习模块先前被关于训练数据进行训练,训练数据包括特定用户对用于成像几何构造调整的先前的用户指令的响应。
[0010] 换句话说:机器学习模块计算个性化校正信息,该个性化校正信息说明特定用户倾向于调整成像几何构造的方式。
[0011] 在实施例中,该系统还包括存储与不同用户相关联的多个预训练的或可训练的机器学习模型的存储器。
[0012] 在实施例中,该系统还包括用户识别功能,该用户识别功能被配置成基于凭证识别用户,且导致基于所述凭证从所述多个预训练的或可训练的机器学习模型中选择机器学习模块。
[0013] 在实施例中,设想到以下调制器中的一种、任意两种或全部:
[0014] i)该调制器被配置成控制可见光投影仪以将光束投射到表面上,该光束被根据所述输出校正信息调制,和/或
[0015] ii)该调制器被配置成控制触觉振动器,以在a)与成像设备的X射线源机械联接的手动致动器或b)与成像设备的X射线源通信联接的电输入装置上根据所述输出校正信息施加机械振动,和/或
[0016] iii)该调制器被配置成控制电声换能器以根据所述输出校正信息以声音发出指令。
[0017] 在实施例中,在当前成像几何构造改变时,用户指令被更新。例如,相应地调制产生图案的光束和/或所施加的振动和/或声音。以这种方式,当用户改变成像几何构造时,为动态系统提供反馈。
[0018] 在实施例中,由调制器实现的基于光的调制包括以下任何一项或多项:由光束投射的光图案的改变、光梯度的改变、光颜色和/或色调的改变。
[0019] 在实施例中,该表面位于成像设备的检查区域中。该表面可以是患者的轮廓表面,但可以是任何其他合适的表面,例如患者支架(台、床)的一部分或任何其他合适的设备的一部分。
[0020] 在实施例中,当患者位于检查区域中时,该表面由患者限定。
[0021] 在实施例中,导航单元被配置成计算输入校正信息,基于输入校正信息由机器学习模块计算输出校正信息,输入校正信息被基于以下任一项或多项计算:i)由布置在成像设备处的传感器提供的传感器读数;ii)使用准直器设置以实现在成像设备的检测器处检测到的投影而获取的侦察图像,该投影具有形状,基于该形状相对于预定参考形状的失真来计算校正信息,和iii)在检测器处被检测到的且由抗散射网格引起的强度分布。
[0022] 在另一方面,提供了一种装置,其包括根据上述实施例中的任一个所述的系统和成像设备。
[0023] 在另一个方面,提供了一种用于支持X射线成像的方法,包括:
[0024] 通过机器学习模块计算用于调整X射线成像设备的成像几何构造以实现目标成像几何构造的输出校正信息,其中该成像设备是移动类型且包括X射线源和X射线检测器,且在X射线源和X射线检测器之间没有刚性机械联接,以及
[0025] 由调制器提供用于成像几何构造调整的用户指令,该用于指令被基于输出校正信息调制,
[0026] 其中机器学习模块先前被关于训练数据进行训练,训练数据包括特定用户对用于成像几何构造调整的先前的用户指令的响应。
[0027] 所提出的系统允许解决尤其是移动式X射线中的高剂量问题。在移动式X射线中,源和检测器是没有被刚性联接的分离的部件。两者之间没有被限定和已知被固定的空间关系。这可能会导致难以调整正确的成像几何构造,例如对准、对中、源‑检测器距离SID等。时间紧迫的工作人员可能会被引入重复的循环,直到可以捕获有用的诊断帧。这是以剂量和时间为代价的。所提出的系统允许快速准确地调整正确的成像几何构造。该系统使用机器学习为特定方式提供定制指令,其中给定用户对成像几何构造调整指令作出反应。所提出的基于机器学习的系统可能需要更少的重复和更少的调整迭代。该系统被关于监测阶段收集的训练数据进行训练,其中记录了用户执行的调整与实际提供的指令集的对照。从这些训练数据中,通过调整机器学习模块的参数以适合先前训练中的训练数据,可以学习到根据用户习惯定制的更好的指令。一旦被训练,预训练的机器学习模型可用于预测所述定制的校正信息,以及用于快速引导用户校正成像几何构造的指令。
[0028] 在另一方面,提供了一种计算机程序单元,当由至少一个处理单元执行时,该计算机程序单元适于使处理单元执行根据上述实施例中的任一个所述的方法。
[0029] 在另一方面,提供了一种其上已经存储有该程序单元的计算机可读介质。
[0030] 名词定义
[0031] “用户”涉及操作成像设备或监督成像操作的人,例如医务人员或其他人。换言之,用户通常不是被成像的患者。
[0032] 通常,“机器学习部件”是实现机器学习(“ML”)算法和被配置成执行任务的ML模型的计算机化的装置。在ML算法中,在为该装置提供更多训练数据以进行处理后,任务性能会显著提高。当向系统提供测试数据时,可以通过客观测试来测量性能。性能可以根据给定测试数据要达到的一定错误率来限定。例如,参见T.M.Mitchell,“Machine Learning(机器学习)”,第2页,第1.1节,1997年,麦格劳希尔出版。

附图说明

[0033] 图1A、图1B示出了包括移动式X射线成像设备的成像装置;
[0034] 图2A、图2B是例示说明成像几何构造的示意图;
[0035] 图3示出了支持用户进行X射线成像的基于机器学习的系统的框图;
[0036] 图4A至图4D示出了可通过使用准直器确定的不同成像几何构造的示例;
[0037] 图5至图5C示出了准直器掩模,其可以在实施例中用于建立当前图像和目标成像几何构造之间的不匹配;
[0038] 图6示出了支持X射线成像的方法的流程图。
[0039] 图7示出了机器学习模型的示意性框图。
[0040] 图8示出了用于训练机器学习模型的训练系统;和
[0041] 图9示出了用于训练机器学习模型的方法。

具体实施方式

[0042] 参考图1A,示出了移动式X射线设备1A。此类或类似的移动式X射线设备可用于重症监护病房(ICU)或医院急诊室、A&E或普通病房等。它们也可在医院外使用,例如由出现在急救现场的救护人员使用。
[0043] 根据一个实施例,X射线成像设备IA(“成像仪”)是“推车类型”并且包括位于滚轮R上的主单元MU,以便能够在相对于患者PAT方便的位置处定位。主单元MU可以包括诸如电池的电源和/或主连接件。患者PAT可以站立、坐着或躺在医院患者床PB或救护车担架或童床上。然而,轮式安装在本文中不是必需的。取而代之的是,成像仪可以作为便携式装置布置在例如承载箱中,因此可以很容易地在场外、户外等部署。
[0044] 成像仪包括X射线源XS,其能够产生用于对患者PAT的至少一个关注区域ROI进行成像的X射线束XB。成像仪还包括用于记录X辐射的便携式X射线检测器D。理想地,ROI位于源XS和检测器D之间的检查区域ER中。可选地,成像仪可以包括准直器COL,以在形状和/或横截面积上准直从所述源XS流出的辐射束XB。更详细地,在图像获取期间,X射线束XB从X射线管XS发出,在所述区域ROI处穿过患者PAT,通过与其中的物质相互作用而经历衰减,且如此衰减后的射线束XB撞击检测器D的辐射敏感表面。辐射敏感表面由多个检测器单元组成,检测器单元也被称为(检测器)像素。这些单元通过发出相应的电信号对暴露于(衰减的)X射线束XB做出响应。然后,所述信号的集合由数据获取系统(“DAS”‑未示出)转换成代表给定单元的所述衰减的相应数值。图像处理器IP可以将数值的集合转换为投影图像。基于衰减的投影成像中的图像对比度可以由不同组织类型的不同衰减能力来赋予。然而,本公开不限于基于衰减的成像,因为本文在实施例中还设想到诸如相位对比成像的其他模态。
[0045] 成像仪IA可以包括操作员控制台OC,以供临床人员(以下称为操作员或用户)操作成像仪IA。例如,用户USR可以经由所述控制台OC通过激活源XS触发X射线曝光来控制图像获取。控制台OC还可以包括显示单元DD,用于查看所获取的X射线投影图像,或者用于显示用户界面以帮助用户操作移动式X射线设备IA等。
[0046] 在多个实施例中,移动式或便携式检测器单元D呈平板类型,因此被布置为相对平坦的板坯或板状物体。在一示例中,检测器单元D的形状是矩形的,尺寸为例如大约30cm×40cm,厚度为大约为3‑5cm或更小。
[0047] 检测器D可以通过无线连接与X射线设备操作控制台OC通信。控制台和移动式检测器包括合适的无线接口,例如在检测器D处的发射器TX和在控制台处的接收器RX。图像信号因此可以被传送到被集成在主单元MU处的计算装置PU,在计算装置PU中可以进行上述图像处理。替代性地,图像处理在远离成像地点的中央计算机中进行。然后可以将图像转发到用户的移动式计算装置,例如智能手机、平板电脑、膝上型电脑等。在这种情况下,成像仪是“裸骨(bare bone)”型的,且现场设备基本上只包括X射线源、操作控制台和合适的保持件/定位机构AR、MM,这将在下文中更详细地解释。尽管对于大多数情况不太方便,但可以设想到有线的实施例,其中检测器D通过有线插座连接与主单元通信。
[0048] 确切地说,哪些检测器单元暴露于成像束XB,以及从而最终有助于成像,是针对正确的成像几何构造进行调整的问题。成像几何构造确定了任何成像环节的视场(FOV)(除其他外)。正确的成像几何构造调整需要i)正确的管XS‑检测器D对准,ii)正确的源XS‑检测器D距离(SID),iii)正确的准直器孔径。对于移动式X射线成像仪来说,FOV调整具有挑战性,现在将参考临床用户场景进行更详细的例示说明。
[0049] 在一种使用场景中,用户USR将通过其滚轮R将移动X射线成像仪IA定位在患者PAT的床PB附近。然后要求患者坐起来,或者如果身体过于虚弱而无法坐起来,则由医护人员轻轻翻身,并将检测器板D定位在床B的支撑表面上。便携式检测器单元D可以包括把手或类似物以有助于其定位。然后患者PAT翻回来或被要求躺下,以便基本上他们的胸部或背部,或其他关注区域ROI覆盖便携式检测器D。为了使这种体验对患者更方便,移动式检测器可以包括横跨其表面布置的加热元件,以确保当患者PAT的身体在躺下时接触检测器D的表面时,所述表面基本上接近体温。一种可能的临床应用是胸部X射线,但本文也设想对其他ROI进行成像,例如腹部、手臂、腿部等。
[0050] 如从上述场景中可以看出的,特别是在胸部X光场景中,由于患者躺在上面,X射线检测器D的辐射敏感表面的大部分(甚至全部)在成像期间在视觉上被遮挡。检测器有各种尺寸。当要求患者躺下时,一个相当紧凑地构建成的检测器可能会完全“消失”在视线之外。
[0051] 换言之,如果用户USR在粗略快速地进行X射线管‑患者的对准后,继续进行实际图像获取,则存在获得次优图像的严重风险,因为例如检测器和X射线管/检测器和准直器很可能未对准。
[0052] 为了进行成像几何构造调整,成像仪IA可以包括一些机构。例如,移动式X射线设备可以包括一个或多个X射线源XS定位和/或姿势调整机构MM、AR。所述机构允许控制X射线管XR相对于检测器D在3D中的位置和/或姿势。
[0053] 图1B是容纳在外壳HS中的成像设备源的前视图示意图。源XS的安装机构MM支持通过围绕多达三个空间轴线X、Y、Z中的任何一个的角度进行调整和/或移动,如示例性移位向量 所示。安装机构MM可以包括滑动件、带有滚柱的滚珠轴承单元、轮轨等以实现移位和/或旋转。
[0054] 根据一个实施例,X射线源XS定位和/或姿势调整机构还可以包括臂AR,其远端被联接到安装机构MM。可选地,臂AR被铰接以增加进一步的自由度,以便在空间中定位管XS。例如,铰接的臂可以使管XS远离主单元MU,朝向检测器D恰好位于的位置推进。安装机构允许改变管相对于臂AR的姿势/位置。因此,臂AR可以被操作以用于在检测器上的粗略定位,而安装机构MM的独立操作允许细化位置和/或姿势。由于其一个或多个铰链,臂AR可以允许竖直地调整SID。可选地,臂AR可以是伸缩的,以便于SID调整。仍然替代性地,安装机构MM可以沿臂AR滑动,臂AR可以被布置为直立杆。SID的调整允许控制放大倍率。任何上述调整可以通过合适的手动致动器MA手动完成,或者通过用户输入装置JS(例如操纵杆或类似物)的远程控制对机电致动器进行操作来完成。
[0055] 例如,X射线源XS布置在外壳HS中。外壳联接到安装机构MM。如图1所示,外壳HS可以包括一个或多个手动致动器MA,例如手轮、杠杆、手柄等中的一个或多个,以供用户接合调整机构MM,从而手动地调整管XR在空间中的姿势和/或位置。替代地或另外,还设想到至少部分地机动化的实施例,其中布置了多个合适的机电致动器(未示出),例如步进电机等,通过其可以独立地实现相对于轴线X、Y、Z的移位/旋转。可以在控制台OC处提供用户输入装置(诸如操纵杆JS或类似物)以允许用户远程控制管XS的位置和/或姿势和/或SID。准直器的准直器叶片(未示出)可由致动器操作以调整准直器孔径,减小或增加束XB的形状和/或横截面积。除了通过安装机构MM的操作来使源XS移位之外,这允许进一步控制FOV。
[0056] 提供姿势和/或位置变化的X射线源XS的安装机构MM可以包括允许跟踪当前位置/角度的编码器ENC。可以为铰接的臂AR和/或准直器COL叶片提供类似的编码器。
[0057] 虽然在3D中的位置和/或姿势控制是期望的,但本文不排除具有受限的自由度的更简单的成像仪IA。例如,在一些这样的实施例中,源XS例如只能在平面内移位,没有旋转。
[0058] 由于X射线管/准直器和检测器的图像平面之间没有永久的、预定义的和先验已知的空间关系,因此成像仪IA的移动特性加剧了针对错误成像几何构造(例如未对准)进行调整的危险,例如,在C形臂成像仪中,检测器、准直器和X射线管以相对的关系被永久地/刚性地安装在C形臂的相应端部上。如果FOV不正确,则临床上的重要部分可能被切去。可能需要重拍,这继而又增加了患者的剂量和时间成本。
[0059] 从上面可以看出,X射线源XS和检测器D之间正确的相互空间排列对于良好的图像质量很重要。为此,成像装置IAR包括计算机化的系统SYS以帮助用户实现这种正确的相互空间排列。所述空间排列在本文中被称为成像几何构造。换句话说,成像几何构造定义了以下四个成像参与部件之间的空间关系:检测器D、X射线源XS、X射线束XB,以及患者希望成像的区域,即ROI。
[0060] 计算机化的系统SYS可以集成在成像设备AI的计算单元PU中。替代性地,该系统由处于云或分布式架构设置中的两个或更多个处理单元来管理,例如在服务器等上,适当地与成像仪IA的通信网络连接。系统SYS,在本文中称为“用户引导系统”,可以以硬件、软件或部分硬件和部分软件的方式实现。计算机化的系统SYS将“猜测工作”从利用移动式X射线实现的图像采集中解脱出来。计算机化的模块SYS引导用户快速准确地针对正确的成像几何构造进行调整,且剂量代价非常低甚至没有。
[0061] 现在参考图2A、图2B,它们更详细地探讨了成像几何构造的概念,并且还介绍了将在本文中使用的某些术语。首先参考图2A,成像几何构造IG包括(除其他外)中心、角度和距离SID=d。更详细地说,如果源XS相对于检测器D被正确地居中,则可以实现期望或正确的成像几何构造。该中心可以通过成像轴线IX来描述,即从管XS的焦点FS到检测器D的辐射敏感表面上的中心点CP延伸的假想线。例如,在实施例中,检测器表面是矩形或正方形区域,且中心点是两条对角线相交的地方。当正确居中时,成像轴线平行于检测器D的辐射敏感表面的法向量 为了将当前成像几何构造Gj调整为目标成像几何构造G0,其中源XS和检测器居中地对准,可能需要移位或平移 和/或角度 角度 在图2A的顶部中指示出,它可能涉及围绕三个空间轴线X、Y、Z的一个、两个或三个相应的旋转。这些旋转在本文中分别称为俯仰、滚动和偏航。除了移位 和角度 可能需要调整X射线源和检测器之间的距离d。所述距离d也被称为源到图像距离“SID”。SID确定了FOV的放大倍率和角度/中心。应当理解,上述平移S和角度 或旋转是相对于世界坐标X’Y’Z’或相对于通过如图2A所示的源XS的焦点FS的局部坐标系X、Y、Z来指示的。通常,且继续参考图2A,用于改变成像几何构造的自由度可以被概念化为仿射变换 每个仿射可以被形式化为旋转 和线性移位(平移) 的组合,反之亦然:
[0062] 或
[0063] 变换 作用于成像几何构造。成像几何构造可以被描述为七维空间中的一个点,其中三个空间坐标用于移位矢量S,三个角坐标用于角度 (每个分量描述围绕相应轴线X、Y、Z的旋转)和距离d。坐标表示向量空间中的一个点,被称为相空间PS,其简化的3维表示在图2B中示出。正确的中心对准的成像几何构造G0显示在相空间的原点处,Gj表示偏离中心和/或未对准的几何构造Gj,可能不在正确的距离d处。
[0064] 从当前成像几何构造到目标成像几何构造的校正可以被概念化为校正信息,被表示为在该相空间中从点Gj延伸到原点的向量,其中目标成像几何构造G0由原点表示,不失一般性。校正信息可以被表示为欧氏距离或更一般地表示为成像几何构造点G0、Gj的矢量之间的分量差向量。如果G0在原点处,则校正信息是Gj的向量的分量。
[0065] 成像几何构造调整本身可以通过在相空间PS中实现不同的校正路径pj以多种方式实现,如图2B中的虚线箭头所示。例如,可以首先沿S执行移位,然后改变角度 反之亦然。此外,每个角度可以被执行为多个部分旋转的组合 且对于移位也是如此 存在多个校正路径pj,每个校正路径代表关
于如何修改当前几何构造Gj以实现居中和对准的目标成像几何构造G0的相应的校正信息。
[0066] 如本文所设想的用户引导SYS被配置成便于用户USR调整图像几何构造。现在参考的图3的示意性框图中示出了引导SYS。系统SYS包括机器学习模块MLM,该机器学习模块包含机器学习模型M。机器学习模型M先前已经基于训练数据进行了训练。下面将更全面地解释训练操作。系统SYS因此可在三种模式下操作:记录训练数据的监测模式、基于记录的训练数据训练模型的训练模式以及使用现在训练的模型的部署模式。
[0067] 假设机器学习模型已经被充分训练,机器学习模块被配置成帮助用户在成像前实现快速的成像几何构造调整。
[0068] 概括地说,该系统的导航单元NU建立校正信息的第一版本,其可表示为相空间中的某个校正路径pj,如图2B所示。机器学习模块处理导航单元提供的校正信息并计算个性化校正信息,这些信息可以转化为用户USR的指令,如下面将更全面地探讨的。
[0069] 导航单元NU的实施例在本文中被设想到,并将在前进到机器学习模块之前首先更详细地讨论。在实施例中,但不一定在所有实施例中,使用一个或多个传感器SS,其提供由导航单元NU处理以计算第一正确信息的测量数据。机器学习模块MLM从中计算个性化校正信息作为输出。由机器学习模块计算出的个性化校正信息说明了特定用户倾向于调整成像几何构造的方式。
[0070] 然后,输出的个性化校正信息由调制器MOD处理,以将个性化的计算出的校正信息调制成用户可以容易地解释的用户指令、感官表达,使得们可以调整成像几何构造,例如通过与手动致动器MA接合,来实现目标成像几何构造G0。回到图2B上的相空间,由导航单元NUj提供的标准校正路径p0被转换为优选路径pj,该优选路径对应于给定用户USR 倾向于调整成像几何构造的方式,如从在训练数据中被编码的先前调整中学习的那样。机器学习模块不是简单地映射到固定的校正路径,而是学习用户习惯,因为他们倾向于对过去的指令做出响应。
[0071] 在一个实施例中,调制器MOD是光调制器L‑MOD,其调制由光投射器LP发射的可见光。光调制器给光投射器发出指令,以使光束LB投射到合适的表面SF上。光束被调制成光图案PT,其编码了机器学习模块MLM计算出的个性化指令。光投射器LP可以有利地集成到X射线源XS的外壳HS中。它可以用于将光束LB和图案PT投射到由患者的皮肤或患者穿着的衣服(例如罩衣)等形成的表面部分上。使用由以这种方式调制的光投射器LP投射的光在不利的低能见度光线条件下特别有利。
[0072] 此外,或者代替这种光调制,可以使用触觉调制器H‑MOD。触觉调制器H‑MOD能够操作,以便通过控制触觉振动器HV将机器学习模块MLM提供的个性化校正信息编码为呈振动模式PT形式的个性化指令。触觉振动器HV可以例如集成到例如源外壳HS的手柄MA中或集成到操纵杆的把手部分中。通过改变振动的频率和/或强度,用户USR可以因此被引导到目标几何构造G0。
[0073] 通常,表示(个性化)指令的调制信号随着当前成像几何构造Gj与目标成像几何构造G0在相空间中的距离而变化。例如,参考触觉振动器HV,这可能会导致振动的强度或频率越高,当前成像几何构造偏离目标几何构造G0越多,反过来可能随着目标成像几何构造G0的接近,强度/或频率降低,一旦呈现目标成像几何构造,振动就会停止。类似地,光调制器L‑MOD的实时反馈调制可以是根据从当前成像几何构造Gj到目标成像几何构造G0的距离来改变光强度。此外或替代地,光的颜色或光的颜色图案可以改变。例如,指示不良成像几何构造的红色可以动态地转变为例如指示正在接近目标图像几何构造的绿色。可选地,给定颜色或亮度的色调可以被改变为可配置的。在另一个示例实施例中,倾斜或旋转可以用颜色梯度来指示,例如,从红色到蓝色。因此,操作员可以操纵源角度和倾斜,直到获得均匀的颜色图案。具体地并且在实施例中,光图案本身可以由不同部分组成,每个部分对所需几何构造调整的不同空间方面进行编码。例如,红色部分指示源XS太靠近检测器的一个边缘,而另一蓝色部分指示源XS离另一边缘太远。由图案的部分形成的空间布置与相应边缘的位置相关。因此,这种类型的光调制指令支持用户将源XS居中,最终实现从源XS到两个检测器边缘的相等距离。如果源XS居中但如果源检测器距离不正确,例如太小,则图案的两部分都将呈现红色。而且,如果源‑检测器距离太大,则两部分都呈现蓝色。正确的源‑检测器距离d和中心可以通过光图案的两部分转变为均匀的目标颜色(例如绿色)来指示。以类似的方式,相对于其他两个检测器边缘的“上/下”偏差可以通过另一对光图案部分的颜色变化来指示。投射的光图案可以覆盖类似于检测器的辐射敏感表面的区域(例如正方形或矩形)的形状的区域。这四个部分被形成在该区域的四个边缘处,与四个检测器边缘空间相关。通常,光调制可以是变化的光颜色、颜色梯度、色调或强度中的任何一种或多种。光指令随着当前几何构造Gj到目标几何构造G0的相空间PS中的距离而变化。对于触觉实施例来说类似。上述光调制图案允许有效的用户‑机器反馈。它有助于照亮ROI并帮助集中用户。此外,它将指令的不同空间方面(中心、SID调整)整合到单个光图案中,从而利于快速成像几何构造调整。
[0074] 此外或替代地,可以将暗示性动画或静止图形投射到表面SF上,例如患者身上。例如,可以显示看起来在校正移位的方向上移动的箭头,或者可以投射卷曲的箭头,其通过明显地围绕旋转轴线的相应图形呈现来显示数量和方向。
[0075] 在实施例中,存在联接到并驱动诸如扬声器的电声换能器SP以便以声音发出指令的声音调制器S‑MOD。指令可以是自然语言或其他声音模式。例如,当用户调整成像几何构造以接近目标成像几何构造时,音高可能变化。任何上述调制器S‑MOD、L‑MOD、H‑MOD可以在没有其他两个的情况下单独使用,或者所有三个可以组合使用。三种调制器S‑MOD、L‑MOD、H‑MOD中任意两种的任何子组合也在本文中被设想到。
[0076] 机器学习模块MLM与基于光或触觉的调制器MOD相结合,应被理解为在实时反馈模式下操作。换言之,用户USR对当前成像几何构造的任何调整都被导航单元NU拾取。导航单元NU重新计算新的校正信息,并将其输入机器学习模块MLM以提供更新的个性化校正信息。新的个性化校正信息被传递到调制器MOD以重新调制输出信号,从而以更新的光或振动信号模式的形式产生新的/更新的个性化指令。
[0077] 代替或除了上述用于对用户指令进行编码的触觉和光学光图案调制的实施例之外,还设想到调制器MOD的其他实施例。例如,调制器MOD可以包括图形驱动器以控制控制台OC处的显示装置DD。指令可以显示在例如操作员控制台OC的显示装置DD上,或者在通信联接到输出系统SYS的任何其他监视器上。指令可以被显示为文本、字母数字形式或静止图形或动画图形。
[0078] 在下文中现在更详细地描述导航单元NU的操作。导航单元NU可以被布置成软件、硬件或部分软件和部分硬件,并且可以优选地被集成在系统SYS中。如上所述,导航单元可以基于从某些传感器SS接收的测量值来计算第一(输入)校正信息,以作为输入提供给机器学习模块MLM。
[0079] 可以使用一个或多个这样的传感器SS。在实施例中,使用至少两个传感器,一个布置在检测器D处,另一个布置在X射线源处,例如在其外壳HS处。在实施例中,相应的一对传感器包括陀螺仪和/或加速度传感器,但是可以使用任何其他合适的传感器技术。由于检测器在放置在患者身后时基本上是静止的,例如当患者躺在检测器上时,检测器处的传感器SS1(在本文中被称为“检测器传感器”)有望提供稳定的测量值,其可与附接在X射线源处的传感器SS2(在本文中被称为“源传感器”)的当前测量值进行比较。在用户通过X射线源的旋转和/或平移来调整成像几何构造的同时,将源传感器测量值与检测器传感器的固定测量值进行比较以建立校正信息。陀螺仪和/或加速度传感器调整角度,但不一定居中。为了实现对中,传感器SS可以进一步包括以下项的组合:i)一个或多个电磁场产生单元(“EFGU”),例如线圈,和ii)电磁场传感器(“EFS”),例如霍尔传感器、线圈或其他。EFGU和EFS被分别附接到管XS和检测器D,反之亦然。
[0080] 在一些成像方案中,要求患者PAT坐在几乎直立的位置,这可能需要将源倾斜0°或90°以外的角度。为此,布置(例如集成)到在检测器D和X射线管XS两者中的陀螺仪和/或加速度传感器的上述使用有利于针对正确的成像几何构造进行调整。
[0081] 然而,在本文的所有实施例中,不需要使用这种外部传感器电路SS,其中可以使用现有的成像部件来代替建立校正信息。在一个这样的实施例中,结合准直器COL控制,响应于低剂量暴露来记录X射线检测器投影图像,在本文中被称为预拍摄。参考图4A至图4D,更详细地解释了该原理。图4A、图4C表示束XB偏离中心的情况,而图4B、图4D表示其中附加地成像轴线相对于检测器D表面的法线 成角度或倾斜的情况。这些不良成像几何构造中的每一种情况都可以通过投影侦察图像来确定,如图4C、图4D所示。通过相应地调整管电压和/或管电流,可以通过暴露于低剂量束来获得侦察图像。优选地,保持管电压并且降低电流。低剂量束被准直成预定义的已知形状,例如矩形或任何其他预定义的形状。因此,可以预先知道可记录为投影图像的被投射的形状应该看起来是什么样。如果在检测器处记录的形状偏离预定义的形状,这表明不正确的成像几何构造,例如如图4C、图4D中示例性所示的倾斜和/或偏离中心的情况。例如在图4C中,可以通过阈值分割来获得小矩形形状的投影覆盖区域。其中心点被确定。将投影覆盖区域的中心点与检测器表面的先验已知的中心点位置进行比较,两者之间的矢量差可以与移位矢量 相关,源需要按照该移位矢量 移位以实现对中。类似地,在图4D中的投影覆盖区域中,这是将预期的矩形形状变形为平行四边形。平行四边形的角度可以通过对覆盖区域的边缘进行分割来测量,并通过3D几何技术与X射线源目前相对于检测器表面的法线所经历的倾斜相关联。同样,该信息可以与针对目标成像几何构造G0进行的校正所需的角度 校正相关联。在图4C、图4D的任何一种情况下,相关性是基于3D空间中的经典仿射几何原理和投影定律的。
[0082] 图5A至图5C示出了基于准直器的校正信息计算的进一步实施例。在这些实施例中,使用了准直器掩模,该准直器掩模可以通过旋转机构或其他机构摆动到预拍摄的X射线束中。掩模包括预定义数量的开口OP 1‑5或孔径。虽然显示了5个,但这是示例性的并且可以有更多或更少。孔径OP1‑5具有预定的形状,并且由每个开口引起的投影覆盖区域的相应几何构造可以如上文在图4中解释的那样用于计算建立目标成像几何构造所需的校正信息量。为了减少关于校正信息的模糊性,形状可以不同,例如,对于多个开口OP 1‑5中的每一个可以具有与任何其他不同的形状,因此所有开口都不同,尽管在所有实施例中可能不一定如此,仅两个或三个具有不同形状的开口可能就足够了。多个形状优选地以三角形布局被切割在掩模中,三角形布局被布置为如图5C所示的假想三角形的三个顶点。替代性地,如图5B所示,该布局是中心点和假想正方形或矩形的四个顶点这样的布局。同样,使用奇数个孔径和/或以非对称方式布置它们可能有助于减少上述的模糊性。代替或除了使用如图5B中的不同形状之外,还可以如图5A中示例性所示使用不同尺寸的孔径OP 1‑5。同样,因为可记录的投影覆盖区域的大小、形状和失真是由孔径OP 1‑5预先确定的。如果有偏差,可以根据仿射几何原理来计算校正信息。图5A中的投影覆盖区域类似于笔形束w的覆盖区域(在该示例中,5),其优选地提供所有必要的信息以校正检测器D相对于源XS的距离、倾斜和旋转误差。图5A(和图5B)中的准直器设置有助于减少辐射剂量。图5A示出了对称布置。还设想到非对称投影覆盖区域模式,例如具有独特的成形器,例如圆形、菱形、十字形等,如图5B所示。然而,应当理解,图5A、图5B中的形状和布局是示例性的而非限制性的。
[0083] 准直的侦察图像的面积大小可以沿检测器平面的两个空间方向确定。其与检测器D的表面的总面积的比率r可以由导航单元NU确定。该比率可用于确定正确的SID。更具体地说,为了计算SID,将准直器投影覆盖区域与侦察图像的扩展进行比较。给定FCD(焦点‑准直器距离),SID=FCD*r。
[0084] 在导航单元NU的基于准直器的实施例中,成像过程在两个连续阶段中进行:预拍摄阶段和随后的图像获取阶段。在预拍摄阶段,在X射线辐射管以更低剂量(例如,检查中的即时患者PAT所需实际剂量的5%)工作的情况下获取侦察图像s侦察图像可能非常小,通常在整个检测器表面区域的50%‑80%的区域内。在一个实施例中,侦察图像的尺寸是检测器D在一个空间方向上的延伸的50%和检测器D在另一个空间方向上的延伸的50%,从而占检测器D的面积的25%。该百分比仅用于例示说明和举例,不应解释为限制本公开。在获取预拍摄侦察图像时,通过合适的准直孔径来实现图像尺寸减小。出于控制目的和进一步协助成像几何构造调整,预拍摄图像可以显示在显示装置上。一旦计算出校正信息并调整了正确的成像几何构造,图像获取就可以开始重复曝光,这一次以更高的诊断剂量来获取诊断图像。该图像可以显示在显示装置DD上。
[0085] 准直的侦察图像不仅可用于计算SID,还可用于计算所需的角度倾斜和/或旋转。在检测器D的电路中的图像处理可以将检测器像素平均(或合并)为更大的图像单元,例如包括5x5或10x10的原生检测器像素。通过这种平均到更大的超像素,所记录的侦察图像形状与背景噪声的信噪比得到了增强,但代价是小的位置不确定性。根据所期望的对准准确度,超像素的面积可以是例如2mm×2mm或3mm×3mm等。此外,使用小型准直器设置进一步减少患者受到的剂量。通过合适的合并,在侦察图像上消耗的剂量可以减少到诊断剂量的大约1/20‑1/10。
[0086] 在进一步的实施例中,成像设备还包括抗散射网格ASG,并且它被用于成像几何构造调整目的,现在将更详细地解释。
[0087] 抗散射网格ASG被用于在初级辐射穿过患者时阻挡由康普顿散射引起的二次辐射。二次辐射或散射辐射损害图像质量。为了使撞击在检测器单元表面上的二次辐射量最小化,抗散射网格ASG被定位于患者和检测器表面之间。根据一个实施例,网格被永久地安装在检测器表面的顶部或者是可移除的。例如,可移除的抗散射网格ASG可以通过多个销卡扣配合到移动式检测器上。根据一个实施例,检测器和/或网格ASG可以包括检测装置,以便检测是否安装了抗散射网格。在实施例中,抗散射网格ASG本质上是网格状结构,由远离检测器表面并大致垂直于检测器表面且指向X射线源XS的小翅片形成。安装后的网格基本上覆盖了所有检测器表面。翅片的布局可以是一维的,在这种情况下,翅片是近似平行的,或者是二维的,其中有两组彼此交叉的翅片。
[0088] 如果抗散射网格ASG安装在检测器D上,则ASG网格的投影图像(“投影焦点”)可用于成像几何构造校正。如果检测器未完全对准,则ASG会在像素上投射阴影,从而调制撞击的X射线束的强度。该强度分布可以通过导航单元NU的图像处理来分析,以建立校正信息。特别是对于2D的ASG,具有错误的SID(失焦)的完全平行的检测器将导致在检测器D处检测到圆形梯度强度分布。与这种分布的偏差,例如检测到细长的椭球轮廓,指示偏离中心的移位、倾斜和旋转误差。也就是说,投影焦点的几何构造可用于确定校正信息。为了完全指定角度调整,可能需要附加的校正信息,例如上面在图5中讨论的准直器COL诱导信息,或其他信息。
[0089] 现在转到机器学习模块MLM,其操作的动机如下。如果不是针对所提出的用户引导系统SYS,可以理解的是,常规地提供的用于调整成像几何构造的用户指令可能需要反复应用这种调整,而不是单个的这种应用。这可能是冗长的。例如,用户可以对指令做出反应,以超出或达不到目标几何构造。例如,即使是告知用户将源例如逆时针旋转50°或类似的明确指令,也可能导致用户超过该目标而代之以将源旋转60°。然后用户将被告知将源XS向回转动10°,等等,直到目标几何构造被认为已确定(在合适的容差内)。用户对提供的指令做出反应的方式是个人立场的问题。例如,比较不耐烦的用户倾向于超过目标,而比较谨慎的用户可能倾向于达不到所需的校正量。更重要的是,当需要不同的修正时,同一用户在不同的情况下可能会采取不同的行动。例如,用户USR可能在旋转方面表现得更积极,但在移位时可能会更慢和谨慎,反之亦然。
[0090] 如本文提出的用于成像几何构造调整的用户引导中的机器学习方法被配置为考虑对这些指令作出反应的特定用户习惯特征。如果给某个用户的指令不适合他或她的习惯,那么只有经过更多耗时的迭代后才能获得相同的校正结果。但是使用所提出的机器学习模型,对于给定用户,至少可以平均减少迭代调整的次数。这是因为机器学习模块计算出的输出校正信息将用户对用于改变成像几何构造的空间指令做出不同反应的特性作为因素纳入。已发现使用机器学习(“ML”)模型特别有利于探索校正信息类型之间的关系。此ML任务可以被概念化为在纯几何构造基础上提供的(输入)校正信息(例如由导航单元提供)和表示用户响应于指令执行的调整的(输出)校正信息之间潜在的、未知的功能关系。先前记录的训练数据用于训练ML模型以学习这种关系,从而使机器学习模块针对特定用户出于调整目的的特定偏好个性化。
[0091] 与经典/分析建模方法不同,机器学习模型通常不需要设计者对函数依赖类型做出特定假设。例如,上述输入和输出校正信息之间的关系预计是高度非线性的,这将排除任何类型的线性模型。已经发现机器学习模型特别擅长学习这种高度非线性的关系。机器学习模型的参数(也称为“权重”)在优化过程(下面将参考图8更详细地描述)中进行调整,以考虑训练数据。然后由模型调整的所有参数的总和表示或编码所述潜在关系。
[0092] 如果给定用户有足够数量的代表性训练数据可用,则可以为特定用户个性化机器学习模型。事实上,本文提出可以为一组用户中的每个用户(例如放射科的临床医生)分配其专用的、单独的机器学习模型,每个模型分别针对为每个用户收集的个人训练数据进行训练。然后可以将如此“按用户训练”的模型MLM 1‑4存储在数据库MEM中。系统SYS可以包括用户识别机制UID,其被配置为在呈现用户凭证时识别每个用户。一旦被识别,就访问先前与特定用户相关联的预训练的机器学习模块,以便计算出针对该用户个性化的指令。
[0093] 现在简要提及学习方面,这包括训练数据收集阶段或监测阶段和训练阶段。两者都可以作为一次性操作完成,或者可以在用户使用成像设备时重复进行以完善相应的模型。
[0094] 在训练数据收集阶段,用户执行的实际成像几何构造调整被记录,并存储在存储器MEM‑T中作为训练数据。然后,监测阶段的任务是监控每个用户的特殊方式以及他们对校正信息和相关指令的反应。
[0095] 该训练数据收集阶段可以如下操作。用户通过提供密码、生物特征输入或其他凭证由用户标识UID来识别。在监测或“用户熟悉”阶段期间的这一时期,校正信息由神经网络作为标准指令提供,而不是基于个性化的校正信息。监测在正常临床使用期间有效。因此,在这个时期还没有感受到所提出的系统的好处。由导航单元NU提供的作为当前成像几何构造和目标成像几何构造之间的偏差的校正信息可以在该时期作为标准校正信息提供,由调制器MOD适当地调制。
[0096] 安装机构MM或用户输入装置JS,例如操纵杆或其他,可以优选地包括编码器ENC,以跟踪和记录用户在正常临床使用过程中(例如在查房期间)响应于标准指令执行的实际用户调整。被跟踪的调整可以例如以矢量形式存储,与相应提供的标准校正信息/指令相关联,如导航单元最初提供的。以这种方式,建立校正信息对(x,y):对于每一对,由导航单元NU提供的校正信息“x”,以及基于实际用户调整的校正信息“y”,其由编码器ENC响应于所提供的校正信息x而记录。随着时间的推移,随着用户USR使用成像设备,多个这样的校正信息对(xk,yk)被记录并存储在训练数据存储器MEM‑T中。由于提供的使用凭证,所收集的训练数据对可以按用户存储,且以后可以检索。
[0097] 一旦在使用时间内积累了足够数量的这种训练对(xk,yk),根据使用频率这可能需要几天或几周,则学习阶段可开始。最初,建立初始化的模型,预先填充一些随机参数。初始模型基于由用户识别机制UID收集的用户凭证被分配给用户。访问初始化的模型。该模型具有一定的架构,例如人工神经网络。用于当前目的的机器学习任务通常是一种回归算法,其中输入校正信息被回归为个性化成像几何构造校正信息,简称为输出校正信息。由于这种类型的数据是非图像数据,因此可优选全连接神经网络。然而,这里的任何内容都不限于神经网络,并且可以使用其他机器学习技术来代替。
[0098] 学习阶段可以包括上述优化过程以调整模型的当前的一组参数。在学习阶段,机器学习模型中存在的当前或初始的一组参数根据到目前为止所收集的训练数据进行调整。诸如GPU的高性能计算装置可以用作训练系统TS,以快速执行这种优化或学习算法。优化本身可以在成像仪停止使用期间形成。随着时间的推移,随着机器学习系统收集更多的训练数据,且在更多次的训练算法运行之后,所提供的指令将更加适合用户的特定习惯,因此通常可能需要更少的迭代来获得目标几何构造。这样节省时间,尤其是在繁忙的临床环境中。
可以在给定时间段内对更多患者进行成像。图像吞吐量增加。
[0099] 现在参考图6,其是支持X射线成像的方法的流程图。该方法可以强调上述系统SYS的操作,但也可以理解,该方法及其步骤也可以被理解为本身的教学。该方法在一个或多个合适的计算装置上实施。在图6中,假设机器学习模型已经在以前的使用数据上进行了充分的训练,且理解学习阶段不一定是一次性操作,而是可以在收集一批新的训练数据后重复进行。下文将参考图7至图9更详细地解释训练方面。
[0100] 在步骤S610处,接收输入数据。输入数据尤其包括用户凭证。
[0101] 在步骤S620处,基于用户凭证识别用户。步骤S610和S620是可选的。
[0102] 在步骤S630处,在由用户管理的给定成像场景中,计算第一/输入校正信息,其量化当前成像几何构造和目标几何构造的不匹配。在实施例中,计算校正信息的步骤是基于传感器读数来执行的,或者是基于如上文关于图4、图5中的任一个所解释的低剂量预拍摄在检测器处获得的测量结果来执行的。
[0103] 在步骤S640处,基于第一校正信息,通过机器学习模块实现的预训练的机器学习模型为用户计算出输出的个性化校正信息。机器学习模块是一种计算装置,其可实现被关于训练数据进行了预训练的机器学习模型。
[0104] 所使用的预训练的训练数据尤其包括以下几对:i)由导航单元提供的先前校正信息,以及ii)用户响应于根据先前校正信息调制的指令而执行的成像几何构造调整。优选地,在训练数据收集阶段中先前已经记录了多个这样的数据对,在该阶段结束时,该模型基于训练数据由学习算法调整,以更好地个性化由机器学习模型提供的校正信息。
[0105] 在步骤S650处,如此计算出的个性化指令用于调制用户可辨别的感觉信号,从而向用户传达关于如何调整当前成像几何构造的指令。
[0106] 调制可以包括调制任何一个或多个光束,或通过手动致动器、用户输入装置或用户在使用期间可接触的其他装置来传递被调制的机械振动,以实现成像几何构造调整。光调制可以包括颜色、光强度、色调或其任何组合中的任何一种或多种的调制。此外或替代地,指示性的光符号以箭头等形式投射到表面上,例如患者的轮廓上。此外或替代地,显示代表用户要执行的指令的动画。
[0107] 在步骤S660处,调制的感觉信号被输出给用户。
[0108] 在步骤S670处,使用事件处理器或其他来确定当前成像几何构造是否由于用户调整而改变。如果是,则计算出新的校正信息并重复上述工作流程。如果确定没有发生成像几何构造的改变,则在步骤S660处保持当前显示的指令。
[0109] 以这种方式,实现了提供准实时指令更新的动态反馈回路,直到达到目标几何构造(在预设误差范围内)。
[0110] 由机器学习模型计算出的个性化校正信息以及个性化调制指令,以特定用户倾向于对校正信息采取行动的方式进行动态调整,从而有助于减少实现目标几何构造所需的迭代量。
[0111] 现在参考图7,其示出了可以在实施例中使用的神经网络类型的模型的示意图。如前所述,该模型可能包括一个或多个全连接层(与卷积网络中的层相反),它们将作为成像调整指令的输入回归到用于特定用户的个性化图像指令。
[0112] 模型M可以通过计算机化的训练系统TS进行训练,下面将参考图8对其进行更全面的描述。在训练中,训练系统TS适应模型M的一组初始(模型)参数θ。在神经网络模型的情景中,参数有时在本文中被称为权重。如上所述,在监测阶段收集训练数据。在监测阶段之后,因此可以定义与机器学习模型NN相关的两个进一步的处理阶段:训练阶段和部署(或推理)阶段。
[0113] 在训练阶段,在部署阶段之前,通过基于训练数据调整其参数来训练模型。一旦经过训练,该模型可以在部署阶段中用于预测个性化校正信息。训练可以是一次性操作,或者可以在新的训练数据可用时重复。
[0114] 机器学习模型M可以存储在一个(或多个)计算机存储器MEM'中。预训练的模型M可以部署为计算装置PU上的机器学习部件MLM,优选地集成在成像仪IA中。优选地,为了实现良好的吞吐量,计算装置PU包括一个或多个支持并行计算的处理器(CPU),例如多核设计的处理器。在一个实施例中,使用GPU(图形处理单元)。
[0115] 现在更详细地参考图7,其示出了呈前馈架构的神经网络M。网络M包括以级联方式排列在层L1‑LN中的多个计算节点,数据流从左到右进行,且从层到层。在本文中不排除递归网络。
[0116] 在部署中,输入数据x被应用于输入层IL,例如由导航单元NU提供的校正信息x=a。然后输入数据x通过一系列隐藏层L1‑LN(仅显示两个,但可能只有一个或两个以上)传播,然后在输出层OL处出现,作为估计输出M(x),个性化更正信息。如上所述,输出可以通过调制器MOD调制成个性化指令。
[0117] 模型网络M可以说是具有深度架构,因为它有一个以上的隐藏层。在前馈网络中,“深度”是输入层IL和输出层OL之间的隐藏层的数量,而在递归网络中,深度是隐藏层数乘以传递次数。
[0118] 网络的层,实际上的输入和输出图像,以及隐藏层之间的输入和输出(这里被称为特征图),可以被表示为二维或更高维度的矩阵(“张量”),以实现计算和内存分配的效率。维度和条目数代表上述的尺寸。
[0119] 优选地,隐藏层L1‑LN包括一个或多个卷积层,但优选地是专有的全连接层。层数至少为一层,例如2‑5层,或任何其他数量。这个数量可能会达到两位数。
[0120] 全连接层FC在非图像的回归任务中是有益的,如本文中用于处理校正信息的情况。然而,在实施例中仍然可以使用一个或多个卷积层。
[0121] 全连接层与卷积层的区别在于,全连接层的输出特征图中的条目是该层从前一层接收到的作为输入的所有节点的组合。换句话说,卷积层仅按照每个特征图条目应用于从较早的层接收到的输入的子集。
[0122] 作为输入X应用到输入层的校正信息可以被表示为向量 以表示相PS中的点,如上文参考图2B所述,输出Y,即个性化校正信息,同样可以被表示为相空间中的一个或多个向量,但通常可以与输入不同。输出可以由一个以上的向量 来表示,例如矩阵或张量。输出Y可以表示相空间中的一个或多个不同的校正路径pj,如关于图2B所描述的,以更好地表示用户优选的调整。如果输出是表示更复杂的校正路径的矩阵,则从表面上看,这似乎会引入更复杂的校正信息,有人可能会争论,这会导致用户仍然在多次迭代中应用指令。然而,这种复杂化只是表面上的。虽然ML模型M输出的校正信息Y对于某些用户来说可能看起来更复杂,但它对用户仍然是个性化的,并且更容易被特定用户解释和实施。可能更复杂的输出校正信息Y确实更好地符合用户的手动灵活性水平。结果是,与看似更简单的标准指令(然而用户可能会发现更难以实现)相比,平均需要更少的迭代。
[0123] 将校正信息表示为向量或矩阵有时可能会导致表示稀疏,这可能是不希望的。嵌入技术可用于将校正信息数据编码为更有用、“更密集”的表示,然后可以更好地由网络模型来处理。这样的嵌入可以包括例如单热编码(one‑hot encoding)方案。在其他实施例中,自动编码器设置用于首先将校正信息(输入X)数据处理为合适的表示,即“代码”,然后将该代码输入到要训练的实际模型M中。换言之,可以使用单独的机器学习步骤来预处理该数据。
[0124] 应当理解,上述图7中的模型M仅是根据一个实施例,并不用于限制本公开。本文还设想到其他神经网络架构,且具有比此处描述的更多或更少或不同的功能,例如池化层或弃权层或其他。更重要的是,这里设想的模型M根本不必是神经网络类型。另外,在替代实施例中,本文还设想到基于从训练数据中采样的其他经典统计回归方法。还有其他技术,包括贝叶斯网络或随机场,例如马尔可夫型随机场等。
[0125] 现在参考图8,其示出了用于训练机器学习模块的训练系统TS。更详细地,图8示出了用于训练参数的训练系统TS,即机器学习模型M的权重,例如图7中讨论的神经网络,或其他神经网络类型的模型,或者实际上是非神经网络类型的ML模型。
[0126] 训练数据包括k对数据(xk,yk)。例如,k可能会达到100或1000。对于每一对,训练数据包括训练输入数据xk和相关联的目标yk。训练数据因此被组织成k对,尤其是对于本文主要设想到的监督学习方案。然而,应注意的是,本文不排除非监督学习方案。
[0127] 训练输入数据xk包括在监测阶段的常规临床使用期间提供的标准输入校正信息xk。相关联的目标yk或“基本事实”是用户响应于输入校正信息执行的实际调整(输出校正信息)yk。在上述监测阶段期间,对(xk,yk)被记录在训练数据存储器MEM‑T中。同样,每个元xk、yk可以被呈现为向量,作为相空间中的点或路径,如上文在图2B和图7中所描述的。
[0128] 该模型属于回归类型,并尝试将xk回归到yk,如将更详细地解释的。在训练阶段,机器学习模型M的架构,例如图7中所示的人工神经网络(“NN”),被预先填充了初始一组权重。θ
模型M的权重θ表示参数化M ,且训练系统TS的目标是基于训练数据(xk,yk)对来优化和调整参数θ。换句话说,学习在数学上可以被公式化为一种优化方案,其中成本函数F被最小化,尽管可以使用最大化效用函数的双重公式来代替。
[0129] 现在假设成本函数F的范式,其衡量聚合残差,即根据部分或全部训练数据对k由神经网络模型NN估计的数据与目标之间产生的误差:
[0130] argminθF=∑k||Mθ(xk)‑yk||  (2)
[0131] 在公式(2)及下文中,函数M()表示模型NN应用于输入x的结果。成本函数可以是基于像素/体素的,例如L1或L2范数成本函数。在训练中,训练对的训练输入数据xk通过初始化的网络M传播。具体而言,第k对的训练输入xk在输入IL处被接收,通过模型,然后在输出θOL处被输出,作为输出训练数据M (x)。合适的措施||a??||诸如p‑范数、平方差或其他,被θ
用来测量由模型M产生的实际训练输出M (x)与期望目标yk之间的差异,在本文中也称为残差。
[0132] 输出训练数据M(xk)是与应用的输入训练图像数据xk相关联的目标yk的估计。一般来说,这个输出M(xk)和当前考虑的第k对的相关目标yk之间存在误差。然后,优化方案,诸如后向/前向传播或其他基于梯度的方法,可用于调整模型M的参数θ,以减少所考虑的对(xk,yk)或来自完整的训练数据集的训练对子集的残差。
[0133] 在第一个内部循环中的一个或多个迭代之后,其中模型的参数θ由更新器UP为当k+1 k前对(xk,yk),训练系统TS进入第二个外部循环,其中相应地处理下一个训练数据对x ,y+1
。更新器UP的结构取决于所使用的优化方案。例如,由更新器UP管理的内部循环可以通过前向/反向传播算法中的一个或多个前向和后向传递来实现。在调整参数时,考虑所有训练对的聚合(例如求和)残差,直到当前对,以改进目标函数。聚合残差可以通过将目标函数F配置为残差平方和来形成,例如公式(2)中一些或全部考虑的每对的残差。还设想到其他代数组合而不是平方和。
[0134] 可选地,可以使用一个或多个批量归一化算子(“BN”,未示出)。批量归一化算子可以集成到模型M中,例如耦合到层中的一个或多个卷积算子CV。BN算子允许减轻梯度消失效应,在模型M的学习阶段,在基于梯度的学习算法中经历的重复前向和后向传递中梯度幅度逐渐减小。批量归一化算子BN可用于训练,但可能也可用于部署。
[0135] 图8所示的训练系统可以考虑用于所有学习方案,尤其是监督方案。在替代实施例中,本文还可以设想无监督学习方案。GPU可用于实现训练系统TS。
[0136] 完全训练的机器学习模块M可以存储在一个或多个存储器MEM或数据库中。训练是按用户执行的,以便为每个用户获得不同的预训练模型,如上所述。
[0137] 图9是训练机器学习模型的方法的流程图,例如在上述任一实施例中描述的模型。
[0138] 如上所述,在监测阶段需要收集合适的训练数据。优选地,本文设想到监督学习方案,尽管这不是必需的,因为本文也设想到无监督学习设置。
[0139] 在监督学习中,训练数据包括合适的成对的数据项,每个对包括训练输入数据和与其相关联的目标训练输出数据。具体而言,训练数据对(xk,yk)如上所述,且在监测阶段收集并存储在训练数据存储器MEM‑T中。
[0140] 继续参考图9,在步骤S910处,以对(xk,yk)的形式接收训练数据。每个对包括训练输入xk和相关联的目标yk。xk如上文图8中所定义的。
[0141] 在步骤S910处,接收训练输入。
[0142] 在步骤S920处,将训练输入xk应用于初始化的机器学习模型NN,以产生训练输出。
[0143] 在步骤S930处,训练输出M(xk)与相关联的目标yk的偏差或残差由成本函数F量化。在步骤S940处,模型的一个或多个参数在内部循环的一次或多次迭代中被调整以改进成本函数。例如,模型参数被调整以减少由成本函数测量的残差。在使用卷积NN模型M的情况下,参数尤其包括卷积算子的权重W。
[0144] 训练方法然后在外部循环中返回到步骤S910,在该步骤处输入下一对训练数据。在步骤S920中,调整模型的参数,使得所考虑的所有对的聚合残差减少,尤其是最小化。成本函数量化了聚合残差。在内部循环S930‑S940中可以使用前向‑后向传播或类似的基于梯度的技术。
[0145] 更一般地,模型M的参数被调整以改进目标函数F,它是成本函数或效用函数。在实施例中,成本函数被配置为测量聚合残差。在实施例中,残差的聚合是通过对所考虑的所有对的所有或一些残差求和来实现的。该方法可以在一个或多个通用处理单元TS上实施,优选地具有能够进行并行处理以加速训练的处理器。
[0146] 训练系统TS的部件可以被实现为一个或多个软件模块,在一个或多个处理计算系统上运行,优选地具有高性能处理器,例如GPU。训练优选地不由成像仪IA的处理单元PU执行,而是可以由诸如一个或多个服务器的更强大的计算系统在外部完成。一旦被训练,该模型可以加载到成像仪IA自身的计算系统PU的数据存储器MEM中。数据存储器MEM可以为多个用户保存模型MLM 1‑4。如上所述,一旦通过用户识别系统UID识别用户,就访问与特定用户相关联的模型。
[0147] 尽管本文主要参考了医学领域中人类患者的成像,但本文公开的原理也可用于例如农场上的动物、宠物的成像。此外,还设想到在需要一定程度的移动性/便携性的场景中对物体进行成像,例如行李检查或无损材料测试。
[0148] 系统SYS的方法或部件可以被实现为一个或多个软件模块,在一个或多个通用处理单元PU上运行,例如与成像仪IA相关联的工作站,或在与一组成像仪相关联的服务器计算机上。
[0149] 替代地,系统SYS的方法或一些或所有部件可以布置在被集成到成像仪IA中的硬件中,例如适当编程的微控制器或微处理器,例如FPGA(现场可编程门阵列)或硬连线IC芯片,专用集成电路(ASIC)。在另一实施例中,系统SYS可以部分以软件,且部分以硬件的方式实现。
[0150] 方法的步骤或系统SYS的不同部件可以在单个数据处理单元PU上实现。替代地,一些或所有部件或方法步骤可以在不同的处理单元PU上实现,可能远程布置在分布式架构中,并能够连接在合适的通信网络中,例如在云设置或客户端‑服务器设置等中。
[0151] 本文描述的一个或多个特征可以被配置或实现为或利用编码在计算机可读介质内的电路和/或其组合。电路可以包括分立和/或集成电路、片上系统(SOC)及其组合、机器、计算机系统、处理器和存储器、计算机程序。
[0152] 在本发明的另一示例性实施例中,提供了一种计算机程序或计算机程序单元,其特征在于适于在适当的系统上执行根据前述实施例之一所述的方法的方法步骤。
[0153] 因此,计算机程序单元可被存储在计算机单元上,其也可以是本发明的实施例的一部分。该计算单元可适于执行或诱导执行上述方法的步骤。此外,它可以适于操作上述设备的部件。该计算单元可适于自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此,该数据处理器可被配备成执行本发明的方法。
[0154] 本发明的该示例性实施例既覆盖从一开始就使用本发明的计算机程序,也覆盖通过更新的方式将现有程序变成使用本发明的程序的计算机程序。
[0155] 此外,计算机程序单元能够提供所有必要的步骤来完成如上所述的方法的示例性实施例的操作。
[0156] 根据本发明的另一示例性实施例,提出了一种计算机可读介质,例如CD‑ROM,其中该计算机可读介质具有存储在其上的计算机程序单元,该计算机程序单元通过前述部分进行了描述。
[0157] 计算机程序可以被存储和/或分布在合适的介质(尤其是,但不必是,非暂时性介质)上,例如与其他硬件一起或作为其他硬件的一部分提供的光学存储介质或固态介质,但也可以以其他形式分布,例如通过互联网或其他有线或无线电信系统。
[0158] 然而,计算机程序也可以通过像万维网这样的网络提供,并可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例,提供了一种用于使计算机程序单元可供下载的介质,该计算机程序单元被安排成执行根据本发明的前述实施例之一所述的方法。
[0159] 应指出的是,参考不同主题描述了本发明的实施例。尤其是,参考方法类型的权利要求描述了一些实施例,而参考装置类型的权利要求描述了另外的实施例。然而,本领域技术人员将从上文和下文描述中得出,除非另有指示,否则除了属于一种类型的主题的特征的任何组合之外,与不同主题相关的特征之间的任何组合也被认为由本申请公开。然而,所有特征都可以组合,从而提供多于特征的简单加和的协同效果。
[0160] 尽管已经在附图和前面的描述中例示说明和描述了本发明,但这样的例示说明和描述被认为是例示说明性的或示例性的而非限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求,本领域技术人员在实践所要求保护的本发明时,能够理解并实现所公开的实施例的其他变型。
[0161] 在权利要求中,“包括”一词不排除其他元件或步骤,并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。仅在互不相同的从属权利要求中记载某些措施并不表示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应解释为限制范围。