介入手术导航的方法

摘要

本发明公开了一种介入手术导航的方法，该方法包括：预先构建目标器官三维模型，并确定目标器官三维模型在手术中的变化规律；将所述目标器官三维模型与手术中的实时X光图像进行融合，得到融合图像；根据所述目标器官三维模型在手术中的变化规律实时更新所述融合图像上所述目标器官三维模型的位置、观察角度和形状。利用本发明方案，可以更好地帮助医生准确确定目标器官在术中X光图像上的位置，引导医生确定人工植入物的目标释放位置，或确定需要进行修复、扩张等操作的目标位置。

权利要求

1.一种在人体实时影像中确定目标位置的方法，其特征在于，所述方法包括：预先构建目标器官三维模型，并确定目标器官三维模型在操作中的变化规律；

将所述目标器官三维模型与操作中的实时X光图像进行融合，得到融合图像；

根据所述目标器官三维模型在操作中的变化规律实时更新所述融合图像上所述目标器官三维模型的位置、观察角度和形状；

其中，所述构建目标器官三维模型包括：

基于患者术前检查的医学图像，构建目标器官三维模型；或者采用三维超声中分割出的目标器官三维模型；

所述目标器官三维模型上具有标记；

所述确定目标器官三维模型在操作中的变化规律包括：基于至少一个周期的操作中连续扫描X光图像，识别所述连续扫描X光图像上介入耗材上的关键点，并得到所述关键点的周期性位移规律；

根据所述关键点的周期性位移规律，确定所述目标器官三维模型的变化规律；

所述介入耗材邻近所述目标器官、并且在所述连续扫描X光图像上因呼吸和心跳会产生位移；所述关键点在所述介入耗材上的位置固定；

其中，所述根据所述关键点的周期性位移规律，确定所述目标器官三维模型的变化规律包括：将所述目标器官三维模型覆于所述连续扫描X光 图像中的第一帧图像上；

根据所述关键点的周期性位移规律，计算所述目标器官三维模型在所述连续扫描X光图像上的位置和形状，得到融合图像上目标器官三维模型的周期性移动、旋转和形变规律；

其中，所述根据所述关键点的周期性位移规律，计算所述目标器官三维模型在所述连续扫描X光图像上的位置和形状包括：所述关键点有一个时，根据所述关键点的周期性位移规律，保持所述目标器官三维模型形状和观察角度不变，通过改变所述目标器官三维模型在所述连续扫描X光图像上的位置，计算周期内所述目标器官三维模型的位移；

所述关键点有多个时，根据所述关键点的周期性位移规律、以及关键点之间的周期性相对位移规律，通过改变所述目标器官三维模型在所述连续扫描X光图像的位置、观察角度和形状，计算周期内所述目标器官三维模型的位移量、旋转角度和形变量。

2.根据权利要求1所述的方法，其特征在于，所述确定目标器官三维模型在操作中的变化规律还包括：在识别所述连续扫描X光图像上介入耗材上的关键点之前，根据所述连续扫描X光图像对所述目标器官三维模型的观察角度和大小进行调整。

3.根据权利要求2所述的方法，其特征在于，所述根据所述连续扫描X光图像对目标器官三维模型的观察角度和大小进行调整包括：根据所述连续扫描X光图像获取操作中实际的造影角度、空间分辨率、FOV、像素数量或比例尺信息；

根据所述造影角度调整所述目标器官三维模型的观察角度；

根据所述空间分辨率、FOV、像素数量或比例尺信息调整所述目标器官三维模型的大小。

说明书

介入手术导航的方法

技术领域

[0001] 本发明涉及医学图像处理领域，具体涉及一种介入手术导航的方法。

背景技术

[0002] 介入治疗是利用现代高科技手段进行的一种微创性治疗，即在医学影像设备的引导下，将特制的导管，导丝等精密器械，引入人体，对体内病态进行诊断和局部治疗。在介入手术中，通常需要配备C型臂X光机，用于实时观察患者体内情况。然而普通的X光影像并不能让医生清楚地观察到患者体内一些器官的解剖结构和位置，例如：心腔、血管等。因此需要在X光扫描图像的基础上，在患者对应的器官内注入造影剂进行观察，进而帮助手术医生判断手术过程中患者器官的位置、结构。然而，考虑到造影剂对患者身体产生的代谢负担（代谢负担过重容易引起肾损伤等疾病），在手术中，并非每次X光扫描都会向患者体内注入造影剂。通常，手术医生会将打造影剂的过程扫描录制下来，在下一次打造影剂前循环播放录像，然后根据录像和无造影剂的实时X光图像，评估出植入的导管、导丝、人工瓣膜等介入工具和材料在患者体内的具体位置，或评估需要进行器官修复或扩张的区域。

[0003] 目前，根据录像评估出无造影剂的X光图像上的器官结构、位置等，仍然是介入手术的一大难点，因此介入手术需要手术医生具备较强的影像学基础、以及较为丰富的介入手术经验。当医生无法较为准确地评估器官的位置时，将导致人工植入物的释放位置，或进行修复或扩张的位置与预期位置之间出现偏差，使得手术无法达到预期效果，出现各类手术并发症，例如血管堵塞、器官内部出血等。

发明内容

[0004] 本发明提供一种介入手术导航的方法，以帮助医生在手术中准确确定目标器官在术中X光图像上的位置。

[0005] 为此，本发明提供如下技术方案：

[0006] 一种介入手术导航的方法，所述方法包括：

[0007] 预先构建目标器官三维模型，并确定目标器官三维模型在手术中的变化规律；

[0008] 将所述目标器官三维模型与手术中的实时X光图像进行融合，得到融合图像；

[0009] 根据所述目标器官三维模型在手术中的变化规律实时更新所述融合图像上所述目标器官三维模型的位置、观察角度和形状。

[0010] 可选地，所述构建目标器官三维模型包括：

[0011] 基于患者术前检查的医学图像，构建目标器官三维模型；或者

[0012] 采用三维超声中分割出的目标器官三维模型。

[0013] 可选地，所述目标器官三维模型上具有关键区域标记。

[0014] 可选地，所述确定目标器官三维模型在手术中的变化规律包括：

[0015] 基于至少一个周期的手术中连续扫描X光图像，识别所述连续扫描X光图像上介入耗材上的关键点，并得到所述关键点的周期性位移规律；

[0016] 根据所述关键点的周期性位移规律，确定所述目标器官三维模型的变化规律。

[0017] 可选地，所述介入耗材邻近所述目标器官、并且在所述连续扫描X光图像上因呼吸和心跳会产生位移；所述关键点在所述介入耗材上的位置固定。

[0018] 可选地，所述根据所述关键点的周期性位移规律，确定所述目标器官三维模型的变化规律包括：

[0019] 将所述目标器官三维模型覆于所述连续扫描X图像中的第一帧图像上；

[0020] 根据所述关键点的周期性位移规律，计算所述目标器官三维模型在所述连续扫描X光图像上的位置和形状，得到融合图像上目标器官三维模型的周期性移动、旋转和形变规律。

[0021] 可选地，所述根据所述关键点的周期性位移规律，计算所述目标器官三维模型在所述连续扫描X光图像上的位置和形状包括：

[0022] 所述关键点有一个时，根据所述关键点的周期性位移规律，保持所述目标器官三维模型形状和观察角度不变，通过改变所述目标器官三维模型在所述连续扫描X光图像上的位置，计算周期内所述目标器官三维模型的位移；

[0023] 所述关键点有多个时，根据所述关键点的周期性位移规律、以及关键点之间的周期性相对位移规律，通过改变所述目标器官三维模型在所述连续扫描X光图像的位置、观察角度和形状，计算周期内所述目标器官三维模型的位移量、旋转角度和形变量。

[0024] 可选地，所述确定目标器官三维模型在手术中的变化规律还包括：

[0025] 在识别所述连续扫描X光图像上介入耗材上的关键点之前，根据所述连续扫描X光图像对所述目标器官三维模型的观察角度和大小进行调整。

[0026] 可选地，所述根据所述连续扫描X光图像对目标器官三维模型的观察角度和大小进行调整包括：

[0027] 根据所述连续扫描X光图像获取手术中实际的造影角度、空间分辨率、FOV、像素数量或比例尺信息；

[0028] 根据所述造影角度调整所述目标器官三维模型的观察角度；

[0029] 根据所述空间分辨率、FOV、像素数量或比例尺信息调整所述目标器官三维模型的大小。

[0030] 可选地，将所述目标器官三维模型与手术中的实时X光图像进行融合，得到融合图像包括：

[0031] 识别所述实时X光图像上的介入耗材关键点，并将所述介入耗材关键点作为基准点；

[0032] 基于所述基准点的位置、以及所述目标器官三维模型相对于所述基准点的相对移动、旋转和形变规律，确定所述目标器官三维模型的融合位置、以及融合时的形状；

[0033] 根据所述融合位置和所述融合时的形状，将所述目标器官三维模型与手术中的实时X光图像进行融合，得到融合图像。

[0034] 本发明实施例提供的介入手术导航的方法，预先构建目标器官三维模型，并确定目标器官三维模型在手术中的变化规律。在实际手术中，将目标器官三维模型与手术中的实时X光图像进行融合，得到融合图像；根据所述目标器官三维模型在手术中的变化规律实时更新所述融合图像上所述目标器官三维模型的位置、观察角度和形状。本发明方案通过将目标器官的三维模型与术中实时的局部X光图像进行动态融合，使三维模型能够随着患者心跳、呼吸等，实时地进行移动与形变，从而可以帮助医生在手术中确定目标器官在术中X光图像上的位置，引导医生确定人工植入物的目标释放位置，或确定需要进行修复、扩张等操作的目标位置。比如，在经导管主动脉瓣置换术（TAVR）的手术中，利用本发明方案，可以使医生更准确地判断出器官和瓣膜释放的实时位置，减小误操作的风险。另外，由于不同的X光硬件设备有不同的数据传输接口和传输协议，本发明方案基于手术中X光图像自动识别造影角度和空间分辨率，能够节省为不同X光硬件设备开发接口协议以获取造影角度和空间分辨率信息的研发成本。

附图说明

[0035] 图1是本发明实施例介入手术导航的方法的一种流程图；

[0036] 图2是本发明实施例中确定目标器官三维模型在手术中的变化规律的流程图；

[0037] 图3是本发明实施例中将所述目标器官三维模型与手术中的实时X光图像进行融合的流程图；

[0038] 图4是利用本发明方案实现经导管主动脉瓣置换术（TAVR）的手术导航的流程图；

[0039] 图5是本发明实施例中DSA图像上瓣膜介入耗材上的两个关键点示意图；

[0040] 图6是本发明实施例中三维模型的不透明图像与手术中DSA图像的融合图像示例；

[0041] 图7是本发明实施例中三维模型的半透明图像与手术中DSA图像的融合图像示例；

[0042] 图8是本发明实施例中三维模型的轮廓图像与手术中DSA图像的融合图像示例。

具体实施方式

[0043] 介入手术中医生查看的X光图像通常是动态的，影像上的血管（包括主动脉、冠脉等）和心脏等手术相关的器官，会根据患者的心跳、呼吸等因素发生位移和形变。

[0044] 目前在医学图像的融合/配准领域，通常以手术中人体内不产生位移、形变，且在X光图像上显影清楚的器官作为配准时的参照物，例如脊柱，通过CT等三维影像上目标器官与参照物之间的三维空间关系，确定X光图像上目标器官的三维模型融合的具体位置。然而由于参照物不会随心跳、呼吸产生移动，因此使用本技术的配准方法，无法解决目标器官随患者心跳、呼吸产生的位移、形变问题，导致融合的三维模型与实际X光图像上目标器官的位置、形状之间存在较大的差异，降低手术导航的效果。

[0045] 为此，本发明实施例提供一种介入手术导航的方法和装置，基于医学图像融合技术，通过将目标器官的三维模型与术中实时的局部X光图像进行动态融合，可以使目标器官三维模型随着患者心跳、呼吸等，实时地进行移动与形变，从而可以更好地帮助医生准确确定目标器官在术中X光图像上的位置，引导医生确定人工植入物的目标释放位置，或确定需要进行修复、扩张等操作的目标位置。

[0046] 如图1所示，是本发明实施例介入手术导航的方法的一种流程图，包括以下步骤：

[0047] 在步骤101，预先构建目标器官三维模型，并确定目标器官三维模型在手术中的变化规律。

[0048] 需要说明的是，所述目标器官包括需介入治疗的器官及其周围的器官，所述目标器官的特点包括但不限于：

[0049] （1）该器官会因患者自身的呼吸、心跳产生位移；

[0050] （2）该器官因呼吸、心跳会发生一定程度的形变，但形变量较小。例如心跳时左心室腔内需要将血液泵出，会产生较大的形变，且每次心跳的形变量存在差异，若将任意时刻的左心室腔三维模型作为目标器官，最终的融合配准结果误差会较大，无法起到手术导航的作用，因此左心室腔通常不属于目标器官的范畴。

[0051] 目标器官的三维模型上可包括一些关键区域的标记，例如穿刺点、切口位置的标记等。

[0052] 在具体应用中，可以采用多种不同方法构建目标器官三维模型，比如：可以基于患者术前检查的医学图像，比如CTA图像或三维超声图像等，构建目标器官的三维模型。或者，直接采用三维超声中分割出的目标器官三维模型。

[0053] 介入手术术前通常会对同一个部位进行CT扫描检查和超声检查，CT扫描图像需要图像分割方法分割出器官，然后用三维构建算法构建三维模型（三维图像），CT机本身不能对CT图像做器官分割和三维成像，但是超声设备一般自带有三维成像功能，可以用图像分割方法直接从超声设备提供的三维图像中分割出器官的三维模型。

[0054] 上述两种方式均可得到目标器官三维模型，只是获取的方法有所差别。

[0055] 需要说明的是，本发明实施例中的目标器官三维模型上具有一些关键区域的标记，例如穿刺点、切口位置的标记等。

[0056] 在本发明实施例中，在确定目标器官三维模型的变化规律时，需要基于至少一个周期的手术中连续扫描X光图像。

[0057] 需要说明的是，一个周期并非指一场手术的时间，而是手术中的一段时间。

[0058] 手术过程中患者的呼吸和心跳会影响器官在体内的相对位置，因此即使扫描X光的机器并未发生平移、旋转，患者亦未挪动身体，连续扫描得到的X光图像上器官的位置仍会发生变化。为此，所述一个周期的严格定义为：所述关键点发生移动后，又回到原位置的过程为一个周期。然而实际情况中，通常关键点不会完全回到原位置，一次呼吸包括了多次心跳，且通常一次呼吸后关键点会回到原位置附近，因此也可以将患者一次完整呼吸的过程作为一个周期。

[0059] 如图2所示，是本发明实施例中确定目标器官三维模型在手术中的变化规律的流程图，包括以下步骤：

[0060] 步骤201，基于至少一个周期的手术中连续扫描X光图像，识别所述连续扫描X光图像上介入耗材上的关键点，并得到所述关键点的周期性位移规律。

[0061] 其中，所述介入耗材应满足以下条件：

[0062] （1）在X光图像上距离目标器官较近；

[0063] （2）介入耗材上有形状特殊的关键点，例如介入导丝上凸起的标记点；

[0064] （3）介入耗材在X光图像上，因呼吸和心跳会产生位移。

[0065] 也就是说，所述介入耗材邻近所述目标器官、并且在所述连续扫描X光图像上因呼吸和心跳会产生位移。

[0066] 其中，所述关键点具有以下特征：

[0067] （1）在X光图像上清晰可见；

[0068] （2）在X光图像上，关键点相对于介入耗材的位置不发生变化，也就是说关键点为介入耗材上的固定点；

[0069] （3）在X光图像上，与介入耗材的其他部分相比，关键点在形状或像素值上有明显差异。

[0070] 需要说明的是，根据目标器官的不同，所述关键点可以有一个或多个，对此本发明实施例不做限定。

[0071] 步骤202，根据所述关键点的周期性位移规律，确定所述目标器官三维模型的变化规律。

[0072] 具体地，首先，将所述目标器官三维模型覆于所述连续扫描X图像中的第一帧图像上；然后，根据所述关键点的周期性位移规律，计算所述目标器官三维模型在所述连续扫描X光图像上的位置和形状，得到融合图像上目标器官三维模型的周期性移动、旋转和形变规律。

[0073] 需要说明的是，所述关键点有一个时，可以根据所述关键点的周期性位移规律，保持所述目标器官三维模型形状和观察角度不变，通过改变所述目标器官三维模型在所述连续扫描X光图像上的位置，计算周期内所述目标器官三维模型的位移；所述关键点有多个时，可以根据所述关键点的周期性位移规律、以及关键点之间的周期性相对位移规律，通过改变所述目标器官三维模型在所述连续扫描X光图像的位置、观察角度和形状，计算周期内所述目标器官三维模型的位移量、旋转角度和形变量。

[0074] 所述目标器官三维模型是基于手术前的影像检查得到的，所述连续扫描的X光图像是手术中得到的，因此在实际情况中，两种图像中，每一个像素点所代表的实际大小（空间分辨率）几乎不同。例如，目前成像质量最好的CT设备，用其扫描的CT图像直接得到的三维模型上，一个正方形的像素点可以代表实际0.625mm×0.625mm的正方形，无法代表更小的正方形，但术中的X光图像上，一个正方形的像素点可以代表实际0.5mm×0.5mm的正方形，甚至更小的正方形，实际的空间分辨率选择和医生的习惯有关。

[0075] 另外，术中扫描的X图像是一个二维图像，扫描的角度（也就是所述目标器官的观察角度）不同，图像上的器官形状就不一样。例如进行心脏的X光扫描时，从人体的侧面扫描，和从人体的正面扫描，所得的心脏形状就不同，如果手术中采用侧面扫描，则心脏三维模型的观察角度就需调整到侧面。术前虽然能预估术中X光图像的扫描角度，但是实际术中的拍摄角度和术前预估的角度会有所差别。

[0076] 为此，在本发明方法另一种非限制性实施例中，在上述步骤201之前，还需要根据所述连续扫描X光图像对所述目标器官三维模型的观察角度和大小进行调整。具体地，可以根据所述连续扫描X光图像获取手术中实际的造影角度、空间分辨率、FOV（field of view，视场）、像素数量或比例尺信息；然后根据所述造影角度调整所述目标器官三维模型的观察角度，根据所述空间分辨率、FOV、像素数量或比例尺信息调整所述目标器官三维模型的大小。

[0077] 需要说明的是，在实际应用中，可以根据手术中X光图像自动获取所述造影角度、空间分辨率、FOV、像素数量或比例尺信息；也可基于手术中X光图像上的脊柱等手术过程中不会移动、形变的器官，利用该类型器官的形状和位置，采用人工智能等技术推算出造影角度和图像分辨率，对此本发明实施例不做限定。

[0078] 继续参照图1，在步骤102，将所述目标器官三维模型与手术中的实时X光图像进行融合，得到融合图像。

[0079] 如图3所示，是本发明实施例中将所述目标器官三维模型与手术中的实时X光图像进行融合的流程图，包括以下步骤：

[0080] 步骤301，识别实时X光图像上的介入耗材关键点，并将所述介入耗材关键点作为基准点。

[0081] 步骤302，基于所述基准点的位置、以及所述目标器官三维模型相对于所述基准点的相对移动、旋转和形变规律，确定所述目标器官三维模型的融合位置、以及融合时的形状。

[0082] 步骤303，根据所述融合位置和所述融合时的形状，将所述目标器官三维模型与手术中的实时X光图像进行融合，得到融合图像。

[0083] 继续参照图1，在步骤103，根据所述目标器官三维模型在手术中的变化规律实时更新所述融合图像上所述目标器官三维模型的位置、观察角度和形状。

[0084] 需要说明的是，在实际手术中，X光扫描设备与患者的相对位置可以保持固定，也可以发生变化。因此在实时更新融合图像上的目标器官三维模型时，需要针对这两种情况分别进行相应处理。具体如下：

[0085] 若X光扫描设备与患者的相对位置未发生变化，则基于目标器官三维模型的移动、旋转和形变规律，更新目标器官三维模型的位置、观察角度和形状。因此即使所述基准点在图像融合后被其他耗材遮挡，或者耗材从体内撤出，目标器官三维模型在X光图像上仍能按照绝对移动、旋转和形变的规律改变位置、观察角度和形状，且目标器官三维模型的位置、观察角度和形状与实际目标器官的位置、观察角度和形状之间，均可保持较小误差。

[0086] 若X光扫描设备与患者的相对位置发生变化，则更新目标器官三维模型的位置、观察角度和形状。

[0087] 需要说明的是，所述相对位置发生变化包括但不限于以下任意一种或多种：平移、扫描角度变化。

[0088] 如果只发生平移，三维模型与关键点的相对位置并不会发生变化，因此可以基于目标器官三维模型与基准点之间的相对位置，以及三维模型的移动、旋转和形变规律，更新目标器官三维模型的位置、观察角度和形状。

[0089] 如果扫描角度发生变化，则无法根据之前计算的三维模型移动、旋转和形变规律更新三维模型的位置和形状，需要重新计算三维模型的移动、旋转和形变规律。因为当扫描角度发生变化时，三维模型与关键点的相对位置会发生变化，相应的移动、旋转和形变的规律会有不同。

[0090] 本发明实施例提供的介入手术导航的方法，预先构建目标器官三维模型，并确定目标器官三维模型在手术中的变化规律。在实际手术中，将目标器官三维模型与手术中的实时X光图像进行融合，得到融合图像；根据所述目标器官三维模型在手术中的变化规律实时更新所述融合图像上所述目标器官三维模型的位置、观察角度和形状。本发明方案通过将目标器官的三维模型与术中实时的局部X光图像进行动态融合，使三维模型能够随着患者心跳、呼吸等，实时地进行移动与形变，从而可以帮助医生在手术中确定目标器官在术中X光图像上的位置，引导医生确定人工植入物的目 标释放位置，或确定需要进行修复、扩张等操作的目标位置。比如，在经导管主动脉瓣置换术（TAVR）的手术中，利用本发明方案，可以使医生更准确地判断出器官和瓣膜释放的实时位置，减小误操作的风险。另外，由于不同的X光硬件设备有不同的数据传输接口和传输协议，本发明方案基于手术中X光图像自动识别造影角度和空间分辨率，能够节省为不同X光硬件设备开发接口协议以获取造影角度和空间分辨率信息的研发成本。

[0091] 下面以经导管主动脉瓣置换术（TAVR）的手术导航为例，进一步对本发明实施例提供的介入手术导航的方法做详细说明。

[0092] 对于无法进行传统外科手术的、有胸痛等症状的主动脉瓣疾病患者， TAVR手术是唯一治疗手段。TAVR手术前，医生会根据患者的CTA（CT血管造影）影像了解患者主动脉根部和左心室的结构，以评估导管的入路路径、选用的人工瓣膜型号、瓣膜释放的位置等。TAVR手术导航将术前评估后的结果（主动脉根部、冠脉等器官的三维分割结果），将主动脉根部、冠脉的三维图像与术中DSA（数字减影血管造影，是C型臂X光机针对血管的扫描图像）图像进行实时融合，帮助医生术中判断主动脉根部和冠脉的实时位置与形态，指导医生将瓣膜释放到预定位置。

[0093] 如图4所示，是利用本发明方案实现经导管主动脉瓣置换术（TAVR）的手术导航的流程图，包括以下步骤：

[0094] 首先，在步骤401，构建主动脉根和冠脉的三维模型。

[0095] 通常可以采用患者术前冠脉CTA图像，基于CTA图像分割出主动脉根和冠脉，根据分割出的主动脉根和冠脉结果，构建主动脉根和冠脉的三维模型。当然，也可以采用三维超声图像等代替CTA图像构建三维模型。

[0096] 在步骤402，通过手术中DSA图像上的实际造影角度信息和图像的空间分辨率，调整主动脉根和冠脉的三维模型的观察角度与大小。

[0097] 具体地，可以从DSA设备的数据接口，或者从DSA图像中提取手术中实际的造影角度信息、空间分辨率、FOV、像素数量或图像比例尺信息，

[0098] 需要说明的是，从DSA图像中提取手术中实际的造影角度信息，具体可以采用传统的图像识别算法，或者选择人工智能算法，对此本发明实施例不做限定。

[0099] 获取DSA图像的造影角度后，自动调整主动脉根和冠脉的三维模型的观察角度，令三维模型的观察角度在空间上与手术中造影的角度保持一致。由于手术中患者躺卧的体位与手术前检查时可能不同，可由手术医生手动调整三维模型的观察角度。

[0100] 根据从DSA图像上获取的空间分辨率，或从FOV、像素数量或比例尺等计算得到的空间分辨率，自动调整主动脉根和冠脉的三维模型大小，令三维模型的空间分辨率与手术中DSA图像的空间分辨率保持一致。

[0101] 在步骤403，识别一个周期的手术中连续扫描DSA图像上瓣膜介入耗材上的两个关键点，并记录扫描周期内关键点的坐标序列。

[0102] 首先，利用DSA图像上瓣膜介入耗材与人体的像素值差异，识别图像中的瓣膜介入耗材，然后识别瓣膜介入耗材上凸起的两个标记点作为关键点，如图5所示，其中主动脉根部中的关键点为关键点1，左心室中的关键点为关键点2。

[0103] 需要说明的是，在实际应用中，也可以采用目标检测算法进行关键点的直接识别，例如传统目标检测算法或人工智能算法等。

[0104] 在该实施例中，以关键点随呼吸、心跳发生移动后，又回到原位置的过程为一个周期。当受到扫描设备等因素影响，无法满足该周期条件时，可采用至少一次完整呼吸过程作为一个周期。

[0105] 进一步地，还可对记录的关键点位置坐标序列进行滤波处理，过滤关键点因房颤等因素导致的关键点波动，以保留关键点移动的主要信息。

[0106] 步骤404，将调整后的主动脉根和冠脉的三维模型覆于连续扫描的DSA图像的第一帧图像上，得到融合图像。

[0107] 需要说明的是，在实际应用中，可根据医生的习惯，选择不透明、或者半透明的三维模型、或者三维模型的轮廓图像（只显示轮廓线）与DSA图像进行融合。采用不透明的三维模型可以更清晰地查看到融合后的三维模型，采用半透明的三维模型或三维模型的轮廓图像可以避免图像直接融合产生的图像遮挡问题。如图6、图7、图8分别示出了三维模型的不透明图像与手术中DSA图像的融合图像、三维模型的半透明图像与手术中DSA图像的融合图像、三维模型的轮廓图像与手术中DSA图像的融合图像。

[0108] 步骤405，根据所述关键点的坐标序列，调整融合图像上的主动脉根和冠脉三维模型的坐标、观察角度和形状，并记录扫描周期内主动脉根和冠脉三维模型的位置、观察角度和形状变化，得到三维模型的移动、旋转和形变的规律。

[0109] 基于步骤403中得到的关键点1的坐标序列，计算连续扫描的DSA图像上，每一帧DSA图像之间关键点1的位移方向和移动的距离；基于关键点1的位移方向和移动距离，更新融合图像上主动脉根和冠脉三维模型的坐标，得到三维模型的坐标序列；计算连续扫描的DSA图像上，三维模型位移的方向和移动距离的序列，即为三维模型周期性移动的规律。

[0110] 基于步骤403中得到的关键点1和关键点2的坐标序列，计算连续扫描的DSA图像上，每一帧上关键点1和关键点2之间的距离和方向，得到关键点1和关键点2之间的距离序列和相对方向变化序列；基于关键点1和关键点2之间的距离序列，计算每一帧DSA图像之间距离的变化值，得到距离变化序列。基于该距离变化序列，计算主动脉根和冠脉三维模型在每一帧DSA图像之间的观察角度的变化量和形变量，得到三维模型的观察角度变化量和形变量序列。

[0111] 基于三维模型的形变量序列，更新主动脉根和冠脉三维模型在每一帧DSA图像上的观察角度和形状，得到三维模型的观察角度序列和形状序列，即为三维模型周期性旋转和形变的规律。

[0112] 步骤406，识别手术中实时DSA图像上的瓣膜介入耗材关键点，根据该关键点在DSA图像上的实时位置，以及主动脉根和冠脉三维模型的位置、观察角度和形状变化，将主动脉根和冠脉的三维模型融合至手术中实时DSA图像上，并实时更新三维模型的位置、观察角度和形状。

[0113] 具体地，识别出手术中实时DSA图像上的关键点1和关键点2，并计算关键点的坐标位置；基于步骤403中得到的关键点序列，找到序列上与实时关键点坐标最相近的时间点；基于步骤405中得到的三维模型周期性移动、旋转和形变规律，找到所述时间点对应的三维模型坐标、观察角度和形状。然后，基于所述三维模型坐标、观察角度和形状，将三维模型融合至术中实时DSA图像中。然后，基于步骤405中得到的三维模型周期性移动、旋转和形变规律，更新融合后的DSA图像中三维模型的位置、观察角度与形状。

[0114] 需要说明的是，手术中实时DSA扫描设备与患者之间发生了平移时，需要重新识别实时DSA扫描图像上的瓣膜介入耗材关键点；基于步骤404中三维模型相对于关键点的距离和方向，以及关键点的实时坐标，重新计算三维模型在融合图像上的位置；基于平移前后的时间差和三维模型的新位置，以及步骤405中三维模型周期性移动、旋转和形变规律，更新三维模型的位置、观察角度和形态。

[0115] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。而且，以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的模块和单元可以是或者也可以不是物理上分开的，即可以位于一个网络单元上，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

[0116] 本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称的存储介质，如：ROM/RAM、磁碟、光盘等。

[0117] 相应地，本发明实施例还提供一种用于介入手术导航的装置，该装置是一种电子设备，比如，可以是移动终端、计算机、平板设备、个人数字助理等。所述电子设备可以包括一个或多个处理器、存储器；其中，所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现前面各实施例所述的方法。

[0118] 以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及装置，其仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围，本说明书内容不应理解为对本发明的限制。因此，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。