导管运动辅助方法、导管运动辅助系统及可读存储介质

摘要

本发明提供一种导管运动辅助方法、导管运动辅助系统及可读存储介质，所述导管运动辅助方法包括：采集导管的动态定位数据；建立支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象；配准所述导管虚拟模型与所述导管；将所述动态定位数据转换为表示所述导管虚拟模型在所述显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；显示拟合的所述图像信息。如此配置，通过采集导管的动态定位数据，可实时地获取导管的位姿，并将表示导管位姿的导管虚拟模型动态地展示在支气管虚拟模型上，使操作者可以直观地理解支气管镜的导航信息。

权利要求

1.一种导管运动辅助方法，其特征在于，包括：

采集导管的动态定位数据；

建立支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象；配准所述导管虚拟模型与所述导管；

将所述动态定位数据转换为表示所述导管虚拟模型在显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；

显示拟合的所述图像信息；

其中，在所述导管虚拟模型于所述支气管虚拟模型中沿规划路径行进过程中出现位姿异常时，发出警示信号；所述警示信号包括异常区域信息及异常区域的观察视点信息。

2.根据权利要求1所述的导管运动辅助方法，其特征在于，所述导管运动辅助方法还包括：识别并采集输入的交互指令；

将所述交互指令转换为驱动所述导管运动的驱动指令；

将所述驱动指令转换为机械控制信号，以驱动所述导管运动。

3.根据权利要求1所述的导管运动辅助方法，其特征在于，所述导管运动辅助方法还包括：根据医学影像对预定对象进行三维重建，以得到支气管虚拟模型；对导管进行三维重建，以得到导管虚拟模型；

根据所述支气管虚拟模型，基于预设算法，得到所述导管虚拟模型的规划路径；并根据所述规划路径，引导所述导管虚拟模型的运动方向。

4.根据权利要求1所述的导管运动辅助方法，其特征在于，所述导管运动辅助方法还包括：根据所述异常区域信息及异常区域的观察视点信息，在所述图像信息上标注或标记出所述异常区域及观察视点；

所述图像信息还包括以所述观察视点所观察得到的所述异常区域的局部放大图像。

5.根据权利要求4所述的导管运动辅助方法，其特征在于，所述异常区域和所述观察视点根据以下步骤确定：获取所述导管的可控弯段的近端的第一方向向量

获取所述导管的可控弯段的远端的第二方向向量

得到第一方向向量 与第二方向向量 所在平面α的第三方向向量 其中，以所述导管的可控弯段的近端为圆心，半径为r的圆形区域确定为所述异常区域；其中所述导管可控弯段的长度为L，r＝1.5L；

以所述导管可控弯段的近端为起始点，沿所述第三方向向量 找到距离d＝1.7r的位置O，确定为所述观察视点。

6.根据权利要求1所述的导管运动辅助方法，其特征在于，所述显示单元包括AR设备；

所述导管的动态定位数据由动态定位采集单元采集；在将所述动态定位数据转换为表示所述导管虚拟模型在显示单元坐标系下的位姿信息前，所述AR设备的显示坐标系与支气管虚拟模型坐标系的映射关系经标定；所述标定步骤包括：获取所述导管的动态定位数据，以得到支气管虚拟模型坐标系与动态定位采集单元的发生器坐标系之间的映射关系TCT→EM；

通过标定，获得所述动态定位采集单元的发生器坐标系和基准定位标记坐标系之间的映射关系TEM→Ref；

通过术中实时图像识别，计算得到所述基准定位标记坐标系和所述AR设备的显示坐标系之间的映射关系TRef→AR；

所述支气管虚拟模型坐标系基于映射关系TFinal＝TCT→EM*TEM→Ref*TRef→AR，转换至所述AR设备的显示坐标系下。

7.一种导管运动辅助系统，其特征在于，包括：动态定位采集单元、处理单元及显示单元；

所述动态定位采集单元用于采集导管的动态定位数据，并将所述动态定位数据发送给所述处理单元；

所述处理单元用于获取支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象，配准所述导管虚拟模型与所述导管；

所述处理单元还用于将所述动态定位数据转换为表示所述导管虚拟模型在所述显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；

所述显示单元用于显示拟合的所述图像信息；

其中，所述处理单元还包括警示模块，所述警示模块用于在所述导管虚拟模型于所述支气管虚拟模型中沿规划路径行进过程中出现位姿异常时，发出警示信号；所述警示信号包括异常区域信息及异常区域的观察视点信息。

8.根据权利要求7所述的导管运动辅助系统，其特征在于，所述导管运动辅助系统还包括：交互单元及导管控制单元；

所述交互单元用于识别并采集输入的交互指令，并发送至所述处理单元；

所述处理单元还用于将所述交互指令转换为驱动所述导管运动的驱动指令；

所述导管控制单元用于将所述驱动指令转换为机械控制信号，以驱动所述导管运动。

9.根据权利要求7所述的导管运动辅助系统，其特征在于，所述处理单元包括：建模模块及导航模块；

所述建模模块用于根据医学影像对预定对象进行三维重建，以得到支气管虚拟模型；

所述建模模块还用于对导管进行三维重建，以得到导管虚拟模型；

所述导航模块用于根据所述支气管虚拟模型，基于预设算法，得到所述导管虚拟模型的规划路径；并根据所述规划路径，引导所述导管虚拟模型的运动方向。

10.根据权利要求7所述的导管运动辅助系统，其特征在于，所述显示单元用于根据所述异常区域信息及异常区域的观察视点信息，在所述图像信息上标注或标记出所述异常区域及观察视点；所述显示单元还用于以所述观察视点的角度显示所述异常区域的局部放大图像。

11.根据权利要求7所述的导管运动辅助系统，其特征在于，所述动态定位采集单元包括：发生器和至少两个定位器，至少两个所述定位器沿所述导管的轴向间隔地布置于所述导管的可控弯段；

所述发生器分别与至少两个所述定位器通信连接，以获取至少两个所述定位器的位置数据；

所述动态定位采集单元根据至少两个所述定位器的位置数据得到所述导管的动态定位数据。

12.根据权利要求7所述的导管运动辅助系统，其特征在于，所述显示单元包括AR设备；

支气管虚拟模型坐标系通过动态定位采集单元的发生器坐标系及基准定位标记坐标系与所述AR设备的显示坐标系实现转换，以使所述AR设备所显示的图像信息与真实场景重合。

13.一种可读存储介质，其上存储有程序，其特征在于，所述程序运行时，实现根据权利要求1～6中任一项所述的导管运动辅助方法。

说明书

导管运动辅助方法、导管运动辅助系统及可读存储介质

技术领域

[0001] 本发明涉及医疗器械技术领域，特别涉及一种导管运动辅助方法、导管运动辅助系统及可读存储介质。

背景技术

[0002] 支导管检查是将细长的支导管经口或鼻置入患者的下呼吸道，即经过声门进入气管和支气管以及更远端，直接观察气管和支气管的病变，并根据病变进行相应的检查和治疗。

[0003] 支导管头部可弯曲，且固定有图像采集装置。医生手持支导管，通过图像实时观察支气管内的情况，控制支导管伸缩或弯曲，到达目标位置后进行检查和治疗。支气管结构复杂，分支众多，越接近末端，控制支导管的难度越高，手术风险越大。

[0004] 随着技术的发展，支导管规划导航系统应运而生。该系统能够提前规划好手术路径并虚拟显示支导管进入各级支气道并到达病灶的过程，帮助医生在术中环节提高到达病灶的准确性和活检诊断率，节省操作时间，降低操作风险。

[0005] 然而，目前利用支导管规划导航系统手术过程中基于导航路径的导管运动只能通过二维图像的形式展示，与真实手术场景分离，导航信息不易理解，缺乏直观性。除此之外，遇到情况较为复杂的导航路径时，医生通过手持控制器控制导管运动的难度较高，易影响手术的正常进行，其中包括在碰触组织时，不易获得直观感受。

发明内容

[0006] 本发明的目的在于提供一种导管运动辅助方法、导管运动辅助系统及可读存储介质，以解决现有的支气管镜导航信息不易理解，缺乏直观性的问题。

[0007] 为解决上述技术问题，本发明提供一种导管运动辅助方法，其包括：采集导管的动态定位数据；

[0008] 建立支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象；配准所述导管虚拟模型与所述导管；

[0009] 将所述动态定位数据转换为表示所述导管虚拟模型在显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；

[0010] 显示拟合的所述图像信息。

[0011] 可选的，所述导管运动辅助方法还包括：

[0012] 识别并采集输入的交互指令；

[0013] 将所述交互指令转换为驱动所述导管运动的驱动指令；

[0014] 将所述驱动指令转换为机械控制信号，以驱动所述导管运动。

[0015] 可选的，所述导管运动辅助方法还包括：

[0016] 根据医学影像对预定对象进行三维重建，以得到支气管虚拟模型；对导管进行三维重建，以得到导管虚拟模型；

[0017] 根据所述支气管虚拟模型，基于预设算法，得到所述导管虚拟模型的规划路径；并根据所述规划路径，引导所述导管虚拟模型的运动方向。

[0018] 可选的，所述导管运动辅助方法还包括：

[0019] 在所述导管虚拟模型沿所述规划路径行进过程中出现位姿异常时，发出警示信号。

[0020] 可选的，在所述导管运动辅助方法中，所述警示信号包括异常区域信息及异常区域的观察视点信息；所述导管运动辅助方法还包括：

[0021] 根据所述异常区域信息及异常区域的观察视点信息，在所述图像信息上标注或标记出所述异常区域及观察视点；

[0022] 所述图像信息还包括以所述观察视点所观察得到的所述异常区域的局部放大图像。

[0023] 可选的，在所述导管运动辅助方法中，所述异常区域和所述观察视点根据以下步骤确定：

[0024] 获取所述导管的可控弯段的近端的第一方向向量

[0025] 获取所述导管的可控弯段的远端的第二方向向量

[0026] 得到第一方向向量 与第二方向向量 所在平面α的第三方向向量 其中，[0027]

[0028] 以所述导管的可控弯段的近端为圆心，半径为r的圆形区域确定为所述异常区域；其中所述导管可控弯段的长度为L，r＝1.5L；

[0029] 以所述导管可控弯段的近端为起始点，沿所述第三方向向量 找到距离d＝1.7r的位置O，确定为所述观察视点。

[0030] 可选的，在所述导管运动辅助方法中，所述显示单元包括AR设备；所述导管的动态定位数据由动态定位采集单元采集；在将所述动态定位数据转换为表示所述导管虚拟模型在显示单元坐标系下的位姿信息前，所述AR设备的显示坐标系与支气管虚拟模型坐标系的映射关系经标定；所述标定步骤包括：

[0031] 获取所述导管的动态定位数据，以得到支气管虚拟模型坐标系与动态定位采集单元的发生器坐标系之间的映射关系TCT→EM；

[0032] 通过标定，获得所述动态定位采集单元的发生器坐标系和基准定位标记坐标系之间的映射关系TEM→Ref；

[0033] 通过术中实时图像识别，计算得到所述基准定位标记坐标系和所述AR设备的显示坐标系之间的映射关系TRef→AR；

[0034] 所述支气管虚拟模型坐标系基于映射关系TFinal＝TCT→EM*TEM→Ref*TRef→AR，转换至所述AR设备的显示坐标系下。

[0035] 为解决上述技术问题，本发明还提供一种导管运动辅助系统，其包括：动态定位采集单元、处理单元及显示单元；

[0036] 所述动态定位采集单元用于采集导管的动态定位数据，并将所述动态定位数据发送给所述处理单元；

[0037] 所述处理单元用于获取支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象，配准所述导管虚拟模型与所述导管；

[0038] 所述处理单元还用于将所述动态定位数据转换为表示所述导管虚拟模型在所述显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；

[0039] 所述显示单元用于显示拟合的所述图像信息。

[0040] 可选的，所述导管运动辅助系统还包括：交互单元及导管控制单元；

[0041] 所述交互单元用于识别并采集输入的交互指令，并发送至所述处理单元；

[0042] 所述处理单元还用于将所述交互指令转换为驱动所述导管运动的驱动指令；

[0043] 所述导管控制单元用于将所述驱动指令转换为机械控制信号，以驱动所述导管运动。

[0044] 可选的，在所述导管运动辅助系统中，所述处理单元包括：建模模块及导航模块；

[0045] 所述建模模块用于根据医学影像对预定对象进行三维重建，以得到支气管虚拟模型；所述建模模块还用于对导管进行三维重建，以得到导管虚拟模型；

[0046] 所述导航模块用于根据所述支气管虚拟模型，基于预设算法，得到所述导管虚拟模型的规划路径；并根据所述规划路径，引导所述导管虚拟模型的运动方向。

[0047] 可选的，在所述导管运动辅助系统中，所述处理单元还包括警示模块；

[0048] 所述警示模块用于在所述导管虚拟模型沿所述规划路径行进过程中出现位姿异常时，发出警示信号。

[0049] 可选的，在所述导管运动辅助系统中，所述警示信号包括异常区域信息及异常区域的观察视点信息；

[0050] 所述显示单元用于根据所述异常区域信息及异常区域的观察视点信息，在所述图像信息上标注或标记出所述异常区域及观察视点；所述显示单元还用于以所述观察视点的角度显示所述异常区域的局部放大图像。

[0051] 可选的，在所述导管运动辅助系统中，所述动态定位采集单元包括：发生器和至少两个定位器，至少两个所述定位器沿所述导管的轴向间隔地布置于所述导管的可控弯段；

[0052] 所述发生器分别与至少两个所述定位器通信连接，以获取至少两个所述定位器的位置数据；

[0053] 所述动态定位采集单元根据至少两个所述定位器的位置数据得到所述导管的动态定位数据。

[0054] 可选的，在所述导管运动辅助系统中，所述显示单元包括AR设备；

[0055] 支气管虚拟模型坐标系通过动态定位采集单元的发生器坐标系及基准定位标记坐标系与所述AR设备的显示坐标系实现转换，以使所述AR设备所显示的图像信息与真实场景重合。

[0056] 为解决上述技术问题，本发明还提供一种可读存储介质，其上存储有程序，所述程序运行时，实现如上所述的导管运动辅助方法。

[0057] 综上所述，本发明提供的导管运动辅助方法、导管运动辅助系统及可读存储介质中，所述导管运动辅助方法包括：采集导管的动态定位数据；建立支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象；配准所述导管虚拟模型与所述导管；将所述动态定位数据转换为表示所述导管虚拟模型在所述显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；显示拟合的所述图像信息。

[0058] 如此配置，通过采集导管的动态定位数据，可实时地获取导管的位姿，并将表示导管位姿的导管虚拟模型动态地展示在支气管虚拟模型上，使操作者可以直观地理解支气管镜的导航信息。

附图说明

[0059] 本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

[0060] 图1是本发明实施例的导管运动辅助系统的应用场景的示意图；

[0061] 图2是本发明实施例的支气管镜的导管的可控弯段的示意图；

[0062] 图3是本发明实施例的导管运动辅助系统的模块框图；

[0063] 图4是本发明实施例的动态定位采集单元的示意图；

[0064] 图5是本发明实施例的交互指令控制导管运动的流程图；

[0065] 图6是本发明实施例的交互单元采集交互指令的流程图；

[0066] 图7a、图7b是本发明实施例的呼吸周期变化模型的示意图；

[0067] 图8是本发明实施例的位姿异常处理步骤的流程图；

[0068] 图9是本发明实施例的运动异常时处理计算的示意图；

[0069] 图10是本发明实施例的导管路径偏航的显示图；

[0070] 图11是本发明实施例的导管过度弯曲的显示图；

[0071] 图12是本发明实施例的处理单元的处理流程图；

[0072] 图13是本发明实施例的AR设备的示意图；

[0073] 图14是本发明实施例的映射关系标定的示意图。

[0074] 附图中：

[0075] 11‑机械臂台车；12‑机械臂；31‑手术床；32‑基准定位标记；41‑手术对象；51‑图像导航台车；52‑显示器；60‑支气管镜；61‑导管；62‑可控弯段；63‑图像采集装置；

[0076] 100‑动态定位采集单元；110‑发生器；120‑定位器；200‑处理单元；300‑显示单元；310‑AR设备；400‑交互单元；500‑导管控制单元；801‑规划路径；802‑异常区域的局部放大图像；803‑导管虚拟模型的实际位姿；804‑异常区域在支气管虚拟模型上的位置；805‑观察视点；

具体实施方式

[0077] 为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

[0078] 如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，术语“近端”通常是靠近操作者的一端，术语“远端”通常是靠近患者即靠近病灶的一端，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0079] 本发明的目的在于提供一种导管运动辅助方法、导管运动辅助系统及可读存储介质，以解决现有的支气管镜导航信息不易理解，缺乏直观性的问题。

[0080] 下面结合附图进行描述。

[0081] 请参考图1至图14，其中，图1是本发明实施例的导管运动辅助系统的应用场景的示意图；图2是本发明实施例的支气管镜的导管的可控弯段的示意图；

[0082] 图3是本发明实施例的导管运动辅助系统的模块框图；图4是本发明实施例的动态定位采集单元的示意图；图5是本发明实施例的交互指令控制导管运动的流程图；图6是本发明实施例的交互单元采集交互指令的流程图；图7a、图7b是本发明实施例的呼吸周期变化模型的示意图；图8是本发明实施例的位姿异常处理步骤的流程图；图9是本发明实施例的运动异常时处理计算的示意图；

[0083] 图10是本发明实施例的导管路径偏航的显示图；图11是本发明实施例的导管过度弯曲的显示图；图12是本发明实施例的处理单元的处理流程图；图13是本发明实施例的AR设备的示意图；图14是本发明实施例的映射关系标定的示意图。

[0084] 本发明实施例提供一种导管运动辅助方法和导管运动辅助系统，图1示范性地示出了本实施例提供的导管运动辅助系统的一个应用场景，该应用场景为支气管镜手术机器人系统，其包括：机械臂台车11、机械臂12及手术床31，机械臂12设置在机械臂台车11，机械臂12的远端装设有支气管镜60。在控制装置的控制驱动下，机械臂台车11和机械臂12能够驱动支气管镜60运动，以对手术床31上的手术对象41执行支气管镜手术。可理解的，支气管镜60一般包括导管61和采样器械(未图示)等，请参考图2，导管61的远端部分具有可控弯段62，可控弯段62的远端设置有图像采集装置63(如摄像头)，其用于采集支气管内的图像。在机械臂12的驱动下，可控弯段62可以实现伸缩或任意方向弯曲等运动。进而随着机械臂12的驱动，导管61能够伸入手术对象41的支气管，到达预定的目标位置，采样器械(如采样钳、采样针或采样刷)可以经导管61到达目标位置进行采样操作。优选的，支气管镜手术机器人系统还包括图像导航台车51及设置在其上的显示器52，显示器52如可显示图像采集装置63所拍摄的图像、导航信息或术前的医学影像等内容。

[0085] 为解决现有的支气管镜导航信息不易理解，缺乏直观性的问题，本实施例提供的导管运动辅助方法包括：

[0086] 步骤SA1：采集导管61的动态定位数据；

[0087] 步骤SA2：建立支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象；配准所述导管虚拟模型与所述导管；

[0088] 步骤SA3：将所述动态定位数据转换为表示所述导管虚拟模型在显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；

[0089] 步骤SA4：显示拟合的所述图像信息。

[0090] 请参考图3，本实施例提供的导管运动辅助系统包括：动态定位采集单元100、处理单元200及显示单元300(其可以是前述的显示器52，也可以是后文所述的AR设备310等)；所述动态定位采集单元100用于采集导管61的动态定位数据，并将所述动态定位数据发送给所述处理单元200；所述处理单元200用于获取支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象，配准所述导管虚拟模型与所述导管；所述处理单元200还用于将所述动态定位数据转换为表示所述导管虚拟模型在所述显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；所述显示单元300用于显示拟合的所述图像信息。

[0091] 如此配置，通过采集导管61的动态定位数据，可实时地获取导管61的位姿，并将表示导管61位姿的导管虚拟模型动态地展示在支气管虚拟模型上，使操作者可以直观地理解支气管镜的导航信息。

[0092] 请参考图1、图2和图4，可选的，所述动态定位采集单元100包括：发生器110和至少两个定位器120，至少两个所述定位器120沿所述导管61的轴向间隔地布置于所述导管61的可控弯段62；所述发生器110分别与至少两个所述定位器120通信连接，以获取至少两个所述定位器120的位置数据；所述动态定位采集单元100根据至少两个所述定位器120的位置数据得到所述导管61的动态定位数据。在图2示出的示范例中，动态定位采集单元100包括两个定位器120，两个定位器120间隔地布置于可控弯段62的近端和远端。如图4所示，若导管61的可控弯段62位于发生器110的有效区域内，则可获得定位器120在发生器坐标系PEM中的位姿数据，从而计算出导管61的动态定位数据。进一步的，根据导管61的动态定位数据即可得到导管61在发生器坐标系PEM中的实时的位姿。

[0093] 进一步的，所述导管运动辅助方法还包括：

[0094] 步骤SB1：识别并采集输入的交互指令；

[0095] 步骤SB2：将所述交互指令转换为驱动所述导管运动的驱动指令；

[0096] 步骤SB3：将所述驱动指令转换为机械控制信号，以驱动所述导管运动。

[0097] 请参考图5，所述导管运动辅助系统还包括：交互单元400及导管控制单元500；所述交互单元400用于识别并采集输入的交互指令，并发送至所述处理单元200；所述处理单元200还用于将所述交互指令转换为驱动所述导管61运动的驱动指令；所述导管控制单元500用于将所述驱动指令转换为机械控制信号，以驱动所述导管61运动。导管控制单元500如可与机械臂12的控制装置集成设置，导管控制单元500将所述驱动指令转换为机械控制信号后，可通过机械臂12实现对导管61的运动进行控制。

[0098] 可选的，交互单元400包括输入装置(如键盘、鼠标、或利用带触摸输入的显示器52)，请参考图6，交互单元400可根据操作指令库的指令模板(如通过显示单元300显示)采集用户指令的特征点，建立个人特征库。这里的特征点包括但不限于语音指令或手势指令。
在一个示范例中，指令模板如可显示待朗读的文字，特征点为用户朗读该文字的语音中所包含的声纹信息。交互单元400通过采集用户朗读该文字的语音，获得声纹信息。在操作者通过交互单元400输入交互指令前，交互单元400还校验用户指令的特征点，校验通过后才能被识别为交互指令。若校验不通过，则可通过指令采集装置采集用户指令的特征点，并返回重新校验。

[0099] 可选的，所述处理单元200还包括：建模模块及导航模块；所述建模模块用于根据医学影像(主要指手术对象的二维医疗影像，如CT影像或者MRI影像)对预定对象(如手术对象的肺部)进行三维重建，以得到支气管虚拟模型；

[0100] 相适配的，所述导管运动辅助方法还包括：

[0101] 步骤SC1：根据医学影像对预定对象进行三维重建，以得到支气管虚拟模型；对导管61进行三维重建，以得到导管虚拟模型；

[0102] 步骤SC2：根据所述支气管虚拟模型，基于预设算法，得到所述导管虚拟模型的规划路径；并根据所述规划路径，引导所述导管虚拟模型的运动方向。

[0103] 建模模块在获取医学影像之后，可以通过选择不同的灰度阈值区分不同类型的组织(例如心脏、胸骨、肺部支气管等)，进而通过三维重建算法将希望重建的组织进行三维重建，以得到支气管虚拟模型。三维重建算法如可为多层面重建(MPR)算法，当然本领域技术人员还可根据现有技术，选择其它的三维重建算法。

[0104] 优选的，所述支气管虚拟模型包括呼吸周期变化模型。由于人体在呼吸时会使胸腹部产生周期性的扩张收缩，因此在组织建模完成之后，还优选对组织进行呼吸运动建模，得到呼吸周期变化模型，以使其更接近真实手术中病人的状态。图7a和图7b示出了呼吸周期变化模型的一个示范例，其中图7a示出了人体在吸气状态下，肺部组织体积增大，气道和气道之间的距离变大而且气道直径本身也会发生扩张；图7b示出了人体在呼气状态下，肺部组织体积缩小，气道之间的距离变小，气道直径收缩。目标结节也会随着呼吸运动呈现出规律的往复运动。

[0105] 在一些实施例中，所述呼吸周期变化模型基于多组所述医学影像，通过插值关键点得到。具体的，在术前可以拍摄手术对象在正常呼吸状态下的多组医学影像(如CT影像或MRI影像)，然后在每一组医学影像上标记关键点，关键点的选择标准如可选取肺部支气管较大且易于分辨的分叉节点，例如主气道窿突点，左、右主气道第一级分叉点等等，进而将多组医学影像上的相同的关键点按照所处呼吸周期上的时间进行排列，得到这个关键点在空间和时间上的一个变化曲线，因为无法保证在手术对象呼吸时等间隔地采集医学影像，因此需对变化曲线做插值，尽可能保证在等间距和等时距的地方都有关键点存在，同理可应用于所有的关键点，又根据关键点和气道模型之间的结构关系可以重建出一组在空间和时间上周期变化的气道模型，由此即得到呼吸周期变化模型。

[0106] 在另一些实施例中，所述呼吸周期变化模型基于肺叶的体积与时间对应式得到。具体的，可通过评估各个肺叶的整体体积随呼吸周期变化得到一个体积与时间的对应式，进而即可将各组织的三维模型按照不同周期时的体积比直接计算模型的变化量，由于肺叶内的气道跟随肺叶体积变化而变化，由此可得到一组在空间和时间上周期变化的气道模型，即得到呼吸周期变化模型。

[0107] 所述建模模块还用于对导管61进行三维重建，以得到导管虚拟模型；进一步的，处理单元200能够将导管虚拟模型与真实的导管61进行配准，将支气管虚拟模型与预定对象(如手术对象真实的支气管)进行配准，使得支气管虚拟模型与真实的支气管相对应，导管虚拟模型与真实的导管61相对应，分别产生映射关系。在完成配准后，使导管虚拟模型和支气管虚拟模型两者能够在同一坐标系下进行表示。

[0108] 所述导航模块用于根据所述支气管虚拟模型，基于预设算法，得到所述导管虚拟模型的规划路径；并根据所述规划路径，引导所述导管虚拟模型的运动方向。由于导管虚拟模型与真实的导管61经处理单元200的配准，两者是相互映射一一对应的，因此引导导管虚拟模型的运动方向亦即引导导管61的运动方向。

[0109] 优选的，所述预设算法包括骨架化算法。在得到支气管虚拟模型之后，在一些实施例中可以通过骨架化算法进一步提取肺部气道的拓扑结构，以实现路径规划。骨架化是使用中轴变换来描述物体拓扑结构的一种方法，可以对物体形状进行描述，通过骨架化算法可以得到支气管的各级分叉点的空间坐标并按顺序标记。可选的，骨架化算法包括但不限于拓扑细化法、距离场法和广义势场法中，本领域技术人员可根据现有技术对骨架化算法的具体原理进行理解，本发明对此不作展开说明。在本实施例中，无论使用哪一种具体算法均可以得到满足计算要求的拓扑结构。

[0110] 可选的，所述预设算法还包括最短路径搜索算法。在得到支气管的拓扑结构后，可通过最短路径搜索算法来计算得到导管虚拟模型的规划路径。可选的，在得到支气管的拓扑结构后，可标记出目标结节的位置作为规划路径的终点，规划路径的起始点如可定在主气道内的任意一点。在一些实施例中，目标结节可由医生指定，规划路径的起始点也可由医生指定。在设定规划路径的起始点和终点后，通过最短路径搜索算法，即可得到规划路径。可选的，最短路径搜索算法包括但不限于深度优先搜索法、广度优先搜索法和Dijkstra算法，本领域技术人员可根据现有技术对最短路径搜索算法的具体原理进行理解，本发明对此不作展开说明。

[0111] 可选的，所述导管运动辅助方法还包括：在所述导管虚拟模型沿所述规划路径行进过程中出现位姿异常时，发出警示信号。可选的，所述处理单元200还包括警示模块；所述警示模块用于在所述导管虚拟模型沿所述规划路径行进过程中出现位姿异常时，发出警示信号。这里的位姿异常，包括但不限于过度弯曲、路径偏航、运动过速等。可以理解的，当导管虚拟模型出现位姿异常时，代表实际的导管61亦相应地产生了位姿异常，警示模块即发出警示信号，以提示操作者。例如可在显示单元300上提示异常信息。

[0112] 在一个可替代的示范例中，所述警示信号包括异常区域信息及异常区域的观察视点信息；异常区域信息如包括异常区域的坐标、大小范围等信息，异常区域的观察视点信息如包括观察视点的坐标、方向、视角大小等信息。所述显示单元用于根据所述异常区域信息及异常区域的观察视点信息，在所述图像信息上标注或标记出所述异常区域及观察视点；所述图像信息还包括以所述观察视点所观察得到的所述异常区域的局部放大图像；所述显示单元300还用于以所述观察视点的角度显示所述异常区域的局部放大图像。

[0113] 请参考图8和图9，所述异常区域和所述观察视点根据以下步骤确定：

[0114] 获取所述导管的可控弯段62的近端A的第一方向向量 该步骤如可由获取位于可控弯段62近端的定位器120的位姿数据来得到。

[0115] 获取所述导管的可控弯段62的远端B的第二方向向量 该步骤如可由获取位于可控弯段62远端的定位器120的位姿数据来得到。

[0116] 得到第一方向向量 与第二方向向量 所在平面α的第三方向向量 其中，[0117] 以所述导管的可控弯段62的近端A为圆心，半径为r的圆形区域α′确定为所述异常区域；其中所述导管的可控弯段62的长度为L，r＝1.5L；

[0118] 以所述导管可控弯段的近端为起始点，沿所述第三方向向量 找到距离d＝1.7r的位置O，确定为所述观察视点。

[0119] 在得到异常区域和观察视点后，警示模块可在支气管虚拟模型上标注或标记出异常区域和观察视点，在对异常区域进行放大，输出至显示单元300进行显示。

[0120] 请参考图10和图11，其中，图10示出了导管路径偏航的示范例，图11示出了导管过度弯曲的示范例。其中，显示单元300所显示的内容包括：规划路径801、异常区域的局部放大图像802、导管虚拟模型的实际位姿803、异常区域在支气管虚拟模型上的位置804以及观察视点805。可以理解的，异常区域的局部放大图像802是以观察视点805为视点所观察到的图像。如此配置，当导管61的运动出现异常情况时，显示单元300能以直观的方式展示异常情况，并通过警示模块提供警示信号，有助于操作者及时发现问题并作出调整。

[0121] 请参考图12，其示出了处理单元200的处理流程。

[0122] 请参考图13，所述显示单元300包括AR设备310；支气管虚拟模型坐标系PCT通过动态定位采集单元的发生器坐标系PEM及基准定位标记坐标系PRef与所述AR设备的显示坐标系PAR实现转换，以使所述AR设备所显示的图像信息与真实场景重合。

[0123] 可选的，在将所述动态定位数据转换为表示所述导管虚拟模型在显示单元坐标系下的位姿信息前，所述AR设备310的显示坐标系与支气管虚拟模型坐标系的映射关系经标定。如图14所示，所述AR设备的显示坐标系与支气管虚拟模型坐标系的映射关系标定步骤包括：

[0124] 获取所述导管的动态定位数据，以得到支气管虚拟模型坐标系PCT与动态定位采集单元的发生器坐标系PEM之间的映射关系TCT→EM；这一步骤如可通过遍历真实的支气管采集导管61的动态定位数据的方式来计算。具体的，可通过控制导管61在真实的支气管中运动，通过动态定位采集单元100采集导管61的动态定位数据，可获知导管61在发生器坐标系下的坐标，根据导管61在真实的支气管中运动的反馈，通过遍历的方式，可以建立支气管虚拟模型坐标系PCT与动态定位采集单元的发生器坐标系PEM之间的映射关系。

[0125] 通过标定，获得所述动态定位采集单元的发生器坐标系PEM和基准定位标记坐标系PRef之间的映射关系TEM→Ref；该步骤如可于术前进行，基准定位标记32可以是手术场景中的一个参考标记。

[0126] 通过术中实时图像识别，计算得到所述基准定位标记坐标系PRef和所述AR设备的显示坐标系PAR之间的映射关系TRef→AR；

[0127] 所述支气管虚拟模型坐标系PCT基于映射关系TFinal转换至所述AR设备的显示坐标系PAR下，TFinal＝TCT→EM*TEM→Ref*TRef→AR。其中，T是指平移矩阵，*是指矩阵相乘。

[0128] 由此，AR设备310上即可显示支气管虚拟模型，且AR设备310所显示的图像信息与真实场景相重合，即图像信息中所表达的支气管虚拟模型与实际的支气管相重合，图像信息中所表达的导管虚拟模型与实际的导管61相重合，操作者通过交互单元400输入交互指令后，驱动导管61运动的同时，导管虚拟模型也会相应地同步显示，视野更佳，便于导管61能准确地按照规划路径行进至目标位置。

[0129] 进一步的，本发明实施例还提供一种可读存储介质，其上存储有程序，所述程序运行时，实现如上所述的导管运动辅助方法。该可读存储介质可独立设置，也可以集成设置于导管运动辅助系统中，本发明对此不限。

[0130] 综上所述，本发明提供的导管运动辅助方法、导管运动辅助系统及可读存储介质中，所述导管运动辅助方法包括：采集导管的动态定位数据；建立支气管虚拟模型和导管虚拟模型，配准所述支气管虚拟模型与预定对象；配准所述导管虚拟模型与所述导管；将所述动态定位数据转换为表示所述导管虚拟模型在所述显示单元坐标系下的位姿信息，进而结合所述支气管虚拟模型在所述显示单元坐标系下的位姿信息，拟合成图像信息；显示拟合的所述图像信息。如此配置，通过采集导管的动态定位数据，可实时地获取导管的位姿，并将表示导管位姿的导管虚拟模型动态地展示在支气管虚拟模型上，使操作者可以直观地理解支气管镜的导航信息。

[0131] 需要说明的，上述若干实施例之间可相互组合。上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。