本发明公开了一种用于手术导航的多层次交互可视化方法。本发明方法步骤如下：首先获取医学影像设备输出的多模态二维影像数据，对多模态二维影像数据进行预处理，获得组织器官图像；然后对组织器官图像二维组织器官图像进行三维重建，得到组织器官和病灶位置的3D模型文件并传输至客户端；客户端解析3D模型文件获得轮廓模型；选择3D模型中的感兴趣区域并对其进行清晰渲染，定义高危组织模型并染色，最后通过AR模块，将轮廓模型与渲染后的3D模型叠加至真实世界患者的对应位置，并在移动终端上显示辅助信息。本发明方法能够帮助医生在手术过程中根据手术路径实时追踪并分层次显示病灶部位周围组织器官，减缓医生压力、提高其手术成功率的效果。
1.一种用于手术导航的多层次交互可视化系统，其特征在于包括图像预处理模块、三维重建模块、解析显示模块、用户交互模块、AR辅助显示模块；
图像预处理模块，用于根据医学影像设备输出的多模态二维影像数据，通过降噪、压缩、分割、配准、融合的技术对图像进行预处理；
三维重建模块，用于预处理后的二维影像数据，通过三维重建的技术生成对应的三维影像模型；
解析显示模块，用于在客户端解析生成的三维影像数据和二维影像数据，并进行显示；
用户交互模块，用于根据医护人员的交互指令，对二维医学影像数据及三维医学影像模型进行交互操作；
AR辅助显示模块，用于将三维模型叠加至真实世界患者的对应位置，同时提供辅助信息显示，包括手术器械尖端与手术路径的偏移值，手术器械尖端与高危组织模型的距离及危险预警；
所述的医护人员的交互指令，具体为对二维及三维图像的旋转、平移、缩放、透明度调节、染色，以及对三维模型感兴趣区域的选取；
步骤(1).获取医学影像设备输出的多模态二维影像数据，所述的多模态二维影像数据包括CT、MRI、DR、CTA、PET图像；
步骤(2).通过服务器端对多模态二维影像数据进行预处理，获得组织器官图像，将组织器官图像进行压缩处理获得压缩后的组织器官图像；
步骤(3).对组织器官图像与压缩后的组织器官图像分别进行三维重建，得到包含组织器官和病灶位置的3D模型文件与模糊3D模型文件并传输至客户端；
步骤(4).客户端通过XTK框架识别vtk格式的模糊3D模型文件，解析模糊3D模型文件中的坐标数据，通过WebGL进行面绘制，获得轮廓模型；
步骤(5).通过术前规划的手术路径及用户的交互操作对步骤(3)所述的3D模型文件中的感兴趣区域进行选择并对所述感兴趣区域进行渲染，获得渲染后的3D模型；
步骤(6).通过AR模块，将轮廓模型与渲染后的3D模型叠加至真实世界患者的对应位置，并在移动终端上显示辅助信息；
所述图像预处理操作通过3D Slicer软件完成，将多模态二维影像数据导入3D Slicer软件中，使用3D Slicer软件的降噪模块对图像进行降噪，使用3D Slicer软件的分割模块对图像进行分割，可采取阈值分割或手动分割方式，使用3D Slicer软件的配准模块对同一患者不同模态分割后的图像进行配准，使用3D Slicer软件的融合模块对配准后的图像进行融合获得组织器官图像，使用3D Slicer软件的压缩模块对组织器官图像进行压缩获得压缩后的组织器官图像；
通过3D Slicer软件完成三维重建，使用vtk环境下的重构技术，即3D Slicer软件中的volume模块分别对组织器官图像与压缩后的组织器官图像进行绘制，生成可用的vtk格式三维模型，然后对vtk格式三维模型进行人工处理，完善组织器官及病灶，获得的包含组织器官和病灶位置的3D模型文件与模糊3D模型文件；
所述的用户的交互操作通过调用外部的图像处理接口实现三维模型的旋转、平移、缩放、透明度调节、染色；所述的感兴趣区域为手术器械尖端前方的圆柱体区域，且随着手术器械的移动进行实时更新，首先由AR.JS框架通过maker识别获得手术器械尖端位置的坐标，然后通过maker坐标与器械尖端的坐标连线延长并沿器械尖端方向以及预先设定的深度和半径确定前方圆柱体区域即感兴趣区域，然后提取所述感兴趣区域内3D模型的体数据，通过WebGL对提取的体数据进行渲染显示，定义高危组织模型并染色，获得渲染后的3D模型；
所述的AR模块，采用基于Web的AR.JS框架进行构建，通过blender软件将轮廓模型与渲染后的3D模型从vtk格式转换为dae格式，然后上传至可视化平台，通过移动设备进行显示；
通过maker标记确定真实世界患者的病灶坐标信息，将所述病灶坐标信息同轮廓模型以及渲染后的3D模型在真实世界坐标系下进行对应，通过坐标转换的方式，将轮廓模型以及渲染后的3D模型显示在真实世界患者的对应位置，将虚拟影像和显示画面叠加在一起，并在移动终端上显示辅助信息；
所述的辅助信息包括手术器械尖端与手术路径的偏移值和手术器械尖端与高危组织模型的距离及危险预警；
所述的手术器械尖端与手术路径的偏移值为手术器械尖端的实时坐标与手术路径间的最小距离；所述手术器械尖端与高危组织模型的距离及危险预警，为手术器械尖端的实时坐标与高危组织模型之间的最小距离，并设定阈值T，当最小距离小于等于T时移动终端将发出警报并在显示危险预警标识。
一种用于手术导航的多层次交互可视化方法
技术领域
[0001] 本发明涉及医学图像处理、人工智能、医学影像可视化技术领域，具体涉及一种用于手术导航的多层次交互可视化方法。
背景技术
[0002] 随着计算机图形学技术的发展，人们对三维信息的需求与日俱增，三维可视化技术也迅速发展，而其在医学影像领域的应用也越加广泛。近几年，针对医疗领域的3D可视化平台层出不穷。但现有的可视化平台因传输速度、文件大小、渲染效果等方方面面的原因，特别是在移动端方面存在许多缺陷，比如移动端算力不足、渲染缓慢，导致在应用场景上有着很大的局限性。且其中大部分仅提供术前影像的查看或是针对术前的手术规划，在手术过程中无法提供帮助。而新兴的增强现实(AR)技术使得术前规划信息在手术过程实时呈现给医生成为可能，但目前用于AR手术的可视化平台还不完善。在手术过程中，现有的医学影像可视化平台很少能够提供病灶部位的辅助呈现，医生在手术过程中对肿瘤位置只能靠对术前影像分析后的推断，这就更考究医生本身的经验和技术。
发明内容
[0003] 针对现有技术存在的不足，本发明提供一种用于手术导航的多层次交互可视化方法，其应用场景主要分为术前和术中两个阶段。在术前阶段在PC端提供多模态图像的预处理，以及三维重建，渲染，并在此基础上进行手术路径的规划；在术中阶段通过结合AR技术进行三维模型的辅助呈现，达到更为直观的效果。考虑术中场景的具体情况，使用移动设备进行显示更为方便快捷，通过两个阶段相结合，最终对手术实施达到一个精确辅助的效果。
[0004] 一种用于手术导航的多层次交互可视化方法，步骤如下：
[0005] 步骤(1).获取医学影像设备输出的多模态二维影像数据，所述的多模态二维影像数据包括CT、MRI、DR、CTA、PET图像；
[0006] 步骤(2).通过服务器端对多模态二维影像数据进行预处理，获得组织器官图像，将组织器官图像进行压缩处理获得压缩后的组织器官图像；
[0007] 步骤(3).对组织器官图像与压缩后的组织器官图像分别进行三维重建，得到包含组织器官和病灶位置的3D模型文件与模糊3D模型文件并传输至客户端；
[0008] 步骤(4).客户端通过XTK框架识别vtk格式的模糊3D模型文件，解析模糊3D模型文件中的坐标数据，通过WebGL进行面绘制，获得轮廓模型。
[0009] 步骤(5).通过术前规划的手术路径及用户的交互操作对步骤(3)所述的3D模型文件中的感兴趣区域进行选择并对所述感兴趣区域进行渲染，获得渲染后的3D模型。
[0010] 步骤(6).通过AR模块，将轮廓模型与渲染后的3D模型叠加至真实世界患者的对应位置，并在移动终端上显示辅助信息。
[0011] 步骤(2)具体方法如下：
[0012] 所述图像预处理操作通过3D Slicer软件完成，将多模态二维影像数据导入3D Slicer软件中，使用3D Slicer软件的降噪模块对图像进行降噪，使用3D Slicer软件的分割模块对图像进行分割，可采取阈值分割或手动分割方式，使用3D Slicer软件的配准模块对同一患者不同模态分割后的图像进行配准，使用3D Slicer软件的融合模块对配准后的图像进行融合获得组织器官图像，使用3D Slicer软件的压缩模块对组织器官图像进行压缩获得压缩后的组织器官图像。
[0013] 步骤(3)具体方法如下：
[0014] 通过3D Slicer软件完成三维重建，使用vtk环境下的重构技术，即3D Slicer软件中的volume模块分别对组织器官图像与压缩后的组织器官图像进行绘制，生成可用的vtk格式三维模型，然后对vtk格式三维模型进行人工处理，完善组织器官及病灶，获得的包含组织器官和病灶位置的3D模型文件与模糊3D模型文件。
[0015] 步骤(5)具体方法如下：
[0016] 所述的用户的交互操作通过调用外部的图像处理接口实现三维模型的旋转、平移、缩放、透明度调节、染色；所述的感兴趣区域为手术器械尖端前方的圆柱体区域，且随着手术器械的移动进行实时更新，首先由AR.JS框架通过maker识别获得手术器械尖端位置的坐标，然后通过maker坐标与器械尖端的坐标连线延长并沿器械尖端方向以及预先设定的深度和半径确定前方圆柱体区域即感兴趣区域，然后提取所述感兴趣区域内3D模型的体数据，通过WebGL对提取的体数据进行渲染显示，定义高危组织模型并染色，获得渲染后的3D模型。
[0017] 步骤(6)具体方法如下：
[0018] 所述的AR模块，采用基于Web的AR.JS框架进行构建，通过blender软件将轮廓模型与渲染后的3D模型从vtk格式转换为dae格式，然后上传至可视化平台，通过移动设备进行显示；通过maker标记确定真实世界患者的病灶坐标信息，将所述病灶坐标信息同轮廓模型以及渲染后的3D模型在真实世界坐标系下进行对应，通过坐标转换的方式，将轮廓模型以及渲染后的3D模型显示在真实世界患者的对应位置，将虚拟影像和显示画面叠加在一起，并在移动终端上显示辅助信息。
[0019] 所述的辅助信息包括手术器械尖端与手术路径的偏移值和手术器械尖端与高危组织模型的距离及危险预警；
[0020] 所述的手术器械尖端与手术路径的偏移值为手术器械尖端的实时坐标与手术路径间的最小距离；所述手术器械尖端与高危组织模型的距离及危险预警，为手术器械尖端的实时坐标与高危组织模型之间的最小距离，并设定阈值T，当最小距离小于等于T时移动终端将发出警报并在显示危险预警标识。
[0021] 本发明有益效果如下：
[0022] 本发明方法能在多个场景下对医生提供帮助，既能在术前提供影像显示、信息查询和手术规划，又能在术中通过AR设备进行三维病灶部位影像的叠加和手术路径的实时跟踪，实现手术的全程覆盖；具有跨平台的特性，能够适配PC、Pad、手机、AR设备等多种显示终端；具有自适应分层次显示的特性，应用于移动端时，受限于设备特性，将对重建图像进行局部病灶部位的抓取并清晰显示，而对边缘图像进行模糊化操作，达到分层次显示的效果。本发明方法的实现，能够帮助医生在手术过程中根据手术路径实时追踪并分层次显示病灶部位周围组织器官，方便主刀医生对于患者手术部位的全方位多层次的直观认识，为手术的精准实施提供支持，达到减缓医生压力、提高其手术成功率的效果，最终为患者的健康带来福音。
附图说明
[0023] 图1为本发明方法的技术路线图。
[0024] 图2为本发明多层次交互可视化及感兴趣区域划分的效果图。
[0025] 图3为本发明客户端解析显示的系统流程图。
具体实施方式
[0026] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0027] 如图1所示，本发明方法具体步骤如下：
[0028] 步骤(1).获取医学影像设备输出的多模态二维影像数据，多模态二维影像数据包括CT、MRI、DR、CTA、PET图像；
[0029] 步骤(2).通过服务器端对多模态二维影像数据进行预处理，获得组织器官图像，将组织器官图像进行压缩处理获得压缩后的组织器官图像；
[0030] 图像预处理操作通过3D Slicer软件完成，将多模态二维影像数据导入3D Slicer软件中，使用3D Slicer软件的降噪模块对图像进行降噪，使用3D Slicer软件的分割模块对图像进行分割，可采取阈值分割、手动分割多种方式，使用3D Slicer软件的配准模块对同一患者不同模态分割后的图像进行配准，使用3D Slicer软件的融合模块对配准后的图像进行融合，获得组织器官图像，使用3D Slicer软件的压缩模块对组织器官图像进行压缩获得压缩后的组织器官图像。
[0031] 步骤(3).对组织器官图像与压缩后的组织器官图像分别进行三维重建，得到包含组织器官和病灶位置的3D模型文件与模糊3D模型文件并传输至客户端；
[0032] 通过3D Slicer软件完成三维重建，使用vtk环境下的重构技术，即3D Slicer软件中的volume模块分别对组织器官图像与压缩后的组织器官图像进行绘制，生成可用的vtk格式三维模型，然后对vtk格式三维模型进行人工处理，完善组织器官及病灶，获得的包含组织器官和病灶位置的3D模型文件与模糊3D模型文件。
[0033] 步骤(4).客户端通过XTK框架识别vtk格式的模糊3D模型文件，解析模糊3D模型文件中的坐标数据，通过WebGL进行面绘制，获得轮廓模型。
[0034] 图3为客户端解析显示的系统流程图，是通过XTK和WebGL对二维医学图像和三维模型文件的进行解析渲染的流程。
[0035] 步骤(5).根据术前规划的手术路径及用户的交互操作，定义高危组织模型并染色，选择3D模型中的感兴趣区域并对其进行清晰渲染。
[0036] 用户的交互操作通过调用外部的图像处理接口实现三维模型的旋转、平移、缩放、透明度调节、染色；感兴趣区域为手术器械尖端前方的圆柱体区域，且随着手术器械的移动进行实时更新，如图2所示，首先由AR.JS框架通过maker识别获得手术器械尖端位置的坐标，然后通过maker坐标与器械尖端的坐标连线延长并沿器械尖端方向以及预先设定的深度和半径确定前方圆柱体区域即感兴趣区域，然后提取感兴趣区域内3D模型的体数据，通过WebGL对提取的体数据进行渲染显示，定义高危组织模型并染色，获得渲染后的3D模型。
[0037] 步骤(6).通过AR模块，将轮廓模型与渲染后的3D模型叠加至真实世界患者的对应位置，并在移动终端上显示辅助信息。
[0038] AR模块，采用基于Web的AR.JS框架进行构建，通过blender软件将轮廓模型与渲染后的3D模型从vtk格式转换为dae格式，然后上传至可视化平台，通过移动设备进行显示；通过maker标记确定真实世界患者的病灶坐标信息，将病灶坐标信息同轮廓模型以及渲染后的3D模型在真实世界坐标系下进行对应，通过坐标转换的方式，将轮廓模型以及渲染后的3D模型显示在真实世界患者的对应位置，将虚拟影像和显示画面叠加在一起，并在移动终端上显示辅助信息。
[0039] 辅助信息包括手术器械尖端与手术路径的偏移值和手术器械尖端与高危组织模型的距离及危险预警；
[0040] 手术器械尖端与手术路径的偏移值为手术器械尖端的实时坐标与手术路径间的最小距离；手术器械尖端与高危组织模型的距离及危险预警，为手术器械尖端的实时坐标与高危组织模型之间的最小距离，并设定阈值T，当最小距离小于等于T时移动终端将发出警报并在显示危险预警标识。
[0041] 结合手术场景考虑，本发明中移动终端上为pad，在实际应用中，还可通过手机、电脑、AR眼镜进行显示。
[0042] 本发明方法通过用于手术导航的多层次交互可视化系统完成，该系统包括图像预处理模块、三维重建模块、解析显示模块、用户交互模块、AR辅助显示模块。
[0043] 图像预处理模块，用于根据医学影像设备输出的多模态二维影像数据，通过降噪、压缩、分割、配准、融合的技术对图像进行预处理。
[0044] 三维重建模块，用于预处理后的二维影像数据，通过三维重建的技术生成对应的三维影像模型。
[0045] 解析显示模块，用于在客户端解析生成的三维影像数据和二维影像数据，并进行显示。
[0046] 用户交互模块，用于根据医护人员的交互指令，对二维医学影像数据及三维医学影像模型进行交互操作。
[0047] AR辅助显示模块，用于将三维模型叠加至真实世界患者的对应位置，同时提供辅助信息显示，包括手术器械尖端与手术路径的偏移值，手术器械尖端与高危组织模型的距离及危险预警。
[0048] 用户交互模块，用于根据医护人员的交互指令，具体为对二维及三维图像的旋转、平移、缩放、透明度调节、染色，以及对三维模型感兴趣区域的选取。
[0049] 以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
