一种体内医疗器械视觉呈现系统及方法转让专利
申请号 : CN202011188144.6
文献号 : CN112263331B
文献日 : 2022-04-05
发明人 : 宋新华
申请人 : 上海初云开锐管理咨询有限公司
摘要 :
权利要求 :
1.一种体内医疗器械视觉呈现系统,其特征在于,包括:传感光纤,嵌入医疗器械的柔性插入部,且所述传感光纤上设定有第一定位标记;
形态感知装置;
头戴显示装置,所述头戴显示装置上设定有第二定位标记;
其中,所述形态感知装置包括:
第一获取模块,用于分别获取所述第一定位标记和所述第二定位标记相对于所述第一获取模块的第一空间位置坐标和第二空间位置坐标;
第二获取模块,用于获取整根所述传感光纤相对于所述第二获取模块的总形态曲线;
计算模块,用于根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线,并用于根据所述第一空间位置坐标和所述第二空间位置坐标的位置差,计算所述传感光纤任意长度处相对于所述第二定位标记的第二形态曲线,以及用于根据所述头戴显示装置的左眼镜片和右眼镜片分别与所述第二定位标记的位置差,获取所述传感光纤任意位置相对于所述左眼镜片和所述右眼镜片的第三形态曲线和第四形态曲线;
计算模块分别通过所述第三形态曲线和所述第四形态曲线渲染所述传感光纤的立体图像,并分别输出图像信号给所述左眼镜片和所述右眼镜片。
2.根据权利要求1所述的一种体内医疗器械视觉呈现系统,其特征在于:所述第二获取模块包括光纤传感器和解调系统,所述光纤传感器用于实时检测各个所述传感光纤上每一截面的应力分布,所述解调系统用于根据各个所述传感光纤上每一截面的所述应力分布计算所述传感光纤的曲率和偏转方向,并用于根据所述传感光纤的曲率和偏转方向计算获得所述传感光纤的切向量在长度上的分布,以及用于根据所述传感光纤的切向量在长度上的分布计算所述传感光纤任意位置相对于所述解调系统的总形态曲线。
3.根据权利要求1所述的一种体内医疗器械视觉呈现系统,其特征在于:所述第二获取模块还用于获取所述第一定位标记相对于所述第二获取模块的第三空间位置坐标;
所述计算模块通过所述第一空间位置坐标和所述第三空间位置坐标的位置差对所述总形态曲线进行矫正,获取所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
4.根据权利要求3所述的一种体内医疗器械视觉呈现系统,其特征在于:所述计算模块先通过所述第一空间位置坐标和所述第三空间位置坐标的位置差计算获得所述第一获取模块的坐标系与所述第二获取模块的坐标系之间的变换矩阵和平移向量,再通过所述变换矩阵、所述平移向量和所述总形态曲线获得所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
5.根据权利要求1所述的一种体内医疗器械视觉呈现系统,其特征在于:所述第一获取模块为深度摄像头,且所述深度摄像头与所述形态感知装置的主机刚性连接。
6.根据权利要求1所述的一种体内医疗器械视觉呈现系统,其特征在于:所述第一定位标记和所述第二定位标记为一组发射或反射可见光或红外光的几何图形小点构成的标记,所述第一定位标记的分布具有至少一个可分辨的轴方向,所述第二定位标记的分布具有至少两个可分辨的轴方向。
7.根据权利要求1所述的一种体内医疗器械视觉呈现系统,其特征在于:所述传感光纤为MCF多芯光纤,包括至少三根螺旋分布在外侧的纤芯,以及一根贯穿在中心的纤芯。
8.一种基于权利要求1‑7任一所述的体内医疗器械视觉呈现系统的视觉呈现方法,其特征在于,包括步骤:
在连接医疗器械的传感光纤上设定第一定位标记,在头戴显示装置上设定第二定位标记;
实时获取所述第一定位标记和所述第二定位标记相对于所述第一获取模块的第一空间位置坐标和第二空间位置坐标;
实时获取整根所述传感光纤相对于所述第二获取模块的总形态曲线;
根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线;
根据所述第一空间位置坐标和所述第二空间位置坐标的位置差,计算所述传感光纤任意长度处相对于所述第二定位标记的第二形态曲线;
根据所述头戴显示装置的左眼镜片和右眼镜片分别与所述第二定位标记的位置差,获取所述传感光纤任意位置相对于所述左眼镜片和所述右眼镜片的第三形态曲线和第四形态曲线;
分别通过所述第三形态曲线和所述第四形态曲线渲染所述传感光纤的立体图像,并分别输出图像信号给所述左眼镜片和所述右眼镜片。
9.根据权利要求8所述的视觉呈现方法,其特征在于,所述的实时获取整根所述传感光纤相对于所述第二获取模块的总形态曲线,具体包括步骤:实时检测各个所述传感光纤上每一截面的应力分布;
根据各个所述传感光纤上每一截面的所述应力分布计算所述传感光纤的曲率和偏转方向;
根据所述传感光纤的曲率和偏转方向计算获得所述传感光纤的切向量在长度上的分布;
根据所述传感光纤的切向量在长度上的分布计算所述传感光纤任意位置相对于所述第二获取模块的总形态曲线。
10.根据权利要求8所述的视觉呈现方法,其特征在于,所述的根据所述第一空间位置坐标和所述总形态曲线计算所述传感光纤任意长度处相对于所述第一获取模块的第一形态曲线,具体包括:
获取所述第一定位标记相对于所述第二获取模块的第三空间位置坐标;
通过所述第一空间位置坐标和所述第三空间位置坐标的位置差对所述总形态曲线进行矫正,获取所述传感光纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
说明书 :
一种体内医疗器械视觉呈现系统及方法
技术领域
背景技术
胃内或经其他天然孔道进入体内,利用内窥镜可以看到X射线不能显示的病变。在进行医疗
手术时,如进行内窥镜手术或机器人手术时,为了保证手术的精准性,需要了解或手术机器
人在人体内的位置、弯折形状等。
械的空间结构;因此,出现一种体内医疗器械视觉呈现系统及方法系统可以利用事前螺旋
CT生成的3D图像,并且使用形状感知系统精确测量出内窥镜等医疗器械的3D形状,将二者
叠在在同一个显示图像中进行显示,从而呈现内窥镜等医疗器械在人体内的空间结构。
窥镜、手术机器人等医疗器械在人体内位置的视觉呈现方法,从而有利于手术的进行。
发明内容
和所述第二空间位置坐标的位置差,计算所述传感光纤任意长度处相对于所述第二定位标
记的第二形态曲线,以及用于根据所述头戴显示装置的左眼镜片和右眼镜片分别与所述第
二定位标记的位置差,获取所述传感光纤任意位置相对于所述左眼镜片和所述右眼镜片的
第三形态曲线和第四形态曲线;
第一获取模块获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐
标和第二空间位置坐标,同时,通过第二获取模块能够获得整根传感光纤相对于第二获取
模块的总形态曲线,根据第一空间位置坐标和总形态曲线能够计算获得传感光纤任意长度
处相对于第一获取模块的第一形态曲线,根据第一空间位置坐标和第二空间位置坐标的位
置差,能够计算获得传感光纤任意长度处相对于第二定位标记的第二形态曲线,再根据头
戴显示装置的左眼镜片和右眼镜片分别与第二定位标记的位置差,能够获得传感光纤任意
位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线,对第三形态曲线和第四
形态曲线进行渲染,能够使左眼镜片和右眼镜片上显示传感光纤的立体图像,从而使得医
生在戴上头戴显示装置后,能够直观的看到内窥镜、手术机器人等医疗器械在人体内的位
置,有利于手术的进行。
感光纤的切向量在长度上的分布,以及用于根据所述传感光纤的切向量在长度上的分布计
算所述传感光纤任意位置相对于所述解调系统的总形态曲线。
度上的分布,最后根据传感光纤的切向量在长度上的分布,便能够计算获得传感光纤任意
位置相对于调系统的总形态曲线。
第一形态曲线。
需要对总形态曲线进行矫正。具体的,可以通过第一空间位置坐标和第三空间位置坐标的
位置差对总形态曲线进行矫正,获取传感光纤任意长度处相对于第一获取模块的第一形态
曲线。
矩阵和平移向量,再通过所述变换矩阵、所述平移向量和所述总形态曲线获得所述传感光
纤任意长度处相对于所述第一获取模块的所述第一形态曲线。
过 进行表示,计算出变换矩阵R和平移向量t,之后便能获得传感光纤任
意长度处相对于第一获取模块的第一形态曲线。
向,所述第二定位标记的分布具有至少两个可分辨的轴方向。
四形态曲线;
取模块获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐标和第
二空间位置坐标,同时,通过第二获取模块能够获得整根传感光纤相对于第二获取模块的
总形态曲线,根据第一空间位置坐标和总形态曲线能够计算获得传感光纤任意长度处相对
于第一获取模块的第一形态曲线,根据第一空间位置坐标和第二空间位置坐标的位置差,
能够计算获得传感光纤任意长度处相对于第二定位标记的第二形态曲线,再根据头戴显示
装置的左眼镜片和右眼镜片分别与第二定位标记的位置差,能够获得传感光纤任意位置相
对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线,对第三形态曲线和第四形态曲
线进行渲染,能够使左眼镜片和右眼镜片上显示传感光纤的立体图像,从而使得医生在戴
上头戴显示装置后,能够直观的看到内窥镜、手术机器人等医疗器械在人体内的位置,有利
于手术的进行。
线。
需要对总形态曲线进行矫正。具体的,可以通过第一空间位置坐标和第三空间位置坐标的
位置差对总形态曲线进行矫正,获取传感光纤任意长度处相对于第一获取模块的第一形态
曲线。
过 进行表示,计算出变换矩阵R和平移向量t,之后便能获得传感光纤任
意长度处相对于第一获取模块的第一形态曲线。
示装置上设定第二定位标记,使得能够通过形态感知装置的第一获取模块获取第一定位标
记和第二定位标记相对于第一获取模块的第一空间位置坐标和第二空间位置坐标,同时,
通过第二获取模块能够获得整根传感光纤相对于第二获取模块的总形态曲线,根据第一空
间位置坐标和总形态曲线能够计算获得传感光纤任意长度处相对于第一获取模块的第一
形态曲线,根据第一空间位置坐标和第二空间位置坐标的位置差,能够计算获得传感光纤
任意长度处相对于第二定位标记的第二形态曲线,再根据头戴显示装置的左眼镜片和右眼
镜片分别与第二定位标记的位置差,能够获得传感光纤任意位置相对于左眼镜片和右眼镜
片的第三形态曲线和第四形态曲线,对第三形态曲线和第四形态曲线进行渲染,能够使左
眼镜片和右眼镜片上显示传感光纤的立体图像,从而使得医生在戴上头戴显示装置后,能
够直观的看到内窥镜、手术机器人等医疗器械在人体内的位置,有利于手术的进行。
附图说明
具体实施方式
本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他
的附图,并获得其他的实施方式。
部件,仅示意性地绘示了其中的一个,或仅标出了其中的一个。在本文中,“一个”不仅表示
“仅此一个”,也可以表示“多于一个”的情形。
右眼镜片,左眼镜片和右眼镜片与第二定位标记5的位置固定。
记5的分布具有至少两个可分辨的轴方向。
标的位置差,计算传感光纤1任意长度处相对于第二定位标记5的第二形态曲线,以及用于
根据头戴显示装置3的左眼镜片和右眼镜片分别与第二定位标记5的位置差,获取传感光纤
1任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线;同时,计算模块23
分别通过第三形态曲线和第四形态曲线渲染传感光纤1的立体图像,并分别输出图像信号
给左眼镜片和右眼镜片。
置2的第一获取模块21获取第一定位标记4和第二定位标记5相对于第一获取模块21的第一
空间位置坐标和第二空间位置坐标,同时,通过第二获取模块22能够获得整根传感光纤1相
对于第二获取模块22的总形态曲线,根据第一空间位置坐标和总形态曲线能够计算获得传
感光纤1任意长度处相对于第一获取模块21的第一形态曲线,根据第一空间位置坐标和第
二空间位置坐标的位置差,能够计算获得传感光纤1任意长度处相对于第二定位标记5的第
二形态曲线,再根据头戴显示装置3的左眼镜片和右眼镜片分别与第二定位标记2的位置
差,能够获得传感光纤1任意位置相对于左眼镜片和右眼镜片的第三形态曲线和第四形态
曲线,对第三形态曲线和第四形态曲线进行渲染,能够使左眼镜片和右眼镜片上显示传感
光纤1的立体图像,从而使得医生在戴上头戴显示装置3后,能够直观的看到内窥镜、手术机
器人等医疗器械在人体内的位置,有利于手术的进行。
感光纤的曲率和偏转方向计算获得传感光纤的切向量在长度上的分布,以及用于根据传感
光纤的切向量在长度上的分布计算传感光纤任意位置相对于解调系统的总形态曲线。
长度上的分布,最后根据传感光纤的切向量在长度上的分布,便能够计算获得传感光纤任
意位置相对于调系统的总形态曲线。
不同,则需要对总形态曲线进行矫正。具体的,可以通过第一空间位置坐标和第三空间位置
坐标的位置差对总形态曲线进行矫正,获取传感光纤1任意长度处相对于第一获取模块21
的第一形态曲线。
通过变换矩阵、平移向量和总形态曲线获得传感光纤1任意长度处相对于第一获取模块21
的第一形态曲线。
过 进行表示,计算出变换矩阵R和平移向量t,之后便能获得传感光纤1
任意长度处相对于第一获取模块21的第一形态曲线。
取模块获取第一定位标记和第二定位标记相对于第一获取模块的第一空间位置坐标和第
二空间位置坐标,同时,通过第二获取模块能够获得整根传感光纤相对于第二获取模块的
总形态曲线,根据第一空间位置坐标和总形态曲线能够计算获得传感光纤任意长度处相对
于第一获取模块的第一形态曲线,根据第一空间位置坐标和第二空间位置坐标的位置差,
能够计算获得传感光纤任意长度处相对于第二定位标记的第二形态曲线,再根据头戴显示
装置的左眼镜片和右眼镜片分别与第二定位标记的位置差,能够获得传感光纤任意位置相
对于左眼镜片和右眼镜片的第三形态曲线和第四形态曲线,对第三形态曲线和第四形态曲
线进行渲染,能够使左眼镜片和右眼镜片上显示传感光纤的立体图像,从而使得医生在戴
上头戴显示装置并将视野移到患者身上后,能够使镜片中的影像与患者体内实际的传感光
纤的空间结构重合,进而直观的看到内窥镜、手术机器人等医疗器械在人体内的位置,有利
于手术的进行。
需要对总形态曲线进行矫正。具体的,可以通过第一空间位置坐标和第三空间位置坐标的
位置差对总形态曲线进行矫正,获取传感光纤任意长度处相对于第一获取模块的第一形态
曲线。
过 进行表示,计算出变换矩阵R和平移向量t,之后便能获得传感光纤任
意长度处相对于第一获取模块的第一形态曲线。
下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。