一种用于血管介入手术机器人系统的虚拟传感器

摘要

一种用于血管介入手术机器人系统的虚拟传感器，主要由图像获取部分，图像拟合部分和运动学模型部分组成，其工作方法包括医学镜像图，canny算法、最小二乘法、正运动学模型和力雅克比矩阵计算，能够在实际手术中解决实际传感器对血管介入手术机器人辅助系统带来的种种不足，具有非常强的实用性与可研究性。

权利要求

1.一种用于血管介入手术机器人系统的虚拟传感器，包括图像处理部分及运动学模型部分；其特征在于它包括以下步骤：（1）由摄像机拍摄手术过程中的血管医学镜像图，由于在医学镜像图中导管的颜色比较突出，因而通过选取阈值把血管医学镜像图中的导管图像区分出来，从而获取导管在血管介入手术中受到血管壁碰撞时变化的角度信号；

（2）利用局部自适应二值化处理将医学镜像图中除了导管以外的其余部分剔除，从而得到导管的图像信息，再对导管进行边缘检测和导管图像拟合；

（3）由于导管的形变是由于碰撞血管壁受力后产生的，故对接近碰撞点部分的导管建立一个三自由度的导管模型；

（4）对步骤（3）中得到的运动学方程分别求关于 的偏微分，获得对应的速度雅克比矩阵 ；对速度雅克比矩阵 转置后获得力雅克比矩阵 ；根据静力学方程求得操作力；其中 为导管旋转时的关节力扭矩， ， 为刚体刚度系数，每个导管刚度系数通过导管的产品说明书获得， 为导管的形变量；

所述步骤（3）中的建立三自由度的导管模型，具体是指：选取适当的点作为关节轴，在其基础上建立坐标系；其中，由于导管是柔体，导管任何位置都能产生旋转，因此对于点的选择根据不同的需求自行定义，在距离血管壁最远的点建立基坐标系，其余关节轴建立世界坐标系，并得到导管的运动学方程：其中，e1为基坐标系，e2、e3为世界坐标系， 为每两个关节轴之间的长度，为导管的旋转角度。

2.根据权利要求1所述一种用于血管介入手术机器人系统的虚拟传感器，其特征在于所述步骤（2）中对导管进行边缘检测是利用canny算法实现导管的图像信息中导管边缘的检测和提取，具体是由以下步骤构成：①用高斯滤波器对导管的图像信息进行平滑处理；

②计算图像像素点的梯度强度和方向；

③对步骤②得到的梯度幅值进行非最大抑制；

④利用双阈值算法检测和连接边缘，进而实现对导管边缘信息的检测和提取。

3.根据权利要求1所述一种用于血管介入手术机器人系统的虚拟传感器，其特征在于所述步骤（2）中的导管图像拟合是利用最小二乘法对提取后的导管图像做函数的拟合得到导管旋转的角度；得到导管曲线后，搜索曲线的矩阵坐标，获取图像的像素大小，随后将获取的坐标做平均值处理合并同一个横坐标上的纵坐标数据；对图片坐标进行归一化，计算实际坐标值；最后通过最小化误差的平方以及匹配函数，获取图像特征。

4.根据权利要求1所述一种用于血管介入手术机器人系统的虚拟传感器，其特征在于所述步骤（4）中的导管的形变量能够通过步骤（2）中最小二乘法的方式对导管曲线进行拟合后获得。

说明书

一种用于血管介入手术机器人系统的虚拟传感器

技术领域

[0001] 本发明属于图像处理、机器人学技术和传感器技术相关领域，尤其是一种用于血管介入手术机器人系统的虚拟传感器，特别适合在用物理传感器存在缺陷时候的应用场景。

背景技术

[0002] 当前在血管介入手术机器人中采用的测量力的信息的传感器主要有两大类：第一类是光纤压力传感器，这种传感器在测量时需要将其安装在导管上，而安装在导管上往往存在传感器进入血管时的消毒问题，而且可移植性低，在导管上嵌套传感器需要考虑导管上是否满足传感元件的安装，对于不同导管之间的型号等各方面参数的不同会影响其是否能够成功实现力的测量。第二类是安装在装置外部的传感器，通过导管碰撞血管壁后推机械结构移动，通过测量机械结构移动的位移来标定力的值，这种方式则存在摩擦力的问题，即装置外部的各部分之间存在的摩擦力无法解决，而且，无法直接测得导管末端的力。因此，对于高精度要求的血管介入手术中物理传感器或者物理测量方式都存在很大的缺陷，给该领域的深入发展带来了一定的局限性。

[0003] 虚拟传感器作为一种区别于物理传感器的测量工具，它的测量方式是通过构建数学模型，再由数学模型运算得出实际需要的物理量。这种测量方式给传感器领域开拓了传感器的新型应用模式。

发明内容

[0004] 本发明的目的在于提供了一种用于血管介入手术机器人系统的虚拟传感器，它可以克服现有技术的不足，是一种无需采用物理传感器可以获得导管的受力这一物理量信息的虚拟传感器系统，其结构简单、容易实现。

[0005] 本发明采用的技术方案：一种用于血管介入手术机器人系统的虚拟传感器，包括图像处理部分及运动学模型部分；其特征在于它包括以下步骤：

[0006] (1)由摄像机拍摄手术过程中的血管医学镜像图，由于在医学镜像图中导管的颜色比较突出，因而可以先选取合适阈值，先把导管图像区分出来，从而获取导管在血管介入手术中受到血管壁碰撞时变化的角度信号；

[0007] (2)利用局部自适应二值化处理将医学镜像图中除了导管以外的其余部分剔除，从而得到导管的图像信息，再对导管进行边缘检测和导管图像拟合；

[0008] 其中，对导管进行边缘检测是利用canny算法实现导管的图像信息中导管边缘的检测和提取，具体是由以下步骤构成：

[0009] ①用高斯滤波器对导管的图像信息进行平滑处理；

[0010] ②计算图像像素点的梯度强度和方向；

[0011] ③对步骤②得到的梯度幅值进行非最大抑制；

[0012] ④利用双阈值算法检测和连接边缘，进而实现对导管边缘信息的检测和提取。

[0013] 所述导管图像拟合是利用最小二乘法对提取后的导管图像做函数的拟合得到导管旋转的角度；得到导管曲线后，搜索曲线的矩阵坐标，获取图像的像素大小，随后将获取的坐标做平均值处理合并同一个横坐标上的纵坐标数据。接着归一化图片坐标，计算实际坐标值。最后通过最小化误差的平方以及最合适数据的匹配函数，获取图像特征。

[0014] (3)由于导管的形变是由于碰撞血管壁受力后产生的，故对接近碰撞点部分的导管建立一个三自由度的导管模型；

[0015] 其中，建立三自由度的导管模型，具体是指：选取适当的点作为关节轴，在其基础上建立坐标系；其中，由于导管是柔体，导管任何位置都能产生旋转，因此对于点的选择根据不同的需求可以自行定义，在距离血管壁最远的点建立基坐标系，其余关节轴建立世界坐标系，如图3所示，并得到导管的运动学方程，如式3-1所示：

[0016] x＝L1+L2 cosθ2+L3 cos(θ2+θ3)，y＝L2 sinθ2+L3 sinθ3  (3-1)[0017] 式中，e1为基坐标系，e2、e3为世界坐标系，L1、L2、L3为每两个关节轴之间的长度，θ2、θ3为导管的旋转角度；

[0018] (4)对步骤(3)中得到的运动学方程分别求关于θ1、θ2和θ3的偏微分，获得对应的速度雅克比矩阵J(q)；对速度雅克比矩阵J(q)转置后即可获得力雅克比矩阵JT(q)；根据静力T学方程τ＝J (q)F求得操作力；其中τ为导管旋转时的关节力扭矩，τ＝Kadq，Ka为刚体刚度系数，每个导管刚度系数可以通过导管的产品说明书获得，dq为导管的形变量；

[0019] 然而，形变量能够通过步骤(2)中最小二乘法的方式对导管曲线进行拟合后便可获得；其实现方式是：得到导管曲线后，搜索曲线的矩阵坐标，获取图像的像素大小，随后将获取的坐标做平均值处理合并同一个横坐标上的纵坐标数据。接着归一化图片坐标，计算实际坐标值。最后通过最小化误差的平方以及最合适数据的匹配函数，获取图像特征。

[0020] 本发明的工作原理：利用导管建模来获取力的一种测量方法，这种形式克服了以电信号作为传送信号的传感器在血管介入手术机器人实施手术过程中存在的缺陷，增强了血管介入手术的安全性。此外，利用图像边缘检测，可以大幅度地减少数据量，并且能够剔除不相关的信息，保留图像重要的结构属性，因此，被广泛应用于机器视觉的各大领域。与此同时，机器人学中的运动学：正向运动学即给定机器人各关节变量，计算机器人末端的位置姿态；逆向运动学即已知机器人末端的位置姿态，计算机器人对应位置的全部关节变量。一般正向运动学的解是唯一和容易获得的，而逆向运动学往往有多个解而且分析更为复杂。对运动学模型进行偏微分的求解即可以获得速度雅克比矩阵，利用速度雅克比矩阵可以构建静力学方程，通过求解静力学方程得到力的值。这样，在已知导管位姿时，也能取得关于力或者速度等物理量。

[0021] 数字减影血管造影的基本原理是电子计算机将血管造影的X线影像信息经过数字化减影处理再转化成血管医学镜像图像，这种技术所生产的医学设备是血管介入手术中的常用设备。

[0022] 本发明采用的局部自适应二值化在处理阈值时不需要确定一个固定的阈值，而是可以根据对应的自适应方法，通过图像的局部特征自适应的设定阈值，做出二值化处理。图像边缘信息主要集中在高频段，通常说图像锐化或检测边缘，实质就是高频滤波，canny算法就是一种高频滤波的手段。对图像高斯滤波，图像高斯滤波的实现可以用两个一维高斯核分别两次加权实现，也就是先一维X方向卷积，得到的结果再一维Y方向卷积。边缘的最重要的特征是灰度值剧烈变化，如果把灰度值看成二元函数值，那么灰度值的变化可以用二元函数的”导数“(或者称为梯度)来描述。由于图像是离散数据，导数可以用差分值来表示，差分在实际工程中就是灰度差。一个像素点有8邻域，那么分上下左右斜对角，因此canny算法使用算子来检测图像中的水平、垂直和对角边缘。算子是以图像卷积的形式来计算梯度，最后算出像素点的梯度G和方向θ)。canny算法应用双阈值，即一个高阈值和一个低阈值来区分边缘像素。如果边缘像素点梯度值大于高阈值，则被认为是强边缘点。如果边缘梯度值小于高阈值，大于低阈值，则标记为弱边缘点，小于低阈值的点则被抑制掉。而高低阈值的选定，是根据梯度直方图作分界线。

[0023] 对梯度幅值进行非最大抑制是通过寻找像素点局部最大值。沿着梯度方向，比较它前面和后面的梯度值得出结果，非最大抑制的作用是减小边缘宽度，使整个图像边缘更清晰。

[0024] 本发明优越性：用于医学测量，实现了在实际手术中便可以解决实际传感器对血管介入手术带来的不足，如消毒问题，精度问题等等，尤其是医学领域，具有非常强的实用性与可研究性；利用图像处理提取导管特征，随后对导管建立坐标系，列出运动学方程获取雅克比矩阵，计算力的信息，特别适合在用物理传感器存在缺陷时候的应用场景。比如光纤压力传感器，这种传感器在测量时需要将其安装在导管上，而安装在导管上往往存在传感器进入血管时的消毒问题，而且可移植性低，在导管上嵌套传感器需要考虑导管上是否满足传感元件的安装，对于不同导管之间的型号等各方面参数的不同会影响其是否能够成功实现力的测量。

附图说明

[0025] 图1为本发明所涉一种用于血管介入手术机器人系统的虚拟传感器的流程示意图。

[0026] 图2为本发明所涉一种用于血管介入手术机器人系统的虚拟传感器的图像处理部分流程示意图。

[0027] 图3为本发明所涉一种用于血管介入手术机器人系统的虚拟传感器的导管的数学模型原理示意图。

具体实施方式

[0028] 实施例：一种用于血管介入手术机器人系统的虚拟传感器(见图1)，包括图像处理部分(见图2)及运动学模型部分(见图3)；其特征在于它包括以下步骤：

[0029] (1)由摄像机拍摄手术过程中的血管医学镜像图，由于在医学镜像图中导管的颜色比较突出，因而可以先选取合适阈值，先把导管图像区分出来，从而获取导管在血管介入手术中受到血管壁碰撞时变化的角度信号；

[0030] (2)利用局部自适应二值化处理将医学镜像图中除了导管以外的其余部分剔除，从而得到导管的图像信息，再对导管进行边缘检测和导管图像拟合；

[0031] 所述步骤(2)中对导管进行边缘检测是利用canny算法实现导管的图像信息中导管边缘的检测和提取，具体是由以下步骤构成：

[0032] ①用高斯滤波器对导管的图像信息进行平滑处理；

[0033] ②计算图像像素点的梯度强度和方向；

[0034] ③对步骤②得到的梯度幅值进行非最大抑制；

[0035] ④利用双阈值算法检测和连接边缘，进而实现对导管边缘信息的检测和提取。

[0036] 所述步骤(2)中的导管图像拟合是利用最小二乘法对提取后的导管图像做函数的拟合得到导管旋转的角度；得到导管曲线后，搜索曲线的矩阵坐标，获取图像的像素大小，随后将获取的坐标做平均值处理合并同一个横坐标上的纵坐标数据。接着归一化图片坐标，计算实际坐标值。最后通过最小化误差的平方以及最合适数据的匹配函数，获取图像特征。

[0037] (3)由于导管的形变是由于碰撞血管壁受力后产生的，故对接近碰撞点部分的导管建立一个三自由度的导管模型；

[0038] 所述步骤(3)中的建立三自由度的导管模型，具体是指：选取适当的点作为关节轴，在其基础上建立坐标系；其中，由于导管是柔体，导管任何位置都能产生旋转，因此对于点的选择根据不同的需求可以自行定义，在距离血管壁最远的点建立基坐标系，其余关节轴建立世界坐标系，如图3所示，并得到导管的运动学方程，如式3-1所示：

[0039] x＝L1+L2 cosθ2+L3 cos(θ2+θ3)，y＝L2 sinθ2+L3 sinθ3  (3-1)[0040] 其中，e1为基坐标系，e2、e3为世界坐标系，L1、L2、L3为每两个关节轴之间的长度，θ2、θ3为导管的旋转角度；

[0041] (4)对步骤(3)中得到的运动学方程分别求关于θ1、θ2和θ3的偏微分，获得对应的速度雅克比矩阵J(q)；对速度雅克比矩阵J(q)转置后即可获得力雅克比矩阵JT(q)；根据静力学方程τ＝JT(q)F求得操作力；其中τ为导管旋转时的关节力扭矩，τ＝Kadq，Ka为刚体刚度系数，每个导管刚度系数可以通过导管的产品说明书获得，dq为导管的形变量；

[0042] 所述步骤(4)中的导管的形变量能够通过步骤(2)中最小二乘法的方式对导管曲线进行拟合后便可获得。下面通过附图结合具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

[0043] 一种用于血管介入手术机器人系统的虚拟传感器，该系统主要由图像处理部分、运动学模型部分组成。首先利用摄像机获取医学镜像图，通过USB接口连接摄像机跟PC端，打开matlab附加功能配置电脑跟摄像机的连接，配置完成后连接摄像机做实时的图像处理，提取导管的受到力的作用后的角度，导入建立后的导管运动学模型，求出力的值。

[0044] 本发明的工作原理是：

[0045] 利用了图像处理技术跟机器人学可以不用物理传感器得到力的信息，在手术过程中只需要获取导管的图像特征就可以得到力的信息。提高手术过程中的灵活性和安全性。

[0046] 尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。