面向医疗场景基于图像的力测量定位装置及其测量定位方法

摘要

本发明公开一种面向医疗场景基于图像的力测量定位装置及其测量定位方法，同时可以基于图像控制远程机械设备的移动，大大简化了远程医疗操作的复杂度，同时该方式实现简单，降低了成本。本发明力测量定位装置克服了远程控制设备制造和维护成本较高的问题，结合图像的方式，可以很容易计算出力的大小和方向，同时通过这种装置将医疗设备的移动和力的施加结合在一起，避免了复杂的操作，并具有较好的抗干扰性能，也能适应各种使用环境。

权利要求

1.一种面向医疗场景基于图像的力测量定位装置，其特征在于：包括测力触摸板、遥控笔以及两个摄像头，所述测力触摸板放置在平面上，所述遥控笔通过笔头与测力触摸板进行接触；当医疗机械设备通过遥控笔施加外力到测力触摸板上使其发生凹陷形变时，测力触摸板利用摄像头拍摄得到的形变图像通过计算机视觉根据形变程度计算出外力的大小及方向；

所述测力触摸板由弹性材料制成，且其表面绘制有N×N个阵列排布的方格，所述方格用于定位和识别，N为大于1的自然数；

当有外力施加在测力触摸板上时会发生凹陷形变，即遥控笔通过笔头与测力触摸板接触时会导致方格发生形变，通过形变的大小和方向来计算外力的大小和方向；

所述遥控笔通过笔头与测力触摸板进行接触，遥控笔的笔头凸出并附着红色且笔头与测力触摸板接触不会产生痕迹；所述测力触摸板内集成有计算模块，其接收摄像头所采集到的图像通过计算机视觉根据形变程度计算出外力的大小及方向并在测力触摸板上进行显示，同时根据遥控笔所处的位置来定位医疗机械设备所处的位置；

两个摄像头其中一个位于测力触摸板的正上方，另一个位于测力触摸板的侧方，且保证测力触摸板和遥控笔头出现在摄像头视野中，两个摄像头分别实时采集测力触摸板和遥控笔头的俯视图和侧视图，侧视图用于判断遥控笔头是否与触摸板有接触，俯视图用于定位遥控笔的位置，同时根据测力触摸板的凹陷形变程度计算受力大小和方向。

2.如权利要求1所述力测量定位装置的测量定位方法，包括如下步骤：(1)利用摄像头采集只存在有测力触摸板的俯视图作为背景图像A1，通过摄像头拍摄的侧视图判断遥控笔头是否与测力触摸板有接触，具体实现过程如下：

1.1利用侧方摄像头采集侧视图；

1.2当侧方摄像头和测力触摸板固定了之后，测力触摸板在图像中的位置固定，获取测力触摸板所处水平平面位置为y1；

1.3由于遥控笔头为红色，通过定位图像中红色像素的位置确认笔头所处水平平面位置为y2；

1.4当|y1‑y2|＜a时，判定遥控笔头与测力触摸板有接触，a为设定阈值；

(2)当确定遥控笔头与测力触摸板有接触后，通过定位红色笔头的位置确定笔头与测力触摸板接触的方格位置，进而移动医疗机械设备到指定位置向遥控笔施加外力；

(3)当测力触摸板上的方格受力时，四边都会向内凹陷，但和受力方向一致的那条边形变程度会更大，采集此时的俯视图A2；

(4)计算ΔA＝A2‑A1，对于凹陷的方格，其在图像A1中的位置为Rect1且Rect1＝(x,y,w,h)，x和y分别为该方格左上顶点在图像A1中对应像素点的横纵坐标，w和h分别为该方格的长和宽，进而根据ΔA计算出该方格四条边向内凹陷后四个顶点的位置；

(5)根据凹陷后四个顶点的位置采用以下公式计算该方格四条边的像素形变差值，取形变差值最大的一条边对应方向即为受力方向；

ΔT＝y1‑y

ΔB＝y+h‑y2

ΔL＝x3‑x

ΔR＝x+w‑x4

其中：方格四条边向内凹陷后四个顶点的位置对应为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)；

进而根据公式F＝f×ΔX计算出外力的大小，其中f为自定义系数，ΔX＝max{ΔT,ΔB,ΔL,ΔR}，ΔT、ΔB、ΔL、ΔR分别为方格四条边的像素形变差值。

说明书

面向医疗场景基于图像的力测量定位装置及其测量定位方法

技术领域

[0001] 本发明属于机械设备测量定位技术领域，具体涉及一种面向医疗场景基于图像的力测量定位装置及其测量定位方法。

背景技术

[0002] 随着机器人技术的发展，远程医疗已经成为一种可能并且在稳定发展中，但是远程医疗的操控设备极大的增加了医疗人员的控制难度，因此医疗人员还需要花费大量的经
历去学习如何进行设备的控制，增加了远程医疗的成本。很多研究开始使用其他易操作的
设备去替代繁琐的控制设备，这些易操作的设备需要考虑两个问题：1.如何控制远程机械
设备的移动；2.如何控制远程机械设备施加的外力大小。

[0003] 传统的远程医疗设备和系统更多关注于远程诊断，如公开号为CN106650213A的中国专利提出一种远程医疗系统，通过多传感器在采集远程的用户身体数据，从而生成用户
的医疗健康数据，并且可以进行远程报警以及进行远程诊断。这种远程医疗诊断系统可以
便捷人们的生活，避免用户必须前往指定地点就医的问题，解决了用户看病难的问题，但是
该远程医疗设备仅仅是对用户进行诊断，对于存在轻微问题的用户可以通过提供建议帮助
就诊，而对于存在严重问题的时候还是需要前往指定地点就医，当本地的医疗条件无法到
达需求的时候，有可能会耽误用户的病情，因此通过可以远程控制的远程医疗设备，可以让
技术高超的医生通过远程控制来实行相关手术操作，及时解决用户的问题。

[0004] 此外，对于医疗场景的压力测量问题，主要有如下两种方式：第一种方式是通过精确的压力传感器采集压力信息，如公开号为CN014490380B的中国专利提出的血管内血压压
力测量导丝，通过压力传感器实时测量血管内血压的测量导丝。第二种方式通过计算弹性
物体形变，并通过计算形变量的方式计算实际压力大小，或者通过流体等方式等价直接计
算出压力的大小，如公开号为CN105073003B的中国专利提出的压力测量系统，通过一个压
力转换器和一个可被流体填充的测量室，通过流体测量室中流体量从而计算出压力的大
小。上述方法确实可以准确方便的计算所需部位的压力大小，但是并不适合远程医疗的远
程控制场景，对于此场景不仅需要计算出压力的大小，还需要实现控制装置的移动和定位。

[0005] 因此本发明提出了一种面向医疗场景基于图像的力测量定位装置，并给出了具体的测量方法，该力的测量装置通过可发生弹性形变的棋盘格和笔头凸出的控制笔来进行远
程设备的控制，并通过两个摄像头采集对应位置的图像，计算棋盘格的像素形变量计算力
的大小，并通过对笔头的定位从而完成对远程控制设备的定位，从而可以实现远程医疗场
景中的远程控制，大大简化了远程医疗操作的复杂度，同时该方式实现简单，降低了成本。
本发明力测量定位装置克服了远程控制设备制造和维护成本较高的问题，结合图像的方
式，可以很容易计算出力的大小和方向，同时通过这种装置将医疗设备的移动和力的施加
结合在一起，避免了复杂的操作，并具有较好的抗干扰性能，也能适应各种使用环境，具有
一定的应用价值。

发明内容

[0006] 本发明针对远程医疗场景，提出一种面向医疗场景基于图像的力测量定位装置及其测量定位方法，同时可以基于图像控制远程医疗机械设备的移动，大大简化了远程医疗
操作的复杂度，同时该方式实现简单，降低了成本。

[0007] 一种面向医疗场景基于图像的力测量定位装置，包括测力触摸板、遥控笔以及两个摄像头，所述测力触摸板放置在平面上，所述遥控笔通过笔头与测力触摸板进行接触；当
医疗机械设备通过遥控笔施加外力到测力触摸板上使其发生凹陷形变时，测力触摸板利用
摄像头拍摄得到的形变图像通过计算机视觉根据形变程度计算出外力的大小及方向。

[0008] 进一步地，所述测力触摸板由弹性材料制成，且其表面绘制有N×N个阵列排布的方格，所述方格用于定位和识别，N为大于1的自然数。

[0009] 进一步地，当有外力施加在测力触摸板上时会发生凹陷形变，即遥控笔通过笔头与测力触摸板接触时会导致方格发生形变，通过形变的大小和方向来计算外力的大小和方
向。

[0010] 进一步地，所述遥控笔通过笔头与测力触摸板进行接触，遥控笔的笔头凸出并附着红色且笔头与测力触摸板接触不会产生痕迹；所述测力触摸板内集成有计算模块，其接
收摄像头所采集到的图像通过计算机视觉根据形变程度计算出外力的大小及方向并在测
力触摸板上进行显示，同时根据遥控笔所处的位置来定位医疗机械设备所处的位置。

[0011] 进一步地，两个摄像头其中一个位于测力触摸板的正上方，另一个位于测力触摸板的侧方，且保证测力触摸板和遥控笔头出现在摄像头视野中，两个摄像头分别实时采集
测力触摸板和遥控笔头的俯视图和侧视图，侧视图用于判断遥控笔头是否与触摸板有接
触，俯视图用于定位遥控笔的位置，同时根据测力触摸板的凹陷形变程度计算受力大小和
方向。

[0012] 上述力测量定位装置的测量定位方法，包括如下步骤：

[0013] (1)利用摄像头采集只存在有测力触摸板的俯视图作为背景图像A1，通过摄像头拍摄的侧视图判断遥控笔头是否与测力触摸板有接触；

[0014] (2)当确定遥控笔头与测力触摸板有接触后，通过定位红色笔头的位置确定笔头与测力触摸板接触的方格位置，进而移动医疗机械设备到指定位置向遥控笔施加外力；

[0015] (3)当测力触摸板上的方格受力时，四边都会向内凹陷，但和受力方向一致的那条边形变程度会更大，采集此时的俯视图A2；

[0016] (4)计算ΔA＝A2‑A1，对于凹陷的方格，其在图像A1中的位置为Rect1且Rect1＝(x,y,w,h)，x和y分别为该方格左上顶点在图像A1中对应像素点的横纵坐标，w和h分别为该方
格的长和宽，进而根据ΔA计算出该方格四条边向内凹陷后四个顶点的位置；

[0017] (5)根据凹陷后四个顶点的位置计算该方格四条边的像素形变差值，取形变差值最大的一条边对应方向即为受力方向，进而根据公式F＝f×ΔX计算出外力的大小，其中f
为自定义系数，ΔX＝max{ΔT,ΔB,ΔL,ΔR}，ΔT、ΔB、ΔL、ΔR分别为方格四条边的像素
形变差值。

[0018] 进一步地，所述步骤(1)的具体实现过程如下：

[0019] 1.1利用侧方摄像头采集侧视图；

[0020] 1.2当侧方摄像头和测力触摸板固定了之后，测力触摸板在图像中的位置固定，获取测力触摸板所处水平平面位置为y1；

[0021] 1.3由于遥控笔头为红色，通过定位图像中红色像素的位置确认笔头所处水平平面位置为y2；

[0022] 1.4当|y1‑y2|＜a时，判定遥控笔头与测力触摸板有接触，a为设定阈值。

[0023] 进一步地，所述步骤(5)中采用以下公式计算方格四条边的像素形变差值；

[0024] ΔT＝y1‑y

[0025] ΔB＝y+h‑y2

[0026] ΔL＝x3‑x

[0027] ΔR＝x+w‑x4

[0028] 其中：方格四条边向内凹陷后四个顶点的位置对应为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)。

[0029] 本发明为了解决医疗场景远程控制的技术的缺点和不足，提供了一种面向医疗场景基于图像的力测量定位装置及其测量定位方法，该力测量定位装置克服了远程控制设备
制造和维护成本较高的问题，结合图像的方式，可以很容易计算出力的大小和方向，同时通
过这种装置将医疗设备的移动和力的施加结合在一起，避免了复杂的操作，并具有较好的
抗干扰性能，也能适应各种使用环境。

附图说明

[0030] 图1为本发明基于图像的力测量定位装置示意图。

具体实施方式

[0031] 为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

[0032] 如图1所示，本发明面向医疗场景的基于图像的力的测量和定位装置，包括测力触摸板、遥控笔、两个摄像头，测力触摸板放置在平面上，遥控笔可通过笔头和测力触摸板进
行接触，两个摄像头分别固定在正上方和侧方。

[0033] 测力触摸板材料由弹性体构成，同时在测力触摸板表面绘制N×N的均匀小方格，N为大于1的自然数，整体为白色，边为黑色，小方格用于定位和识别；当有外力施加在其身上
时会发生凹陷形变，即遥控笔通过笔头和测力触摸板接触时，凹陷形变的同时会导致小方
格发生形变，通过形变的大小和方向来计算外力的大小和方向；所述的弹性体的材料根据
实际应用情况来选择。

[0034] 遥控笔通过笔头和测力触摸板进行接触，遥控笔的笔头凸出并着红色，并且笔头和测力触摸板接触并不会产生痕迹；遥控笔施加的外力在测力触摸板上进行显示，同时遥
控笔所处的位置来定位医疗设备的所处的位置。

[0035] 摄像头其中一个在测力触摸板上方，另一个在侧方，摄像头保证触摸板和遥控笔部出现在视野中，两个摄像头分别实时采集测力触摸板和遥控笔整体模块的俯视图和侧视
图；通过侧视图来判断笔头是否和触摸板有接触，通过俯视图来定位笔的位置，同时计算受
力大小和受力方向。

[0036] 本发明装置的具体测量定位过程如下：

[0037] 操控者在进行远程医疗的时候，通过使用遥控笔在测力触摸板上面进行移动，从而控制远程医疗设备的移动，并通过施加不同的力来控制远程医疗设备的力的大小。

[0038] 在用户进行远程操控之前，先启动正上方的摄像头采集只存在有测力触摸板的俯视图作为背景图像A1，用于之后的图像对比处理；对A1进行最大外接矩形提取可以得到测力
触摸板在图像中所处的位置Rect＝(a,b,c,d)，a和b分别为该方格左上顶点在图像A1中对
应像素点的横纵坐标，c和d分别为该测力触摸盘的像素长和宽。

[0039] 当设备启动后，启动侧方和正上方的摄像机，并以每秒10帧进行图像数据的采集，从而得到侧视图A2和俯视图A3，并对侧视图中测力触摸板所处的位置进行标定，在图片中的
位置为y1。

[0040] 将侧视图A2转化为HSV图像B1，红色对应的H分量的范围为(0,8)和(120,180)，通过对B1进行像素遍历判断是否有红色区域，当存在红色区域的时候，获取红色区域的最小位
置y2。当|y1‑y2|＜a时，判定遥控笔头与测力触摸板有接触，a为设定阈值，此时进行力的测
量定位。

[0041] 此刻对俯视图A3进行处理，通过上述方法在Rect1区域寻找笔头所处的红色区域，并根据红色区域所处的位置来判定控制设备在控制空间中所处的位置，从而进行控制设备
的移动。

[0042] 接下来通过计算测力触摸板受力的大小和方向来给控制设备施加相应的力，当测力触摸板上的方格受力时，四边都会向内凹陷，但和受力方向一致的那条边形变程度会更
大。

[0043] 对于A1和A3，提取对应的Rect区域，并只保留黑色和白色像素值，然后计算ΔA＝A3‑A1，对于凹陷的方格，计算其在测力触摸板中所处的位置，得到其在图像A1中的位置为
Rect1且Rect1＝(x,y,w,h)，x和y分别为该方格左上顶点在图像A1中对应像素点的横纵坐
标，w和h分别为该方格的长和宽，进而根据ΔA计算出该方格四条边向内凹陷后四个顶点的
位置。

[0044] 根据凹陷后四个顶点的位置计算该方格四条边的像素形变差值，取形变差值最大的一条边对应方向即为受力方向，进而根据公式F＝f×ΔX计算出外力的大小，其中f为自
定义系数，ΔX＝max{ΔT,ΔB,ΔL,ΔR}，ΔT、ΔB、ΔL、ΔR分别为方格四条边的像素形变
差值。

[0045] 该方格四条边的像素形变差值如下；

[0046] ΔT＝y1‑y

[0047] ΔB＝y+h‑y2

[0048] ΔL＝x3‑x

[0049] ΔR＝x+w‑x4

[0050] 其中：方格四条边向内凹陷后四个顶点的位置对应为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)。

[0051] 此时可以完成对远程控制设备的定位和力的大小测量，也粗略的估计受力的方向，从而让操控者完成对远程医疗设备的控制。

[0052] 上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般
原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领
域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围
之内。