一种基于人工智能姿态调节的多功能理疗艾灸仪

摘要

本发明属于艾灸仪技术领域，公开了一种基于人工智能姿态调节的多功能理疗艾灸仪，包括：人体解析模块、温度传感器、视觉传感器、手势识别模块、智能温控模块。通过人体解析模块对患者图像中人体各部位进行识别和分割，温度传感器采集患者皮肤表面温度，视觉传感器采集医护人员的动态手势，手势识别模块从动态手势中提取手势信息，并根据手势信息生成动作指令，发送给智能温控模块，智能温控模块根据患者皮肤表面温度和动作指令对多功能理疗艾灸仪进行温度控制。本发明的基于人工智能姿态调节的多功能理疗艾灸仪具有操作简单、温控精确、反应灵敏、医患体验好等诸多优点。

权利要求

1.一种基于人工智能姿态调节的多功能理疗艾灸仪，其特征在于，包括：人体解析模块、温度传感器、视觉传感器、手势识别模块、智能温控模块和机械手；

其中，所述人体解析模块用于接收视觉传感器获取的患者图像，并对图像中人体各部位进行识别和分割；

所述温度传感器用于采集患者皮肤表面温度并发送给智能温控模块；

所述视觉传感器用于采集医护人员的动态手势；

所述手势识别模块用于从动态手势中提取手势信息，并根据手势信息生成动作指令，发送给智能温控模块；

所述智能温控模块根据患者皮肤表面温度和动作指令对多功能理疗艾灸仪进行温度控制；

所述智能温控模块采用多线程协同控制技术，将患者皮肤表面温度和动作指令作为输入，判断优先级进行多功能理疗艾灸仪位姿调整；

所述温度控制通过调节照射面到患者皮肤表面的高度实现；

机械手，用于实现多功能理疗艾灸仪与患者皮肤表面距离的调节；机械手包括顺序连接的底座、第一关节、第一机械臂、第二关节、第二机械臂、第三关节、第三机械臂和第四关节；

第二机械臂与第三机械臂长度相同，第一关节在0°至360°范围内进行圆周运动，第二关节与第四关节均在90°至180°范围内运动，第三关节在0°至180°范围内运动；

所述机械手的控制策略如下：

（1）通过调节第一机械臂的长度L1实现艾灸仪与患者皮肤距离调节，表达式为：；

其中，△L1为第一机械臂的调整高度；a为艾灸仪与患者皮肤距离；b为艾灸仪与患者皮肤表面初始距离；

（2）通过调整第一关节、第二关节、第三关节和第四关节进行艾灸仪位置的水平调节，表达式为：；

其中，W1为第一机械臂与第二机械臂的夹角，W2为第二机械臂与第三机械臂的夹角，W3为第三机械臂与多功能理疗艾灸仪的夹角。

2.根据权利要求1所述的多功能理疗艾灸仪，其特征在于，所述手势识别模块包括：医护动作感知模型，用于根据手势信息生成动作指令；所述医护动作感知模型为训练好的P3D和Transformer的融合模型。

3.根据权利要求2所述的多功能理疗艾灸仪，其特征在于，采用视频帧训练所述P3D和Transformer的融合模型；所述视频帧为对视频训练集处理获得；所述视频训练集包含多个调整多功能理疗艾灸仪的手势动作视频片段。

4.根据权利要求2所述的多功能理疗艾灸仪，其特征在于，所述手势信息包括视频帧和光流估计。

5.根据权利要求4所述的多功能理疗艾灸仪，其特征在于，所述医护动作感知模型包括空间通道子模型和时间通道子模型，所述空间通道子模型处理视频帧，时间通道子模型处理光流估计，结合空间通道子模型和时间通道子模型的输出，生成动作指令。

6.根据权利要求1所述的多功能理疗艾灸仪，其特征在于，所述多功能理疗艾灸仪还包括智能温度设定模块，所述智能温度设定模块包括温度智能学习算法模型，该温度智能学习算法模型对多源异构数据进行协同处理，提出舒适温度范围。

7.根据权利要求1所述的多功能理疗艾灸仪，其特征在于，所述温度控制通过调节艾灸点火和全封闭或半封闭艾灸的个数实现。

说明书

一种基于人工智能姿态调节的多功能理疗艾灸仪

技术领域

[0001] 本发明属于艾灸仪技术领域，尤其涉及一种基于人工智能姿态调节的多功能理疗艾灸仪。

背景技术

[0002] 艾灸在我国的使用已有数千年的历史，在古代人们实施艾灸治疗是由人工操作，受主观因素影响，不能精确控制每个步骤和温度。在当代，艾灸仍然有十分巨大的医用价值，也出现了各式各样的艾灸治疗仪。但这些艾灸治疗仪普遍存在温度控制不灵敏、操作不够智能以及无法很好地与医护互动的问题，严重影响了治疗的效率和效果，降低了使用者的体验。

发明内容

[0003] 针对现有技术的不足，本发明提出了一种基于人工智能姿态调节的多功能理疗艾灸仪，该艾灸仪可以根据人体的特点选择适宜的治疗温度，并在艾灸过程中对温度进行实时控制；此外，还能够根据医生的手势和语言对艾灸仪的位姿进行调整，从而对艾灸仪实现多维度的人工智能控制。

[0004] 本发明的技术方案具体如下：

[0005] 一种基于人工智能姿态调节的多功能理疗艾灸仪，包括：

[0006] 人体解析模块、温度传感器、视觉传感器、手势识别模块、智能温控模块；其中，[0007] 所述人体解析模块用于接收视觉传感器获取的患者图像，并对图像中人体各部位进行识别和分割；

[0008] 所述温度传感器用于采集患者皮肤表面温度并发送给智能温控模块；

[0009] 所述视觉传感器用于采集医护人员的动态手势；

[0010] 所述手势识别模块用于从动态手势中提取手势信息，并根据手势信息生成动作指令，发送给智能温控模块；

[0011] 所述智能温控模块根据患者皮肤表面温度和动作指令对多功能理疗艾灸仪进行温度控制。

[0012] 进一步的，所述手势识别模块包括：

[0013] 医护动作感知模型，用于根据手势信息生成动作指令；所述医护动作感知模型为训练好的P3D和Transformer的融合模型。

[0014] 进一步的，所述手势信息包括视频帧和光流估计。

[0015] 进一步的，所述多功能理疗艾灸仪还包括智能温度设定模块，所述智能温度设定模块包括温度智能学习算法模型，该模温度智能学习算法模型对多源异构数据进行协同处理，提出舒适温度范围；所述多源异构数据包括患者的语言描述、身体部位图像及温度数值。

[0016] 进一步的，所述身体部位包括腿部、腰部、手和腹部。

[0017] 进一步的，所述温度控制通过调节照射面到患者皮肤表面的高度实现。

[0018] 进一步的，所述多功能理疗艾灸仪包括机械手，以实现多功能理疗艾灸仪与患者皮肤表面距离的调节。进一步的，所述温度控制通过调节艾灸点火和全封闭或半封闭艾灸的个数实现。

[0019] 进一步的，采用视频帧训练所述P3D和Transformer的融合模型；所述视频帧为对视频训练集处理获得；所述视频训练集包含多个调整多功能理疗艾灸仪的手势动作视频片段。

[0020] 进一步的，所述智能温控模块采用多线程协同控制技术，将患者皮肤表面温度和动作指令作为输入，判断优先级进行多功能理疗艾灸仪位姿调整。

[0021] 进一步的，所述医护动作感知模型包括空间通道子模型和时间通道子模型，所述空间通道子模型处理视频帧，时间通道子模型处理光流估计，结合空间通道子模型和时间通道子模型的输出，生成动作指令。

[0022] 相比于现有技术，本发明的有益效果在于：

[0023] 1.本发明的多功能理疗艾灸仪能够在治疗过程中识别医护人员的手势动作，对艾灸仪的温度进行实时控制。

[0024] 2. 本发明的多功能理疗艾灸仪能够在治疗过程中综合考虑患者皮肤表面和医护人员的手势动作，对艾灸仪的温度进行智能控制。

[0025] 3. 本发明的多功能理疗艾灸仪能够根据患者的信息智能选择治疗的温度范围。

[0026] 4. 本发明的多功能理疗艾灸仪采用P3D与Transformer的融合模型，并且识别时结合了空间和时间信息，极大提高了动作识别的准确性和稳定性。

附图说明

[0027] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。

[0028] 图1为本发明的多功能理疗艾灸仪人体解析模块的人体解析网络架构图；

[0029] 图2为本发明的多功能理疗艾灸仪基于人工智能的人机交互方法流程图；

[0030] 图3为本发明的多功能理疗艾灸仪采用的P3D与Transfomer的融合模型结构图；

[0031] 图4为本发明的抬高动态手势的光流估计结果图；

[0032] 图5为本发明的降低动态手势的光流估计结果图；

[0033] 图6为本发明的多功能理疗艾灸仪医护动作感知模型的训练误差变化曲线图；

[0034] 图7为发明的多功能理疗艾灸仪机械手的工作示意图；

[0035] 图中，1‑底座、2‑第一关节、3‑第一机械臂、4‑第二关节、5‑第二机械臂、6‑第三关节、7‑第三机械臂和8‑第四关节。

具体实施方式

[0036] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

[0037] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

[0038] 一种基于人工智能姿态调节的多功能理疗艾灸仪，包括：人体解析模块、智能温度设定模块、温度传感器、视觉传感器、手势识别模块、智能温控模块；

[0039] 其中，所述人体解析模块用于接收视觉传感器获取的患者图像，并对图像中人体各部位进行识别和分割，从而确定艾灸仪所要对准的人体部位。

[0040] 人体解析模块是一个用于分割任务的深度神经网络。它由边缘检测分支、人体分割分支以及特征融合分支组成，其整体架构如图 1 所示。与现有技术不同，本发明采用基于Transformer的架构来融合来自边缘检测分支的特征以及来自人体分割分支的特征。具体而言，人体解析模块的分割分支采用标注的人体解析掩膜（mask）来监督训练，而边缘分支采用提取的图像边缘二值图像进行监督训练。为了在边缘部分取得更高的分割精度，把分割分支和边缘分支的特征进行融合，得到基于 Transformer 的特征融合模块，在该模块中，设置两个上下文嵌入向量，分别表示分割上下文和边缘上下文。以这两个嵌入向量作为Transformer 的 query，把两个分支的中间层特征作为 key 和 value，分别输入到各自的Transformer进行集成。Transformer 输出的结果拼接在一起，通过1×1的卷积和解码器输出最终的人体解析结果。

[0041] 所述多功能理疗艾灸仪还包括智能温度设定模块，所述智能温度设定模块包括温度智能学习算法模型，该模温度智能学习算法模型对多源异构数据进行协同处理，提出舒适温度范围；所述多源异构数据包括患者的语言描述、身体部位图像及温度数值。

[0042] 所述温度传感器用于采集患者皮肤表面温度并发送给智能温控模块。优选的，所述温度传感器为红外测温仪。

[0043] 所述视觉传感器用于采集医护人员的动态手势。优选的，所述动态手势包括但不限于缩放、平移、点击、抓取、旋转操作。

[0044] 所述手势识别模块包括用于识别医护人员的手势信息，并转化为动作指令的医护动作感知模型（如图2所示）。该模型为P3D和Transformer的融合模型（如图3所示），采用视频帧训练所述P3D和Transformer的融合模型，所述视频帧为对视频训练集处理获得；所述视频训练集包含多个调整多功能理疗艾灸仪的手势动作视频片段。

[0045] 不同于传统的动作识别模型，本发明的医护动作感知模型包括空间通道子模型和时间通道子模型，所述空间通道子模型处理手势信息中的视频帧，时间通道子模型处理手势信息中的光流估计（如图4和图5所示），结合空间通道子模型和时间通道子模型的输出，生成动作指令。

[0046] 图6示出了医护动作感知模型的训练误差变化曲线图和时间通道子模型的训练误差变化曲线图。

[0047] 具体的，在对动态手势进行识别时，从视频中获得视频帧和光流估计，将视频帧图片输入到空间通道子模型中，获得第一动态手势行为概率；将光流估计输入所述时间通道子模型中，获得第二动态手势行为概率；将第一动态手势行为概率和第二动态手势行为概率加权平均，其中两个子模型权重选择均为0.5，加权平均的优势在于降低动态手势识别的错误率。例如，第一动态手势行为预测错误，第二动态手势行为预测正确，则存在加权平均后手势行为预测正确的可能性。两个子模型的输出是每种动态手势的概率，通过获得最大概率值的位置索引，映射为手势类别，从而获得最终识别结果。

[0048] 相比于传统手势识别方法仅对帧图片进行识别，本发明通过加入光流估计识别，表征连续帧图片中移动物体的运动信息，大大提高了动态手势的识别准确率。

[0049] 在获得动作指令后，所述智能温控模块采用多线程协同控制技术，将患者皮肤表面温度和动作指令作为输入，判断优先级进行多功能理疗艾灸仪位姿调整。

[0050] 在进行位姿调整时，可以采用以下温度控制方式中的至少一种进行温度控制：

[0051] 1. 所述温度控制通过调节照射面到患者皮肤表面的高度实现。

[0052] 2. 述温度控制通过调节艾灸点火和全封闭或半封闭艾灸的个数实现。

[0053] 在实际治疗过程中，首先根据医护人员的经验，对多功能理疗艾灸仪的高度、艾灸棒的数量进行预先的设置；艾灸仪实施治疗时，对艾灸仪的位置进行微调，测量体表的温度，并咨询患者的感受。基于模糊逻辑的方法，对患者的感受进行描述。例如，可以采用5段法进行描述，包括很低，偏低，合适，偏高，很高。

[0054] 照射高度的调节可通过机械手实现，如图7所示。根据患者皮肤对温度的适应程度，多功能理疗艾灸仪与人体皮肤最佳距离约为0.02m‑0.1m。本发明中，多功能理疗艾灸仪可通过内设的距离传感器，测量艾灸仪与患者间的距离，并根据医生的设定，通过控制机械手进行自动距离调节，使得艾灸仪与患者皮肤距离恒保持为设定值。其中，机械手由顺序连接的底座1、第一关节2、第一机械臂3、第二关节4、第二机械臂5、第三关节6、第三机械臂7和第四关节8构成。

[0055] 其中，所述第一机械臂3高度可调，从而实现艾灸仪与患者皮肤距离的精准调控。第二机械臂5与第三机械臂7长度相同，第一关节2可在0°至360°范围内进行圆周运动，第二关节4与第四关节8均可在90°与180°范围内运动，第三关节6可在0°至180°范围内运动，第一机械臂3与第二机械臂5的初始夹角W1=150°，第二机械臂5与第三机械臂7的初始夹角W2=
60°，第三机械臂7与多功能理疗艾灸仪的初始夹角W3=150°。

[0056] 所述机械手的控制策略如下：

[0057] （1）通过调节第一机械臂3的长度L1，可实现艾灸仪与患者皮肤距离调节。例如，医生将艾灸仪与患者皮肤距离设定为a，艾灸仪与患者皮肤表面初始距离测定为b，此时，第一机械臂3需调整高度为：

[0058]

[0059] 通过对第一机械臂3长度的设计，艾灸仪可满足对不同身宽患者的治疗需求。

[0060] （2）为了治疗患者其他部位，需通过调整第一关节2进行艾灸仪位置水平调节。此时，艾灸仪需保持在同一水平面进行平移，且艾灸仪角度恒保持垂直向下。为实现上述目标，需同时对第二关节4、第三关节6和第四关节8进行调节，以满足如下关系：

[0061]

[0062] （3）艾灸仪放置在床长边中间位置。假设床长度为C，宽度为D。第二机械臂5的长度L2与第三机械臂7的长度L3相等，则可通过控制第二关节4、第三关节6和第四关节8的角度，使得艾灸仪工作范围覆盖全部床表面，满足对不同身高患者的治疗需求。

[0063]

[0064] 在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0065] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、 “上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

[0066] 在本发明中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

[0067] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。