一种基于多模态的人体坐姿检测方法及装置

摘要

本发明提出一种基于多模态的人体坐姿检测方法及装置，包括以下步骤：在设定时间间隔内获取人体坐姿的上半身的RGB图像和深度图像，获取人体坐姿的下半身的压力热力图；计算获得人体坐姿的上半身端正的类别阈值thrgb、人体坐姿的上半身的端正度概率thdepth和人体坐姿的下半身的端正度概率thhot，再计算坐姿判断值Th，最后根据坐姿判断值Th判定当前人体坐姿是否端正。本发明基于图像信息，TOF深度信息以及压力传感器信息等多种模态相结合的方法和装置，来分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。

权利要求

1.一种基于多模态的人体坐姿检测方法，其特征是，包括以下步骤：S1，在设定时间间隔内获取人体坐姿的上半身的RGB图像和深度图像，获取人体坐姿的下半身的压力热力图；

S2，根据RGB图像坐姿识别算法处理RGB图像，获得人体坐姿的上半身端正的类别阈值thrgb；

S3，根据深度图像坐姿判断算法处理深度图像，获得人体坐姿的上半身的端正度概率thdepth；

S4，根据压力图坐姿判断算法处理压力热力图，获得人体坐姿的下半身的端正度概率thhot；所述S4具体包括以下步骤：S401，从压力传感器获取到压力热力图；

S402，找到压力热力图的中心点及最小外接矩形框，计算压力热力图的左右部分特征的均值，左部分特征均值El：

右部分特征均值Er：

其中：i、j表示坐标值，Xij表示压力热力图在坐标(i，j)处的压力值，W、H表示最小外接矩形框的宽和高；

S403，计算左右两边的差值的绝对值Dis＝|El‑Er|，然后计算人体坐姿的下半身的端正度概率thhot：thhot＝(EL+ER‑Dis)/(EL+ER)；

S5，根据人体坐姿的上半身端正的类别阈值thrgb、人体坐姿的上半身的端正度概率thdepth和人体坐姿的下半身的端正度概率thhot计算坐姿判断值Th，具体计算公式如下：Th＝α*thrgb+β*thdepth+χ*thhot；

其中，α、β和x为调节参数；

S6、判断坐姿判断值Th是否大于设定的坐姿端正阈值，若是，则判定当前人体坐姿端正，返回S1，若否，则判定当前人体坐姿不端正并发出调整坐姿提示。

2.根据权利要求1所述的一种基于多模态的人体坐姿检测方法，其特征是，所述S2具体包括以下步骤：S201，将RGB图像输入到人体检测算法，提取图片中检测到的人体部分的RGB特征；

S202，将人体部分的特征输入到坐姿识别算法中，得到端正的类别阈值thrgb。

3.根据权利要求2所述的一种基于多模态的人体坐姿检测方法，其特征是，所述人体检测算法和坐姿识别算法采用深度学习开源框架darknet训练得到；所述人体检测算法采用yolov3算法或faster RCNN算法或SSD算法替代；所述坐姿识别算法采用darknet19或darknet53或VGG16或Resnet18或Resnet34或Resnet50分类算法。

4.根据权利要求1所述的一种基于多模态的人体坐姿检测方法，其特征是，所述S3具体包括以下步骤：S301，利用深度图像根据人形检测算法检测到的人形位置信息，提取人体部分的深度特征；

S302，计算人体部分的深度特征的均值和方差，具体计算公式如下：其中：E(X)表示深度特征的均值,D(X)表示深度特征的方差，i、j表示坐标值，xij表示深度图像在坐标(i，j)处的像素值，w、h表示人体的宽和高；

S303，根据均值和方差计算人体坐姿的上半身的端正度概率thdepth，具体计算公式，如下：其中：μ、σ为调整参数。

5.一种基于多模态的人体坐姿检测装置，适用于权利要求1所述的一种基于多模态的人体坐姿检测方法，其特征是，包括主控芯片(1)，所述主控芯片(1)通过视频输入处理模块(5)连接有摄像头(2)，所述主控芯片(1)通过TOF模块(6)连接有TOF传感器(3)，所述主控芯片(1)通过压力传感处理模块(7)连接有压力传感器(4)。

6.根据权利要求5所述的一种基于多模态的人体坐姿检测装置，其特征是，所述主控芯片(1)通过音频处理模块(9)连接有喇叭(8)。

7.根据权利要求5或6所述的一种基于多模态的人体坐姿检测装置，其特征是，所述压力传感器(4)包括上下2个基板(41)，所述基板(41)上设有压力传感应变片(42)，压力传感应变片(42)上设有若干凸条(44)，所述凸条(44)通过导线(43)连接到压力传感处理模块(7)，其中位于上方的凸条(44)为横向的，位于下方的凸条(44)为纵向的，上方的凸条(44)和下方的凸条(44)纵横交错，每一个纵横交错的地方作为一个感测点，所有感测点形成感测区域。

说明书

一种基于多模态的人体坐姿检测方法及装置

技术领域

[0001] 本发明涉及人体坐姿检测技术领域，尤其是一种基于多模态的人体坐姿检测方法及装置。

背景技术

[0002] 中小学生在成长发育期间，如果坐姿不对将带来很多身体问题，其中严重的包括：近视、脊柱侧弯、颈椎问题等。

[0003] 目前，市面上矫正学生坐姿的设备大部分是基于人体工学结构来对学生坐姿起到弱约束，对于学生的坐姿矫正效果不高，小部分强约束的设备则大致分为三类：穿戴式、座椅式以及台灯式。

[0004] 第一类：穿戴式，通过固定结构设计穿戴在学生身上，起到强行约束学生坐姿的作用，缺陷是极大的限制了学生的活动，并且一定程度上妨碍视线，影响学习效果；

[0005] 第二类：座椅式，通过在椅子坐垫及靠背上安装元器件如压敏电阻等，在弥补了第一类的不人性化和呆板僵硬后，导致的缺陷是电子元器件受到环境、个体差异等一系列因素的影响导致数据不准确，纠正学生坐姿效果不理想；

[0006] 最后一类：台灯式，通过在台灯上添加摄像头，依据图像来判断学生坐姿，能够在桌面上自由摆放，给予了用户更加人性化的体验，缺点是摄像头拍摄的视野小，能够判断的不良坐姿类别少，例如：“撑手、肩高”等，基本无法识别，少部分识别不精确，无法准确分析学生的坐姿状态。

发明内容

[0007] 本发明解决了现有技术无法准确分析学生的坐姿状态的问题，提出一种基于多模态的人体坐姿检测方法及装置，基于图像信息，TOF深度信息以及压力传感器信息等多种模态相结合的方法和装置，来分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。

[0008] 为实现上述目的，提出以下技术方案：

[0009] 一种基于多模态的人体坐姿检测方法，包括以下步骤：

[0010] S1，在设定时间间隔内获取人体坐姿的上半身的RGB图像和深度图像，获取人体坐姿的下半身的压力热力图；

[0011] S2，根据RGB图像坐姿识别算法处理RGB图像，获得人体坐姿的上半身端正的类别阈值thrgb；

[0012] S3，根据深度图像坐姿判断算法处理深度图像，获得人体坐姿的上半身的端正度概率thdepth；

[0013] S4，根据压力图坐姿判断算法处理压力热力图，获得人体坐姿的下半身的端正度概率thhot；

[0014] S5，根据人体坐姿的上半身端正的类别阈值thrgb、人体坐姿的上半身的端正度概率thdepth和人体坐姿的下半身的端正度概率thhot计算坐姿判断值Th，具体计算公式如下：

[0015] Th＝α*thrgb+β*thdepth+χ*thhot；

[0016] 其中，α、β和x为调节参数；

[0017] S6、判断坐姿判断值Th是否大于设定的坐姿端正阈值，若是，则判定当前人体坐姿端正，返回S1，若否，则判定当前人体坐姿不端正并发出调整坐姿提示。

[0018] 本发明整合了RGB图像信息处理、深度图像信息处理和压力传感器信息处理，全面获取人体坐姿的肢体信息，通过多种模态相结合的方式，综合分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。

[0019] 作为优选，所述S2具体包括以下步骤：

[0020] S201，将RGB图像输入到人体检测算法，提取图片中检测到的人体部分的RGB特征；

[0021] S202，将人体部分的特征输入到坐姿识别算法中，得到端正的类别阈值thrgb；

[0022] 作为优选，所述人体检测算法和坐姿识别算法采用深度学习开源框架darknet训练得到；所述人体检测算法采用yolov3算法或faster RCNN算法或SSD算法等替代；所述坐姿识别算法采用darknet19或darknet53或VGG16或Resnet18或Resnet34或Resnet50分类算法。

[0023] 作为优选，所述S3具体包括以下步骤：

[0024] S301，利用深度图像根据人形检测算法检测到的人形位置信息，提取人体部分的深度特征；

[0025] S302，计算人体部分的深度特征的均值和方差，具体计算公式如下：

[0026]

[0027]

[0028] 其中：E(X)表示深度特征的均值,D(X)表示深度特征的方差，i、j表示坐标值，xij表示深度图像在坐标(i，j)处的像素值，w、h表示人体的宽和高；

[0029] S303，根据均值和方差计算人体坐姿的上半身的端正度概率thdepth，具体计算公式，如下：

[0030]

[0031] 其中：μ、σ为调整参数。

[0032] 通过深度算法，将人形检测算法检测到的人形框内的人形深度信息进行灰度处理，将人形深度信息按照灰度标注展示，同时将人形框内的背景环境全部加黑屏蔽，通过人形检测和深度算法将环境的影响降到最低，然后将处理后的灰度图输入坐姿识别算法，识别人体坐姿。

[0033] 作为优选，所述S4具体包括以下步骤：

[0034] S401，从压力传感器获取到压力热力图；

[0035] S402，找到压力热力图的中心点及最小外接矩形框，计算压力热力图的左右部分特征的均值，

[0036] 左部分特征均值El：

[0037]

[0038] 右部分特征均值Er：

[0039]

[0040] 其中：i、j表示坐标值，Xij表示压力热力图在坐标(i，j)处的压力值，W、H表示最小外接矩形框的宽和高；

[0041] S403，计算左右两边的差值的绝对值Dis＝|El‑Er|，然后计算人体坐姿的下半身的端正度概率thhot：

[0042] thhot＝(EL+ER‑Dis)/(EL+ER)。

[0043] 一种基于多模态的人体坐姿检测装置，适用于上述的一种基于多模态的人体坐姿检测方法，包括主控芯片，所述主控芯片通过视频输入处理模块连接有摄像头，所述主控芯片通过TOF模块连接有TOF传感器，所述主控芯片通过压力传感处理模块连接有压力传感器。

[0044] 所述视频输入处理模块将摄像头获取的RGB图像转化为数字信号信息发送到主控芯片，所述TOF模块将TOF传感器获取的深度图像转化为数字信号信息发送到主控芯片，所述压力传感处理模块将压力传感器获取的压力信号值转化为压力热力图，并将压力热力图以数字信号形式传输到主控芯片，所述主控芯片根据接收的各项数据进行运算得出检测结果。

[0045] 通过在学习桌正面安装摄像头和TOF传感器，捕捉学生一段时间内的上半身坐姿信息，并将数据传入硬件处理分析模块包括视频输入处理模块和TOF模块；以及在学习椅上部署压力传感器，通过配套的通讯模块将学习椅一段时间内产生的数据传入压力传感处理模块。主控芯片通过相应的硬件模块包括扬声器、指示灯、按键、wifi通讯模块等，播报相应的坐姿状态，提醒学生保持端正坐姿，最终形成一套多模态的学生坐姿分析装置。

[0046] 作为优选，所述主控芯片通过音频处理模块连接有喇叭。所述主控芯片将提示音信息发送到音频处理模块，音频处理模块将提示音信息转化为控制信号，通过控制信号控制喇叭播报提示音。

[0047] 作为优选，所述压力传感器包括上下2个基板，所述基板上设有压力传感应变片，压力传感应变片上设有若干凸条，所述凸条通过导线连接到压力传感处理模块，其中位于上方的凸条为横向的，位于下方的凸条为纵向的，上方的凸条和下方的凸条纵横交错，每一个纵横交错的地方作为一个感测点，所有感测点形成感测区域。

[0048] 本发明的有益效果是：整合了RGB图像信息处理、深度图像信息处理和压力传感器信息处理，全面获取人体坐姿的肢体信息，通过多种模态相结合的方式，综合分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。

附图说明

[0049] 图1是实施例的装置总体结构示意图；

[0050] 图2是实施例的压力传感器的结构示意图；

[0051] 图3是实施例的端正坐姿检测图；

[0052] 图4是实施例的上半身非端正下半身端正检测图；

[0053] 图5是实施例的上半身端正下半身非端正检测图；

[0054] 其中：1、主控芯片 2、摄像头 3、TOF传感器 4、压力传感器 5、视频输入处理模块 6、TOF模块 7、压力传感处理模块 8、喇叭 9、音频处理模块 41、基板 42、压力传感应变片 
43、导线 44、凸条。

具体实施方式

[0055] 实施例：

[0056] 本实施例提出一种基于多模态的人体坐姿检测方法，包括以下步骤：

[0057] S1，在设定时间间隔内获取人体坐姿的上半身的RGB图像和深度图像，获取人体坐姿的下半身的压力热力图；

[0058] S2，根据RGB图像坐姿识别算法处理RGB图像，获得人体坐姿的上半身端正的类别阈值thrgb；S2具体包括以下步骤：

[0059] S201，将RGB图像输入到人体检测算法，提取图片中检测到的人体部分的RGB特征；

[0060] S202，将人体部分的特征输入到坐姿识别算法中，得到端正的类别阈值thrgb；

[0061] 人体检测算法和坐姿识别算法采用深度学习开源框架darknet训练得到；人体检测算法采用yolov3算法或faster RCNN算法或SSD算法等替代；坐姿识别算法采用darknet19或darknet53或VGG16或Resnet18或Resnet34或Resnet50分类算法。

[0062] S3，根据深度图像坐姿判断算法处理深度图像，获得人体坐姿的上半身的端正度概率thdepth；S3具体包括以下步骤：

[0063] S301，利用深度图像根据人形检测算法检测到的人形位置信息，提取人体部分的深度特征；

[0064] S302，计算人体部分的深度特征的均值和方差，具体计算公式如下：

[0065]

[0066]

[0067] 其中：E(X)表示深度特征的均值,D(X)表示深度特征的方差，i、j表示坐标值，xij表示深度图像在坐标(i，j)处的像素值，w、h表示人体的宽和高；

[0068] S303，根据均值和方差计算人体坐姿的上半身的端正度概率thdepth，具体计算公式，如下：

[0069]

[0070] 其中：μ、σ为调整参数，μ＝45，σ＝2。

[0071] 通过深度算法，将人形检测算法检测到的人形框内的人形深度信息进行灰度处理，将人形深度信息按照灰度标注展示，同时将人形框内的背景环境全部加黑屏蔽，通过人形检测和深度算法将环境的影响降到最低，然后将处理后的灰度图输入坐姿识别算法，识别人体坐姿。

[0072] S4，根据压力图坐姿判断算法处理压力热力图，获得人体坐姿的下半身的端正度概率thhot；S4具体包括以下步骤：

[0073] S401，从压力传感器获取到压力热力图；

[0074] S402，找到压力热力图的中心点及最小外接矩形框，计算压力热力图的左右部分特征的均值，

[0075] 左部分特征均值El：

[0076]

[0077] 右部分特征均值Er：

[0078]

[0079] 其中：i、j表示坐标值，Xij表示压力热力图在坐标(i，j)处的压力值，W、H表示最小外接矩形框的宽和高；

[0080] S403，计算左右两边的差值的绝对值Dis＝|El‑Er|，然后计算人体坐姿的下半身的端正度概率thhot：

[0081] thhot＝(EL+ER‑Dis)/(EL+ER)。

[0082] S5，根据人体坐姿的上半身端正的类别阈值thrgb、人体坐姿的上半身的端正度概率thdepth和人体坐姿的下半身的端正度概率thhot计算坐姿判断值Th，具体计算公式如下：

[0083] Th＝α*thrgb+β*thdepth+χ*thhot；

[0084] 其中，α、β和x为调节参数，α＝0.3，β＝0.3，χ＝0.4。

[0085] S6、判断坐姿判断值Th是否大于设定的坐姿端正阈值，若是，则判定当前人体坐姿端正，返回S1，若否，则判定当前人体坐姿不端正并发出调整坐姿提示。

[0086] 本发明整合了RGB图像信息处理、深度图像信息处理和压力传感器信息处理，全面获取人体坐姿的肢体信息，通过多种模态相结合的方式，综合分析学生坐姿，较大程度提高了坐姿算法的准确度，帮助学生矫正坐姿，帮助学生远离近视、脊柱发育不良等的身体健康问题。

[0087] 本实施例还提出一种基于多模态的人体坐姿检测装置，适用于上述的一种基于多模态的人体坐姿检测方法，参考图1和图2，包括主控芯片1，主控芯片1通过视频输入处理模块5连接有摄像头2，主控芯片1通过TOF模块6连接有TOF传感器3，主控芯片1通过压力传感处理模块7连接有压力传感器4。主控芯片1通过音频处理模块9连接有喇叭8。主控芯片1将提示音信息发送到音频处理模块9，音频处理模块9将提示音信息转化为控制信号，通过控制信号控制喇叭8播报提示音。压力传感器4包括上下2个基板41，基板41上设有压力传感应变片42，压力传感应变片42上设有若干凸条44，凸条44通过导线43连接到压力传感处理模块7，其中位于上方的凸条44为横向的，位于下方的凸条44为纵向的，上方的凸条44和下方的凸条44纵横交错，每一个纵横交错的地方作为一个感测点，所有感测点形成感测区域。上方的凸条44和下方的凸条44各有44条，形成的感测区域内共有1936个感测点。

[0088] 视频输入处理模块5将摄像头2获取的RGB图像转化为数字信号信息发送到主控芯片1，TOF模块6将TOF传感器3获取的深度图像转化为数字信号信息发送到主控芯片1，压力传感处理模块7将压力传感器4获取的压力信号值转化为压力热力图，并将压力热力图以数字信号形式传输到主控芯片1，主控芯片1根据接收的各项数据进行运算得出检测结果。

[0089] 通过在学习桌正面安装摄像头和TOF传感器，捕捉学生一段时间内的上半身坐姿信息，并将数据传入硬件处理分析模块包括视频输入处理模块5和TOF模块6；以及在学习椅上部署压力传感器，通过配套的通讯模块将学习椅一段时间内产生的数据传入压力传感处理模块7。主控芯片1通过相应的硬件模块包括扬声器、指示灯、按键、wifi通讯模块等，播报相应的坐姿状态，提醒学生保持端正坐姿，最终形成一套多模态的学生坐姿分析装置。

[0090] 摄像头以及TOF传感器一同安装在学习桌书架的正面，距离桌面高度45cm，距离桌沿40cm。捕捉学生一段时间内的上半身坐姿信息，并将数据传入硬件处理分析模块；如图2所示，压力传感器布置在学习椅坐垫上，覆盖于学习椅坐垫的表面。

[0091] 本发明的硬件设备选取如下：

[0092] 主控芯片设备选取海思hi3516芯片或瑞芯微RV1109芯片；

[0093] TOF传感器设备选取德国GWU公司的versaScanl20型OPO可调谐激光器，波长调谐范围为410‑2500nm，脉宽为3ns，重复频率为100Hz，或选取双波长脉冲激光二极管，型号PL520，欧司朗或型号MLlOlJ23，三菱，波长分别为520nm和650nm，输出功率分别为50mW和150mW，可调脉宽均为1‑1OOOns，可调重复频率均为l‑30KHz；

[0094] 压力传感器设备选取方形5101型号感测片或柔性压力传感器。

[0095] 本装置的使用流程：

[0096] 步骤一：为装置插上电源，打开硬件装置；

[0097] 步骤二：打开摄像头、TOF传感器以及学习椅上的压力传感器设备，激活装置功能；

[0098] 步骤三：根据三种模块产生的数据进行处理，得到三种模块下得到的单独数据结果；

[0099] 摄像头采集处理得到RGB图像，然后输入主控芯片设备中，通过坐姿识别算法，得到摄像头端的坐姿信息，识别如：离开、趴桌、低头、倾斜、偏头、侧脸等不良坐姿；

[0100] TOF传感器采集处理得到深度图像，然后输入主控芯片设备中，通过深度图像坐姿判断算法，得到TOF传感器端的坐姿信息，识别如：弓背、低头、离开、前倾、后躺等不良坐姿；

[0101] 压力传感器采集处理得到压力热力图，然后输入主控芯片设备中，通过压力图坐姿判断算法，得到压力传感器端的坐姿信息，识别如：翘腿、盘腿、侧坐等不良坐姿。

[0102] 步骤四：将三种模块下得到的单独数据结果通过最后的逻辑处理算法，判断出学生一段时间内的坐姿状态；

[0103] 步骤五：根据步骤四中得到的坐姿状态，当学生出现不良坐姿时，装置播报相应的不良坐姿语音，提醒学生端正坐姿。

[0104] 本发明的实施效果如下：

[0105] 一、端正坐姿时，参考图3，图中(a)坐姿示意图；(b)RGB图像；(c)TOF深度信息图；(d)压力热力图；

[0106] 当坐姿端正时，thrgb＝0.89，thdepth＝0.83，thhot＝0.78，Th＝0.88，坐姿判断为端正。

[0107] 二、上半身非端正下半身端正时，参考图4，图中(a)坐姿示意图；(b)RGB图像；(c)TOF深度信息图；(d)压力热力图；

[0108] 当前倾时，thrgb＝0.35，thdepth＝0.37，thhot＝0.78，Th＝0.528，坐姿判断为非端正。

[0109] 三、上半身端正下半身非端正时，参考图5，图中(a)坐姿示意图；(b)RGB图像；(c)TOF深度信息图；(d)压力热力图；

[0110] 当翘腿时，thrgb＝0.89，thdepth＝0.83，thdepth＝0.26，Th＝0.62坐姿判断为非端正。