一种基于人体拓扑结构的身体运动状态检测方法及系统转让专利

申请号 : CN201710430615.1

文献号 : CN107346416B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 徐文平韩守东刘昱均

申请人 : 湖北天业云商网络科技有限公司

摘要 :

本发明公开了一种基于人体拓扑结构的身体运动状态检测方法及系统,其中方法为:实时获取驾驶员图像,对前预设帧数的每一帧驾驶员图像进行人脸检测,计算人脸的中心的平均坐标为第一坐标,计算身体中心的坐标,将驾驶员图像划分为三个检测区域;获取前设定帧数之后每一帧驾驶员图像的人脸中心坐标为第二坐标,识别每一帧驾驶员图像的第二坐标处于的检测区域;根据驾驶员图像的第二坐标处于各检测区域的连续帧数判断驾驶员的身体状态并根据情况决定是否发出警告。有益效果:对驾驶员图像进行检测区域的划分,根据每一帧驾驶员图像的人脸中心坐标在哪个检测区域以及在检测区域中连续的帧数来判断身体状态,检测准确率高、速度快。

权利要求 :

1.一种基于人体拓扑结构的身体运动状态检测方法,其特征在于,包括步骤:

S1、实时获取驾驶员图像,对前预设帧数的每一帧所述驾驶员图像进行人脸检测获取包含人脸的第一矩形框,以所述第一矩形框的中心为人脸的中心,计算人脸的中心在前预设帧数驾驶员图像的平均坐标为第一坐标,根据所述第一坐标计算身体中心的坐标,根据所述第一坐标、所述身体中心的坐标、第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为左倒检测区域、右倒检测区域、低头检测区域;

S2、获取前设定帧数之后的驾驶员图像,对驾驶员图像逐帧进行人脸检测,获取前设定帧数之后每一帧驾驶员图像的人脸中心坐标为第二坐标,识别每一帧驾驶员图像的所述第二坐标处于的检测区域;

S3、根据驾驶员图像的所述第二坐标处于各检测区域的连续帧数判断驾驶员的身体状态并根据驾驶员的身体状态决定是否发出警告。

2.如权利要求1所述的基于人体拓扑结构的身体运动状态检测方法,其特征在于,步骤S1中:实时获取驾驶员上半身的尺寸大小相同的图像;

依据预设的第一映射关系由所述第一坐标计算出所述身体中心的坐标,依据预设的第二映射关系利用所述第一坐标、所述身体中心的坐标、所述第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为左倒检测区域、右倒检测区域、低头检测区域。

3.如权利要求1所述的基于人体拓扑结构的身体运动状态检测方法,其特征在于,步骤S3中:依据预设的第三映射关系利用所述第一坐标的得到一水平的低头临界线,如果识别到连续N帧的驾驶员图像的所述第二坐标处于低头检测区域且在水平的低头临界线之下,则判断N是否大于第一阈值,如果N大于第一阈值,则认为连续N帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于前倒状态,如果N小于或等于第一阈值,则认为连续N帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于点头状态并计算点头频率;

识别到连续M帧的驾驶员图像的所述第二坐标处于左倒检测区域内且M大于第二阈值,则认为连续M帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于左倒状态;

识别到连续T帧的驾驶员图像的所述第二坐标处于右倒检测区域内且T大于第三阈值,则认为连续T帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于右倒状态。

4.如权利要求3所述的基于人体拓扑结构的身体运动状态检测方法,其特征在于,步骤S3中:如果驾驶员的身体状态为前倒状态或左倒状态或右倒状态或点头频率大于第四阈值则发出警告提醒驾驶员注意,否则不发出警告。

5.一种基于人体拓扑结构的身体运动状态检测系统,其特征在于,包括:

检测区域划分模块:实时获取驾驶员图像,对前预设帧数的每一帧驾驶员图像进行人脸检测获取包含人脸的第一矩形框,以所述第一矩形框的中心为人脸的中心,计算人脸的中心在前预设帧数驾驶员图像的平均坐标为第一坐标,根据所述第一坐标计算身体中心的坐标,根据所述第一坐标、所述身体中心的坐标、第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为左倒检测区域、右倒检测区域、低头检测区域;

区域判断模块:获取前设定帧数之后的驾驶员图像,对驾驶员图像逐帧进行人脸检测,获取前设定帧数之后每一帧驾驶员图像的人脸中心坐标为第二坐标,识别每一帧驾驶员图像的所述第二坐标处于的检测区域;

身体状态判断模块:根据驾驶员图像的所述第二坐标处于各检测区域的连续帧数判断驾驶员的身体状态并根据驾驶员的身体状态决定是否发出警告。

6.如权利要求5所述的基于人体拓扑结构的身体运动状态检测系统,其特征在于,检测区域划分模块中:实时获取驾驶员上半身的尺寸大小相同的图像;

依据预设的第一映射关系由所述第一坐标计算出身体中心的坐标,依据预设的第二映射关系利用所述第一坐标、所述身体中心的坐标、所述第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为左倒检测区域、右倒检测区域、低头检测区域。

7.如权利要求5所述的基于人体拓扑结构的身体运动状态检测系统,其特征在于,身体状态判断模块中:依据预设的第三映射关系利用所述第一坐标的得到一水平的低头临界线,如果识别到连续N帧的驾驶员图像的所述第二坐标处于低头检测区域且在水平的低头临界线之下,则判断N是否大于第一阈值,如果N大于第一阈值,则认为连续N帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于前倒状态,如果N小于或等于第一阈值,则认为连续N帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于点头状态并计算点头频率;

识别到连续M帧的驾驶员图像的所述第二坐标处于左倒检测区域内且M大于第二阈值,则认为连续M帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于左倒状态;

识别到连续T帧的驾驶员图像的所述第二坐标处于右倒检测区域内且T大于第三阈值,则认为连续T帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于右倒状态。

8.如权利要求7所述的基于人体拓扑结构的身体运动状态检测系统,其特征在于,身体状态判断模块中:如果驾驶员的身体状态为前倒状态或左倒状态或右倒状态或点头频率大于第四阈值则发出警告提醒驾驶员注意,否则不发出警告。

说明书 :

一种基于人体拓扑结构的身体运动状态检测方法及系统

技术领域

[0001] 本发明涉及计算机视觉处理技术领域,尤其是涉及一种基于人体拓扑结构的身体运动状态检测方法及系统。

背景技术

[0002] 驾驶员在驾驶过程中,可能会出现疲劳,身体不适,被外界事物分散注意力等情况,在出现这些情况时,驾驶员的身体运动状态往往是不正常的,会导致身体倾倒(左倒、右倒、前倒)、不断点头等行为。因此,有必要报警以提醒驾驶员注意各种不安全的驾驶行为,有效减少驾驶员因各种非正常驾驶行为所造成的交通事故,为行车安全提供保障。
[0003] 在现有的文献、专利或技术中,与驾驶员身体运动状态检测的相关研究很少。多数文献和专利着力于研究驾驶员疲劳状态检测,有少量资料提及驾驶员头部姿态估计。另有一部分文献与人体姿势分析相关,研究人体站立、倒卧、蹲坐等姿态,难以应用于驾驶场景。

发明内容

[0004] 本发明的目的在于克服上述技术不足,提出一种基于人体拓扑结构的身体运动状态检测方法及系统,解决现有技术中的上述技术问题。
[0005] 为达到上述技术目的,本发明的技术方案提供一种基于人体拓扑结构的身体运动状态检测方法,包括:
[0006] S1、实时获取驾驶员图像,对前预设帧数的每一帧驾驶员图像进行人脸检测获取包含人脸的第一矩形框,以第一矩形框的中心为人脸的中心,计算人脸的中心在前预设帧数驾驶员图像的平均坐标为第一坐标,根据第一坐标计算身体中心的坐标,根据第一坐标、身体中心的坐标、第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为三个检测区域;
[0007] S2、获取前设定帧数之后的驾驶员图像,对驾驶员图像逐帧进行人脸检测,获取前设定帧数之后每一帧驾驶员图像的人脸中心坐标为第二坐标,识别每一帧驾驶员图像的第二坐标处于的检测区域;
[0008] S3、根据驾驶员图像的第二坐标处于各检测区域的连续帧数判断驾驶员的身体状态并根据驾驶员的身体状态决定是否发出警告。
[0009] 本发明还提供一种基于人体拓扑结构的身体运动状态检测系统,包括:
[0010] 检测区域划分模块:实时获取驾驶员图像,对前预设帧数的每一帧驾驶员图像进行人脸检测获取包含人脸的第一矩形框,以第一矩形框的中心为人脸的中心,计算人脸的中心在前预设帧数驾驶员图像的平均坐标为第一坐标,根据第一坐标计算身体中心的坐标,根据第一坐标、身体中心的坐标、第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为三个检测区域;
[0011] 区域判断模块:获取前设定帧数之后的驾驶员图像,对驾驶员图像逐帧进行人脸检测,获取前设定帧数之后每一帧驾驶员图像的人脸中心坐标为第二坐标,识别每一帧驾驶员图像的第二坐标处于的检测区域;
[0012] 身体状态判断模块:根据驾驶员图像的第二坐标处于各检测区域的连续帧数判断驾驶员的身体状态并根据驾驶员的身体状态决定是否发出警告。
[0013] 与现有技术相比,本发明的有益效果包括:对驾驶员图像进行检测区域的划分,根据前设定帧数之后每一帧驾驶员图像的人脸中心坐标在哪个检测区域以及在检测区域中连续的图像帧数来判断驾驶员的身体状态并根据情况决定是否警告,检测准确率高,检测速度快。

附图说明

[0014] 图1是本发明提供的一种基于人体拓扑结构的身体运动状态检测方法流程图;
[0015] 图2是本发明提供的一种基于人体拓扑结构的身体运动状态检测系统结构框图;
[0016] 图3是驾驶员图像的检测区域示意图。
[0017] 附图中:1、基于人体拓扑结构的身体运动状态检测系统,11、检测区域划分模块,12、区域判断模块,13、身体状态判断模块。

具体实施方式

[0018] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0019] 本发明提供了一种基于人体拓扑结构的身体运动状态检测方法,包括:
[0020] S1、实时获取驾驶员图像,对前预设帧数的每一帧驾驶员图像进行人脸检测获取包含人脸的第一矩形框,以第一矩形框的中心为人脸的中心,计算人脸的中心在前预设帧数驾驶员图像的平均坐标为第一坐标,根据第一坐标计算身体中心的坐标,根据第一坐标、身体中心的坐标、第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为三个检测区域;
[0021] S2、获取前设定帧数之后的驾驶员图像,对驾驶员图像逐帧进行人脸检测,获取前设定帧数之后每一帧驾驶员图像的人脸中心坐标为第二坐标,识别每一帧驾驶员图像的第二坐标处于的检测区域;
[0022] S3、根据驾驶员图像的第二坐标处于各检测区域的连续帧数判断驾驶员的身体状态并根据驾驶员的身体状态决定是否发出警告。
[0023] 本发明所述的基于人体拓扑结构的身体运动状态检测方法,步骤S1中:
[0024] 将摄像头安装在能够拍摄到驾驶员上半身的地方,实时获取驾驶员上半身的尺寸大小相同的图像,摄像头采用红外补光摄像头,在驾驶室环境亮度较低时,红外补光摄像头自动开启红外补光,使得在驾驶室环境亮度较低或者黑夜时,仍可以采集到驾驶员清晰图像。
[0025] 本发明所述的基于人体拓扑结构的身体运动状态检测方法,步骤S1中:
[0026] 如图3所示,在驾驶员图像上建立x、y轴,以左上角顶点为原点,水平方向为x轴,垂直方向为y轴;
[0027] 人脸的中心在前预设帧数驾驶员图像的平均坐标为第一坐标,平均坐标的计算方法为:将前预设帧数(设前预设帧数为A)驾驶员图像的人脸中心坐标的x轴坐标相加得x1,将前预设帧数驾驶员图像的人脸中心坐标的y轴坐标相加得y1,则平均坐标为(x1/A,y1/A);
[0028] 依据预设的第一映射关系由第一坐标计算出身体中心的坐标,具体为:
[0029] 设第一坐标为(a,b),身体中心坐标为(c,d),其中,c=a,d=b+e,e可根据实际需要设置;
[0030] 依据预设的第二映射关系利用第一坐标、身体中心的坐标、第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为左倒检测区域、右倒检测区域、低头检测区域,具体为:
[0031] 如图3所示,第一矩形框下方的矩形为身体区域,右倒检测区域、左倒检测区域为大小相同,在驾驶员图像中对称的两个矩形区域,分别位于驾驶员图像的左顶角和右顶角,右倒检测区域、左倒检测区域的长度为a-sangle*(d-b),sangle可以根据实际需要设置,宽度为一帧驾驶员图像的高度减去第一矩形高度,低头检测区域为一帧驾驶员图像中除去右倒检测区域、左倒检测区域剩余的区域,低头检测区域如图3中所示为斜杠的阴影区域。
[0032] 预设的第一映射关系、第二映射关系经过多次试验验证,可以准确检测驾驶员的身体运动状态。
[0033] 本发明所述的基于人体拓扑结构的身体运动状态检测方法,步骤S3中:
[0034] 依据预设的第三映射关系利用第一坐标的得到一水平的低头临界线,具体的,水平的低头临界线为y=b+b/5。预设的第三映射关系经过多次试验验证,可以准确检测驾驶员的身体运动状态。
[0035] 本发明所述的基于人体拓扑结构的身体运动状态检测方法,步骤S3中:
[0036] 如果识别到连续N帧的驾驶员图像的第二坐标处于低头检测区域且在水平的低头临界线之下,则判断N是否大于第一阈值,如果N大于第一阈值,则认为连续N帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于前倒状态,如果N小于或等于第一阈值,则认为连续N帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于点头状态并计算点头频率;
[0037] 识别到连续M帧的驾驶员图像的第二坐标处于左倒检测区域内且M大于第二阈值,则认为连续M帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于左倒状态;
[0038] 识别到连续T帧的驾驶员图像的第二坐标处于右倒检测区域内且T大于第三阈值,则认为连续T帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于右倒状态。
[0039] 本发明所述的基于人体拓扑结构的身体运动状态检测方法,步骤S3中:
[0040] 如果驾驶员的身体状态为前倒状态或左倒状态或右倒状态或点头频率大于第四阈值则发出警告提醒驾驶员注意,否则不发出警告。
[0041] 本发明还提供一种基于人体拓扑结构的身体运动状态检测系统1,包括:
[0042] 检测区域划分模块11:实时获取驾驶员图像,对前预设帧数的每一帧驾驶员图像进行人脸检测获取包含人脸的第一矩形框,以第一矩形框的中心为人脸的中心,计算人脸的中心在前预设帧数驾驶员图像的平均坐标为第一坐标,根据第一坐标计算身体中心的坐标,根据第一坐标、身体中心的坐标、第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为三个检测区域;
[0043] 区域判断模块12:获取前设定帧数之后的驾驶员图像,对驾驶员图像逐帧进行人脸检测,获取前设定帧数之后每一帧驾驶员图像的人脸中心坐标为第二坐标,识别每一帧驾驶员图像的第二坐标处于的检测区域;
[0044] 身体状态判断模块13:根据驾驶员图像的第二坐标处于各检测区域的连续帧数判断驾驶员的身体状态并根据驾驶员的身体状态决定是否发出警告。
[0045] 本发明所述的基于人体拓扑结构的身体运动状态检测系统1,检测区域划分模块11中:
[0046] 实时获取驾驶员上半身的尺寸大小相同的图像;
[0047] 依据预设的第一映射关系由第一坐标计算出身体中心的坐标,依据预设的第二映射关系利用第一坐标、身体中心的坐标、第一矩形框高度、一帧驾驶员图像的高度将一帧驾驶员图像划分为左倒检测区域、右倒检测区域、低头检测区域。
[0048] 本发明所述的基于人体拓扑结构的身体运动状态检测系统1,身体状态判断模块13中:
[0049] 依据预设的第三映射关系利用第一坐标的得到一水平的低头临界线,如果识别到连续N帧的驾驶员图像的第二坐标处于低头检测区域且在水平的低头临界线之下,则判断N是否大于第一阈值,如果N大于第一阈值,则认为连续N帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于前倒状态,如果N小于或等于第一阈值,则认为连续N帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于点头状态并计算点头频率;
[0050] 识别到连续M帧的驾驶员图像的第二坐标处于左倒检测区域内且M大于第二阈值,则认为连续M帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于左倒状态;
[0051] 识别到连续T帧的驾驶员图像的第二坐标处于右倒检测区域内且T大于第三阈值,则认为连续T帧的驾驶员图像对应的实时时间内驾驶员的身体状态处于右倒状态。
[0052] 本发明所述的基于人体拓扑结构的身体运动状态检测系统1,身体状态判断模块13中:
[0053] 如果驾驶员的身体状态为前倒状态或左倒状态或右倒状态或点头频率大于第四阈值则发出警告提醒驾驶员注意,否则不发出警告。
[0054] 与现有技术相比,本发明的有益效果包括:对驾驶员图像进行检测区域的划分,根据前设定帧数之后每一帧驾驶员图像的人脸中心坐标在哪个检测区域以及在检测区域中连续的图像帧数来判断驾驶员的身体状态并根据情况决定是否警告,检测准确率高,检测速度快,且在晚上或者环境亮度较低时仍可以进行检测。
[0055] 以上所述本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。