一种静态手势识别方法和装置转让专利

申请号 : CN201610024808.2

文献号 : CN105608442B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 萧伟张泓张少华谢卫良

申请人 : 深圳市视美泰技术股份有限公司

摘要 :

本发明公开了一种静态手势识别方法,多个手势图片通过双层l1范数变换构成分类器的训练集,进而提供给分类器进行训练,得到含有具体分类参数的分类器,所述分类器用于对不同静态手势进行分类;还公开了一种静态手势识别装置。本发明将手势图像信息用双层l1范数表示形式表达,进而构成分类器训练集用于训练分类器以确定分类器的具体参数,最后利用分类器对手势图像进行分类,步骤简洁紧凑,提高手势识别的精确度及效率。本发明作为一种静态手势识别方法和装置,可广泛应用于手势识别领域。

权利要求 :

1.一种静态手势识别方法,其特征在于,多个手势图片通过双层l1范数变换构成分类器的训练集,进而提供给分类器进行训练,得到含有具体分类参数的分类器,所述分类器用于对不同静态手势进行分类;

包括以下步骤:

S1、分别对多个手势图像撷取一帧包含待识别手势的图像,得到多个矩阵I,矩阵I内每个元素对应待识别手势图像的一个像素;

S2、分别提取I的图像特征,得到由多个手势的特征向量y构成的集合;

S3、对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p};

S4、根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别;

所述步骤S3包括:

S31、对多个手势的特征向量y的集合中的各个向量y进行聚类之后得到的码书V,V为矩阵,根据目标函数在约束条件

s.t 1Ta=1

下对y进行l1范数变换,其中,向量a是特征向量y经过变换后的映射向量a,向量d代表a与V中各列向量之间的欧氏距离,求解得到各个特征向量y的映射向量a和多个映射向量a的维数D1;

S32、对矩阵V中由映射向量a确定的各个列向量vi进行聚类之后得到的码书U,U为矩阵,根据目标函数在约束条件

s.t 1Tbi=1

下对矩阵V中的各个列向量vi进行l1范数变换,i∈1,2,3,……D1,其中,向量t表示vi与U中各列向量之间的欧氏距离,求解得到多个vi的映射向量bi和多个映射向量bi的维数D2;

S33、根据向量a和向量bi得到多个y对应的多个双层映射向量p,每个p的形式为p=[a1b1,a2b2,……aibi,……aD1bD1]T,p的维数为D1×D2,多个p构成分类器的训练集{p};

所述步骤S4包括:

S41、利用训练集{p}对分类器进行训练,得到含有具体分类参数的分类器;

S42、提取待识别手势图像Ix的图像特征,得到待识别手势图像Ix的特征向量yx;

S43、对yx进行双层l1范数变换得到yx的双层映射向量px;

S44、将px输入分类器进行识别,得到对应的手势类型。

2.根据权利要求1所述的静态手势识别方法,其特征在于,所述分别提取I的图像特征,得到手势的特征向量y的集合的方法包括:尺度不变特征变换法、方向梯度直方图法。

3.一种静态手势识别装置,其特征在于,包括:第一装置,用于分别对多个手势图像撷取一帧包含待识别手势的图像,得到多个矩阵I,矩阵I内每个元素对应待识别手势图像的一个像素;

第二装置,用于分别提取I的图像特征,得到由多个手势的特征向量y构成的集合;

第三装置,用于对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p};

第四装置,用于根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别;

所述对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p}包括:对多个手势的特征向量y的集合中的各个向量y进行聚类之后得到的码书V,V为矩阵,根据目标函数在约束条件

s.t 1Ta=1

下对y进行l1范数变换,其中,向量a是特征向量y经过变换后的映射向量a,向量d代表a与V中各列向量之间的欧氏距离,求解得到各个特征向量y的映射向量a和多个映射向量a的维数D1;

对矩阵V中由映射向量a确定的各个列向量vi进行聚类之后得到的码书U,U为矩阵,根据目标函数在约束条件

s.t 1Tbi=1

下对矩阵V中的各个列向量vi进行l1范数变换,i∈1,2,3,……D1,其中,向量t表示vi与U中各列向量之间的欧氏距离,求解得到多个vi的映射向量bi和多个映射向量bi的维数D2;

根据向量a和向量bi得到多个y对应的多个双层映射向量p,每个p的形式为p=[a1b1,a2b2,……aibi,……aD1bD1]T,p的维数为D1×D2,多个p构成分类器的训练集{p};

所述根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别,包括:利用训练集{p}对分类器进行训练,得到含有具体分类参数的分类器;

提取待识别手势图像Ix的图像特征,得到待识别手势图像Ix的特征表示式yx;

对yx进行双层l1范数变换得到yx的双层映射向量px;

将px输入分类器进行识别,得到对应的手势类型。

说明书 :

一种静态手势识别方法和装置

技术领域

[0001] 本发明涉及手势识别领域,尤其是一种静态手势识别方法和装置。

背景技术

[0002] 在计算机科学中,手势识别是通过数学算法来识别人类手势的一个议题,具体是指将待识别的手势映射为模型参数空间中的一个点或轨迹,并将它归类到该空间的某一个子集的过程。
[0003] 手势识别可以来自人的身体各部位的运动,但一般是指脸部和手的运动。手势是指由人手(或者手和臂)相结合产生的各种姿势和动作。根据手势的形态分为静态手势和动态手势。静态手势是指单个手型表示的单一姿态,该姿态对应模型参数空间的一个点。动态手势是指一系列连续的姿态组成的动作,比如手的旋转、位移运动等。它对应模型参数空间里的一条轨迹。
[0004] 目前,基于视频图像信息的静态手势识别方法,都需要对视频图像进行预处理,通过肤色识别、手势分割提取出图像当中的包含手势的像素区域,再通过手势特征提取、手势分类器设计等后续环节,才能进行具体手势类型的判断,步骤繁多复杂,处理时间长,手势识别效率低;需要多帧数据辅助或者其他传感器(例如红外传感器)的数据进行辅助识别。

发明内容

[0005] 为了解决上述技术问题,本发明的目的是提供一种识别步骤简单,可提高手势识别的精确度和效率的高效的静态手势识别方法和装置。
[0006] 本发明所采用的技术方案是:一种静态手势识别方法,多个手势图片通过双层l1范数变换构成分类器的训练集,进而提供给分类器进行训练,得到含有具体分类参数的分类器,所述分类器用于对不同静态手势进行分类;
[0007] 包括以下步骤:
[0008] S1、分别对多个手势图像撷取一帧包含待识别手势的图像,得到多个矩阵I,矩阵I内每个元素对应待识别手势图像的一个像素;
[0009] S2、分别提取I的图像特征,得到由多个手势的特征向量y构成的集合;
[0010] S3、对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p};
[0011] S4、根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别。
[0012] 进一步地,所述步骤S3包括:
[0013] S31、对多个手势的特征向量y的集合中的各个向量y进行聚类之后得到的码书V,V为矩阵,根据目标函数
[0014]
[0015] 在约束条件
[0016] s.t 1Ta=1
[0017] 下对y进行l1范数变换,其中,向量a是特征向量y经过变换后的映射向量a,向量d代表a与V中各列向量之间的欧氏距离,求解得到各个特征向量y的映射向量a和多个映射向量a的维数D1;
[0018] S32、对矩阵V中由映射向量a确定的各个列向量vi进行聚类之后得到的码书U,U为矩阵,根据目标函数
[0019]
[0020] 在约束条件
[0021] s.t 1Tbi=1
[0022] 下对矩阵V中的各个列向量vi进行l1范数变换,i∈1,2,3,……D1,其中,向量t表示vi与U中各列向量之间的欧氏距离,求解得到多个vi的映射向量bi和多个映射向量bi的维数D2;
[0023] S33、根据向量a和向量bi得到多个y对应的多个双层映射向量p,每个p的形式为p=[a1b1,a2b2,……aibi,……aD1bD1]T,p的维数为D1×D2,多个p构成分类器的训练集{p}。
[0024] 进一步地,所述步骤S4包括:
[0025] S41、利用训练集{p}对分类器进行训练,得到含有具体分类参数的分类器;
[0026] S42、提取待识别手势图像Ix的图像特征,得到待识别手势图像Ix的特征向量yx;
[0027] S43、对yx进行双层l1范数变换得到yx的双层映射向量px;
[0028] S44、将px输入分类器进行识别,得到对应的手势类型。
[0029] 进一步地,所述分别提取I的图像特征,得到手势的特征向量y的集合的方法包括:尺度不变特征变换法、方向梯度直方图法。
[0030] 一种静态手势识别装置,包括:
[0031] 第一装置,用于分别对多个手势图像撷取一帧包含待识别手势的图像,得到多个矩阵I,矩阵I内每个元素对应待识别手势图像的一个像素;
[0032] 第二装置,用于分别提取I的图像特征,得到由多个手势的特征向量y构成的集合;
[0033] 第三装置,用于对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p};
[0034] 第四装置,用于根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别。
[0035] 进一步地,所述对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p}包括:
[0036] 对多个手势的特征向量y的集合中的各个向量y进行聚类之后得到的码书V,V为矩阵,根据目标函数
[0037]
[0038] 在约束条件
[0039] s.t 1Ta=1
[0040] 下对y进行l1范数变换,其中,向量a是特征向量y经过变换后的映射向量a,向量d代表a与V中各列向量之间的欧氏距离,求解得到各个特征向量y的映射向量a和多个映射向量a的维数D1;
[0041] 对矩阵V中由映射向量a确定的各个列向量vi进行聚类之后得到的码书U,U为矩阵,根据目标函数
[0042]
[0043] 在约束条件
[0044] s.t 1Tbi=1
[0045] 下对矩阵V中的各个列向量vi进行l1范数变换,i∈1,2,3,……D1,其中,向量t表示vi与U中各列向量之间的欧氏距离,求解得到多个vi的映射向量bi和多个映射向量bi的维数D2;
[0046] 根据向量a和向量bi得到多个y对应的多个双层映射向量p,每个p的形式为p=[a1b1,a2b2,……aibi,……aD1bD1]T,p的维数为D1×D2,多个p构成分类器的训练集{p}。
[0047] 进一步地,所述根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别,包括:
[0048] 利用训练集{p}对分类器进行训练,得到含有具体分类参数的分类器;
[0049] 提取待识别手势图像Ix的图像特征,得到待识别手势图像Ix的特征表示式yx;
[0050] 对yx进行双层l1范数变换得到yx的双层映射向量px;
[0051] 将px输入分类器进行识别,得到对应的手势类型。
[0052] 本发明的有益效果是:本发明中一种静态手势识别方法将手势图像信息用双层l1范数表示形式表达,进而组成分类器对手势图像进行分类,步骤简洁紧凑,而且双层l1范数表示形式能够有效表征原始信号包含的主要信息,减小识别误差和抑制信息量较小的维度,以便后续环节采用较简单的分类器即可进行准确分类,减少静态手势处理环节,提高手势识别的精确度及效率。
[0053] 本发明的另一有益效果是:本发明中一种静态手势识别装置对静态手势的处理环节少,可快速准确的识别不同静态手势。

附图说明

[0054] 下面结合附图对本发明的具体实施方式作进一步说明:
[0055] 图1是本发明中一种静态手势识别方法识别两张相似的手势图像的示意图;
[0056] 图2是本发明中一种静态手势识别方法与传统稀疏表达方法的性能比较表。

具体实施方式

[0057] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
[0058] 一种静态手势识别方法,多个手势图片通过双层l1范数变换构成分类器的训练集,进而提供给分类器进行训练,得到含有具体分类参数的分类器,所述分类器用于对不同静态手势进行分类;
[0059] 包括以下步骤:
[0060] S1、分别对多个手势图像撷取一帧包含待识别手势的图像,得到多个矩阵I,矩阵I内每个元素对应待识别手势图像的一个像素;
[0061] S2、分别提取I的图像特征,得到由多个手势的特征向量y构成的集合;
[0062] S3、对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p};
[0063] S4、根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别。
[0064] 作为进一步优选的实施方式,所述分别提取I的图像特征,得到手势的特征向量y的集合的方法包括:尺度不变特征变换法、方向梯度直方图法。
[0065] 所述尺度不变特征变换法(Scale-invariant feature transform,SIFT)是利用SIFI算法得到图像相应的特征向量,所述SIFT算法是一种提取局部特征的算法,包括以下步骤:在尺度空间寻找极值点,提取位置,尺度,旋转不变量。
[0066] 方向梯度直方图法(Histogram of Oriented Gradient,HOG)的具体步骤为:1、图像归一化;2、利用一阶微分计算图像梯度;3、基于梯度幅值的方向权重投影;4、HOG特征向量归一化;5、得出HOG最终的特征向量。
[0067] 作为进一步优选的实施方式,所述步骤S3包括:
[0068] S31、对多个手势的特征向量y的集合中的各个向量y进行聚类之后得到的码书V,V为矩阵,根据目标函数
[0069]
[0070] 在约束条件
[0071] s.t 1Ta=1
[0072] 下对y进行l1范数变换,其中,向量a是特征向量y经过变换后的映射向量a,向量d代表a与V中各列向量之间的欧氏距离,求解得到各个特征向量y的映射向量a和多个映射向量a的维数D1;
[0073] S32、对矩阵V中由映射向量a确定的各个列向量vi进行聚类之后得到的码书U,U为矩阵,根据目标函数
[0074]
[0075] 在约束条件
[0076] s.t 1Tbi=1
[0077] 下对矩阵V中的各个列向量vi进行l1范数变换,i∈1,2,3,……D1,其中,向量t表示vi与U中各列向量之间的欧氏距离,求解得到多个vi的映射向量bi和多个映射向量bi的维数D2;
[0078] S33、根据向量a和向量bi得到多个y对应的多个双层映射向量p,每个p的形式为p=[a1b1,a2b2,……aibi,……aD1bD1]T,p的维数为D1×D2,多个p构成分类器的训练集{p}。
[0079] 作为进一步优选的实施方式,所述步骤S4包括:
[0080] S41、利用训练集{p}对分类器进行训练,得到含有具体分类参数的分类器;
[0081] S42、提取待识别手势图像Ix的图像特征,得到待识别手势图像Ix的特征向量yx;
[0082] S43、对yx进行双层l1范数变换得到yx的双层映射向量px;
[0083] S44、将px输入分类器进行识别,得到对应的手势类型。
[0084] 所述静态手势识别方法通过对不同的手势图像撷取一帧手势图像进行双层l1范数转换,得到多个双层映射向量p,多个双层映射向量p组成分类器的训练集{p},根据训练集{p}得到含有具体参数的分类器,当利用所述分类器进行手势识别时,将待识别的手势图片经过双层l1变换后得到的双层映射向量px,送入分类器进行识别对比,分类器通过对px进行非线性映射、升维等操作,计算其与分类器的各个手势类别的空间距离,选择距离最近的手势对应的类别作为其类别。
[0085] 参考图1,两张手势图像只有两个差异点为差异1和差异2,当对这两张相似的手势图像进行双层l1范数变换时,双层l1范数变换这种方法能够敏锐的捕捉到相似手势之间的差异,并将这些差异进行深入表达,用于后续环节进行分类。由于双层l1范数变换这种方法能够识别出较小的差异,所以后续得到的分类器可以用来识别差别细微的手势,识别的准确度高。
[0086] 利用本发明的方法识别手势的准确度远高于传统的识别方法,参考图2,图2为本发明中一种静态手势识别方法与传统稀疏表达方法的性能比较表,当手势识别分类器的训练样本依次从1个到300个增加的时候,本发明中一种静态手势识别方法能够明显提升手势识别的精确度。
[0087] 一种静态手势识别装置,包括:
[0088] 第一装置,用于分别对多个手势图像撷取一帧包含待识别手势的图像,得到多个矩阵I,矩阵I内每个元素对应待识别手势图像的一个像素;
[0089] 第二装置,用于分别提取I的图像特征,得到由多个手势的特征向量y构成的集合;
[0090] 第三装置,用于对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p};
[0091] 第四装置,用于根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别。
[0092] 作为进一步优选的实施方式,所述对集合中的每个向量y进行双层l1范数变换得到每个向量y的双层映射向量p,由多个双层映射向量p构成分类器的训练集{p}包括:
[0093] 对多个手势的特征向量y的集合中的各个向量y进行聚类之后得到的码书V,V为矩阵,根据目标函数
[0094]
[0095] 在约束条件
[0096] s.t 1Ta=1
[0097] 下对y进行l1范数变换,其中,向量a是特征向量y经过变换后的映射向量a,向量d代表a与V中各列向量之间的欧氏距离,求解得到各个特征向量y的映射向量a和多个映射向量a的维数D1;
[0098] 对矩阵V中由映射向量a确定的各个列向量vi进行聚类之后得到的码书U,U为矩阵,根据目标函数
[0099]
[0100] 在约束条件
[0101] s.t 1Tbi=1
[0102] 下对矩阵V中的各个列向量vi进行l1范数变换,i∈1,2,3,……D1,其中,向量t表示vi与U中各列向量之间的欧氏距离,求解得到多个vi的映射向量bi和多个映射向量bi的维数D2;
[0103] 根据向量a和向量bi得到多个y对应的多个双层映射向量p,每个p的形式为p=[a1b1,a2b2,……aibi,……aD1bD1]T,p的维数为D1×D2,多个p构成分类器的训练集{p}。
[0104] 作为进一步优选的实施方式,所述根据训练集得到含有具体分类参数的分类器,所述分类器对待识别的手势图像进行识别,包括:
[0105] 利用训练集{p}对分类器进行训练,得到含有具体分类参数的分类器;
[0106] 提取待识别手势图像Ix的图像特征,得到待识别手势图像Ix的特征表示式yx;
[0107] 对yx进行双层l1范数变换得到yx的双层映射向量px;
[0108] 将px输入分类器进行识别,得到对应的手势类型。
[0109] 所述静态手势识别装置对静态手势的处理环节少,可快速准确的识别不同静态手势。
[0110] 以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。