一种基于姿态比对的高尔夫挥杆动作评分估计方法转让专利

申请号 : CN201910683497.4

文献号 : CN110354480B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘峰陈静静干宗良高嘉轩

申请人 : 南京邮电大学

摘要 :

本发明公开了一种基于姿态比对的高尔夫挥杆动作评分估计方法,包括:模板视频和用户视频进行配准;提取用户视频人体动作特征;将提取的用户视频人体特征及其模板视频挥杆动作比对,并对不同特征的比对结果进行加权评分。本发明提供的基于姿态比对的高尔夫挥杆动作评分估计方法,无论是在背景简单还是杂场景中都能快速准确的计算出高尔夫挥杆动作的评分,具有很好的推广前景。

权利要求 :

1.一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,包括以下步骤:

1)模板视频和用户视频进行配准:利用球杆斜率的信息,从用户视频中抽取部分帧与模板视频进行一一对应;

2)提取人体动作特征:利用人体关节点坐标,提取若干个人体肢体角,作为人体动作特征;

3)将提取的用户视频人体特征及其模板视频挥杆动作比对,并对不同特征的比对结果进行加权评分;

步骤1)中,所述模板视频和用户视频进行配准,包括以下步骤:将一段完整的挥杆视频分成三段,即上杆阶段视频、下杆阶段视频及随杆阶段视频,各阶段视频的匹配方式一致,三个阶段的视频统称为模板阶段视频,视频帧匹配过程分成三步,包括:

(1)找出与模板阶段视频第1帧最匹配的用户阶段视频帧;

利用球杆方向信息判断模板阶段视频第1帧和用户阶段视频第1帧中的球杆方向是否一致;

(2)计算模板阶段视频和用户阶段视频的距离矩阵,其大小为I*J,其中,I是模板阶段视频总帧长,J是用户阶段视频总帧长;

由第(1)步可知,用户阶段视频的第MinP帧与模板阶段视频的第1帧匹配,用户阶段视频的第1帧至第Minp‑1帧都不与模板阶段视频第1帧匹配;Distance为模板阶段视频和用户阶段视频的距离矩阵,disi,j是Distance中的元素,其各元素计算公式如下:任何的两个视频间的球杆距离不可能完全一致,即模板阶段视频和用户阶段视频间的距离ΔCρi,j>0恒成立,对于不能匹配的模板阶段视频和用户阶段视频间的距离ΔCρi,j=

0;

(3)计算模板阶段视频和用户阶段视频局部累积距值,并利用局部累积距离值找出与模板阶段视频第i帧最匹配的用户阶段视频j;

cumuDisi,j是模板阶段视频第i帧与用户阶段视频第j帧间的累计距离值,其下一位置的累积距离值由如下局部累积距离公式决定:其中,p和q的值由min[disi,j+1,disi+1,j+1,disi+1,j]决定,当最小值为disi,j+1时,则p=i,q=j+1;当最小值为disi+1,j+1时,则p=i+1,q=j+1;当最小值为,disi+1,j时,p=i+1,q=j;

以模板阶段视频第i帧与用户阶段视频第j帧为起始位置,且i和j满足i<I,j<J,此时cumuDisi,j=disi,j,利用局部累积距离公式得到cumuDisi,j+1,…,cumuDisi,j+k,分别是模板阶段视频第i帧与用户阶段视频第j+1帧至第j+k帧的累积距离值,当利用公式计算下一累积距离值得到cumuDisi+1,j+1或cumuDisi+1,j时,则停止计算下一累积距离值,此时利用距离矩阵Distance,找出disi,j,disi,j+1,…,disi,j+k,即模板阶段视频第i帧与用户阶段视频第j帧至第j+k帧的距离值,找出disi,j,disi,j+1,…,disi,j+k中最小距离值的用户视频帧下标,假设disi,min是disi,j,disi,j+1,…,disi,j+k中的最小值,则min是最小距离值的用户阶段视频帧下标,此时认为模板阶段视频帧第i帧与用户阶段视频帧第min帧匹配;当模板阶段视频第i帧与用户阶段视频第min帧相匹配时,模板阶段视频第i+1帧与用户阶段视频第min帧不匹配,从用户阶段视频中第min+1帧开始计算并寻找与模板阶段视频中的第i+1帧相匹配的用户阶段视频帧。

2.根据权利要求1所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,假定I是模板阶段视频总帧长,J是用户阶段视频总帧长;当满足下列判决条件:THCy1<TDCy1&&UHCy1<UDCy1或THCy1>TDCy1&&UHCy1>UDCy1表明模板阶段视频第1帧和用户阶段视频第1帧方向一致,反之,则表明模板阶段视频第1帧和用户阶段视频第1帧方向不一致,其中,THCy1是模板阶段视频中第1帧的球杆上靠近手部的一点的y坐标值,TDCy1是模板阶段视频中第i帧的球杆上靠近杆头的一点的y坐标值,UHCy1是用户阶段视频中第1帧的球杆上靠近手部的一点的y坐标值,UDCy1是用户阶段视频中第1帧的球杆上靠近杆头的一点的y坐标值;

若模板阶段视频第1帧和用户阶段视频第1帧方向一致,假定模板阶段视频第1帧中的球杆方向为THCy1<TDCy1,利用模板阶段视频帧与用户阶段视频帧中的球杆距离公式,计算出模板阶段视频第1帧与用户阶段视频中各帧的球杆距离,且参与计算的用户阶段视频中帧满足UHCy1<UDCy1,此时得到ΔCρ1,1,ΔCρ1,2,…ΔCρ1,n,分别为用户阶段视频第1帧至第n帧与模板阶段视频第1帧的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户阶段视频帧MinP,则认为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配,球杆距离公式如下:

ΔCρi,j=min[abs(TCρi‑UCρj),180‑abs(TCρi‑UCρj)]。

3.根据权利要求2所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,若模板阶段视频第1帧和用户阶段视频第1帧中的球杆方向不一致,假定模板阶段视频第1帧的方向为THCy1<TDCy1,则舍弃与模板阶段视频方向不一致的用户阶段视频帧,直至用户阶段视频帧与模板阶段视频第1帧方向一致时开始按上述方式计算球杆距离,此时得到ΔCρ1,m,ΔCρ1,m+1,…ΔCρ1,n,分别为用户阶段视频第m帧至第n帧与模板阶段视频第1帧的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户阶段视频帧MinP,则认为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配。

4.根据权利要求1所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,将提取的用户视频人体特征及其模板视频挥杆动作对比,并对不同特征的比对结果进行加权评分,包括如下步骤:

M为完整模板视频帧的总长度,N为完整用户视频帧的总长度,抽取M帧用户视频帧和模板视频帧一一对应,提取人体动作特征,模板视频帧和用户视频帧分别利用14个关节点,提取了13个人体肢节角;

St是抽取的M帧用户视频中第t帧的评估分数,St的计算公式如下:其中,n是人体肢节角的个数,n为13,C是人体肢节角最大值,在高尔夫挥杆动作中,C为

180,在笛卡尔坐标系下的人体肢节角的范围是[0,180], 是第t帧中用户视频和模板视频的第i个人体肢节角的差值,Wi是第i个人体肢节角的权重,其计算公式如下:T U

其中,Wi 是模板视频动作的累积时间人体肢节角权重,Wi是用户视频动作累积时间人T U

体肢节角权重,权重Wi和Wi 均由视频动作的累积时间人体肢节角权重公式所得,该计算公式如下:

其中,tc是视频序列的当前帧, 是当前帧中第i个人体肢节角计算标识,由模板视频帧和用户视频帧共同决定, 是视频中第i个人体肢节角的到当前帧为止的帧间累积变化量。

5.根据权利要求4所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,当前帧中第i个人体肢节角计算标识 的计算公式如下:其中, 是模板视频当前帧中第i个人体肢节角计算标识,已知一个人体肢节角由两个人体关节点的连线决定,当模板视频中某个关节点坐标不能准确获得时,则将与该关节点有关的人体肢节角的计算标识置0,即 反之模板视频中某肢节角相关的两个关节点都能准确获取时, 同理, 是用户视频当前帧中第i个人体肢节角计算标识,当用户视频中某个关节点坐标不能准确获得时,则将与该关节点有关的人体肢节角的计算标识置0,即 反之,

6.根据权利要求4所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,视频中第i个人体肢节角的到当前帧为止的帧间累积变化量 的计算公式如下:其中, 是视频当前帧中第i个人体肢节角的角度, 是视频中第tc‑1‑k帧中的第i个人体肢节角的角度,k表示从tc‑1‑k帧到tc帧中,连续的k帧人体肢节角的计算标识置

0;

S是用户视频的综合评估分数,其计算公式如下:其中,M为完整模板视频帧的总长度,N为完整用户视频帧的总长度,wt是M帧用户视频中第t帧的评估分数St的权重,M帧用户视频是从完整用户视频帧的总长度N中抽取出的M帧,且wt=1/M。

说明书 :

一种基于姿态比对的高尔夫挥杆动作评分估计方法

技术领域

[0001] 本发明属于机器视觉以及图形处理技术领域,具体涉及一种基于姿态比对的高尔夫挥杆动作评分估计方法。

背景技术

[0002] 对于高尔夫运动来说,人体姿态的变化是决定击球效果的一个重要因素,所以,对于人体运动姿态的分析是高尔夫训练系统的重要组成部分。现有的高尔夫训练系统中,虽
然都能对用户动作进行纠正,但却不能对用户动作进行一个合理的评分估计,用户只能根
据自己的错误动作的数量来评判自己通过训练后的挥杆动作是否有提升。然而某些关节动
作虽然存在一定的错误,但是可能对击球的效果的影响有限,因此,通过错误动作的数量来
评判自己挥杆动作的好坏并不合理。

发明内容

[0003] 本发明的目的在于提供一种基于姿态比对的高尔夫挥杆动作评分估计方法,以解决对用户动作评估的合理性。
[0004] 为解决上述问题,本发明采用以下技术方案:
[0005] 一种基于姿态比对的高尔夫挥杆动作评分估计方法,包括以下步骤:
[0006] 1)模板视频和用户视频进行配准:利用球杆斜率的信息,从用户视频中抽取部分帧与模板视频进行一一对应;
[0007] 2)提取人体动作特征:利用人体关节点坐标,提取若干个人体肢体角,作为人体动作特征;
[0008] 3)将提取的用户视频人体特征及其模板视频挥杆动作比对,并对不同特征的比对结果进行加权评分。
[0009] 进一步的,步骤1)中,利用球杆斜率的信息来进行模板视频和用户视频帧匹配,具体包括以下步骤:
[0010] (THCxi,THCyi)是模板视频中第i帧的球杆上靠近手部的一点的点坐标,(TDCxi,TDCyi)是模板视频中第i帧的球杆上靠近球杆杆头一点坐标,由 计算
可得模板视频第i帧中的球杆在笛卡尔坐标系下与水平方向的形成的角度值TCρi,TCρi的范
围为[0,180);
[0011] (UHCxj,UHCyj)是用户视频中第j帧的球杆上靠近手部的一点的点坐标,(UDCxj,UDCyj)是用户视频中第j帧的球上靠近球杆杆头一点坐标,由 计算可
得户视频上杆阶段第j帧中的球杆在笛卡尔坐标系下与水平方向的形成的角度值UCρj,UCρj
的范围为[0,180);
[0012] 将一段完整的挥杆视频分成三段,即上杆阶段视频(开始帧至上杆末期)、下杆阶段视频(上杆末期后的第一帧至击球帧)以及随杆阶段视频(击球后的第一帧至终止帧),各
阶段视频的匹配方式一致,三个阶段的视频统称为模板阶段视频,模板视频是一个完整的
视频,包含上杆、下杆、随杆三个阶段视频,模板阶段视频是已经被分段的视频,可能是上
杆、下杆、随杆阶段视频中的任意一个,视频帧匹配过程主要分成三步,具体步骤如下:
[0013] (1)找出与模板阶段视频第1帧最匹配的用户阶段视频帧:
[0014] 假定I是模板阶段视频总帧长,J是用户阶段视频总帧长,先利用球杆方向信息判断模板阶段视频第1帧和用户阶段视频第1帧中的球杆方向是否一致,当满足下列判决条件
THCy1TDCy1&&UHCy1>UDCy1,表明模板阶段视频第1帧和用户
阶段视频第1帧方向一致,反之,则表明模板阶段视频第1帧和用户阶段视频第1帧方向不一
致,其中,THCy1是模板阶段视频中第1帧的球杆上靠近手部的一点的y坐标值,TDCy1是模板
阶段视频中第i帧的球杆上靠近杆头的一点的点坐标,UHCy1是用户阶段视频中第1帧的球
杆上靠近手部的一点的y坐标值,UDCy1是用户阶段视频中第1帧的球杆上靠近杆头的一点
的y坐标值;若模板阶段视频第1帧和用户阶段视频第1帧方向一致,假定模板阶段视频第1
帧中的球杆方向为THCy1式,计算出模板阶段视频第1帧与用户阶段视频中各帧的球杆距离,且参与计算的用户阶段
视频中帧满足UHCy1至第n帧与模板阶段视频第1帧的球杆距离,再从该组数据中找出球杆距离最小的值所对应
的用户阶段视频帧MinP,则认为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配,球杆
距离公式如下:
[0015] ΔCρi,j=min[abs(TCρi‑UCρj),180‑abs(TCρi‑UCρj)]
[0016] 若模板阶段视频第1帧和用户阶段视频第1帧中的球杆方向不一致,假定模板阶段视频第1帧的方向为THCy1至用户阶段视频帧与模板阶段视频第1帧方向一致时开始按上述方式计算球杆距离,此时
得到ΔCρ1,m,ΔCρ1,m+1,…ΔCρ1,n,分别为用户阶段视频第m帧至第n帧与模板阶段视频第1帧
的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户阶段视频帧MinP,则认
为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配。
[0017] (2)计算模板阶段视频和用户阶段视频的距离矩阵,其大小为I*J。
[0018] 由第(1)步可知,用户阶段视频的第MinP帧与模板阶段视频的第1帧匹配,则可以认为用户视频的第1至MinP‑1帧都不能与模板阶段视频第1帧匹配。由实际情况可知,任何
的两个视频间的球杆距离不可能完全一致,即模板阶段视频和用户阶段视频间的距离ΔC
ρi,j>0恒成立,所以,对于不能匹配的模板阶段视频和用户阶段视频间的距离为ΔCρi,j=0。
Distance为模板阶段视频和用户阶段视频的距离矩阵,disi,j是Distance中的元素,其各个
元素计算公式如下:
[0019]
[0020] (3)计算模板阶段视频和用户阶段视频局部累积距值,并利用局部累积距离值找出与模板阶段视频第i帧最匹配的用户阶段视频帧j:
[0021] cumuDisi,j是模板阶段视频第i帧与用户阶段视频第j帧间的累计距离值,其下一位置的累积距离值由局部累积距离公式决定,公式如下:
[0022]
[0023] 其中,p和q的值由min[disi,j+1,disi+1,j+1,disi+1,j]决定,当最小值为disi,j+1时,则p=i,q=j+1;当最小值为disi+1,j+1时,则p=i+1,q=j+1;当最小值为,disi+1,j时,p=i+1,q
=j。
[0024] 以模板阶段视频第i帧与用户阶段视频第j帧为起始位置,且i和j满足i板阶段视频第i帧与用户阶段视频第j+1帧至第j+k帧的累积距离值,当利用公式计算下一
累积距离值得到cumuDisi+1,j+k+1,或cumuDisi+1,j+k时,则停止计算下一累积距离值。在利用
距离矩阵Distance,找出disi,j,disi,j+1,…,disi,j+k,即模板阶段视频第i帧与用户阶段视
频第j帧至第j+k帧的距离值,找出disi,j,disi,j+1,…,disi,j+k中最小距离值的用户阶段视
频帧下标,假设disi,min是disi,j,disi,j+1,…,disi,j+k中的最小值,则min是最小距离值的用
户阶段视频帧下标,此时认为模板阶段视频帧第i帧与用户阶段视频帧第min帧匹配。
[0025] 考虑到高尔夫运动是一个连续且完整的挥杆过程,任何人挥杆球杆轨迹基本一致,那么当模板阶段视频第i帧与用户阶段视频第min帧相匹配时,模板阶段视频第i+1帧与
用户阶段视频第min帧必定不能匹配。所以寻找与模板阶段视频中的第i+1帧相匹配的用户
阶段视频帧,则需要从用户阶段视频中第min+1帧开始计算,由此可以分别找出与模板阶段
视频第i帧最匹配的用户阶段视频第j帧,再进一步利用匹配后的模板视频和用户视频进行
以及视频中的人体特征进行动作对比并对不同特征的比对结果进行加权评分。
[0026] 已知M为完整模板视频帧的总长度,N为完整用户视频帧的总长度,利用配准算法抽取了M帧用户视频帧和模板视频帧一一对应,模板视频帧和用户视频帧分别利用14个关
节点,提取了13个人体肢节角。
[0027] St是抽取的M帧用户视频中第t帧的评估分数,具体公式如下:
[0028]
[0029] 其中n是人体肢节角的个数,值为13,C是人体肢节角最大值,在高尔夫挥杆动作中,C值为180,在笛卡尔坐标系下的人体肢节角的范围是[0,180], 是第t帧中用户视频
和模板视频的第i个人体肢节角的差值,Wi是第i个人体肢节角的权重,其计算公式如下:
[0030]
[0031] WiT是模板视频动作的累积时间人体肢节角权重,WiU是用户动作累积时间人体肢T U
节角权重。权重Wi和权重Wi都由视频动作的累积时间人体肢节角权重公式所得,该计算公
式如下:
[0032]
[0033] 其中,tc为视频序列的当前帧,n为人体肢节角的个数为13, 为当前帧中第i个人体肢节角计算标识,由模板视频帧和用户视频帧共同决定, 为视频中第i个人体肢节
角的到当前帧为止的帧间累积变化量。
[0034] 为第i个人体肢节角计算标识,其计算公式如下:
[0035]
[0036] 其中, 为模板视频当前帧中第i个人体肢节角计算标识,已知一个人体肢节角由两个人体关节点的连线决定,当模板视频中某个关节点坐标不能准确获得时,则将与
该关节点有关的人体肢节角的计算标识置0,即 反之模板视频中某肢节角相关
的两个关节点都能准确获取时, 同理, 为用户视频当前帧中第i个人体肢
节角计算标识,当用户视频中某个关节点坐标不能准确获得时,则将与该关节点有关的人
体肢节角的计算标识置0,即 反之
[0037] 为视频中第i个人体肢节角的到当前第tc帧为止的帧间累积变化量,计算公式如下:
[0038]
[0039] 其中 是视频当前帧中第i个人体肢节角的角度, 是视频中第tc‑1‑k帧中的第i个人体肢节角的角度。k表示从tc‑1‑k帧到tc帧中,连续的k帧人体肢节角的计算标
识置0。
[0040] S为用户视频的综合评估分数,其计算公式如下:
[0041]
[0042] 其中,M为完整模板视频帧的总长度,N为完整用户视频帧的总长度,wt是M帧用户视频中第t帧的评估分数St的权重,M帧用户视频为从完整用户视频帧的总长度N中抽取出
的M帧,且wt=1/M。
[0043] 与现有技术对比,本发明所达到的有益效果:
[0044] 1、本发明中采用的配准算法将会对形成模板视频帧和用户视频帧一一对应的情况,避免现有的时间规整算法将模板视频或用户视频中的一个视频进行扩展或压缩,最终
形成一帧模板视频会与多个用户视频帧相对应或者多个模板视频帧与一帧用户视频帧相
对应的情况,便捷简单;
[0045] 2、可以有效的对用户视频中的高尔夫挥杆动作进行单帧评估以及综合评估,针对其他匹配好的专业运动,也具有很好的实用性,具有很好的推广前景。

附图说明

[0046] 图1是本发明方法具体的实施例的流程示意图;
[0047] 图2是本发明的人体关节点示意图。

具体实施方式

[0048] 下面结合附图对本发明作进一步的描述。一下实施例仅用于更加清楚的说明本发明的实施方案,而不能一次来限制本发明的保护范围。
[0049] 实施例1
[0050] 本实施例的应用场景是人挥动高尔夫球杆击打高尔夫球,对高尔夫挥杆动作进行评分估计。
[0051] 一种基于姿态比对的高尔夫挥杆动作评分估计方法,包括以下步骤:
[0052] 1)模板视频和用户视频进行配准:利用球杆斜率的信息,从用户视频中抽取出部分帧与模板视频一一对应;
[0053] 2)提取人体动作特征:根据人体关节点坐标,提取若干个(13个)人体肢体角,作为人体动作特征;
[0054] 3)将提取的用户视频人体特征及其模板视频挥杆动作比对,并对不同特征的比对结果进行加权评分。
[0055] 进一步的,步骤1)中,利用球杆斜率的信息来进行模板视频和用户视频帧匹配,具体包括以下步骤:
[0056] (THCxi,THCyi)是模板视频中第i帧的球杆上靠近手部的一点的点坐标,(TDCxi,TDCyi)是模板视频中第i帧的球杆上靠近球杆杆头一点坐标,由 计算
可得TCρi,TCρi为模板视频第i帧中的球杆在笛卡尔坐标系下与水平方向的形成的角度值,
范围为[0,180)。
[0057] (UHCxj,UHCyj)是用户视频中第j帧的球杆上靠近手部的一点的点坐标,(UDCxj,UDCyj)是用户视频中第j帧的球上靠近球杆杆头一点坐标,由 计算可
得UCρj,UCρj为用户视频上杆阶段第j帧中的球杆在笛卡尔坐标系下与水平方向的形成的角
度值,范围为[0,180)。
[0058] 将一段完整的挥杆视频分成三段,即上杆阶段视频(开始帧至上杆末期),下杆阶段视频(上杆末期后的第一帧至击球帧)以及随杆阶段视频(击球后的第一帧至终止帧),各
阶段视频的匹配方式一致。视频帧匹配过程主要分成三步,具体步骤如下:
[0059] (1)找出与模板阶段视频第1帧匹配最匹配的用户阶段视频帧。
[0060] 假定I是模板阶段视频总帧长,J是用户阶段视频总帧长。先利用球杆方向信息判断模板阶段视频第1帧和用户阶段视频第1帧中的球杆方向是否一致。当满足下列判决条件
THCy1TDCy1&&UHCy1>UDCy1,表明模板阶段视频第1帧和用户
阶段视频第1帧方向一致,反之,则表明模板阶段视频第1帧和用户阶段视频第1帧方向不一
致。若模板阶段视频第1帧和用户阶段视频第1帧方向一致,假定模板阶段视频第1帧中的球
杆方向为THCy1模板阶段视频第1帧与用户阶段视频中各帧的球杆距离,且参与计算的用户阶段视频中帧
满足UHCy1与模板阶段视频第1帧的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户
阶段视频帧MinP,则认为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配,球杆距离公
式如下:
[0061] ΔCρi,j=min[abs(TCρi‑UCρj),180‑abs(UCρi‑UCρj)]   (10)
[0062] 若模板阶段视频第1帧和用户阶段视频第1帧中的球杆方向不一致,假定模板阶段视频第1帧的方向为THCy1至用户阶段视频帧与模板阶段视频第1帧方向一致时开始按上述方式计算球杆距离,此时
得到ΔCρ1,m,ΔCρ1,m+1,…ΔCρ1,n,分别为用户阶段视频第m帧至第n帧与模板阶段视频第1帧
的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户阶段视频帧MinP,则认
为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配。
[0063] (2)计算模板阶段视频和用户阶段视频的距离矩阵,其大小为I*J:
[0064] 由第(1)步可知,用户阶段视频的第MinP帧与模板阶段视频的第1帧匹配,则可以认为用户视频的第1至MinP‑1帧都不能与模板阶段视频第1帧匹配。由实际情况可知,任何
的两个视频间的球杆距离不可能完全一致,即ΔCρi,j>0恒成立,所以,对于不能匹配的模板
阶段视频和用户阶段视频间的距离为ΔCρi,j=0。Distance为模板阶段视频和用户阶段视
频的距离矩阵,disi,j是Distance中的元素,其各个元素计算公式如下:
[0065]
[0066] (3)计算模板阶段视频和用户阶段视频局部累积距值,并利用局部累积距离值找出与模板阶段视频第i帧最匹配的用户阶段视频j。
[0067] cumuDisi,j是模板阶段视频第i帧与用户阶段视频第j帧间的累计距离值,其下一位置的累积距离值由局部累积距离公式决定,公式如下:
[0068]
[0069] 其中,p和q的值由min[disi,j+1,disi+1,j+1,disi+1,j]决定,当最小值为disi,j+1时,则p=i,q=j+1;当最小值为disi+1,j+1时,则p=i+1,q=j+1;当最小值为,disi+1,j时,p=i+1,q
=j。
[0070] 以模板阶段视频第i帧与用户阶段视频第j帧为起始位置,且i和j满足i板阶段视频第i帧与用户阶段视频第j+1帧至第j+k帧的累积距离值,当利用公式计算下一
累积距离值得到cumuDisi+1,j+k+1,或cumuDisi+1,j+k时,则停止计算下一累积距离值,此时利
用距离矩阵Distance,找出disi,j,disi,j+1,…,disi,j+k,即模板阶段视频第i帧与用户阶段
视频第j帧至第j+k帧的距离值,找出disi,j,disi,j+1,…,disi,j+k中最小距离值的用户阶段
视频帧下标,假设disi,min是disi,j,disi,j+1,…,disi,j+k中的最小值,则min是最小距离值的
用户阶段视频帧下标,此时认为模板阶段视频帧第i帧与用户阶段视频帧第min帧匹配。
[0071] 考虑到高尔夫运动是一个连续且完整的挥杆过程,任何人挥杆球杆轨迹基本一致,那么当模板阶段视频第i帧与用户阶段视频第min帧相匹配时,模板阶段视频第i+1帧与
用户阶段视频第min帧必定不能匹配。所以寻找与模板阶段视频中的第i+1帧相匹配的用户
阶段视频帧,则需要从用户阶段视频中第min+1帧开始计算,由此可以分别找出与模板阶段
视频第i帧最匹配的用户阶段视频第j帧,再进一步利用匹配后的模板视频和用户视频进行
以及视频中的人体特征进行动作对比并对不同特征的比对结果进行加权评分。
[0072] 已知M为完整模板视频帧的总长度,N为完整用户视频帧的总长度,利用配准算法抽取了M帧用户视频帧和模板视频帧一一对应,如图2所示,设置17个关节点,模板视频帧和
用户视频帧分别利用14个关节点,提取了13个人体肢节角。
[0073] St是抽取的M帧用户视频中第t帧的评估分数,具体公式如下:
[0074]
[0075] 其中n是人体肢节角的个数,值为13,C是人体肢节角最大值,在高尔夫挥杆动作中,C值为180。显然在笛卡尔坐标系下的人体肢节角的范围是[0,180], 是第t帧中用户
视频和模板视频的第i个人体肢节角的差值,Wi是第i个人体肢节角的权重,其计算公式如
下:
[0076]
[0077] 其中,WiT是模板视频动作的累积时间人体肢节角权重,WiU是用户动作累积时间人T U
体肢节角权重,权重Wi和权重Wi都由视频动作的累积时间人体肢节角权重公式所得,该计
算公式如下:
[0078]
[0079] 其中,tc为视频序列的当前帧,n为人体肢节角的个数为13, 为当前帧中第i个人体肢节角计算标识,由模板视频帧和用户视频帧共同决定, 为视频中第i个人体肢节
角的到当前帧为止的帧间累积变化量。
[0080] 为第i个人体肢节角计算标识,其计算公式如下:
[0081]
[0082] 其中, 为模板视频当前帧中第i个人体肢节角计算标识,已知一个人体肢节角由两个人体关节点的连线决定,当模板视频中某个关节点坐标不能准确获得时,则将与
该关节点有关的人体肢节角的计算标识置0,即 反之模板视频中某肢节角相关
的两个关节点都能准确获取时, 同理, 为用户视频当前帧中第i个人体肢
节角计算标识,当用户视频中某个关节点坐标不能准确获得时,则将与该关节点有关的人
体肢节角的计算标识置0,即 反之,
[0083] 为视频中第i个人体肢节角的到当前第tc帧为止的帧间累积变化量,计算公式如下:
[0084]
[0085] 其中, 为视频当前帧中第i个人体肢节角的角度, 为视频中第tc‑1‑k帧中的第i个人体肢节角的角度,k表示从tc‑1‑k帧到tc帧中,连续的k帧人体肢节角的计算
标识置0。
[0086] S为用户视频的综合评估分数,其计算公式如下:
[0087]
[0088] 其中,M为完整模板视频帧的总长度,N为完整用户视频帧的总长度,wt为M帧用户视频中第t帧的评估分数St的权重,M帧用户视频为从完整用户视频帧的总长度N中抽取出
的M帧,且wt=1/M。
[0089] 本发明方法提供了基于姿态比对的高尔夫挥杆动作评分估计方法,无论是在背景简单还是复杂场景中,都能快速准确对用户挥杆动作进行评分估计。在瑜伽,跳水等这类对
动作要求特别高的运动中,本发明方法中的评分公式仍然适用,具有很好的推广前景。
[0090] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形
也应视为本发明的保护范围。