一种基于姿态比对的高尔夫挥杆动作评分估计方法转让专利
申请号 : CN201910683497.4
文献号 : CN110354480B
文献日 : 2021-04-16
发明人 : 刘峰 , 陈静静 , 干宗良 , 高嘉轩
申请人 : 南京邮电大学
摘要 :
权利要求 :
1.一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,包括以下步骤:
1)模板视频和用户视频进行配准:利用球杆斜率的信息,从用户视频中抽取部分帧与模板视频进行一一对应;
2)提取人体动作特征:利用人体关节点坐标,提取若干个人体肢体角,作为人体动作特征;
3)将提取的用户视频人体特征及其模板视频挥杆动作比对,并对不同特征的比对结果进行加权评分;
步骤1)中,所述模板视频和用户视频进行配准,包括以下步骤:将一段完整的挥杆视频分成三段,即上杆阶段视频、下杆阶段视频及随杆阶段视频,各阶段视频的匹配方式一致,三个阶段的视频统称为模板阶段视频,视频帧匹配过程分成三步,包括:
(1)找出与模板阶段视频第1帧最匹配的用户阶段视频帧;
利用球杆方向信息判断模板阶段视频第1帧和用户阶段视频第1帧中的球杆方向是否一致;
(2)计算模板阶段视频和用户阶段视频的距离矩阵,其大小为I*J,其中,I是模板阶段视频总帧长,J是用户阶段视频总帧长;
由第(1)步可知,用户阶段视频的第MinP帧与模板阶段视频的第1帧匹配,用户阶段视频的第1帧至第Minp‑1帧都不与模板阶段视频第1帧匹配;Distance为模板阶段视频和用户阶段视频的距离矩阵,disi,j是Distance中的元素,其各元素计算公式如下:任何的两个视频间的球杆距离不可能完全一致,即模板阶段视频和用户阶段视频间的距离ΔCρi,j>0恒成立,对于不能匹配的模板阶段视频和用户阶段视频间的距离ΔCρi,j=
0;
(3)计算模板阶段视频和用户阶段视频局部累积距值,并利用局部累积距离值找出与模板阶段视频第i帧最匹配的用户阶段视频j;
cumuDisi,j是模板阶段视频第i帧与用户阶段视频第j帧间的累计距离值,其下一位置的累积距离值由如下局部累积距离公式决定:其中,p和q的值由min[disi,j+1,disi+1,j+1,disi+1,j]决定,当最小值为disi,j+1时,则p=i,q=j+1;当最小值为disi+1,j+1时,则p=i+1,q=j+1;当最小值为,disi+1,j时,p=i+1,q=j;
以模板阶段视频第i帧与用户阶段视频第j帧为起始位置,且i和j满足i<I,j<J,此时cumuDisi,j=disi,j,利用局部累积距离公式得到cumuDisi,j+1,…,cumuDisi,j+k,分别是模板阶段视频第i帧与用户阶段视频第j+1帧至第j+k帧的累积距离值,当利用公式计算下一累积距离值得到cumuDisi+1,j+1或cumuDisi+1,j时,则停止计算下一累积距离值,此时利用距离矩阵Distance,找出disi,j,disi,j+1,…,disi,j+k,即模板阶段视频第i帧与用户阶段视频第j帧至第j+k帧的距离值,找出disi,j,disi,j+1,…,disi,j+k中最小距离值的用户视频帧下标,假设disi,min是disi,j,disi,j+1,…,disi,j+k中的最小值,则min是最小距离值的用户阶段视频帧下标,此时认为模板阶段视频帧第i帧与用户阶段视频帧第min帧匹配;当模板阶段视频第i帧与用户阶段视频第min帧相匹配时,模板阶段视频第i+1帧与用户阶段视频第min帧不匹配,从用户阶段视频中第min+1帧开始计算并寻找与模板阶段视频中的第i+1帧相匹配的用户阶段视频帧。
2.根据权利要求1所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,假定I是模板阶段视频总帧长,J是用户阶段视频总帧长;当满足下列判决条件:THCy1<TDCy1&&UHCy1<UDCy1或THCy1>TDCy1&&UHCy1>UDCy1表明模板阶段视频第1帧和用户阶段视频第1帧方向一致,反之,则表明模板阶段视频第1帧和用户阶段视频第1帧方向不一致,其中,THCy1是模板阶段视频中第1帧的球杆上靠近手部的一点的y坐标值,TDCy1是模板阶段视频中第i帧的球杆上靠近杆头的一点的y坐标值,UHCy1是用户阶段视频中第1帧的球杆上靠近手部的一点的y坐标值,UDCy1是用户阶段视频中第1帧的球杆上靠近杆头的一点的y坐标值;
若模板阶段视频第1帧和用户阶段视频第1帧方向一致,假定模板阶段视频第1帧中的球杆方向为THCy1<TDCy1,利用模板阶段视频帧与用户阶段视频帧中的球杆距离公式,计算出模板阶段视频第1帧与用户阶段视频中各帧的球杆距离,且参与计算的用户阶段视频中帧满足UHCy1<UDCy1,此时得到ΔCρ1,1,ΔCρ1,2,…ΔCρ1,n,分别为用户阶段视频第1帧至第n帧与模板阶段视频第1帧的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户阶段视频帧MinP,则认为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配,球杆距离公式如下:
ΔCρi,j=min[abs(TCρi‑UCρj),180‑abs(TCρi‑UCρj)]。
3.根据权利要求2所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,若模板阶段视频第1帧和用户阶段视频第1帧中的球杆方向不一致,假定模板阶段视频第1帧的方向为THCy1<TDCy1,则舍弃与模板阶段视频方向不一致的用户阶段视频帧,直至用户阶段视频帧与模板阶段视频第1帧方向一致时开始按上述方式计算球杆距离,此时得到ΔCρ1,m,ΔCρ1,m+1,…ΔCρ1,n,分别为用户阶段视频第m帧至第n帧与模板阶段视频第1帧的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户阶段视频帧MinP,则认为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配。
4.根据权利要求1所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,将提取的用户视频人体特征及其模板视频挥杆动作对比,并对不同特征的比对结果进行加权评分,包括如下步骤:
M为完整模板视频帧的总长度,N为完整用户视频帧的总长度,抽取M帧用户视频帧和模板视频帧一一对应,提取人体动作特征,模板视频帧和用户视频帧分别利用14个关节点,提取了13个人体肢节角;
St是抽取的M帧用户视频中第t帧的评估分数,St的计算公式如下:其中,n是人体肢节角的个数,n为13,C是人体肢节角最大值,在高尔夫挥杆动作中,C为
180,在笛卡尔坐标系下的人体肢节角的范围是[0,180], 是第t帧中用户视频和模板视频的第i个人体肢节角的差值,Wi是第i个人体肢节角的权重,其计算公式如下:T U
其中,Wi 是模板视频动作的累积时间人体肢节角权重,Wi是用户视频动作累积时间人T U
体肢节角权重,权重Wi和Wi 均由视频动作的累积时间人体肢节角权重公式所得,该计算公式如下:
其中,tc是视频序列的当前帧, 是当前帧中第i个人体肢节角计算标识,由模板视频帧和用户视频帧共同决定, 是视频中第i个人体肢节角的到当前帧为止的帧间累积变化量。
5.根据权利要求4所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,当前帧中第i个人体肢节角计算标识 的计算公式如下:其中, 是模板视频当前帧中第i个人体肢节角计算标识,已知一个人体肢节角由两个人体关节点的连线决定,当模板视频中某个关节点坐标不能准确获得时,则将与该关节点有关的人体肢节角的计算标识置0,即 反之模板视频中某肢节角相关的两个关节点都能准确获取时, 同理, 是用户视频当前帧中第i个人体肢节角计算标识,当用户视频中某个关节点坐标不能准确获得时,则将与该关节点有关的人体肢节角的计算标识置0,即 反之,
6.根据权利要求4所述的一种基于姿态比对的高尔夫挥杆动作评分估计方法,其特征在于,视频中第i个人体肢节角的到当前帧为止的帧间累积变化量 的计算公式如下:其中, 是视频当前帧中第i个人体肢节角的角度, 是视频中第tc‑1‑k帧中的第i个人体肢节角的角度,k表示从tc‑1‑k帧到tc帧中,连续的k帧人体肢节角的计算标识置
0;
S是用户视频的综合评估分数,其计算公式如下:其中,M为完整模板视频帧的总长度,N为完整用户视频帧的总长度,wt是M帧用户视频中第t帧的评估分数St的权重,M帧用户视频是从完整用户视频帧的总长度N中抽取出的M帧,且wt=1/M。
说明书 :
一种基于姿态比对的高尔夫挥杆动作评分估计方法
技术领域
背景技术
然都能对用户动作进行纠正,但却不能对用户动作进行一个合理的评分估计,用户只能根
据自己的错误动作的数量来评判自己通过训练后的挥杆动作是否有提升。然而某些关节动
作虽然存在一定的错误,但是可能对击球的效果的影响有限,因此,通过错误动作的数量来
评判自己挥杆动作的好坏并不合理。
发明内容
可得模板视频第i帧中的球杆在笛卡尔坐标系下与水平方向的形成的角度值TCρi,TCρi的范
围为[0,180);
得户视频上杆阶段第j帧中的球杆在笛卡尔坐标系下与水平方向的形成的角度值UCρj,UCρj
的范围为[0,180);
阶段视频的匹配方式一致,三个阶段的视频统称为模板阶段视频,模板视频是一个完整的
视频,包含上杆、下杆、随杆三个阶段视频,模板阶段视频是已经被分段的视频,可能是上
杆、下杆、随杆阶段视频中的任意一个,视频帧匹配过程主要分成三步,具体步骤如下:
THCy1
阶段视频第1帧方向一致,反之,则表明模板阶段视频第1帧和用户阶段视频第1帧方向不一
致,其中,THCy1是模板阶段视频中第1帧的球杆上靠近手部的一点的y坐标值,TDCy1是模板
阶段视频中第i帧的球杆上靠近杆头的一点的点坐标,UHCy1是用户阶段视频中第1帧的球
杆上靠近手部的一点的y坐标值,UDCy1是用户阶段视频中第1帧的球杆上靠近杆头的一点
的y坐标值;若模板阶段视频第1帧和用户阶段视频第1帧方向一致,假定模板阶段视频第1
帧中的球杆方向为THCy1
视频中帧满足UHCy1
的用户阶段视频帧MinP,则认为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配,球杆
距离公式如下:
得到ΔCρ1,m,ΔCρ1,m+1,…ΔCρ1,n,分别为用户阶段视频第m帧至第n帧与模板阶段视频第1帧
的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户阶段视频帧MinP,则认
为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配。
的两个视频间的球杆距离不可能完全一致,即模板阶段视频和用户阶段视频间的距离ΔC
ρi,j>0恒成立,所以,对于不能匹配的模板阶段视频和用户阶段视频间的距离为ΔCρi,j=0。
Distance为模板阶段视频和用户阶段视频的距离矩阵,disi,j是Distance中的元素,其各个
元素计算公式如下:
=j。
累积距离值得到cumuDisi+1,j+k+1,或cumuDisi+1,j+k时,则停止计算下一累积距离值。在利用
距离矩阵Distance,找出disi,j,disi,j+1,…,disi,j+k,即模板阶段视频第i帧与用户阶段视
频第j帧至第j+k帧的距离值,找出disi,j,disi,j+1,…,disi,j+k中最小距离值的用户阶段视
频帧下标,假设disi,min是disi,j,disi,j+1,…,disi,j+k中的最小值,则min是最小距离值的用
户阶段视频帧下标,此时认为模板阶段视频帧第i帧与用户阶段视频帧第min帧匹配。
用户阶段视频第min帧必定不能匹配。所以寻找与模板阶段视频中的第i+1帧相匹配的用户
阶段视频帧,则需要从用户阶段视频中第min+1帧开始计算,由此可以分别找出与模板阶段
视频第i帧最匹配的用户阶段视频第j帧,再进一步利用匹配后的模板视频和用户视频进行
以及视频中的人体特征进行动作对比并对不同特征的比对结果进行加权评分。
节点,提取了13个人体肢节角。
和模板视频的第i个人体肢节角的差值,Wi是第i个人体肢节角的权重,其计算公式如下:
节角权重。权重Wi和权重Wi都由视频动作的累积时间人体肢节角权重公式所得,该计算公
式如下:
角的到当前帧为止的帧间累积变化量。
该关节点有关的人体肢节角的计算标识置0,即 反之模板视频中某肢节角相关
的两个关节点都能准确获取时, 同理, 为用户视频当前帧中第i个人体肢
节角计算标识,当用户视频中某个关节点坐标不能准确获得时,则将与该关节点有关的人
体肢节角的计算标识置0,即 反之
识置0。
的M帧,且wt=1/M。
形成一帧模板视频会与多个用户视频帧相对应或者多个模板视频帧与一帧用户视频帧相
对应的情况,便捷简单;
附图说明
具体实施方式
可得TCρi,TCρi为模板视频第i帧中的球杆在笛卡尔坐标系下与水平方向的形成的角度值,
范围为[0,180)。
得UCρj,UCρj为用户视频上杆阶段第j帧中的球杆在笛卡尔坐标系下与水平方向的形成的角
度值,范围为[0,180)。
阶段视频的匹配方式一致。视频帧匹配过程主要分成三步,具体步骤如下:
THCy1
阶段视频第1帧方向一致,反之,则表明模板阶段视频第1帧和用户阶段视频第1帧方向不一
致。若模板阶段视频第1帧和用户阶段视频第1帧方向一致,假定模板阶段视频第1帧中的球
杆方向为THCy1
满足UHCy1
阶段视频帧MinP,则认为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配,球杆距离公
式如下:
得到ΔCρ1,m,ΔCρ1,m+1,…ΔCρ1,n,分别为用户阶段视频第m帧至第n帧与模板阶段视频第1帧
的球杆距离,再从该组数据中找出球杆距离最小的值所对应的用户阶段视频帧MinP,则认
为用户阶段视频第MinP帧与模板阶段视频第1帧最匹配。
的两个视频间的球杆距离不可能完全一致,即ΔCρi,j>0恒成立,所以,对于不能匹配的模板
阶段视频和用户阶段视频间的距离为ΔCρi,j=0。Distance为模板阶段视频和用户阶段视
频的距离矩阵,disi,j是Distance中的元素,其各个元素计算公式如下:
=j。
累积距离值得到cumuDisi+1,j+k+1,或cumuDisi+1,j+k时,则停止计算下一累积距离值,此时利
用距离矩阵Distance,找出disi,j,disi,j+1,…,disi,j+k,即模板阶段视频第i帧与用户阶段
视频第j帧至第j+k帧的距离值,找出disi,j,disi,j+1,…,disi,j+k中最小距离值的用户阶段
视频帧下标,假设disi,min是disi,j,disi,j+1,…,disi,j+k中的最小值,则min是最小距离值的
用户阶段视频帧下标,此时认为模板阶段视频帧第i帧与用户阶段视频帧第min帧匹配。
用户阶段视频第min帧必定不能匹配。所以寻找与模板阶段视频中的第i+1帧相匹配的用户
阶段视频帧,则需要从用户阶段视频中第min+1帧开始计算,由此可以分别找出与模板阶段
视频第i帧最匹配的用户阶段视频第j帧,再进一步利用匹配后的模板视频和用户视频进行
以及视频中的人体特征进行动作对比并对不同特征的比对结果进行加权评分。
用户视频帧分别利用14个关节点,提取了13个人体肢节角。
视频和模板视频的第i个人体肢节角的差值,Wi是第i个人体肢节角的权重,其计算公式如
下:
体肢节角权重,权重Wi和权重Wi都由视频动作的累积时间人体肢节角权重公式所得,该计
算公式如下:
角的到当前帧为止的帧间累积变化量。
该关节点有关的人体肢节角的计算标识置0,即 反之模板视频中某肢节角相关
的两个关节点都能准确获取时, 同理, 为用户视频当前帧中第i个人体肢
节角计算标识,当用户视频中某个关节点坐标不能准确获得时,则将与该关节点有关的人
体肢节角的计算标识置0,即 反之,
标识置0。
的M帧,且wt=1/M。
动作要求特别高的运动中,本发明方法中的评分公式仍然适用,具有很好的推广前景。
也应视为本发明的保护范围。