关键点检测方法、装置和电子设备转让专利
申请号 : CN202111487812.X
文献号 : CN113887547B
文献日 : 2022-03-08
发明人 : 王鹏程 , 高原 , 刘霄
申请人 : 北京世纪好未来教育科技有限公司
摘要 :
权利要求 :
1.一种关键点检测方法,其特征在于,所述方法包括:提取当前帧图像中关键点的初始位置和光流跟踪特征;
基于所述光流跟踪特征和历史帧图像中所述关键点的关键点信息,确定所述当前帧图像中所述关键点的帧间移动参数;
在所述光流跟踪特征至少满足距离约束条件时,基于所述当前帧图像中所述关键点的所述初始位置和所述光流跟踪特征,确定所述当前帧图像中所述关键点的检测结果,其中,所述距离约束条件至少包括所述帧间移动参数不大于预设帧间移动阈值,所述距离约束条件还包括:
所述当前帧图像中所述关键点的帧内偏移参数不大于预设帧内偏移阈值,所述帧内偏移参数由所述当前帧图像中所述关键点的初始位置和光流跟踪特征确定。
2.根据权利要求1所述的方法,其特征在于,所述当前帧图像含有目标物体;
所述预设帧间移动阈值与所述目标物体在所述当前帧图像的面积占比正相关,所述预设帧间移动阈值与第一转换因子正相关;
所述目标物体的面积为所述目标物体的外接框面积,所述目标物体的外接框面积由属于所述目标物体的多个关键点中的至少两个关键点确定。
3.根据权利要求2所述的方法,其特征在于,所述预设帧间移动阈值满足第一阈值公式:
;
其中,Thresh1表示所述预设帧间移动阈值,ATIMw表示属于所述目标物体的多个关键点在宽度方向的最大跨度,ATIMh表示属于所述目标物体的多个关键点在高度方向的最大跨度,imagew表示所述当前帧图像的宽,imageh表示所述当前帧图像的高,L1表示所述第一转换因子。
4.根据权利要求1所述的方法,其特征在于,所述当前帧图像含有目标物体;
所述预设帧内偏移阈值与所述目标物体在所述当前帧图像的面积占比正相关,所述预设帧内偏移阈值与第二转换因子正相关,所述目标物体的面积为所述目标物体的外接框面积,所述目标物体的外接框面积由属于所述目标物体的多个关键点中的至少两个关键点的初始位置确定。
5.根据权利要求4所述的方法,其特征在于,所述预设帧内偏移阈值满足第二阈值公式:
;
其中,Thresh2表示所述预设帧内偏移阈值,ATIMw表示属于所述目标物体的多个关键点在宽度方向的最大跨度,ATIMh表示属于所述目标物体的多个关键点在高度方向的最大跨度,imagew表示所述当前帧图像的宽,imageh表示所述当前帧图像的高,L2表示所述第二转换因子。
6.根据权利要求1 5任一项所述的方法,其特征在于,所述方法还包括:~
响应于确定所述光流跟踪特征满足跟踪状态约束条件,基于所述当前帧图像中所述关键点的初始位置和光流跟踪特征,确定所述当前帧图像中所述关键点的检测结果,其中,所述跟踪状态约束条件为所述光流跟踪特征的跟踪状态为跟踪成功状态。
7.根据权利要求1 5任一项所述的方法,其特征在于,所述当前帧图像含有目标物体,~
所述目标物体包括至少一个部位,所述至少一个部位中的同一部位包括至少两个关键点;
所述基于所述当前帧图像中所述关键点的所述初始位置和所述光流跟踪特征,确定所述当前帧图像中所述关键点的检测结果,包括:在所述当前帧图像中,基于所述关键点所属部位的所有关键点的帧间移动参数以及预设帧间移动阈值,确定所述关键点的初始位置权重和光流跟踪特征权重;
基于所述初始位置权重和所述光流跟踪特征权重,对所述当前帧图像中所述关键点的所述初始位置和所述光流跟踪特征进行加权,以确定所述当前帧图像中所述关键点的检测结果。
8.根据权利要求7所述的方法,其特征在于,所述初始位置权重与所述当前帧图像中所述关键点所属部位的所有关键点的帧间移动参数的平均值正相关,所述光流跟踪特征权重与所述当前帧图像中所述关键点所属部位的所有关键点的帧间移动参数的平均值负相关;
和/或,
在所述当前帧图像中,属于所述目标物体中同一部位的各个关键点的初始位置权重相同,且属于所述目标物体中同一部位的各个关键点的所述光流跟踪特征权重相同。
9.根据权利要求7所述的方法,其特征在于,所述光流跟踪特征权重满足:;
其中, 表示所述当前帧图像中属于所述目标物体的第i个部位中第j个关键点的光流跟踪特征权重, 表示所述目标物体的第i个部位的所有关键点的帧间移动参数的平均值,parti表示所述目标物体的第i个部位,i表示不小于1且不大于K的整数,j表示不小于1且不大于Q的整数,K表示所述目标物体所含有的部位总数,Q表示所述目标物体包括的关键点总数,Thresh1表示所述预设帧间移动阈值。
10.根据权利要求1 5任一项所述的方法,其特征在于,所述历史帧图像与所述当前帧~
图像的显示顺序相邻;或,
所述历史帧图像与所述当前帧图像的显示顺序不相邻。
11.根据权利要求1 5任一项所述的方法,其特征在于,所述关键点信息为所述历史帧~
图像中所述关键点的初始位置;或,所述关键点信息为所述历史帧图像中所述关键点的检测结果。
12.根据权利要求1 5任一项所述的方法,其特征在于,所述光流跟踪特征为正向光流~
跟踪特征,所述光流跟踪特征的跟踪状态包括正向跟踪状态;或,所述光流跟踪特征包括正向光流跟踪特征,所述光流跟踪特征的跟踪状态包括正向跟踪状态和反向跟踪状态。
13.根据权利要求1 5任一项所述的方法,其特征在于,所述提取当前帧图像中关键点~
的初始位置和光流跟踪特征,包括:采用关键点检测技术确定所述当前帧图像中所述关键点的初始位置;
基于所述当前帧图像、所述历史帧图像以及所述历史帧图像中所述关键点的关键点信息,确定所述当前帧图像中所述关键点的光流跟踪特征。
14.一种关键点检测装置,其特征在于,包括:提取模块,用于提取当前帧图像中关键点的初始位置和光流跟踪特征;
确定模块,用于基于所述光流跟踪特征和历史帧图像中所述关键点的关键点信息,确定所述当前帧图像中所述关键点的帧间移动参数;
融合模块,用于在所述光流跟踪特征至少满足距离约束条件时,基于所述当前帧图像中所述关键点的所述初始位置和所述光流跟踪特征,确定所述当前帧图像中所述关键点的检测结果,其中,所述距离约束条件至少包括所述帧间移动参数不大于预设帧间移动阈值,所述距离约束条件还包括:
所述当前帧图像中所述关键点的帧内偏移参数不大于预设帧内偏移阈值,所述帧内偏移参数由所述当前帧图像中所述关键点的初始位置和光流跟踪特征确定。
15.一种电子设备,其特征在于,包括:处理器;以及,
存储程序的存储器,
其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1 13中任一项所述的方法。
~
16.一种非瞬时计算机可读存储介质,其特征在于,所述非瞬时计算机可读存储介质存储有计算机指令,所述计算机指令用于使所述计算机执行根据权利要求1 13中任一项所述~
的方法。
说明书 :
关键点检测方法、装置和电子设备
技术领域
背景技术
“前置”基础算法,应用在人脸识别、表情分析、三维人脸重建等领域。
点检测模型对人脸进行检测,所获得的关键点可以确定人脸的姿态,为“后置”应用提供保
障。
发明内容
移动参数不大于预设帧间移动阈值。
件至少包括帧间移动参数不大于预设帧间移动阈值。
根据本公开示例性实施例所述的方法。
确定当前图像中关键点的帧间移动参数。当光流跟踪特征至少满足帧间移动参数不大于预
设帧间移动阈值这一距离约束条件的情况下,说明该历史帧图像和当前帧图像中关键点的
移动距离在可接受范围内。在此基础上,基于关键点在当前帧图像中的初始位置和光流跟
踪特征,所确定当前帧图像中关键点的检测结果可以保证视频图像的关键点检测结果连续
性和稳定性比较好,因此,本公开实施例可以降低视频图像的关键点检测抖动,从而支持
“后置”应用的要求。另外,本公开示例性实施例将关键点的初始位置和相应光流跟踪特征,
使得关键点位置跟随及时,不会出现关键点的拖动的问题。
附图说明
具体实施方式
里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的
是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
开的范围在此方面不受限制。
“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定
义将在下文描述中给出。需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的
装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者
相互依存关系。
更代表着上下文与周围邻域的组合关系。
以及区域一致性较强。
精确获得光流特征,可以适用于物体运动速度较快的图像。
运用在语音识别中进行失真测度。
测、人脸关键点检测、手势关键点检测及其它肢体姿态检测等。
示,本公开示例性实施例的视频直播系统100可以包括:视频采集装置101、图像处理装置
102和播放客户端103。视频采集装置101和播放客户端103均与图像处理装置102通信。
视频图像可以为各种形式的视频图像,如红外视频图像、黑白视频图像或彩色视频图像等,
但不仅限于此。图像处理装置102可以执行关键点检测方法。播放客户端103可以分为常见
的智能手机客户端和PC客户端。例如:在目前直播行业中,视频采集装置101和播放客户端
103均可以为直播从业人员所使用的智能手机。
以为直播受众所持有的播放客户端。例如:当直播从业人员与直播受众可以进行视频互动
时,直播受众所持有的播放客户端所播放的视频可以为直播从业人员所使用的视频采集装
置拍摄的视频。直播从业人员所持有的视频采集装置也可以播放直播受众持有的播放客户
端拍摄的视频(针对该视频,播放客户端为视频采集装置,视频采集装置为播放客户端)。由
此可见,如果视频采集装置具有显示界面,该视频采集装置和播放客户端均可以包括但不
仅限于手机、平板电脑、电视机、显示器、笔记本电脑等。并且,如果播放客户端具有图像采
集功能,支持该图像采集功能的硬件可以集成在该播放客户端上。例如常见的带有摄像头
的手机、平板电脑、一体机电脑等。
网络可以分为无线通信网络,也可以为有线通信网络;从通信范围来说,通信网络可以为局
域通信网络,也可以为广域通信网络。例如:播放客户端103可以通过Internet登陆网络管
理中心104访问服务器,实现对服务器以及服务器上的媒体资源的整体控制与管理。
过网络管理中心及时发送到播放客户端103进行音视频播放。同时,服务器还可以具备对系
统数据,包括媒体数据、用户数据等进行存储和管理的功能,这些功能的实现实际由PC客户
端通过访问网络管理中心发布的Web网站来实现。
以处理Web客户端的请求并返回相应请求。数据库服务器1021b用于提供数据存储服务。视
频服务器1021c又可以定义为视频编解码器,用于对音视频的编解码处理,存储及处理,以
满足存储和传输的要求。流媒体服务器1021d可以对视频采集装置101所提供的图像数据进
行流媒体化处理,保证音视频传输的流畅性。所生成的流媒体数据可以作为历史文件存储
至服务器,也可以直接发送到播放客户端103进行播放。
器集群中的视频服务器将用户视频图像解码后,可以对所获得的用户视频图像进行关键点
检测。例如:当用户视频图像含有用户脸部图像,可以通过对用户脸部图像进行关键点进行
检测,从而确定用户脸部表情,分析用户情绪。又例如:当用户视频图像含有肢体图像,可以
通过对肢体关键点进行检测,确定肢体动作(如手势),以分析用户是否按照指定动作进行
运动。
后,可以获得添加有关键点的人脸202。图2中每个关键点代表该关键点的位置。但是由于光
照、遮挡、人脸位移等因素的影响,为人脸关键点检测带来比较大的“标注噪声”,导致人脸
关键点检测结果抖动异常。相关技术中,可以采用帧间滤波平滑方式降低人脸关键点检测
结果的抖动程度,达到稳定关键点的目的。这种方法所检测到的人脸关键点延时拖动,导致
点位跟踪不及时。
点的点位跟踪及时性。本公开示例性实施例的方法可以由上述服务器执行,也可以由上述
服务器中的芯片执行。下面以服务器为执行主体进行示例描述。
当前视频帧。假设视频图像含有目标物体,关键点可以泛指待检测的当前帧图像中目标物
体中的所有关键点。
该关键点的光流跟踪特征。应理解,与当前帧图像相对的,若已经经过本公开示例性的方法
处理的视频帧图像称为历史视频帧。
如:利用关键点检测网络对视频图像的人脸进行关键点检测,可以有序输出68个关键点的
初始位置。基于此,利用关键点检测网络对当前帧图像的人脸进行关键点检测,可以有序输
出当前帧图像中68个关键点的初始位置。同时,利用当前帧图像、历史帧图像和历史帧图像
中68个关键点信息,可以有序获得当前帧图像中68个关键点的光流跟踪特征。假设关键点
的初始位置为顺序输出的第12个关键点的初始位置,那么关键点的光流跟踪特征为顺序输
出的第12个关键点的光流跟踪特征。基于此,可以通过初始位置和光流跟踪特征的输出次
序,确定初始位置对应的关键点和光流跟踪特征对应的关键点是否为同一关键点。
为大于等于2且小于或等于N的整数。
当前帧图像为基础所确定的光流跟踪特征更为准确,其连续性也更好。
属于一个视频图像,其显示顺序位于历史帧图像和当前帧图像之间。至于历史帧图像与当
前帧图像之间所包括的中间帧图像的数量,则可以根据实际情况决定。
频图像的帧率为每秒25帧,或者接近每秒25帧,可以选择与当前帧图像的显示顺序相邻的
图像帧作为历史帧图像,也就是说,历史帧图像与当前帧图像之间不存在中间帧图像;例
如:当视频图像的帧率为每秒25帧,每帧图像的播放时长为40ms,则从历史帧图像开始播放
到当前帧图像播放结束,需要使用80ms。
以从视频图像中抽取与当前帧图像不相邻的图像帧作为历史帧图像使用。示例性的,当前
帧图像与历史帧图像之间可以间隔1 4个中间帧图像。
~
要使用50.1ms 66.8ms,从历史帧图像播放完成到当前帧图像开始播放的时长为16.7ms。
~
束,需要使用37.5ms 50ms,从历史帧图像播放完成到当前帧图像开始播放的时长为12.5ms
~
25ms。
~
~
需要使用24.9ms 41.5ms,从历史帧图像播放完成到当前帧图像开始播放的时长为8.3ms
~ ~
24.9ms。
隔下的中间帧图像不容易被人眼识别,因此,在确定光流跟踪特征时,即使所引入的历史帧
关键点信息对应的历史帧图像与当前帧图像之间有间隔,也不会对当前帧图像的关键点检
测结果造成过大的影响,从而保证检测结果的稳定性和跟随性比较好。
的关键点信息可以为在历史帧图像中关键点的初始位置,当然也可以为历史帧图像中关键
点的检测结果。可以理解的是,历史帧图像中关键点的检测结果可以是以历史帧图像为当
前帧图像时,采用本公开示例性的方法所获得的关键点的检测结果。
利用人脸检测网络检测当前帧图像,输出人脸图像。将人脸图像输出人脸关键点检测网络,
输出人脸关键点检测结果。该人脸关键点检测结果可以为人脸关键点的初始位置坐标,或
者可以表达人脸关键点的初始位置坐标的信息。
流跟踪特征。此时,光流跟踪特征的类型为稀疏光流跟踪特征,可以减少计算开销,提高点
位跟踪及时性。该稀疏光流跟踪特征可以是采用Lucas‑Kanade光流算法确定光流跟踪特
征,或者采用金字塔Lucas_Kanade光流法确定光流跟踪特征,但不仅限于此,具体可以根据
实际情况选择。
金字塔Lucas_Kanade光流法确定光流跟踪特征,以克服Lucas‑Kanade光流算法不适用于物
体运动速度比较慢的视频图像的问题。
定当前帧图像的同一关键点的光流跟踪特征与初始位置融合的可行性。在此基础上,在服
务器执行步骤301后,本公开示例性实施例的方法还包括:
间。
所针对的历史帧图像的部位相同。
的光流跟踪点坐标。上述初始位置可以为关键点检测网络所检测的关键点检测坐标。在此
基础上,可以采用衡量两个点之间距离的度量参数作为帧间移动参数。例如:可以以欧式距
离度量帧间移动参数,该帧间移动参数可以表征该关键点在历史帧图像与当前帧图像的位
置变化情况,其帧间移动参数满足下式:
正向光流跟踪位置横坐标, 表示第k帧图像中第j个关键点的正向光流跟踪
位置纵坐标, 表示第t帧图像中第j个关键点的关键点检测横坐标, 表示第
t帧图像中第j个关键点的关键点检测纵坐标,第t帧图像为历史帧图像,第k帧图像为当前
帧图像。
行融合,执行步骤304,否则执行步骤305。
间移动阈值,说明历史帧图像和当前帧图像的关键点位置在时序上的变化符合视频图像中
关键点的变化规律。预设帧间移动阈值可以为经验值,也可以考虑实际因素。
时,说明可以融合当前图像帧中该关键点的光流跟踪特征与初始位置,从而提高关键点检
测结果的稳定性,降低关键点的抖动。基于此,在帧间移动参数距离不大于预设帧间移动阈
值时,执行步骤304,否则执行步骤305。
使得所设定的预设帧间移动阈值随着标物体的尺寸在当前帧图像的面积占比的变化而变
化,因此,本公开示例性实施例的方法可以适用于各种尺寸的视频图像的关键点检测。同
时,为了保证预设帧间移动阈值与帧间移动参数具有可比性,该预设帧间移动阈值与第一
转换因子呈正相关,该第一转换因子用于将面积占比转换为预设帧间移动阈值。
始位置确定。预设帧间移动阈值可以满足第一阈值公式。该第一阈值公式可以为:
个关键点在高度方向的最大跨度,imagew表示当前帧图像的宽,imageh表示当前帧图像的
高。L1表示第一转换因子,其可以为根据实际情况设定,例如L1可以取100。
为第k帧图像的属于目标物体的关键点的横坐标, 为第k帧图像的
属于目标物体的关键点的纵坐标, 表示取绝对值的运算符号,imagew表示第k帧图
像的宽度,imageh表示第k帧图像的高度。
一共有68个关键点,最左端关键点401的横坐标为属于人脸的关键点中横坐标最小值,最右
端关键点402的横坐标为属于人脸的关键点的横坐标最大值,因此,最右端关键点402的横
坐标与最左端关键点401的横坐标的差值绝对值为人脸的宽。最上端关键点403的纵坐标为
属于人脸的关键点的纵坐标最大值,最下端关键点404的纵坐标为属于人脸的关键点的纵
坐标最小值,因此,最上端关键点403的纵坐标与最下端关键点404的纵坐标的差值绝对值
为人脸的高。
属于目标物体的一个关键点来说,由于视频图像的每帧图像播放时长达到毫秒级别,因此,
关键点在帧间(历史帧图像和当前帧图像)的目标位置变化极小。基于此,若帧间移动参数
小于或等于预设帧间移动阈值,则说明在历史帧图像和当前帧图像的关键点位置变化符合
关键点在帧间的位置变化规律,可以执行步骤304,否则,说明在历史帧图像和当前帧图像
的关键点变化不符合关键点在帧间的位置变化规律,该关键点的光流跟踪特征与该关键点
的初始位置融合的可行性不高,因此,该关键点的光流跟踪特征不参与步骤304的操作,可
以执行步骤305。
图像的该关键点的光流跟踪特征与该关键点的初始位置的偏移量。基于此,上述距离约束
条件还可以包括帧内距离约束条件。该帧内距离约束条件可以包括当前帧图像中关键点的
帧内偏移参数不大于预设帧内偏移阈值,其中,帧内偏移参数由当前帧图像中关键点的初
始位置和光流跟踪特征确定。该预设帧内偏移阈值可以为经验值,也可以考虑实际因素。
内偏移阈值。
服务器确定帧内距离约束条件和帧内距离约束条件成立的情况下,可以执行步骤304,以保
证关键点检测结果的连续性和准确性。当服务器确定帧间距离约束条件不成立,帧内距离
约束条件成立,或者帧间距离约束条件和帧内距离约束条件均不成立的情况下,可以执行
步骤304。
位置和光流跟踪点的偏移程度,其满足下式:
个关键点的正向光流跟踪位置纵坐标, 表示第k帧图像中第j个关键点的初始位置
横坐标, 表示第k帧图像中第j个关键点的初始位置纵坐标,第t帧图像为历史帧图
像,第k帧图像为当前帧图像。
的初始位置和光流跟踪特征在帧内偏移过大,已经不可以被用户视觉忽略,二者进行融合,
有可能影响最终关键点检测结果的准确性,如果关键点的帧内偏移参数小于或等于预设帧
内移动阈值,则说明关键点的初始位置和光流跟踪特征在帧内的偏移可以被用户视觉忽
略,二者进行融合,可以提高最终关键点检测结果的准确性。
移比较小。基于此,本公开示例性实施例的预设帧内偏移阈值考虑到面积占比对于初始位
置和光流跟踪特征的位置影响,使得在面积占比较大的情况下,预设帧内偏移阈值相对增
大,从而增加对于当前帧内偏移程度的容忍度,保证当前帧图像中更多关键点的帧内偏移
参数不大于预设帧内偏移阈值时,这些关键点的初始位置和光流跟踪特征融合后,不会影
响关键点的检测准确性。基于此,本公开示例性实施例的方法可以适应不同尺寸的当前帧
图像,确保融合后的关键点位置准确。同时,为了保证当前偏移阈值与当前帧内移动参数有
可比性,该预设帧内偏移阈值与第二转换因子正相关,该第二转换因子用于将面积占比转
换为预设帧内偏移阈值。
始位置确定。预设帧内偏移阈值可以满足第二阈值公式。该第二阈值公式可以为:
多个关键点在高度方向的最大跨度,imagew表示当前帧图像的宽,imageh表示当前帧图像的
高。 和 的定义可以参考前文,此处不做赘述。
因子和第二转换因子相同时,预设帧间移动阈值等于预设帧内偏移阈值。当第一转换因子
与第二转换因子不同时,预设帧间移动阈值不等于预设帧内偏移阈值。例如:第一转换因子
大于第二转换因子不同时,预设帧间移动阈值大于预设帧内偏移阈值,以保证最后融合后
的关键点位置准确。
参数和帧内偏移参数均随着所检测的图像帧不同而发生动态变化。同时,不管利用预设帧
间移动阈值约束关键点在帧间的位置变化程度,还是利用预设帧内偏移阈值约束关键点在
帧内的位置偏移程度,都是一种动态约束的过程。基于此,本公开示例性实施例的方法可以
采用动态距离匹配的方式,将关键点的光流跟踪特征与该关键点的初始位置进行匹配。
的关键点的光流跟踪特征和初始位置。
体包括至少一个部位,同一部位可以包括至少两个关键点。在当前帧图像中,可以基于关键
点所属部位的所有关键点的帧间移动参数以及预设帧间移动阈值,确定关键点在当前帧图
像的初始位置权重和光流跟踪特征权重,然后基于初始位置的权重和光流跟踪特征的权
重,对当前帧图像中关键点的初始位置和光流跟踪特征进行加权,以确定当前帧图像中关
键点的检测结果。
关键点的检测结果满足如下公式:
j个关键点的正向光流跟踪特征, 表示第k帧图像中属于第i个部位
的第j个关键点的初始位置, 表示属于目标物体的第i个部位的第j个关键点的光流
跟踪特征的权重, 表示属于目标物体的第i个部位的第j个关键点的初始位
置的权重。第k帧图像为当前帧图像,第t帧图像为历史帧图像。
图像中关键点所属部位的所有关键点的帧间移动参数的平均值负相关。而由于不同帧图像
的关键点的初始位置和光流跟踪特征均有所变化,因此,初始位置的权重和光流跟踪特征
的权重在不同帧图像是一种动态权重,使得同一关键点在不同时刻的初始位置和光流跟踪
特征融合方式是动态融合,从而符合关键点在不同时刻的位置变化规律,提高不同时刻关
键点检测准确度。
的帧间移动参数的平均值越小,关键点的帧间移动参数越符合视频图像中关键点的位置变
化规律。基于此,可以约束初始位置的权重和光流跟踪特征的权重,增强准确度更高的光流
跟踪特征影响检测结果的能力,从而获得稳定性和连续性比较好的检测结果。
征权重相同。也就是说,当该部位有7个关键点,7个关键点的初始位置的权重相同,7个关键
点的光流跟踪特征的权重相同。此时,可以保证相同部位的关键点融合时,初始位置的权重
和光流跟踪特征的权重均具有一致性,从而符合同一帧图像中属于同一部位的关键点的位
置分布规律。
表示目标物体的第i个部位的所有关键点的帧间移动参数的平均值,
parti表示属于目标物体的第i个部位,Thresh1表示预设帧间移动阈值,i表示部位的索引,
i表示大于或等于1且小于或等于K的整数,K为目标物体所含有的部位总数。
物体的关键点总数。
位置和光流跟踪特征没有经过融合,帧间移动参数所引入的历史帧图像的关键点的关键信
息可以为第t帧图像中关键点的初始位置。
束条件约束与初始位置融合的关键点的光流跟踪特征。在此基础上,图5示出了本公开示例
性实施例的另一种方法的流程示意图。如图5所示,该方法包括:
合,可以执行步骤503,否则执行步骤504。
跟踪特征是否满足跟踪状态约束条件,再判断光流跟踪特征是否满足距离约束条件;当然,
服务器可以先判断光流跟踪特征是否满足距离约束条件,再判断光流跟踪特征是否满足跟
踪状态约束条件。其中,服务器判断光流跟踪特征是否满足距离约束条件的相关描述,可以
参考前文的步骤302和步骤303的相关描述,此处不做赘述。下面主要描述服务器判断光流
跟踪特征是否满足跟踪状态约束条件的过程。
明光流跟踪特征的跟踪状态为跟踪失败状态。
点的光流跟踪特征是否满足跟踪状态约束条件,以确定该光流跟踪特征是否可能与初始位
置进行融合。应理解,当光流跟踪特征的正向跟踪状态,跟踪成功状态可以为正向跟踪成功
状态。当光流跟踪特征的正向跟踪状态为正向跟踪成功状态,说明光流跟踪特征满足跟踪
状态约束条件。
向跟踪成功状态和反向跟踪成功状态。当光流跟踪特征的正向跟踪状态为正向跟踪成功状
态,光流跟踪特征的反向跟踪状态为反向跟踪成功状态,说明光流跟踪特征满足跟踪状态
约束条件。
行融合。这种确定方式可以看作利用正向跟踪状态和反向跟踪状态匹配初始位置的过程,
可以提高关键点的检测结果准确性。
键点的坐标);光流反向跟踪点坐标第k帧到第t帧,j,反向跟踪状态第k帧到第t帧,j=PyrLK(第k帧图像,
第t帧图像,第k帧图像中第j个关键点的坐标),其中,j表示关键点的索引号,j表示大于或
等于1,小于或等于M整数,t和k的定义参考前文,k‑t≥1。
于1,小于或等于M整数;第k帧图像为当前帧图像,第t帧图像为历史帧图像,k‑t≥1。若t=1,
第t帧图像的关键点位置坐标为第t帧图像中关键点的初始位置坐标,若t为大于或等于2的
整数,则第t帧图像的关键点位置坐标为采用本公开示例性方法所确定的关键点的检测结
果坐标,也可以是第t帧图像中关键点的初始位置坐标。
关键点的初始位置坐标进行融合,也可以判断第k帧图像中第j个关键点的正向跟踪状
态第t帧到第k帧,j是否为正向跟踪成功状态的同时,判断第k帧图像中第j个关键点的反向跟踪状
态第k帧到第t帧,j是否为反向跟踪成功状态的,以确定第j个关键点的当前光流正向跟踪点坐
标第t帧到第k帧,j是否可能与第j个关键点的初始位置进行融合。
束条件和跟踪状态约束条件下确定光流跟踪特征是否可以与初始位置进行融合。相对后一
种方法,前一种方法可以减少不必要的计算量,降低对硬件的要求。
式之处,不做细述。
包括正向光流跟踪点坐标和正向跟踪状态,反向光流跟踪特征可以包括反向光流跟踪点坐
标和反向跟踪状态。
向跟踪成功状态,且反向光流跟踪特征的跟踪状态为反向跟踪成功状态,则说明关键点的
正向光流跟踪特征有可能与关键点的初始位置融合,可以执行步骤604,否则执行步骤608。
跟踪状态约束条件满足:
以确定第k帧图像中第j个关键点的光流跟踪特征和初始位置存在可以融合的可能,否则,
执行步骤608。应理解,第k帧为当前帧,第k‑1帧为前一帧。
以参考前文的相关描述。若当前帧图像为第k帧图像,则前一帧图像可以示例的为第k‑1帧
图像。
j个关键点的正向光流跟踪点坐标,确定当前帧图像中第j个关键点的帧内移动参数。应理
解,步骤604和步骤605可以同时执行,也可以依序执行。
值,也可以使用不同的阈值,可以参考前文,此处不做赘述。
Valid2,Valid3,Valid4,Valid5,Valid6或Valid7)。
的关键点的正向光流跟踪特征,Valid3可以表示正向光流跟踪特征满足距离约束条件的当
前帧图像中属于左眼睛的关键点,Valid4可以表示正向光流跟踪特征满足距离约束条件的
当前帧图像中属于右眼睛的关键点,Valid5可以表示正向光流跟踪特征满足距离约束条件
的当前帧图像中属于鼻子的关键点,Valid6可以表示正向光流跟踪特征满足距离约束条件
的当前帧图像中属于嘴巴的关键点,Valid7可以表示正向光流跟踪特征满足距离约束条件
的当前帧图像中属于轮廓的关键点。
图像中第j个关键点的帧间移动距离, 表示当前帧图像中第j个关键点的帧内偏移距
离。 表示当前帧图像中第j个关键点的跟踪状态。
标和正向光流跟踪点坐标加权,获得当前帧图像中关键点的检测结果。初始位置的权重和
正向光流跟踪特征的权重可以参考前文,此处不做赘述。
确定当前图像中关键点的帧间移动参数。当光流跟踪特征至少满足帧间移动参数不大于预
设帧间移动阈值这一距离约束条件的情况下,说明该历史帧图像和当前帧图像中关键点的
移动距离在可接受范围内。在此基础上,基于关键点在当前帧图像中的初始位置和光流跟
踪特征,所确定当前帧图像中关键点的检测结果可以保证视频图像的关键点检测结果连续
性和稳定性比较好,因此,本公开实施例可以降低视频图像的关键点检测抖动,从而支持
“后置”应用的要求。另外,本公开示例性实施例将关键点的初始位置和相应光流跟踪特征,
使得关键点位置跟随及时,不会出现关键点的拖动的问题。
领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法
步骤,本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还
是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业
技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应
认为超出本公开的范围。
中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需
要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实
现时可以有另外的划分方式。
本公开示例性实施例的关键点检测装置的功能模块示意性框图。如图7所示,该关键点检测
装置包括:
条件至少包括帧间移动参数不大于预设帧间移动阈值。
光流跟踪特征确定。
imagew表示当前帧图像的宽,imageh表示当前帧图像的高,L1表示第一转换因子。
体的面积为目标物体的外接框面积,目标物体的外接框面积由属于目标物体的多个关键点
中的至少两个关键点的初始位置确定。
imagew表示当前帧图像的宽,imageh表示当前帧图像的高,L2表示第二转换因子。
中关键点的检测结果,其中,跟踪状态约束条件为光流跟踪特征的跟踪状态为跟踪成功状
态。
关键点在当前帧图像的帧间移动参数以及预设帧间移动阈值,获得关键点在当前帧图像的
初始位置权重和光流跟踪特征权重;基于初始位置权重和光流跟踪特征权重,对当前帧图
像中关键点的初始位置和光流跟踪特征进行加权,以确定当前帧图像中关键点的检测结
果。
位的所有关键点的帧间移动参数的平均值负相关。
移动参数的平均值,parti表示目标物体的第i个部位,i表示不小于1且不大于K的整数,j表
示不小于1且不大于Q的整数,K表示目标物体所含有的部位总数,Q表示目标物体包括的关
键点总数,Thresh1表示预设帧间移动阈值。
踪状态包括正向跟踪状态和反向跟踪状态。
信息,确定当前帧图像中关键点的光流跟踪特征。
执行上述关键点检测方法中的数据收发步骤,处理器801可以支持服务器执行上述关键点
检测方法中的数据处理步骤。
性随机存取存储器(non‑volatile random access memory,NVRAM)。
操作,处理器还可以称为中央处理单元(central processing unit,CPU)。存储器803可以
包括只读存储器和随机存取存储器,并向处理器801提供指令和数据。存储器803的一部分
还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起,其
中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是
为了清楚说明起见,在图8中将各种总线都标为总线系统804。
过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处
理器、数字信号处理器(digital signal processing,DSP)、ASIC、现成可编程门阵列
(field‑programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻
辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框
图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开
实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器
中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可
编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储
介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
程序,所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公
开实施例的方法。
实施例的方法。
的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服
务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,
个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、
它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者
要求的本公开的实现。
来执行各种适当的动作和处理。在RAM903中,还可存储设备900操作所需的各种程序和数
据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出接口(I/O 605)也
连接至总线904。
的设备,输入单元906可以接收输入的数字或字符信息,以及产生与电子设备的用户设置
和/或功能控制有关的键信号输入。输出单元907可以是能呈现信息的任何类型的设备,并
且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元
904可以包括但不限于磁盘、光盘。通信单元909允许电子设备900通过诸如因特网的计算机
网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、
网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、WiFi设备、WiMax设
备、蜂窝通信设备和/或类似物。
智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及
任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理。
例如,在一些实施例中,本公开示例性实施例的关键点检测方法可被实现为计算机软件程
序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部
分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。在
一些实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为
执行关键点检测方法。
理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的
功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件
包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电
子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合
适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM
或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或
上述内容的任何合适组合。
盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读
介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何
信号。
器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来
将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的
反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网
(LAN)、广域网(WAN)和互联网。
算机程序来产生客户端和服务器的关系。
产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令
时,全部或部分地执行本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专
用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以
存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储
介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心
通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机
可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的
服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;
也可以是光介质,例如,数字视频光盘(digital video disc,DVD);还可以是半导体介质,
例如,固态硬盘(solid state drive,SSD)。
附权利要求所界定的本公开的示例性说明,且视为已覆盖本公开范围内的任意和所有修
改、变化、组合或等同物。显然,本领域的技术人员可以对本公开进行各种改动和变型而不
脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其
等同技术的范围之内,则本公开也意图包括这些改动和变型在内。