图像中最大人脸的跟踪装置和方法转让专利

申请号 : CN200710308520.9

文献号 : CN100589114C

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 邓亚峰黄英王浩

申请人 : 北京中星微电子有限公司

摘要 :

本发明公开了一种图像中最大人脸的跟踪装置和方法,应用于人脸识别和跟踪,能减小运算复杂度,提高运行效率。本发明方法的特点是根据上一帧检测到最大人脸所使用的检测器尺度和检测到最大人脸的人脸框位置,确定当前帧人脸检测器尺度范围及检测范围,并据此对当前帧进行最大人脸检测,然后将检测到的最大人脸所对应的人脸框添加到最大人脸跟踪队列中,实现对最大人脸的跟踪。本发明通过上一帧检测到最大人脸的人脸框及所在位置,来辅助当前帧的最大人脸检测,减小了运算复杂度,提高了跟踪速度。

权利要求 :

1、一种图像中最大人脸的跟踪装置,其特征在于,包括: 检测模块,用于对当前帧进行最大人脸检测; 跟踪队列存储模块,与所述检测模块相连,用于存储检测到的最大人脸所对应的人脸框; 人脸框记录更新模块,与所述跟踪队列存储模块相连,用于根据当前帧检测到的最大人脸所对应的人脸框,对所述跟踪队列存储模块保存的对应于同一个人脸的人脸框记录进行匹配更新; 跟踪模块,与所述跟踪队列存储模块相连,用于在所述跟踪队列存储模块所保存的人脸框中进行最大人脸跟踪。

2、 如权利要求1所述的图像中最大人脸的跟踪装置,其特征在于,所 述检测模块包括:检测器预设子模块,用于预设一个人脸检测器的尺度;尺度级数生成子模块,用于获得一 系列尺度级数;检测器生成子模块,与所述检测器预设子模块和尺度级数生成子模块相 连,根据预设尺度的人脸检测器及所述一 系列尺度级数,采用特征放缩的方 式得到不同尺度的 一 系列人脸检测器;检测执行子模块,与所述检测器生成子模块相连,按照由大尺度到小尺 度的顺序,依次采用所述一系列人脸检测器对当前帧进行最大人脸检测,首 次检测到的人脸即为当前帧最大人脸。

3、 一种图像中最大人脸的跟踪方法,其特征在于,包括步骤:(1) 根据预设尺度的人脸检测器和一系列尺度级数,采用特征放缩的 方式得到不同尺度的 一 系列人脸检测器;(2) 如果当前帧为跟踪处理的第一帧,或者上一帧没有检测到人脸, 则采用步骤(1)中得到的所述一系列人脸检测器在当前帧全图范围内进行 最大人脸检测;如栗上一帧检测到最大人脸,则根据上一帧检测到最大人脸所使用的检测器尺度和检测到最大人脸的人脸框位置,确定当前帧人脸检测器尺度范围 及检测范围,并根据所述当前帧人脸检测器尺度范围中的人脸检测器,在当 前帧所述检测范围内进行最大人脸检测;(3 )将检测到的最大人脸所对应的人脸框添加到最大人脸跟踪队列中, 并将所对应的人脸框与所述跟踪队列中所有人脸框记录进行匹配,如果匹配到对应于同 一个人脸的人脸框记录,则采用所述检测到的最大 人脸所对应的人脸框更新所述跟踪队列中的对应于同 一个人脸的人脸框记录;如果没有匹配到对应于同一个人脸的人脸框记录,则将检测到的最大人脸所对应的人脸框作为新的记录添加到所述跟踪队列中;(4)在所述跟踪队列中确定当前跟踪的最大人脸,并将图像的下一帧 作为当前帧,返回步骤(2)继续执行。

4、 如权利要求3所述的图像中最大人脸的跟踪方法,其特征在于,步 骤(1)中所述得到不同尺度的一系列人脸检测器的步骤,包括:设定人脸检测器的预设尺度MS1 ,—系列尺度级数M-和检测尺度放缩因 子^ ,采用特征放缩的方式得到不同尺度的 一 系列人脸检测器;其中,所述人脸检测器为 一能够判定某尺度的图像窗口是否为人脸区域 的模型,所述尺度指的是判定窗口的宽度或/和高度,所述高度和宽度的值 为正整数,单位为像素;所述尺度级数AX.为互不相等的多个正整数; 所述检测尺度放缩因子为正实数。

5、 如权利要求4所述的图像中最大人脸的跟踪方法,其特征在于,进一步地设定最大检测尺度MAW'、最小检测尺度MWF,获得所述一系列尺 度级数M.,包括步骤:(a )根据所述MJ 、 、 M/A/,'和A',获得满足MV * Mv'《M/A77的最大整数yVl,满足MS^M'v2 > M4AF的最小整数A厂2;(b)获得所迷一系列尺度级数M,其中最大尺度级数为,V2,最小尺度级数为Wl;其中,所迷最大检测尺度7kMZF和最小检测尺度MZ?VF的值为正整数, 单位为像素。

6、 如权利要求3所述的图像中最大人脸的跟踪方法,其特征在于,步 骤(2)中所述在当前帧全图范围内进行最大人脸检测的步骤,包括:由大尺度到小尺度,顺序采用所述一系列人脸检测器在当前帧全图范围 内进行最大人脸检测,首次检测到的人脸即为当前帧最大人脸。

7、 如权利要求3所述的图像中最大人脸的跟踪方法,其特征在于,步 骤(2)中所述根据上一帧检测到最大人脸所使用的检测器尺度和检测到最 大人脸的人脸框位置,确定当前帧人脸检测器尺度范围及检测范围的步骤, 包括:对所述上一帧检测到最大人脸所使用的检测器尺度进行比例缩放,确定 包含所述上一帧检测到最大人脸所使用的检测器尺度的所述当前帧人脸检 测器尺度范围;根据上一帧检测到最大人脸的人脸框位置,确定当前帧检测范围中心点 的对黄坐标和纵坐标;对上一帧检测到最大人脸的人脸框大小,或者所述上一帧检测到最大人 脸所使用的检测器尺度进行比例缩放,确定当前帧检测范围的宽度和高度。

8、 如权利要求7所述的图像中最大人脸的跟踪方法,其特征在于,步 骤(2)中根据所述当前帧人脸检测器尺度范围中的人脸检测器,在当前帧 所述检测范围内进行最大人脸检测的步骤,包括:得到以所述上一帧检测到最大人脸所使用的检测器尺度为中心的若干 个检测器尺度级数;采用得到的检测器尺度级数对应的人脸检测器,按照由大尺度到小尺度 的顺序,对所述当前帧检测范围进行检测,首次检测到的人脸即为当前帧最 大人脸。

9、 如权利要求3所述的图像中最大人脸的跟踪方法,其特征在于,步骤(3)中将所对应的人脸框与所述跟踪队列中所有人脸框记录进行匹配的步骤,包括:(31)计算所述所对应的人脸框与所述跟踪队列所有人脸框的归一化中 心距离,所迷归一化中心距离为所述所对应的人脸框与所述跟踪队列中人脸 框的中心距离与所述跟踪队列中人脸框的宽度之比;(32 )计算所述所对应的人脸框与所述跟踪队列中所有人脸框的大小比例;(33 )如果所述跟踪队列中含有所述归一化中心距离小于等于预设的距 离阈值且所述大小比例小于等于预设的比例阈值的人脸框记录,则所述跟踪 队列中含有与所迷所对应的人脸框对应于同一个人脸的人脸框记录,否则所 述跟踪队列中没有与所述所对应的人脸框对应于同 一个人脸的人脸框记录。

10、 如权利要求3所述的图像中最大人脸的跟踪方法,其特征在于,步 骤(3)进一步包括:将所述跟踪队列中与当前帧检测到的最大人脸对应的人脸框表示检测 到最大人脸的检测帧数加1,没有检测到人脸的漏检帧数置零,并将检测到 最大人脸的当前时间记录为结束时间;如果在当前帧没有检测到最大人脸,则将所述跟踪队列中所有人脸框记 录表示没有检测到人脸的漏检帧数加1。

11、 如权利要求10所述的图像中最大人脸的跟踪方法,其特征在于, 步骤(4)中在所述跟踪队列中确定当前跟踪的最大人脸的步骤,包括:所述跟踪队列中所述检测帧数大于预设的检测帧数阈值,所述漏检帧数 小于预设的漏检帧数阈值,且所述结束时间最新的人脸框记录作为当前跟踪 的最大人脸框,所述当前跟踪的最大人脸框对应的人脸为所述当前跟踪的最 大人脸。

12、 如权利要求11所述的图像中最大人脸的跟踪方法,其特征在于, 步骤(4)进一步包括:删除所述跟踪队列中所述漏检帧数大于所述漏检帧数阈值的人脸框记录。

说明书 :

图像中最大人脸的跟踪装置和方法

技术领域

本发明涉及图像处理技术,具体地说,是涉及一种图像中最大人脸的跟 踪装置和方法。

背景技术

近年来,随着模式识别技术的发展,在计算机视觉和图像处理技术领域, 获取图像或者视频中的人脸信息在诸如人机交互、安全、娱乐等领域都具有 重要的应用。因此,从图像中自动获取人脸的数目、大小、位置信息并进行 跟踪的技术,受到了极大的重视。
现有的人脸跟踪技术一般都会首先采用人脸检测确定图像中存在的人 脸,继而采用人脸跟踪技术对目标人脸进行跟踪。在很多视频图像处理的应
用中,往往只关心视频中最大的人脸,比如基于人脸信息进行AE (Auto-Exposure,自动曝光)、AF (Auto-Focus,自动对焦)和AWB (Auto White Balance,自动白平衡调整)、视力保护、数字放大人脸区域,以及人 脸识别等应用也往往只关心视频中最大的人脸。而现有的人脸跟踪技术,有 些方法只能跟踪一个人脸,而且也不关心跟踪目标是否是最大的人脸,另一 些方法虽然能够跟踪多个人脸,但对于上述只需要确定并跟踪最大人脸的应 用存在冗余运算。
综上所述,有必要提供一种快速跟踪图^_中最大人脸的装置和方法。 发明内容
本发明所要解决的技术问题是在于需要提供一种图像中最大人脸的跟 踪装置和方法,以減小运算复杂度,提高运行效率。
为了解决上述技术问题,本发明首先提供了一种图像中最大人脸的跟踪
6装置,包括:
检测模块,用于对当前帧进行最大人脸检测;
跟踪队列存储模块,与所述检测模块相连,用于存储检测到的最大人脸 所对应的人脸框;
人脸框记录更新模块,与所述跟踪队列存储模块相连,用于根据当前帧 检测到的最大人脸所对应的人脸框,对所述跟踪队列存储模块保存的对应于 同 一个人脸的人脸框记录进行匹配更新;
跟踪模块,与所述跟踪队列存储模块相连,用于在所述跟踪队列存储模 块所保存的人脸框中进行最大人脸跟踪。
如上所述的图像中最大人脸的跟踪装置,所述检测模块可以包括: 才全测器预设子模块,用于预设一个人脸检测器的尺度; 尺度级数生成子模块,用于获得一系列尺度级数;
检测器生成子模块,与所述检测器预设子模块和尺度级数生成子模块相 连,根据预设尺度的人脸检测器,采用特征放缩的方式得到不同尺度的一系 列人脸检测器;
检测执行子模块,与所述检测器生成子模块相连,按照由大尺度到小尺 度的顺序,依次采用所述一系列人脸检测器对当前帧进行最大人脸检测,首 次检测到的人脸即为当前帧最大人脸。
本发明进而提供了一种图像中最大人脸的跟踪方法,包括步骤:
(1) 根据预设尺度的人脸检测器和一系列尺度级数,采用特征放缩的 方式得到不同尺度的 一 系列人脸检测器;
(2) 如果当前帧为跟踪处理的第一帧,或者上一帧没有;f企测到人脸, 则采用步骤(1)中得到的所述一系列人脸检测器在当前帧全图范围内进行 最大人脸检测;
如果上一帧检测到最大人脸,则根据上一帧检测到最大人脸所使用的检 测器尺度和检测到最大人脸的人脸框位置,确定当前帧人脸检测器尺度范围 及检测范围,并根据所述当前帧人脸检测器尺度范围中的人脸检测器,在当前帧所述检测范围内进行最大人脸^r测;
(3 )将检测到的最大人脸所对应的人脸框添加到最大人脸跟踪队列中, 并将所对应的人脸框与所述跟踪队列中所有人脸4匡i己录进行匹配,
如果匹配到对应于同 一个人脸的人脸框记录,则采用所述检测到的最大 人脸所对应的人脸框更新所述跟踪队列中的对应于同 一个人脸的人脸框记 录;
如果没有匹配到对应于同一个人脸的人脸框记录,则将检测到的最大人 脸所对应的人脸框作为新的记录添加到所述跟踪队列中;
(4)在所述跟踪队列中确定当前跟踪的最大人脸,并将图像的下一帧 作为当前帧,返回步骤(2 )继续执行。
如上所述的图像中最大人脸的跟踪方法,步骤(1)中所述得到不同尺 度的一 系列人脸检测器的步骤,可以包括:
设定人脸检测器的预设尺度M5S —系列尺度级数M和检测尺度放缩因 子M ,采用特征放缩的方式得到不同尺度的一 系列人脸检测器。
进一步地,设定最大检测尺度M4ZF、最小检测尺度M?VF,获得所述 一系列尺度级数,可以包括步骤:
(1 ) 4艮据所述M9、 M42?' 、 M2VF和M ,获得满足MS^^w1《MiM7的 最大整数iVl,满足M^i5^2 > M4XF的最小整数W2;
(2)获得所述一系列尺度级数腊,其中最大尺度级数为7V2,最小尺 度级数为Aa 。
如上所述的图像中最大人脸的跟踪方法,步骤(2)中所述在当前帧全 图范围内进行最大人脸检测的步骤,可以包括:
由大尺度到小尺度,顺序采用所述一 系列人脸检测器在当前帧全图范围 内进行最大人脸检测,首次检测到的人脸即为当前帧最大人脸。
如上所述的图像中最大人脸的跟踪方法,步骤(2)中所述根据上一帧 检测到最大人脸所使用的检测器尺度和检测到最大人脸的人脸框位置,确定 当前帧人脸检测器尺度范围及检测范围的步骤,可以包括:
8对所述上一帧检测到最大人脸所使用的检测器尺度进行比例缩放,确定 包含所述上一帧检测到最大人脸所使用的检测器尺度的所述当前帧人脸检
测器尺度范围;
根据上一帧检测到最大人脸的人脸框位置,确定当前帧检测范围中心点
的4黄坐标和纟从坐标;
对上一帧检测到最大人脸的人脸框大小,或者所述上一帧检测到最大人 脸所使用的检测器尺度进行比例缩放,确定当前帧检测范围的宽度和高度。
进一步地,步骤(2)中根据所述当前帧人脸检测器尺度范围中的人脸 检测器,在当前帧所述检测范围内进行最大人脸检测的步骤,可以包括:
以所述上一帧检测到最大人脸所使用的检测器尺度为中心向两侧扩展, 采用所迷当前帧人脸检测器尺度范围内的所有人脸检测器,对所述当前帧检 测范围进行检测,首次检测到的人脸即为当前帧最大人脸。
如上所述的图像中最大人脸的跟踪方法,步骤(3)中将所对应的人脸 框与所述跟踪队列中所有人脸框记录进行匹配的步骤,可以包括:
(31 )计算所述所对应的人脸框与所述跟踪队列所有人脸框的中心距离 并进行归一化,得到归一化中心距离;
(32)计算所述所对应的人脸框与所述跟踪队列中所有人脸框的大小比
例;
(33 )如果所述跟踪队列中含有所述归一化中心距离小于等于预设的距 离阈值且所述大小比例小于等于预设的比例阈值的人脸框记录,则所述跟踪 队列中含有与所述所对应的人脸框对应于同一个人脸的人脸框记录,否则所 述跟踪队列中没有与所述所对应的人脸框对应于同 一个人脸的人脸框记录。
如上所述的图像中最大人脸的跟踪方法,步骤(3)可以进一步包括:
将所述跟踪队列中与当前帧检测到的最大人脸对应的人脸框表示检测
到最大人脸的检测帧数加1,没有检测到人脸的漏检帧数置零,并将检测到
最大人脸的当前时间记录为结束时间;
如果在当前帧没有检测到最大人脸,则将所述跟踪队列中所有人脸框记 录表示没有检测到人脸的漏检帧数加1。进一步地,步骤(4)中在所述跟踪队列中确定当前跟踪的最大人脸的
步骤,可以包括:
所述跟踪队列中所述检测帧数大于预设的检测帧数阈值,所述漏检帧数 小于预设的漏检帧数阈值,且所述结束时间最新的人脸框记录作为当前跟踪 的最大人脸框,所述当前跟踪的最大人脸框对应的人脸为所述当前跟踪的最 大人脸。
更进一步地,步骤(4)进一步可以包括:
删除所述跟踪队列中所述漏检帧数大于所述漏检帧数阈值的人脸框记录。
与现有技术相比,本发明通过上一帧纟企测到最大人脸的人脸框及所在位 置,来辅助当前帧的最大人脸检测,减小了运算复杂度,提高了跟踪速度。

附图说明

图1是本发明最大人脸跟踪装置实施例的组成示意图。
图2是图1所示本发明装置中检测模块实施例的组成示意图。
图3是本发明最大人脸跟踪方法实施例的步骤示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明 如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解 并据以实施。
本发明的基本思想是釆用快速的最大人脸检测技术获得图像中存在的 最大人脸,并将不同帧中得到的人脸进行匹配,得到最大人脸在视频中的连 续的位置和大小。为了进一步減少运算量,可以采用上一帧检测到最大人脸 框时所使用的检测器尺度,以及检测到的该最大人脸框的位置和大小,来确 定检测当前帧最大人脸框需要使用的检测器尺度范围,以及当前帧检测最大 人脸的位置范围。
对于低速运动的人体来说,在相邻两帧所对应的这一短时间内,人脸的移动距离是有限的,而且一般来说这相邻两帧内人脸尺寸的变化也不会太 大,基于这样的常识性知识,可以借助上一帧中检测到人脸的相应信息,来 辅助当前顿的人脸4企测。
基于本发明基本思想,图1示出了本发明最大人脸跟踪装置实施例的结 构示意,包括如下模块:
检测模块10,用于对当前帧进行最大人脸检测;
跟踪队列存储模块20,与检测模块10相连,用于存储检测到的最大人 脸所对应的人脸框;
人脸框记录更新模块30,与跟踪队列存储模块20相连,用于根据当前 帧检测到的最大人脸所对应的人脸框,对跟踪队列存储模块20中保存的对 应于同 一个人脸的人脸框记录进行匹配更新;
跟踪模块40,与跟踪队列存储模块20相连,用于在跟踪队列存储模块 20所保存的人脸框中进行最大人脸跟踪。
如图2所示,检测模块10可以进一步分为如下子模块:
检测器预设子模块110,用于预设一个人脸检测器的尺度;
尺度级数生成子模块120,用于获得一 系列尺度级数;
检测器生成子模块130,与检测器预设子模块IIO和尺度级数生成子模 块120相连,根据预设尺度的人脸检测器,采用特征放缩的方式得到不同尺 度的一系列人脸检测器;
检测执行子模块140,与检测器生成子模块130相连,按照由大尺度到 小尺度的顺序,依次采用所述一系列人脸检测器对图像进行最大人脸检测, 首次检测到的人脸即为当前帧最大人脸。
以下通过本发明方法来详细理解本发明装置实施例的具体操作方式。图 3示出了本发明方法的一个实施例,包括步骤:
步骤310,根据上一帧检测到最大人脸框所使用的检测器尺度和检测到 的最大人脸框所在位置,来确定当前帧最大人脸框的检测器尺度范围和当前 帧最大人脸框的检测范围,其中最大人脸框的大小与所使用的检测器尺度是 对应的;步骤320,根据确定的当前帧最大人脸框的检测器尺度范围内的检测器, 在确定的当前帧最大人脸框的检测范围内,对当前帧进行最大人脸检测;
步骤330,如果在确定的当前帧最大人脸框的检测范围内检测到最大人 脸,则转步骤340,否则转步骤350;
步骤340,将检测到最大人脸所对应的人脸框保存到最大人脸跟踪队列
录,如果有则转步骤341,没有则转步骤342;
步骤341,用所4全测到最大人脸所对应的人脸框对该队列中对应于同一 个人脸的人脸框记录进行更新,将队列中该人脸框用于记录成功检测到最大 人脸的检测帧数加l,用于记录没有成功检测到最大人脸的漏检帧数置为零, 并将检测到最大人脸的当前时间记录为新的结束时间,然后转步骤380继续 执行;
步骤342,将所检测到最大人脸所对应的人脸框作为一条新记录,保存 到最大人脸跟踪队列中,将对应于这条新记录的检测帧数加1,漏检帧数置 为零,并将检测到最大人脸的当前时间记录为新的结束时间,转步骤380继 续执行;
步骤350,采用预设的所有尺度的检测器对当前帧进行全图检测,避免 因为^r测范围不当或者检测器尺度不当而输出不正确的结杲;
步骤360,如果在全图范围内检测到最大人脸,则转步骤340,否则转 步骤370;
步骤370,将跟踪队列中所有人脸框记录的漏检帧数加1,且保持所有 人脸框记录的检测帧数不变,转步骤380继续执行;
步骤380,将最大人脸跟踪队列中检测帧数大于预设的检测帧数阈值 TC,漏检帧数小于预设的漏检帧数阈值TM,并且结束时间最新的那个人脸 框记录作为当前最大人脸框,对应的人脸即为当前跟踪的最大人脸。
完成当前帧的检测和跟踪之后,将下一帧图像作为当前帧,返回步骤 310,继续检测并跟踪图像中的最大人脸。
本发明方法操作开始时,需要将最大人脸跟踪队列初始化为空,还需要将记录成功检测到最大人脸的检测帧数和用于记录没有成功检测到最大人 脸的漏检帧数。
上述实施例中,需要用到最大人脸检测技术,即对于限定图像检测范围, 采用限定尺度的人脸检测器,来检测该检测范围内的最大尺度的人脸。本发
明方法给出 一种对限定4企测范围进行最大人脸;f企测的方法,包括如下步骤:
(a) 根据预设尺度的人脸检测器和一系列尺度级数,采用特征放缩的 方式得到不同尺度的 一 系列人脸检测器;
(b) 按照由大尺度到小尺度的顺序,依次采用所述一系列人脸检测器 对所述图像进行检测,在检测到第一个人脸后退出处理,该检测到的第一个 人脸即为最大人脸。
其中步骤(a)中采用特征放缩的方式得到不同尺度的一系列人脸检测 器的一种较优的实现方法是,首先预设一个人脸检测器的尺度U (包括宽 度和高度), 一系列尺度级数脸及一个检测尺度放缩因子M,其中一系列 尺度级数为互不相等的多个正整数,由此即可得到不同尺度的一系列人脸检 测器。对于某一个尺度级数n而言,对应的检测器尺度为i?Ot/M)(MS* W),
其中/?OC/M)()为四舍五入运算符。对于不同的人脸检测器,特征放缩的方式 也不同,下面基于微结构特征(Haar-like Features)和层次型自适应增强 (Adaboost)分类器的人脸检测方法的实施例,来说明检测器特征放缩的方 法。
在文献P. Viola and M. Jones. Robust real time object detection. IEEE ICCV Workshop on Statistical and Computational Theories of Vision, Vancouver, Canada, July 13, 2001中Voila等提出了 一种基于微结构特征 和层次型自适应增强分类器的人脸检测技术。首先,采用训练的方法得到一 个固定尺度的人脸检测器,比如训练好的人脸检测器的宽度和高度分别为 MW和MH (Viola釆用的MW=24, MH=24),为了能够检测到不同大小、 不同位置的人脸,需要对训练好的模型进行特征放缩,以得到不同尺度的一 系列人脸检测器。假定检测尺度放缩因子仍然为M,则采用特征放缩的方 式放缩得到的 一 系列不同尺度的分类器的宽度和高度分别为
i?C(M^^n)和i?Om)(M^6:r)。其中,n为大于等于0的整数,表示人脸检测器的尺度级数,WV£>()表示对括号内的数值进行四舍五入取整运 算。依次对检测器中的微结构特征进行比例为5T的放缩,就得到了相应尺 度的人脸检测器。
上述本发明方法实施例中,将检测到的最大人脸所对应的人脸框与跟踪 队列中所有人脸框进行匹配的一种可行方案为:
f支定当前帧才企测到的人脸框为;?fcr',cy,',的,其中d'和cy'分别表示该 人脸框的中心点在图像中的横坐标和纵坐标,^'和力'分别表示该人脸框矩形 的宽和高;最大人脸跟踪队列中的人脸框为i?(cM2,c少m,,,力i?7),其中cm和 e卿分别表示该人脸框的中心点在图像中的横坐标和纵坐标,,和力i?7分别 表示该人脸框矩形的宽和高。
那么,当前帧检测到的人脸框与最大人脸跟踪队列中的人脸框的中心距 离ofe = — oO2 + (c卿-cy')2),归一化中心距离为,。二者的大小比
例为:
^=mm(w',,) (式D 其中mm为取最小值搡作,max为取最大值操作。
基于前述的常识性知识,在短时间内人的移动距离是有限的,而且相邻 两帧内人脸尺寸的变化不会太大,因此可以得出:
如果跟踪队列中某一个人脸框记录满足^《n巡,而且I《Z5/?,其

中rz^为设定的归一化距离的阈值,r双为设定的尺度比例的阈值,那么:
则认为二者是同 一个人在不同帧中的人脸,并对该人脸框信息进行更 新,r双较优地可以在(o, i)的范围内取值,否则认为二者不是同一个人 脸对应的人脸框。
上述本发明方法实施例中,TC和TM为大于零的常数,较优的例如取 TC为4, TM为2,当然也可以为其他值,本发明并不以此为限。如果其中 某个人脸框记录的检测失败帧数大于阈值TM,则将其从最大人脸跟踪队列
中删除。
在本发明方法的一个应用实例中,用来进行跟踪最大人脸的一系列人脸检测器,为跟踪操作之前直接设定,根据尺度由大到小分别为M5、 .....
Ml, ~ Ml共五个尺度均不相同。假设上一帧检测到最大人脸,且使用的 是71//3这个尺度的检测器,检测到的最大人脸所对应的人脸框为J?(cz,cy,,力), 其中c;r和分别表示该人脸框的中心点在图像中的横坐标和纵坐标,w和力 分别表示该人脸框矩形的宽和高。
在对当前帧进行检测时,根据Af 3尺度确定当前帧人脸检测器的尺度为 、 和Af4 ,才艮据最大人脸框i?(cx,cy,,力)确定当前帧才全测范围为 i?5X议,^/,附,故),其中议=«:, 57 = GK,分别为当前帧检测范围中心点的横 坐标和纵坐标,附=^^为检测范围的宽度,历=力*/?为检测范围的高度, a和/?为常数,为了适当放大检测范围,a和/3较优地取大于1的常数,本实 例当中取1.5。另外,在本发明的其他应用实例当中,确定当前帧^^全测范围 的方法,也可以是根据以上一帧检测到的最大人脸框的中心位置上,对该检 测到的最大人脸框的尺度进行各种形式的适当缩放而得到。
在本发明方法的另 一个应用实例当中,用来进行跟踪最大人脸的一 系列 人脸检测器是根据预设参数来获得的,具体地,首先预设一个尺度为M?的 人脸检测器,然后设定最大检测尺度M4XF 、最小检测尺度M?VF以及检测 尺度放缩因子W,再分别获得满足M5^51,1 < AfflVF的最大整数AQ,和满足 MPM〃2 > M,的最小整数//2,这样就得到了大于等于A/1且小于等于 vV2的一系列整数,用Aa^A^7V2来表示,其中的vV为整数。这些整数分别 对应人脸检测器尺度级数,其中最大尺度级数为W2,最小尺度级数为Aa。 根据这些尺度级数以及预设人脸检测器的尺度MS",就可以获得不同尺度的 一系列人脸检测器,用M51 * 表示。
假设上一帧检测到最大人脸所使用的人脸检测器为的尺度M5^5^说,也 即所使用的人脸检测器对应尺度级数为A》,那么以M为中心分別向两侧扩 展得到若千个检测器尺度级数,在本应用实例当中为[vVU-力,,Va +力],对 应这若干个尺度级数,得到的当前帧检测器尺度范围为从MS^M錄^到
".")。
在本应用实例当中,确定当前帧检测范围的方式,也是使用上一个应用 实例中确定检测范围的方式。在使用从MS" * m'v(")到* ma'(^)的人脸检测器对当前帧进行检测
时,本应用实例按照以级数为#义为中心逐渐向两侧扩展的方式,分别对当前帧所确定的检测范围进行检测,如果某矩形框被判定为人脸框,则退出,
将其确定为当前检测到的最大人脸框,否则继续处理,直到从,V(i:-a)到wa+2)所有尺度级数所对应的检测器都检测完毕。
在本发明方法的其他实施例当中,确定当前帧人脸^r测器尺度范围的方法,还可以根据上一帧检测到的最大人脸所对应的人脸框来实现。仍然假设上一帧检测到的最大人脸所对应的人脸框为i?(cy,,力),可以根据该人脸框的宽度w或高度力来确定,比如根据w,则确定当前帧检测器尺度范围为为[p^6M),w^^SM],其中双O是当前帧在确定的检测范围内所使用的最小尺度级数相对上一帧检测到最大人脸所使用的尺度级数的比例常数,较优地比如取0.5,双l是当前帧在确定的检测范围内所使用的最大尺度级数相对上一帧检测到最大人脸所使用的尺度级数的比例常数,较优地比如取2。
上述当前帧的检测器尺度范围是以w为例来确定的,实际上也可选择通过力来确定,也即本发明跟踪方法中,当前帧的检测器尺度范围,可以是对上一帧检测到的最大人脸框的大小进行适当比例的缩放而得到。另外,由于检测到的最大人脸所对应的人脸框的大小(宽度与高度),与所使用的检测器的尺度(宽度和高度)是对应的,因此根据检测到最大人脸所对应的人脸框进行缩放,与根据检测到最大人脸所使用的人脸检测器进行缩放,原理是一样的。
本发明跟踪最大人脸所对应的最大人脸框,不仅是图像中的最大人脸,而且具有一定的持续性,对于采用人脸进行AE, AWB, AF等应用都具有使用价值。对于出现次数少于TC的人脸,认为为干扰,避免检测算法误检引起的错误。失败次数阈值TM的设定,避免由于偶尔的失败而无法跟踪的情况。最大人脸跟踪队列中不只 一个人脸,保证了当前面的最大人脸消失时,其他人脸会被检测为最大人脸。
现有方法跟踪最大人脸时,需要对各个尺度和位置进行^^测,处理速度很慢。本发明最大人脸检测方法首先从检测结构上,先处理大尺度,然后处理小尺度,并且检测到一个人脸后就退出检测过程,提高了检测效率。进一步,在人脸跟踪处理过程中,根据已经检测到人脸的大小和位置信息缩小跟踪检测的大小范围和位置范围,加速运算。而且,还可以根据相邻帧间人脸的位置和大小关系确定两个人脸是否为同一个人脸。
虽然本发明所揭露的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式上及细节上作些许的更动与润饰,但本发明的专利保护范围,仍须以所附的权利要求书所界定者为准。