一种基于人脸识别的客户管理方法及系统转让专利
申请号 : CN202110775052.6
文献号 : CN113487356B
文献日 : 2022-04-05
发明人 : 杜剑波
申请人 : 上海叮铃铃信息技术有限公司
摘要 :
权利要求 :
1.一种基于人脸识别的客户管理方法,其特征在于:所述方法包括:S1,接收相机获取的客户进入监控区域的视频图像;
S2,基于所述视频图像对该客户进行人脸识别,并存储所述人脸识别结果;
S3,基于所述视频图像分析该客户在所述监控区域内的活动特征;
S4,基于所述活动特征判断该客户是否为潜在客户,若是,则转S5;否则转S1;
S5,基于所述人脸识别结果为该客户创建客户档案;
所述活动特征包括轨迹特征及交流特征;
则步骤S3中所述基于所述视频图像分析该客户在所述监控区域内的活动特征,包括:对该客户进行跟踪识别,以确定其在所述监控区域内的活动位置点,以得出轨迹特征;以及,当业务人员与该客户处于相伴状态时,对该客户的交流状态进行识别,以得出交流特征;
将所述轨迹特征和所述交流特征进行关联,以作为所述活动特征;
步骤S4中所述基于所述活动特征判断该客户是否为潜在客户,包括:S40,对所述轨迹特征中的活动位置点进行聚类分析,以识别该客户在所述监控区域内的活动区域,基于所述活动区域的属性得出第一潜在值;
S41,基于所述交流特征中的交流状态得出第二潜在值;
S42,基于所述第一潜在值和所述第二潜在值计算得出第三潜在值;若所述第三潜在值大于阈值,则判定该客户为潜在客户;
其中,1)对于第一潜在值:预先给各监控区域子区域赋予不同的第一初始子值,将客户去过的监控区域子区域的第一初始子值进行累加,以得出第一潜在值;2)对于第二潜在值:预先给各表情、动作以及表情和动作的结合按一定顺序赋予第二初始子值,将客户在指定时段内的表情和/或动作的得分进行累计,进而得出第二潜在值;
其中,采用聚类算法来对客户的位置点数据进行聚类,以实现将各位置点归属于对应的监控区域子区域,将位于监控区域子区域门外设定区域内且停留时间达到第一时间阈值的位置点归属于该监控区域子区域,但是其中的设定区域应当排出虽然处于门口区域但视觉上无法观测到监控区域子区域内部的区域;
所述交流特征中还包括与所述轨迹特征的时间关联关系,基于所述时间关联关系对所述第三潜在值进行修正;
S43,分析该客户在所述视频图像中的跟踪连续性;
*
S44,若所述跟踪连续性不满足预设条件,则使第三潜在值=γ1 第三潜在值;否则,使*
第三潜在值=γ2第三潜在值,其中,γ1<1,γ2>1;
其中,跟踪连续性为客户失去跟踪识别即识别不到的次数,预设条件为对应该次数的一个合理的阈值,若识别不到的次数小于该阈值,则判定其满足预设条件;而若识别不到的次数大于该阈值,则判定其不满足预设条件;
S45,基于所述视频图像提取客户的外貌特征及穿着特征,其中,所述外貌特征包括人脸信息、身高信息;
S46,基于所述外貌特征及穿着特征与排除条件进行比对,其中,所述排除条件基于年龄确定;若比对结果为不匹配,则转S47;
S47,向业务人员终端发送确认请求,若所述业务人员终端反馈为是,则转S5。
2.根据权利要求1所述的方法,其特征在于:所述相机为设置于所述监控区域内的分布式相机。
3.根据权利要求1或2所述的方法,其特征在于:在步骤S5之后,还包括:将创建的所述客户档案发送至所述业务人员终端处,在设定时段内若接收到所述业务人员终端的反馈,则基于所述客户档案生成服务菜单,并将所述服务菜单发送至指定终端。
4.根据权利要求3所述的方法,其特征在于:所述指定终端包括业务人员终端、监控区域子区域终端及库房终端。
5.用于实现权利要求1‑4任一项所述方法的一种基于人脸识别的客户管理系统,其特征在于:所述系统包括相机、处理模块;其中,所述相机,用于获取客户进入监控区域的视频图像;
所述处理模块,用于基于所述视频图像对该客户进行人脸识别,并存储所述人脸识别结果;以及,基于所述视频图像分析该客户在所述监控区域内的活动特征;基于所述活动特征判断该客户是否为潜在客户,若是,则基于所述人脸识别结果为该客户创建客户档案。
6.一种电子设备,所述设备包括:存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
其特征在于:所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1‑4任一项所述的方法。
7.一种计算机存储介质,该存储介质上存储有计算机程序,其特征在于:该计算机程序被处理器运行时执行如权利要求1‑4任一项所述的方法。
说明书 :
一种基于人脸识别的客户管理方法及系统
技术领域
背景技术
档案进行管理及使用。显然,这与传统的纸质化档案管理方法相比,仅是改变了档案的管理
媒介及输入输出手段而已,并没有给商家在档案创建及管理上带来更为高效、便捷的体验。
发明内容
交流特征;
终端。
动特征判断该客户是否为潜在客户,若是,则基于所述人脸识别结果为该客户创建客户档
案。
交流特征;
终端。
判断结果后台直接创建客户档案,免去了业务人员手动创建客户档案的繁琐,高效、便捷,
而且也有利于为客户提供更为及时的服务。
附图说明
范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这
些附图获得其他相关的附图。
具体实施方式
本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施
例的组件可以以各种不同的配置来布置和设计。
技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范
围。
位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元
件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
分析可以判断出该客户是否是潜在客户(例如对本商家所提供的服务感兴趣,或想要体验,
甚至需要办理会员等),于是,本发明的方案可以基于人脸识别结果和潜在客户判断结果在
后台直接创建客户档案,免去了业务人员手动创建客户档案的繁琐,高效、便捷,而且也有
利于为客户提供更为及时的服务。当然,创建的客户档案中所需要的其他信息,可以由相关
业务人员后期补充或修改。
algorithms)、基于模板的识别算法(Template‑based recognition algorithms)、利用神
经网络进行识别的算法(Recognition algorithms using neural network)、基于光照估
计模型理论的识别算法对进场客户进行人脸识别。
高潜在客户分析识别结果的准确性。
交流特征;
验过服务的人群),一方面会与业务人员积极交谈以了解商家、服务等信息,另一方面会在
店内进行观摩,比如在商家悬挂各种资质的墙壁处驻足观察以确认商家资质,进入服务间
并驻足以了解服务环境;而熟客基本不会出现上述举动,即便有上述举动,也可以通过将人
脸识别结果与数据库中存储的客户档案进行比对即可排除。基于上述两个方面的显著特
点,本发明利用图像识别技术对客户进行跟踪进而获得其活动轨迹,同时,在客户与业务人
员处于相伴交谈状态时,利用表情及动作识别技术来获得其交流特征,综合判断就可以准
确确定其是否有消费意向,即是否是潜在客户。其中,图像识别跟踪、表情及动作识别技术
均是图像分析识别领域的常规手段,本发明对此不作具体限定,本领域普通技术人员可以
自由选择合适的识别算法。其中,所述相伴状态也可通过图像识别技术分析得出,比如,当
检测到业务人员与该客户距离处于预设范围内且相互面对时,可判定处于相伴状态。
置不同的值,然后将客户去过的子区域的值进行累加,以得出第一潜在值。
将各位置点归属于对应的监控区域子区域,即商家的各个封闭区间。另外,当客户在店内观
摩时,其不一定会直接进入某个房间,有可能会只站在门口观望,针对该问题,在进行聚类
时,将位于监控区域子区域门外设定区域内且停留时间达到第一时间阈值的位置点归属于
该监控区域子区域。显然,其中的设定区域应当排出虽然处于门口区域但视觉上无法观测
到监控区域子区域内部的区域。
是积极态度还是消极态度。举例而言,如果识别到客户面带笑容、高频表达(张嘴)、频频点
头等特征,说明客户态度积极,反之,如果识别到客户表情消极(比如不耐烦)、长时间(可以
为识别不到脸部计时时长)低头、长时间操作手机、拒绝手势等特征,则说明客户态度消极。
与第一潜在值类似的做法,可以预先给各表情、动作以及表情和动作的结合按一定顺序赋
予第二初始子值,然后再将客户在指定时段内的表情和/或动作的得分进行累计,进而得出
第二潜在值。
0和β=0,并且按照前述顺序给各监控区域子区域对应的各第一初始子值分别设置子调节
系数,所述子调节系数的平均值为1,比如分别为1.5、1.2、1.0、0.7、0.6,于是,α=1.5+1.2+
1.0+0.7+0.6=4,当然,例如如果未检测到客户去卫生间,则不计算0.6,即α=1.5+1.2+1.0
+0.7=3.4;类似地,按照前述顺序给各表情和/或动作的各第二初始子值分别设置子调节
系数,所述子调节系数的平均值也为1,比如分别为1.5、1.3、0.9、0.6、0.1(例如分别对应面
带笑容+频繁点头、面带笑容、长时间低头、不耐烦表情、拒绝手势),于是,β=1.5+1.3=
2.8,或β=0.1,或β=0.9+0.6=1.5,其中一般不会同时检测到上述表情和/或动作,因为客
户的情绪不应当是前后冲突的。此时,Sthr=4*Sfir+1.5*Ssec。当然,上述第三潜在值的计算
方式仅用于示例,本发明不排斥活拒绝其它数学计算方法,也非用于限定上述中涉及子项
的具体内容,本领域技术人员可根据设计需要进行选择、设计。
法实际上仅是单独基于轨迹特征和交流特征进行分析,缺乏对二者关联关系的考虑,而上
述人员的轨迹特征和交流特征都可能会被误识别为潜在客户,比如送货人员也会和业务人
员进行交谈并会进入监控区域子区域放置货物等,从而创建不必要的客户档案。针对该技
术问题,本发明采用如下手段进行区分:
活动,或者很少离开营业区域。而送货人员则不同,其为了搬运货物而往往会频繁进出营业
区域,所以本发明基于该特点进行客户与送货人员的区分。相应地,其中的跟踪连续性可以
为客户失去跟踪识别即识别不到的次数,预设条件为对应该次数的一个合理的阈值,比如,
在研究时段内,该客户有1次脱离跟踪,则可能是去洗手间或商谈完毕之后离开(恰好在研
究时段结束时),此时可判定其满足预设条件,用γ2来提高第三潜在值;而若该客户有大于
4次脱离跟踪,则说明其大概率是送货人员,此时判定其不满足预设条件,用γ1来降低第三
潜在值;另外,如果该客户有例如大于10次以上的脱离跟踪,则可以直接确定其为非潜在客
户,此时也可以直接使第三潜在值=γ1*第三潜在值,其中,γ1可以为0甚至负值。采用上述
方法,就可以很轻松的将送货人员与正常客户进行区分。
员装的场内人员进行人脸识别,可以进一步减少系统处理负荷。
明还可对进场客户的年龄进行识别,对年龄符合排除条件的“客户”不创建客户档案。具体
实现方式如下:
的“客户”,则请求位于现场的业务人员进行确认,若业务人员反馈为是(是客户,非小孩),
则为其创建客户档案。另外,对于商家来说,其可以基于其业务范围选择在后台程序中对该
功能进行人工设定,例如,如果其提供的服务不适宜小朋友,则可以将该功能打开,否则设
定为关闭,功能设置的具体实现方式属于本领域的常规手段,本发明对此不作限定。
终端。
据实际情况反馈确认,于是,系统就会将服务菜单发送至指定终端,以便于及时提供服务。
间)后,其中布设的终端上就已经可以直接显示查看详细的服务菜单内容,而库房也可以根
据接收到的服务菜单及时备货及配送至指定的服务单间。如此,给客户提供更佳的体验。
机、处理模块;其中,
动特征判断该客户是否为潜在客户,若是,则基于所述人脸识别结果为该客户创建客户档
案。
术方案所带来的所有有益效果,在此不再一一赘述。
交流特征;
反馈为是,则基于所述人脸识别结果为该客户创建客户档案。
终端。
程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为
准。