销售数据处理装置

摘要

本发明提供一种销售数据处理装置，其按每笔交易对销售数据进行登录处理，该销售数据处理装置具备：摄像单元，其用于对等待登录的顾客进行拍摄；操作判别单元，其用于判别是否进行了对一笔交易的销售数据进行登录的一连串操作中的预定操作；以及生成单元，其在利用所述操作判别单元判别为进行了预定操作的情况下，根据利用所述摄像单元拍摄到的摄影图像，来生成顾客确定用的图像数据。

权利要求

1.一种销售数据处理装置，其按每笔交易对销售数据进行登录处理，其特征在于，该销售数据处理装置具备：摄像单元，其用于对等待登录的顾客进行拍摄；

操作判别单元，其用于判别是否进行了对一笔交易的销售数据进行登录的一连串操作中的预定操作；

生成单元，其在利用所述操作判别单元判别为进行了预定操作的情况下，根据利用所述摄像单元拍摄到的摄影图像，来生成顾客确定用的图像数据；

动画存储单元，其用于存储由所述摄像单元对等待登录的顾客进行拍摄而得到的动态图像；以及操作状况存储单元，其在至少进行了登录一笔交易的销售数据的一连串操作中的所述预定操作的情况下，对表示其操作时刻的数据进行存储，其中，所述生成单元根据存储在所述操作状况存储单元中的表示操作时刻的数据，从所述动画存储单元内的动态图像中提取出在该时刻拍摄到的图像，并基于该提取图像生成所述顾客确定用的图像数据。

2.根据权利要求1所述的销售数据处理装置，其特征在于，所述摄像单元搭载于供等待登录的顾客进行目视辨认的客用显示部，并且设置于能够对等待登录的顾客的脸部进行对面拍摄的方向。

3.根据权利要求1所述的销售数据处理装置，其特征在于，所述预定操作是对小计键和结算键中的至少某一个键进行操作的键操作，所述小计键是使在一笔交易中到当前时刻为止登录了的销售数据的合计金额作为小计而显示出来的键，所述结算键是使一笔交易的销售数据的登录完结的键。

4.根据权利要求1所述的销售数据处理装置，其特征在于，所述操作状况存储单元按照每一笔交易将与其操作相关的数据作为营业记录数据存储起来。

5.根据权利要求1所述的销售数据处理装置，其特征在于，所述生成单元根据存储在所述操作状况存储单元中的表示操作时刻的数据，从所述动画存储单元内的动态图像中提取出在该时刻前后拍摄到的图像，并基于该提取图像生成所述顾客确定用的图像数据。

6.根据权利要求5所述的销售数据处理装置，其特征在于，所述生成单元在从存储于所述动画存储单元的动态图像中根据存储在所述操作状况存储单元中的表示操作时刻的数据，而提取出了在该时刻拍摄到的图像的情况下，当该提取图像所包含的脸部朝向正面的程度不到基准值时，从存储在所述动画存储单元的动态图像中提取出在所述时刻前后拍摄到的图像，并基于该提取图像生成所述顾客确定用的图像数据。

7.根据权利要求1所述的销售数据处理装置，其特征在于，所述销售数据处理装置还具有：

脸部识别用数据存储单元，其用于按每个顾客对其脸部识别用的图像数据进行存储管理；以及顾客确定单元，其根据由所述生成单元生成的顾客确定用的图像数据来在所述脸部识别用数据存储单元中进行检索，从而确定顾客。

8.根据权利要求7所述的销售数据处理装置，其特征在于，所述生成单元在进行登录一笔交易的销售数据的一连串操作的登录过程中，在利用所述操作判别单元判别为进行了预定操作的时候，取得利用所述摄像单元对等待登录的顾客进行拍摄而得到的图像，来生成所述顾客确定用的图像数据，所述顾客确定单元在所述登录过程中根据由所述生成单元生成的顾客确定用的图像数据来确定顾客。

9.根据权利要求8所述的销售数据处理装置，其特征在于，在利用所述操作判别单元判别为进行了预定操作的时候，所述生成单元取得通过启动所述摄像单元而拍摄到的静止图像，来生成所述顾客确定用的图像数据。

说明书

销售数据处理装置

技术领域

[0001] 本发明涉及能够按每笔交易对销售数据进行登录处理的销售数据处理装置以及能够进行计算机读取的记录介质。

背景技术

[0002] 一般来说，在店铺中，对利用ECR（Electronic Cash Register：电子收款机）、POS（Point of sale：销售点）终端等销售数据处理装置进行了登录处理的销售数据进行分析，分析其顾客（购买者）的属性（购物频度、重复率、性别、年龄层等）。例如，在分析顾客的购物频度、重复率、性别或年龄层等的情况下，根据从预先发行的会员卡读取的卡数据来确定其顾客（会员ID），并作为购入履历来进行记录和分析，但是在以会员卡为介质的顾客分析中，除了会员卡的发行的劳力和时间、成本以及会员加入率方面带有课题之外，无法针对非会员进行顾客分析。

[0003] 因此，以往公知有这样的技术：具有对顾客的脸部进行拍摄的照相机，从该照相机的摄影图像提取出脸部的特征，将该提取结果与顾客数据库的内容（脸部的特征点数据）进行对照来确定顾客，从数据库读出与此对应的顾客数据（姓名、住所、电话号码等）并进行显示（参照专利文献1）。

[0004] 专利文献1：日本特开2001-325433号公报

[0005] 但是，在上述专利文献1的技术中，即使利用照相机对顾客的脸部进行了拍摄，也未必总是能够从其脸部图像以高准确率提取出其特征，在脸部识别的可靠性方面存在问题。

[0006] 本实施方式的课题在于，能够在适当的时刻生成顾客确定用的图像数据，在从对顾客进行拍摄而得到的顾客图像来确定顾客的情况下，能够以高准确率确定顾客。

发明内容

[0007] 本发明的一个方式为一种销售数据处理装置，其按每笔交易对销售数据进行登录处理，该销售数据处理装置具备：

[0008] 摄像单元，其用于对等待登录的顾客进行拍摄；

[0009] 操作判别单元，其用于判别是否进行了对一笔交易的销售数据进行登录的一连串操作中的预定操作；以及

[0010] 生成单元，其在利用所述操作判别单元判别为进行了预定操作的情况下，根据利用所述摄像单元拍摄到的摄影图像，来生成顾客确定用的图像数据。

[0011] 本实施方式的另一方式为一种能够进行计算机读取的记录介质，其存储用于使计算机执行以下过程的程序，所述过程包括：

[0012] 按每笔交易对销售数据进行登录处理，

[0013] 判别是否进行了对一笔交易的销售数据进行登录的一连串操作中的预定操作，[0014] 在判别为进行了所述预定操作的情况下，根据利用对等待登录的顾客进行拍摄的摄像单元所拍摄到的摄影图像，来生成顾客确定用的图像数据。

[0015] 根据本实施方式，能够在适当的时刻生成顾客确定用的图像数据，在从对顾客进行拍摄而得到的顾客图像确定顾客的情况下，能够以高准确率确定顾客，富于可靠性和实用性。

附图说明

[0016] 图1是表示作为第一实施方式的销售数据处理装置而应用的ECR的基本构成要素的方框图。

[0017] 图2是从斜前方（顾客侧）观察ECR的状态的外观立体图。

[0018] 图3是从ECR的一侧面进行观察的状态的外观图。

[0019] 图4A是例示利用客侧照相机25拍摄得到的图像的图，图4B是例示用操作侧照相机26拍摄得到的图像的图。

[0020] 图5是表示在ECR主体单元部1侧存储管理的各种文件、以及在照相机单元部2侧存储管理的各种文件和数据库的图。

[0021] 图6是用于说明顾客数据库Y4的图。

[0022] 图7是用于说明电子通用文件Y6的图。

[0023] 图8是用于说明对应于电源闭合而开始执行的ECR整体的动作中的第一实施方式的特征性动作的主流程图。

[0024] 图9是用于详述登录处理（图8中的步骤A2）的流程图。

[0025] 图10是用于详述顾客确定登录处理（图8中的步骤A6）的流程图。

[0026] 图11是用于在第二实施方式中详述登录处理（与图8中的步骤A2对应）的流程图。

[0027] 图12是用于在第二实施方式中详述顾客确定登录处理（图11中的步骤B31）的流程图。

[0028] 符号说明

[0029] 1：ECR主体单元部

[0030] 2：照相机单元部

[0031] 11、21：CPU

[0032] 12、22：存储部

[0033] 14：操作部

[0034] 15：扫描仪

[0035] 16：操作者用显示部

[0036] 19、29：COM端口

[0037] 24：客用显示部

[0038] 25：客侧照相机

[0039] 26：操作侧照相机

[0040] 27：卡接口部

[0041] Y1：客侧动画文件

[0042] Y2：提取脸部图像

[0043] Y3：脸部识别用数据文件

[0044] Y6：电子通用文件

具体实施方式

[0045] 下面参照附图对本发明的实施方式进行详细说明。

[0046] （第一实施方式）

[0047] 首先参照图1至图10对本发明的第一实施方式进行说明。

[0048] 图1是表示作为销售数据处理装置而应用的ECR（Electronic Cash Register）的基本构成要素的方框图。

[0049] 该ECR是分离成ECR主体单元部1与照相机单元部2的结构，ECR主体单元部1和照相机单元部2经电缆3能够自由装拆地连接。关于ECR主体单元部1，作为ECR的基本功能（标准功能）而具有这样的销售数据登录功能等：对所输入的一笔交易的销售数据进行登录处理，并且，在一笔交易的登录结束时进行与从顾客那里收到的币种对应的种类的结算处理。另外，在本实施方式中，ECR主体单元部1还具有这样的功能：与各种的键操作或抽屉打开/关闭等对应地产生事件代码（event code），将该事件代码作为通用数据传送给照相机单元部2。

[0050] 照相机单元部2，除了对等待登录（等待核算）的顾客进行拍摄、对负责人（操作员）及其操作状况进行拍摄的照相机功能之外，还具有：顾客确定功能，根据利用该照相机功能拍摄到的顾客图像来确定顾客；以及顾客分析功能，根据利用该顾客确定功能所确定的顾客来进行顾客（购入者）分析，所述照相机单元部2为将各种功能模块化了的结构。该照相机单元部2经电缆3与ECR主体单元部1可自由装拆地连接，并且能够由于故障等而在任何时候自由进行更换。另外，ECR主体单元部1和照相机单元部2根据需要来协同进行各种处理。

[0051] ECR主体单元部1以CPU11为核心，CPU11是按照各种程序来控制ECR主体单元部1的整体动作的中央运算处理装置。存储部12例如具有ROM、RAM、闪速存储器等存储介质及其驱动系统，存储部12存储用于按照后述的图8至图10所示的动作过程使ECR工作的程序和各种应用程序等，并且存储数据库、字符字型数据（font data）等。另外，上述的存储介质不限于固定设置的内置型的存储介质，也可以是能够装拆的可移动型的外部存储介质，另外，程序/数据也可以从其他设备经由有线传输路径或者无线传输路径安装到存储介质，或者访问对程序/数据进行存储管理的服务器等来进行使用。存储器13是临时存储计时数据、标记等该ECR主体单元部1工作所需的各种数据的工作区域。

[0052] 而且，CPU11经总线与作为其输入输出周边设备的操作部14、扫描仪15、操作者用显示部16、打印部17、抽屉驱动部18、COM端口19连接，CPU11按照输入输出程序控制上述部分的动作。操作部14具有排列有按钮式的各种键的键盘，在该键盘上，除了数字键（省略图示）等之外，配设有登录键K1、小计键K2、现金/储值卡键（cash/deposit key）等结算键K3等，并且配设有模式开关MS。

[0053] 模式开关MS是根据其切换位置对“登录（REG）”、“RF（返回）”、“Z（核算）等”各种动作模式（程序种类）进行切换的旋转式的开关。登录键K1是指示按商品登录的商品键、例如PLU（price lookup（价格查询））键、部门键等。另外，小计键K2是使一笔交易中到当前时刻为止登录的销售数据的合计金额作为小计显示出来的键。结算键K3是使一笔交易的登录结束的结算键，是现金/储值卡键或信用卡键（credit key）等。CPU11在切换为了“登录（REG）”模式的状态下，执行根据各种键操作来生成与该操作对应的事件代码（event code），并且显示所输入的销售数据、更新销售合计的登录处理，当在一笔交易的登录结束时按下了结算键K3中的一个的时候，使抽屉18A打开、发行收据。

[0054] 图像扫描仪15例如具有CCD或CMOS传感器等图像传感器（image sensor），该扫描仪15在商品登录时的扫描动作时通过摄影来读取附加于该商品的条形码或二维代码，CPU11通过解析由图像扫描仪15拍摄到的图像数据，来对条形码等进行解码从而确定商品。操作者用显示部16为了由负责人（操作员）使用而显示与金额或商品有关的数据、信息等，例如由液晶显示器或者有机EL（Electro Luminescence）显示器等构成。打印部17例如是热转印或喷墨等型的非击打式打印机或者针打式（dot impact）打印机，用于进行收据打印。抽屉驱动部18对应于键操作来控制抽屉18A的开闭，CPU11对应于抽屉18A的开闭来生成抽屉打开/关闭事件。COM端口19是与照相机单元部2连接用的串行端口。

[0055] 照相机单元部2以CPU21为核心，CPU21是按照各种程序控制该照相机单元部2的整体动作的中央运算处理装置。存储部22例如具有ROM、RAM、闪速存储器等存储介质及其驱动系统，存储部22存储用于按照后述的图10所示的动作过程使ECR工作的程序和各种应用程序等。存储器23是临时存储该照相机单元部2工作所需的各种数据的工作区域。

[0056] 另外，CPU21经总线与作为其输入输出周边设备的客侧显示部24、客侧照相机25、操作侧照相机26、卡接口部27、COM端口29连接，CPU21按照输入输出程序来控制上述各部分的动作。客侧显示部24为了由等待登录（等待核算）的顾客使用而使其画面面对顾客侧，例如由7段LED（发光二极管）等构成，对商品单价、个数、小计金额以及储值卡金额等进行数值显示。

[0057] 客侧照相机25与客用显示部24接近地配置，客侧照相机25以等待登录的顾客的脸部为中心进行拍摄，并且，操作侧照相机26是对负责人（操作员）及其操作状况进行拍摄的监视照相机。另外，客侧照相机25、操作侧照相机26的详细情况省略了图示，但是它们具有透镜部、摄像元件、A/D（模拟/数字）转换部等，是能够拍摄动态图像的结构，是使来自透镜部的被摄体像成像在摄像元件（CCD或者CMOS传感器）上从而能够高精细地拍摄被摄体的结构。

[0058] 卡接口部27是供作为记录介质的SD卡28插入的部分，在该SD卡28中保存有后述的各种文件。另外，在照相机单元部2配设有锁（省略图示），以防止插入到卡接口部27中的SD卡28的被盗等，例如，由责任人使用所持的专用钥匙将锁打开来取出SD卡28。另外，并不限定于SD卡，也可以是其他外部存储介质。COM端口29是与ECR主体单元部1连接用的串行端口。

[0059] 图2是从斜前方观察如上述那样构成的ECR的状态的外观立体图，图3是从ECR的一侧面进行观察的状态的外观图。

[0060] 在ECR主体单元部1的上表面部配设有操作者用显示部16，并且配设有构成操作部14的键盘以及模式开关MS。并且，在ECR主体单元部1的上表面部配设有用于取出从打印部17输出的收据的收据发行口（省略图示）。

[0061] 照相机单元部2具有客用显示部24的壳体2A和支承该壳体2A的柱状的支承部件（支承柱）2B。支承柱2B的下端部垂直地固定在ECR主体单元部1的背面侧。并且，支承柱2B的上端部装配有客用显示部24的壳体2A，支承柱2B的上端部为长度能够调整的结构，并且，客用显示部24的壳体2A相对于支承柱2B能够旋转。即，能够调整壳体2A的高度及其朝向，相应地还能够调整客用显示部24、客侧照相机25的高度及其朝向。

[0062] 客侧照相机25如图2和图3所示在壳体2A的前表面与客用显示部24的一端部（图中为左侧端部）接近地配置，其摄影方向是等待登录的顾客的方向，其视场角为能够对排队等待登录的顾客进行拍摄的范围。图4A例示了利用客侧照相机25拍摄到的排队等待登录的顾客图像，示出了在打头的顾客的后面排着下一顾客的状态。

[0063] 操作侧照相机26配设在支承柱2B的上端部，其摄影方向为操作员的方向，其视场角为能够对操作部14的整体以及正在操作ECR的操作员的脸部进行拍摄的范围。图4B例示了利用操作侧照相机26拍摄负责人（操作员）及其操作状况得到的监视图像，示出了操作员在打开了抽屉18A的状态下放入或取出货币的情况。

[0064] 图5是表示在ECR主体单元部1侧存储管理的各种文件、以及在照相机单元部2侧存储管理的各种文件和数据库的图。

[0065] 在ECR主体单元部1侧，存储管理按照商品的合计文件X1、按照部门的合计文件X2、按照交易的合计文件X3等。另外，按照商品的合计文件X1、按照部门的合计文件X2、按照交易的合计文件X3是按照商品、按照便当类或者面包类等部门、按照现金售卖或信用售卖等交易来存储管理销售数据（个数、金额）的累计值（合计值）等的文件。

[0066] 在照相机单元部2侧，存储管理客侧动画文件Y1、顾客确定用图像数据Y2、脸部识别用数据文件Y3、顾客数据库Y4、操作侧动画文件Y5以及电子通用文件Y6等。客侧动画文件Y1是由客侧照相机25拍摄而得到的动画文件，对应于各动画文件依次存储其文件名等以及录像日期和时间（时间戳）。顾客确定用图像数据Y2是通过对从客侧动画文件Y1内的动画中按每笔交易为顾客确定用而提取出的图像（静止图像）内的顾客的脸部部分进行解析，而得到的脸部的特征点数据，CPU21在一天的登录结束时根据客侧动画文件Y1内的动画按照每笔交易来生成顾客确定用图像数据（脸部的特征点数据）Y2。

[0067] 即，CPU21在一天的登录结束时（核算时），根据表示登录一个交易的销售数据的一连串操作中的预定操作、即、使客用显示部24显示金额数据的小计键K2、结算键K3的操作时刻的数据（后述的事件时刻），从客侧动画文件Y1的动画中提取出与该事件时刻相当的位置处所录像的图像（静止图像），并对该提取图像进行解析，从而生成顾客确定用图像数据Y2。作为顾客确定用的图像数据Y2，通过解析提取图像（静止图像）来生成脸部的特征点数据，但是，并不限定于此，也可以将提取图像（静止图像）本身作为顾客确定用的图像数据Y2（下同）。

[0068] 脸部识别用数据文件Y3是根据顾客确定用图像数据Y2来确定顾客时所对照的脸部识别用的图像文件，是按照每个顾客除了其“脸部识别用数据（脸部的特征点数据）”之外还对“顾客识别输出ID”进行存储管理的结构。“顾客识别输出ID”是识别数据，其用于对作为执行根据客侧照相机25拍摄到的图像识别脸部的处理的结果而识别出的顾客进行识别。

[0069] 顾客数据库Y4是按照每个顾客对与该顾客相关的数据进行存储管理的文件。操作侧动画文件Y5是由操作侧照相机26拍摄到的动画文件，与各动画文件对应地依次存储其文件等以及录像日期和时间（时间戳）。电子通用文件Y6是将每笔交易的销售数据、操作状况作为营业记录数据（通用数据）存储管理起来的文件。

[0070] 图6是用于说明顾客数据库Y4的图。

[0071] 顾客数据库Y4为具有“顾客识别输出ID”、“性别”、“年龄层”、“检测得分”、“登录日”等项目的结构。“顾客识别输出ID”是用于与脸部识别用数据文件Y3链接的顾客识别数据。“性别”和“年龄层”是从顾客的图像进行推定而在商店侧输入的数据。“检测得分”是根据从摄影图像内检测脸部部分的结果，将其脸部朝向正面的程度用数值“1～10”表现出来的数据，越接近“10”，表示越是从正面对顾客的脸部进行了摄影。

[0072] 图7是用于说明电子通用文件Y6的图。

[0073] 电子通用文件Y6是具有“动画文件名”、“事件种类”、“事件年月日”、“事件时刻”、“商品代码”、“金额”、“顾客识别输出ID”等项目的结构。“动画文件名”是用于与操作侧动画文件Y5连接的数据，是在年月日上组合一连串号码而成的结构。“事件种类”表示操作的种类，是表示登录键K1之一的操作、小计键K2的操作、结算键K3之一的操作、抽屉打开/关闭等的事件代码。“事件年月日”表示进行操作的年月日，“事件时刻”表示进行操作的时刻（小时、分钟、秒、1/100秒）。“顾客识别输出ID”是用于与脸部识别用数据文件Y3链接的顾客识别数据，例如，是一连串号码等。

[0074] 接下来，参照图8～图10所示的流程图对第一实施方式中的ECR的动作概念进行说明。这里，在这些流程图中记述的各步骤以能够读取的程序代码（program code）的形式保存，依次执行遵从该程序代码的动作。另外，还能够依次执行遵从经网络等传输介质传输来的上述的程序代码的步骤。这在后述的第二实施方式中也是同样的，除了记录介质之外，还能够利用经传输介质而从外部供给的程序/数据来执行各个实施方式特有的步骤。

[0075] 图8是用于说明对应于电源闭合而开始执行的ECR整体的动作中的第一实施方式的特征性动作的主流程图。

[0076] 首先，ECR主体单元部1的CPU11对模式开关MS是否切换到了“登录（REG）”模式进行审查（图8中的步骤A1），对是否切换到了“Z（核算）”模式进行审查（步骤A3），或对是否切换到了其他模式进行审查（步骤A7），或对是否进行了电源断开操作进行审查（步骤A9）。现在，在切换到了登录模式的情况下（在步骤A1中为是），对应于登录操作而转移到对销售数据进行登录的登录处理的执行（步骤A2）。

[0077] 图9是用于详述登录处理（图8中的步骤A2）的流程图。另外，ECR主体单元部1根据需要而与照相机单元部2协作进行各种处理。

[0078] 首先，ECR主体单元部1的CPU11审查是否进行了登录操作，即是否为了从商品读取条形码等而利用扫描仪15进行了扫描动作，是否在金额输入后对商品键等登录键K1之一进行了操作（图9的步骤B1），审查是否操作了小计键K2（步骤B9），审查在一笔交易的登录结束时是否对现金/储值卡键等结算键K3之一进行了操作（步骤B11），或审查是否对其他键进行了操作（步骤B16）。

[0079] 现在，当进行登录操作时（在步骤B1中为是），转移到下一步骤B2，ECR主体单元部1的CPU11访问照相机单元部2侧，审查客侧照相机25的摄影动作是否处于停止中。这里，如果客侧照相机25处于停止中（步骤B2中为是），则CPU11审查是否进行了一笔交易的最开始的操作，即，是否为了从商品读取条形码等而利用扫描仪15进行了扫描动作，是否在金额输入后对商品键等登录键K1之一进行了操作（步骤B3）。现在，在进行了一笔交易的最开始的操作的时候（在步骤B3中为是），CPU11生成“动画文件名”并传送到照相机单元部2侧，由此在电子通用文件Y6中设定该“动画文件名”（步骤B4），然后，开始使客侧照相机25启动并逐次记录其摄影图像的录像动作（步骤B5）。然后，转移到商品登录处理（步骤B6）。

[0080] 另一方面，在客侧照相机25正在工作中的情况下（步骤B2中为否），在即使客侧照相机25处于停止中也不是一笔交易的最开始的操作的情况下（步骤B3中为否），跳过上述的动画文件名的设定处理（步骤B4）以及客侧照相机25的启动、录像处理（步骤B5）而转移到商品登录处理（步骤B6）。在该商品登录处理中，CPU11进行这样的处理：使操作者用显示部16和客用显示部24显示所输入的商品名和单价，更新按照商品的合计文件X1和按照部门的合计文件X2的内容（销售数据）。在该情况下，CPU11从ECR主体单元部1将显示数据传送给照相机单元部2侧，从而使客用显示部24显示商品名和单价。

[0081] 当进行了这样的商品登录处理时，CPU11更新一笔交易的小计金额（步骤B7），并且将本次登录的销售数据及其操作数据（事件数据）作为通用数据临时保存在工作区域内（步骤B8），然后，返回上述的步骤B1。以后，每当进行登录操作时，重复上述的动作。

[0082] 另外，在小计键K2被操作了的时候（步骤B9中为是），CPU11在使操作者用显示部16和客用显示部24显示小计金额后（步骤B10），转移到上述的步骤B8，CPU11将小计金额及其操作数据（事件数据）作为通用数据临时保存起来。

[0083] 另外，在操作了其他键例如订正键等的时候（步骤B16中为是），CPU11在执行了作为与操作对应的处理的订正处理等之后（步骤B17），转移到上述的步骤B8，并将其处理结果和操作数据（事件数据）作为通用数据临时保存起来。

[0084] 另外，当在一笔交易的登录结束时操作了现金/储值卡键等结算键K3之一的时候（在步骤B11中为是），CPU11进行与从顾客收取的币种对应的种类的结算处理（更新按照交易的合计的处理），并且，进行收据打印来发行收据、使抽屉18A打开（步骤B12）。并且，CPU11将结算操作数据（事件数据）作为通用数据临时保存起来（步骤B13），然后，将如上所述临时保存的一笔交易的事件数据作为通用数据传送给照相机单元部2（步骤B14）。在该情况下，在照相机单元部2侧，进行将该一笔交易的事件数据追加登录到电子通用文件Y6中的处理。然后，在使客侧照相机25停止后（步骤B15），从图9的流程中退出。

[0085] 当这样的登录处理（图8中的步骤A2）结束时，返回图8中的步骤A1。以后，在切换到了登录模式的状态下（步骤A1中为是），与操作对应地执行上述的登录处理（步骤A2）。由此，当一天的营业结束、将模式开关MS切换到了“Z（核算）”模式时（在步骤A3中为是），CPU11审查是否进行了指示顾客的确定及其登录的操作（步骤A4），如果没有进行指示操作（在步骤A4中为否），则CPU11执行对按照交易的合计文件Y3等的内容进行更新的核算处理（步骤A5），然后返回上述的步骤A1。

[0086] 另外，在进行了指示顾客确定及其登录的操作的情况下（在步骤A4中为是），ECR主体单元部1的CPU11对照相机单元部2进行与所述操作对应的指示以开始顾客确定登录处理（后述）（步骤A6），然后，转移到上述的核算处理（步骤A5）。另外在通过模式开关MS切换到了其他模式例如设定模式等的情况下（在步骤A7中为是），CPU11进行设定各种数据的处理等来作为与其他模式对应的处理（步骤A8），然后返回上述的步骤A1。另外，在进行了电源断开操作的情况下（在步骤A9中为是），在CPU11执行预定的电源断开处理（步骤A10）之后，结束图8的流程。

[0087] 图10是用于详述顾客确定登录处理（图8中的步骤A6）的流程图。

[0088] 首先，照相机单元部2的CPU21指定电子通用文件Y6内的一个记录并取得该记录（图10中的步骤C1），审查该取得记录内的“事件种类”是否表示小计键K2或者现金/储值卡等结算键K3之一的操作（步骤C2）。这里，如果“事件种类”不是小计键K2或者结算键K3（在步骤C2中为否），则该取得记录为处理对象外，因而返回步骤C1并重复步骤C1直到检索到表示小计键K2或者结算键K3之一的操作的事件种类。

[0089] 由此，在取得了“事件种类”表示小计键K2或者结算键K3之一的操作的记录的情况下（步骤C2中为是），CPU21从该记录取得“动画文件名”以及“事件时刻”（步骤C3），以该“动画文件名”作为关键字检索客侧动画文件Y1，提取出相应的动画文件，并且从该动画文件中提取出与“事件时刻”相当的位置的一帧静止图像（步骤C4）。然后，CPU21将该提取图像利用数字移动（digital zoom）处理放大处理到预定大小，提取出脸部部分，然后执行进行脸部图像的解析提取出脸部的特征点数据的脸部检测处理，生成顾客确定用图像数据Y2（步骤C5）。

[0090] 即，在照相机单元部2侧，一边解析提取图像，一边对顾客的脸部的轮廓和形成脸部的部分（眼睛、嘴巴、鼻子、额头）等的形状以及位置关系等进行综合判断，提取出顾客的脸部的特征点，但是，当这时在提取图像内含有多个被摄体（顾客的脸部）的时候，要从中选择拍摄得最大的脸部来提取其特征点。另外，提取脸部的特征点的功能是在照相机中普遍使用的技术，在本实施方式中由于使用了该公知技术，因此对于具体的说明进行省略。

[0091] 另外，照相机单元部2的CPU21进行脸部检测处理的结果是，将脸部朝向正面的程度作为数值化了的数据来生成检测得分（步骤C6），并审查该检测得分是否在基准值（例如，7）以上（步骤C7）。现在，如果检测得分在基准值以上（在步骤C7中为是），则CPU21判断为能够正确地识别脸部，并转移到后述的步骤C9，而如果检测得分不到基准值（在步骤C7中为否），则CPU21判断为是因脸部朝向横向等理由而无法正确地识别脸部的情况，并转移到步骤C8，将“事件时刻”错开预定时间。

[0092] 例如，CPU21算出“事件时刻”的前后时刻，即算出通过在“事件时刻”上加上“0.5秒”或者减去“0.5秒”而使设定事件时刻错开所得到的时刻。然后，转移到上述的步骤C4，在步骤C5中提取出与新算出的事件时刻相当的位置的一帧静止图像，然后进行上述的步骤C6、C7。另外，也可以算出比所设定的“事件时刻”靠前的时刻以及靠后的时刻，另外也可以分阶段地每次错开预定时间（例如0.5秒）。由此，也可以相对于所设定的“事件时刻”提前0.5秒、1秒、1.5秒、2秒或者推后0.5秒、1秒、1.5秒、2秒的时刻。

[0093] 现在，如果检测得分在基准值以上（步骤C7中为是），CPU21根据脸部的特征点数据（顾客确定用图像数据）检索脸部识别用文件Y3（步骤C9），并审查本次提取出的脸部的特征点数据Y2是否与已经登录的人物的脸部的特征点数据相符合，即是否特征性地一致（步骤C10）。其结果为，如果特征性地一致、与所登录的人物相符合（步骤C10中为是），则CPU21能够确定顾客，并从脸部识别用数据文件Y3取得相应的“脸部识别输出ID”（步骤C11），并进行记录在电子通用文件Y6中的处理（步骤C16）。并且，审查电子通用文件Y6的内容是否全部指定结束而达到了其最终记录（步骤C17），如果指定记录没有达到最终记录（步骤C17中为否），则返回最开始的步骤C1，从电子通用文件Y6读取获得下一记录。

[0094] 另外，如果没有与所登录的任务相符合（步骤C10中为否），则CPU21新生成“脸部识别输出ID”以及“登录日”（步骤C12），并且生成除了该“脸部识别输出ID”和“登录日”之外还包含“检测得分”的新纪录（步骤C13），并新登录（追加登录）到顾客数据库Y4中（步骤C14）。另外，CPU21将顾客确定用图像数据Y2与“脸部识别输出ID”一起追加登录到脸部识别用数据文件Y3中（步骤C15）。并且，CPU21在将“脸部识别输出ID”记录到电子通用文件Y6中之后（步骤C16），返回最开始的步骤C1来读取获得下一记录，并重复上述的动作，直到将电子通用文件Y6的内容指定结束而达到其最终记录（步骤C17）。

[0095] 如上所述，在第一实施方式中，在进行了登录一笔交易的销售数据的一连串操作中的预定操作的情况下，根据利用客侧照相机25拍摄到的摄影图像来生成顾客确定用的图像数据Y2，因此，能够在适当的时刻生成顾客确定用的图像，在从对顾客进行拍摄而得到的顾客图像来确定顾客的情况下，能够以高准确率确定顾客，为富于可靠性和实用性的销售数据处理装置。

[0096] 客侧照相机25搭载在供等待登录的顾客进行视觉辨认的客用显示部24上，并且设置于能够对等待登录的顾客的脸部进行对面摄影的方向，因此，能够根据在顾客确认金额的时刻从正面对顾客的脸部进行拍摄而得到的摄影图像，生成顾客确定用的图像数据Y2。

[0097] 预定操作是，对小计键K2以及结算键K3中的至少一个键进行操作的键操作，小计键K2是使在一笔交易中到当前时刻为止登录的销售数据的合计金额作为小计来进行显示的键，结算键K3是使一笔交易的登录完结的键，因此，能够根据在顾客目视确认客用显示部24的显示内容（金额）的时刻从正面对顾客的脸部进行拍摄而得到的摄影图像，生成顾客确定用的图像数据Y2，对于脸部识别来说是非常良好的。

[0098] 读出在电子通用文件Y6中存储的表示操作时刻的数据“事件时刻”，将在该时刻拍摄到的图像从客侧动画文件Y1内的动态图像中提取出来，根据该提取图像生成顾客确定用图像数据Y2，因此，在任何时候都能够从动态文件中自由地生成预定操作时的顾客确定用的图像数据Y2。

[0099] 读出在电子通用文件Y6中存储的表示操作时刻的数据“事件时刻”，将在该时刻的前后拍摄到的图像从存储于客侧动画文件Y1的动态图像中提取出来，根据该提取图像生成顾客确定用图像数据Y2，因此，即使操作时的图像在脸部识别方面为不良图像，也能够根据其前后的图像生成顾客确定用图像数据Y2。

[0100] 根据生成的顾客确定用图像数据Y2来检索脸部识别用数据文件Y3，从而确定顾客，因此，能够利用脸部识别容易地确定顾客。

[0101] 另外，在上述的第一实施方式中，作为预定操作而例示了操作小计键K2、结算键K3的情况，但是除此以外，也可以是操作商品键、部门键等登录键K1，指示输入数据的订正的订正键，取消输入数据的返回键等。

[0102] （第二实施方式）

[0103] 下面，参照图11和图12对本发明的第二实施方式进行说明。

[0104] 另外，在上述的第一实施方式中，当在核算模式下进行了指示顾客确定登录的操作的时候，统一开始执行顾客确定登录处理，而在该第二实施方式中，在登录模式下在一笔交易的登录中按每笔交易一个一个地执行识别并确定顾客的顾客确定登录处理。这里，对在第二实施方式中与第一实施方式基本相同或者对应的标以相同符号进行表示，并省略其说明，并且，下面以第二实施方式的特征部分为中心进行说明。

[0105] 图11是用于在第二实施方式中详述登录处理（与图8中的步骤A2对应）的流程图。另外，与图9的流程图所示的情况一样，ECR主体单元部1根据需要与照相机单元部2协作来进行各种处理。下面，在图11中，对于与图9基本相同的处理简单地进行说明。

[0106] 首先，ECR主体单元部1的CPU11审查是否进行了登录销售数据的登录操作（图11中的步骤B21），审查是否操作了小计键K2（步骤B29），审查是否操作了结算键K3之一（步骤B32），审查是否操作了其他键（步骤B37）。

[0107] 现在，在进行了登录销售数据的登录操作的时候（在步骤B21中为是），与上述的图9的步骤B2～B8一样，在客侧照相机25处于停止中（步骤B22中为是）、且是一笔交易的最开始的操作的条件下（在步骤B23中为是），CPU11执行了用于在照相机单元部2侧设定“动画文件名”的处理之后（步骤B24），开始使客侧照相机25启动来逐次记录其摄影图像的录像动作（步骤B25）。然后，进行商品登录处理（步骤B26），更新一笔交易的小计金额（步骤B27）。然后，在将本次的事件数据作为通用数据临时保存后（步骤B28），返回上述的步骤B21。

[0108] 另外，在操作了小计键K2的时候（步骤B29中为是），与上述图9的步骤B10一样，显示小计金额（步骤B30），但在第二实施方式中，当在照相机单元部2进行了顾客确定登录处理（步骤B31，后述）之后（步骤B31），转移到步骤B28。另外，下面的图11的步骤B32～B38所示的处理与上述的图9的步骤B11～B17的处理是相同的。即，在操作了其他键的时候（步骤B37中为是），执行与操作对应的处理（步骤B38），并将与该操作相关的事件数据作为通用数据临时保存起来（步骤B28）。另外，在结算键K3之一被操作了的时候（步骤B32中为是），进行结算处理（步骤B33），并将与该操作相关的事件数据作为通用数据临时保存起来（步骤B34），将临时保存的一笔交易的事件数据作为通用数据传送给照相机单元部2（步骤B35）。然后，在使客侧照相机25停止后（步骤B36），从图11的流程退出。

[0109] 图12是用于详述顾客确定登录处理（图11中的步骤B31）的流程图。另外，对图12中与图10基本相同的处理简单地进行说明。

[0110] 首先，照相机单元部2的CPU21提取当前动画摄影中的一帧图像（步骤C21），通过解析该提取图像（静止图像）来提取脸部的特征点数据以生成顾客确定用图像数据Y2（步骤C22）。并且，CPU21根据该特征点数据Y2来检索脸部识别用数据文件Y3（步骤23）。其结果为，在检测到本次提取到的脸部的特征点数据与已经登录的人物的脸部的特征点数据相符合的情况下（在特征性地一致的情况下），即，与所登录的人物相符合的情况下（步骤C24中为是），判断为能够确定顾客，从脸部识别用数据文件Y3中取得符合的“脸部识别输出ID”（步骤C25）。另外，CPU21在记录到电子通用文件Y6中之后（步骤C30），从图12的流程退出。

[0111] 另外，如果与所登录的人物不符（步骤C24中为否），则CPU21新生成“脸部识别输出ID”和“登录日”（步骤C26），并且生成包含该“脸部识别输出ID”和“登录日”的新纪录（步骤C27），并新登录（追加登录）到顾客数据库Y4中（步骤C28）。另外，CPU21将脸部的特征点数据即顾客确定用图像数据Y2与“脸部识别输出ID”一起追加登录到脸部识别用数据文件Y3中（步骤C29）。并且，CPU21在将“脸部识别输出ID”记录到电子通用文件Y6中之后（步骤C30），从图12的流程退出。

[0112] 如上所述，在第二实施方式中，在登录模式中，在一笔交易的登录中，执行识别并确定顾客的顾客确定登录处理，因此能够在一笔交易的登录中确定该交易的顾客，结果为能够当场实施顾客服务。例如在交易的结束时根据顾客的种类（例如，是否是与购入实际成绩或到店实际成绩相应的优良顾客）来实施在收据上打印优惠券的服务等。另外，通过在一笔交易的登录中进行顾客确定登录处理，比后来统一进行的批处理在时间和作业面方面更有利。

[0113] 另外，在上述的第二实施方式中，在一笔交易的最开始的登录操作中启动客侧照相机25来开始录像动作之后，在操作了小计键K2的时候，提取出当前动画摄影中的一帧图像，对该提取图像（静止图像）进行解析来提取出脸部的特征点数据，从而生成顾客确定用图像数据Y2，但是也可以是在操作了小计键K2的时候，使客侧照相机25启动并根据其摄影图像来生成顾客确定用图像数据Y2。在该情况下，可以在短时间内进行多张的连续摄影（快镜拍摄），从中选择朝向正面的图像等适于识别的图像，并生成顾客确定用图像数据Y2。由此，能够不需要长时间的动画动作。

[0114] 在上述的第二实施方式中，在操作了小计键K2的时候，生成顾客确定用图像数据Y2，但是也可以是在操作了现金/储值卡键等结算键K3之一的时候生成顾客确定用图像数据Y2。另外，也可以是在小计键K2、结算键K3中的任一方被操作了的时候生成顾客确定用图像数据Y2。在该情况下，也可以采用检测得分高的一方作为顾客确定用。

[0115] 此外，在上述的第二实施方式中，在登录模式下，在一笔交易的登录中生成该交易的顾客确定用的图像数据Y2，但是也可以是利用没有等待登录的顾客的空闲时间（ECR的非工作时间）来生成顾客确定用图像数据Y2。

[0116] 另外，上述的各实施方式在ECR侧执行生成顾客确定用图像数据Y2的顾客确定登录处理，但是也可以是在插入于卡接口部27的SD卡28内保存客侧动画文件Y1、脸部识别用数据文件Y3、顾客数据库Y4、以及电子通用文件Y6，通过将该SD卡28插入到外部设备PC中，来在PC侧执行顾客确定登录处理。即，所谓销售数据处理装置可以是包含ECR、PC的销售数据处理系统。

[0117] 此外，在上述的各实施方式中，利用客侧照相机25进行的动画摄影从一笔交易的开始进行到结束，但是也可以是在到通过模式开关MS切换到登录模式从而解除该登录模式为止的期间内，利用客侧照相机25持续进行动画摄影。

[0118] 另外，在上述的各实施方式中，ECR（销售数据处理装置）为分成ECR主体单元部1和照相机单元部2的结构，但是也可以是将它们统和在一起的结构。另外，示出了作为销售数据处理装置而应用于ECR的情况，但是也可以应用于与槽内专用线路连接的POS终端。
另外也可以应用于经网络与本部的PC连接的销售数据处理系统。

[0119] 另外，上述的各实施方式中示出的“装置”或“部”可以按功能分离到多个壳体中，并不限定于单一壳体。而且，上述的流程图中记述的各步骤不限于时间系列上的处理，也可以将多个步骤并列地进行处理，或分别独立地进行处理。

[0120] 以上对本发明的两个实施方式进行了说明，但是本发明并不限定于此，其包括权利要求书中记载的发明和与其均等的范围。