信息处理装置及其控制方法、店铺系统

摘要

本发明公开了一种用简单的操作就能够根据一般物体识别进行销售登记的信息处理装置及其控制方法、店铺系统。该信息处理装置包括：摄像部、第一识别部、显示控制部、输入部、登记部。摄像部，摄像重叠在摄像部上的物体。第一识别部，将摄像部摄像的图像数据抽取的对象物品的特征量，和事先存储在词库中的对照用的特征量进行比较，根据其相似度，从商品中识别出符合物体的商品。显示控制部将第一识别部识别出的商品所关联的第一输入装置和，和事先与商品进行关联的第二输入装置显示在第一画面上。输入部，接受选择显示控制部显示的第一输入装置或第二输入装置的操作。登记部，对输入部接受的该第一输入装置或该第二输入装置所关联的商品进行销售登记。

权利要求

1.一种信息处理装置，包括：

摄像部，用于摄像对准摄像部的物体；

第一识别部，将所述摄像部摄像的所述物体的特征量和事先存储在词库里的各个商品的对照用的特征量进行比较，根据其相似度从所述商品中识别出符合所述物体的商品；

显示控制部，用于使所述第一识别部识别出的所述商品所关联的第一输入装置和事先与商品进行关联的第二输入装置显示在第一画面上；

输入部，用于对选择所述显示控制部显示的所述第一输入装置或所述第二输入装置的操作进行接受；

登记部，用于对所述输入部接受的该第一输入装置或该第二输入装置所关联的商品进行销售登记；

第二识别部，用于从所述摄像部摄像的图像中检测附在所述物体上的码符号，根据该码符号识别所述物体所关联的商品；以及其中，所述登记部用于对所述第二识别部识别出的商品进行销售登记，所述显示控制部，即使对应所述第二输入装置所关联的商品的商品分类而显示的所述第一画面被切换，也会显示所述第一输入装置。

2.根据权利要求1所述的信息处理装置，其中，

所述登记部，在针对所述相似度大于等于阈值的商品即使没有所述输入部的输入也要进行销售登记的设定时，对所述第一识别部识别出的大于等于所述阈值的所述相似度的商品，进行销售登记。

3.一种店铺系统，包括：

摄像部，用于摄像对准摄像部的物体；

第一识别部，将所述摄像部摄像的所述物体的特征量和事先存储在词库里的各个商品的对照用的特征量进行比较，根据其相似度从所述商品中识别出符合所述物体的商品；

显示控制部，用于使所述第一识别部识别出的所述商品所关联的第一输入装置和事先与商品进行关联的第二输入装置显示在第一画面上；

输入部，用于对选择所述显示控制部显示的所述第一输入装置或所述第二输入装置的操作进行接受；

登记部，用于对所述输入部接受的该第一输入装置或该第二输入装置所关联的商品进行销售登记；以及第二识别部，用于从所述摄像部摄像的图像中检测附在所述物体上的码符号，根据该码符号识别所述物体所关联的商品；

其中，所述登记部用于对所述第二识别部识别出的商品进行销售登记，所述显示控制部，即使对应所述第二输入装置所关联的商品的商品分类而显示的所述第一画面被切换，也会显示所述第一输入装置。

4.一种店铺系统，其特征在于，设置根据权利要求1或2所述的信息处理装置。

5.一种信息处理装置的控制方法，包括：

摄像步骤，用于摄像对准摄像部的物体；

第一识别步骤，将所述摄像步骤摄像的所述物体的特征量和事先存储在词库里的各个商品的对照用的特征量进行比较，根据其相似度从所述商品中识别出符合所述物体的商品；

显示控制步骤，用于使所述第一识别步骤识别出的所述商品所关联的第一输入装置和事先与商品进行关联的第二输入装置显示在第一画面上；

输入步骤，用于对选择所述显示控制步骤显示的所述第一输入装置或所述第二输入装置的操作进行接受；

登记步骤，用于对所述输入步骤接受的该第一输入装置或该第二输入装置所关联的商品进行销售登记；以及第二识别步骤，用于从所述摄像步骤摄像的图像中检测附在所述物体上的码符号，根据该码符号识别所述物体所关联的商品；

其中，在所述登记步骤中，对所述第二识别步骤识别出的商品进行销售登记，在所述显示控制步骤中，即使对应所述第二输入装置所关联的商品的商品分类而显示的所述第一画面被切换，也会显示所述第一输入装置。

6.根据权利要求5所述的控制方法，其中，

在所述登记步骤中，在针对所述相似度大于等于阈值的商品即使没有所述输入部的输入也要进行销售登记的设定时，对所述第一识别步骤识别出的大于等于所述阈值的所述相似度的商品，进行销售登记。

说明书

信息处理装置及其控制方法、店铺系统

[0001] 本申请主张申请日为2014年11月17日、申请号为JP2014-233036的日本申请为优先权，并引用上述申请的内容。

技术领域

[0002] 本发明涉及一种信息处理装置及其控制方法、店铺系统。

背景技术

[0003] 通常在超市等店铺，使用对附有条形码等的码符号的商品进行摄像，并用从图像数据所包含的码符号中抽取出的编码信息进行商品的销售登记的系统。并且，该系统在对没附有条形码的商品进行销售登记时，使用具有预先与商品进行了关联的按钮的预设画面，对预设画面上被选择的商品进行销售登记。

[0004] 近年，存在一种根据从摄像的图像数据抽取的对象物品的特征量和事先准备好的词库的对照用的数据(特征量)进行比较得出的相似度，来识别该物品的种类等(检测检测)的一般物体识别(对象识别)相关的技术。并且，将这个有关一般物体识别的技术用于果蔬品等商品的识别，进行商品销售登记的系统得到了提案。不仅如此，具有根据上述的码符号的销售登记功能、根据预设画面的销售登记功能、以及根据对象识别的销售登记功能中具有双功能的系统得到了提案。

[0005] 但是，附有码符号的商品有在商品包装上印着果蔬品等照片的情况。依据对象识别进行销售登记的系统，存在将包装上的果蔬品照片误认为商品，从而将错误的商品进行销售登记的可能性。因此，操作员为了防止将错误的商品进行商品登记，必须根据商品进行将对象识别切换为根据码符号的销售登记的设定。并且，在进行预设画面上被选择的按钮所关联的商品的登记时，操作员也必须将画面切换为预设画面。但是该操作极为繁杂，成为妨碍高效处理的主要原因。

发明内容

[0006] 鉴于上述问题，本发明的目的在于提供一种用简单的操作就能够根据一般物体识别进行销售登记的信息处理装置及其控制方法、店铺系统。

[0007] 本发明第一方面涉及的信息处理装置包括：摄像部、第一识别部、显示控制部、输入部、登记部。所述摄像部用于摄像对准摄像部的物体。所述第一识别部将所述摄像部摄像的图像数据抽取的对象物品的特征量和事先存储在词库中的各个商品的对照用的特征量进行比较，根据其相似度从所述商品中识别出符合所述物体的商品。所述显示控制部使所述第一识别部识别出的所述商品所关联的第一输入装置和事先与商品进行关联的第二输入装置显示在第一画面上。所述输入部对选择所述显示控制部显示的所述第一输入装置或所述第二输入装置的操作进行接受。所述登记部对所述输入部接受的该第一输入装置或该第二输入装置所关联的商品进行销售登记。

[0008] 本发明第二方面涉及的店铺系统，包括：摄像部，用于摄像对准摄像部的物体；第一识别部，将所述摄像部摄像的所述物体的特征量和事先存储在词库里的各个商品的对照用的特征量进行比较，根据其相似度从所述商品中识别出符合所述物体的商品；显示控制部，用于使所述第一识别部识别出的所述商品所关联的第一输入装置和事先与商品进行关联的第二输入装置显示在第一画面上；输入部，用于对选择所述显示控制部显示的所述第一输入装置或所述第二输入装置的操作进行接受；以及登记部，用于对所述输入部接受的该第一输入装置或该第二输入装置所关联的商品进行销售登记。

[0009] 本发明第三方面涉及的店铺系统，设置有上述的信息处理装置。

[0010] 本发明第四方面涉及的信息处理装置的控制方法，包括以下步骤：摄像步骤，用于摄像对准摄像部的物体；第一识别步骤，将所述摄像步骤摄像的所述物体的特征量和事先存储在词库里的各个商品的对照用的特征量进行比较，根据其相似度从所述商品中识别出符合所述物体的商品；显示控制步骤，用于使所述第一识别步骤识别出的所述商品所关联的第一输入装置和事先与商品进行关联的第二输入装置显示在第一画面上；输入步骤，用于对选择所述显示控制步骤显示的所述第一输入装置或所述第二输入装置的操作进行接受；以及登记步骤，用于对所述输入步骤接受的该第一输入装置或该第二输入装置所关联的商品进行销售登记。

附图说明

[0011] 下面，参照附图对本发明所涉及的信息处理装置及其控制方法、店铺系统进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

[0012] 图1是表示关于本发明的结账系统的一例的立体图；

[0013] 图2是表示POS终端及商品读取装置的硬盘构成的框图；

[0014] 图3是列举PLU文件的数据构成的概念图；

[0015] 图4是表示POS终端的功能构成的框图；

[0016] 图5是表示预设画面的一例说明图；

[0017] 图6是表示不具有显示框的图像显示区域的预设画面的一例说明图；

[0018] 图7是表示将商品候补按钮按照与预设按钮相同的形态显示在预设画面的一例说明图；

[0019] 图8是表示摄像处理的流程的流程图；

[0020] 图9是表示根据码符号识别引擎进行商品识别处理的流程的流程图；

[0021] 图10是表示根据对象识别引擎进行商品识别的流程的流程图；

[0022] 图11是表示销售登记处理的流程的流程图；

[0023] 图12是表示自助POS机的结构的外观立体图；以及

[0024] 图13是表示自助POS机的硬盘结构的框图。

具体实施方式

[0025] 下面，参照附图，对有关本发明的信息处理装置、店铺系统及程序以结账系统为例进行说明。店铺系统是具有进行有关一连串交易的商品的销售登记、结账的POS终端的结账系统(POS系统)等。本实施例是引进到超市等店铺的结账系统的一个实施例。

[0026] 图1是表示关于本发明的结账系统的一例的立体图。如图1所示，结账系统1包括读取有关商品的信息的商品读取装置101，以及进行有关一连串交易的商品的销售登记、对账的POS终端。以下将POS终端11作为有关本发明的信息处理装置的实施例进行说明。

[0027] POS终端11设置在结账台41上的钱箱21上方。POS终端11控制钱箱21 的开放。POS终端11在上方具有键盘22。键盘22具有操作员(店员)输入操作用的按键。POS终端22在操作键盘22的操作员的角度看去比键盘22更里侧，具有面向操作员显示信息的第一显示装置23。第一显示装置23具有触摸面板 26所层叠的显示面23a。

[0028] POS终端11在第一显示装置23的更里侧，具有面向顾客显示信息的第二显示装置24。此外，图1所示的第二显示装置24的显示面24a面向图1的跟前侧。但是第二显示装置24可以旋转为将显示面24a朝向图1的里侧从而面向顾客显示信息。

[0029] 柜台151是横向长方形的桌子。柜台151被配置在与设置了POS终端11 的结账台41形成L字的位置上。柜台151在上方形成负荷接受面152。负荷接受面152放置着收纳商品的购物筐153。购物筐153包含第一购物筐153a及第二购物筐153b。第一购物筐153a是顾客放入购买对象商品的筐。第二购物筐 153b是放入已读取有关商品信息的商品的筐。第二购物筐153b放置在与第一购物筐一起将商品读取装置101夹在中间的位置上。此外购物筐153不仅限于所谓筐状物体、也可以是托盘、箱子状、或袋子状等物体。

[0030] 商品读取装置101设置在柜台151的负荷接受面上。商品读取装置101能够与POS终端11进行收发数据。商品读取装置101具有超薄长方形形状的机壳102。机壳102在正面具有读取窗103。机壳102在上部具有显示·操作部 104。

[0031] 显示·操作部104具有第一显示装置106。第一显示装置106是诸如触摸面板105在表面上层叠的液晶显示装置等。显示·操作部104在第一显示装置 106的右边具有键盘107。显示·操作部104在键盘107的右边具有读卡器的读卡槽108。显示·操作部104从操作员看起背面的左边更里侧具有第二显示装置109。第二显示装置109是诸如面向顾客提供信息的液晶显示器等。

[0032] 就这样商品读取装置101具有商品读取部110(参照图2)。商品读取部110 在读取窗103的内部配置了摄像部164(参照图2)。

[0033] 操作商品读取装置101的操作员将第一购物筐153a里的商品移动到第二购物筐153b。操作员在这个移动过程中，将商品对准商品读取装置101的读取窗 103。此时，摄像部
164(参照图2)拍摄商品。

[0034] 商品读取装置101向POS终端11通知要进行销售登记的商品的商品ID。具体来讲，商品读取装置101将指定销售登记的对象商品是否与保存在PLU文件F1(参照图3)中的某一个商品对应的画面显示在显示·操作部104上。并且，商品读取装置101向POS终端11通知被指定的商品的商品ID。在POS终端11中，根据从商品读取装置101得到通知的商品ID将有关销售登记的信息记录在销售主文件(未图示)等进行销售登记。有关销售登记的信息是指诸如商品ID所对应的商品的商品分类、商品名、或单价等。

[0035] 图2是表示POS终端及商品读取装置的硬盘构成的框图。POS终端11具有作为执行信息处理的信息处理部的微型计算机60。微型计算机60具有CPU (Central Processing Unit)61、ROM(Read Only Memory)62和RAM(Random Access Memory)63。微型计算机60进行各种运算处理并对控制各部的CPU61、 ROM62和RAM63进行总线连接。

[0036] POS终端11的CPU61通过各种输入输出电路(未图示)、连接所述钱箱 21、键盘22、第一显示装置23、触摸面板26和第二显示装置24。这些机器被 CPU61所控制。

[0037] 键盘22具有数字和运算等的数字键22d、临时固定键22e和固定键22f。

[0038] POS终端11的CPU61上连接着HDD64(Hard Disk Drive)。HDD64用于存储程序或各种文件。CPU61在POS终端11启动时通过以下操作得到执行：存储在HDD64上的程序或各种文件的全部或一部分复制到RAM63。HDD64 存储商品销售数据处理用的程序PR1、自动登录可否信息641、PLU文件F1。商品销售数据处理用的程序PR1是存储在HDD64上的程序的一例。此外，只要是存储装置，HDD64也可以是SSD(Solid State Drive)等其他记忆介质所构成的存储装置。

[0039] 商品销售数据处理用的程序PR1是具有有关商品销售数据处理的各种功能的程序。

[0040] 自动登记可否信息641是，后述对象识别引擎620(参照图4)在识别了满足规定条件的商品时，判断即使在没有操作员来操作的情况下是否允许自动进行销售登记的设定信息。当设定为允许时，满足规定条件的商品进行自动登记。另一方面，当设定为禁止时，满足规定条件的商品不进行自动登记。

[0041] PLU文件F1是按照每个陈列在店铺销售的商品将有关的销售登记信息进行储存的商品文件。在以下说明中，将PLU文件F1作为词库使用，但是这个词库也可以是与PLU文件F1不同的文件。词库对多个商品进行从摄像的图像信息中抽取用于识别商品的对照用数据(特征量)的存储。当词库是不同于PLU 文件F1的文件时，将存储在词库里的对照用数据(特征量)和PLU文件F1 的信息(识别信息)进行关联再存储。特征量是将商品的标准形状、表面颜色、花纹、凹凸状况等外观特征进行参数化的数据。

[0042] 图3是列举PLU文件的数据结构成的概念图。如图3所示，PLU文件F1 是对应每个商品，将商品ID、有关商品的信息、图解图像和特征量作为此商品的商品信息存储的文件。商品ID是能够识别商品的识别信息。有关商品的信息是商品所属的商品分类、商品名称、品种、单价等信息。图解图像是显示那个商品的图像。特征量是从摄像的商品图像读取的颜色及表面的凹凸状况等信息。此外，特征量是用于后述的相似度的判定的对比用数据。此外，通过后述的连接接口65，商品读取装置101能够读取PLU文件F1。

[0043] 回到图2，在POS终端11的CPU61上，为了执行与店铺计算机SC的数据通信，通过输入输出电路(未图示)连接了通信接口25。店铺计算机SC设置在店铺的后台等。店铺计算机SC的HDD(未图示)中，存储被传送到POS 终端11的PLU文件F1。

[0044] 而且，在POS终端11的CPU61上，连接着在商品读取装置101之间让数据的收发变为可能的连接接口65。连接接口65上连接着商品读取装置101。并且，POS终端11的CPU61上连接着将文字印到收据上的打印机66。打印机66 在CPU61的控制下，打印一连串交易的交易内容。

[0045] 商品读取装置101具有微型计算机160。微型计算机160具有CPU161、 ROM162和RAM163。微型计算机160对CPU161、ROM162、RAM163进行总线连接。ROM162上存储根据CPU161执行的程序。CPU161通过各输出输入电路(均未图示)连接摄像部164及声音输出部165。CPU161控制摄像部164 及声音输出部165的动作。

[0046] 显示·操作部104通过连接接口176来连接商品读取部110及POS终端 11。显示·操作部104被CPU161和POS终端11的CPU61控制其动作。

[0047] 摄像部164具有彩色CCD图像传感器和彩色COMS图像传感器等图像传感器(未图示)和LED等光源(未图示)。摄像部164在CPU161的控制下从读取窗103的内部摄像商品等物体。摄像部164摄像诸如30fps(Frame Per Second)的帧图像。摄像部164按照规定的帧滞后依次摄像的帧图像被保存在 RAM163上。

[0048] 声音输出部165是播放事先设定好的警告音等的声音电路和扩音器等。声音输出部165在CPU161的控制下进行根据警报音或声音的报告。

[0049] 而且，CPU161与连接接口175相连接。连接接口175和POS终端11的连接接口65相连接，从而和POS终端11进行数据的收发。并且，连接接口175 和显示·操作部104的连接接口176相连接，从而和显示·操作部104进行数据的收发。

[0050] 其次，对有关通过CPU61执行程序(商品销售数据处理用程序PR1)从而实现的CPU61的功能构成进行说明。图4是表示POS终端11的功能构成的框图。

[0051] 如图4所示，POS终端11的CPU61通过执行存储在ROM62和/或RAM64 上的程序从而发挥各种功能。具体来讲，POS终端11的CPU61所起到的作用如下：作为图像采集部611、作为并列控制部612、作为对象识别引擎620、作为码符号识别引擎630、作为接受输入部613、作为销售登记部614、以及作为显示控制部615。在这里，作为第一识别部的对象识别引擎620具有商品检测部621、相似度计算部622及相似度判定部623。

[0052] 作为摄像手段的图像采集部611，将摄像控制信号输出给摄像部164从而使摄像部164开始摄像动作。图像采集部611对由摄像部164在摄像动作开始后摄像并保存在RAM163上的帧图像按照保存到RAM163上的顺序进行采集。

[0053] 但是，当摄像部164在摄像部164的光源附近、即读取窗103的附近没有商品(对象)时，拍摄亮度为0或近似状态的帧图像。并且，图像的亮度在将想要识别的商品(对象)接近读取窗103时，由光源发出的光在商品(对象) 上反光因此会变亮。

[0054] 图像采集部611感知(检测)这样的亮度变化(颜色属性的变化)、在亮度高于指定的基准值时，判定为有商品(对象)对准的状态。另一方面，在亮度低于指定的基准值时，判定为没有商品(对象)对准的状态、即判定为处于框架外的状态。

[0055] 并列控制部612控制基于对象识别引擎620和码符号识别引擎630的并列处理。具体来讲，并列控制部612通知图像采集部611已将帧图像采集到 RAM163。从而，对象识别引擎620、码符号识别引擎630开始并列处理。

[0056] (对象识别引擎)

[0057] 对象识别引擎620对摄像部164摄像的商品的特征量和预先存储在PLU文件F1上的词库里的各商品的对照用的特征量进行比较。并且，对象识别引擎 620根据其相似度，在存储在词库里的各商品中识别出与摄像部164摄像的商品所对应的商品。以下，对对象识别引擎620具有的详细功能进行说明。

[0058] 商品检测部621在从并列控制部612得到帧图像已保存在RAM163的通知后，读取保存在RAM163上的帧图像。并且，商品检测部621通过图像采集部 611采集的帧图像所包含的商品的全部或一部，通过模式匹配技术等进行检测。具体来讲，商品检测部621从被采集的帧图像二值化以后的图像中抽取轮廓线等。商品检测部621根据上次的帧图像中抽取的轮廓线和这次的帧图像中抽取的轮廓线进行比较得出的差别检测对准读取窗103的商品。此外，上次的帧图像是指诸如在启动对象识别引擎620之前已被图像采集部611采集的背景的帧图像。

[0059] 商品检测部621作为检测商品的另一种方法，检测被采集的帧图像中有无肤色区域。其次，商品检测部621在检测有肤色区域时，即检测有店员的手时，在这个肤色区域的附近检测所述轮廓线。由此，商品检测部621检测设想拿在店员的手里的商品的轮廓线。此时，商品检测部621在检测呈现手的形状的轮廓和在手的轮廓附近有其他物体的轮廓时，根据这个物体的轮廓检测商品。

[0060] 相似度计算部622从摄像部164摄像的商品的全部或一部分的帧图像中，将商品的色调和/或表面的凹凸状况等表面状态作为特征量来抽取。此外，相似度计算部622为了达到缩短处理时间的目的，规定不考虑商品的轮廓和大小。

[0061] 并且，相似度计算部622通过比较保存在PLU文件F1上的各商品(以下称为登记商品)的特征量和包含在帧图像里的商品的特征量从而算出相似度。在这里，当设定为保存在PLU文件F1上的登记商品的特征量100％＝“相似度 1.0”时，相似度所表示的是商品的全部或一部分的特征量的相似度在何种程度上。此外，相似度计算部622也可以采取诸如在色调和表面凹凸状况上改变权重算出相似度的方法。

[0062] 如上所述，识别包含在图像中的物体称为一般物体识别(generic  object recognition)。关于这样的一般物体识别，通过下述文献进行了各种识别技术的说明。

[0063] 柳井启司，“一般物体识别的现状和将来”，信息处理学会论文杂志，Vol.48, No.SIG16[平成22年8月10日检索]，网站＜ URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf＞

[0064] 并且，通过将图像按对象划分其区域的方式进行一般物体识别的技术，在下述文件中得到了说明。

[0065] Jamie Shotton等，“Semantic Texton Forests for Image Categorization and Segmentation”,[平成22年8月10日检索]，网站 

[0066] 此外，从摄像的帧图像中抽取的商品的特征量和保存在PLU文件F1上的登记商品的特征量的相似度的计算方法在此不进行限定。诸如相似度可以作为绝对评价计算，也可以作为相对评价计算。

[0067] 首先，对相似度作为绝对评价计算的情况进行说明。相似度计算部622对帧图像中抽取的商品的特征量和保存在PLU文件F1上的各登记商品的特征量进行一对一的比较。由此，相似度计算部622作为绝对评价计算相似度。

[0068] 其次，对相似度作为相对评价计算的情况进行说明。相似度计算部622对帧图像中抽取的商品的特征量和保存在PLU文件F1上的各登记商品的特征量进行比较。此时，相似度计算部622在计算相似度时使相似度的总合达到1.0 (100％)。从而相似度计算部622作为相对评价计算相似度。

[0069] 相似度判定部623判定相似度计算部622算出的相似度有没有超过规定的阈值。由此相似度判定部623判定摄像部164所摄像的商品的销售登记方法是自动登记、还是商品候补提示、还是无商品候补之中的哪个分类。

[0070] 当PLU文件F1中包含相似度在第一界限值以上的登记商品(以下称为确定商品)时，相似度判定部623判定摄像部164摄像的商品按照自动登记进行销售登记。在这里自动登记是指，因为是摄像部164摄像的商品的概率较高，因此即使没有操作员的确认操作，也能够对确定商品进行自动销售登记。

[0071] 此外，当自动登记可否信息641被设定为允许自动登记时，相似度判定部 623判定为符合自动登记。当自动登记可否信号641被设定为禁止自动登记时，即使相似度在第一阈值以上，相似度判定部623也不会判定为自动登记。在这种情况，相似度判定部623将摄像部164摄像的商品的销售登记方法判定为根据商品候补提示进行销售登记。

[0072] 当没有确定商品、且相似度在第一阈值以下第二阈值以上(小于等于第一阈值且大于等于第二阈值)的登记商品(以下称为商品候补)包含在PLU文件 F1中时，相似度判定部623将摄像部164摄像的商品判定为根据商品候补提示进行销售登记。在这里，商品候补提示是指，提示摄像部164摄像的帧图像所包含的商品的候补、即商品候补、并通过操作员的确认动作进行销售登记。此外，商品候补可以是一个也可以是多个。并且相似度判定部623将由于自动登记可否信息641被设定为禁止自动登记从而判断为商品候补提示的确定商品，也作为商品候补提示给操作员。

[0073] 当PLU文件F1中不包含相似度在第二阈值以上(大于等于第二阈值)的登记商品时，相似度判定部623判定为没有与摄像部164摄像的商品相对应的商品候补。在此，没有商品候补是指，相似度计算部622计算的相似度只有第二阈值以下(小于等于第二阈值)的登记商品，因此没能识别摄像部164摄像的商品。

[0074] (码符号识别引擎)

[0075] 码符号识别引擎630从摄像部164摄像的帧图像检测物体附带的码符号。并且码符号识别引擎630根据码符号识别对应物体的商品。以下，对码符号识别引擎630具有的详细功能进行说明。

[0076] 码符号检测部631从并列控制部612得到帧图像已保存在RAM613的通知后，读取保存在RAM163上的帧图像。并且，码符号检测部631从图像采集部采集的图像中检测作为商品的信息的附在商品上的条形码或二维码等码符号。

[0077] 码符号读取部632通过码符号检测部631检测的码符号读取商品ID从而识别商品。

[0078] 输入接受部613通过键盘22或触摸面板26等输入部接受操作。具体来讲，作为输入手段的输入接受部613接受有关销售登记的操作。诸如输入接受部613 从相似度判定部623提示的商品候补接受要进行销售登记商品的选择操作。并且，诸如接受部613通过显示在预设画面G1(参照图5)的预设按钮B2接受要进行销售登记的商品选择操作。此外，输入接受部613也可以接受来自键盘 22或触摸面板26之外的输入部的操作。诸如输入部也可以是商品读取装置101 的键盘107或触摸面板105等。

[0079] 作为登记手段的销售登记部614将被选择的商品和有关销售登记的信息记录在销售主文件进行销售登记。诸如，根据销售登记部614将预设按钮B2、码符号、确定商品、及商品候补等被选择的商品记录在销售主文件上。具体来讲，销售登记部614将已经与预设按钮B2进行了关联的商品记录在销售主文件等。或者，销售登记部614将根据码符号识别引擎630检测的码符号中读取的商品记录在销售主文件等。又或者，销售登记部614根据对象识别引擎620识别出的商品候补中将输入接受部613选择的商品记录在销售主文件等。

[0080] 作为显示控制手段的显示控制部615控制显示在第一显示装置23上的画面。诸如，显示控制部615在第一显示装置上显示第一画面预设画面G1。在这里，图5是显示预设画面G1的一例图。预设画面G1是，通过按下事先设定的预设按钮B2，将已经与预设按钮B2进行了关联的商品ID的商品进行销售登记的画面。预设画面G1具有对象识别区域G12、商品分类制表B1和预设按钮B2。

[0081] 对象识别区域G12是使用在对象识别引擎620所识别出的商品的销售登记上的区域。对象识别区域G12具有帧图像显示区域G121和商品候补按钮B121。帧图像显示区域G121是显示摄像部164摄像的帧图像的区域。商品候补按钮 B121是相似度判定部623基于相似度所判定的商品候补的商品ID进行了关联的按钮。销售登记部614在作为第一输入装置的商品候补按钮B121被按下时，进行已被关联的商品ID的商品的销售登记。商品分类制表B1是按照商品分类的制表。显示控制部615在商品分类制表B1被按下时，显示与商品分类制表 B1进行了关联的商品分类的预设按钮B2。预设按钮B2是将事先设定的商品的商品ID进行了关联的按钮。销售登记部614在作为第二输入装置的预设按钮 B2被按下时，对已进行关联的商品ID的商品进行销售登记。

[0082] 此外，显示控制部615，即使在商品分类制表B1被按下、并显示其他商品分类的预设按钮B2的情况下也维持对象识别区域G12的显示。即显示控制部 615，即使被切换成其他商品分类的预设按钮B2的画面仍然显示商品候补按钮 B121。此时，显示控制部615最好是将对象识别区域G12显示在同一个位置上。由此，操作员能够很容易找到对象识别区域G12。此外，显示控制部615在根据商品分类制表B1切换画面之后，可以改变对象识别区域G12的显示位置。

[0083] 并且，在图5显示的帧图像显示区域G121显示在预设画面G1的右下角。但是显示控制部615也可以将显示帧图像的显示区域G121的地方定为可移动的。并且，图5表示的帧图像显示区域G121显示三个商品候补。但是显示控制部615也可以是显示不到三个或四个以上(大于等于四个)的商品候补。

[0084] 并且，预设画面G1也可以不具有对象识别区域G12的帧图像显示区域 G121。在这里，图6是表示不具有显示框的图像显示区域的预设画面的一例图。显示控制部615不具有帧图像显示区域G121，就能够显示更多的预设按钮B2。

[0085] 并且，预设画面G1可以将商品候补按钮B121按照和预设按钮B2相同的形式显示。在这里图7是表示将商品候补按钮按照预设按钮相同的形态显示在预设画面的一例图。图7表示的商品候补按钮B121用可以识别的形态显示把和预设按钮B2相同的形式的按钮作为商品候补的。可以识别的形态是指诸如改变颜色、标上标记、加上文字行、进行动画处理等。

[0086] 其次，对有关上述的实施例的POS终端11的CPU61按照控制程序执行的摄像处理进行说明。摄像处理是指将商品读取部110的摄像部164摄像的帧图像输出到对象识别引擎620和码符号识别引擎630的处理。通过这个，对象识别引擎620和码符号识别引擎630对帧图像并列执行处理。

[0087] 图8是表示摄像处理的流程的流程图。

[0088] POS终端11的CPU61(图像采集部611)向摄像部164输出摄像控制信号从而使摄像部164开始摄像动作(步骤S11)。其次，POS终端11的CPU61(图像采集部611)将由摄像部164摄像商品并保存在RAM163的帧图像依次进行采集。(步骤S12)

[0089] 其次，POS终端11的CPU61(并列控制部612)通知码符号识别引擎630已将帧图像采集到RAM163(步骤S13)。

[0090] 再其次，POS终端11的CPU61(并列控制部612)通知对象识别引擎620已将帧图像采集到RAM163(步骤S14)。

[0091] 通过以上操作，POS终端11的CPU61结束摄像处理。此外，通知已将帧图像采集到RAM163的顺序是不做规定的。即POS终端11的CPU61(并列控制部612)也可以比码符号识别引擎630先通知对象识别引擎620。并且POS 终端11的CPU61(并列控制部612)也可以同时通知码符号识别引擎630和对象识别引擎620。

[0092] 其次，对与上述的实施例有关的POS终端11的CPU61按照控制程序，根据码符号识别引擎630进行的商品识别处理进行说明。根据码符号识别引擎630 进行的商品识别处理是指，码符号识别引擎630根据包含在帧图像中的码符号对商品进行识别的处理。

[0093] 图9是表示根据POS终端11的CPU61按照控制程序执行的码符号识别引擎630进行的商品识别处理的流程的流程图。

[0094] POS终端11的CPU61(码符号检测部631)判定有没有从并列控制部612 得到帧图像已被保存到RAM163上的通知(步骤S21)。当没有得到帧图像已被保存到RAM613上的通知时(步骤S21的否)，POS终端11的CPU61(码符号检测部631)等待根据码符号识别引擎630进行商品识别处理。

[0095] 另一方面，当得到帧图像已被保存在RAM613的通知时(步骤S21的是)， POS终端11的CPU61(码符号检测部631)判定有没有从保存在RAM163上的帧图像中检测出码符号(步骤S22)。

[0096] 检测不出码符号时(步骤S22的否)，POS终端11的CPU61(码符号检测部631)将过渡到步骤S21。

[0097] 另一方面，当检测出码符号时(步骤S22的是),POS终端11的CPU61(码符号读取部632)从检测出的码符号读取商品ID(步骤S23)。

[0098] 其次，POS终端11的CPU61(码符号读取部632)将从码符号读取的商品 ID通知给销售登记部614(步骤S24)。

[0099] 通过以上操作，POS终端11的CPU61结束根据码符号识别引擎630的商品识别处理。

[0100] 其次，对有关所述实施例的POS终端11的CPU61按照控制程序执行的根据对象识别引擎620进行的商品识别处理进行说明。根据对象识别引擎620进行的商品识别处理是指，对象识别引擎620抽取包含在帧图像中的商品的特征量，通过计算出相似度来进行商品的识别的处理。

[0101] 图10是表示根据POS终端11的CPU61按照控制程序执行的对象识别引擎进行商品识别的流程的流程图。

[0102] POS终端11的CPU61(商品检测部61)判断有没有从并列控制部612得到帧图像已被保存到RAM163上的通知(步骤S31)。当没有得到帧图像已被保存到RAM613上的通知时(步骤S31的否)，POS终端11的CPU61(商品检测部621)处于等待根据码对象识别引擎620进行商品识别处理的状态。

[0103] 另一方面，当得到帧图像保存在RAM613的通知时(步骤S31的是)，POS 终端11的CPU61(商品检测部621)判断有没有从保存在RAM163上的帧图像中检测出商品(步骤S32)。当未检测商品时(步骤S32的否)，POS终端11 的CPU61(商品检测部621)将过渡到步骤S31。

[0104] 另一方面，当检测商品时(步骤S32的是),POS终端11的CPU61(相似度计算部622)抽取包含在帧图像里的商品的特征量(步骤S33)。

[0105] 其次，POS终端11的CPU61(相似度计算部622)计算出包含在帧图像里的商品的相似度(步骤S34)。

[0106] 其次，POS终端11的CPU61(相似度判定部623)判断存储在HDD64上的自动登记可否信息641上是否被设定为允许自动登记(步骤S35)。当自动登记可否信息614上被设定为禁止自动登记时(步骤S35的否)，POS终端11的 CPU61(相似度判定部623)将过渡到步骤S36。

[0107] 当自动登记可否信息641上被设定为允许自动登记时(步骤S35的是)， POS终端11的CPU61(相似度判定部623)判定PLU文件F1上是否包含相似度大于等于第一阈值的登记商品(步骤S36)。

[0108] 当PLU文件F1上包含相似度大于等于第一阈值的登记商品时(步骤S36 的是)，POS终端11的CPU61(相似度判定部623)将确定商品的商品ID通知给销售登记部614(步骤S37)。

[0109] 另一方面，当PLU文件F1上不包含相似度大于等于第一阈值的登记商品时(步骤S36的否)，POS终端11的CPU61(相似度判定部623)判定将PLU 文件F1上是否包相似度大于等于第二阈值的登记商品(步骤S38)。

[0110] 当PLU文件F1上包含相似度大于等于第二阈值的登记商品时(步骤S38 的是)，POS终端11的CPU61(相似度判定部623)将商品候补的商品ID通知给显示控制部615(步骤S39)。因此，POS终端11的CPU61(显示控制部615) 在显示预设画面G1时，将商品候补按钮B121显示出来变为可能。

[0111] 另一方面，当没有根据计算出的相似度可以作为商品候补列举的商品时(步骤S38的否)，POS终端11的CPU61(相似度判定部623)不进行特殊的处理。

[0112] 根据以上，POS终端11的CPU61结束根据对象识别引擎620的商品识别处理。

[0113] 其次，对与所述实施例有关的POS终端11的CPU61按照控制程序执行的销售登记处理进行说明。

[0114] 图11是表示POS终端11的CPU61根据控制程序进行销售登记处理的流程的流程图。

[0115] POS终端11的CPU61(显示控制部615)显示预设画面G1(步骤S41)。

[0116] 其次，POS终端11的CPU61(输入接受部613)判定是否检测预设画面G1 的预设按钮B2被按下(步骤S42)。当检测预设画面G1的预设按钮B2被按下时(步骤S42的是)，POS终端11的CPU61(销售登记部614)将已关联了预设按钮B2的商品ID的商品进行销售登记(步骤S43)。

[0117] 另一方面，当未检测预设画面G1的预设按钮B2被按下时(步骤S42的否)， POS终端11的CPU61(销售登记部614)判定由码符号读取的商品ID是否被通知(步骤S44)。

[0118] 当由码符号读取的商品ID被通知时(步骤S44的是)，POS终端11的 CPU61(销售登记部614)将得到通知的商品ID的商品进行销售登记(步骤S45)。

[0119] 另一方面，当由码符号读取的商品ID未被通知时(步骤S44的否)，POS 终端11的CPU61(输入接受部613)将判定确定商品的商品ID是否被(指步骤 S46)。

[0120] 当确定商品的商品ID被通知时(步骤S46的是)，POS终端11的CPU61(销售登记部614)将确定商品的商品ID的商品进行销售登记(步骤S47)。

[0121] 另一方面，当确定商品的商品ID未被通知时(步骤S46的否)，POS终端 11的CPU61(输入接受部613)判定是否检测商品候补按钮B121被按下(步骤 S48)。

[0122] 当检测商品候补按钮B121被按下时(步骤S48的是)，POS终端11的CPU61 (销售登记部614)将已关联于商品候补按钮B121的商品ID的商品进行销售登记(步骤S49)。

[0123] 另一方面，当未检测商品候补按钮B121被按下时(步骤S48的否)，POS 终端11的CPU61(输入受部613)判定是否检测商品分类制表(商品分类标签) B1被按下(步骤S50)。

[0124] 当未检测商品分类制表B1被按下时(步骤S50的否)，POS终端11的 CPU61(输入受部613)返回步骤S42。

[0125] 另一方面，当检测商品分类制表B1被按下时(步骤S50的是)，POS终端 11的CPU61(销售登记部614)将显示已关联商品分类制表B1的商品分类的预设画面G1(步骤S51)。此时，POS终端11的CPU61(显示控制部615)将维持对象识别区域G12的显示。

[0126] 接着，POS终端11的CPU61判定是否检测固定键22f被按下(步骤S52)。当未检测固定键22f被按下时(步骤S52的否)，POS终端11的CPU61返回步骤S41。

[0127] 另一方面，当检测固定键22f被按下时(步骤S52的是)，POS终端11的 CPU61对已进行销售登记的商品执行结账处理(步骤S53)。

[0128] 根据以上，POS终端11的CPU61结束销售登记处理。

[0129] 如上所述，根据本实施例中的POS终端11可知，显示控制部615将对象识别引擎620所识别的商品候补显示在预设画面G1上，预设画面G1是能够根据预先与食品进行关联的预设按钮B2进行销售登记，并且销售登记部614将商品候补或预设按钮B2所选择的商品进行销售登记，因此有关本实施例的POS 终端11无需切换画面，从而能够用简单的操作做到根据一般物体识别进行销售登记。

[0130] 此外，对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其等同的范围内。

[0131] 例如，在所述实施例中，虽然设定为POS终端11具有PLU文件F1的形式，但是不仅限于此形式，但是也可以是商品读取装置101具有PLU文件F1 的形式。或者也可以是POS终端11及商品读取装置101可以连接的外部装置具有PLU文件F1的形式。

[0132] 并且，在所述实施例中，作为拥有图像采集部611、并列控制部612、对象识别引擎620、码符号识别引擎630、输入接受部613、销售登记部614、及显示控制部615的功能的信息处理装置，适用了POS终端11。但是并不限于此，具备上述功能的信息处理装置也可以适用将计算结果和/或判定结果输出给 POS终端11的商品读取装置101。并且在所述实施例中，虽然把核对用数据作为特征量进行了说明，但是核对用数据也可以是拍摄的商品图像(基准图像)。

[0133] 并且在所述实施例中，虽然作为店铺系统，适用了POS终端11和商品读取装置101所构成的结账系统1。但是并不限于此，也可以适用集POS终端11 及商品读取装置101的功能于一台的装置。作为集POS终端11及商品读取装置101的功能于一台的装置，可以列举在超市等店铺中设置并使用的自助结账装置(以下成自助POS)。

[0134] 在这里，图12是表示自助POS机的结构的外观立体图。图13是表示自助 POS机的硬盘结构的框图。此外，以下对关于图1及图2所示的相同构成附加同一符号表示，对其重复的说明进行省略。如图12及图13所示，自助POS200 的主机202具有在表面上配置了触摸面板105的第一显示装置106、为了识别 (检测)商品的种类读取商品图像的商品读取部110。

[0135] 第一显示装置106是诸如液晶显示器等。第一显示装置106诸如显示向导画面、输入画面、销售登记画面及结算画面等。向导画面是告知顾客如何使用自助POS200的操作的画面。输入画面是要求输入各种信息的画面。销售登记画面是显示通过商品读取部110读取的商品信息的画面。结算画面是显示商品的合计金额和/或收取金额、找零金额等、并选择支付方法的画面。

[0136] 商品读取部110是顾客将附在商品上的码符号对准商品读取部110的读取窗103，从而由摄像部164读取商品图像的。

[0137] 并且，主机202在右边具有商品放置台203，用来放置装有未结算的商品的购物筐153。主机202在左侧具有放置台204，放置台204具有悬挂放入了已结算商品的袋子用的挂钩205、将已结算商品放入袋子之前临时放置的临时放置台206。商品放置台203、204分别具有计量器207、208，具有在结算前后确认其重量为一致的功能。

[0138] 并且，自助POS200在主机202上具有放入结算用的纸币或领取找零的纸币的找零机201。

[0139] 当将这样的构成的自助POS200适用于店铺时，自助POS200将作为信息处理装置发挥功能。

[0140] 在所述实施例或变形例的各装置被执行的程序虽然是在各装置所具备的存储介质(ROM或存储部)上预先组装好再提供的，但是并不限定于此，也可以采取诸如将可以下载的形式或可以执行的形式的文件储存在CD-ROM、磁盘 (FD)、CD-R、DVD(Digital Versatile Disk)等可以用计算机读取的记录介质上提供的构成。并且存储介质不仅限于计算机或组装系统和独立的介质，还包括通过LAN或网络等传达的程序下载下来进行存储或临时存储的存储介质。

[0141] 并且，也可以是把在所述实施例或其变形例中的各个装置上执行的程序，存储在连接了因特网等网络的计算机上，通过网络进行下载的形式来提供的构成、也可以是通过因特网等网络提供或分发的构成。

[0142] 附图标记说明

[0143] 1 结账系统 11 POS终端 61 CPU 611 图像采集部 612 并列控制部 613 输入接受部 614 销售登记部 615 显示控制部 620 对象识别引擎 621 商品检测部 622 相似度计算部 623 相似度判定部 630 码符号识别引擎 631 码符号检测部 632 码符号读取部 64 HDD 641 自动登记可否信息