基于计算机视觉技术的智能称重装置与智能称重方法

摘要

提供基于计算机视觉技术的智能称重装置与方法。装置包含系统配置组件，被配置为设置智能称重装置的软件参数、硬件参数和商户信息；称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得商品的商品重量信息；视觉传感器，被配置为采集称重平台上放置的商品的视觉信息；识别器，被配置为基于视觉信息、重量信息和识别模型，进行商品识别，获得商品识别结果；识别反馈器，被配置为结合商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台；建模平台，被配置为基于采集的视觉信息、重量信息和用户反馈训练识别模型；商品信息同步组件，被配置为更新商品信息。

权利要求

1.一种基于计算机视觉技术的智能称重装置，包括：系统配置组件，被配置为设置所述智能称重装置的软件参数、硬件参数和商户信息的系统配置；

称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；

视觉传感器，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；

识别器，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；其中所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码；所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算；

识别反馈器，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息；所述识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值；

建模平台，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；训练的识别模型被下发到端、边缘计算、或者云计算平台；

商品信息同步组件，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图商品信息的一种或者多种；所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。

2.根据权利要求1所述的智能称重装置，其中所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数，其中所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数，其中所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式，其中所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信息。

3.根据权利要求1所述的智能称重装置，其中所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式，其中所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。

4.根据权利要求1所述的智能称重装置，其中所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别，

其中所述第二触发器包括人工选择。

5.根据权利要求1所述的智能称重装置，其中收银机的POS系统包含传统收银机和自助收银机的POS系统。

6.根据权利要求1所述的智能称重装置，其中识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品，

其中识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表，

其中识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数；当选择商品为计件商品时，通过自动弹出窗口反馈商品数量。

7.根据权利要求6所述的智能称重装置，其中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台，

其中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面，

其中，所述智能称重装置不包括收银POS系统以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述智能称重装置包括价签打印机。

8.一种用于基于计算机视觉技术的智能称重装置的智能称重方法，包括：利用系统配置组件设置所述智能称重装置的软件参数、硬件参数和商品信息；

利用称重平台放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；

利用视觉传感器响应于第一触发器采集所述称重平台上放置的商品的视觉信息；

利用识别器响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；其中所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算商品总价且生成商品称重条码；所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算；

利用识别反馈器结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息；所述识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值；

利用建模平台基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反馈的数据被应用于识别模型的持续迭代优化；训练的识别模型被下发到端、边缘计算、或者云计算平台；

利用商品信息同步组件更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图商品信息的一种或者多种；所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。

9.一种智能称重方法，包括如下步骤：系统配置，设置软件参数、硬件参数和商品信息的系统配置；

传称同步，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑方式完成商品信息变更；同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息；将包括获取商品名称、货号、称码、价格、计价方式、示例图的商品信息的一种或者多种上传；

商品数据库更新，将上传的信息更新到数据库中；

信息采集，采集商品的视觉信息和重量信息；

结合商品的视觉信息、重量信息训练识别模型；

发布识别模型到识别服务中；

称重商品放置在称重平台上，称重以获得重量信息；称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息；

采集商品的视觉信息；

利用识别服务中的识别模型识别商品种类；利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最小重量的候选识别结果，利用在智能称重装置的上面的计算单元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算；

展示候选识别结果商品信息；展示候选商品信息时，采用基于识别置信度的自适应展示策略，其中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息；

识别反馈，接收用户反馈信息，将确认结果传输到收银POS系统或者条码打印机，并更新到云端训练平台，支持模型的迭代更新；用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值；基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，使用中的用户反馈的数据被应用于识别模型的持续迭代优化；训练的识别模型被下发到端、边缘计算、或者云计算平台；

收银POS系统增加商品信息，或者条码打印机打印价签。

说明书

基于计算机视觉技术的智能称重装置与智能称重方法

技术领域

[0001] 本公开涉及信息处理技术领域，更具体地涉及一种基于计算机视觉技术的智能称重装置与智能称重方法。

背景技术

[0002] 在线下商品销售领域，主要的结算方式是通过扫描商品条形码进行商品识别，进而执行商品结算。这种商品识别和结算效率比较低，导致在人流量大的超市、便利店等地的
比较长时间的排队。

[0003] 对于例如水果、蔬菜之类的没有商品条形码的非标准商品，顾客通常需要将挑选好的商品送至特定的称重台进行称重计量，人工选择商品种类并打印、贴附包含种类、单
价、价格信息的对应的条形码标签，然后顾客拿着条形码标签才能到收银台排队进行结账。
因此，对于没有商品条形码的商品，需要大量的人力来进行结算，导致结算成本升高，并且
不可避免地增加消费者的排队时间。

[0004] 相应地，期望存在一种技术，能够智能地识别和称重没有条形码的商品，并能够根据商品识别结果和称重的结果来便捷地进行商品结算。随着人工智能的发展，尤其是深度
学习的应用，使得通过计算机视觉技术智能的识别各式各样的称重商品，提高称重结算效
率成为可能。

发明内容

[0005] 本公开的实施例提供了基于计算机视觉技术的智能称重装置与方法，其能够根据商品识别结果和称重的结果来便捷地进行商品结算，从而提高商品结算的效率、并减少商
品结算中所消耗的人力成本。

[0006] 根据本公开的一个方面，提供一种基于计算机视觉技术的智能称重装置，包括：

[0007] 系统配置组件，被配置为设置所述智能称重装置的软件参数、硬件参数和商户信息的系统配置；

[0008] 称重平台，被配置为放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；

[0009] 视觉传感器，被配置为响应于第一触发器采集所述称重平台上放置的商品的视觉信息；

[0010] 识别器，被配置为响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；

[0011] 识别反馈器，被配置为结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并
反馈到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，
所述收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；

[0012] 建模平台，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；

[0013] 商品信息同步组件，被配置为更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。

[0014] 在一个实施例中，所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。

[0015] 在一个实施例中，所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。

[0016] 在一个实施例中，所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。

[0017] 在一个实施例中，所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商
品信息。

[0018] 在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发
器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，
且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算
商品总价且生成商品称重条码。

[0019] 在一个实施例中，所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商
品建模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信
息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄
模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了
单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。

[0020] 在一个实施例中，所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识
别。

[0021] 在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设
置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。

[0022] 在一个实施例中，所述第二触发器包括人工选择。

[0023] 在一个实施例中，所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商
品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单
元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。

[0024] 在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其
中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于
预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置
信度时，则增加展示商品识别结果的数量作为候选商品信息。在保障识别召回率的同时，减
少了选择的难度。

[0025] 在一个实施例中，识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确
认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平
台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈
值。

[0026] 在一个实施例中，识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。

[0027] 在一个实施例中，识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表。

[0028] 在一个实施例中，识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修
改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动
弹出窗口反馈商品数量。

[0029] 在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打
印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要
反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。

[0030] 在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。

[0031] 在一个实施例中，所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重
量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量
的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反
馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计算、或
者云不同的计算平台。

[0032] 在一个实施例中，所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和
手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，
同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。

[0033] 在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述
智能称重装置包括价签打印机。

[0034] 根据本公开的另一方面，提供一种用于基于计算机视觉技术的智能称重装置的智能称重方法，包括：

[0035] 利用系统配置组件设置所述智能称重装置的软件参数、硬件参数和商品信息；

[0036] 利用称重平台放置要识别和称重的商品，感知重量和重量的变化，并获得所述商品的商品重量信息；

[0037] 利用视觉传感器响应于第一触发器采集所述称重平台上放置的商品的视觉信息；

[0038] 利用识别器响应于第二触发器来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得商品识别结果；

[0039] 利用识别反馈器结合所述商品识别结果与商品信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机或者收银POS系统，并反馈
到建模平台，其中所述价签打印机被配置为基于所述用户反馈来打印商品称重条码，所述
收银POS系统被配置为根据所述用户反馈来生成商品的收银信息；

[0040] 利用建模平台基于采集的视觉信息、重量信息和使用中的用户反馈的数据训练识别模型；

[0041] 利用商品信息同步组件更新商品信息，包括更新商品名称、货号、称码、价格、计价方式、示例图等商品信息的一种或者多种。

[0042] 在一个实施例中，利用所述系统配置组件设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。

[0043] 在一个实施例中，利用所述系统配置组件设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。

[0044] 在一个实施例中，利用所述系统配置组件设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。

[0045] 在一个实施例中，利用所述系统配置组件设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信
息。

[0046] 在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发
器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，
且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算
商品总价且生成商品称重条码。

[0047] 在一个实施例中，利用所述视觉传感器采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建
模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息
时，利用所述视觉传感器进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的
拍摄模式，在为待识别商品采集视觉信息时，利用所述视觉传感器进行包含了单张拍照模
式、多张连续拍照模式、和视频拍摄模式的拍摄模式。

[0048] 在一个实施例中，所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识
别。

[0049] 在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设
置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。

[0050] 在一个实施例中，所述第二触发器包括人工选择。

[0051] 在一个实施例中，利用所述识别模型利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最
小重量的候选识别结果，所述识别器被配置为利用在智能称重方法的上面的计算单元、临
近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。

[0052] 在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，在利用所述识别反馈器展示候选商品信息时，采用基于识别置信度的自适应展示策略，其中，
当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定
置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度
时，则增加展示商品识别结果的数量作为候选商品信息。

[0053] 在一个实施例中，利用所述识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件
下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈
到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超
过等待阈值。

[0054] 在一个实施例中，识别反馈器包括搜索组件，利用所述搜索组件使得用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。

[0055] 在一个实施例中，识别反馈器包括筛选组件，利用所述筛选组件根据商品识别结果，优先展示相同或相关类别的出清商品列表。

[0056] 在一个实施例中，识别反馈器包括修改价格组件，利用所述修改价格组件接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触
发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商
品时，通过自动弹出窗口反馈商品数量。

[0057] 在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打
印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要
反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。

[0058] 在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。

[0059] 在一个实施例中，利用所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商
品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小
重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用
户反馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计
算、或者云不同的计算平台。

[0060] 在一个实施例中，利用所述商品信息同步组件将更新的商品信息更新到智能称重方法内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机
客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时
支持通过商户内网和外网两种连接方式，更新智能称重方法内的商品信息。

[0061] 在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述
智能称重装置包括价签打印机。

[0062] 根据本公开的另一方面，提供一种智能称重方法，包括如下步骤：系统配置，设置软件参数、硬件参数和商品信息的系统配置；传称同步，将包括获取商品名称、货号、称码、
价格、计价方式、示例图的商品信息的一种或者多种上传；商品数据库更新，将上传的信息
更新到数据库中；信息采集，采集商品的视觉信息和重量信息；结合商品的视觉信息、重量
信息训练识别模型；发布识别模型到识别服务中；称重商品放置在称重平台上，称重以获得
重量信息；采集商品的视觉信息；利用识别服务中的识别模型识别商品种类；展示候选识别
结果商品信息；识别反馈，接收用户反馈信息，将确认结果传输到收银POS系统或者条码打
印机，并更新到云端训练平台，支持模型的迭代更新；收银POS系统增加商品信息，或者条码
打印机打印价签。

附图说明

[0063] 为了更清楚地说明本公开实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实
施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图
获得其他的附图。

[0064] 图1示意性地图示了根据本公开的一个实施例的智能称重装置的模块图。

[0065] 图2示意性地图示了根据本公开的一个实施例的智能称重装置外形结构图。

[0066] 图3示意性地图示了根据本公开的一个实施例的智能称重方法的流程图。

[0067] 图4示意性地图示了根据本公开的另一个实施例的智能称重方法的流程图。

具体实施方式

[0068] 下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公
开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例，都属于本公开保护的范围。

[0069] 通常情况下，顾客在超市中挑选了水果或蔬菜(并用包装袋包装)之后，要在指定的称重机器上进行称重，店员会用肉眼识别顾客挑选的水果或蔬菜的种类，并录入对应的
商品编号，并由称重机器在称重的同时打印标识该水果或蔬菜的种类、重量、单价和/或总
价的条形码，并贴于挑选的水果或蔬菜上(或包装水果或蔬菜的包装袋)上。顾客需要拿着
贴有条形码的水果或蔬菜(或包装水果或蔬菜的包装袋)到收银台再进行刷条形码并付款
的动作。整个过程非常繁琐和复杂。

[0070] 本公开的技术可以不需要在人工识别商品、称重并在商品上人工黏贴识别商品和称重重量的条形码和让顾客在收银时扫条形码的情况下，就能够自动识别和称重商品并获
得商品结算数据等。如此可以在要对实际商品进行结算时，利用商品的图像、商品的重量和
商品识别模型在称重的同时智能地识别商品，并生成商品结算结果，整个过程可以没有专
职的称重员人工参与，提高了商品称重和结算的效率、并减少商品称重和结算中所消耗的
人力成本。本公开的技术方案可以为各种商品销售场所中的商品销售，包括但不限于商场、
超市、菜市场、面包店、各类零售食品店等。

[0071] 另外，不同商品销售场所中和不同时期销售的同一商品可能存在各自的独特性，比如都是橘子，但是不同商品销售场所中销售的不同品种的橘子或甚至相同品种的橘子在
外形、大小、重量等特征方面也可能不同，或者同一商品销售场所中在不同的时期销售的橘
子可能在其外形、大小、重量等特征方面也不同。如果利用已有或不变的商品识别模型可能
无法准确地有差别地识别这些商品。另外，在有些情况下，也可能已有或不变的商品识别模
型是简单、粗略的，比如利用一些普通的橘子照片来训练得到的，这样的商品识别模型，如
果直接应用于具体的商品销售场所中，也可能得出错误的商品识别结果。另外，也可能出现
已有的商品识别模型中无法识别的一些新的商品，比如新品种的橘子或以前没有售卖过的
某种商品，由于在已有的商品识别模型中没有训练过这些商品的图像，因此也可能无法识
别出该商品或得出错误的商品识别结果。如果在智能商品识别和称重的产品销售到商品销
售场所之后，还要由技术人员经常去现场更新商品识别模型，则可能导致效率低下和繁琐。

[0072] 接下来要介绍的示例仅是相应的具体例子，而不作为限制本公开的实施例必须为示出和描述的具体的外形、硬件、连接关系、步骤、数值、条件、数据、顺序等等。本领域技术
人员可以通过阅读本说明书来运用本公开的构思来构造本说明书中未提到的更多实施例。

[0073] 图1示意性地图示了根据本公开的一个实施例的智能称重装置的模块图。智能称重装置100包括:系统配置组件101，被配置为设置所述智能称重装置的软件参数、硬件参数
和商品信息；称重平台102，被配置为放置要识别和称重的商品，感知重量和重量的变化，并
获得所述商品的商品重量信息；视觉传感器103，被配置为响应于第一触发器采集所述称重
平台上放置的商品的视觉信息；识别器104，被配置为响应于第二触发器来基于所述视觉信
息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终止商品识别以获得
商品识别结果；识别反馈器105，被配置为结合所述商品识别结果与商品信息，展示候选商
品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签打印机106或者收
银POS系统107，并反馈到建模平台108，其中所述价签打印机106被配置为基于所述用户反
馈来打印商品称重条码，所述收银POS系统107被配置为根据所述用户反馈来生成商品的收
银信息；建模平台108，被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数
据训练识别模型；商品信息同步组件109，被配置为更新商品信息，包括更新商品名称、货
号、称码、价格、计价方式、示例图等商品信息的一种或者多种自助收银机的POS系统。

[0074] 而在本公开的实施例的技术方案中，可以在没有初始地训练图像和建立商品识别模型或只建立了简单的商品识别模型的情况下，通过实际采集的商品的图像、和对商品的
确认作为用户反馈来在实际运行过程中逐渐建立和完善商品识别模型，称重使用即学习的
过程，简化了机器学习的流程。提供用户反馈来确认商品识别模型的识别结果是否准确并
反馈给商品识别模型以进一步优化该模型，使用过程非常简单、顾客和商品销售场所的体
验更好。在具体的使用过程中，在完成实际商品的商品识别之后，也可以将针对实际商品采
集的商品图像和对商品的确认作为训练图像，并进一步利用该训练图像执行学习，从而强
化商品识别模型的学习，以提高商品识别的准确性，节省了单独学习训练图像并建立商品
识别模型的时间和成本。商品销售场所购买了搭载该技术的产品之后可以直接在使用该产
品称重和收银的同时来训练和完善符合商品销售场所自身特点的商品识别模型。另外，还
可以加入称重的重量结果来进一步优化商品识别模型本身或优化商品识别模型识别结果。

[0075] 在一个实施例中，所述系统配置组件被配置为设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。

[0076] 在一个实施例中，所述系统配置组件被配置为设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。预览分辨率表示预览摄像
头图像的分辨率。

[0077] 如果截取主体区域，则例如裁剪掉所述商品的图像中主体外的区域。

[0078] 主体区域截图参数可以用来截取所采集的图像的主体区域，例如利用主体区域截图参数定义要截取的主体区域的坐标等。在一些实施例中，例如，可以通过裁剪掉所述商品
的图像中所述称重平台外的区域，可以减少称重平台外的例如手、塑料袋等干扰导致识别
或训练的图像产生误差。或者，可以通过识别所述商品的图像中的商品前景和周围的背景，
并裁剪掉所述商品的图像中所述商品周围的背景，使得可以过滤掉商品周围(并非只是称
重平台外)的例如手、塑料袋等干扰导致识别或训练的图像产生误差。当然，装有塑料袋或
其他包装的商品的图像也可以作为整体用来识别或训练。

[0079] 在一个实施例中，所述系统配置组件被配置为设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。不去皮重表示当前称重都不
需要去掉配置皮重(商品的皮的重量)。一次性去皮重，是当前称重需要去掉配置皮重。连续
去皮重，即针对被配置的商品，后续的每一次称重都自动去掉配置皮重。

[0080] 在一个实施例中，所述系统配置组件被配置为设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商
品信息。

[0081] 在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发
器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，
且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算
商品总价且生成商品称重条码。例如当称重平台获得的重量发生变化、且重量不为零时，例
如有东西放到称重平台上时，视觉传感器才开始采集商品的视觉信息，识别器才开始进行
商品识别，这样可以避免视觉传感器采集到不需要称重的东西的干扰的图像、比如晃动过
去的手等，也可以节省视觉传感器和识别器的电力。

[0082] 在一个实施例中，所述视觉传感器被配置为采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商
品建模采集视觉信息；以及为待识别商品采集视觉信息。其中，在为新商品建模采集视觉信
息时，所述视觉传感器被配置为进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄
模式的拍摄模式，在为待识别商品采集视觉信息时，所述视觉传感器被配置为进行包含了
单张拍照模式、多张连续拍照模式、和视频拍摄模式的拍摄模式。

[0083] 在一个实施例中，所述第二触发器包括所述采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识别。如此，
根据视觉传感器采集的视觉信号的内容变化，识别器才开始进行商品识别，这样也可以避
免干扰且节省识别器的电力。

[0084] 在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设
置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。

[0085] 在一个实施例中，所述第二触发器包括人工选择。即，人工开始识别器的商品识别。

[0086] 在一个实施例中，所述识别模型被配置为利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商
品最小重量的候选识别结果，所述识别器被配置为利用在智能称重装置的上面的计算单
元、临近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。

[0087] 比如某些特定的商品，形状和花纹差不多的西瓜，普通的大西瓜和小的麒麟瓜是两种不同的品种，如果商品识别模型的识别结果是普通的大西瓜和小的麒麟瓜两种结果，
但是称重平台获得的重量明显小于普通的大西瓜的最小重量，则可以过滤掉商品识别结果
中的大西瓜，剩下小的麒麟瓜的识别结果，或者如果商品识别模型的识别结果是普通的大
西瓜，则将商品识别结果从普通的大西瓜改变为小的麒麟瓜，如此可以更准确地区分通常
大小不同的两种西瓜品种。过滤或改变后的商品识别结果单独或与当前采集的该商品的图
像(和称重平台获得的重量)一起也可以输入回到商品识别模型中，进一步训练或更新该商
品识别模型，以便下一次商品识别的时候能够更准确地识别。

[0088] 在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，所述识别反馈器展示候选商品信息时，被配置为采用基于识别置信度的自适应展示策略，其
中，当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的(例如，少
量的)具有高于预定置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置
信度低于预定置信度时，则增加展示商品识别结果的数量作为候选商品信息。在保障识别
召回率的同时，减少了选择的难度。

[0089] 在一个实施例中，识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件下，自动确
认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈到建模平
台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈
值。

[0090] 在此，例如识别反馈器显示了商品识别模型识别的候选商品识别结果，此时可能由于该商品识别模型还未建立完善，或者是简单训练得到的，可能会识别出较多的商品识
别结果，或者不准确的商品识别结果，例如，识别出普通有籽西瓜、无籽西瓜等，此时收银员
或顾客可以在识别反馈器通过交互行为选择实际的商品种类，以确认商品。该识别反馈器
可以是触摸显示屏，包括电阻式、电容感应式、红外线式以及表面声波式等，也可以是其他
智能人机交互器，例如语音识别接口，还可以包括当今正在开发或以后出现的人机交互器。
如果此时的商品识别结果中没有实际的商品种类，则收银员或顾客也可以通过搜索数据库
来确认商品。收银员或顾客也可以用识别反馈器来修改商品价格，返回系统配置等等。

[0091] 在一个实施例中，识别反馈器包括搜索组件，被配置为用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。

[0092] 在一个实施例中，识别反馈器包括筛选组件，被配置为根据商品识别结果，优先展示相同或相关类别的出清商品列表。出清商品列表即打折等方式促销商品列表。

[0093] 在一个实施例中，识别反馈器包括修改价格组件，被配置为接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触发弹出价格修
改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商品时，通过自动
弹出窗口反馈商品数量。如此，可以通过简单的交互动作容易地改变商品的单价、总价、或
者折扣系数、数量等。

[0094] 在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打
印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要
反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。

[0095] 在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。如此，可以通过简单的交互动作来返回系统设置的界
面。

[0096] 在一个实施例中，所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商品重
量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小重量
的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用户反
馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计算、或
者云不同的计算平台。

[0097] 在一个实施例中，所述商品信息同步组件被配置为将更新的商品信息更新到智能称重装置内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和
手机客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，
同时支持通过商户内网和外网两种连接方式，更新智能称重装置内的商品信息。

[0098] 在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接。如此可以作为视觉称重插件，与商家的收银POS
系统即插即用。或所述智能称重装置包括收银POS系统，以便作为一个整体的视觉称重收款
一体机使用。或所述智能称重装置包括价签打印机，以便打印价签，供顾客称重后拿着价签
去收银POS机处扫描价签以便付款。

[0099] 本智能称重装置中的识别反馈器可以是触摸显示屏，或者本智能称重装置中也可以不包括触摸显示屏，而是作为插件与具有触摸显示屏或其他用户接口的其他设备相连
接。

[0100] 本方案首次建立了完整的识别模型迭代闭环，保障了识别模型在使用中的持续迭代和优化，实现了称重商品高效准确的识别；首次将智能称重与收银台结合，实现了高效的
银称合一解决方案。

[0101] 图2示意性的图示了根据本公开的一个实施例的智能称重装置外形结构图。该智能称重装置200可以包括：底盘205；称重平台201，与底盘205相连接，用于对放置在其上的
商品206(例如苹果)进行称重；支撑杆204，与底盘205相连接；视觉传感器202，设置在所述
称重平台201上或所述称重平台201之外、或设置在与所述称重平台201的底盘205相连的支
撑杆204上，例如如图2所示，设置在支撑杆204的上部上，其采集范围覆盖所述称重平台201
或其周围区域的至少一部分，例如如图2所示，覆盖称重平台201的俯视平面。

[0102] 智能商品识别和称重结构200还可以包括：人机交互器203，其被设置与所述支撑杆204可移除地相连接，且可相对于所述支撑杆调整位置，以便于使用该智能商品识别和称
重结构200的用户查看该人机交互器203上显示的内容并操作该人机交互器203。

[0103] 图2中所示的底盘205、称重平台201、支撑杆204、人机交互器203的位置、形状和大小仅是示例，并非限制，是可以根据实际情况而改变的。例如底盘205的尺寸可以大于称重
平台201，以达到获得更好的重心，保持整个结构的稳定，支撑杆204可以不是L型，而是垂直
杆，图像采集组件202的位置可以不位于支撑杆204的顶上，而是支撑杆204的直角处，而且
人机交互器203也可以不是位于支撑杆204的一边，而是其中心位于支撑杆204上使得人机
交互器203居中。这些结构之间的连接方式也可以采用现有的连接方式，可以是固定连接，
也可以是可移除或可旋转地连接。

[0104] 在该底盘205或支撑杆204的内部或外部或与之相连接的部位还可以设置与称重平台、图像采集组件202、人机交互器203一起实现智能商品识别和称重功能和方法的芯片
或集成电路或功能模块。

[0105] 上述的各个组成器件是示意性的，根据需要可以删除部分器件，或者增加其它器件。例如，可以增加麦克风、语音识别装置和扬声器，被配置为在与用户进行语音交互，以执
行各种控制。增加价签打印机，支持打印价签。增加USB连接线、串口数据线、网线等各种连
接线，支持数据的传输。

[0106] 图3示意性地图示了根据本公开的一个实施例的智能称重方法300的流程图。

[0107] 智能称重方法300包括：步骤301，利用系统配置组件设置所述智能称重装置的软件参数、硬件参数和商品信息；步骤302，利用称重平台放置要识别和称重的商品，感知重量
和重量的变化，并获得所述商品的商品重量信息；步骤303，利用视觉传感器响应于第一触
发器采集所述称重平台上放置的商品的视觉信息；步骤304，利用识别器响应于第二触发器
来基于所述视觉信息、所述重量信息和识别模型，进行商品识别，且响应于第三触发器来终
止商品识别以获得商品识别结果；步骤305，利用识别反馈器结合所述商品识别结果与商品
信息，展示候选商品信息，并接收用户反馈，将所述用户反馈确认后的商品信息传输到价签
打印机或者收银POS系统，并反馈到建模平台，其中所述价签打印机被配置为基于所述用户
反馈来打印商品称重条码，所述收银POS系统被配置为根据所述用户反馈来生成商品的收
银信息；步骤306，利用建模平台基于采集的视觉信息、重量信息和使用中的用户反馈的数
据训练识别模型；步骤307，利用商品信息同步组件更新商品信息，包括更新商品名称、货
号、称码、价格、计价方式、示例图等商品信息的一种或者多种。

[0108] 在一个实施例中，利用所述系统配置组件设置包含了称重平台和价签打印机的不同硬件型号选择的硬件参数。

[0109] 在一个实施例中，利用所述系统配置组件设置包含了设置视觉传感器的硬件参数，包含预览分辨率、是否截取主体区域、主体区域截图参数。

[0110] 在一个实施例中，利用所述系统配置组件设置包含了称重平台皮重设置的硬件参数，包括不去皮重、一次性去皮重和连续去皮重三种模式。

[0111] 在一个实施例中，利用所述系统配置组件设置包含了商户选择、门店选择和商品管理的软件参数，其中，商品管理包含了名称、编码、价格、配图的用于浏览和编辑的商品信
息。

[0112] 在一个实施例中，所述第一触发器包括称重平台感知到重量发生变化且重量不为零时，以自动触发视觉传感器采集所述称重平台上放置的商品的视觉信息，所述第二触发
器包括称重平台感知到重量发生变化且重量不为零时，以自动触发识别器进行商品识别，
且所述第三触发器包括重量信号稳定，以将稳定的重量信号作为商品重量信息，用于计算
商品总价且生成商品称重条码。

[0113] 在一个实施例中，利用所述视觉传感器采集所述称重平台上放置的商品的视觉信息，其中所述视觉信息包括图像和视频中的至少一种，该视觉传感器被配置为为新商品建
模采集视觉信息；以及为待识别商品采集视觉信息，其中，在为新商品建模采集视觉信息
时，利用所述视觉传感器进行包含了单张拍照模式、多张连续拍照模式、和视频拍摄模式的
拍摄模式，在为待识别商品采集视觉信息时，利用所述视觉传感器进行包含了单张拍照模
式、多张连续拍照模式、和视频拍摄模式的拍摄模式。

[0114] 在一个实施例中，所述第二触发器包括所述视觉传感器采集的视觉信号的内容变化，以触发所述识别器进行商品识别，所述第三触发器包括视觉信号的稳定，以终止商品识
别。

[0115] 在一个实施例中，所述视觉传感器位于所述称重平台上方，或者侧面，以能够以高于预定清晰度的清晰度来感知称重平台上的商品视觉信息，当视觉传感器的硬件参数被设
置为截取主体区域时，根据主体区域截图参数来截取所采集的视觉信息的主体区域。

[0116] 在一个实施例中，所述第二触发器包括人工选择。

[0117] 在一个实施例中，利用所述识别模型利用基于深度学习的计算机视觉技术，结合商品重量信息，做条件过滤或者统计回归，来过滤掉重量大于商品最大重量或小于商品最
小重量的候选识别结果，所述识别器被配置为利用在智能称重方法的上面的计算单元、临
近的边缘计算单元、或者云端计算单元来完成商品识别的识别计算。

[0118] 在一个实施例中，所述收银POS系统包含传统收银机和自助收银机的POS系统，在利用所述识别反馈器展示候选商品信息时，采用基于识别置信度的自适应展示策略，其中，
当商品识别结果的识别置信度高于预定置信度时，则只展示低于预定数量的具有高于预定
置信度的商品识别结果作为候选商品信息，当商品识别结果的识别置信度低于预定置信度
时，则增加展示商品识别结果的数量作为候选商品信息。

[0119] 在一个实施例中，利用所述识别反馈器接收用户反馈的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置；用户反馈的交互行为包括在预定条件
下，自动确认商品识别结果，用户反馈被自动传输到价签打印机或者收银POS系统，并反馈
到建模平台，其中所述预定条件包括识别置信度超过自动发布阈值，或者用户反馈时间超
过等待阈值。

[0120] 在一个实施例中，识别反馈器包括搜索组件，利用所述搜索组件使得用户使用商品名称首字母或者编码进行搜索，同时展示热搜候选商品。

[0121] 在一个实施例中，识别反馈器包括筛选组件，利用所述筛选组件根据商品识别结果，优先展示相同或相关类别的出清商品列表。

[0122] 在一个实施例中，识别反馈器包括修改价格组件，利用所述修改价格组件接收长按候选商品信息的商品信息展示卡片或者卡片中的商品图标、名称的元素的交互动作，触
发弹出价格修改标签，以便用户修改商品单价、总价、或者折扣系数。当选择商品为计件商
品时，通过自动弹出窗口反馈商品数量。

[0123] 在一个实施例中，当确认后的商品信息需要传递到收银POS系统时，确认后的商品信息通过有线或者无线的方式传输到POS系统，或当确认后的商品信息需要传递到价签打
印机时，确认后的商品信息通过有线方式传输到价签打印机，或当确认后的商品信息需要
反馈到建模平台时，通过有线或者无线网络的方式上传到云端的建模平台。

[0124] 在一个实施例中，当需要返回系统设置的界面时，通过屏幕从左往右，或者从上往下滑动的方式，返回系统设置的界面。

[0125] 在一个实施例中，利用所述建模平台被配置为基于采集的视觉信息、重量信息和使用中的用户反馈的数据，采用基于深度学习的计算机视觉技术来训练识别模型，其中，商
品重量信息被应用于设置重量过滤规则，以过滤掉重量大于商品最大重量或小于商品最小
重量的商品识别结果，或者被应用于统计商品重量分布模型，以辅助商品识别；使用中的用
户反馈的数据被应用于识别模型的持续迭代优化；被训练的识别模型被下发到端、边缘计
算、或者云不同的计算平台。

[0126] 在一个实施例中，利用所述商品信息同步组件将更新的商品信息更新到智能称重方法内以支持候选商品信息的展示，其中所述商品信息同步组件，包含windows程序和手机
客户端两种形式，通过数据库对接、上传文件、手工编辑的方式完成商品信息的更新，同时
支持通过商户内网和外网两种连接方式，更新智能称重方法内的商品信息。

[0127] 在一个实施例中，所述智能称重装置不包括收银POS系统和价签打印机以作为一个完整的整体，与外部的收银POS系统连接；或所述智能称重装置包括收银POS系统；或所述
智能称重装置包括价签打印机。

[0128] 本方案首次建立了完整的识别模型迭代闭环，保障了识别模型在使用中的持续迭代和优化，实现了称重商品高效准确的识别；首次将智能称重与收银台结合，实现了高效的
银称合一解决方案。

[0129] 图4示意性地图示了根据本公开的另一个实施例的智能称重方法400流程图。如图所示，智能称重方法400包括如下步骤：S401，系统配置，设置软硬件参数和商户信息；S402，
传称同步，将商品信息包括获取商品名称、货号、称码、价格、计价方式、示例图等商品信息
的一种或者多种上传；S403，商品数据库更新，将S402上传的信息更新到数据库中；S404，信
息采集，采集商品的视觉信息和重量信息；S405，结合商品的视觉信息、重量信息训练识别
模型；S406，发布识别模型到识别服务中；S407，称重商品放置在称重平台上，称重以获得重
量信息；S408，采集商品的视觉信息；S409，利用识别服务中的识别模型识别商品种类；
S410，展示候选识别结果商品信息；S411，识别反馈，接收用户反馈信息，将确认结果传输到
POS系统或者条码打印机，并更新到云端训练平台，支持模型的迭代更新。S412，收银POS系
统增加商品信息，或者条码打印机打印价签。

[0130] 在一个实施例中，S401系统配置，包含了硬件参数设置，软件参数设置和商户信息设置。硬件参数设置包含了称重平台、价签打印机不同硬件型号选择。硬件参数设置也包含
了视觉传感器设置，包含预览分辨率、是否截取主体区域、主体区域截图参数等。硬件参数
设置还包含了称重平台皮重设置，包括不去皮重、一次性去皮重和连续去皮重三种模式。软
件参数设置包含了商户选择、门店选择和商品管理。其中，商品管理又包含了商品信息如名
称、编码、价格、配图等的浏览和编辑。

[0131] 在一个实施例中，S402传称同步，包含windows程序和手机客户端两种形式，通过数据库对接、上传文件、手工编辑各种方式完成商品信息变更。同时支持通过商户内网和外
网两种连接方式，更新智能称重装置内的商品信息。同步的信息包括商品名称、货号、称码、
价格、计价方式、示例图等商品信息的一种或者多种。

[0132] 在一个实施例中，S403，商品数据库更新，商品数据库可以部署在商户内网，通过商户内网更新智能称重装置内的商品信息。

[0133] 在一个实施例中，S403，商品数据库更新，商品数据库可以部署在云端，通过外网更新智能称重装置内的商品信息。

[0134] 在一个实施例中，S404，信息采集通过单张拍照模式采集商品图像；在一个实施例中，S404，信息采集通过单张拍照模式，采集商品图像；在一个实施例中，S404，信息采集通
过多张连续拍照模式，采集商品图像；在一个实施例中，S404，信息采集通过视频拍摄模式
采集商品图像。在一个实施例中，S404，信息采集，基于系统配置截取视觉信息主体区域。在
一个实施例中，S404，信息采集，同时采集商品重量信息。

[0135] 在一个实施例中，S405，基于商品的视觉信息，通过基于深度学习的计算机视觉技术学习商品识别模型。商品视觉信息可以来自于采集数据，也可以来自于回流数据，或者来
自于它们的组合。在一个实施例中，商品重量信息被应用于建立条件过滤模型，过滤掉重量
大于商品最大重量或小于商品最小重量的候选识别结果。

[0136] 在一个实施例中，S406，发布模型到智能称重装置端上面的计算单元，利用终端计算单元完成识别计算；在一个实施例中，S406，发布模型到边缘计算单元，利用临近商户的
边缘计算单元完成识别计算；在一个实施例中，S406，发布模型到云端服务器，利用云端服
务器完成识别计算。

[0137] 在一个实施例中，S407称重，感知重量变化，并获得商品重量。重量信号变化作为识别触发器，在重量发生变化且重量不为零时，自动触发视觉传感器采集视觉信号，识别器
进行商品识别。重量信号稳定作为识别结束的判断条件之一，稳定的重量信号作为商品重
量，用于计算商品总价，生成商品条码信息。

[0138] 在一个实施例中，S408商品视觉信息采集，在重量发生变化时开始采集商品图像，并将商品图像与重量传入S409商品识别。S409基于商品图像和重量，通过视觉模型和重量
模型预测商品类别。在商品重量和图像稳定的时候，识别停止，产出候选商品列表及其置信
度。

[0139] 在一个实施例中，S410商品展示，采用一种基于识别置信度的自适应展示策略，当识别结果置信度高时，则只展示少量高置信度结果，当识别结果置信度低时，则增加展示数
量。在保障识别召回率的同时，减少了选择的难度。

[0140] 在一个实施例中，S411识别反馈，用户对识别结果的交互行为包括点击确认、重新识别、搜索、筛选、修改价格、以及返回系统配置。其中，搜索组件被配置为用户可以使用商
品名称首字母或者编码进行搜索，同时展示热搜候选商品，提高用户搜索效率。筛选组件被
被配置为会根据商品识别结果，优先展示相似类别的出清商品列表，提高用户筛选效率。修
改价格组件被配置为长按商品信息展示卡片或者卡片中的商品图标、名称等元素，触发弹
出价格修改标签，可以修改商品单价、总价、或者折扣系数。当商品为计件商品时，通过自动
弹出窗口反馈商品数量。当需要返回系统设置时，通过屏幕从左往右，或者从上往下滑动的
方式，返回系统设置的界面。

[0141] 在一个实施例中，S411识别反馈，识别结果可以自动确认，识别置信度超过自动发布阈值，或者用户反馈时间超过等待阈值时，相应结果自动传输到价签打印机或者POS系
统，并反馈到建模平台。

[0142] 在一个实施例中，S411识别反馈，当商品信息需要传递到POS系统时，确认后的商品信息通过有线的方式传输到POS系统。

[0143] 在一个实施例中，S411识别反馈，当商品信息需要传递到POS系统时，确认后的商品信息通过软件通信的方式传输到POS系统。

[0144] 在一个实施例中，S411识别反馈，当商品信息需要传递到价签打印机时，确认后的商品信息通过有线方式传输到价签打印机。

[0145] 在一个实施例中，S411识别反馈，当用户反馈信息需要上传到建模平台时，通过无线网络的方式上传到云端平台。在一个实施例中，S411识别反馈，当用户反馈信息需要上传
到建模平台时，通过有线网络的方式上传到云端平台。

[0146] 在一个实施例中，S401，POS系统增加商品信息，支持进一步的收银动作；在一个实施例中，S412，条码打印机打印价签，支持用户通过扫码方式录入POS系统。

[0147] 本方案首次建立了完整的识别模型迭代闭环，保障了识别模型在使用中的持续迭代和优化，实现了称重商品高效准确的识别；首次将智能称重与收银台结合，实现了高效的
银称合一解决方案。

[0148] 当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本公开的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本公开的效果，
这种合并和组合而成的实施例也被包括在本公开中，在此不一一描述这种合并和组合。

[0149] 注意，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了
示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体
的细节来实现。

[0150] 本公开中涉及的系统、方法、装置的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，
可以按任意方式连接、布置、配置这些系统、方法、装置。诸如“包括”、“包含”、“具有”等等的
词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”
指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸
如”指词组“诸如但不限于”，且可与其互换使用。

[0151] 本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以
按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不
意图限制步骤的顺序；这些词语仅被配置为引导读者通读这些方法的描述。此外，例如使用
冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

[0152] 另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本公开的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以
构思新的实施例，而这些新的实施例也包括在本公开的范围内。