层板调控设备、方法及装置转让专利

申请号 : CN202110472385.1

文献号 : CN112990138B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 周剑明泉水廖耿耿宋启恒郑辉

申请人 : 支付宝(杭州)信息技术有限公司

摘要 :

本发明公开了一种层板调控设备、方法及装置,应用于售卖货柜,其中,售卖货柜内部的储物空间被层板划分为多个储物层,层板调控设备包括:设置于各储物层顶测的摄像头、主控模块和升降模块;其中,摄像头在售卖货柜的柜门被打开时采集自身所在储物层的第一图像,以及在售卖货柜的柜门被关闭时采集自身所在储物层的第二图像和第三图像;其中,第一图像和第二图像包括储物层的平面图像信息,第三图像包括储物层的深度图像信息;主控模块,根据摄像头所采集的图像确定待移动层板以及待移动层板的移动信息;升降模块与各层板相连,根据待移动层板的移动信息控制待移动层板移动。

权利要求 :

1.一种层板调控设备,应用于售卖货柜,其中,所述售卖货柜内部的储物空间被层板划分为多个储物层,所述设备包括:设置于每个所述储物层顶侧的摄像头;所述摄像头在所述售卖货柜的柜门被打开时采集自身所在储物层的第一图像,以及在所述售卖货柜的柜门被关闭时采集自身所在储物层的第二图像和第三图像;所述第一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的深度图像信息;

主控模块,其根据各所述摄像头所采集的所述第一图像、所述第二图像和所述第三图像,确定所述层板中的待移动层板以及所述待移动层板的移动信息;

升降模块,其与各所述层板相连,根据所述待移动层板的移动信息控制所述待移动层板移动。

2.根据权利要求1所述设备,

所述主控模块,其根据各所述摄像头所采集的所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层;以及,根据各所述摄像头所采集的所述第三图像和所述第一目标储物层,确定所述层板中用于使所述第一目标储物层的空间变大的待移动层板以及所述待移动层板的移动信息。

3.根据权利要求1所述的设备,所述主控模块,当检测到所述售卖货柜的柜门被打开的开门信号时,根据所述开门信号的第一检测时间发送第一图像获取请求给各所述摄像头;以及,当检测到所述售卖货柜的柜门被关闭的关门信号时,根据所述关门信号的第二检测时间发送第二图像获取请求给各所述摄像头;

所述摄像头,在接收到所述第一图像获取请求时,根据所述第一检测时间在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第一图像;以及,在接收到所述第二图像获取请求时,根据所述第二检测时间在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第二图像和所述第三图像。

4.根据权利要求2所述的设备,所述主控模块,其确定每个储物层对应的所述第一图像和所述第二图像;以及,对每个储物层对应的所述第一图像和所述第二图像进行差分处理,得到每个储物层对应的差分图像;

对每个储物层对应的差分图像进行二值化处理,得到每个储物层对应的二值化图像;

在所述二值化图像中确定符合预设条件的目标二值化图像;

将所述目标二值化图像所对应的储物层作为被操作商品所在的第一目标储物层。

5.根据权利要求2所述的设备,所述主控模块,其确定每个储物层对应的所述第三图像;以及,在每个储物层对应的所述第三图像所包括的商品中,获取商品顶部与商品所在储物层的顶部之间的垂直距离最小的目标商品;

将所述目标商品的顶部与所述目标商品所在储物层的顶部之间的垂直距离,作为所述目标商品所在储物层的剩余层高;

根据所述储物层的剩余层高,确定所述层板中用于使所述第一目标储物层的空间变大的待移动层板以及所述待移动层板的移动信息。

6.根据权利要求5所述的设备,所述主控模块,若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在具有非零可移动距离的储物层,则根据所述具有非零可移动距离的储物层与所述第一目标储物层的位置关系,确定待移动层板;以及,根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;

根据所述待移动层板所对应的储物层的可移动距离,确定所述待移动层板的实际移动距离;

将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息;

或者,

若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在距离所述第一目标储物层最近、且可移动的总距离不小于预设距离的第二目标储物层,则根据所述第二目标储物层,确定待移动层板;以及,根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;

根据所述第二目标储物层的可移动距离,确定所述待移动层板的实际移动距离;

将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息。

7.根据权利要求1所述的设备,所述升降模块包括:驱动单元、导轨和滚轮,其中,所述滚轮设置于各所述层板的侧面;

所述主控模块,根据所述待移动层板的移动信息和层板标识,发送层板移动指令给所述驱动单元;

所述驱动单元,其输出端与各所述层板相连,在接收到所述层板移动指令时,根据所述移动信息驱动所述层板标识所对应的待移动层板通过其侧面设置的滚轮沿所述导轨移动。

8.根据权利要求2所述的设备,所述主控模块,在所述升降模块控制所述待移动层板移动之后,获取所述第一目标储物层的第四图像,其中,所述第四图像包括所述第一目标储物层的平面图像信息;以及,根据所述第一目标储物层对应的所述第一图像和所述第四图像确定被购买商品;

将所述被购买商品的商品信息发送给对应的消费者;

所述升降模块,还控制所述待移动层板复原至移动前的位置。

9.一种层板调控方法,应用于售卖货柜,其中,所述售卖货柜内部的储物空间被层板划分为多个储物层,所述方法包括:获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像;其中,所述第一图像、所述第二图像和所述第三图像均由设置于各所述储物层顶侧的摄像头,采集自身所在储物层中放置的商品而得;所述第一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的深度图像信息;

根据所述第一图像、所述第二图像和所述第三图像,确定所述层板中的待移动层板以及所述待移动层板的移动信息;

根据所述待移动层板的移动信息,控制所述待移动层板移动。

10.根据权利要求9所述的方法,所述第一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的深度图像信息;

所述根据所述第一图像、所述第二图像和所述第三图像,确定所述层板中的待移动层板以及所述待移动层板的移动信息,包括:根据所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层;

根据所述第三图像和所述第一目标储物层,确定所述层板中用于使所述第一目标储物层的空间变大的待移动层板以及所述待移动层板的移动信息。

11.根据权利要求10所述的方法,所述获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像,包括:当检测到所述售卖货柜的柜门被打开的开门信号时,根据所述开门信号的第一检测时间发送第一图像获取请求给各所述摄像头,以使各所述摄像头根据所述第一检测时间在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第一图像;

当检测到所述售卖货柜的柜门被关闭的关门信号时,根据所述关门信号的第二检测时间发送第二图像获取请求给各所述摄像头,以使各所述摄像头根据所述第二检测时间在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第二图像和所述第三图像。

12.根据权利要求10所述的方法,所述根据所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层,包括:确定每个储物层对应的所述第一图像和所述第二图像;

对每个储物层对应的所述第一图像和所述第二图像进行差分处理,得到每个储物层对应的差分图像;

对每个储物层对应的差分图像进行二值化处理,得到每个储物层对应的二值化图像;

在所述二值化图像中确定符合预设条件的目标二值化图像;

将所述目标二值化图像所对应的储物层作为被操作商品所在的第一目标储物层。

13.根据权利要求10所述的方法,所述根据所述第三图像和所述第一目标储物层,确定所述层板中用于使所述第一目标储物层的空间变大的待移动层板以及所述待移动层板的移动信息,包括:

确定每个储物层对应的所述第三图像;

在每个储物层对应的所述第三图像所包括的商品中,获取商品顶部与商品所在储物层的顶部之间的垂直距离最小的目标商品;

将所述目标商品的顶部与所述目标商品所在储物层的顶部之间的垂直距离,作为所述目标商品所在储物层的剩余层高;

根据所述储物层的剩余层高,确定所述层板中用于使所述第一目标储物层的空间变大的待移动层板以及所述待移动层板的移动信息。

14.根据权利要求13所述的方法,所述根据所述储物层的剩余层高,确定所述层板中的待移动层板以及所述待移动层板的移动信息,包括:若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在具有非零可移动距离的储物层,则根据所述具有非零可移动距离的储物层与所述第一目标储物层的位置关系,确定待移动层板;

根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;

根据所述待移动层板所对应的储物层的可移动距离,确定所述待移动层板的实际移动距离;

将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息;

或者,

若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在距离所述第一目标储物层最近、且可移动的总距离不小于预设距离的第二目标储物层,则根据所述第二目标储物层,确定待移动层板;

根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;

根据所述第二目标储物层的可移动距离,确定所述待移动层板的实际移动距离;

将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息。

15.根据权利要求9所述的方法,所述根据所述待移动层板的移动信息,控制所述待移动层板移动,包括:

根据所述待移动层板的移动信息和层板标识,发送层板移动指令给设置于所述售卖货柜中的升降模块,以使所述升降模块中的驱动单元根据所述移动信息,驱动所述层板标识所对应的待移动层板通过其侧面设置的滚轮,沿所述升降模块中的导轨移动。

16.根据权利要求10所述的方法,所述控制所述待移动层板移动之后,还包括:获取所述第一目标储物层对应的第四图像,其中,所述第四图像包括所述第一目标储物层的平面图像信息;

根据所述第一目标储物层对应的所述第一图像和所述第四图像确定所述被购买商品;

将所述被购买商品的商品信息发送给对应的消费者,并控制所述待移动层板复原至移动前的位置。

17.一种层板调控装置,应用于售卖货柜,其中,所述售卖货柜内部的储物空间被层板划分为多个储物层,所述装置包括:获取模块,其获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像;其中,所述第一图像、所述第二图像和所述第三图像均由设置于各所述储物层顶侧的摄像头,采集自身所在储物层中放置的商品而得;所述第一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的深度图像信息;

第一确定模块,其根据所述第一图像、所述第二图像和所述第三图像,确定所述层板中的待移动层板以及所述待移动层板的移动信息;

控制模块,其根据所述待移动层板的移动信息,控制所述待移动层板移动。

18.根据权利要求17所述的装置,所述第一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的深度图像信息;所述装置还包括第二确定模块;

所述第一确定模块,根据所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层;

所述第二确定模块,根据所述第三图像和所述第一目标储物层,确定所述层板中用于使所述第一目标储物层的空间变大的待移动层板以及所述待移动层板的移动信息。

19.根据权利要求18所述的装置,所述第一确定模块,确定每个储物层对应的所述第一图像和所述第二图像;以及,对每个储物层对应的所述第一图像和所述第二图像进行差分处理,得到每个储物层对应的差分图像;

对每个储物层对应的差分图像进行二值化处理,得到每个储物层对应的二值化图像;

在所述二值化图像中确定符合预设条件的目标二值化图像;

将所述目标二值化图像所对应的储物层作为被操作商品所在的第一目标储物层。

20.根据权利要求18所述的装置,所述第二确定模块,其确定每个储物层对应的所述第三图像;以及,在每个储物层对应的所述第三图像所包括的商品中,获取商品顶部与商品所在储物层的顶部之间的垂直距离最小的目标商品;

将所述目标商品的顶部与所在储物层的顶部之间的垂直距离,作为所述目标商品所在储物层的剩余层高;

根据所述储物层的剩余层高,确定所述层板中用于使所述第一目标储物层的空间变大的待移动层板以及所述待移动层板的移动信息。

21.根据权利要求17‑20任一项所述的装置,所述控制模块,其根据所述待移动层板的移动信息和层板标识,发送层板移动指令给设置于所述售卖货柜中的升降模块,以使所述升降模块中的驱动单元根据所述移动信息,驱动所述层板标识所对应的待移动层板通过其侧面设置的滚轮,沿所述升降模块中的导轨移动。

22.一种层板调控设备,包括:处理器;以及,

被安排成存储计算机可执行指令的存储器,所述计算机可执行指令在被执行时使所述处理器:

获取售卖货柜的柜门被打开时所述售卖货柜的储物空间被层板划分所得的每个储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像;其中,所述第一图像、所述第二图像和所述第三图像均由设置于各所述储物层顶侧的摄像头,采集自身所在储物层中放置的商品而得;所述第一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的深度图像信息;

根据所述第一图像、所述第二图像和所述第三图像,确定所述层板中的待移动层板以及所述待移动层板的移动信息;

根据所述待移动层板的移动信息,控制所述待移动层板移动。

23.一种存储介质,用于存储计算机可执行指令,所述计算机可执行指令在被执行时实现以下流程:

获取售卖货柜的柜门被打开时所述售卖货柜的储物空间被层板划分所得的每个储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像;其中,所述第一图像、所述第二图像和所述第三图像均由设置于各所述储物层顶侧的摄像头,采集自身所在储物层中放置的商品而得;所述第一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的深度图像信息;

根据所述第一图像、所述第二图像和所述第三图像,确定所述层板中的待移动层板以及所述待移动层板的移动信息;

根据所述待移动层板的移动信息,控制所述待移动层板移动。

说明书 :

层板调控设备、方法及装置

[0001] 本专利申请是申请号:201911129782.8,申请日:2019年11月18日,发明名称“层板调控设备、方法及装置”的中国专利申请的分案申请。

技术领域

[0002] 本文件涉及物联网技术领域,尤其涉及一种层板调控设备、方法及装置。

背景技术

[0003] 随着物联网技术的快速发展,无需人工看守且能够全天候向消费者售卖商品的自助售卖货柜得到广泛应用,其通过对安装于内部的摄像头所采集的图像进行处理,识别消
费者选购的商品,进而进行费用结算。
[0004] 当前,自助售卖货柜通常设置有多个储物层,且每个储物层的空间大小是固定的,然而固定空间大小的储物层,不仅空间利用率低,而且会因消费者选购商品时将原有的商
品摆放方式打乱,使得高矮商品相互遮挡,产生摄像头拍摄不到的死角,从而导致无法准确
的识别消费者所购买的商品等问题。

发明内容

[0005] 本说明书一个或多个实施例提供了一种层板调控设备,应用于售卖货柜。所述售卖货柜内部的储物空间被层板划分为多个储物层。所述设备包括设置于每个所述储物层顶
侧的摄像头。所述摄像头在所述售卖货柜的柜门被打开时采集自身所在储物层的第一图
像。以及在所述售卖货柜的柜门被关闭时采集自身所在储物层的第二图像和第三图像。该
设备还包括主控模块,其根据各所述摄像头所采集的所述第一图像、所述第二图像和所述
第三图像,确定所述层板中的待移动层板以及所述待移动层板的移动信息。该设备还包括
升降模块,其与各所述层板相连,根据所述待移动层板的移动信息控制所述待移动层板移
动。
[0006] 本说明书一个或多个实施例提供了一种层板调控方法,应用于售卖货柜。所述售卖货柜内部的储物空间被层板划分为多个储物层。所述方法包括获取售卖货柜的柜门被打
开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图
像。其中,所述第一图像、所述第二图像和所述第三图像均由设置于各所述储物层顶侧的摄
像头,采集自身所在储物层中放置的商品而得。根据所述第一图像、所述第二图像和所述第
三图像,确定所述层板中的待移动层板以及所述待移动层板的移动信息。根据所述待移动
层板的移动信息,控制所述待移动层板移动。
[0007] 本说明书一个或多个实施例提供了一种层板调控装置,应用于售卖货柜。所述售卖货柜内部的储物空间被层板划分为多个储物层。所述装置包括获取模块,其获取售卖货
柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二
图像和第三图像。其中,所述第一图像、所述第二图像和所述第三图像均由设置于各所述储
物层顶侧的摄像头,采集自身所在储物层中放置的商品而得。所述装置还包括第一确定模
块,其根据所述第一图像、所述第二图像和所述第三图像,确定所述层板中的待移动层板以
及所述待移动层板的移动信息。所述装置还包括控制模块,其根据所述待移动层板的移动
信息,控制所述待移动层板移动。
[0008] 本说明书一个或多个实施例提供了一种层板调控设备。该设备包括处理器。该设备还包括被安排成存储计算机可执行指令的存储器。所述计算机可执行指令在被执行时使
所述处理器获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭
时各所述储物层的第二图像和第三图像。其中,所述第一图像、所述第二图像和所述第三图
像均由设置于各所述储物层顶侧的摄像头,采集自身所在储物层中放置的商品而得。根据
所述第一图像、所述第二图像和所述第三图像,确定所述层板中的待移动层板以及所述待
移动层板的移动信息。根据所述待移动层板的移动信息,控制所述待移动层板移动。
[0009] 本说明书一个或多个实施例提供了一种存储介质。该存储介质用于存储计算机可执行指令。所述计算机可执行指令在被执行时获取售卖货柜的柜门被打开时各所述储物层
的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像。其中,所述第一
图像、所述第二图像和所述第三图像均由设置于各所述储物层顶侧的摄像头,采集自身所
在储物层中放置的商品而得。根据所述第一图像、所述第二图像和所述第三图像,确定所述
层板中的待移动层板以及所述待移动层板的移动信息。根据所述待移动层板的移动信息,
控制所述待移动层板移动。

附图说明

[0010] 为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的
附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造
性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0011] 图1为本说明书一个或多个实施例提供的一种售卖货柜自助售货的应用场景示意图;
[0012] 图2为本说明书一个或多个实施例提供的一种层板调控设备的模块组成示意图;
[0013] 图3为本说明书一个或多个实施例提供的一种升降模块的结构示意图;
[0014] 图4为本说明书一个或多个实施例提供的一种层板调控方法的第一种流程示意图;
[0015] 图5为本说明书一个或多个实施例提供的步骤S104的细化图;
[0016] 图6为本说明书一个或多个实施例提供的二值化图像的矩阵示意图;
[0017] 图7为本说明书一个或多个实施例提供的步骤S106的细化图;
[0018] 图8为本说明书一个或多个实施例提供的步骤S106‑8的第一种细化图;
[0019] 图9为本说明书一个或多个实施例提供的步骤S106‑8的第二种细化图;
[0020] 图10为本说明书一个或多个实施例提供的一种层板调控方法的第二种流程示意图;
[0021] 图11为本说明书一个或多个实施例提供的一种层板调控装置的模块组成示意图;
[0022] 图12为本说明书一个或多个实施例提供的一种层板调控设备的结构示意图;
[0023] 其中,附图标记说明如下:
[0024] 10:层板;
[0025] 13‑1:驱动单元;
[0026] 13‑2:导轨;
[0027] 13‑3:滚轮;
[0028] 13‑4:输出端。

具体实施方式

[0029] 为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术
方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不
是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造
性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
[0030] 本说明书一个或多个实施例提供了一种层板调控设备、方法及装置,可应用于售卖货柜,能够基于摄像头所采集的图像,对售卖货柜中各层板的位置进行灵活调控,不仅能
够提升储物空间的利用率,而且能够增大被操作商品所在储物层中的摄像头与商品之间的
距离,从而减少该摄像头的拍摄盲区和拍摄死角,提升该摄像头所采集的图像的准确性,以
及提升识别被购买商品的识别结果的准确性。
[0031] 图1为本说明书一个或多个实施例提供的一种售卖货柜自助售货的应用场景示意图,如图1中的(a)所示,对于层高固定的售卖货柜而言,在消费者扫描二维码以打开柜门进
行选购商品之前,售卖货柜的各储物层中的商品摆放有序;由于消费者在选购商品时,会关
注商品的保质期、成分组成等信息,通常会拿取多个商品进行查看和对比,但是消费者往往
不会特别留意商品的摆放位置,而将不需要的商品随机放回至储物层的空闲位置,最终在
消费者购买商品之后,售卖货柜中的商品会是如图1中(b)所示的状态,商品摆放错乱、高矮
商品互相遮挡等,而由于售卖货柜中各储物层的层高是固定的,因此在有限的空间里,商品
错乱及遮挡状态会给摄像头造成拍摄盲区和拍摄死角等,从而导致在根据摄像头所采集的
图像识别消费者所购买的商品时,识别结果的准确性下降。基于此,本说明书一个或多个实
施例提供一种层板调控设备、方法及装置,能够基于摄像头所采集的图像以及售卖货柜中
各储物层的空间大小灵活调节各层板的位置,为便于描述,按照自上至下的顺序,依次将各
储物层记为储物层1、储物层2、储物层3等,在图1中(b)的基础上进行层板调节后的示意图
如图1中的(c)所示,可见,通过调节层板,使得储物层2的空间得以扩大,提升了储物层2中
摄像头与储物层2中的商品之间的距离,增大了摄像头的拍摄视角,减少了摄像头的拍摄盲
区,从而在根据摄像头所拍摄的图像识别消费者所购买的商品时,提升了识别结果的准确
性。进一步的,为了确定层板的移动信息,本说明书一个或多个实施例中,摄像头为3D摄像
头,其拍摄的视频流中的每一视频帧包括含有平面图像信息的图像和含有深度图像信息的
图像;其中,深度图像信息如三维空间位置、尺寸等信息。以下对本说明书一个或多个实施
例提供的层板调控设备、方法及装置进行详述。
[0032] 图2为本说明书一个或多个实施例提供的一种层板调控设备的模块组成示意图,应用于售卖货柜,其中,售卖货柜内部的储物空间被层板划分为多个储物层,如图2所示,该
设备包括:
[0033] 设置于每个储物层顶侧的摄像头11;摄像头11在售卖货柜的柜门被打开时采集自身所在储物层的第一图像,以及在售卖货柜的柜门被关闭时采集自身所在储物层的第二图
像和第三图像;其中,第一图像和第二图像包括储物层的平面图像信息,第三图像包括储物
层的深度图像信息;
[0034] 主控模块12,其根据各摄像头11所采集的第一图像和第二图像,确定被操作商品所在的第一目标储物层;以及,根据各摄像头11所采集的第三图像和确定的第一目标储物
层,确定层板中的待移动层板以及待移动层板的移动信息;
[0035] 升降模块13,其与各层板相连,根据待移动层板的移动信息控制待移动层板移动。
[0036] 本说明书一个或多个实施例提供的层板调控设备,能够基于摄像头所采集的图像,对售卖货柜中层板的位置进行灵活调控,不仅可以提升储物空间的利用率,而且能够增
大被操作商品所在储物层中的摄像头与商品之间的距离,从而减少该摄像头的拍摄盲区和
拍摄死角,提升该摄像头所采集的图像的准确性,以及提升识别被购买商品的识别结果的
准确性。
[0037] 由于被操作商品是基于摄像头在消费者选购商品前后所采集的图像而识别,也即基于摄像头在售卖货柜的柜门被打开之前和被关闭之后所采集的图像而识别;为了避免在
消费者选购商品前后,因一些恶意操作(如晃动售卖货柜等)或其他因素而导致商品的状态
发生改变,从而无法正确的识别出被操作商品的问题,本说明书一个或多个实施例中:
[0038] 主控模块12,其当检测到售卖货柜的柜门被打开的开门信号时,根据开门信号的第一检测时间发送第一图像获取请求给各摄像头11;以及,当检测到售卖货柜的柜门被关
闭的关门信号时,根据关门信号的第二检测时间发送第二图像获取请求给各摄像头11;
[0039] 对应的,摄像头11,在接收到第一图像获取请求时,根据第一检测时间在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取第一图像;以及,在接收到第二图像获取
请求时,根据第二检测时间在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取
第二图像和第三图像。
[0040] 可选地,摄像头11,在接收到第一图像获取请求时,在已拍摄的视频流中获取第一检测时间所对应视频帧的前一视频帧,从获取的视频帧提取第一图像;或者,摄像头11,在
接收到第一图像获取请求时,以第一检测时间为第一预设时长的截止时间,确定该第一预
设时长所对应的起始时间,并在已拍摄的视频流中获取该起始时间所对应的视频帧,从获
取的视频帧提取第一图像;或者,摄像头11在接收到第一图像获取请求时,以第一检测时间
为第一预设时长的截止时间,在已拍摄的视频流中获取该第一预设时长内的任意一个视频
帧,从获取的视频帧提取第一图像;以及,
[0041] 摄像头11,在接收到第二图像获取请求时,在已拍摄的视频流中获取第二检测时间所对应视频帧的后一视频帧,从获取的视频帧提取第二图像和第三图像;或者,摄像头
11,在接收到第二图像获取请求时,以第二检测时间为第二预设时长的起始时间,确定该第
二预设时长所对应的截止时间,并在已拍摄的视频流中获取该截止时间所对应的视频帧,
从获取的视频帧提取第二图像和第三图像;或者,摄像头11在接收到第二图像获取请求时,
以第二检测时间为第二预设时长的起始时间,在已拍摄的视频流中获取该第二预设时长内
的任意一个视频帧,从获取的视频帧提取第二图像和第三图像;或者,摄像头11在接收到第
二图像获取请求时,以第二检测时间为第二预设时长的起始时间,在已拍摄的视频流中获
取该第二预设时长内的任意两个视频帧,从获取的其中一个视频帧提取第二图像,从获取
的另一个视频帧提取第三图像。
[0042] 其中,第一预设时长和第二预设时长均很短,第一预设时长和第二预设时长可以相同,也可以不同,其在实际应用中可根据需要自行设定;作为示例,第一预设时长和第二
预设时长相同,均为1秒。需要指出的是,摄像头11在获取第一图像时,还可以同时获取含有
储物层的深度图像信息的第五图像。由此,根据第一检测时间获取距离第一检测时间间距
很短的视频帧以提取第一图像,以及根据第二检测时间获取距离第二检测时间间距很短的
视频帧以提取第二图像和第三图像,而在该很短的时间间距内,消费者或者其他用户很难
进行恶意操作,因此能够极大的确保第一图像、第二图像以及第三图像的准确性,从而为后
续确定被操作商品所在的第一目标储物层、确定待移动层板的移动信息以及确定被购买商
品提供了有效的数据基础。
[0043] 为确保图像的有效传输,每个摄像头11与主控模块12之间建立有传输通道,摄像头11在获取到第一图像时,通过对应的传输通道将第一图像发送给主控模块12,以及摄像
头11在获取到第二图像和第三图像时,通过对应的传输通道将第二图像和第三图像发送给
主控模块12;主控模块12在接收到第二图像后,基于第一图像和第二图像确定被操作商品
所在的第一目标储物层。
[0044] 具体的,本说明书一个或多个实施例中,主控模块12,其确定每个储物层对应的第一图像和第二图像;以及,
[0045] 对每个储物层对应的第一图像和第二图像进行差分处理,得到每个储物层对应的差分图像;
[0046] 对每个储物层对应的差分图像进行二值化处理,得到每个储物层对应的二值化图像;
[0047] 在二值化图像中确定符合预设条件的目标二值化图像;
[0048] 将目标二值化图像所对应的储物层作为被操作商品所在的第一目标储物层。
[0049] 通过对每个储物层对应的第一图像和第二图像进行差分处理以削弱每个储物层对应的第一图像与第二图像的相似部分,得到能够体现第一图像与第二图像之间的差异的
差分图像;通过对差分图像进行二值化处理,以得到仅具有黑色和白色视觉效果的二值化
图像,而去除其他噪声的干扰,从而可根据二值化图像,准确的确定被操作商品所在的第一
目标储物层。进一步的,确定每个储物层对应的第一图像和第二图像、对第一图像和第二图
像进行差分处理、对差分图像进行二值化处理、以及在二值化图像中确定符合预设条件的
目标二值化图像的具体过程,在后文中进行详述,参见后文的相关描述即可,这里不再重复
描述。
[0050] 为了扩大第一目标储物层的空间,使第一目标储物层中的摄像头与商品之间的距离扩大,从而使第一目标储物层中的摄像头能够采集到清晰完整的图像,首先需要确定待
移动层板以及待移动层板的移动信息;
[0051] 具体的,本说明书一个或多个实施例中,主控模块12,其确定每个储物层对应的第三图像;以及,
[0052] 在每个储物层对应的第三图像所包括的商品中,获取商品顶部与商品所在储物层的顶部之间的垂直距离最小的目标商品;
[0053] 将目标商品的顶部与目标商品所在储物层的顶部之间的垂直距离,作为目标商品所在储物层的剩余层高;
[0054] 根据储物层的剩余层高,确定层板中的待移动层板以及待移动层板的移动信息。
[0055] 在实际应用中,可以根据储物层的剩余层高,确定所有具有移动空间的层板并作为待移动层板,以使第一目标储物层的空间达到最大化,从而使第一目标储物层中的摄像
头与商品之间的距离达到最大化,以利于摄像头采集到清晰完整的图像;还可以根据储物
层的剩余层高,确定部分具有移动空间的层板并作为待移动层板,以在第一目标储物层中
的摄像头与商品之间的距离到达可采集清晰完整图像的预设距离的基础上,不移动过多的
层板,确保安全和稳定。
[0056] 具体而言,本说明书一个或多个实施例中,主控模块12,若根据除第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在具有非零可移动距离的储物层,则
根据具有非零可移动距离的储物层与第一目标储物层的位置关系,确定待移动层板;以及,
[0057] 根据待移动层板与第一目标储物层的位置关系,确定待移动层板的移动方向;根据待移动层板所对应的储物层的可移动距离,确定待移动层板的实际移动距离;将待移动
层板的移动方向和实际移动距离作为待移动层板的移动信息;
[0058] 或者,
[0059] 主控模块12,若根据除第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在距离所述第一目标储物层最近、且可移动的总距离不小于预设距离的第二目
标储物层,则根据第二目标储物层,确定待移动层板;以及,
[0060] 根据待移动层板与第一目标储物层的位置关系,确定待移动层板的移动方向;根据第二目标储物层的可移动距离,确定待移动层板的实际移动距离;将待移动层板的移动
方向和实际移动距离作为待移动层板的移动信息。
[0061] 通过确定待移动层板的移动信息,以在后续根据该移动信息对待移动层板进行精准控制,而不会因同一储物层中的商品高矮不一而损坏部分商品。
[0062] 在确定了待移动层板的移动信息之后,即可根据该移动信息控制待移动层板移动;具体的,本说明书一个或多个实施例中,升降模块13包括:驱动单元13‑1、导轨13‑2、以
及滚轮13‑3;其中,滚轮13‑3设置于各层板的侧面,对应的:
[0063] 主控模块12,根据待移动层板的移动信息和层板标识,发送层板移动指令给驱动单元13‑1;
[0064] 驱动单元13‑1,其输出端13‑4与各层板相连,在接收到层板移动指令时,根据移动信息驱动层板标识所对应的待移动层板通过其侧面设置的滚轮13‑3沿导轨13‑2移动。
[0065] 可见,通过设置升降模块13,实现了售卖货柜中层板位置的调节。
[0066] 为了确保待移动层板在移动之后,不会因重力作用而下滑,本说明书一个或多个实施例中,驱动单元13‑1为具有限位功能的结构,如气压缸、液压缸、滚珠丝杠等结构,其能
够根据移动信息准确的控制待移动层板向相应的移动方向移动实际移动距离后,保持在相
应的位置,而不会因重力作用通过滚轮13‑3沿导轨13‑2下滑。在实际应用中,驱动单元13‑1
还可以为不具有限位功能的结构,如为普通的电机,则升降模块13还包括限位单元13‑5,该
限位单元13‑5可以设置在层板的侧面,也可以设置在导轨13‑2上,当驱动单元13‑1控制待
移动层板向相应的移动方向移动实际移动距离后,控制限位单元13‑5进行限位。
[0067] 进一步的,滚轮13‑3可以设置于层板的左侧、和/或右侧、和/或后侧,与之对应的,导轨13‑2可以设置于售卖货柜的存储空间的左侧、和/或右侧、和/或后侧;
[0068] 更进一步的,导轨13‑2可以与层板一一对应设置为多个,还可以各层板共用同一个导轨13‑2,其在实际应用中,可以根据需要自行设定;需要指出的是,当导轨13‑2与层板
一一对应设置时,滚轮13‑3在不同层板的侧面的位置可以相同也可以不同,为便于描述,按
照自上至下的顺序,将各层板依次记为层板1、层板2、层板3等,例如设置于层板1侧面的滚
轮13‑3设置在层板1左侧中间的位置,设置于层板2侧面的滚轮13‑3设置在层板2左侧中间
的位置,设置于层板3侧面的滚轮13‑3设置在层板3右侧偏左的位置;当各层板共用同一个
导轨13‑2时,滚轮13‑3在各层板侧面的位置相同,例如均设置在层板左侧和右侧的中间位
置。
[0069] 作为示例,各层板共用同一个导轨13‑2,滚轮13‑3设置在层板左侧和右侧的中间位置,将层板记为10,其结构示意图如图3所示;需要指出的是,驱动单元13‑1的位置可以在
实际应用中根据需要自行设定,例如设置于售卖货柜的底部。
[0070] 由此,通过升降模块13控制待移动层板移动之后,第一目标储物层中的摄像头与商品之间的距离得以扩大,此时摄像头所采集的图像相较于层板移动之前会更加完整和清
晰,而基于此时摄像头所采集的图像识别被购买商品也会更准确。即本说明书一个或多个
实施例中,主控模块12,在升降模块13控制待移动层板移动之后,还获取第一目标储物层的
第四图像,其中,第四图像包括第一目标储物层的平面图像信息;以及,根据第一目标储物
层对应的第一图像和第四图像确定被购买商品,将被购买商品的商品信息发送给对应的消
费者;
[0071] 升降模块13,还控制待移动层板复原至移动前的位置。
[0072] 具体的,主控模块12在确定待移动层板的移动信息之后,记录待移动层板的移动信息,并在接收到升降模块13发送的移动完成信号时,根据移动完成信号的接收时间发送
第三图像获取请求给设置于第一目标储物层中的摄像头11,以使第一目标储物层中的摄像
头11在接收到第三图像获取请求时,根据第三图像获取请求包括的接收时间,在其拍摄的
视频流中获取对应的视频帧,从获取的视频帧提取第四图像;当主控模块12接收到第一目
标储物层中的摄像头11发送的第四图像时,将第一目标储物层对应的第一图像和第四图像
输入至预先训练的深度神经网络中进行学习,得到被购买商品的商品信息,其中,商品信息
如商品名称、商品类别、商品价格等,将被购买商品的商品信息发送给对应的消费者,以及
根据记录的待移动层板的移动信息,确定待移动层板的复原信息,根据复原信息发送层板
复原指令给升降模块13,以使升降模块13根据复原信息控制待移动层板复原至移动前的位
置。或者,升降模块13在接收到主控模块12发送的层板移动指令时,记录待移动层板的移动
信息;在主控模块12确定被购买商品之后,主控模块12发送层板复原指令给升降模块13;升
降模块13在接收到层板复原指令时,根据记录的层板移动信息确定层板复原信息,并根据
层板复原信息控制待移动层板复原至移动前的位置。
[0073] 其中,摄像头11获取第四图像的过程,与前述摄像头11获取第二图像的过程相似,可参见前述相关描述,重复之处这里不再赘述。由此,基于移动层板之后所获取的第四图像
确定被购买商品,提升了确定结果的准确率,通过将层板复原至移动前的位置,确保了后续
消费者选购商品时,每个储物层均具有一定的空间而便于消费者操作。
[0074] 本说明书一个或多个实施例提供的层板调控设备,设置有与各层板相连的升降装置,该设备基于摄像头所采集的图像实现了对售卖货柜中层板位置的灵活调控,不仅能够
提升储物空间的利用率,而且能够增大被操作商品所在储物层中的摄像头与商品之间的距
离,减少该摄像头的拍摄盲区和拍摄死角,提升该摄像头所采集的图像的准确性,以及提升
识别被购买商品的识别结果的准确性。
[0075] 对应上述图2至图3描述的层板调控设备,基于相同的技术构思,本说明书一个或多个实施例还提供一种层板调控方法,应用于售卖货柜,该售卖货柜内部的储物空间被层
板划分为多个储物层。图4为本说明书一个或多个实施例提供的一种层板调控方法的流程
示意图,如图4所示,方法包括以下步骤:
[0076] 步骤S102,获取售卖货柜的柜门被打开时各储物层的第一图像,以及柜门被关闭时各储物层的第二图像和第三图像;其中,第一图像、第二图像和第三图像均由设置于各储
物层顶侧的摄像头,采集自身所在储物层中放置的商品而得;第一图像和第二图像包括储
物层的平面图像信息,第三图像包括储物层的深度图像信息;
[0077] 为了后续确定层板的移动信息,其中,摄像头为3D摄像头,其拍摄的视频流中的每一视频帧包括含有平面图像信息的图像和含有深度图像信息的图像;其中,深度图像信息
如三维空间位置、尺寸等信息。
[0078] 步骤S104,根据获取的第一图像和第二图像,确定被操作商品所在的第一目标储物层;
[0079] 其中,被操作商品包括被消费者移动过的商品以及被消费者购买的商品。
[0080] 步骤S106,根据第三图像和第一目标储物层,确定层板中的待移动层板以及待移动层板的移动信息;
[0081] 步骤S108,根据待移动层板的移动信息,控制待移动层板移动。
[0082] 本说明书一个或多个实施例中,基于售卖货柜中各摄像头所采集的图像,实现了对售卖货柜中层板位置的灵活调控,不仅能够提升储物空间的利用率,而且能够增大被操
作商品所在储物层中的摄像头与商品之间的距离,从而减少该摄像头的拍摄盲区和拍摄死
角,提升该摄像头所采集的图像的准确性,以及提升识别被购买商品的识别结果的准确性。
[0083] 由于被操作商品是基于摄像头在消费者选购商品前后所采集的图像而识别,也即基于摄像头在售卖货柜的柜门被打开之前和被关闭之后所采集的图像而识别;为了避免在
消费者选购商品前后,因一些恶意操作(如晃动售卖货柜等)或其他因素而导致商品的状态
发生改变,从而无法正确的识别出被操作商品的问题,本说明书一个或多个实施例中,步骤
S102中获取售卖货柜的柜门被打开时各储物层的第一图像,以及柜门被关闭时各储物层的
第二图像和第三图像,包括:
[0084] 步骤A1,当检测到售卖货柜的柜门被打开的开门信号时,根据开门信号的第一检测时间发送第一图像获取请求给各摄像头,以使各摄像头根据第一检测时间在已拍摄的视
频流中获取对应的视频帧,从获取的视频帧提取第一图像;
[0085] 其中,当摄像头接收到第一图像获取请求时,在已拍摄的视频流中获取第一检测时间所对应视频帧的前一视频帧,从获取的视频帧提取第一图像;或者,当摄像头接收到第
一图像获取请求时,以第一检测时间为第一预设时长的截止时间,确定该第一预设时长所
对应的起始时间,并在已拍摄的视频流中获取该起始时间所对应的视频帧,从获取的视频
帧提取第一图像;或者,当摄像头接收到第一图像获取请求时,以第一检测时间为第一预设
时长的截止时间,在已拍摄的视频流中获取该第一预设时长内的任意一个视频帧,从获取
的视频帧提取第一图像。需要指出的是,摄像头从获取的视频帧提取第一图像时,还可以同
时提取含有储物层的深度图像信息的第五图像。
[0086] 步骤A2,当检测到售卖货柜的柜门被关闭的关门信号时,根据关门信号的第二检测时间发送第二图像获取请求给各摄像头,以使各摄像头根据第二检测时间在已拍摄的视
频流中获取对应的视频帧,从获取的视频帧提取第二图像和第三图像。
[0087] 其中,当摄像头接收到第二图像获取请求时,在已拍摄的视频流中获取第二检测时间所对应视频帧的后一视频帧,从获取的视频帧提取第二图像和第三图像;或者,当摄像
头接收到第二图像获取请求时,以第二检测时间为第二预设时长的起始时间,确定该第二
预设时长所对应的截止时间,并在已拍摄的视频流中获取该截止时间所对应的视频帧,从
获取的视频帧提取第二图像和第三图像;或者,当摄像头接收到第二图像获取请求时,以第
二检测时间为第二预设时长的起始时间,在已拍摄的视频流中获取该第二预设时长内的任
意一个视频帧,从获取的视频帧提取第二图像和第三图像;或者,当摄像头接收到第二图像
获取请求时,以第二检测时间为第二预设时长的起始时间,在已拍摄的视频流中获取该第
二预设时长内的任意两个视频帧,从获取的其中一个视频帧提取第二图像,从获取的另一
个视频帧提取第三图像。
[0088] 上述第一预设时长和第二预设时长均很短,第一预设时长和第二预设时长可以相同,也可以不同,其在实际应用中可根据需要自行设定;作为示例,第一预设时长和第二预
设时长相同,均为1秒。由此,通过获取各摄像头所采集的第一图像、第二图像和第三图像,
而摄像头采集第一图像的采集时间与第一检测时间之间的时间间距很短,且摄像头采集第
二图像的采集时间与第二检测时间之间的时间间距很短,在该很短的时间间距内,消费者
或者其他用户很难进行恶意操作,因此能够极大的确保第一图像与第二图像的准确性,从
而为后续确定被操作商品所在的第一目标储物层、确定待移动层板的移动信息以及确定被
购买商品提供了有效的数据基础。
[0089] 由于第一图像和第二图像包含了消费者购买商品前后,各储物层所放置的商品的平面信息,因此通过对每个储物层对应的第一图像和第二图像进行处理,即可得到被消费
者操作的商品所在的第一目标储物层。具体的,如图5所示,步骤S104包括:
[0090] 步骤S104‑2,确定每个储物层对应的第一图像和第二图像;
[0091] 为了确保图像的有效获取,以及对各摄像头所采集的图像进行区分,本说明书一个或多个实施例中,步骤S102之前还包括:与各摄像头建立传输通道,以通过该传输通道获
取相应摄像头所采集的图像;以及将传输通道的通道标识与相应摄像头所在储物层的储物
层标识建立对应关系;与之对应的,步骤S104‑2包括:
[0092] 根据获取第一图像的传输通道的通道标识,在通道标识与储物层标识的对应关系中获取对应的储物层标识,将相应的第一图像作为获取的储物层标识所对应的储物层的第
一图像;以及,
[0093] 根据获取第二图像的传输通道的通道标识,在通道标识与储物层标识的对应关系中获取对应的储物层标识,将相应的第二图像作为获取的储物层标识所对应的储物层的第
二图像。
[0094] 或者,为了对各摄像头所采集的图像进行区分,以及对每个储物层中的摄像头进行区分,本说明书一个或多个实施例中,为每个储物层分配储物层标识,建立摄像头标识与
储物层标识的对应关系,且第一图像、第二图像以及第三图像的图像名称中包括采集该图
像的摄像头的摄像头标识,与之对应的,步骤S104‑2包括:
[0095] 根据每个第一图像的图像名称所包括的摄像头标识,在摄像头标识与储物层标识的对应关系中获取对应的储物层标识,将相应的第一图像作为获取的储物层标识所对应的
储物层的第一图像;以及,
[0096] 根据每个第二图像的图像名称所包括的摄像头标识,在摄像头标识与储物层标识的对应关系中获取对应的储物层标识,将相应的第二图像作为获取的储物层标识所对应的
储物层的第二图像。
[0097] 步骤S104‑4,对每个储物层对应的第一图像和第二图像进行差分处理,得到每个储物层对应的差分图像;
[0098] 具体的,将每个储物层对应的第一图像与第二图像的相同像素点的像素值进行相减,得到相应像素点的像素值差值;将该像素值差值作为差分图像相应像素点的像素值,以
得到每个储物层对应的差分图像。
[0099] 通过对每个储物层对应的第一图像和第二图像进行差分处理,以削弱每个储物层对应的第一图像与第二图像的相似部分,得到能够体现第一图像与第二图像之间的差异的
差分图像。
[0100] 步骤S104‑6,对每个储物层对应的差分图像进行二值化处理,得到每个储物层对应的二值化图像;
[0101] 具体的,与每个储物层对应的差分图像的像素点对应,构建包括多个待填充元素的矩阵;将每个储物层的差分图像的每个像素点的像素值与预设的像素值阈值进行比对,
若差分图像的像素点的像素值大于预设的像素值阈值,则将对应矩阵中相应的待填充元素
填充为第一预设值;若差分图像的像素点的像素值不大于预设的像素值阈值,则将对应矩
阵中相应的待填充元素填充为第二预设值;将待填充元素均填充完成的矩阵所对应的图
像,作为相应储物层的二值化图像。其中,第一预设值例如为1,第二预设值例如为0,待填充
元素均填充全成的矩阵的示意图如图6所示。
[0102] 通过对差分图像进行二值化处理,以得到仅具有黑色和白色视觉效果的二值化图像,而去除其他噪声的干扰,从而可根据二值化图像,准确的确定被操作商品所在的第一目
标储物层。
[0103] 步骤S104‑8,在二值化图像中确定符合预设条件的目标二值化图像;
[0104] 具体的,统计每个二值化图像的矩阵所包括的第一预设值的数量,若统计的数量大于第一预设数量,则确定对应的二值化图像为目标二值化图像;或者,统计每个二值化图
像的矩阵所包括的第二预设值的数量,若统计的数量大于第二预设数量,则确定对应的二
值化图像为目标二值化图像。其中,第一数量与第二数量可以相同也可以不同,其在实际应
用中可根据需要自行设定。
[0105] 步骤S104‑10,将目标二值化图像所对应的储物层作为被操作商品所在的第一目标储物层。
[0106] 由于消费者在选购商品时,可能移动过不同储物层的多个商品,或者购买了不同储物层中的多个商品,因此,第一目标储物层可能为一个也可能为多个;例如,消费者拿起
了储物层1中的橙汁和储物层3中的可乐对比之后,将可乐放回了储物层2,则储物层1、储物
层2和储物层3均为第一目标储物层;又如,消费者拿起了储物层2中不同品牌的三瓶咖啡,
最后购买了其中的2瓶,并将另一瓶放回了储物层2中,则第二储物层为第一目标储物层。
[0107] 为了扩大第一目标储物层的空间,使第一目标储物层中的摄像头与商品之间的距离扩大,从而使第一目标储物层中的摄像头能够采集到清晰完整的图像,首先需要确定待
移动层板及待移动层板的移动信息。具体的,如图7所示,步骤S106包括:
[0108] S106‑2,确定每个储物层对应的第三图像;
[0109] 本步骤的实现方法,与前述步骤S104‑2中确定每个储物层对应的第一图像和第二图像的过程相似,可参见前述相关描述,这里不再赘述。
[0110] S106‑4,在每个储物层对应的第三图像所包括的商品中,获取商品顶部与商品所在储物层的顶部之间的垂直距离最小的目标商品;
[0111] 具体的,在每个储物层对应的第三图像中测量其所包括的每个商品的商品顶部与商品所在储物层的顶部之间的垂直距离,比对测量的垂直距离得到最小垂直距离,并将该
最小垂直距离所对应的商品作为目标商品。
[0112] S106‑6,将目标商品的顶部与所在储物层的顶部之间的垂直距离,作为目标商品所在储物层的剩余层高;
[0113] S106‑8,根据储物层的剩余层高,确定层板中的待移动层板以及待移动层板的移动信息。
[0114] 在实际应用中,可以根据储物层的剩余层高,确定所有具有移动空间的层板并作为待移动层板,以使第一目标储物层的空间达到最大化,从而使第一目标储物层中的摄像
头与商品之间的距离达到最大化,以利于摄像头采集到清晰完整的图像;还可以根据储物
层的剩余层高,将具有移动空间的层板中的部分层板作为待移动层板,以在第一目标储物
层中的摄像头与商品之间的距离到达可采集清晰完整图像的预设距离的基础上,不移动过
多的层板,确保安全和稳定。具体而言,本说明书一个或多个实施例中,如图8所示,步骤
S106‑8包括:
[0115] 步骤B2,若根据除第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在具有非零可移动距离的储物层,则根据具有非零可移动距离的储物层,确定待移
动层板;
[0116] 具体的,将除第一目标储物层外的每个储物层的剩余层高与预设安全距离相减得到相减结果,并将相减结果作为相应储物层的可移动距离,判断是否存在非零可移动距离,
若是,则确定存在具有非零可移动距离的储物层;以及,根据具有非零可移动距离的储物层
的数量、第一目标储物层的数量、具有非零可移动距离的储物层与第一目标储物层的位置
关系,确定待移动层板;
[0117] 进一步的,根据具有非零可移动距离的储物层的数量、第一目标储物层的数量、具有非零可移动距离的储物层与第一目标储物层的位置关系,确定待移动层板,包括:
[0118] 若具有非零可移动距离的储物层的数量为一、第一目标储物层的数量为一、且具有非零可移动距离的储物层与第一目标储物层相邻并位于第一目标储物层的上/下方,则
确定具有非零可移动距离的储物层的底/顶侧层板为待移动层板;为便于描述,按照自上至
下的顺序,依次将各层板记为层板1、层板2、层板3等,例如,具有非零可移动距离的储物层
为储物层2,第一目标储物层为储物层3,则确定储物层2的底侧层板为待移动层板,即层板2
为待移动层板;
[0119] 若具有非零可移动距离的储物层的数量不唯一、第一目标储物层的数量为一、且具有非零可移动距离的储物层为连续的、与第一目标储物层相邻并位于第一目标储物层的
上/下方的储物层,则确定具有非零可移动距离的储物层的底/顶侧层板至第一目标储物层
的顶/底侧层板为待移动层板;例如,具有非零可移动距离的储物层为储物层4和储物层5,
第一目标储物层为储物层3,则确定储物层5的顶侧层板至储物层3的底侧层板为待移动层
板,即层板4和层板3为待移动层板;
[0120] 若具有非零可移动距离的储物层的数量不唯一、第一目标储物层的数量为一、且具有非零可移动距离的储物层为不连续的储物层,则当具有非零可移动距离的储物层均位
于第一目标储物层的上/下方时,将位于最上/下方的具有非零可移动距离的储物层的底/
顶层层板至第一目标储物层的顶/底侧层板确定为待移动层板;当具有非零可移动距离的
储物层分散位于第一目标储物层的上下两方时,将位于第一目标储物层最上方的具有非零
可移动距离的储物层的底侧层板至第一目标储物层的顶侧层板、以及位于第一目标储物层
最下方的具有非零可移动距离的储物层的顶侧层板至第一目标储物层的底侧层板确定为
待移动层板;需要指出的是,当具有非零可移动距离的储物层的数量为两层、且分散位于第
一目标储物层的上下两方并均与第一目标储物层相邻时,位于第一目标储物层最上方的具
有非零可移动距离的储物层的底侧层板与第一目标储物层的顶侧层板为同一个层板,位于
第一目标储物层最下方的具有非零可移动距离的储物层的顶侧层板与第一目标储物层的
底侧层板为同一层层板。
[0121] 例如,具有非零可移动距离的储物层为储物层1和储物层3,第一目标储物层为储物层5,则将储物层1的底层层板至储物层5的顶层层板确定为待移动层板,即层板1、层板2、
层板3、层板4为待移动层板;又如,具有非零可移动距离的储物层为储物层1、储物层2、储物
层5,第一目标储物层为储物层3,则将储物层1的底侧层板至储物层3的顶侧层板、以及储物
层5的顶侧层板至储物层3的底侧层板确定为可移动层板,即层板1、层板2、层板3、层板4为
待移动层板;再如,具有非零可移动距离的储物层为储物层2和储物层4、第一目标储物层为
储物层3,则储物层2的底侧层板和储物层4的顶侧层板为可移动层板,即层板2和层板3为待
移动层板。
[0122] 更进一步的,当第一目标储物层的数量大于一时,可依次将其中的一个第一目标储物层作为当前目标储物层,并按照上述方式确定关于当前目标储物层的可移动层板。还
可以以每个第一目标储物层的空间同时得到最大化为目标,根据具有非零可移动距离的储
物层的可移动距离和预设距离进行推算,从而根据推算结果确定可移动层板;例如,第一目
标储物层为储物层2和储物层5,具有非零可移动距离的储物层为储物层1和储物层4,且储
物层1的可移动距离为9厘米,储物层4的可移动距离为2厘米,预设距离为5厘米;可以确定
储物层1的底侧层板向上移动5厘米即可使目标储物层2达到预设距离,且此时储物层1还有
3厘米的可移动距离,而储物层4的底侧层板向上移动2厘米后仍然不能使储物层5达到预设
距离,则可以通过将储物层1的底侧层板向上移动8厘米、储物层3的顶侧层板和底侧层板向
上移动3厘米、以及储物层4的底侧层板向上移动3+2=5厘米,即可使储物层5达到拍摄距
离;或者,可以通过将储物层1的底侧层板向上移动9厘米、储物层3的顶侧层板和底侧层板
向上移动4厘米、以及储物层4的底侧层板向上移动4+2=6厘米,使得目标储物层5的可移动
距离为6厘米,超过预设距离;故将储物层1的底侧层板、储物层3的顶侧层板和底侧层板、以
及储物层4的底侧层板确定为待移动层板,即层板1、层板2、层板3、层板4为待移动层板。应
当理解的是,当第一目标储物层的数量大于一时,可以自行配置确定可移动层板的策略,其
能够使得目标储物层的空间最大化即可,而各确定可移动层板的策略均在本文件的保护范
围内,这里不再一一举例。
[0123] 步骤B4,根据待移动层板与第一目标储物层的位置关系,确定待移动层板的移动方向;
[0124] 具体的,当第一目标储物层的数量为一时,若待移动层板位于第一目标储物层的上方,则待移动层板的移动方向为向上;若待移动层板位于第一目标储物层的下方,则待移
动层板的移动方向为向下。当第一目标储物层的数量大于一时,可以根据具体的推算过程,
确定待移动层板的移动方向。
[0125] 步骤B6,根据待移动层板所对应的储物层的可移动距离,确定待移动层板的实际移动距离;
[0126] 具体的,若第一目标储物层的数量为一、且待移动层板的数量为一,则确定其对应的储物层的可移动距离为该待移动层板的实际移动距离;例如,目标储物层为储物层3,待
移动层板为层板2,层板2对应的储物层2的可移动距离为1.5厘米,则确定待移动层板2的实
际移动距离为1.5厘米;
[0127] 若第一目标储物层的数量为一、待移动层板的数量不唯一且位于目标储物层的上/下方,则自上至下/自下至上依次将以各待移动层板为底/顶侧层板的储物层的可移动
距离累加,并将累加结果作为相应可移动层板的实际移动距离;例如,第一目标储物层为储
物层4,待移动层板为层板1、层板2和层板3,以层板1为底侧层板的储物层1的可移动距离为
1厘米,以层板2为底侧层板的储物层2的可移动距离为1.5厘米,以层板3为底侧层板的储物
层3的可移动距离为1厘米,则确定层板1的实际移动距离为1厘米,层板2的实际移动距离为
1+1.5=2.5厘米,层板3的实际移动距离为1+1.5+1=3.5厘米;又如,第一目标储物层为储
物层2,待移动层板为层板2、层板3和层板4,以层板2为顶侧层板的储物层3的可移动距离为
1厘米,以层板3为顶侧层板的储物层4的可移动距离为0厘米,以层板4为顶侧层板的储物层
5的可移动距离为2厘米,则确定层板4的实际移动距离为2厘米,层板3的实际移动距离为2+
0=2厘米,层板2的实际移动距离为2+0+1=3厘米。
[0128] 进一步的,当第一目标储物层的数量大于一时,可以根据具体的推算过程,确定待移动层板的移动距离。
[0129] 步骤B8,将待移动层板的移动方向和实际移动距离作为待移动层板的移动信息;
[0130] 通过上述步骤B2至步骤B8所描述的方式,能够根据具有非零可移动距离的储物层,确定所有具有移动空间的层板并作为待移动层板,以使第一目标储物层的空间达到最
大化。
[0131] 在本说明书一个或多个实施例中,在使第一目标储物层中的摄像头与商品之间的距离到达可采集清晰完整图像的预设距离的基础上,为不移动过多的层板而确保安全和稳
定,还可以仅将部分具有移动空间的层板作为可移动层板;具体的,如图9所示,步骤S106‑8
包括:
[0132] 步骤C2,若根据除第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在距离第一目标储物层最近、且可移动的总距离不小于预设距离的第二目标储物
层,则根据第二目标储物层,确定待移动层板;
[0133] 具体的,将除第一目标储物层外的每个储物层的剩余层高与预设安全距离相减,将相减结果作为相应储物层的可移动距离;以及,将当前计算层数记为一,判断以第一目标
储物层为基准向上或向下与第一目标储物层相邻的一个储物层的可移动距离是否不小于
预设距离,若是,则确定该一个储物层为目标储物层,若否,则将当前计算层数加一后作为
当前计算层数,以第一目标储物层为基准向上和/或向下,将距离第一目标储物层最近的两
个储物层的可移动距离相加,将相加结果作为该两个储物层的可移动的总距离,判断该总
距离是否不小于预设距离,若是,则将该两个储物层作为第二目标储物层,根据第二目标储
物层,确定待移动层板;若否,则继续更新当前计算层数并进行上述计算,直至得到第二目
标储物层。
[0134] 进一步的,根据第二目标储物层,确定待移动层板包括:
[0135] 若第一目标储物层的数量为一、第二目标储物层位于第一目标储物层的上方/下方,则将位于最上方/下方的第二目标储物层的底侧/顶侧层板至第一目标储物层的顶侧/
底侧层板,确定为待移动层板;例如,第一目标储物层为储物层4,第二目标储物层为储物层
2和储物层3,则将储物层2的底侧层板至储物层4的顶侧层板确定为待移动层板,即层板2和
层板3为待移动层板;
[0136] 若第一目标储物层的数量为一、第二目标储物层分散位于第一目标储物层的上方和下方,则对于位于第一目标储物层上方的第二目标储物层,将位于最上方的第二目标储
物层的底侧层板至第一目标储物层的顶侧层板作为待移动层板;以及,对于位于第一目标
储物层下方的第二目标储物层,将位于最下方的第二目标储物层的顶侧层板至第一目标储
物层的底侧层板作为待移动层板;例如,第一目标储物层为储物层3,第二目标储物层为储
物层2、储物层4和储物层5,则将储物层2的底侧层板、储物层4和储物层5的顶侧层板确定为
待移动层板,即层板2、层板3和层板4为待移动层板。
[0137] 更进一步的,若第一目标储物层的数量大于一,则可依次将其中的一个第一目标储物层作为当前目标储物层,并按照上述方式确定关于当前目标储物层的可移动层板。还
可以以每个第一目标储物层的空间同时得到最大化为目标,根据具有非零可移动距离的储
物层的可移动距离和预设距离进行推算,从而根据推算结果确定可移动层板。应当理解的
是,当第一目标储物层的数量大于一时,可以自行配置确定可移动层板的策略,其能够使得
目标储物层的空间最大化即可,而各确定可移动层板的策略均在本文件的保护范围内,这
里不再举例。
[0138] 步骤C4,根据待移动层板与第一目标储物层的位置关系,确定待移动层板的移动方向;
[0139] 本步骤的实现方法,可参见前述步骤B4中的相关描述,重复之处这里不再赘述。
[0140] 步骤C6,根据第二目标储物层的可移动距离,确定待移动层板的实际移动距离;
[0141] 本步骤的实现方法,可参见前述步骤B6中的相关描述,重复之处这里不再赘述。
[0142] 步骤C8,将待移动层板的移动方向和实际移动距离作为待移动层板的移动信息。
[0143] 通过步骤C2至步骤C8的方式,既可以使第一目标储物层中的摄像头与商品之间的距离到达可采集清晰完整图像的预设距离,又可以不移动过多的层板,确保安全和稳定。
[0144] 以上通过确定待移动层板的移动信息,以在后续根据该移动信息对待移动层板进行精准控制,而不会因同一储物层中的商品高矮不一而损坏部分商品。
[0145] 在确定了待移动层板的移动信息后,即可控制待移动层板移动,以使第一目标储物层的空间达到最大化,具体的,本说明书一个或多个实施例中,步骤S108包括:
[0146] 根据待移动层板的移动信息和层板标识,发送层板移动指令给设置于售卖货柜中的升降模块,以使升降模块中的驱动单元根据层板移动指令所包括的移动信息,驱动层板
标识所对应的待移动层板通过其侧面设置的滚轮,沿升降模块中的导轨移动。
[0147] 进一步的,考虑到当第一目标储物层的空间达到最大化时,摄像头所采集的图像相较于层板移动之前会更完整、更清晰,而基于此时摄像头所采集的图像确定被购买商品
也会更准确。基于此,本说明书一个或多个实施例中,如图10所示,步骤S108之后,还包括:
[0148] 步骤S110,获取第一目标储物层的第四图像,其中,第四图像包括第一目标储物层的平面图像信息;
[0149] 具体的,在接收到售卖货柜中的升降模块发送的移动完成信号时,根据移动完成信号的接收时间发送第三图像获取请求给设置于第一目标储物层中的摄像头;第一目标储
物层中的摄像头接收第三图像获取请求,根据第三图像获取请求包括的接收时间,在其拍
摄的视频流中获取对应的视频帧,从获取的视频帧提取第四图像并返回;接收第一目标储
物层中的摄像头返回的第四图像。
[0150] 步骤S112,根据第一目标储物层对应的第一图像和第四图像确定被购买商品;
[0151] 具体的,将第一目标储物层对应的第一图像和第四图像输入至预先训练的深度神经网络中进行学习,得到被取出商品的商品信息,其中,商品信息如商品名称、商品类别、商
品价格等。
[0152] 需要指出的是,深度神经网络的训练过程为本领域技术人员熟知的技术手段,具体的训练过程这里不再赘述,参考现有的深度神经网络的训练过程即可。
[0153] 步骤S114,将被购买商品的商品信息发送给对应的消费者,并控制待移动层板复原至移动前的位置。
[0154] 具体的,将学习得到的被购买商品的商品信息发送给对应的消费者,以使消费者进行确认并支付相应的费用;
[0155] 由此,基于移动层板之后所获取的第四图像确定被购买商品,提升了确定结果的准确率,通过将层板复原至移动前的位置,确保了后续消费者选购商品时,每个储物层均具
有一定的空间而便于消费者操作。
[0156] 进一步的,为了控制待移动层板复原至移动前的位置,本说明书一个或多个实施例中,步骤S106‑8之后还包括:记录确定的待移动层板的移动信息;与之对应的,步骤S114
中控制待移动层板复原至移动前的位置,包括:根据记录的待移动层板的移动信息,确定待
移动层板的复原信息,根据复原信息发送层板复原指令给售卖货柜中的升降模块,以使升
降模块根据复原信息控制待移动层板复原至移动前的位置。
[0157] 或者,售卖货柜中的升降模块在接收到层板移动指令时,记录待移动层板的移动信息;对应的,步骤S114中控制待移动层板复原至移动前的位置,包括:发送层板复原指令
给售卖货柜中的升降模块,以使升降模块根据其记录的层板移动信息确定层板复原信息,
并根据层板复原信息控制待移动层板复原至移动前的位置。
[0158] 本说明书一个或多个实施例提供的层板调节方法,能够基于售卖货柜中各摄像头所采集的图像,确定待移动层板的移动信息;其实现了售卖货柜中层板位置的灵活调控,不
仅能够提升储物空间的利用率,而且能够增大被操作商品所在储物层中的摄像头与商品之
间的距离,从而减少该摄像头的拍摄盲区和拍摄死角,提升该摄像头所采集的图像的准确
性,以及提升识别被购买商品的识别结果的准确性。
[0159] 对应上述图4至图10描述的层板调控方法,基于相同的技术构思,本说明书一个或多个实施例还提供一种层板调控装置,应用于售卖货柜,其中,售卖货柜内部的储物空间被
层板划分为多个储物层。图11为本说明书一个或多个实施例提供的层板调控装置的模块组
成示意图,该装置用于执行图4至图10描述的层板调控方法,如图11所示,该装置包括:
[0160] 获取模块201,其获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像;其中,所述第一图像、所述第二图像
和所述第三图像均由设置于各所述储物层顶侧的摄像头,采集自身所在储物层中放置的商
品而得;所述第一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包
括所述储物层的深度图像信息;
[0161] 第一确定模块202,其根据所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层;
[0162] 第二确定模块203,其根据所述第三图像和所述第一目标储物层,确定所述层板中的待移动层板以及所述待移动层板的移动信息;
[0163] 控制模块204,其根据所述待移动层板的移动信息,控制所述待移动层板移动。
[0164] 本说明书一个或多个实施例中,基于售卖货柜中各摄像头所采集的图像,实现了对售卖货柜中层板位置的灵活调控,不仅能够提升储物空间的利用率,而且能够增大被操
作商品所在储物层中的摄像头与商品之间的距离,从而减少该摄像头的拍摄盲区和拍摄死
角,提升该摄像头所采集的图像的准确性,以及提升识别被购买商品的识别结果的准确性。
[0165] 可选地,所述获取模块201,
[0166] 当检测到所述售卖货柜的柜门被打开的开门信号时,根据所述开门信号的第一检测时间发送第一图像获取请求给各所述摄像头,以使各所述摄像头根据所述第一检测时间
在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第一图像;以及,
[0167] 当检测到所述售卖货柜的柜门被关闭的关门信号时,根据所述关门信号的第二检测时间发送第二图像获取请求给各所述摄像头,以使各所述摄像头根据所述第二检测时间
在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第二图像和所述第三图
像。
[0168] 可选地,所述第一确定模块202,其确定每个储物层对应的所述第一图像和所述第二图像;以及,
[0169] 对每个储物层对应的所述第一图像和所述第二图像进行差分处理,得到每个储物层对应的差分图像;
[0170] 对每个储物层对应的差分图像进行二值化处理,得到每个储物层对应的二值化图像;
[0171] 在所述二值化图像中确定符合预设条件的目标二值化图像;
[0172] 将所述目标二值化图像所对应的储物层作为被操作商品所在的第一目标储物层。
[0173] 可选地,所述第二确定模块203,其确定每个储物层对应的所述第三图像;以及,
[0174] 在每个储物层对应的所述第三图像所包括的商品中,获取商品顶部与商品所在储物层的顶部之间的垂直距离最小的目标商品;
[0175] 将所述目标商品的顶部与所述目标商品所在储物层的顶部之间的垂直距离,作为所述目标商品所在储物层的剩余层高;
[0176] 根据所述储物层的剩余层高,确定所述层板中的待移动层板以及所述待移动层板的移动信息。
[0177] 可选地,所述第二确定模块203,若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在具有非零可移动距离的储物层,则根据所述具有非零
可移动距离的储物层与所述第一目标储物层的位置关系,确定待移动层板;以及,
[0178] 根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;
[0179] 根据所述待移动层板所对应的储物层的可移动距离,确定所述待移动层板的实际移动距离;
[0180] 将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息;
[0181] 或者,
[0182] 若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在距离所述第一目标储物层最近、且可移动的总距离不小于预设距离的第二目标储物
层,则根据所述第二目标储物层,确定待移动层板;以及,
[0183] 根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;
[0184] 根据所述第二目标储物层的可移动距离,确定所述待移动层板的实际移动距离;
[0185] 将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息。
[0186] 可选地,所述控制模块204,其根据所述待移动层板的移动信息和层板标识,发送层板移动指令给设置于所述售卖货柜中的升降模块,以使所述升降模块中的驱动单元根据
所述移动信息,驱动所述层板标识所对应的待移动层板通过其侧面设置的滚轮,沿所述升
降模块中的导轨移动。
[0187] 可选地,所述获取模块201,其在所述控制模块204控制所述待移动层板移动之后,还获取所述第一目标储物层对应的第四图像,其中,所述第四图像包括所述第一目标储物
层的平面图像信息;以及,
[0188] 根据所述第一目标储物层对应的所述第一图像和所述第四图像确定所述被购买商品;
[0189] 将所述被购买商品的商品信息发送给对应的消费者;
[0190] 所述控制模块204,还控制所述待移动层板复原至移动前的位置。
[0191] 本说明书一个或多个实施例提供的层板调控装置,能够基于售卖货柜中各摄像头所采集的图像,确定待移动层板的移动信息;其实现了对售卖货柜中层板位置的灵活调控,
不仅能够提升储物空间的利用率,而且能够增大被操作商品所在储物层中的摄像头与商品
之间的距离,从而减少该摄像头的拍摄盲区和拍摄死角,提升该摄像头所采集的图像的准
确性,以及提升识别被购买商品的识别结果的准确性。
[0192] 需要说明的是,本说明书中关于层板调控装置的实施例与本说明书中关于层板调控方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的层板调
控方法的实施,重复之处不再赘述。
[0193] 进一步地,对应上述图4至图10所示的方法,基于相同的技术构思,本说明书一个或多个实施例还提供一种层板调控设备,该设备用于执行上述的层板调控方法,图12为本
说明书一个或多个实施例提供的一种层板调控设备的结构示意图。
[0194] 如图12所示,层板调控设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器301和存储器302,存储器302中可以存储有一个或一个以上存储
应用程序或数据。其中,存储器302可以是短暂存储或持久存储。存储在存储器302的应用程
序可以包括一个或一个以上模块(图示未示出),每个模块可以包括层板调控设备中的一系
列计算机可执行指令。更进一步地,处理器301可以设置为与存储器302通信,在层板调控设
备上执行存储器302中的一系列计算机可执行指令。层板调控设备还可以包括一个或一个
以上电源303,一个或一个以上有线或无线网络接口304,一个或一个以上输入输出接口
305,一个或一个以上键盘306等。
[0195] 在一个具体的实施例中,层板调控设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个
或一个以上模块,且每个模块可以包括对层板调控设备中的一系列计算机可执行指令,且
经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计
算机可执行指令:
[0196] 获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像;其中,所述第一图像、所述第二图像和所述第三图像
均由设置于各所述储物层顶侧的摄像头,采集自身所在储物层中放置的商品而得;所述第
一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的
深度图像信息;
[0197] 根据所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层;
[0198] 根据所述第三图像和所述第一目标储物层,确定所述层板中的待移动层板以及所述待移动层板的移动信息;
[0199] 根据所述待移动层板的移动信息,控制所述待移动层板移动。
[0200] 本说明书一个或多个实施例中,基于售卖货柜中各摄像头所采集的图像,实现了售卖货柜中层板位置的灵活调控,不仅能够提升储物空间的利用率,而且能够增大被操作
商品所在储物层中的摄像头与商品之间的距离,从而减少该摄像头的拍摄盲区和拍摄死
角,提升该摄像头所采集的图像的准确性,以及提升识别被购买商品的识别结果的准确性。
[0201] 可选地,计算机可执行指令在被执行时,所述获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像,包括:
[0202] 当检测到所述售卖货柜的柜门被打开的开门信号时,根据所述开门信号的第一检测时间发送第一图像获取请求给各所述摄像头,以使各所述摄像头根据所述第一检测时间
在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第一图像;
[0203] 当检测到所述售卖货柜的柜门被关闭的关门信号时,根据所述关门信号的第二检测时间发送第二图像获取请求给各所述摄像头,以使各所述摄像头根据所述第二检测时间
在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第二图像和所述第三图
像。
[0204] 可选地,计算机可执行指令在被执行时,所述根据所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层,包括:
[0205] 确定每个储物层对应的所述第一图像和所述第二图像;
[0206] 对每个储物层对应的所述第一图像和所述第二图像进行差分处理,得到每个储物层对应的差分图像;
[0207] 对每个储物层对应的差分图像进行二值化处理,得到每个储物层对应的二值化图像;
[0208] 在所述二值化图像中确定符合预设条件的目标二值化图像;
[0209] 将所述目标二值化图像所对应的储物层作为被操作商品所在的第一目标储物层。
[0210] 可选地,计算机可执行指令在被执行时,所述根据所述第三图像和所述第一目标储物层,确定所述层板中的待移动层板以及所述待移动层板的移动信息,包括:
[0211] 确定每个储物层对应的所述第三图像;
[0212] 在每个储物层对应的所述第三图像所包括的商品中,获取商品顶部与商品所在储物层的顶部之间的垂直距离最小的目标商品;
[0213] 将所述目标商品的顶部与所述目标商品所在储物层的顶部之间的垂直距离,作为所述目标商品所在储物层的剩余层高;
[0214] 根据所述储物层的剩余层高,确定所述层板中的待移动层板以及所述待移动层板的移动信息。
[0215] 可选地,计算机可执行指令在被执行时,所述根据所述储物层的剩余层高,确定所述层板中的待移动层板以及所述待移动层板的移动信息,包括:
[0216] 若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在具有非零可移动距离的储物层,则根据所述具有非零可移动距离的储物层与所述第一
目标储物层的位置关系,确定待移动层板;
[0217] 根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;
[0218] 根据所述待移动层板所对应的储物层的可移动距离,确定所述待移动层板的实际移动距离;
[0219] 将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息;
[0220] 或者,
[0221] 若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在距离所述第一目标储物层最近、且可移动的总距离不小于预设距离的第二目标储物
层,则根据所述第二目标储物层,确定待移动层板;
[0222] 根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;
[0223] 根据所述第二目标储物层的可移动距离,确定所述待移动层板的实际移动距离;
[0224] 将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息。
[0225] 可选地,计算机可执行指令在被执行时,所述根据所述待移动层板的移动信息,控制所述待移动层板移动,包括:
[0226] 根据所述待移动层板的移动信息和层板标识,发送层板移动指令给设置于所述售卖货柜中的升降模块,以使所述升降模块中的驱动单元根据所述移动信息,驱动所述层板
标识所对应的待移动层板通过其侧面设置的滚轮,沿所述升降模块中的导轨移动。
[0227] 可选地,计算机可执行指令在被执行时,所述控制所述待移动层板移动之后,还包括:
[0228] 获取所述第一目标储物层对应的第四图像,其中,所述第四图像包括所述第一目标储物层的平面图像信息;
[0229] 根据所述第一目标储物层对应的所述第一图像和所述第四图像确定所述被购买商品;
[0230] 将所述被购买商品的商品信息发送给对应的消费者,并控制所述待移动层板复原至移动前的位置。
[0231] 本说明书一个或多个实施例提供的层板调控设备,能够基于售卖货柜中各摄像头所采集的图像,确定待移动层板的移动信息;实现了售卖货柜中层板位置的灵活调控,不仅
能够提升储物空间的利用率,而且能够增大被操作商品所在储物层中的摄像头与商品之间
的距离,从而减少该摄像头的拍摄盲区和拍摄死角,提升该摄像头所采集的图像的准确性,
以及提升识别被购买商品的识别结果的准确性。
[0232] 需要说明的是,本说明书中关于层板调控设备的实施例与本说明书中关于层板调控方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的层板调
控方法的实施,重复之处不再赘述。
[0233] 进一步地,对应上述图4至图10所示的方法,基于相同的技术构思,本说明书一个或多个实施例还提供了一种存储介质,用于存储计算机可执行指令,一个具体的实施例中,
该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执
行时,能实现以下流程:
[0234] 获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第二图像和第三图像;其中,所述第一图像、所述第二图像和所述第三图像
均由设置于各所述储物层顶侧的摄像头,采集自身所在储物层中放置的商品而得;所述第
一图像和所述第二图像包括所述储物层的平面图像信息,所述第三图像包括所述储物层的
深度图像信息;
[0235] 根据所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层;
[0236] 根据所述第三图像和所述第一目标储物层,确定所述层板中的待移动层板以及所述待移动层板的移动信息;
[0237] 根据所述待移动层板的移动信息,控制所述待移动层板移动。
[0238] 本说明书一个或多个实施例中,基于售卖货柜中各摄像头所采集的图像,实现了售卖货柜中层板位置的灵活调控,不仅能够提升储物空间的利用率,而且能够增大被操作
商品所在储物层中的摄像头与商品之间的距离,从而减少该摄像头的拍摄盲区和拍摄死
角,提升该摄像头所采集的图像的准确性,以及提升识别被购买商品的识别结果的准确性。
[0239] 可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述获取售卖货柜的柜门被打开时各所述储物层的第一图像,以及所述柜门被关闭时各所述储物层的第
二图像和第三图像,包括:
[0240] 当检测到所述售卖货柜的柜门被打开的开门信号时,根据所述开门信号的第一检测时间发送第一图像获取请求给各所述摄像头,以使各所述摄像头根据所述第一检测时间
在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第一图像;
[0241] 当检测到所述售卖货柜的柜门被关闭的关门信号时,根据所述关门信号的第二检测时间发送第二图像获取请求给各所述摄像头,以使各所述摄像头根据所述第二检测时间
在已拍摄的视频流中获取对应的视频帧,从获取的视频帧提取所述第二图像和所述第三图
像。
[0242] 可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述第一图像和所述第二图像,确定被操作商品所在的第一目标储物层,包括:
[0243] 确定每个储物层对应的所述第一图像和所述第二图像;
[0244] 对每个储物层对应的所述第一图像和所述第二图像进行差分处理,得到每个储物层对应的差分图像;
[0245] 对每个储物层对应的差分图像进行二值化处理,得到每个储物层对应的二值化图像;
[0246] 在所述二值化图像中确定符合预设条件的目标二值化图像;
[0247] 将所述目标二值化图像所对应的储物层作为被操作商品所在的第一目标储物层。
[0248] 可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述第三图像和所述第一目标储物层,确定所述层板中的待移动层板以及所述待移动层板的移
动信息,包括:
[0249] 确定每个储物层对应的所述第三图像;
[0250] 在每个储物层对应的所述第三图像所包括的商品中,获取商品顶部与商品所在储物层的顶部之间的垂直距离最小的目标商品;
[0251] 将所述目标商品的顶部与所述目标商品所在储物层的顶部之间的垂直距离,作为所述目标商品所在储物层的剩余层高;
[0252] 根据所述储物层的剩余层高,确定所述层板中的待移动层板以及所述待移动层板的移动信息。
[0253] 可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述储物层的剩余层高,确定所述层板中的待移动层板以及所述待移动层板的移动信息,包括:
[0254] 若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在具有非零可移动距离的储物层,则根据所述具有非零可移动距离的储物层与所述第一
目标储物层的位置关系,确定待移动层板;
[0255] 根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;
[0256] 根据所述待移动层板所对应的储物层的可移动距离,确定所述待移动层板的实际移动距离;
[0257] 将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息;
[0258] 或者,
[0259] 若根据除所述第一目标储物层外的每个储物层的剩余层高和预设安全距离,确定存在距离所述第一目标储物层最近、且可移动的总距离不小于预设距离的第二目标储物
层,则根据所述第二目标储物层,确定待移动层板;
[0260] 根据所述待移动层板与所述第一目标储物层的位置关系,确定所述待移动层板的移动方向;
[0261] 根据所述第二目标储物层的可移动距离,确定所述待移动层板的实际移动距离;
[0262] 将所述待移动层板的移动方向和实际移动距离作为所述待移动层板的移动信息。
[0263] 可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述根据所述待移动层板的移动信息,控制所述待移动层板移动,包括:
[0264] 根据所述待移动层板的移动信息和层板标识,发送层板移动指令给设置于所述售卖货柜中的升降模块,以使所述升降模块中的驱动单元根据所述移动信息,驱动所述层板
标识所对应的待移动层板通过其侧面设置的滚轮,沿所述升降模块中的导轨移动。
[0265] 可选地,该存储介质存储的计算机可执行指令在被处理器执行时,所述控制所述待移动层板移动之后,还包括:
[0266] 获取所述第一目标储物层对应的第四图像,其中,所述第四图像包括所述第一目标储物层的平面图像信息;
[0267] 根据所述第一目标储物层对应的所述第一图像和所述第四图像确定所述被购买商品;
[0268] 将所述被购买商品的商品信息发送给对应的消费者,并控制所述待移动层板复原至移动前的位置。
[0269] 本说明书一个或多个实施例提供的存储介质存储的计算机可执行指令在被处理器执行时,能够基于售卖货柜中各摄像头所采集的图像,确定待移动层板的移动信息;实现
了售卖货柜中层板位置的灵活调控,不仅能够提升储物空间的利用率,而且能够增大被操
作商品所在储物层中的摄像头与商品之间的距离,从而减少该摄像头的拍摄盲区和拍摄死
角,提升该摄像头所采集的图像的准确性,以及提升识别被购买商品的识别结果的准确性。
[0270] 需要说明的是,本说明书中关于存储介质的实施例与本说明书中关于层板调控方法的实施例基于同一发明构思,因此该实施例的具体实施可以参见前述对应的层板调控方
法的实施,重复之处不再赘述。
[0271] 上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来
执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺
序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可
以的或者可能是有利的。
[0272] 在20世纪30年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然
而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。
设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因
此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件
(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable Gate 
Array,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员
自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作
专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻
辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,
而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言
(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL
(Advanced Boolean Expression Language)、AHDL(Altera Hardware Description 
Language)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL
(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(Ruby 
Hardware Description Language)等,目前最普遍使用的是VHDL(Very‑High‑Speed 
Integrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应
该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,
就可以很容易得到实现该逻辑方法流程的硬件电路。
[0273] 控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可
读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,
ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制
器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存
储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以
纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使
得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实
现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种
功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视
为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0274] 上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可
以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放
器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何
设备的组合。
[0275] 为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0276] 本领域内的技术人员应明白,本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施
例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含
有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存
储器等)上实施的计算机程序产品的形式。
[0277] 本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每
一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机
程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器
以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用
于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装
置。
[0278] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0279] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0280] 在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
[0281] 内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的
示例。
[0282] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动
态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除
可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD‑ROM)、
数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备
或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算
机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0283] 还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包
括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要
素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要
素的过程、方法、商品或者设备中还存在另外的相同要素。
[0284] 本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型
的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个
或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执
行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机
存储介质中。
[0285] 本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实
施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例
的部分说明即可。
[0286] 以上所述仅为本文件的实施例而已,并不用于限制本文件。对于本领域技术人员来说,本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同
替换、改进等,均应包含在本文件的权利要求范围之内。