基于图像处理的货架图提取

摘要

向部署在库存环境中的一个或多个图像捕获设备所获得的图像应用图像分析技术，包括对象识别分析。对象识别分析基于已存储的产品(训练)图像来提供对象识别数据(其可以包括一个或多个已识别产品实例)。继而，可以基于对象识别数据来支持各种功能。例如，可以提取货架图并将其与目标货架图进行比较，或者可以确定产品的至少一个产品展示参数并将其用于评估库存环境中的产品存在，或者用于确定产品的展示与促销目标的一致性。在另一实施方式中，可以在单个图像内或者随时间的多个图像之间进行比较，以检测需要响应的潜在状况。以此方式，可以改进之前人工实现的任务的效率和效用。

权利要求

1.一种货架图提取的方法，包括：

接收库存环境的图像，所述库存环境包括产品；

基于配置简档来标识至少一个候选产品实例；

基于与所述至少一个候选产品实例对应的已存储产品图像，来对所述图像执行对象识别分析，以提供产品识别数据；以及基于所述产品识别数据来提供提取的货架图，所述提取的货架图指示所述库存环境的当前状态，其中所述提取的货架图通过将所述库存环境中的所述至少一个产品的实际位置映射到所述提取的货架图中的对应位置来可视地代表所述库存环境中的所述至少一个产品的所述实际位置。

2.如权利要求1所述的方法，进一步包括：标识产品支撑设备在所述图像中的图像位置；以及将所述产品支撑设备在所述图像中的所述位置向所述产品支撑设备在所述库存环境中的实际位置映射，其中所述提取的货架图进一步示出所述产品支撑设备的所述实际位置。

3.如权利要求1所述的方法，其中所述产品识别数据包括至少一个已识别产品实例，以及其中提取的货架图针对所述至少一个已识别产品实例的每一个包括所述已识别产品实例的相应图像。

4.如权利要求2所述的方法，进一步包括：基于所述库存环境中用来捕获所述图像的图像捕获设备的方位信息，将所述图像位置向所述实际位置映射。

5.如权利要求1所述的方法，进一步包括：向所述库存环境中的图像捕获设备发送针对所述图像的请求。

6.如权利要求1所述的方法，进一步包括：将所述提取的货架图与目标货架图进行比较。

7.如权利要求6所述的方法，其中所述目标货架图是基于先前图像的先前提取的货架图，或者是最优货架图。

8.如权利要求6所述的方法，进一步包括：确定与所述提取的货架图和所述目标货架图之间的差异相关联的成本。

9.一种用于货架图提取的装置，包括：

用于接收库存环境的图像的装置，所述库存环境包括产品；

用于基于配置简档来标识至少一个候选产品实例的装置；

用于基于与所述至少一个候选产品实例相对应的已存储产品图像，来对所述图像执行对象识别分析，以提供产品识别数据的装置；以及用于基于所述产品识别数据来提供提取的货架图的装置，所述提取的货架图指示所述库存环境的当前状态，其中所述提取的货架图通过将所述库存环境中的所述至少一个产品的实际位置映射到所述提取的货架图中的对应位置来可视地代表所述库存环境中的所述至少一个产品的所述实际位置。

10.如权利要求9所述的装置，进一步包括：用于标识产品支撑设备在所述图像中的图像位置的装置；以及用于将所述产品支撑设备在所述图像中的所述位置向所述产品支撑设备在所述库存环境中的实际位置映射的装置，其中所述提取的货架图进一步示出所述产品支撑设备的所述实际位置。

11.如权利要求9所述的装置，进一步包括：用于将针对所述产品识别数据中的至少一个已识别产品实例中每一个的相应图像包括在所述提取的货架图中的装置。

12.如权利要求10所述的装置，进一步包括：用于基于所述库存环境中用来捕获所述图像的图像捕获设备的方位信息，将所述图像位置向所述实际位置映射的装置。

13.如权利要求9所述的装置，进一步包括：用于向所述库存环境中的图像捕获设备发送针对所述图像的请求的装置。

14.如权利要求9所述的装置，进一步包括：用于将所述提取的货架图与目标货架图进行比较的装置。

15.如权利要求14所述的装置，其中所述目标货架图是基于先前图像的先前提取的货架图，或者是最优货架图。

16.如权利要求14所述的装置，进一步包括：用于确定与所述提取的货架图和所述目标货架图之间的差异相关联的成本的装置。

17.一种用于货架图提取的系统，包括：

图像捕获设备，其被配置和部署为捕获库存环境中的至少一个产品的图像；以及自动货架图生成器，其与所述图像捕获设备通信，可操作以用于：基于配置简档来标识至少一个候选产品实例；

基于与所述至少一个候选产品实例相对应的已存储产品图像来对所述图像执行对象识别分析，以提供产品识别数据；以及基于所述产品识别数据来提供提取的货架图，所述提取的货架图指示所述库存环境的当前状态，其中所述提取的货架图通过将所述库存环境中的所述至少一个产品的实际位置映射到所述提取的货架图中的对应位置来可视地代表所述库存环境中的所述至少一个产品的所述实际位置。

说明书

基于图像处理的货架图提取

[0001]

[0002] 技术领域

[0003] 本公开总体上涉及库存管理，具体地，涉及用于基于图像分析技术进行库存管理的技术。

[0004] 背景技术

[0005] 目前，库存管理，也即对产品支撑设备(例如，货柜、货架、陈列架、走廊端头展示架等)上货物的充足水平进行展现和维护，是一项持续性的劳力密集型工作。例如，为了向客户提供货品展现，期望将所展示货物的水平与最大水平尽可能接近。在某些产品售罄并且不再展示在货柜上时(有时称为“缺货”)，商店运营者通常将损失大量收入，因为客户将无法找到他们期望购买的产品，或者无法抓住根据一时的兴趣购买产品的机会。另外，在库房或者仓库中可能难以识别出低库存或者缺货，这导致了重新订购的延迟。为了解决这一问题，管库人员或者其他人员负有如下任务，即不断地监控所展示的货物，并且在所展示的货物减少时或者在货柜上的产品展示次优时(例如，混乱、错位等)做出响应。由于这确实是人力过程，因此这种工作倾向于是相对昂贵并且有时是易错的。在零售环境中与人工监控库存相关联的这些问题同样存在于库存水平也很重要的非零售环境，例如仓库。

[0006] 同样，常见的情况是，某些产品的制造商与零售商达成协议，以确保其产品以特定的方式来展示。由此，需要持续地就零售商是否恰当地展示了制造商的产品的表现进行审核。然而，这种审核和验证任务此前是由人工完成的。也就是说，通常将代理人派往现场，亲自检查给定零售商的操作，以验证与促销活动的一致性。由于对于针对给定产品的可能零售商数量是惊人的，这种人工解决方案很快将变为成本高昂的，由此只能抽查，而这不是最优的解决方案。

[0007] 因此，提供使先前使用人工技术进行的这些对货物库存和展示任务进行核查中的很多核查变得自动化的技术将是有益的。如果可以使用这种自动化的技术来提供对产品实际上是如何展示的更为详细的理解，将是更有益的。

发明内容

[0008] 本公开描述了通过使用图像分析技术来克服现有技术中上述限制的各种技术，其中图像分析技术包括但不限于：向部署在库存环境中的一个或多个图像捕获设备所获得的图像应用的对象识别分析技术。具体地，基于请求或者自动地，库存环境中的图像捕获设备可以捕获一个或多个图像，随后向优选地实现对象识别技术的图像分析功能提供所述图像。对象识别分析基于所存储的产品图像来提供对象识别数据，其可以包括接收图像内的一个或多个已识别产品实例。继而，可以基于对象识别数据启用各种功能。例如，在本发明的一个实施方式中，可以从以此方式分析的一个或多个图像中提取货架图。在此实施方式中，对象识别分析是基于按照配置简档中所包括的一个或多个候选产品而选择的那些存储产品图像。提取出的货架图可以在货架图中反映与至少一个已识别产品实例相对应的产品在库存环境中实际位置的位置处包括这些产品的图像。此后，可以将提取的货架图与目标(也即，之前提取的或者最优的)货架图进行比较，并且可以计算基于差异的性能测量。

[0009] 在另一实施方式中，对象识别数据可以用来确定在库存环境中展示的产品的至少一个产品展示参数。继而，所述产品展示参数可以用来确定所述产品在库存环境中的存在和位置，或者用来确定产品的展 示与促销目标的一致性。在又一实施方式中，可以在单个图像内进行比较，或者随时间在多个图像之间进行比较。以此方式，可以快速检测到需要适当人员响应的潜在状况。例如，可以按照这种方式来分析图像，以检测这些图像内的一个或多个缺货特征。此后，如果检测到此类特征，则提供至少部分耗尽的货物状况的指示。在另一实施方式中，产品展示参数可以用来评估产品展示的方式与促销目标的一致性。其结果是，本发明使此前使用人工技术实现的很多任务变得自动化，由此极大地增强了需要库存维护的操作的效率和效用。

附图说明

[0010] 在本公开中描述的特征具体地记载在所附权利要求书中。通过结合附图考虑以下详细描述，这些特征和随附优点将变得易见。现在将参考附图仅以示例的方式描述一个或多个实施方式，在附图中，相似的标号表示相似的元素，其中：

[0011] 图1是按照本发明一个实施方式的系统的示意图；

[0012] 图2是按照本发明一个实施方式的、用于货架图自动提取的技术的流程图；

[0013] 图3是从库存环境中取得的、并且示出了多个产品的展示的示例图像；

[0014] 图4是按照本发明一个实施方式提供的、基于图3的示例性图像的示例性已提取货架图；

[0015] 图5是示出了按照本发明一个实施方式的、用于根据对缺货特征的检测来提供耗尽货物状况的指示的技术的流程图；

[0016] 图6是包括部署于其上的一个或多个可检测图案的至少一个产品支撑设备的示意图，所述可检测图案可以用作用来检测耗尽货物状况的缺货特征；

[0017] 图7是至少一个产品支撑设备的示意图，其中，至少一个产品支撑设备的一个或多个已知特征被用来检测耗尽货物状况；

[0018] 图8是示出了基于产品展示参数的检测的技术的流程图；

[0019] 图9是示出了用于基于对时间上不同的图像进行比较来提供需要响应的潜在状况的指示的技术的流程图；

[0020] 图10是示出了用于基于对单个图像的部分进行比较来提供需要响应的潜在状况的指示的技术的流程图。

具体实施方式

[0021] 将进一步参考图1-图10来提供对本发明各种实施方式更为详细的描述。现在参考图1，其示出了系统100包括部署在库存环境102中的一个或多个图像捕获设备104。在库存环境102中，在各种产品支撑设备108上展示有各种产品106。图像捕获设备104通过第一网络112与图像服务器110通信。尽管被示为在库存环境102外部，但是图像服务器110也可以部署在库存环境102内。图像捕获设备104可以包括可被旋转、平移等的静态图像照相机或视频照相机，其可以安装在库存环境102中的一个或多个位置。备选地或者附加地，图像捕获设备可以包括相对移动的(潜在地，无线的)静态图像照相机或者视频照相机，其安装在多个可移动对象的任意对象上，可移动对象包括但不限于：引导图像捕获设备移动的固定轨道、购物车或货物车，或者甚至是在库存环境102中移动的人。而且，图像捕获设备104可以使用电磁频谱的不同部分(也即，可见波长和/或红外波长)来进行操作。这是因为，如下所述，给定的图像捕获设备104的位置对于在此描述的各种技术来说可能是有用的，或者甚至是必须的。在具有固定的图像捕获设备104的情况下，此类位置信息可以是隐含已知的。在具有相对移动的图像捕获设备的情况下，如上所述，可以通过潜在不同的方式来提供可变程度的位置信息。例如，位置信息可以由操作移动图像捕获设备的人来人工提供。备选地，可以使用由移动图像捕获设备所捕获的图像来推断其位置。例如，在一个实施方式中，可以遍布库存环境来定位位置唯一的标记(例如，字符图像、条形码等)，使得其可以被识别(如下所述)和解码以确定位置信息。在又一实施方式中，可以使用所捕获图像中存在的其他信息来推断位置信息。基 于对特定的产品或者产品群组的预期位置的先前知识，随后在一个或多个所捕获图像中识别出这些产品可以用作推断在捕获所述一个或多个图像时该图像捕获设备正处于这些产品的预期位置的基础。在产品可能具有多个位置的情况下，可以通过注意预期唯一的特性(诸如，其他产品的附近、检测到产品的高度、陈列面(facing)的数目等)来执行歧义消除。

[0022] 图像服务器110继而可以包括计算平台，例如实现能够从图像捕获设备104接收所捕获图像、并且可选地能够向图像捕获设备104提供控制信令的适当软件的服务器计算机，如本领域内已知的。基于对给定库存环境布局的知识(例如，在假定特定的产品和相机被定位的情况下，或者更简单点说，通过提供给其的坐标来定位的情况下)，图像服务器110可以响应于请求而选择适当的图像捕获设备104(以及这些设备的适当朝向)。尽管第一网络112可以包括有助于递送来自图像捕获设备104的图像数据(以及可选地，向图像捕获设备104递送控制信号)的实际上任意类型的网络，但是也可以使用特定于任务的网络，诸如闭路电视网络(CCTV)等。一般地，库存环境可以包括以结构化方式来保存和/或展示产品106的任何环境，包括但不限于：杂货店、服装店、消费者电子产品商店、百货商店、仓库等。库存环境102中的结构化展示可以基于对一个或多个产品支撑设备108的使用，其中产品支撑设备108诸如是货架、货柜、纵向展示架、端头展示架等，这对于本领域的普通技术人员而言是已知的。

[0023] 在所示的实施方式中，图像服务器110通过第二通信网络122与各组件124-130通信。再一次，第二网络122可以包括实际上任何适当的联网技术，在目前优选的实施方式中，其包括基于因特网协议的网络，包括但不限于因特网或者万维网。总体上，组件124-130构成了自动化库存管理系统120，但是将会理解，组件124-130中的一个或多个可以合并为单个组件(例如，单个服务器计算机)。在所示的实施方式中，图像分析服务器124与货架图服务器126和库存分析服务器128通信。继而，图像分析服务器124和货架图服务器126二者 都与数据库130通信。自动化库存管理系统120的各组件124-128可以通过第二网络122(或者其他网络，例如无线网络)来与一个或多个用户140通信。用户140可以包括库存管理中所涉及到的或者对此感兴趣的任何一方，包括但不限于：管库人员、商店经理、广告商、零售商的总部等。在目前优选的实施方式中，可以为每个用户140提供接收由各组件124-128提供的指示(将在下文进一步详细描述)所需的适当通信设备，诸如计算机、移动电话、寻呼机、个人数字助理等。如本领域中已知的，第二通信网络122可以适于按照需要与用户140所关联的任何无线设备进行通信。

[0024] 图像分析服务器124执行对图像(优选地的是接收自图像服务器110(或者任何其他来源)的图像)的图像分析技术。图像分析服务器所接收的图像可以响应于由图像分析服务器124向图像服务器110发出的特定请求(也即，拉取)被提供，或者其可以在没有事先请求的情况下由图像服务器110自动向图像分析服务器124提供(也即，推送)。优选地，图像分析服务器124使用一个或多个适当的计算平台来具体化，诸如商业上可获得的个人计算机，其包括能够执行实现各种图像处理技术的已存储指令的至少一个处理器(例如，微处理器、微控制器、数字信号处理器、专用集成电路、可编程逻辑等或其组合)。在目前优选的实施方式中，图像分析服务器124实现例如基于DavidG.Lowe的“Distinctive image features from scale-invariant keypoints”，International Journal of Computer Vision，60，2(2004)，第91-110页以及美国专利号6,711,293(在此通过引用并入其全部内容)中描述的所谓尺度不变的特征变换(SIFT)算法的对象识别技术，这是特别有用的，因为其能够识别出图像中的对象实例(基于训练图像)，而不考虑旋转、视点、尺度的改变，以及光照条件的改变等。用于对象识别的另一技术在公布的美国专利申请号2007/0179921A1中教导，在此也通过引用将其并入。一般地，当基于待识别的对象的一个或多个训练图像时，此类算法提供了对图像中识别出的对象的标识、识别出的对象在图像中的位置以及所述对象实际上位于图像中的概率。而且， 可以使用用于识别图像内特定特征的、潜在地在计算上更为有效的技术。例如，可以使用图像各个部分的亮度水平来检测图像的较暗区域(也即，阴影)，这潜在地指示给定的位置处产品的缺失。此外，可以使用对均匀颜色区域(与产品包装中通常使用的非均匀着色形成对比)的检测来再一次检测给定区域中产品的缺失。而且，对垂直线(例如，使用Harris检测符)的检测和字符的检测(使用光学字符识别)是产品存在的指示，而这种特征的缺失是产品不存在的指示。在又一实施方式中，可以采用形状检测来检测特定包装的总体形状。对于库存环境的不同部分或者甚至是相同产品支撑设备的不同部分而言，不同的技术可能是最佳的，因此例如可以由图像服务器110和/或图像分析服务器124来维护与针对库存环境的不同区域(或者库存环境中特定位置的不同部分)的优选技术有关的数据。

[0025] 如本领域已知的，货架图至少是产品(使用任何方便的标识机制)、产品的方位(例如，产品中心的x、y、z坐标)以及产品的“主表面”(通常是前表面)的朝向(3个角度)的列表。尽管不是必需的，但是货架图还可以包括在图形上示出该数据的固定设备和产品的示意图，也即，产品应当如何展示以及展示在哪里，通常展示在货架或者其他产品支撑设备上。通常，货架图由产品供应商来提供和设计，以增加客户购买。如下文更为详细描述的，期望可以出于多种目的而有益地使用反映出给定库存环境当前状态的货架图。为此，类似于图像分析服务器124，货架图服务器126优选地使用一个或多个适当的计算平台来具体化，其包括至少一个处理器，能够执行基于由图像分析服务器所提供的结果(也即一个或多个已识别产品实例的标识和位置(在一个或多个图像内))来生成货架图的软件例程的已存储指令，这将在下文更为详细地描述。提供数据库130，以便与图像分析服务器124以及可选地货架图服务器126二者结合使用。在目前优选的实施方式中，数据库130存储多个已存储的产品图像和/或所述图像和产品的特征和特性，其可被图像分析服务器
124所实现的对象识别软件用作训练数据，并且可以在根据已识别对象实例来组装所提取的货架 图时在货架图服务器126中使用。如本领域中已知的，数据库130可以使用具有适当的数据库以及数据库查询软件的、经过适当编程的存储服务器来实现。

[0026] 库存分析服务器128(再一次，其优选地使用一个或多个适当的计算平台来实现，所述计算平台包括能够执行实现软件例程的已存储指令的至少一个处理器)可以用来实现各种与库存相关的任务，以及下文例如将进一步参考图8来描述的与促销一致性有关的任务。如果期望，与缺货确定相关联的那些功能(下文描述)可以可选地在专用的缺货分析服务器127(使用类似于其他所示服务器的硬件平台来实现)上执行。最后请注意，图1中示出的服务器和数据库124-130的特定配置是出于说明性目的的，并且本领域技术人员将会理解，同样可以采用各种其他配置(有可能包括未示出的附加联网设备)。

[0027] 现在参考图2，示出了按照本发明一个实施方式的流程图。在目前优选的实施方式中，优选地使用图1中所示的系统100来实现图2(以及图5和图8-图10)的流程图所示的技术。此外，图2中所示的各框优选地使用存储在适当的处理器可读介质中、并由适当的处理设备来执行的可执行指令来执行。开始于框202，可以向图像捕获设备104提供针对一个或多个图像的请求。例如，图像分析服务器124可以通过第二网络122向图像服务器110发送针对一个或多个图像的请求。继而，图像服务器110可以控制图像捕获设备104(例如，指示其指向库存环境中的特定位置，或者指向特定的产品支撑设备等)来获取期望的图像。相反，不同于响应于特定请求来获取图像，图像捕获设备104可以自动地和/或连续地获取图像，并且向图像服务器110提供这些图像。此后，图像服务器110可以类似地在没有事先请求的情况下向图像分析服务器124提供期望的图像。不论请求图像(拉)或者自动提供图像(推)的方式如何，每个图像的元数据或者类似信息都可以包括标识图像的信息(其形式例如是特定图像捕获设备的标识以及其朝向和位置，或者图像中所捕获的特定区域的标识)以及捕获图像的相对时间。

[0028] 不论在框204接收图像的方式，处理继续到框206，其中，基于配置简档来标识一个或多个候选产品。在此使用的候选产品包括特定的产品或者一类产品的标识。例如，“COKE”和“PEPSI”是特定产品的品牌的示例，而“软饮料”是特定产品类别的示例。在产品类别中的各种特定产品的外在(outward)配置通常遵从对于该类产品而言相对通用的特征的那些情况下，使用特定产品类别可能是特别有益的。例如，在“软饮料”作为一类产品的情况下，这些产品的个体罐子或瓶子的形状可能彼此非常类似，由此允许使用对于该类别通用的训练图像。以此方式，本发明不仅可以用来识别特定产品，而且还可以用来识别产品的类别。配置简档包括对预期存在于给定图像中的内容的文本描述。例如，在图像捕获设备104安装在已知位置并因此可以与其视场内的特定预期产品相关的情况下，配置简档可以列出预期位于一个或多个特定图像捕获设备的视场中的那些产品。以此方式，对象识别分析所使用的已存储产品图像的列表(也即，训练图像)可以充分地减少，由此改进对象识别分析的效率。

[0029] 继续到框208，对图像执行至少部分地基于在框206标识的一个或多个候选产品的对象识别分析，以提供对象识别数据。在此使用的对象识别分析的输出，也即对象识别数据，包括图像中任何已识别产品的标识，以及相应的产品实际上位于图像中的适当指示(例如，概率)，此后偶尔称为已识别产品实例。而且，对象识别数据优选地包括所标识产品(如果有的话)在图像中的位置信息(相对于图像而言)，也即，在图像中的x、y坐标。注意，对象识别数据可能无法标识任何已识别对象，但例如在确定是否存在缺货状况时其仍然是有用的。鉴于大部分库存环境可能存在来自不同供应商以及不同产品类别的多个产品这一本质，至少一个已识别产品实例可以包括对单个或多个产品的单个或多个识别(例如，对“COKE”软饮料的瓶子的多个识别，对“COKE”软饮料的单个瓶子的识别和对“PEPSI”软饮料的瓶子的多个识别，对“COKE”和“PEPSI”两种软饮料的瓶子的多个识别，以及对“SOLO”塑料杯的多个识别等)。

[0030] 这将参考图3进一步地示出。具体地，图3示出了其中使用多个产品支撑设备(在此例中是货架)302-306来展示多种产品308-314的库存环境301的示例性图像300。在此例中，图像300由近似位于最高货架302的高度处的图像捕获设备所捕获。典型的图像还可以包括在图3中为了说明简便而未示出的各种其他对象(例如，货架上的价签，诸如购物车或人的不透明对象，宣传资料等)。在目前优选的实施方式中，用来捕获图像的图像捕获设备定位在期望位置(例如，货架302-306)的相对远端。取决于库存环境的特定配置，例如，杂货店情况中间隔相对紧密的货架行，可能期望将图像捕获设备定位在货架之上的某处。在常见的情况下并如图3所示，产品308-314没有“理想地”排列。例如，某些产品308可能被旋转或者以其他方式而未对齐，使得其不是面朝前的；其他产品310不适当地堆放在彼此之上；而另一些产品312的定位可能使其遮挡了其他产品314。而且，图像中还可能存在间隙316和阴影区域318，使得没有可识别的特定产品。优选地，所采用的对象识别分析能力能够处理图像中的这种非优化特性，从而在可能的情况下仍能提供一个或多个已识别产品实例，在图3中被示为以粗线示出的产品。

[0031] 在框208处执行的对象识别分析还可以将基于对图像的附加分析而产生的遮挡信息或障碍信息纳入考虑。例如，在拥挤的杂货店或类似操作中，对于库存环境中给定位置的图像而言，存在障碍物挡住否则将可获得的“标准”视图的至少一部分的可能性是很大的。例如，一个或多个人或者购物车可能挡住某些产品的视图。如果障碍物(或者其他原因，诸如不足的光照或者图像分辨率)阻止了对整个图像中或者至少部分图像中产品的检测，则该整个图像或者被过高地遮挡(或者以其他形式不利于图像分析)的该部分可以被丢弃或者忽略，并利用从不同视点捕获的和/或在即便不相同也是非常类似的时间点捕获的相同位置的另一图像。也即，如果可能，优选地还是使用未被遮挡或不存在其他缺陷的图像的任何部分。用来检测遮挡的技术可以基于有待检测的遮挡的类型。例如，多种技术被公知用于检测图像中 人和运动的存在。例如，人跟踪技术在以下参考文献中描述：J.K.Aggarwal和Q.Cai.″Human Motion Analysis：A Review″.ComputerVision and Image Understanding：CVIU，Vol.73，No.3，第428-440页，1999；I.A.Essa.″Computers Seeing People″.AIMag，Vol.20，No.2，第69-82页，1999；D.Gavrila.″The Visual Analysis of Human Movement：A Survey″.Computer Vision and Image Understanding，Vol.73，No.1，第82-98页，1999年1月；和Ismail Haritaoglu，David Harwood，以及Larry Davis.″W4：Who？When？Where？What？A Real Time System forDetecting and Tracking People″.In：Proceedings 3rd InternationalConference on Face and Gesture Recognition，日本，奈良，1998年4月，在此通过引用并入这些参考文献的教导。
而且，类似脸部特征的检测可以用来检测人的存在，并且例如可以使用在Intel公司的OpenCV(开源计算机视觉)库中找到的脸部识别功能来实现。可以使用其他技术来检测如购物车的某些对象。例如，可以基于来自各个角度的购物车的训练图像来使用如上所述的对象识别。而且，可以使用线检测算法来检测间隔相对紧密的、基本上平行的线，其常常表示购物车框的垂直结构部件；或者，可以使用形状检测算法来检测购物车的轮廓或者购物车轮子的圆形形状。而且，颜色和/或纹理检测技术也可以用来(单独地或者与上述技术的任意组合相结合地)检测购物车的特有特征，例如，购物车的相对光泽的金属结构部件。特别地，对于购物车，使用这些技术检测到的与购物车的位置和/移动有关的信息可以用来确定库存环境中的人的行为。例如，在给定区域内频繁且连续地检测到购物车可以表示高流量环境。而且，在特定的产品展示前面、在相对延续的时段中检测到购物车可能表示(在积极的意义上)消费者对于所展示的产品和/或宣传资料有很大兴趣，或者表示存在障碍物或者阻碍特定区域周围的交通流动的其他状况(在消极的意义上)。

[0032] 再次参考图2，处理继续到框210，基于对象识别数据(以及可能的货架检测)来生成提取的货架图，并将其作为输出提供。特别地，提取的货架图包括与至少一个已识别产品实例(如果有的话)中的每 一个相对应的一个或多个产品的位置以及可能还有图像。图4中示出了其一个示例。

[0033] 图4示出了基于图3的示例性图像300的提取的货架图400。如图所示，提取的货架图400示出了与图像300中识别的货架302-306相对应的货架402-406。在目前优选的实施方式中，图像300中货架的位置是通过对象识别分析或者任何其他适当的技术确定的，作为非限制性示例，所述其他适当技术例如通过使用已知的边检测算法来标识图像中相对较长的连续边。此后，利用已知的几何变换技术，可以将图像中的货架302-306的位置转换为库存环境中货架的实际位置，其可以由提取的货架图400中示出的货架402-406的方位所反映。为了确定货架的实际位置，库存环境中的图像捕获设备的方位信息被使用。在目前优选的实施方式中，该方位信息包括照相机的成像平面的空间坐标(例如，x、y、z)，以及该图像捕获设备在库存环境中的垂直和水平倾斜、视场、缩放因子、高度等。基于此信息以及本领域技术人员已知的其他可确定信息(例如，货架的总体高度、货架到图像捕获设备的成像平面的距离等)，可以将图像中的已识别对象(例如，货架)的坐标向库存环境
301中的实际位置映射。使用类似的映射来将图像中各种已识别产品实例的方位信息转换为产品在库存环境301、102中的实际位置。考虑到对象识别数据可能不包括任何已识别产品实例，提取的货架图或者至少货架图与所分析图像相对应的那部分可能不包括与已识别产品相对应的任何信息。

[0034] 利用与一个或多个已识别产品实例(图3中以粗体示出)相对应的产品的身份以及其在库存环境中的实际位置的知识，提取的货架图400可以包括已识别产品的对应图像408-412，其在提取的货架图400中的位置对应于其在库存环境301、102中的实际位置。再一次，将库存环境中的实际位置向货架图表示中的相应位置映射是本领域中公知的。类似地，产品416之间的间隙，未对齐以及其他展示缺陷也可以在货架图400中示出，由此反映货架的当前状态。还如提取的货架图400中所示，还可以示出附加货架420和产品422的位置。由于 在创建提取的货架图400时可以使用多个图像(其中没有一个图像单独完全捕获了给定的产品支撑设备，而是集体捕获)这一事实，这是可能的。例如，基于多个基本上同时的图像，可以确定：给定图像中最下面的货架位于图3的示例性图像300中描绘的第二货架306之下，这归因于这些图像中都表示了第二货架306这一事实。利用该知识(例如，包括已知的相机位置和/或第二货架306的图像之间的关系)，货架图生成软件可以有效地向提取的货架图400添加附加的货架420和产品422，由此提供货架在拍摄图像时刻的总体图像。

[0035] 如上所述，对象识别数据直接用于生成提取的货架图。然而，实际上，优选地的是，在将对象识别数据用于任何在此描述的目的(包括货架图的提取)之前，首先对其进行过滤。这是优选的，因为图像分析不是完美的，并且偶然会提供假阳(false positive)信息，例如，对象识别分析有时将指示实际上并不在那儿的已识别产品实例。而且，与图像分析的执行无关的外部因素(例如，遮挡、变化的光照条件等)的存在可能干扰图像分析的正确执行。其结果是，经常需要在单个图像(以及更一般地，一系列图像)中过滤掉这种误导的出现。

[0036] 例如，给定的产品可能被识别为在相应货架之上一定距离(归因于其下面的某些其他不可识别的对象)。在提取的货架图中可以将该产品描绘为放在货架之上，而非将其描述为“悬”在货架之上。类似地，可以忽略不像真实的产品识别(例如，产品“漂浮”在半空或者被货架分割)。同样可以忽略以不可能的角度识别的产品(例如，产品可能在z轴上转动非90度的角度，但是不太可能在x轴和y轴上这样)。因为涉及各种可能产品的已存储数据还可以包括关于产品的实际尺寸的信息，因此，可以丢弃与产品的已知尺寸不同的产品识别实例，例如，玉米片的盒子不可能有两米宽。

[0037] 通过比较随时间的多个图像，可以实现附加的过滤。也即，为了可靠地确定给定的对象是应当还是不应当被认为是在多个图像中识别到的，需要随时间的比较。例如，对图像的对象识别分析可以确定：两个或者更多已识别产品实例基本上重叠。这种情况通常将需要验 证，因为这实际上可能是这样的情况，即，一个或多个产品可能定位在另一个之后，但是却被识别了出来。备选地，这可能通过对单个产品的多个识别而出现。通过使用随时间的多个图像(例如，使用稍后某时的另一图像)和/或随空间的多个图像(例如，从不同角度捕获一个或多个附加图像)，可以把每种情况考虑进来或者排除出去。类似的逻辑可以应用于检测到潜在的遮挡或变化的光照条件的那些实例。再一次，在这些实例中，多个时间上或空间上相异的图像的使用可以用于确认或者排除特定的识别结果。

[0038] 再次参考图2，处理可选地继续到框212，在此将提取的货架图与目标货架图进行比较。在目前优选的实施方式中，目标货架图可以包括基于一个或多个附加图像(或者甚至是基于使用不同对象识别技术的同一图像)的另一提取的货架图，或者最优货架图。这里所使用的“最优货架图”表示规划者最初预想的一个或多个产品的理想展示。提取的货架图与目标货架图的比较可以用来标识所比较货架图之间的差异。如上所述，货架图包括产品、(相对)方位和朝向的列表。优选地，期望的比较基于产品中心之间的距离及其朝向的之间的比较。这种差异可以包括但不限于：产品距期望位置的水平偏离或垂直偏离、没有在其预期位置检测到产品，或者相对于目标图像而言增加了不期望的产品。

[0039] 基于提取的货架图与目标货架图之间任何标识出的差异，处理可以可选地继续到框214，在此，针对每个产品(或者产品类别)确定货架图之间差异的相对成本。例如，在一个实施方式中，给定产品相对于目标货架图的水平偏移可以具有与其相关联的相对较低的成本。此外，给定产品相对于目标货架图的垂直偏移可以具有与其相关联的中等成本。另一方面，与目标货架图相比，产品在提取的货架图中完全缺失可以具有与其相关联的相对较高的成本。其他成本(作为设计选择问题而被确定)可以与其他可检测差异相关联，所述其他可检测差异诸如额外的、计划外产品的存在，或者期望产品的额外陈列面的存在等。根据基于所标识的差异而计算的各种成本，可以计算差异的 总成本(或者与给定货架图的期望特定方面相对应的各种小计)，以作为测量当前库存管理技术的有效性的一种方式。
注意，可以针对一系列时间上不同的提取的货架图/目标货架图来执行框212和214的比较和/或成本确定，以便辨清趋势或者其他与时间有关的发展。此外，在框216，可以使用通过框202-214的处理而获得的各种信息以作为采取任何动作的基础。例如，提取的货架图或者成本信息可以充当向适当的人员发送提示或其他指示的基础。例如，如果提取的货架图与目标货架图之间的成本差异足够大，则可能期望指示管库人员检查受影响的区域，并采取任何需要的补救动作。本领域的普通技术人员将会理解，基于按照图2的处理而得出的信息，可以容易地得出各种其他动作。

[0040] 现在参考图5，其示出了一种用于确定耗尽货物状况的技术。开始于框502，如前所述，可以可选地请求(或者自动提供)至少一个图像。当在框504处接收到库存环境的至少一个图像之后，处理继续到框506，在此分析至少一个接收到的图像，以检测该至少一个图像中的至少一个缺货特征的存在。在此使用的“缺货特征”是可以通过图像分析来识别、并且用来指示产品支撑设备上可能缺失一个或多个产品的图像中任意类型的可检测特征。其示例在下文参考图6和图7进一步示出。注意，在框506处对缺货特征的检测优选地包括如上所述的过滤过程，以便将对缺货特征的假阳检测最小化，或者适应在其他情况下可检测的缺货特征被遮挡(例如，在不良的光照中等)的概率。

[0041] 现在参考图6，示出了多个货架602、604，其上保存有各种产品606-612。而且，货架上还可以部署有各种可检测的图案614-626。利用已知的技术，各种图案614-626实际上可以持久地或临时地附于货架602-604的任何面，特别是图像捕获设备容易看见的那些面。例如，第一可检测图案614被示为展示在上层货架602的上表面上。此外，第二可检测图案616被示为在上层货架602的后壁上。而且，第三可检测图案618被示为在上侧货架602的侧壁上。在第一可检测图案、 第二可检测图案和第三可检测图案614-618中，图案包括黑白方块交替的高对比、高度组织的(并且因此易于检测)图案。本领域的技术人员将会理解，其他功能上类似的图案(诸如一维条形码或二维条码，或者其他高对比的颜色/图案)同样可以用于此目的。在使用能够编码信息的图案(诸如，条形码或其他图案)的情况中，可以使用这些图案来编码与和其一起展示的产品有关的信息，例如关联产品的身份、形状、尺寸、数量、价格等。在又一实施方式中，还提供包括文本标记的第四可检测图案
620。在此实施方式中，使用人类可读的文本，该文本可以通过使用公知的光学字符识别技术来进行识别。此外，可检测图案中可以包含其他区别特性，诸如独特的颜色、形状或者纹理，以便增强其可检测性和/或其在被检测到的情况下传递相关信息的能力。

[0042] 还可以使用多个可检测图案622、624(假定其在未被遮挡的情况下可被给定的图像捕获设备感知到)以作为确定货架上产品的耗尽程度的手段。也即，如果多个可检测图案622、624都被阻挡并因此未被检测到，则可以推断所展示产品的库存尚未耗尽。在另一极端情况，如果可检测图案622、624都未被阻挡并随后被检测到，则可以推断所展示产品的库存基本上(甚至是完全)耗尽。此外，如果只有一个可检测图案624未被阻挡并因此被检测到，则可以推断已经发生了中等程度的货物耗尽。备选地，可以使用已知维度的较大连续可检测图案(诸如第七可检测图案626)，使得对该可检测图案的部分的检测充当至少部分耗尽的货物状况的量的指示。在此实施方式中，可以确定图案626的已检测部分的尺寸，并将其与图案626的已知尺寸进行比较。此后，可以与图案626的已检测部分与图案626的已知尺寸的比率成比例地(或者，在剩余货物的情况下，是成反比)确定作为结果的货物耗尽水平(或者剩余货物的水平)。

[0043] 在又一实施方式中，并非依赖于部署在各货架表面上的可检测图案，货架的已知特征同样可以用作图像中的缺货特征。例如，可以使用货架本身的颜色、形状和/或纹理。此外，货架附近(之上、之下等) 的已知光照条件可以使给定图像中出现特定的阴影特征。
再一次，这些阴影特征可以用作适于指示所展示库存的耗尽状态的缺货特征。这在图7中示出，其中多个货架702、704具有保存在其上的多个产品706、708。利用货架的已知特征(颜色、形状、纹理等)，如果检测到了此类特征710、712的相对较大的区域(例如，与适当选取的阈值相比)，则可以推断货物水平至少部分地耗尽，因为已经检测到这些通常被阻挡住的特征。如同之前的实施方式中一样，可以使用检测到的区域710、712的相对尺寸来推断货物耗尽/货物剩余的水平。类似地，对阴影或反常明亮的区域714、716的检测也可以用来推断所展示库存的缺乏。在实践中，可以使用所谓的高斯混合模型来实现如上所述的对货架颜色等的检测。利用此技术，各种图像捕获设备被训练为基于特定位置的随时间的一系列图像(可能是在各种光照条件下)针对每个像素解释与空货架(或者阴影等)对应的颜色集合。继而将这些像素聚合为区域。

[0044] 再次参考图5，如果在框506检测到一个或多个缺货特征，处理可以继续到框508，在此可以向适当的人员提供至少部分耗尽的货物状况的指示。例如，可以向负责库存环境中检测到缺货特征的那部分的管库人员提供该指示。而且，考虑到货物耗尽水平可以根据检测到的缺货特征来确定，该指示同样可以反映货物耗尽的程度。在目前优选的实施方式中，仅在检测到缺货特征持续预定时段之后，才提供至少部分耗尽的货物状况的指示。在该段时间期间，如果检测到障碍物，则可以将指示的提供推迟一段时间，以将障碍物的持续时间考虑在内。

[0045] 现在参考图8，进一步示出了基于产品展示参数的确定的各种技术。开始于框802，如前所述，可以请求(或者自动提供)一个或多个图像。当在框804接收到库存环境的一个或多个图像之后，处理继续到框806，在此，如上所述，对一个或多个接收到的图像应用对象识别分析，以提供对象识别数据(其可以包括或者也可以不包括至少一个已识别产品实例)。请再次注意，框806处的对象识别数据的提 供优选地包括如上所述的过滤过程，以将假阳的检测最小化，或者适应在其他情况下可识别的特征被遮挡(例如，在不良的光照中等)的概率。假设对象识别数据包括至少一个已识别产品实例，过程继续到框808，在此，确定与至少一个已识别产品实例相对应的产品的至少一个产品展示参数。产品展示参数是用来测量给定产品在库存环境中的展示普遍性和/或展示质量(或其缺乏)的各种参数，该展示普遍性和/或展示质量(或其缺乏)由产品被展示时的各种可量化特性来指示。

[0046] 例如，如本领域内已知的，产品的“陈列面”是这样的情况，在该情况中，产品在被展示时是可识别的。可以至少部分地基于产品陈列面的位置来确定给定产品陈列面的相对质量。由此，一个产品展示参数可以包括产品在整个库存环境中或其一个或多个部分中的陈列面数目。类似地，其他产品展示参数可以包括产品的陈列面的位置(例如，顶部货架、底部货架、走廊X、走廊Y、与走廊尽头相距的距离、互补产品之间的距离等)，以及产品的陈列面之间的距离。对于陈列面之间的距离，可以基于陈列面在库存环境中的实际位置的知识来计算直线距离，或者可以使用已知的路径映射技术来计算相关位置之间(也即，对应于第一实例的货架与另一走廊中对应于第二实例的另一货架之间)的步行距离/时间。还如本领域中已知的，产品的展示高度经常是产品成功销售的关键决定性因素，因此可以构成有用的展示参数。类似地，产品与第二产品的邻近性可以构成附加的有用展示产品参数。例如，如果第一产品是一类调味品，知道该产品与赠送产品(诸如，其他调味品)的邻近性可能是有益的。作为另一示例，可能期望知道给定产品的位置以及其与相似类型的竞争产品的邻近性。如上所述，可以基于对产品中心(x、y、z坐标)和/或三个角度朝向的比较来确定产品的邻近性。可以基于选定的阈值来做出邻近/不邻近决策，或者将原始距离数据作为结果提供。在目前优选的实施方式中，邻近性也可以被描述为步行距离/时间，或者更简单点说，通过产品是在相同货架还是不同货架上的确定来描述。

[0047] 此外，在框806执行的用于提供对象识别数据的处理也可以用于 对图像中的一个或多个宣传资料实例进行识别。例如，可以应用对象识别分析来确定在图像中是否存在优惠券分发者、广告海报等。当在图像中识别到此类宣传资料时，附加的产品展示参数可以包括：利用上文针对确定产品间邻近性而描述的相同技术的、产品与一个或多个宣传资料实例的邻近性的确定。而且，可以确定宣传资料的存在(也即，宣传资料的展示的相对普遍性和/或质量，如下文所述)。例如，利用这些技术，可以测量宣传资料被购物车遮挡的频率，或者其与已知的高流量区域的相对邻近性。

[0048] 基于在框808确定的一个或多个产品展示参数，处理可以继续到框810或者框812。首先参考框810，处理继续，在此确定产品的存在。产品的存在是产品在库存环境中的有益展示的相对程度的描述。也即，存在指示超出了给定产品是否在库存环境中展示这一单纯事实，而是试图沿着两个维度(即，展现的数量和展现的质量二者)来测量产品的展示。也即，通过比当前的惯例更为频繁和更为详细的监测，环境中产品被观察到的存在程度。以此方式，本发明提供了用于支持新的促销表现度量和方法的各种技术。例如，基于识别出的产品实例，可以记载：特定产品在过去300次15分钟观测中的平均存在为4个位置中15个陈列面，其范围在2次观测到2个位置缺货到283次观测到与促销目标完全一致之间变化。这种粒度水平允许可以协商的服务水平协议的本质发生改变，由此改变可以销售的促销的本质。此外，该数据构成了关于产品表现的有价值的业界数据，其本身可以变成可销售的资产，或者可作为服务提供给感兴趣的第三方(例如，非竞争零售商，打包货品公司等)。

[0049] 作为另一示例，对于给定产品而言，该产品在库存环境中的陈列面的总数可以认为是该产品的存在的粗糙的第一近似。为了改进此存在指示，可以按照不同的展示高度和位置中每一个的感知质量，对不同展示高度或位置(例如，底部货架、眼睛高度的货架、端头展示架等)处的陈列面的小计进行加权。例如，考虑表1中示出的以下示例：

[0050]高度/位置 陈列面数目 权重 加权贡献
顶部货架 10 x3 30
中部货架 20 x5 100
底部货架 10 x2 20
端头 10 x5 50
总计陈列面 50 加权总计 200

[0051] 表1

[0052] 在表1所示的示例中，权重被挑选以使得中部(也即，眼睛高度)货架和端头展示架上的陈列面的权重最大(有利)，而底部货架上的陈列面加权较低(较不有利)。在此示例中，存在值可以计算为加权总计除以陈列面的总数(也即，200/50)，其值为4(最大可能值为5)。然而，如果找到了相同总数的陈列面，但是分布不同，如表2中所示，鉴于在较为有利加权的端头展示架位置处存在更多数目的陈列面，则该存在值提升为4.4(也即，220/50)。

[0053]高度/位置 陈列面数目 权重 加权贡献
顶部货架 0 x3 0
中部货架 20 x5 100
底部货架 10 x2 20
端头 20 x5 100
总计陈列面 50 加权总计 220

[0054] 表2

[0055] 表1和表2中记载的示例示出了用于评估给定产品的陈列面的数量和质量的一个潜在算法，当然，本领域普通技术人员将容易理解，在这方面可以提出各种评估技术。如上所述，在框808确定的其他产品展示参数可以作为设计选择的问题被并入存在等级。例如，当每个陈列面位于互补产品的阈值邻近性内和/或位于相应的宣传资料的另 一阈值邻近性内时，产品的存在等级可以增加。反之，其总计陈列面中的较大比例位于彼此相对较小的距离中(也即，聚集在库存环境的一个区域中，而不是较为均匀地遍布)的产品的存在等级可能因此降低。再一次，此类产品展示参数的相对贡献可以作为设计选择问题进行选择。实际上，这种贡献可以按照所考虑的特定库存环境而有所变化，例如，互补陈列面之间邻近性的贡献在杂货店中可以比在家用品商店更为有利地加权。

[0056] 备选地，处理可以继续到框812，在此，可以确定产品展示与促销目标的一致性。例如，产品制造商通常会与商店联系以确保在库存环境中总是存在该制造商的产品的最小数目的陈列面。而且，可以进行安排以确保始终保持给定产品的促销展示的特定最小质量水平。因此，使用在框808获得的产品展示参数，可以测量给定产品的展示的一致性，并将其与期望促销目标进行比较。在确定产品与预期促销目标基本上不一致的情况下，处理可以继续到框814，在此向诸如商店经理、审计员、广告代表等适当人员提供不一致指示。不一致可以通过与期望参数水平的偏离水平(例如，按照位置、陈列面数目、一天内缺货的持续时间/相对可获得性)来判定。

[0057] 现在参考图9和图10，进一步示出了用于检测需要人员响应的潜在状况的各种技术。更具体地，图9示出了基于对时间上不同的图像进行比较的技术，而图10示出了基于对单个(或多个)图像的不同空间区域进行比较的技术。现在参考图9，过程开始于框902，在此，再一次可以如上所述地请求一个或多个图像(或者自动提供)。然而，在本例中，所请求的图像(或者自动提供的图像)是针对给定位置在时间上不同的图像。也即，在框904接收到的多个图像是在一段时间内针对单个位置拍摄的。

[0058] 在框906，可选地可以至少向接收图像的第一图像和第二图像(优选地，更多的图像，以便通过使用上述过滤操作获得更为可靠的结果)应用如上所述的对象识别分析。尽管目前优选的是对第一图像和第二图像(或者按照需要，更多的图像)执行这种对象识别分析，但这并 非必要条件，因为后续的比较步骤908可以在没有对象识别分析的情况下执行。由此，在框908，将第一图像的部分与第二图像的部分进行比较。具体地，框908的比较试图测量第一图像与第二图像的相应部分之间的相似程度。在对每个图像执行对象识别的情况下，比较可能需要对图像中相似位置处的已识别产品实例(如果有的话)所对应的产品的身份进行比较。备选地(或者在已经执行了对象识别的情况下，附加地)可以使用诸如上文描述的其他比较技术来评估图像的相应部分之间的相似程度。再一次，在框908中同样可以应用将假阳最小化/考虑情有可原的情况所需的过滤操作，以更好地确保可靠性。此后，在框910，确定对第一图像和第二图像的部分的比较是否是有利的。如果不是，处理继续到框912，在此，向适当人员提供需要响应的潜在状况的通知。

[0059] 例如，框910处的比较可以基于第一图像的部分是否与第二图像的部分基本上匹配。反之，框910处的比较可以基于第一图像的部分是否与第二图像的部分基本上不匹配。参考前一种情况，如果框910的比较确定已识别产品实例存在于第一图像的给定部分中但是不存在于第二图像的相同部分中，则这可以是给定产品已经耗尽、需要补货或者产品已被某些东西遮挡的指示。作为设计选择的问题，框912处提供的通知的本质显然将取决于检测到的特定状况的本质及其在库存环境的给定情况下的解释。

[0060] 现在参考图10，同样示出了类似于图9中所示的处理。然而，在图10所描述的技术中，并不是基于由时段分割的多个图像的比较，处理是针对单个图像执行的，但是在该图像的不同空间部分之间。由此，框1002到框1006的处理与上文描述的框902到框906的处理基本上类似，包括对象识别分析的可选使用。然而，此后，在框1008，在图像的第一部分与该同一图像的第二部分之间进行比较。在此实施方式中，可以再一次采用上文描述的期望的过滤技术。然而，考虑到图10的处理优选地集中于单个图像，优选的可能是：用于过滤的多个图像是空间上不同的或者至少是时间变化非常小的(也即，在短时 间内获得的)。此后，在框1010，确定比较是否是有利的，如果不是，处理继续到框1012，在此，提供需要响应的潜在状况的通知。例如，可能期望对图像中一个货架的内容与该第一货架之上或者之下的其他货架的内容进行比较。同样，还可以执行与给定产品邻近的产品的比较。

[0061] 使用在此描述的各种技术提供的信息(提取的货架图和/或作为结果的成本差异确定；缺货检测；产品展示参数确定和/或作为结果的产品存在和促销一致性确定；或者需要响应的潜在状况的确定)可以由多个相关方的任意方来使用。例如，连锁店的总部可能期望涉及以及对应以下内容的数据：促销一致性的洞察、每个分支机构/区域的补货信息、雇员和分支机构表现、每种产品的缺货等。再一次，本领域普通技术人员可以轻易地标识其他感兴趣方。

[0062] 而且，尽管上文描述的各种技术基本上是彼此独立描述的，但是在实践中，可以有益地使用这些技术的组合。例如，用于缺货检测的潜在方法可以结合上文描述的对象识别技术和货架图匹配技术二者。在这种情况下，当产品在给定区域之中或者附近未被检测到，并且按照目标货架图该产品被指定为位于该处，并且没有检测到遮挡，以及进一步假设已经采用了适当的过滤过程时，则可以将该产品标为缺失。以更为细化的方式来解释这一点，可以使用得分函数(例如，基于连续检测到该组状况的次数)来评估产品随时间缺货的相对可信性。在得分超过阈值的情况下，则可以提供所需的提示。

[0063] 作为另一示例，业界的显著需求是期望确定哪些具体位置产生给定产品的最大销售水平，尤其是在正使用给定环境中的多个位置的情况下。为此，使用上文描述的技术，可以使用图像(或者货架图)之间的差异来推断在销售产品的整个库存环境中各个位置处、针对给定产品的购买率(该购买率推断可以与实际销售点数据相关)。此后，可以对该产品在不同位置处的销售率差异进行比较，以确定最佳表现位置和最差表现位置。

[0064] 如上所述，本发明提供了用于改进库存管理技术的效率和效用的 各种技术。具体地，这是通过应用适用于在库存环境中捕获的图像的图像分析技术而实现的。例如，通过向这种图像应用对象识别技术，不仅可以确定诸如缺货状况等特定状况的存在，还可以按照诸如总体产品存在或者与促销目标一致性的多种复杂标准来评估产品的展示。至少出于这些原因，上述技术代表了相对于现有技术教导的发展。

[0065] 尽管已经示出和描述了特别优选的实施方式，但是对于本领域技术人员而言显然的是，可以在不脱离本教导的情况下进行改变和修改。例如，在上述特定示例依赖于货架的使用的情况下，可以理解，同样可以采用其他类型的产品支撑设备，诸如货柜或者纵向展示架。因此，可以想到，上述教导的任何以及所有修改、变形或者等效物都位于上文公开和在此要求保护的基本原理的范围内。