图像处理方法以及装置

摘要

本说明书实施例提供图像处理方法以及装置，其中所述图像处理方法包括：获取目标物品的物品图像；确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；将所述中间图像与所述物品图像进行图像融合，获得样本图像。

权利要求

1.一种图像处理方法，包括：获取目标物品的物品图像以及中间图像，其中，所述中间图像包含虚拟物品在目标视角的图像特征，所述目标视角根据所述物品图像的采集视角确定；

将所述中间图像与所述物品图像进行图像融合，获得样本图像；

根据目标图像特征的目标掩模信息以及所述图像特征的掩模信息，获得所述样本图像特征的掩模标注信息，其中，所述目标图像特征为所述物品图像中所述目标物品的目标图像特征，所述样本图像特征为样本图像中所述目标物品的样本图像特征；

根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像。

2.根据权利要求1所述的图像处理方法，所述中间图像，通过如下方式生成：确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；

根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；

生成包含所述虚拟物品在目标视角的图像特征的中间图像。

3.根据权利要求2所述的图像处理方法，所述物品图像，通过如下方式获得：向抓取设备下发针对所述目标物品的移动指令；所述移动指令中携带初始位置的初始坐标以及目标位置的目标坐标；

接收所述抓取设备上传的针对所述移动指令的执行反馈通知；

向图像采集设备下发针对所述目标位置的图像采集指令；

接收所述图像采集设备上传的所述物品图像。

4.根据权利要求3所述的图像处理方法，所述抓取设备根据所述初始坐标，从初始位置抓取所述目标物品，将所述目标物品移动至所述目标坐标对应的所述目标位置，并在移动完成后上传针对所述移动指令的执行反馈通知；

所述图像采集设备根据所述图像采集指令中携带的所述目标坐标，对所述目标位置的所述目标物品进行图像采集，获得所述物品图像并上传。

5.根据权利要求3所述的图像处理方法，所述确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标，包括：根据所述目标坐标以及预设变换矩阵，计算所述目标物品在所述物品图像对应的相机坐标系中的位置坐标。

6.根据权利要求3所述的图像处理方法，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品，包括：

获取所述执行反馈通知包含的所述目标物品的形状信息；

在所述位置坐标添加与所述形状信息大小匹配的标记虚拟物品；

根据获取的所述图像采集设备的所述采集视角，确定所述相机坐标系的目标视角；

在根据所述标记虚拟物品以及所述目标视角确定的目标区域，添加至少一个虚拟物品。

7.根据权利要求6所述的图像处理方法，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品步骤执行之后，且所述生成包含所述虚拟物品在目标视角的图像特征的中间图像步骤执行之前，还包括：根据所述标记虚拟物品以及所述虚拟物品与所述相机坐标系中原点之间距离，确定所述标记虚拟物品与所述虚拟物品之间的遮挡关系；

相应的，所述将所述中间图像与所述物品图像进行图像融合，获得样本图像，包括：根据所述遮挡关系，在所述中间图像的中间图像单元以及所述物品图像的图像单元中筛选出样本图像单元，组成所述样本图像。

8.根据权利要求6所述的图像处理方法，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品步骤执行之后，且所述生成包含所述虚拟物品在目标视角的图像特征的中间图像步骤执行之前，还包括：从所述目标视角对所述标记虚拟物品以及所述虚拟物品进行图像渲染，获得渲染图像；

根据所述渲染图像，确定所述标记虚拟物品的标记图像特征与所述图像特征的遮挡关系；

相应的，所述将所述中间图像与所述物品图像进行图像融合，获得样本图像，包括：针对所述物品图像中目标图像单元所在的目标图像区域，根据所述遮挡关系，判断所述目标图像区域在所述渲染图像对应的渲染图像区域是否属于遮挡区域；

若是，将所述目标图像区域在中间图像对应的中间图像区域内的中间图像单元，确定为所述目标图像区域在样本图像中对应的样本图像区域的样本图像单元；

若否，将所述图像单元确定为所述样本图像单元。

9.根据权利要求7或8所述的图像处理方法，所述生成包含所述虚拟物品在目标视角的图像特征的中间图像，包括：

在所述相机坐标系移除所述标记虚拟物品；

从所述目标视角对所述虚拟物品进行图像渲染，获得包含所述图像特征的所述中间图像。

10.根据权利要求1所述的图像处理方法，所述根据目标图像特征的目标掩模信息以及所述图像特征的掩模信息，获得样本图像特征的掩模标注信息，包括：对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目标掩模信息；

对所述中间图像进行图像处理，获得所述中间图像中所述图像特征的掩模信息；

根据所述目标掩模信息以及所述掩模信息进行布尔运算，获得所述样本图像中所述目标物品的样本图像特征的掩模标注信息。

11.根据权利要求10所述的图像处理方法，所述对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目标掩模信息，包括：通过图像差分算法，对预先采集的所述目标位置的背景图像以及所述物品图像进行图像差分，获得所述目标图像特征；

将所述目标图像特征进行掩模处理，获得所述目标掩模信息。

12.根据权利要求10所述的图像处理方法，还包括：所述样本图像以及所述标注图像组成训练样本对；

将所述训练样本对作为训练样本，对初始物品识别模型进行训练，训练完成后获得物品识别模型。

13.根据权利要求12所述的图像处理方法，还包括：将目标图像输入所述物品识别模型；

所述物品识别模型对所述目标图像进行物品识别，获得所述物品识别模型输出的针对所述目标图像的物品识别结果。

14.一种图像处理装置，包括：获取模块，被配置为获取目标物品的物品图像以及中间图像，其中，所述中间图像包含虚拟物品在目标视角的图像特征，所述目标视角根据所述物品图像的采集视角确定；

融合模块，被配置为将所述中间图像与所述物品图像进行图像融合，获得样本图像；

运算模块，被配置为根据目标图像特征的目标掩模信息以及所述图像特征的掩模信息，获得所述样本图像特征的掩模标注信息，其中，所述目标图像特征为所述物品图像中所述目标物品的目标图像特征，所述样本图像特征为样本图像中所述目标物品的样本图像特征；

标注模块，被配置为根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像。

15.一种计算设备，包括：

存储器和处理器；

所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

获取目标物品的物品图像以及中间图像，其中，所述中间图像包含虚拟物品在目标视角的图像特征，所述目标视角根据所述物品图像的采集视角确定；

将所述中间图像与所述物品图像进行图像融合，获得样本图像；

根据目标图像特征的目标掩模信息以及所述图像特征的掩模信息，获得所述样本图像特征的掩模标注信息，其中，所述目标图像特征为所述物品图像中所述目标物品的目标图像特征，所述样本图像特征为样本图像中所述目标物品的样本图像特征；

根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像。

16.一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现权利要求1至13任意一项所述图像处理方法的步骤。

说明书

图像处理方法以及装置

[0001] 本发明是20200515日申请的，申请号是202010411827.7，发明创造名称为“图像处理方法以及装置”的分案申请。

技术领域

[0002] 本说明书实施例涉及图像处理技术领域，特别涉及一种图像处理方法以及装置。

背景技术

[0003] 随着深度学习技术的发展，图像识别技术的准确度获得了显著提升，并在各个领域中的被广泛应用，然而由于深度学习对训练数据的严重依赖，图像识别的准确度很大程
度取决于对样本图像的采集以及标注，目前采集样本图像并对采集到的样本图像进行标注
的过程中，需要人工的参与，导致在获得大量的训练数据的过程中需要耗费大量的时间成
本以及人力成本，因此需要提供更有效的方案。

发明内容

[0004] 有鉴于此，本说明书实施例提供了一种图像处理方法。本说明书一个或者多个实施例同时涉及一种图像处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现
有技术中存在的技术缺陷。

[0005] 本说明书实施例的第一方面，提供了一种图像处理方法，包括：

[0006] 获取目标物品的物品图像；

[0007] 确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；

[0008] 根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；

[0009] 生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；

[0010] 将所述中间图像与所述物品图像进行图像融合，获得样本图像。

[0011] 可选的，所述物品图像，通过如下方式获得：

[0012] 向抓取设备下发针对所述目标物品的移动指令；所述移动指令中携带初始位置的初始坐标以及目标位置的目标坐标；

[0013] 接收所述抓取设备上传的针对所述移动指令的执行反馈通知；

[0014] 向图像采集设备下发针对所述目标位置的图像采集指令；

[0015] 接收所述图像采集设备上传的所述物品图像。

[0016] 可选的，所述抓取设备根据所述初始坐标，从初始位置抓取所述目标物品，将所述目标物品移动至所述目标坐标对应的所述目标位置，并在移动完成后上传针对所述移动指
令的执行反馈通知；

[0017] 所述图像采集设备根据所述图像采集指令中携带的所述目标坐标，对所述目标位置的所述目标物品进行图像采集，获得所述物品图像并上传。

[0018] 可选的，所述确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标，包括：

[0019] 根据所述目标坐标以及预设变换矩阵，计算所述目标物品在所述物品图像对应的相机坐标系中的位置坐标。

[0020] 可选的，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品，包括：

[0021] 获取所述执行反馈通知包含的所述目标物品的形状信息；

[0022] 在所述位置坐标添加与所述形状信息大小匹配的标记虚拟物品；

[0023] 根据获取的所述图像采集设备的所述采集视角，确定所述相机坐标系的目标视角；

[0024] 在根据所述标记虚拟物品以及所述目标视角确定的目标区域，添加至少一个虚拟物品。

[0025] 可选的，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品步骤执行之后，且所述生成包含所述虚拟物品在目标视角的图像特征的中间图像步骤执行之
前，还包括：

[0026] 根据所述标记虚拟物品以及所述虚拟物品与所述相机坐标系中原点之间距离，确定所述标记虚拟物品与所述虚拟物品之间的遮挡关系；

[0027] 相应的，所述将所述中间图像与所述物品图像进行图像融合，获得样本图像，包括：

[0028] 根据所述遮挡关系，在所述中间图像的中间图像单元以及所述物品图像的图像单元中筛选出样本图像单元，组成所述样本图像。

[0029] 可选的，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品步骤执行之后，且所述生成包含所述虚拟物品在目标视角的图像特征的中间图像步骤执行之
前，还包括：

[0030] 从所述目标视角对所述标记虚拟物品以及所述虚拟物品进行图像渲染，获得渲染图像；

[0031] 根据所述渲染图像，确定所述标记虚拟物品的标记图像特征与所述图像特征的遮挡关系；

[0032] 相应的，所述将所述中间图像与所述物品图像进行图像融合，获得样本图像，包括：

[0033] 针对所述物品图像中目标图像单元所在的目标图像区域，根据所述遮挡关系，判断所述目标图像区域在所述渲染图像对应的渲染图像区域是否属于遮挡区域；

[0034] 若是，将所述目标图像区域在中间图像对应的中间图像区域内的中间图像单元，确定为所述目标图像区域在样本图像中对应的样本图像区域的样本图像单元；

[0035] 若否，将所述图像单元确定为所述样本图像单元。

[0036] 可选的，所述生成包含所述虚拟物品在目标视角的图像特征的中间图像，包括：

[0037] 在所述相机坐标系移除所述标记虚拟物品；

[0038] 从所述目标视角对所述虚拟物品进行图像渲染，获得包含所述图像特征的所述中间图像。

[0039] 可选的，所述图像处理方法，还包括：

[0040] 对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目标掩模信息；

[0041] 对所述中间图像进行图像处理，获得所述中间图像中所述图像特征的掩模信息；

[0042] 根据所述目标掩模信息以及所述掩模信息进行布尔运算，获得所述样本图像中所述目标物品的样本图像特征的掩模标注信息；

[0043] 根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像；所述样本图像以及所述标注图像组成训练样本对。

[0044] 可选的，所述对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目标掩模信息，包括：

[0045] 通过图像差分算法，对预先采集的所述目标位置的背景图像以及所述物品图像进行图像差分，获得所述目标图像特征；

[0046] 将所述目标图像特征进行掩模处理，获得所述目标掩模信息。

[0047] 可选的，所述图像处理方法，还包括：

[0048] 将训练样本对作为训练样本，对所述初始物品识别模型进行训练，训练完成后获得物品识别模型。

[0049] 可选的，所述图像处理方法，还包括：

[0050] 将目标图像输入所述物品识别模型；

[0051] 所述物品识别模型对所述目标图像进行物品识别，获得所述物品识别模型输出的针对所述目标图像的物品识别结果。

[0052] 本说明书实施例的第二方面，提供了一种图像处理装置，包括：

[0053] 获取模块，被配置为获取目标物品的物品图像；

[0054] 确定模块，被配置为确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；

[0055] 添加模块，被配置为根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；

[0056] 生成模块，被配置为生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；

[0057] 融合模块，被配置为将所述中间图像与所述物品图像进行图像融合，获得样本图像。

[0058] 本说明书实施例的第三方面，提供了一种计算设备，包括：

[0059] 存储器和处理器；

[0060] 所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：

[0061] 获取目标物品的物品图像；

[0062] 确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；

[0063] 根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；

[0064] 生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；

[0065] 将所述中间图像与所述物品图像进行图像融合，获得样本图像。

[0066] 本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述图像处理方法的步骤。

[0067] 本说明书提供一种图像处理方法，在获取目标物品的物品图像的基础上，确定目标物品在物品图像对应的相机坐标系中的位置坐标，并基于此位置坐标构建与物品图像相
似的虚拟场景，即根据位置坐标，在相机坐标系添加至少一个虚拟物品，生成包含所述虚拟
物品在目标视角的图像特征的中间图像，并将所述中间图像与所述物品图像进行图像融
合，获得样本图像，通过对获得的物品图像进行图像融合，生成样本图像，由于虚拟场景中
虚拟物品的添加位置是多种多样的，基于此生成的样本图像也是多种多样的，因此增加了
样本图像的多样性以及丰富性，并提高了样本图像的生成效率以及图像质量。

附图说明

[0068] 图1是本说明书一个实施例提供的一种图像处理方法的处理流程图；

[0069] 图2是本说明书一个实施例提供的一种机械臂坐标系的示意图；

[0070] 图3是本说明书一个实施例提供的一种相机坐标系的示意图；

[0071] 图4是本说明书一个实施例提供的一种应用于无人便利店的图像处理方法的处理流程图；

[0072] 图5是本说明书一个实施例提供的一种图像处理装置的示意图；

[0073] 图6是本说明书一个实施例提供的一种计算设备的结构框图。

具体实施方式

[0074] 在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵
的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。

[0075] 在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求
书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地
表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含
一个或多个相关联的列出项目的任何或所有可能组合。

[0076] 应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分
开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类
似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为
“在……时”或“当……时”或“响应于确定”。

[0077] 首先，对本说明书一个或多个实施例涉及的名词术语进行解释。

[0078] 六自由度：是指物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度，因此，需要完全确定物体的位置，就需要清楚这
六个自由度。

[0079] 迭代最近点(Iterative Closest Point，IPC)算法是一种点集对点集配准方法，通过给出的两个数据集，求解两个数据集中点集的变换矩阵Rt，使两个数据集中包含的点
集可以通过变换矩阵Rt进行空间转换。

[0080] 在本说明书中，提供了一种图像处理方法，本说明书一个或者多个实施例同时涉及一种图像处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐
一进行详细说明。

[0081] 本说明书提供的一种图像处理方法实施例如下：

[0082] 图1示出了根据本说明书一个实施例提供的一种图像处理方法的处理流程图，包括步骤S102至步骤S110。

[0083] 步骤S102，获取目标物品的物品图像。

[0084] 实际应用中，基于深度学习的物品识别模型，图像识别的准确度很大程度取决于对样本图像的采集以及标注，目前采集样本图像并对采集到的样本图像进行标注的过程
中，需要人工的参与，导致在获得大量的训练数据的过程中需要耗费大量的时间成本以及
人力成本，本说明书实施例，根据获取到的目标物品的物品图像，构建与所述物品图像相似
的虚拟场景，并在构建出的虚拟场景中添加虚拟物品，在添加完成之后，生成包含虚拟物品
的图像特征的中间图像，并将中间图像与物品图像进行图像融合，获得样本图像，增加了样
本图像的丰富性与多样性。

[0085] 其中，所述目标物品，是指待识别的物品，具体的，目标物品可以是饮料、电器、日用品、食品等，在此不做限制；所述物品图像，是指包含目标物品的目标图像特征的图像，比
如，对目标物品进行图像采集，获得的目标物品的图片；其中，目标图像特征，是指目标物品
在物品图像中展示的图像的特征。

[0086] 具体实施时，为了保障图像采集过程的自动化以及可持续性，通过抓取设备以及图像采集设备进行相互配合，在抓取设备将目标物品移动至目标位置之后，由图像采集设
备对目标物品进行图像采集，由于进行图像采集时可以在实际场景中进行图像采集，增加
了物品图像的真实性，所述物品图像，通过如下方式获得：

[0087] 向抓取设备下发针对所述目标物品的移动指令；所述移动指令中携带初始位置的初始坐标以及目标位置的目标坐标；

[0088] 接收所述抓取设备上传的针对所述移动指令的执行反馈通知；

[0089] 向图像采集设备下发针对所述目标位置的图像采集指令；

[0090] 接收所述图像采集设备上传的所述物品图像。

[0091] 具体的，所述移动指令，是指向抓取设备下发的，将目标物品从初始位置移动到目标位置的移动指令，移动指令中携带所述初始位置的初始坐标，以及目标位置的目标坐标，
具体实施时，上述初始坐标以及目标坐标为抓取设备的抓取坐标系中对应的六自由度坐
标，通过初始坐标以及目标坐标可以确定目标物体的位置，以便抓取设备将目标物品从初
始位置抓取至目标位置；所述执行反馈通知，是基于抓取设备根据移动指令对目标物品进
行移动的移动结果，生成的反馈通知，其中，移动结果包括移动成功、移动失败或者移动中
断等信息，此外，执行反馈通知，还可以包括移动结果的具体详情信息，比如，移动成功后，
目标物品所处的目标位置的目标坐标；移动失败后，移动失败的原因等信息，在此不做限
制。

[0092] 其中，六自由度坐标，是指物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动自由度和绕这三个坐标轴的转动自由度，因此，需要完全确定物体的位置，就
需要清楚这六个自由度的坐标。

[0093] 实际应用中，初始坐标的数量可以是一个，也可以是多个，在初始坐标的数量为多个的情况下，每个初始位置对应一个目标坐标，而每个初始位置对应的目标坐标，可以是相
同的，也可以是不同的，在此不做限制，相应的，向抓取设备下发的移动指令，可以是按照预
设的时间间隔、预设的初始坐标的顺序以及预设的初始位置对应的目标坐标依次生成相应
的移动指令，也可以是基于用户提交的指令中所指定的初始坐标以及目标坐标所生成的移
动指令，在此不做限制。

[0094] 可选的，所述抓取设备根据所述初始坐标，从初始位置抓取所述目标物品，将所述目标物品移动至所述目标坐标对应的所述目标位置，并在移动完成后上传针对所述移动指
令的执行反馈通知；

[0095] 其中，所述抓取设备可以是机械臂、机器人等可以按照移动指令抓取物品进行移动的设备，在抓取设备为机械臂的情况下，上述初始坐标以及目标坐标为以机械臂为中心
构建的机械臂坐标系内的六自由度坐标。

[0096] 抓取设备在将目标物品移动至目标坐标后，上传执行反馈通知，以便了解目标物品的移动情况，并移动成功的情况下，即目标物品移动至目标位置的情况下，对目标位置的
目标物品进行图像采集。

[0097] 所述图像采集指令，是指向图像采集设备下发的，对目标位置进行图像采集的图像采集指令，图像采集指令中携带目标位置的目标坐标；所述图像采集设备，是指具有拍摄
功能的设备，比如摄像头、摄像机、相机、扫描仪、手机、平板电脑等，在此不做限制。

[0098] 可选的，所述图像采集设备根据所述图像采集指令中携带的所述目标坐标，对所述目标位置的所述目标物品进行图像采集，获得所述物品图像并上传。

[0099] 实际应用中，预先按照目标坐标对图像采集设备进行了标定，根据标定的结果，可以确定目标坐标对应的图像采集设备的采集参数；当图像采集模块接收到图像采集指令之
后，根据预先标定获得的目标坐标对应的采集参数，对图像采集设备进行调整，以便图像采
集设备可以准确捕捉目标位置的目标物品。

[0100] 以抓取设备为机械臂为例，向机械臂下发针对目标物品的移动指令，机械臂根据移动指令中携带初始坐标(x1，y1，z1，α1，β1，γ1)，在初始位置抓取目标物品，将目标物品
移动至目标坐标(x2，y2，z2，α2，β2，γ2)对应的目标位置，移动完成后，机械臂上传针对移
动指令的移动成功通知，接收到机械臂上传的移动成功通知后，向摄像设备下发针对目标
位置的图像采集指令，摄像设备根据图像采集指令中携带的目标坐标(x2，y2，z2，α2，β2，γ
2)，获取摄像设备在目标坐标对应的采集参数，并基于采集参数对摄像设备进行调整，调整
后摄像设备对目标坐标(x2，y2，z2，α2，β2，γ2)对应的目标位置上的目标物品进行图像采
集，获得目标物品的图片p1。

[0101] 步骤S104，确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标。

[0102] 在获得物品图像的基础上，需要进一步确定目标物品在相机坐标系中的位置坐标，以便于基于此位置坐标，构建与物品图像相似的虚拟场景，因此，需要将目标物品所处
的目标位置的目标坐标进行空间转换，确定目标物品在物品图像对应的相机坐标系中的位
置坐标。

[0103] 具体实施时，在获得物品图像的基础上，根据预先计算得到的抓取坐标系以及相机坐标系之间进行坐标系转换的旋转矩阵，确定目标物品在相机坐标系中的位置坐标，以
便于基于位置坐标，在相机坐标系中构建与物品图像相似的虚拟场景，增加了虚拟场景的
准确性，本说明书实施例提供的一种可选实施方式中，所述确定所述目标物品在所述物品
图像对应的相机坐标系中的位置坐标，具体采用如下方式实现：

[0104] 根据所述目标坐标以及预设变换矩阵，计算所述目标物品在所述物品图像对应的相机坐标系中的位置坐标。

[0105] 所述物品图像对应的相机坐标系，是指以图像采集设备的镜头的中心为原点构建的真实相机坐标系为参照，在虚拟场景中构建相机坐标系，具体的，相机坐标系是以虚拟相
机的镜头中心为原点，相机坐标系水平轴、垂直轴以及光轴，分别与真实相机坐标系的水平
轴、垂直轴以及光轴平行，则在真实相机坐标系中的坐标与在相机坐标系中的坐标等值。

[0106] 所述预设变换矩阵，是指将坐标从抓取设备坐标系向相机坐标系进行空间转换的刚性变换矩阵，具体实施时，根据相机坐标系中多个位置对应的三维坐标，以及这些位置在
抓取设备的抓取设备坐标系内对应的抓取三维坐标，采用迭代最近点(Iterative Closest 
Point，IPC)算法计算得到的在相机坐标系以及抓取设备坐标系之间进行空间转换的变换
矩阵。

[0107] 其中，IPC算法是一种点集对点集配准方法，通过给出的两个数据集，求解两个数据集中点集的变换矩阵Rt，使两个数据集中包含的点集可以通过变换矩阵Rt进行空间转
换。

[0108] 需要说明的是，由于相机坐标系中的坐标是三维坐标，在目标物品的目标坐标为六自由度坐标的情况下，需要将此六自动度坐标转换为三维坐标，比如，将目标坐标为(x2，
y2，z2，α2，β2，γ2)，转换为三维坐标之后获得目标三维坐标(x2，y2，z2)。

[0109] 沿用上例，获得目标物品的图片p1之后，将目标物品所处的目标位置的目标坐标(x2，y2，z2，α2，β2，γ2)转换为三维坐标，获得目标三维坐标(x2，y2，z2)，再通过计算目标
三维坐标与预设的刚性变换矩阵Rt的乘积，将目标三维坐标(x2，y2，z2)转换为相机坐标系
的位置坐标202(Xc1，Yc1，Zc1)，将此位置坐标202(Xc1，Yc1，Zc1)作为目标物品在相机坐标系
对应的位置坐标202，具体如图2所示，其中，相机坐标系由XC轴、YC轴和ZC轴构成，XC轴、YC轴
和ZC轴的交点为原点OC。

[0110] 步骤S106，根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品。

[0111] 在确定目标物品在相机坐标系的位置坐标的基础上，需要完善相机坐标系的虚拟场景，则根据位置坐标，在相机坐标系添加至少一个虚拟物品，具体的，是指在避免与位置
坐标所处一定的位置范围出现重合的情况下，在相机坐标系添加至少一个虚拟物品。

[0112] 具体的，所述虚拟物品，可以是与所述目标物品为同一类别的物品对应的物品模型，也可以不是与目标物品为同一类别的物品对应的物品模型，实际应用中，虚拟物品是指
三维物品模型，此外还可以是二维物品模型，在此不做限制。

[0113] 实际应用中，在相机坐标系中添加虚拟物品的方式是多种多样的，比如，按照预设的添加规则，在预设的坐标添加对应的虚拟物品，或者在预设的坐标随机添加虚拟物品等，
在此不做限制。

[0114] 在上述抓取设备上传针对移动指令的执行反馈通知的基础上，本说明书实施例提供的一种可选实施方式中，所述根据所述位置坐标，在所述相机坐标系添加至少一个虚拟
物品，具体采用如下方式实现：

[0115] 获取所述执行反馈通知包含的所述目标物品的形状信息；

[0116] 在所述位置坐标添加与所述形状信息大小匹配的标记虚拟物品；

[0117] 根据获取的所述图像采集设备的所述采集视角，确定所述相机坐标系的目标视角；

[0118] 在根据所述标记虚拟物品以及所述目标视角确定的目标区域，添加至少一个虚拟物品。

[0119] 具体的，所述形状信息，是指可以表明目标物体形状的信息，比如，目标物品的直径、高度、圆周等信息，在此不做限制，实际应用中，抓取设备在抓取目标物品的过程中，可
以通过抓取设备中抓取部件的反馈信息来计算目标物品的形状信息。

[0120] 所述标记虚拟物品，是指三维虚拟模型，用于在相机坐标系中标记目标物品所处的位置，实际应用中，为了覆盖目标物品所处的位置，此标记虚拟物品的形状大小需要与目
标物品的形状大小匹配。所述采集视角，是指图像采集设备采集物品图像的采集视角，将此
采集视角确定为相机坐标系的目标视角，并在虚拟标记物品以及目标视角确定的目标区
域，随机添加至少一个虚拟物品，所添加的虚拟物品不可出现重叠。

[0121] 具体的，所述目标视角，是指在根据相机坐标系中虚拟物品生成图像的图像视角，此外，还可以是在相机坐标系中引入的虚拟相机的相机视角。

[0122] 实际应用中，在根据所述标记虚拟物品以及所述目标视角确定的目标区域，添加至少一个虚拟物品，既避免了添加的虚拟物品不在目标视角的范围内，也避免了添加的虚
拟物品与标记虚拟物品出现重合。

[0123] 其中，所述目标视角，由于与图像采集设备在采集物品图像的采集视角一致，可以直接获取图像采集设备的采集视角，此外，还可以根据获取的所述图像采集模块的采集焦
距以及采集片幅，确定所述相机坐标系中虚拟相机的虚拟焦距以及虚拟片幅；根据所述虚
拟焦距以及所述虚拟片幅，计算所述相机坐标系中虚拟相机的目标视角。

[0124] 沿用上例，获取机械臂上传的移动成功通知中包含的目标物品的外接圆直径L，如图2所示，根据外接圆直径L，在相机坐标系中位置坐标202(Xc，Yc，Zc)处添加直径为L的标记
虚拟物品204，并如图3所示，获取摄像设备在采集图片p1时的采集视角θ，将此采集视角θ确
定为相机坐标系的目标视角θ1，根据标记虚拟物品204以及目标视角θ1确定的目标区域，随
机添加2个虚拟物品，分别为虚拟物品306和虚拟物品308。

[0125] 进一步的，在上述在相机坐标系添加标记虚拟物品以及虚拟物品的基础上，由于所添加的标记虚拟物品与虚拟物品之间可能存在遮挡关系，在这种情况下，需要确定标记
虚拟物品与虚拟物品之间的遮挡关系，以便后续根据遮挡关系，对中间图像和物品图像进
行图像融合，具体实施时，确定标记虚拟物品与虚拟物品之间的遮挡关系的实现方式是多
种多样的，本说明书实施例提供的第一种可选实施方式中，确定所述遮挡关系，具体采用如
下方式确定：

[0126] 根据所述标记虚拟物品以及所述虚拟物品与所述相机坐标系中原点之间距离，确定所述标记虚拟物品与所述虚拟物品之间的遮挡关系；

[0127] 实际应用中，由于是在相机坐标系确定标记虚拟物品与虚拟物品之间的遮挡关系，因此，所述标记虚拟物品以及所述虚拟物品与所述相机坐标系中原点(即虚拟相机的镜
头)之间距离，是指从原点出发，将同一方向上标记虚拟物品与原点之间的距离，与虚拟物
品与原点之间的距离进行对比，根据距离的远近(距离近的遮挡距离远的)，判断标记虚拟
物品与虚拟物品之间的遮挡关系。

[0128] 在标记虚拟物品与虚拟物品为三维模型的情况下，对比三维模型与原点之间的距离，需要从原点出发，在同一方向上将标记虚拟物品所覆盖的坐标与原点的距离，与各个虚
拟物品所覆盖的坐标与原点的距离进行远近的对比，进而确定遮挡关系。

[0129] 沿用上例，图3所示，在相机坐标系中，原点OC与位置坐标202(Xc，Yc，Zc)之间连线所处的方向上，标记虚拟物品204与原点OC之间的距离为d1，虚拟物品306与原点OC之间的距
离为d2、虚拟物品308在这一方向上没有对应的坐标，其中，d2标记虚拟物品204，虚拟物品308与标记虚拟物品204之间不存在遮挡关系。

[0130] 除上述确定遮挡关系的实现方式之外，本说明书实施例提供的第二种可选实施方式中，确定遮挡关系，具体采用如下方式确定：

[0131] 从所述目标视角对所述标记虚拟物品以及所述虚拟物品进行图像渲染，获得渲染图像；

[0132] 根据所述渲染图像，确定所述标记虚拟物品的标记图像特征与所述图像特征的遮挡关系；

[0133] 具体的，从目标视角对所述标记虚拟物品以及虚拟物品进行图像渲染，获得渲染图像，是指通过渲染引擎进行图像渲染，在对标记虚拟物品以及虚拟物品进行图像渲染的
过程中，会根据标记虚拟物品以及虚拟物品相对原点的远近关系进行渲染，因此在获得的
渲染图像中，已经根据标记虚拟物品与虚拟物品之间的遮挡关系进行了遮挡，则根据渲染
图像中被遮挡的图像区域置于图像底层的原则，即可确定标记虚拟物品的标记图像特征与
所述图像特征的遮挡关系。

[0134] 其中，所述标记图像特征，是指标记虚拟物品在渲染图像中所展示的图像的特征；类似的，所述图像特征，是指虚拟物品在图像中所展示的图像的特征。

[0135] 沿用上例，如图3所示，在相机坐标系中，从目标视角θ1出发(目标视角θ1对应的视角范围在图3中以阴影部分示出)，对标记虚拟物品204、虚拟物品306以及虚拟物品308进行
图像渲染，获得渲染图像，根据渲染图像，确定虚拟物品306的图像特征遮挡标记虚拟物品
204的标记图像特征，标记虚拟物品204的标记图像特征与虚拟物品308的图像特征并无遮
挡关系。

[0136] 综上，根据从目标视角对标记虚拟物品以及虚拟物品进行图像渲染获得的渲染图像中，确定标记虚拟物品的标记图像特征与所述图像特征的遮挡关系，是后续将中间图像
和物品图像进行图像融合的基础，增加了图像融合的准确性。

[0137] 步骤S108，生成包含所述虚拟物品在目标视角的图像特征的中间图像。

[0138] 在相机坐标系添加至少一个虚拟物品的基础上，生成包含虚拟物品在目标视角的图像特征的中间图像，是指从相机坐标系的目标视角，对包含虚拟物品的虚拟场景进行成
像处理，获得中间图像。

[0139] 具体实施时，在上述位置坐标添加标记虚拟物品的基础上，先对添加的标记虚拟物品进行移除，再从目标视角对虚拟物品进行图像渲染，获得中间图像，避免了在将中间图
像与物品图像进行图像融合之前，对标记虚拟物品进行图像分割，增加了图像融合的效率，
本说明书实施例提供的一种可选实施方式中，所述生成包含所述虚拟物品在目标视角的图
像特征的中间图像，具体采用如下方式实现：

[0140] 在所述相机坐标系移除所述标记虚拟物品；

[0141] 从所述目标视角对所述虚拟物品进行图像渲染，获得包含所述图像特征的所述中间图像。

[0142] 实际应用中，从所述目标视角对所述虚拟物品进行图像渲染，是指从目标视角对包含虚拟物品的三维场景渲染为二维图像，即中间图像。

[0143] 沿用上例，在相机坐标系移除标记虚拟物品204，并从目标视角θ1出发，对虚拟物品306以及虚拟物品308进行图像渲染，获得包含虚拟物品306以及虚拟物品308的图像特征
的中间图像。

[0144] 步骤S110，将所述中间图像与所述物品图像进行图像融合，获得样本图像。

[0145] 在上述生成包含虚拟物品的图像特征的中间图像的基础上，将中间图像与物品图像进行图像融合，获得样本图像，具体的，图像融合是指将中间图像中虚拟物品的图像特征
与物品图像进行融合。

[0146] 具体实施时，在中间图像与物品图像的图像大小不同和/或分辨率不同的情况下，将中间图像与物品图像进行图像融合，需要将中间图像进行图像尺寸的缩放处理，缩放至
与物品图像的图像尺寸一致，和/或对中间图像进行分辨率调整，调整至物品图像的分辨率
一致，在此基础上进行图像融合。

[0147] 实际应用中，将中间图像与物品图像进行图像融合的方式是多种多样的，将中间图像和物品图像进行图像融合，可以先将中间图像中虚拟物品的图像特征进行图像分割，
将分割后获得的图像特征与物品图像进行融合，此外，还可以将物品图像中目标物品的目
标图像特征进行图像分割，将分割后获得的目标图像特征与中间图像进行融合，在此不做
限制。

[0148] 与上述步骤S106中确定遮挡关系的第一种可选实施方式相对应，本说明书实施例提供的一种可选实施方式中，所述将所述中间图像与所述物品图像进行图像融合，获得样
本图像，具体采用如下方式实现：

[0149] 根据所述遮挡关系，在所述中间图像的中间图像单元以及所述物品图像的图像单元中筛选出样本图像单元，组成所述样本图像。

[0150] 具体实施时，根据标记虚拟物品与虚拟物品之间的遮挡关系，确定样本图像中的样本图像单元，若标记虚拟物品被虚拟物品遮挡，则确定被遮挡的图像区域，在被遮挡的图
像区域，选择中间图像的中间图像单元作为样本图像单元，若标记虚拟物品没有被虚拟物
品遮挡，则确定无遮挡的图像区域，在无遮挡的图像区域，选择物品图像的图像单元作为样
本图像单元，进而将选择出的样本图像单元组成样本图像。

[0151] 具体的，所述图像单元是指物品图像中的像素点，此外，还可以是物品图像中多个像素点组成图像块或图像区域等；类似的，所述中间图像单元是指中间图像中的像素点，此
外，还可以是中间图像中多个像素点组成图像块或图像区域等；所述样本图像单元是指样
本图像中的像素点，此外，还可以是样本图像中多个像素点组成图像块或图像区域等。

[0152] 沿用上例，根据确定的虚拟物品306遮挡标记虚拟物品204，以及虚拟物品308与标记虚拟物品204之间不存在遮挡关系，在包含虚拟物品306以及虚拟物品308的图像特征的
中间图像，以及包含目标物品的目标图像特征的图片p1中，根据虚拟物品306遮挡标记虚拟
物品204，确定虚拟物品306的图像特征和标记虚拟物品204的目标图像特征在图像中所处
的位置重合的图像区域，在中间图像中选择该图像区域对应的像素点作为样本图像中的像
素点，并在非位置重合的其他区域，选择物品图像中的像素点作为样本图像中的像素点，将
选择出的像素点组成样本图像。

[0153] 与上述步骤S106中确定遮挡关系的第二种可选实施方式相对应，本说明书实施例提供的一种可选实施方式中，所述将所述中间图像与所述物品图像进行图像融合，获得样
本图像，具体采用如下方式实现：

[0154] 针对所述物品图像中目标图像单元所在的目标图像区域，根据所述遮挡关系，判断所述目标图像区域在所述渲染图像对应的渲染图像区域是否属于遮挡区域；

[0155] 若是，则选取目标图像区域在中间图像中对应的中间图像区域内的中间图像单元，将选取的中间图像单元，确定为所述目标图像区域在样本图像中对应的样本图像区域
的样本图像单元；

[0156] 若否，则选取目标图像区域内的图像单元，将所述图像单元确定为所述样本图像单元。

[0157] 具体实施时，在将中间图像和物品图像进行图像融合的过程中，需要遍历物品图像中每个像素点所在的目标图像区域，判断每个目标图像区域在渲染图像中对应的渲染图
像特征是否被虚拟物品的图像特征遮挡，若是，则选取目标图像区域在中间图像中对应的
中间图像区域内的像素点，将选取的中间图像区域内的像素点，作为样本图像中与目标图
像区域对应的样本图像区域内的像素点，若否，则选取目标图像区域内的像素点，将目标图
像区域内的像素点作为样本图像区域内的像素点。

[0158] 其中，所述渲染图像区域，是指目标图像区域在所述渲染图像对应的图像区域；所述遮挡区域，是指为图像特征遮挡标记图像特征的遮挡区域，此遮挡区域根据遮挡关系可
以确定。

[0159] 需要说明的是，目标图像区域在所述渲染图像对应的渲染图像区域，目标图像区域在中间图像对应的中间图像区域，以及目标图像区域在样本图像中对应的样本图像区
域，是指在目标图像区域、渲染图像区域、中间图像区域以及样本图像区域在其所属的图像
中所处的位置相同。

[0160] 沿用上例，确定的遮挡关系为：虚拟物品306的图像特征遮挡标记虚拟物品204的标记图像特征，标记虚拟物品204的标记图像特征与虚拟物品308的图像特征并无遮挡关
系，遍历图片p1中每个像素点所在的目标图像区域，首先判断此目标图像区域在渲染图像
中对应的渲染图像区域是否属于标记图像特征被虚拟物品306的图像特征遮挡的区域，若
是，则选取目标图像区域在中间图像中对应的中间图像区域内的像素点，将中间图像区域
内的像素点，作为目标图像区域在样本图像中对应的样本图像区域内的像素点，若否，则表
明应当选取目标图像区域内像素点，则将图片p1中目标图像区域内的像素点作为样本图像
区域的像素点。

[0161] 获得样本图像之后，还需要对生成的样本图像进行标注，将样本图像以及标注图像组成训练样本对作为有监督模型训练的训练样本，增加了采用此训练样本进行模型训练
生成的物品识别模型进行物品识别的准确性，本说明书实施例提供的一种可选实施方式
中，对生成的样本图像进行标注，具体采用如下方式实现：

[0162] 对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目标掩模信息；

[0163] 对所述中间图像进行图像处理，获得所述中间图像中所述图像特征的掩模信息；

[0164] 根据所述目标掩模信息以及所述掩模信息进行布尔运算，获得所述样本图像中所述目标物品的样本图像特征的掩模标注信息；

[0165] 根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像；所述样本图像以及所述标注图像组成训练样本对。

[0166] 实际应用中，掩模，是由0和1组成的一个二进制图像；为了提取图像中感兴趣的区域，将感兴趣的区域的图像值用1值表示，将此区域外的其他区域的图像值用0值表示，在此
基础上形成的二进制图像作为掩模信息，此外，掩模也可以以二维矩阵数组的形式进行表
示，以二维矩阵数组作为掩模信息的具体实现方式与以二进制图像作为掩模信息的具体实
现方式类似，参考以二进制图像作为掩模信息的具体实现方式即可，在此不做赘述。

[0167] 相应的，所述掩模信息，是指将中间图像中图像特征所在的图像区域的图像值用1值表示，将中间图像中图像区域之外的其他区域的图像值用0表示，所形成的二进制图像；
所述目标掩模信息，是指将物品图像中目标图像特征所在的图像区域的图像值用1值表示，
将物品图像中目标图像区域之外的其他区域的图像值用0表示，所形成的二进制图像；类似
的，所述掩模标注信息，是指将样本图像中目标物品的目标图像特征所在的图像区域的图
像值用1值表示，将样本图像中目标图像区域之外的其他区域用0值表示，所形成的二进制
图像。

[0168] 具体实施时，对图像进行图像处理，获得图像中特定图像特征的掩模信息，可以采用图像分割算法或显著性检测算法等图像处理方法，将图像中特定图像特征所在的图像区
域作为感兴趣的区域提取出来，将提取出的区域的图像值用1值表示，其他区域的图像值用
0值表示，生成特定图像特征的掩模信息。

[0169] 需要说明的是，样本图像中目标物品的样本图像特征对应的掩模标注信息，可以根据所述目标掩模信息以及所述掩模信息进行布尔运算获得，首先将目标掩模信息与掩模
信息求交集，将交集部分作为目标图像特征被图像特征的遮挡部分，并进一步将目标掩模
信息与交集部分求差集，将差集部分作为所述掩模标注信息。

[0170] 实际应用中，由于遮挡关系的复杂性，在进行布尔运算的时候，还需要考虑目标图像特征遮挡图像特征的情况，将这部分遮挡的区域的图像值作为1值，成为所述掩模标注信
息的一部分。

[0171] 沿用上例，对图片p1进行图像分割处理，获得图片p1中目标物品的目标图像特征的目标掩模信息M0，并对中间图像进行图像分割处理，获得中间图像中虚拟物品306的掩模
信息M1以及虚拟物品308的图像特征的掩模信息M2，对M0、M1以及M2求交集，获得交集M3，将
交集在样本图像中所处的区域作为虚拟物品306遮挡标记虚拟物品204的遮挡区域，再求M0
与M3的差集，获得差集M4，将M4作为对样本图像中目标物品的掩模标注信息，并将样本图像
以及掩模标注信息M4组成训练样本对Z1。

[0172] 具体实施时，对物体图像进行图像处理，获得物品图像中目标物品的目标图像特征的目标掩模信息的方式是多种多样的，本说明书实施例提供的一种可选实施方式中，所
述对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目
标掩模信息，具体采用如下方式实现：

[0173] 通过图像差分算法，对预先采集的所述目标位置的背景图像以及所述物品图像进行图像差分，获得所述目标图像特征；

[0174] 将所述目标图像特征进行掩模处理，获得所述目标掩模信息。

[0175] 具体的，所述背景图像，是在上述目标位置上无物品的状态下，采集到的背景图像，实际应用中，可以在向抓取设备下发移动指令之前，向图像采集设备下发针对目标位置
的图像采集指令，获得的目标位置的背景图像，此外，还可以在其他时间采集所述背景图
像，在此不做限制。

[0176] 实际应用中，通过图像差分算法，可以对比两张图像中的差别部分，本说明书实施例，通过图像差分算法获得背景图像和物品图像中的差别部分，即为目标物品的目标图像
特征，将目标图像特征所在的图像区域的图像值用1值表示，将物品图像中目标图像特征所
在的图像区域之外的图像区域的图像值用0值表示，获得目标图像特征对应的二进制图像，
即所述目标掩模信息。

[0177] 在执行上述获得样本图像，并对样本图像进行标注，获得样本图像的标注图像，从而有样本图像以及标注图像组成训练样本对的基础上，重复采用上述方式获得大量的训练
样本对，并根据训练样本对训练初始物品识别模型，获得物品识别模型，减少了获得物品识
别模型所耗费的人力成本和时间成本，并基于训练样本对的准确性，进一步提升了物品识
别模型的识别准确率以及效率，本说明书实施例提供的一种可选实施方式中，所述图像处
理方法，还包括：

[0178] 将训练样本对作为训练样本，对所述初始物品识别模型进行训练，训练完成后获得物品识别模型。

[0179] 具体的，对初始物品识别模型进行模型训练的训练样本，是通过重复执行上述获得样本图像以及标注图像的方式获得的大量的训练样本对所得到的。

[0180] 所述初始物品识别模型，是指采用深度学习算法构建的模型；相应的，所述物品识别模型，是指对初始物品识别模型训练完成之后，可以进行物品识别的物品识别模型。

[0181] 沿用上例，获取训练样本对Z1、Z2、Z3、…Zn，将这些训练样本对作为训练样本，根据训练样本对初始物品识别模型进行训练，训练完成后获得物品识别模型。

[0182] 在上述对初始物品识别模型进行训练，获得物品识别模型的基础上，采用物品识别模型进行物品识别，增加了物品识别模型的准确率，本说明书实施例提供的一种可选实
施方式中，所述图像处理方法，还包括：

[0183] 将目标图像输入所述物品识别模型；

[0184] 所述物品识别模型对所述目标图像进行物品识别，获得所述物品识别模型输出的针对所述目标图像的物品识别结果。

[0185] 具体的，所述目标图像是指待识别图像，目标图像中包含待识别的物品的图像特征。

[0186] 沿用上例，将包含目标物品的图像特征的图片p2输入物品识别模型，物品识别模型对图片p2进行物品识别，获得物品识别模型输出的对图片p2中目标物品的识别结果。

[0187] 下述结合附图4，以本说明书提供的图像处理方法在无人便利店中的应用为例，对所述图像处理方法进行进一步说明。其中，图4示出了本说明书一个实施例提供的一种应用
于无人便利店的图像处理方法的处理流程图，具体步骤包括步骤S402至步骤S436。

[0188] 步骤S402，向抓取设备下发针对目标物品的移动指令。

[0189] 具体的，所述移动指令中携带无人便利店中货架的初始坐标以及收银台的目标坐标。

[0190] 所述抓取设备根据所述初始坐标，从货架抓取所述目标物品，将所述目标物品移动至所述目标坐标对应的收银台，并在移动完成后上传针对所述移动指令的执行反馈通
知；

[0191] 步骤S404，接收抓取设备上传的针对移动指令的执行反馈通知。

[0192] 步骤S406，向图像采集设备下发针对收银台的图像采集指令。

[0193] 具体的，所述图像采集设备根据所述图像采集指令中携带的所述目标坐标，对收银台的所述目标物品进行图像采集，获得所述物品图像并上传。

[0194] 步骤S408，接收图像采集设备上传的目标物品的物品图像。

[0195] 步骤S410，根据目标坐标以及预设变换矩阵，计算目标物品在物品图像对应的相机坐标系中的位置坐标。

[0196] 步骤S412，获取执行反馈通知包含的目标物品的形状信息。

[0197] 步骤S414，在位置坐标添加与形状信息大小匹配的标记虚拟物品。

[0198] 步骤S416，根据获取的图像采集设备的采集视角，确定相机坐标系中虚拟相机的目标视角。

[0199] 步骤S418，在根据标记虚拟物品以及目标视角确定的目标区域，添加至少一个虚拟物品。

[0200] 步骤S420，从目标视角对标记虚拟物品以及虚拟物品进行图像渲染，获得渲染图像。

[0201] 步骤S422，根据渲染图像，确定标记虚拟物品的标记图像特征与虚拟物品的图像特征的遮挡关系。

[0202] 步骤S424，在相机坐标系移除标记虚拟物品。

[0203] 步骤S426，从目标视角对虚拟物品进行图像渲染，获得包含图像特征的中间图像。

[0204] 步骤S428，根据遮挡关系，将中间图像与物品图像进行图像融合，获得样本图像。

[0205] 具体的，获得样本图像，采用如下方式实现：

[0206] 针对所述物品图像中目标图像单元所在的目标图像区域，根据所述遮挡关系，判断所述目标图像区域在所述渲染图像对应的渲染图像区域是否属于遮挡区域；

[0207] 若是，将所述目标图像区域在中间图像对应的中间图像区域内的中间图像单元，确定为所述目标图像区域在样本图像中对应的样本图像区域的样本图像单元；

[0208] 若否，将所述图像单元确定为所述样本图像单元。

[0209] 步骤S430，对物品图像进行图像处理，获得物品图像中目标物品的目标图像特征的目标掩模信息。

[0210] 具体的，对中间图像进行图像处理，获得中间图像中图像特征的掩模信息，具体采用如下方式实现：

[0211] 通过图像差分算法，对预先采集的所述目标位置的背景图像以及所述物品图像进行图像差分，获得所述目标图像特征；

[0212] 将所述目标图像特征进行掩模处理，获得所述目标掩模信息。

[0213] 步骤S432，对中间图像进行图像处理，获得中间图像中图像特征的掩模信息。

[0214] 实际应用中，步骤S430和步骤S432的执行顺序是可变化的，比如，步骤S430和步骤S432的执行顺序可以互换，此外，步骤S430可以在获得物品图像之后直接执行，而步骤S432
可以在获得中间图像之后直接执行，在此不做限制。

[0215] 步骤S434，根据目标掩模信息以及掩模信息进行布尔运算，获得样本图像中目标物品的样本图像特征的掩模标注信息。

[0216] 步骤S436，根据掩模标注信息对样本图像进行标注，获得样本图像的标注图像。

[0217] 具体的，所述样本图像以及所述标注图像组成训练样本对。

[0218] 实际应用中，将训练样本对作为训练样本，对所述初始物品识别模型进行训练，训练完成后获得物品识别模型。

[0219] 在上述获得物品识别模型的基础上，通过物品识别模型对目标图像进行物品识别，具体采用如下方式实现：

[0220] 将目标图像输入所述物品识别模型；

[0221] 所述物品识别模型对所述目标图像进行物品识别，获得所述物品识别模型输出的针对所述目标图像的物品识别结果。

[0222] 实际应用中，目标图像可以是包含无人便利店中交易物品的图像特征的图像。

[0223] 综上所述，本说明书提供一种图像处理方法，在获取目标物品的物品图像的基础上，确定目标物品在物品图像对应的相机坐标系中的位置坐标，并基于此位置坐标构建与
物品图像相似的虚拟场景，即根据位置坐标，在相机坐标系添加至少一个虚拟物品，生成包
含所述虚拟物品在目标视角的图像特征的中间图像，并将所述中间图像与所述物品图像进
行图像融合，获得样本图像，通过对获得的物品图像进行图像融合，生成样本图像，由于虚
拟场景中虚拟物品的添加位置是多种多样的，基于此生成的样本图像也是多种多样的，因
此增加了样本图像的多样性以及丰富性，并提高了样本图像的生成效率以及图像质量。

[0224] 本说明书提供的一种图像处理装置实施例如下：

[0225] 与上述方法实施例相对应，本说明书还提供了图像处理装置实施例，图5示出了本说明书一个实施例提供的一种图像处理装置的示意图。如图5所示，该装置包括：

[0226] 获取模块502，被配置为获取目标物品的物品图像；

[0227] 确定模块504，被配置为确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；

[0228] 添加模块506，被配置为根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；

[0229] 生成模块508，被配置为生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；

[0230] 融合模块510，被配置为将所述中间图像与所述物品图像进行图像融合，获得样本图像。

[0231] 可选的，所述物品图像，通过如下方式获得：

[0232] 向抓取设备下发针对所述目标物品的移动指令；所述移动指令中携带初始位置的初始坐标以及目标位置的目标坐标；

[0233] 接收所述抓取设备上传的针对所述移动指令的执行反馈通知；

[0234] 向图像采集设备下发针对所述目标位置的图像采集指令；

[0235] 接收所述图像采集设备上传的所述物品图像。

[0236] 可选的，所述抓取设备根据所述初始坐标，从初始位置抓取所述目标物品，将所述目标物品移动至所述目标坐标对应的所述目标位置，并在移动完成后上传针对所述移动指
令的执行反馈通知；

[0237] 所述图像采集设备根据所述图像采集指令中携带的所述目标坐标，对所述目标位置的所述目标物品进行图像采集，获得所述物品图像并上传。

[0238] 可选的，所述确定模块504，还被配置为：根据所述目标坐标以及预设变换矩阵，计算所述目标物品在所述物品图像对应的相机坐标系中的位置坐标。

[0239] 可选的，所述添加模块506，包括：

[0240] 获取信息子模块，被配置为获取所述执行反馈通知包含的所述目标物品的形状信息；

[0241] 添加标记虚拟物品子模块，被配置为在所述位置坐标添加与所述形状信息大小匹配的标记虚拟物品；

[0242] 确定视角子模块，被配置为根据获取的所述图像采集设备的所述采集视角，确定所述相机坐标系的目标视角；

[0243] 添加虚拟物品子模块，被配置为在根据所述标记虚拟物品以及所述目标视角确定的目标区域，添加至少一个虚拟物品。

[0244] 可选的，所述图像处理装置，还包括：

[0245] 第一确定关系模块，被配置为根据所述标记虚拟物品以及所述虚拟物品与所述相机坐标系中原点之间距离，确定所述标记虚拟物品与所述虚拟物品之间的遮挡关系；

[0246] 相应的，所述融合模块510，还被配置为：根据所述遮挡关系，在所述中间图像的中间图像单元以及所述物品图像的图像单元中筛选出样本图像单元，组成所述样本图像。

[0247] 可选的，所述图像处理装置，还包括：

[0248] 渲染模块，被配置为从所述目标视角对所述标记虚拟物品以及所述虚拟物品进行图像渲染，获得渲染图像；

[0249] 第二确定关系模块，被配置为根据所述渲染图像，确定所述标记虚拟物品的标记图像特征与所述图像特征的遮挡关系；

[0250] 相应的，所述融合模块510，包括：

[0251] 判断子模块，被配置为针对所述物品图像中目标图像单元所在的目标图像区域，根据所述遮挡关系，判断所述目标图像区域在所述渲染图像对应的渲染图像区域是否属于
遮挡区域；

[0252] 若是，运行第一确定单元子模块，所述第一确定单元子模块，被配置为将所述目标图像区域在中间图像对应的中间图像区域内的中间图像单元，确定为所述目标图像区域在
样本图像中对应的样本图像区域的样本图像单元；

[0253] 若否，运行第二确定单元子模块，所述第二确定单元子模块，被配置为将所述图像单元确定为所述样本图像单元。

[0254] 可选的，所述生成模块508，包括：

[0255] 移除子模块，被配置为在所述相机坐标系移除所述标记虚拟物品；

[0256] 图像渲染子模块，被配置为从所述目标视角对所述虚拟物品进行图像渲染，获得包含所述图像特征的所述中间图像。

[0257] 可选的，所述图像处理装置，还包括：

[0258] 第一图像处理模块，被配置为对所述物品图像进行图像处理，获得所述物品图像中所述目标物品的目标图像特征的目标掩模信息；

[0259] 第二图像处理模块，被配置为对所述中间图像进行图像处理，获得所述中间图像中所述图像特征的掩模信息；

[0260] 运算模块，被配置为根据所述目标掩模信息以及所述掩模信息进行布尔运算，获得所述样本图像中所述目标物品的样本图像特征的掩模标注信息；

[0261] 标注模块，被配置为根据所述掩模标注信息对所述样本图像进行标注，获得所述样本图像的标注图像；所述样本图像以及所述标注图像组成训练样本对。

[0262] 可选的，所述第一图像处理模块，包括：

[0263] 图像差分子模块，被配置为通过图像差分算法，对预先采集的所述目标位置的背景图像以及所述物品图像进行图像差分，获得所述目标图像特征；

[0264] 掩模处理子模块，被配置为将所述目标图像特征进行掩模处理，获得所述目标掩模信息。

[0265] 可选的，所述图像处理装置，还包括：

[0266] 训练模块，被配置为将训练样本对作为训练样本，对所述初始物品识别模型进行训练，训练完成后获得物品识别模型。

[0267] 可选的，所述图像处理装置，还包括：

[0268] 输入模型模块，被配置为将目标图像输入所述物品识别模型；

[0269] 物品识别模块，被配置为所述物品识别模型对所述目标图像进行物品识别，获得所述物品识别模型输出的针对所述目标图像的物品识别结果。

[0270] 上述为本实施例的一种图像处理装置的示意性方案。需要说明的是，该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思，图像处理装置的技术方
案未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。

[0271] 本说明书提供的一种计算设备实施例如下：

[0272] 图6示出了根据本说明书一个实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630
相连接，数据库650用于保存数据。

[0273] 计算设备600还包括接入设备640，接入设备640使得计算设备400能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网
(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的
任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域
网(WLAN)无线接口、全球微波互联接入(Wi‑MAX)接口、以太网接口、通用串行总线(USB)接
口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

[0274] 在本说明书的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于
示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其
他部件。

[0275] 计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动
电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移
动设备，或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式
的服务器。

[0276] 本说明书提供一种计算设备，包括存储器610、处理器620及存储在存储器上并可在处理器上运行的计算机指令，所述处理器620用于执行如下计算机可执行指令：

[0277] 获取目标物品的物品图像；

[0278] 确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；

[0279] 根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；

[0280] 生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；

[0281] 将所述中间图像与所述物品图像进行图像融合，获得样本图像。

[0282] 上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的图像处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述
的细节内容，均可以参见上述图像处理方法的技术方案的描述。

[0283] 本说明书提供的一种计算机可读存储介质实施例如下：

[0284] 本说明书提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于：

[0285] 获取目标物品的物品图像；

[0286] 确定所述目标物品在所述物品图像对应的相机坐标系中的位置坐标；

[0287] 根据所述位置坐标，在所述相机坐标系添加至少一个虚拟物品；

[0288] 生成包含所述虚拟物品在目标视角的图像特征的中间图像；所述目标视角根据所述物品图像的采集视角确定；

[0289] 将所述中间图像与所述物品图像进行图像融合，获得样本图像。

[0290] 上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思，存储介质的技术方案
未详细描述的细节内容，均可以参见上述图像处理方法的技术方案的描述。

[0291] 上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来
执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺
序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可
以的或者可能是有利的。

[0292] 所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所
述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储
器、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、
电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内
容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖
区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

[0293] 需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的
限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域
技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块
并不一定都是本说明书实施例所必须的。

[0294] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

[0295] 以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施
例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解
释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用
本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。