一种基于数字孪生的机器人控制系统

摘要

本发明属于机器人控制领域，公开了一种基于数字孪生的机器人控制系统，包括数据源模块、数字孪生模块和控制模块；数据源模块包括传感器单元和相机单元；传感器单元用于获取工业机器人的第一姿态数据；相机单元用于获取工业机器人的姿态图像；数字孪生模块包括验证单元和模拟单元；验证单元用于获得工业机器人的第二姿态数据，并验证第一姿态数据是否为误差过大的数据；模拟单元用于对数字孪生模型进行控制，改变数字孪生模型的姿态；控制模块用于工作人员基于数字孪生模型的姿态对工业机器人进行控制。本发明能够有效地降低因为第一姿态数据为误差过大的数据而使得工作人员错误地停止工业机器人的运行的概率，保证了工业生产的效率。

权利要求

1.一种基于数字孪生的机器人控制系统，其特征在于，包括数据源模块、数字孪生模块和控制模块；

数据源模块包括传感器单元和相机单元；

传感器单元用于通过设置在工业机器人上的传感器来获取工业机器人的第一姿态数据；

相机单元用于通过工业相机获取工业机器人的姿态图像；

数字孪生模块包括验证单元和模拟单元；

验证单元用于对姿态图像进行识别，获得工业机器人的第二姿态数据，并基于第二姿态数据验证第一姿态数据是否为误差过大的数据；

模拟单元用于基于第一姿态数据对工业机器人对应的数字孪生模型进行控制，改变数字孪生模型的姿态；

控制模块用于工作人员基于数字孪生模型的姿态对工业机器人进行控制；

所述第一姿态数据包括工业机器人的各个关节点的第一空间坐标；

所述通过工业相机获取工业机器人的姿态图像，包括：

采用如下方式计算第d+1张姿态图像的获取时刻：

itrad+1＝itrad+uind+1

其中，itrad+1表示第d+1张姿态图像的获取时刻，itrad表示第d张姿态图像的获取时刻，uind+1表示第d张姿态图像和第d+1张姿态图像的获取时刻之间的时间长度；

若freocud≥frethr，则使用如下公式计算uind+1：若freocud＜frethr，则使用如下公式计算uind+1：其中，freocud表示在时间段[itrad‑uinst,itrad]内，第一姿态数据的误差频率，itrad‑1表示第d‑1张姿态图像的获取时刻；uind表示第d‑1张姿态图像和第d张姿态图像的获取时刻之间的时间长度；freocust表示设定的误差频率对照值，itrltim表示预设大小的时间长度，uinst表示误差判断时间窗的长度，frethr表示设定的频率阈值。

2.根据权利要求1所述的一种基于数字孪生的机器人控制系统，其特征在于，freocud采用如下公式计算：其中，numd表示在时间段[itrad‑uinst,itrad]内，第一姿态数据被验证为误差过大数据的次数，totald表示在时间段[itrad‑uinst,itrad]内，第一姿态数据的总获取次数。

3.根据权利要求1所述的一种基于数字孪生的机器人控制系统，其特征在于，所述第二姿态数据，包括工业机器人的各个关节点的第二空间坐标。

4.根据权利要求3所述的一种基于数字孪生的机器人控制系统，其特征在于，所述基于第二姿态数据验证第一姿态数据是否为误差过大的数据，包括：计算第一空间坐标和第二空间坐标之间的误差值：

其中，errorval表示在同一时刻获取的第一空间坐标和第二空间坐标之间的误差值，poitu表示工业机器人的关节点的集合，(xi,1,yi,1,zi,1)表示关节点i的第一空间坐标，(xi,2,yi,2,zi,2)表示关节点i的第二空间坐标；

若errorval大于设定的误差值阈值，则表示第一姿态数据为误差过大数据。

5.根据权利要求1所述的一种基于数字孪生的机器人控制系统，其特征在于，所述基于第一姿态数据对工业机器人对应的数字孪生模型进行控制，改变数字孪生模型的姿态，包括：将数字孪生模型中的关节点的位置调整至第一空间坐标在数字孪生模型中所对应的坐标。

6.根据权利要求1所述的一种基于数字孪生的机器人控制系统，其特征在于，所述控制模块包括显示单元、输入单元和通信单元；

显示单元用于显示第一姿态数据是否为误差过大的数据；

输入单元用于工作人员在发现数字孪生模型的姿态不符合预设的运行要求，且数字孪生模型的姿态所对应的第一姿态数据不是误差过大的数据时，输入用于控制工业机器人停止运行的指令；

通信单元用于将该指令发送至工业机器人的控制器。

说明书

一种基于数字孪生的机器人控制系统

技术领域

[0001] 本发明涉及机器人控制领域，尤其涉及一种基于数字孪生的机器人控制系统。

背景技术

[0002] 数字孪生是指先建立物理实体对应的数字孪生模型，然后利用物理实体的动作数据来改变数字孪生模型的状态，从而实现数字孪生模型跟随物理实体的状态的变化而变化的过程。

[0003] 随着技术的发展，在对工业机器人进行控制的过程中，也引入了数字孪生技术，通过对工业机器人的状态进行实时的模拟，便于工作人员远程对工业机器人的运行状态进行监控，及时发现工业机器人的异常状态，从而对工业机器人进行相应的控制。

[0004] 现有技术中，一般是通过设置在工业机器人上的传感器来获取工业机器人的姿态数据，然后根据获得的姿态数据对工业机器人对应的数字孪生模型的姿态进行改变，实现对工业机器人的数字孪生模拟。但是这种模拟方式仅依靠单一的数据来源，容易因为传感器的偶尔获得误差过大的姿态数据而导致工作人员对工业机器人的状态进行误判，误认为工业机器人处于异常状态，从而对工业机器人进行错误的控制，影响工业生产效率。

发明内容

[0005] 本发明的目的在于公开一种基于数字孪生的机器人控制系统，解决现有技术对工业机器人进行数字孪生模拟的过程中，仅依靠单一的数字来源来改变数字孪生模型的状态，容易使得工作人员对工业机器人的状态进行误判，影响工业生产效率的问题。

[0006] 为了达到上述目的，本发明采用如下技术方案：

[0007] 一种基于数字孪生的机器人控制系统，包括数据源模块、数字孪生模块和控制模块；

[0008] 数据源模块包括传感器单元和相机单元；

[0009] 传感器单元用于通过设置在工业机器人上的传感器来获取工业机器人的第一姿态数据；

[0010] 相机单元用于通过工业相机获取工业机器人的姿态图像；

[0011] 数字孪生模块包括验证单元和模拟单元；

[0012] 验证单元用于对姿态图像进行识别，获得工业机器人的第二姿态数据，并基于第二姿态数据验证第一姿态数据是否为误差过大的数据；

[0013] 模拟单元用于基于第一姿态数据对工业机器人对应的数字孪生模型进行控制，改变数字孪生模型的姿态；

[0014] 控制模块用于工作人员基于数字孪生模型的姿态对工业机器人进行控制。

[0015] 可选的，所述第一姿态数据包括工业机器人的各个关节点的第一空间坐标。

[0016] 可选的，所述通过工业相机获取工业机器人的姿态图像，包括：

[0017] 采用如下方式计算第d+1张姿态图像的获取时刻：

[0018]

[0019] 其中， 表示第d+1张姿态图像的获取时刻， 表示第d张姿态图像的获取时刻， 表示第d张姿态图像和第d+1张姿态图像的获取时刻之间的时间长度；

[0020] 若 ，则使用如下公式计算  ：

[0021]

[0022] 若  ，则使用如下公式计算  ：

[0023]

[0024] 其中， 表示在时间段  内，第一姿态数据的误差频率， 表示第d‑1张姿态图像的获取时刻；  表示第d‑1张姿态图像和第d张姿态图像的获取时刻之间的时间长度； 表示设定的误差频率对照值， 表示预设大小的时间长度， 表示误差判断时间窗的长度， 表示设定的频率阈值。

[0025] 可选的， 采用如下公式计算：

[0026]

[0027] 其中， 表示在时间段  内，第一姿态数据被验证为误差过大数据的次数， 表示在时间段  内，第一姿态数据的总
获取次数。

[0028] 可选的，所述第二姿态数据，包括工业机器人的各个关节点的第二空间坐标。

[0029] 可选的，所述基于第二姿态数据验证第一姿态数据是否为误差过大的数据，包括：

[0030] 计算第一空间坐标和第二空间坐标之间的误差值：

[0031]

[0032] 其中， 表示在同一时刻获取的第一空间坐标和第二空间坐标之间的误差值， 表示工业机器人的关节点的集合， 表示关节点i的第一空间坐标， 表示关节点i的第二空间坐标；

[0033] 若  大于设定的误差值阈值，则表示第一姿态数据为误差过大数据。

[0034] 可选的，所述基于第一姿态数据对工业机器人对应的数字孪生模型进行控制，改变数字孪生模型的姿态，包括：

[0035] 将数字孪生模型中的关节点的位置调整至第一空间坐标在数字孪生模型中所对应的坐标。

[0036] 可选的，所述控制模块包括显示单元、输入单元和通信单元；

[0037] 显示单元用于显示第一姿态数据是否为误差过大的数据；

[0038] 输入单元用于工作人员在发现数字孪生模型的姿态不符合预设的运行要求，且数字孪生模型的姿态所对应的第一姿态数据不是误差过大的数据时，输入用于控制工业机器人停止运行的指令；

[0039] 通信单元用于将该指令发送至工业机器人的控制器。

[0040] 本发明在采用数字孪生技术对工业机器人进行控制的过程中，通过获取工业机器人的第一姿态数据和第二姿态数据，基于获得的第二姿态数据判断第一姿态数据是否为误差过大的数据，并由工作人员基于判断的结果对工业机器人进行控制，能够有效地降低因为第一姿态数据为误差过大的数据而使得工作人员错误地停止工业机器人的运行的概率，保证了工业生产的效率。

附图说明

[0041] 利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

[0042] 图1为本发明一种基于数字孪生的机器人控制系统的一种实施例图。

[0043] 图2为本发明控制模块的一种实施例图。

具体实施方式

[0044] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0045] 如图1所示的一种实施例，本发明提供了一种基于数字孪生的机器人控制系统，包括数据源模块、数字孪生模块和控制模块；

[0046] 数据源模块包括传感器单元和相机单元；

[0047] 传感器单元用于通过设置在工业机器人上的传感器来获取工业机器人的第一姿态数据；

[0048] 相机单元用于通过工业相机获取工业机器人的姿态图像；

[0049] 数字孪生模块包括验证单元和模拟单元；

[0050] 验证单元用于对姿态图像进行识别，获得工业机器人的第二姿态数据，并基于第二姿态数据验证第一姿态数据是否为误差过大的数据；

[0051] 模拟单元用于基于第一姿态数据对工业机器人对应的数字孪生模型进行控制，改变数字孪生模型的姿态；

[0052] 控制模块用于工作人员基于数字孪生模型的姿态对工业机器人进行控制。

[0053] 本发明在采用数字孪生技术对工业机器人进行控制的过程中，通过获取工业机器人的第一姿态数据和第二姿态数据，基于获得的第二姿态数据判断第一姿态数据是否为误差过大的数据，并由工作人员基于判断的结果对工业机器人进行控制，能够有效地降低因为第一姿态数据为误差过大的数据而使得工作人员错误地停止工业机器人的运行的概率，保证了工业生产的效率。

[0054] 获取工业机器人的第一姿态数据的传感器在运行的过程中可能会产生偶然误差，因此，若因为偶然误差而错误地将工业机器人关停，则会影响效率。

[0055] 可选的，对姿态图像进行识别，获得工业机器人的第二姿态数据，包括：

[0056] 采用预设的算法对姿态图像进行调节处理，获得处理图像；

[0057] 将处理图像输入到预先训练好的神经网络模型中进行识别，获得工业机器人的第二姿态数据。

[0058] 在上述实施方式中，进行调节处理能够使得获得的处理图像中的光照分布更为均衡，避免光照分布的问题影响神经网络模型对关节点的位置的识别。

[0059] 可选的，采用预设的算法对姿态图像进行调节处理，获得处理图像，包括：

[0060] 将姿态图像分成大小相同的多个子图像；

[0061] 采用ACE算法分别对每个子图像进行调节处理，获得调节后的子图像；

[0062] 由所有调节后的子图像组成调节图像；

[0063] 对调节图像进行如下处理：

[0064] 对于调节图像中的第u行第v列的子图像  ， ，，调节图像由U行，V列调节后的子图像组成，采用如下公式计算 的
过渡系数：

[0065]

[0066] 其中， 表示  的过渡系数， 、 表示比例系数，， 表示  中的像素点的集合， 表示
中的像素点h的亮度值， 表示像素点h在第u行第v+1列的子图像 
中对应的像素点的亮度值， 表示像素点h在第u+1行第v列的子
图像 中对应的像素点的亮度值； 表示 中的像素点的数量，
表示预设的亮度差值比较参数；

[0067] 若  大于设定的过渡系数阈值，则基于子图像  获取过渡处理子图像；

[0068] 使用ACE算法对过渡处理子图像进行调节处理，获得调节后的过渡处理子图像；

[0069] 使用图像的加权加法将调节后的过渡处理子图像与调节图像进行相加，获得处理图像。

[0070] 在本发明中，调节处理不是直接对整个姿态图像进行的，而是先进行了切割，将姿态图像分成了多个子图像，然后分别对每个子图像进行处理，接着再对获得的调节图像进行过渡优化处理，获得了过渡更为自然的处理图像，有效地提高了姿态图像的质量。分别对每个子图像进行调节处理，能够提高调节处理的准确性，因为不同的子图像中，光照的分布并不相同，若采用同一种处理算法直接对所有像素点进行处理，则会使得处理的结果不够准确。另外，本发明创造性地设置了过渡处理子图像的检测，过渡系数越大，则表示过渡越不自然，对检测出来的过渡处理子图像再次进行调节处理，从而使得两个调节后的子图像的过渡的地方像素值过渡更为准确，自然，因为分割成子图像后对不同的子图像进行调节处理，可能会使得子图像的相邻的地方像素值过渡不自然，影响图像的质量。

[0071] 在上述实施方式中，子图像的行数按照从上到下的顺序进行排序，而列数则是从左到右的顺序进行排序。

[0072] 可选的，基于子图像 获取过渡处理子图像，包括：

[0073] 以调节图像左上角为坐标原点，水平方向为x轴，竖直方向为y轴建立直角坐标系；

[0074] 将坐标范围在  作为过渡处理子图像，以及将坐标范围在  的像素点作为过渡处理子图像，
表示子图像    的中心的坐标， ，
， 和 表示子图像  的行数和列数。

[0075] 在上述实施方式中，过渡处理子图像主要是在  的右侧和下侧进行获取。

[0076] 可选的，所述第一姿态数据包括工业机器人的各个关节点的第一空间坐标。

[0077] 可选的，所述通过工业相机获取工业机器人的姿态图像，包括：

[0078] 采用如下方式计算第d+1张姿态图像的获取时刻：

[0079]

[0080] 其中， 表示第d+1张姿态图像的获取时刻， 表示第d张姿态图像的获取时刻， 表示第d张姿态图像和第d+1张姿态图像的获取时刻之间的时间长度；

[0081] 若 ，则使用如下公式计算  ：

[0082]

[0083] 若 ，则使用如下公式计算  ：

[0084]

[0085] 其中， 表示在时间段  内，第一姿态数据的误差频率， 表示第d‑1张姿态图像的获取时刻； 表示第d‑1张姿态图像和第d张姿态图像的获取时刻之间的时间长度； 表示设定的误差频率对照值， 表示预设大小的时间长度， 表示误差判断时间窗的长度， 表示设定的频率阈值。

[0086] 在本发明中，姿态图像的获取频率与第一姿态数据的获取频率并不一致，主要是因为通过图像识别的方式来判断工业机器人的姿态需要花费一定的时间，很难做到实时获得工业机器人的姿态。因此，本发明采用的是设置 来获取两张相邻的姿态图像的获取时刻之间的时间长度。同时，本发明通过计算误差频率来控制获取时刻的变化，具体为，误差频率越大，即传感器的偶然误差出现得越频繁，则 的值便越小，同时，在时，误差频率越大，则  和  之间的变化幅度也越大，误差频率越小，即传感器的偶然误差出现得越不频繁，则  的值便越大，同时，在时，误差频率越小，则  和 之间的变化幅度越大，从而使
得本发明的姿态图像的获取频率能够随着传感器出现偶然误差的频率的变化而自适应地变化。若设定固定的采集频率来获取姿态图像，当在设定长度的误差判断时间窗内，误差频率非常大时，则会因为姿态图像的采集频率不足而导致无法及时发现误差过大的第一姿态数据。而当在设定长度的误差判断时间窗内，误差频率非常小时，则会因为姿态图像的采集频率过大而导致浪费计算资源。

[0087] 可选的， 采用如下公式计算：

[0088]

[0089] 其中， 表示在时间段  内，第一姿态数据被验证为误差过大数据的次数， 表示在时间段  内，第一姿态数据的总
获取次数。

[0090] 可选的，所述第二姿态数据，包括工业机器人的各个关节点的第二空间坐标。

[0091] 可选的，所述基于第二姿态数据验证第一姿态数据是否为误差过大的数据，包括：

[0092] 计算第一空间坐标和第二空间坐标之间的误差值：

[0093]

[0094] 其中， 表示在同一时刻获取的第一空间坐标和第二空间坐标之间的误差值， 表示工业机器人的关节点的集合， 表示关节点i的第一空间坐标， 表示关节点i的第二空间坐标；

[0095] 若  大于设定的误差值阈值，则表示第一姿态数据为误差过大数据。

[0096] 具体的，由于第一空间坐标是连续获取的，因此，本发明在获得第二空间坐标后，根据第二空间坐标所对应的姿态图像的获取时刻便能获得对应的第一空间坐标。

[0097] 可选的，所述基于第一姿态数据对工业机器人对应的数字孪生模型进行控制，改变数字孪生模型的姿态，包括：

[0098] 将数字孪生模型中的关节点的位置调整至第一空间坐标在数字孪生模型中所对应的坐标。

[0099] 可选的，如图2所示，所述控制模块包括显示单元、输入单元和通信单元；

[0100] 显示单元用于显示第一姿态数据是否为误差过大的数据；

[0101] 输入单元用于工作人员在发现数字孪生模型的姿态不符合预设的运行要求，且数字孪生模型的姿态所对应的第一姿态数据不是误差过大的数据时，输入用于控制工业机器人停止运行的指令；

[0102] 通信单元用于将该指令发送至工业机器人的控制器。

[0103] 具体的，控制器用于控制工业机器人上的零部件的运行，从而改变工业机器人的状态。通过控制器可以实现工业机器人的开启和关闭。

[0104] 可选的，控制模块还可以包括姿态判断单元；

[0105] 通过将数字孪生模型的姿态于期望姿态进行对比，从而判断数字孪生模型的姿态是否符合预设的运行要求。

[0106] 通过设置姿态判断单元，能够辅助工作人员对现数字孪生模型的姿态是否符合预设的运行要求进行判断。

[0107] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。