多视觉单元反馈实时分布式控制系统、方法及装置

摘要

本发明属于控制系统领域，具体涉及一种多视觉单元反馈实时分布式控制系统。旨在解决传统的控制系统采集图像的路数有限，当采集图像的路数较多时，采集的实时性不足和处理的时间较多无法进行高频率控制，视觉组件与执行组件距离较近的问题。高速视觉单元通过多个视觉设备获取图像信息，图像实时处理单元根据图像信息提取图像特征数据，图像采集模块通过图像采集板将图像信息采集到上位机的共享内存中，指令生成单元根据图像特征数据、当前运行状态计算控制指令，指令执行单元执行控制指令指令。本发明增加了控制系统采集图像的路数，提高了采集的实时性，减少了图像从采集到处理的时间，增加了视觉设备和执行设备间的距离。

权利要求

1.一种多视觉单元反馈实时分布式控制系统，其特征在于，该分布式控制系统包括多视觉单元采集处理子系统100和闭环计算执行子系统200；

所述多视觉单元采集处理子系统100包括高速视觉单元110和图像实时处理单元120；

所述高速视觉单元110，用于通过多个视觉设备获取图像信息；所述图像实时处理单元120，用于根据获取到的图像信息提取图像特征数据；

所述闭环计算执行子系统200包括指令生成单元210和指令执行单元220；所述指令生成单元210，用于根据图像特征数据、指令执行单元220的当前运行状态生成控制指令；所述指令执行单元220，用于执行所述控制指令，完成控制；

其中，所述图像实时处理单元120包括图像采集模块121、特征提取模块122和数据传输模块123；

所述图像采集模块121，配置为通过图像采集板卡将图像信息采集到共享内存中，在每帧图像信息采集完毕后，图像采集板卡触发上位机硬件中断；所述图像信息不在图像采集板卡上缓存；

所述特征提取模块122，配置为通过上位机实时系统利用硬件中断服务程序获取所述共享内存中的图像信息，并通过第一多核心CPU提取图像特征数据；

所述数据传输模块123，配置为通过上位机实时系统和高速以太网卡将所述图像特征数据传输至所述指令生成单元210。

2.根据权利要求1所述的多视觉单元反馈实时分布式控制系统，其特征在于，所述图像采集板卡通过PCI插口与上位机连接。

3.根据权利要求2所述的多视觉单元反馈实时分布式控制系统，其特征在于，所述特征提取模块122还包括上位机非实时系统；

所述上位机非实时系统通过所述共享内存与所述上位机实时系统通讯，还用于进行人机交互。

4.根据权利要求3所述的多视觉单元反馈实时分布式控制系统，其特征在于，所述高速以太网卡通过PCI插槽与上位机连接，并与所述上位机实时系统和上位机非实时系统共享所述第一多核心CPU。

5.根据权利要求1所述的多视觉单元反馈实时分布式控制系统，其特征在于，所述指令生成单元210包括特征通讯模块211、状态采集模块212和闭环计算单元213；

所述特征通讯模块211，用于通过高速以太网接口接收图像特征数据；

所述状态采集模块212，用于采集指令执行单元220当前的运行状态信息，并将采集到的运行状态信息转换为对应的位置信号；

所述闭环计算模块213，用于根据所述位置信号、图像的特征数据，通过第二多核心CPU并行计算生成控制指令。

6.根据权利要求1或5所述的多视觉单元反馈实时分布式控制系统，其特征在于，所述指令生成单元210还包括通讯控制模块214；

所述通讯控制模块214，用于将所述控制指令发送到指令执行单元220。

7.一种多视觉单元反馈实时分布式控制方法，其特征在于，基于权利要求1-6任一项所述的多视觉单元反馈实时分布式控制系统，所述方法包括：步骤S10，通过多个视觉设备获取图像信息；

步骤S20，根据获取到的图像信息提取图像特征数据；

步骤S30，根据图像特征数据、执行电机的当前运行状态生成控制指令；

步骤S40，用于执行所述控制指令，完成控制；

其中，所述步骤S20包括步骤S21-步骤S23；

步骤S21，通过图像采集板卡将图像信息采集到共享内存中，在每帧图像信息采集完毕后，图像采集板卡触发上位机硬件中断；所述图像信息不在图像采集板卡上缓存；

步骤S22，通过上位机实时系统利用中断服务程序获取所述共享内存中的图像信息，并通过第一多核心CPU提取图像特征数据；

步骤S23，通过上位机实时系统和高速以太网卡发送所述图像特征数据。

8.根据权利要求7所述的多视觉单元反馈实时分布式控制方法，其特征在于，步骤S30包括：步骤S31，通过高速以太网接口接收图像特征数据；

步骤S32，采集执行电机当前的运行状态信息，并将采集到的运行状态信息转换为对应的位置信号；

步骤S33，根据执行电机的位置信号、图像的特征数据，通过第二多核心CPU并行计算生成控制指令。

9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求7或8所述的多视觉单元反馈实时分布式控制方法。

10.一种处理装置，包括处理器，适于执行各条程序；以及存储装置，适于存储多条程序；其特征在于，所述程序适于由处理器加载并执行以实现：权利要求7或8所述的多视觉单元反馈实时分布式控制方法。

说明书

多视觉单元反馈实时分布式控制系统、方法及装置

技术领域

[0001] 本发明属于控制系统领域，具体涉及一种多视觉单元反馈实时分布式控制系统。

背景技术

[0002] 目前，在工业高速自动化检测、精密光学工程、大型天文装置精密控制、航空航天精密测控等领域中，存在一些应用场景，在这些应用场景中需要利用多个视觉单元(譬如工业相机)对某个对象进行多方位的检测。通过对这些视觉单元检测到图像进行处理，得到感兴趣的图像特征。利用这些图像特征，来对应用场景中相关的执行单元进行反馈控制。随着上述应用领域中需求性能指标的提高，对视觉反馈控制系统提出了越来越高的要求。对于某些视觉反馈控制系统，有如下苛刻要求：1)视觉单元有多个，要求10个及以上；2)闭环控制频率达到了上千赫兹；3)视觉单元与执行单元布置之间的距离较远，在几十米以上。

[0003] 目前，在高速视觉反馈的解决方案中，往往制作嵌入式硬件板卡，通过硬件板卡上的硬件处理单元来进行图像采集、图像处理和系统闭环控制。但是，这种方案难以满足上述三个方面的苛刻要求。具体表现为：1)硬件板卡采集的图像的路数有限，一般是1路、2路、4路或8路；2)当采集图像的路数较多时，采集的实时性、处理的时间较多，满足不了高频率控制的要求；3)为了保证实时性，图像采集单元、图像处理单元和系统闭环控制计算单元往往做成一块板卡或者在空间上距离很近，满足不了视觉单元与执行单元布置之间的距离在几十米及以上的要求的。

发明内容

[0004] 为了解决现有技术中的上述问题，即为了解决硬件板卡采集的图像路数较少，同时进行多路图像采集时采集的实时性差、处理的时间较多，视觉设备和处理设备距离过近的问题，本发明的第一方面提供了多视觉单元反馈实时分布式控制系统，所述控制系统包括多视觉单元采集处理子系统100和闭环计算执行子系统200；

[0005] 所述多视觉单元采集处理子系统100包括高速视觉单元110和图像实时处理单元120；所述高速视觉单元110，用于通过多个视觉设备获取图像信息；所述图像实时处理单元
120，用于根据获取到的图像信息提取图像特征数据；

[0006] 所述闭环计算执行子系统200包括指令生成单元210和指令执行单元220；所述指令生成单元210，用于根据图像特征数据、指令执行单元220的当前运行状态生成控制指令；所述指令执行单元220，用于执行所述控制指令，完成控制；

[0007] 在一些优选的实时方式中，所述图像实时处理单元120包括图像采集模块121、特征提取模块122和数据传输模块123；

[0008] 所述图像采集模块121，配置为通过图像采集板卡将图像信息采集到共享内存中，在每帧图像信息采集完毕后，图像采集板卡触发上位机硬件中断；所述图像信息不在图像采集板卡上缓存；

[0009] 所述特征提取模块122，配置为通过上位机实时系统利用硬件中断服务程序获取所述共享内存中的图像信息，并通过第一多核心CPU提取图像特征数据；

[0010] 所述数据传输模块123，配置为通过上位机实时系统和高速以太网卡将所述图像特征数据传输至所述指令生成单元210。

[0011] 在一些优选的实施方式中，图像采集板卡通过PCI插口与上位机连接。

[0012] 所述上位机非实时系统通过所述共享内存与所述上位机实时系统通讯，还用于进行人机交互。

[0013] 在一些优选的实施方式中，所述高速以太网卡通过PCI插槽与上位机连接，并与所述上位机实时系统和上位机非实时系统共享所述第一多核心CPU。

[0014] 在一些优选的实施方式中，所述指令生成单元210包括特征通讯模块211、状态采集模块212和闭环计算单元213；

[0015] 所述特征通讯模块211，用于通过高速以太网接口接收图像特征数据；

[0016] 所述状态采集模块212，用于采集指令执行单元220当前的运行状态信息，并将采集到的运行状态信息转换为对应的位置信号；

[0017] 所述闭环计算模块213，用于根据所述位置信号、图像的特征数据，通过第二多核心CPU并行计算生成控制指令。

[0018] 在一些优选的实施方式中，所述指令生成单元210还包括通讯控制模块214；

[0019] 所述通讯控制模块214，用于将所述控制指令发送到指令执行单元220。

[0020] 本发明的另一方面，提供了多视觉单元反馈实时分布式控制方法，所述方法包括：

[0021] 步骤S10，通过多个视觉设备获取图像信息；

[0022] 步骤S20，根据获取到的图像信息提取图像特征数据；

[0023] 步骤S30，根据图像特征数据、执行电机的当前运行状态生成控制指令；

[0024] 步骤S40，用于执行所述控制指令，完成控制；

[0025] 其中，所述步骤S20包括步骤S21-步骤S23；

[0026] 步骤S21，通过图像采集板卡将图像信息采集到共享内存中，在每帧图像信息采集完毕后，图像采集板卡触发上位机硬件中断；所述图像信息不在图像采集板卡上缓存；

[0027] 步骤S22，通过上位机实时系统利用中断服务程序获取所述共享内存中的图像信息，并通过第一多核心CPU提取图像特征数据；

[0028] 步骤S23，通过上位机实时系统和高速以太网卡发送所述图像特征数据。

[0029] 在一些优选的实施方式中，步骤S30包括：

[0030] 步骤S31，通过高速以太网接口接收图像特征数据；

[0031] 步骤S32，采集执行电机当前的运行状态信息，并将采集到的运行状态信息转换为对应的位置信号；

[0032] 步骤S33，根据执行电机的位置信号、图像的特征数据，通过第二多核心CPU并行计算生成控制指令。

[0033] 本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并执行以实现上述的多视觉单元反馈实时分布式控制方法。

[0034] 本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的多视觉单元反馈实时分布式控制方法。

[0035] 本发明的有益效果：

[0036] 本发明提出的利用图像采集板卡采集图像信息，并通过PCI插槽将图像采集板卡和上位机进行连接，提高了同时采集图像的路数，可以同时采集多个视觉设备的信息，同时采集的图像获取模块个数取决于PCI插槽数量，具有可拓展性。

[0037] 本发明提出的图像采集板卡直接将图像信息采集到的上位机的共享内存上，图像信息不在图像采集板卡上缓存，在每帧图像采集完成后触发硬件中断，上位机的实时系统即开始读取共享内存中的图像信息进行图像处理，相较于现有技术将图像采集到非实时系统中缩短了从图像采集到图像处理的时间，满足了控制系统高频控制的需求。

[0038] 本发明提出的只将提取的图片特征数据通过以太网进行传输，缩短了从图像采集到指令生成的时间。增加了多视觉处理子系统与闭环计算执行子系统之间可设置的距离。

[0039] 本发明提出的上位机实时系统图像处理与数据传输模块共享多核心CPU，提高了上位机CPU的利用率，减少了从图像采集到发送图像特征数据的时间。

附图说明

[0040] 图1是本发明多视觉单元反馈实时分布式控制系统的组成示意图；

[0041] 图2是本发明多视觉单元反馈实时分布式控制系统第二实施例的流程示意图；

[0042] 图3是本发明多视觉单元反馈实时分布式控制系统第二实施例的实时处理模块的结构示意图；

[0043] 图4是本发明多视觉单元反馈实时分布式控制系统第二实施例的指令生成模块的结构示意图。

具体实施方式

[0044] 下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

[0045] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0046] 本发明提供多视觉单元反馈实时分布式控制系统，本系统增加了视觉单元的个数，同时提高了图像处理的实时性，进一步提高了反馈的实时性，还提高了视觉设备到执行设备的距离。

[0047] 为了更清晰地对本发明基于分析方法进行说明，下面结合图1本发明多视觉单元反馈实时分布式控制系统的组成示意图对本发明第一实施例展开详述。

[0048] 所述控制系统包括多视觉单元采集处理子系统100和闭环计算执行子系统200；

[0049] 所述多视觉单元采集处理子系统100包括高速视觉单元110和图像实时处理单元120；所述高速视觉单元110，用于通过多个视觉设备获取图像信息；所述图像实时处理单元
120，用于根据获取到的图像信息提取图像特征数据；

[0050] 所述闭环计算执行子系统200包括指令生成单元210和指令执行单元220；所述指令生成单元210，用于根据图像特征数据、指令执行单元220的当前运行状态生成控制指令；所述指令执行单元220，用于执行所述控制指令，完成控制。

[0051] 为了更清晰地对本发明基于分析方法进行说明，下面结合图2本发明多视觉单元反馈实时分布式控制系统的第二实施例流程示意图展开详述。

[0052] 本发明的多视觉单元反馈实时分布式控制系统包括多视觉单元采集处理子系统100和闭环计算执行子系统200；

[0053] 所述视觉单元采集处理子系统100包括高速视觉单元110和图图像实时处理单元120；

[0054] 闭环计算执行子系统200包括指令生成单元210和指令执行单元220；

[0055] 一个视觉单元采集处理子系统100可与多个闭环计算执行子系统200相连；每个图像实时处理单元120可与多个高速视觉单元110相连；每个指令生成单元210可与多个指令执行单元220相连。

[0056] 所述高速视觉单元110，用于通过多个视觉设备获取图像信息；

[0057] 优选的，高速视觉单元110可通过多个高频率图像采集相机实现，进一步地，可选用采集频率500Hz以上的相机。

[0058] 所述图像实时处理单元120，用于根据获取到的图像信息提取图像特征数据，如图3所示，优选的，图像实时处理单元120由具有多核心CPU的上位机、多个PCI插槽、多个图像采集板卡和多个高速以太网卡组成；

[0059] 所述上位机可以通过工业控制计算机或台式工作站实现；

[0060] 所述上位机具有实时系统和非实时系统；

[0061] 所述上位机有多个PCI插槽，每个PCI插槽对应一个图像采集板卡或一个高速以太网卡；

[0062] 所述上位机具有多个CPU核心，分配给实时系统和非实时系统使用，实时系统和数据传输模块共享CPU；

[0063] 所述实时系统至少分配2个CPU核心，在一些典型的实施例中，非实时系统采用的是Windows，实时系统采用的是RTX；如图3所示，为上位机非实时系统分配了p个CPU核心(p不小于1)，为上位机实时系统分配了q个CPU核心(q不小于2)。当然，相关专业人员易知，所分配的CPU核心数越多，对于提高计算力和实时性越有帮助。将所分配的CPU核心中的一个CPU核心作为通讯专用，图3中所示分配的是CPU core_q，让其负责通过高速以太网卡的以太网通讯。其余的CPU核心(CPU core_1～CPU core_q-1)用来处理图像信息。在另一些实施例中，图像特征数据传输与图像特征提取共享CPU核心。

[0064] 图像采集模块121，通过图像采集板卡实现，用于将获取的图像信息采集到上位机的共享内存中，图像信息不在图像采集板卡上缓存；现有技术通常通过图像采集板卡将图像信息采集到的上位机的非实时系统中，本发明缩短了从图像采集到图像处理所用的时间，提高了系统的实时性，满足了控制系统进行高频率控制的需求；

[0065] 在一些优选的实施方式中，图像采集板卡与视觉单元之间的通讯接口为Camera Link、CameraLink HS、CoaXPress中的任一种。

[0066] 在每帧图像信息采集完毕后，图像采集板卡触发上位机硬件中断；

[0067] 所述图像采集板卡通过PCI插槽与上位机连接。

[0068] 优选的，PCI插槽采用的接口和协议可以是PCI、PCIX、PCIE、CPCI，在一些优化的实施例中，PCI插槽采用的是PCIE总线及协议。

[0069] 特征提取模块122，通过所述实时系统读取共享内存中的图像信息，通过硬件中断服务程序对共享内存中的图像信息进行处理，利用第一多核心CPU提取共享内存中的图像信息的图像特征数据；现有技术通常通过图像采集板卡将图像信息采集到的上位机的非实时系统中，先在非实时系统中缓存再通过实时系统读取进行处理，本发明直接将图像信息采集到的上位机实时系统的共享内存中并处罚中断使实时系统立即进行处理，图像信息不是在图像采集板卡中先缓存再存入共享内存；减少了从图像采集到图像处理的时间，提高了系统的实时性，满足了控制系统高频控制的需求。

[0070] 上位机的非实时系统通过共享内存与实时系统通讯，并用于进行人机交互。

[0071] 数据传输模块123通过上位机实时系统和高速以太网卡实现，用于将提取的图像特征数据传输至指令生成单元210；

[0072] 所述高速以太网卡通过PCI插槽与上位机连接，与上位机实时系统和非实时系统共享第一多核心CPU，充分利用了上位机的CPU核心，提高了图像处理及数据传输的速度，使控制系统更具有实时性。

[0073] 优选的，高速以太网卡与特征通讯模块211可采用UDP协议。

[0074] 所述指令生成单元210用于根据图像特征数据、当前运行状态及其他的配置信息计算指令数据；

[0075] 优选的，如图4所示，所述指令生成单元210可通过一个包含多核心CPU的嵌入式板卡实现，进一步地，分配1个CPU核心用于特征通讯模块211，其他核心分配用于状态采集模块212和闭环计算模块213。

[0076] 特征通讯模块211，用于通过高速以太网接口接收图像特征数据；

[0077] 优选的，多视觉单元采集处理子系统100与闭环计算执行子系统200之间可以采用普通网线相连，也可以经过光电转换模块后，通过光纤相连，以达到长距离传输的目的，使传输距离可以达到上千米，传输距离取决于网线或光纤的长度。

[0078] 状态采集模块212，用于采集指令执行单元220当前的运行状态信息，并将采集到的运行状态信息转换为对应的位置信号，并发送给闭环计算模块213；

[0079] 通过嵌入式板卡中的状态反馈接口采集指令执行单元220当前的运行状态信息，并将采集到的状态信息转换为对应的物理量，比如由AD的电压信号转化为位置信号。

[0080] 闭环计算模块213，用于根据指令执行单元220的位置信号、图像的特征数据和其他配置信息，通过第二多核心CPU并行计算指令数据。

[0081] 所述其他配置信息包括控制器参数等；

[0082] 优选的，所述闭环计算模块213中涉及到的闭环控制器一般采用常规PID控制器，也可以根据系统模型采用优化的PID控制器或更先进的控制器。

[0083] 通讯控制模块214，用于将所述指令数据发送到指令执行单元220；

[0084] 通过嵌入式板卡中的指令接口将指令数据发送到指令执行单元220。

[0085] 在一些优选的实施方式中，指令生成单元210嵌入式板卡中的状态反馈接口采用AD转换器，指令接口采用DA转换器。当然，并不局限于AD、DA等模拟量接口，也可以是一些数字量接口。

[0086] 本发明的另一方面，提出了多视觉单元反馈实时分布式控制方法，所述方法包括：

[0087] 步骤S10，通过多个视觉设备获取图像信息；

[0088] 步骤S20，根据获取到的图像信息提取图像特征数据；

[0089] 步骤S30，根据图像特征数据、执行电机的当前运行状态生成控制指令；

[0090] 步骤S40，用于执行所述控制指令，完成控制；

[0091] 其中，所述步骤S20包括步骤S21-步骤S23；

[0092] 步骤S21，通过图像采集板卡将图像信息采集到共享内存中，在每帧图像信息采集完毕后，图像采集板卡触发上位机硬件中断；所述图像信息不在图像采集板卡上缓存；缩短了从图像采集到图像处理的时间，提高了系统的实时性，满足了控制系统高频率控制的要求。

[0093] 步骤S22，通过上位机实时系统利用中断服务程序获取所述共享内存中的图像信息，并通过第一多核心CPU提取图像特征数据；

[0094] 步骤S23，通过上位机实时系统和高速以太网卡发送所述图像特征数据。

[0095] 在一些优选的实施方式中，步骤S30包括：

[0096] 步骤S31，通过高速以太网接口接收图像特征数据；

[0097] 步骤S32，采集执行电机当前的运行状态信息，并将采集到的运行状态信息转换为对应的位置信号；

[0098] 步骤S33，根据执行电机的位置信号、图像的特征数据，通过第二多核心CPU并行计算生成控制指令。

[0099] 所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的方法的具体工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。

[0100] 需要说明的是，上述实施例提供的多视觉单元反馈实时分布式控制系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。

[0101] 本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的多视觉单元反馈实时分布式控制系统。

[0102] 本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的多视觉单元反馈实时分布式控制系统。

[0103] 所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0104] 本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

[0105] 术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

[0106] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。