本发明涉及数据采集技术领域，具体涉及一种基于流处理技术的生产数据采集方法及系统，首先通过车间生产数据采集层和车间检测数据采集层采集相关数据信息，将产品相关的生产信息、检测、维修数据先进行存储，供MES系统进行读取和图形化显示，然后通过运行数据处理层对数据流进行实时处理，最后将生产车间现场状态与运行数据处理结果显示到采集数据应用层；本发明方法更适用于当前实际车间应用情况，能够在不影响实际生产的情况下，实时进行生产防错、数据采集等操作；设备采集的车间生产现场装配信息、测试信息、包装信息以及维修信息，可以直接从已有的数据系统中获取，获取方法简单，提高了本发明方法的可操作性。
1.一种基于流处理技术的生产数据采集方法，其特征在于：包括以下步骤：S1：通过车间生产数据采集层获取产品生产过程中的各种信息，实现实时的在线采集，通过车间检测数据采集层实现对车间产品的监测，为区分产品是否合格部分提供必要的参考标准，同时提供生产车间的重要组成部分的相关数据；
S2：利用车间生产数据采集层和车间检测数据采集层采集的检测数据，将产品相关的生产信息、检测、维修数据先进行存储，供MES系统进行读取和图形化显示，利用条码和图形检测技术，对产品信息自动化检索和查看，并通过视觉传感技术对产品加工过程质量进行判别，判断加工产品、包装和检测质量是否合格；
S4：将生产车间现场状态与运行数据处理结果显示到采集数据应用层；
所述步骤S3中的所述实时处理具体包括以下步骤：步骤一：通过分布式消息队列获取运行数据流；
步骤三：结合具体的运行数据监测需求，分别定义拆分后的数据流处理的操作；
步骤四：对每类数据流进行单独处理，以得到不同处理的中间结果；
步骤五：定义中间计算结果的汇总策略，完成运行数据流处理结果的汇总和聚合；
步骤三中所述数据流处理的操作包括数据统计、数据异常检测、稼动率分析；所述步骤五中所述汇总策略包括按字段分组，全局分组。
2.根据权利要求1所述的一种基于流处理技术的生产数据采集方法，其特征在于：所述采集数据应用层包括服务器端和网页端，用户可通过网页点击向服务器端发送请求，服务器根据不同的请求做出相应的响应，通过查询数据库并返回查询结果，来获取步骤S4中所述现场状态与运行数据处理结果信息。
3.一种基于上述权利要求1或2中所述的基于流处理技术的生产数据采集方法的生产数据采集系统，包括车间生产数据采集层、车间检测数据采集层、车间运行数据存储、运行数据处理层和采集数据应用层，其特征在于：所述车间生产数据采集层是通过传感器技术、视觉检测技术对生产现场所所涉及的信息数据进行识别和实时采集，所述车间检测数据采集层是通过条码读写器以及嵌入式采集终端，自动识别信息载体，然后再通过系统内部解析系统，将获取的数据信息传送至指定数据库，所述车间运行数据存储是使用基于传统数据库、实时数据库并用的集成存储模式实现生产车间现场运行数据的存储，所述运行数据处理层采用数据流处理方法，流处理层这种基于开源的大数据流处理技术能实现生产车间现场运行数据流的实时处理，完成生产车间现场数据预处理、数据统计与异常监测和设备稼动率，实现生产车间现场监测，所述采集数据应用层是完成生产车间现场状态与运行数据处理结果的可视化显示。
4.根据权利要求3所述的生产数据采集系统，其特征在于：所述车间生产数据采集层具体是实现对于产品物料的追踪和定位，通过扫描条形码方式获取产品生产过程中的各种信息，实现实时的在线采集，包括上料、加工、测试过程中产品所具有的的所属产线数据信息。
5.根据权利要求3所述的生产数据采集系统，其特征在于：所述车间检测数据采集层具体主要实现对车间产品的监测，可用于在区分产品是否合格部分提供必要的参考标准，比如产品单体温度、焊接形貌数据，贯穿于整个产品的组装和测试模块，用于提取生产车间的重要组成部分的相关数据。
6.根据权利要求3所述的生产数据采集系统，其特征在于：所述运行数据处理层包括消息队列、Storm集群、Redis数据库和SqlServer数据库，所述消息队列、Storm集群和Redis数据库之间数据是依次传递的，所述SqlServer数据库是单独进行存储和传递的，并且与消息队列、Storm集群和Redis数据库是并列关系。
7.根据权利要求3所述的生产数据采集系统，其特征在于：所述车间生产数据采集层和车间检测数据采集层根据车间生产现场不同的数据来源，分别采取自动识别技术、传感器技术、PLC通信技术手段对车间生产现场数据进行采集。
8.根据权利要求3所述的生产数据采集系统，其特征在于：所述采集数据应用层是通过加载数据采集软件写的一个应用层设计功能模块，主要包括采集模块、存储模块和数据预处理与流处理模块。
9.根据权利要求3所述的生产数据采集系统，其特征在于：所述采集数据应用层包括服务器端和网页端，服务器端用于处理处理复杂的数据计算和业务逻辑，网页端用于实现运行与处理数据的可视化，服务器端将处理好的数据传送到网页端进行显示。
一种基于流处理技术的生产数据采集方法及系统
技术领域
[0001] 本发明涉及数据采集技术领域，具体涉及一种基于流处理技术的生产数据采集方法及系统。
背景技术
[0002] 工业制造业随着中国经济发展快速崛起，其制造能力的发展直接影响国家经济发展和社会进步。由于生产车间现场环境的复杂性和产品信息的多样性，导致了企业对资源
配置的不合理，造成材料浪费和经济损失。
[0003] 近年来，随着传感检测技术的发展和物联网设备的普及，车间生产现场运行数据呈现“指数级”的上升，对于车间现场来讲，导致监测系统实时性低，可扩展性不高，容易出
现延时甚至奔溃，数据总量和价值随时间的推移迅速增加和流失，挖掘其价值超出了传统
数据处理的计算能力，无法满足对车间生产的实时监测管理需求，给现有基于生产车间现
场运行数据的异常状态监测系统带来海量运行数据流实时处理、海量数据存储、数据实时
可视化分析等挑战。
[0004] 基于此，本发明设计了一种基于流处理技术的生产数据采集方法及系统，以解决上述问题。
发明内容
[0005] 本发明的目的在于提供一种基于流处理技术的生产数据采集方法及系统，以解决上述背景技术中提出的问题。
[0006] 为实现上述目的，本发明提供如下技术方案：一种基于流处理技术的生产数据采集方法，包括以下步骤：
[0007] S1：通过车间生产数据采集层获取产品生产过程中的各种信息，实现实时的在线采集，通过车间检测数据采集层实现对车间产品的监测，为区分产品是否合格部分提供必
要的参考标准，同时提供生产车间的重要组成部分的相关数据；
[0008] S2：利用车间生产数据采集层和车间检测数据采集层采集的检测数据，将产品相关的生产信息、检测、维修数据先进行存储，供MES系统进行读取和图形化显示，利用条码和
图形检测技术，对产品信息自动化检索和查看，并通过视觉传感技术对产品加工过程质量
进行判别，判断加工产品、包装和检测质量是否合格；
[0009] S3：通过运行数据处理层对数据流进行实时处理；
[0010] S4：将生产车间现场状态与运行数据处理结果显示到采集数据应用层。
[0011] 优选的，步骤S3中的实时处理具体包括以下步骤：
[0012] 步骤一：通过分布式消息队列获取运行数据流；
[0013] 步骤二：通过KafkaSpout对数据进行拆分；
[0014] 步骤三：结合具体的运行数据监测需求，分别定义拆分后的数据流处理的操作；
[0015] 步骤四：对每类数据流进行单独处理，以得到不同处理的中间结果；
[0016] 步骤五：定义中间计算结果的汇总策略，完成运行数据流处理结果的汇总和聚合；
[0017] 优选的，采集数据应用层包括服务器端和网页端，用户可通过网页点击向服务器端发送请求，服务器根据不同的请求做出相应的响应，通过查询数据库并返回查询结果，来
获取步骤S4中现场状态与运行数据处理结果信息。
[0018] 优选的，步骤三中数据流处理的操作包括数据统计、数据异常检测、稼动率分析。
[0019] 优选的，步骤五中汇总策略包括按字段分组，全局分组。
[0020] 一种基于流处理技术的生产数据采集系统，包括车间生产数据采集层、车间检测数据采集层、车间运行数据存储、运行数据处理层和采集数据应用层，车间生产数据采集层
是通过传感器技术、视觉检测技术对生产现场所所涉及的信息数据进行识别和实时采集，
车间检测数据采集层是通过条码读写器以及嵌入式采集终端，自动识别信息载体，然后再
通过系统内部解析系统，将获取的数据信息传送至指定数据库，车间运行数据存储是使用
基于传统数据库、实时数据库并用的集成存储模式实现生产车间现场运行数据的存储，运
行数据处理层采用数据流处理方法，流处理层这种基于开源的大数据流处理技术能实现生
产车间现场运行数据流的实时处理，完成生产车间现场数据预处理、数据统计与异常监测
和设备稼动率，实现生产车间现场监测，采集数据应用层是完成生产车间现场状态与运行
数据处理结果的可视化显示。
[0021] 优选的，车间生产数据采集层具体是实现对于产品物料的追踪和定位，通过扫描条形码方式获取产品生产过程中的各种信息，实现实时的在线采集，包括上料、加工、测试
过程中产品所具有的的所属产线数据信息。
[0022] 优选的，车间检测数据采集层具体主要实现对车间产品的监测，可用于在区分产品是否合格部分提供必要的参考标准，比如产品单体温度、焊接形貌数据，贯穿于整个产品
的组装和测试模块，用于提取生产车间的重要组成部分的相关数据。
[0023] 优选的，运行数据处理层包括消息队列、Storm集群、Redis数据库和SqlServer数据库，消息队列、Storm集群和Redis数据库之间数据是依次传递的，SqlServer数据库是单
独进行存储和传递的，并且与消息队列、Storm集群和Redis数据库是并列关系。
[0024] 优选的，车间生产数据采集层和车间检测数据采集层根据车间生产现场不同的数据来源，分别采取自动识别技术、传感器技术、PLC通信技术手段对车间生产现场数据进行
采集。
[0025] 优选的，采集数据应用层是通过加载数据采集软件写的一个应用层设计功能模块，主要包括采集模块、存储模块和数据预处理与流处理模块。
[0026] 优选的，采集数据应用层包括服务器端和网页端，服务器端用于处理处理复杂的数据计算和业务逻辑，网页端用于实现运行与处理数据的可视化，服务器端将处理好的数
据传送到网页端进行显示。
[0027] 与现有技术相比，本发明的有益效果是：
[0028] 1、针对生产车间现场环境复杂和设备加工信息的多样性，本发明提供了一种基于流处理技术的生产数据采集方法及系统，能够适用于数据流的采集、处理、存储、分析和可
视化。
[0029] 2、在本发明中，利用生产线检测仪器获取生产过程中的多种状态和加工信息，以此为基础实现对生产过程有效控制和管理。本发明方法更适用于当前实际车间应用情况，
能够在不影响实际生产的情况下，实时进行生产防错、数据采集等操作。
[0030] 3、在本发明中，提出了一种基于数据流处理技术的运行数据实时处理方法，用于生产车间现场信息实时处理和设备异常状态信息、设备稼动率的在线分析判断。
[0031] 4、在本发明中，基于一种基于流处理技术的生产数据采集方法及系统，能够用于生产过程中不良产品的维修判定及处理，用于产品的OQC检验操作，包含批次的生成、抽检
操作及最终结果的判定，提高了本发明的实用性。
[0032] 5、本发明方法中采集的车间生产现场装配信息、测试信息、包装信息以及维修信息，可以直接从已有的数据系统中获取，获取方法简单，提高了本发明方法的可操作性。
[0033] 6、本发明方法的应用对象为复杂的车间生产现场，车间产品流程具有较高的共性，因此，本发明具有较好的通用性。
附图说明
[0034] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领
域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图。
[0035] 图1为本发明生产数据采集系统的架构图；
[0036] 图2为本发明车间现场数据示例图；
[0037] 图3为本发明车间设备运行数据流处理层的架构图；
[0038] 图4为本发明车间设备运行数据流处理的拓扑图；
[0039] 图5为本发明采集数据应用层的架构图。
具体实施方式
[0040] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于
本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它
实施例，都属于本发明保护的范围。
[0041] 请参阅图1‑5，本发明提供一种技术方案：一种基于流处理技术的生产数据采集方法，包括以下步骤：
[0042] S1：通过车间生产数据采集层获取产品生产过程中的各种信息，实现实时的在线采集，通过车间检测数据采集层实现对车间产品的监测，为区分产品是否合格部分提供必
要的参考标准，同时提供生产车间的重要组成部分的相关数据；
[0043] S2：利用车间生产数据采集层和车间检测数据采集层采集的检测数据，将产品相关的生产信息、检测、维修数据先进行存储，供MES系统进行读取和图形化显示，利用条码和
图形检测技术，对产品信息自动化检索和查看，并通过视觉传感技术对产品加工过程质量
进行判别，判断加工产品、包装和检测质量是否合格；
[0044] S3：通过运行数据处理层对数据流进行实时处理，具体包括以下步骤：
[0045] 步骤一：通过分布式消息队列获取运行数据流；
[0046] 步骤二：通过KafkaSpout对数据进行拆分；
[0047] 步骤三：结合具体的运行数据监测需求，分别定义拆分后的数据流处理的操作，如数据统计、数据异常检测、稼动率分析等；
[0048] 步骤四：对每类数据流进行单独处理，以得到不同处理的中间结果；
[0049] 步骤五：定义中间计算结果的汇总策略，如按字段分组，全局分组等，完成运行数据流处理结果的汇总和聚合；
[0050] S4：将生产车间现场状态与运行数据处理结果显示到采集数据应用层。
[0051] 用户可通过浏览器点击向服务器端发送请求，服务器根据不同的请求做出相应的响应，通过查询数据库并返回查询结果，来获取步骤S4中现场状态与运行数据处理结果等
信息。
[0052] 传统数据处理方式为“先存储再计算”，在该车间生产数据采集系统中，将传统数据存储方案与流处理存储方案进行集成设计，流处理先采用消息队列将实时数据接入到流
处理集群架构中，实现对产品运行数据的实时处理，提高了数据处理实时性，并将两种方式
数据进行集成，统一管理，降低多系统的成本和后期运维费用。
[0053] 一种基于流处理技术的生产数据采集系统，包括车间生产数据采集层、车间检测数据采集层、车间运行数据存储、运行数据处理层和采集数据应用层，车间生产数据采集层
是通过传感器技术、视觉检测技术对生产现场所所涉及的信息数据进行识别和实时采集，
具体是实现对于产品物料的追踪和定位，通过扫描条形码等方式获取产品生产过程中的各
种信息，实现实时的在线采集，包括上料、加工、测试等过程中产品所具有的的所属产线等
数据信息；
[0054] 车间检测数据采集层是通过条码读写器以及嵌入式采集终端，自动识别信息载体，然后再通过系统内部解析系统，将获取的数据信息传送至指定数据库，具体主要实现对
车间产品的监测，可用于在区分产品是否合格部分提供必要的参考标准，比如产品单体温
度、焊接形貌等数据，贯穿于整个产品的组装和测试模块，用于提取生产车间的重要组成部
分的相关数据；
[0055] 车间生产数据采集层和车间检测数据采集层根据车间生产现场不同的数据来源，分别采取自动识别技术、传感器技术、PLC通信技术等手段对车间生产现场数据进行采集。
[0056] 车间运行数据存储是使用基于传统数据库、实时数据库并用的集成存储模式实现生产车间现场运行数据的存储；
[0057] 运行数据处理层包括消息队列、Storm集群、Redis数据库和SqlServer数据库，消息队列、Storm集群和Redis数据库之间数据是依次传递的，SqlServer数据库是单独进行存
储和传递的，并且与消息队列、Storm集群和Redis数据库是并列关系，采用的是数据流处理
方法，流处理层这种基于开源的大数据流处理技术能实现生产车间现场运行数据流的实时
处理，完成生产车间现场数据预处理、数据统计与异常监测和设备稼动率等，实现生产车间
现场监测；
[0058] 采集数据应用层是通过加载数据采集软件写的一个应用层设计功能模块，主要包括采集模块、存储模块和数据预处理与流处理模块。还可分为服务器端和网页端，服务器端
用于处理处理复杂的数据计算和业务逻辑，网页端用于实现运行与处理数据的可视化，服
务器端将处理好的数据传送到网页端进行显示。
[0059] 在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施
例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合
适的方式结合。
[0060] 以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作
很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原
理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权
利要求书及其全部范围和等效物的限制。
