本发明公开了一种基于数据帧格式优化和数据压缩的无线数据采集系统，由现场上位机、远程上位机、多个无线传感设备、Wi‑Fi路由器、私有云数据库组成；现场上位机处理用户输入的各类数据帧格式和压缩信息，得到每个无线传感设备的最优数据帧格式和数据压缩方案；无线传感设备按照对应的最优数据帧格式和数据压缩方案，采集、压缩和打包数据，进而传输至私有云数据库或者现场上位机；远程上位机可远程连接私有云数据库获取特定实验名称的历史数据，最终进行数据解压缩和使用。本发明实现了方便的数据采集和管理；并利用工业时序数据的稳定性和时序性，实现Wi‑Fi网络数据帧格式优化和数据压缩，大大提高了数据帧利用率，减轻网络带宽和存储空间的压力。
一种基于数据帧格式优化和数据压缩的无线数据采集系统
技术领域
[0001] 本发明涉及测控领域，具体涉及一种基于数据帧格式优化和数据压缩的无线数据采集系统。
背景技术
[0002] 随着制造产业和信息产业的发展，工业现场设备急剧增加，传统的有线数据采集系统面临着布线量越来越大，部署和维修越来越困难；工业规模越来越大，数据采集设备分布越来越广，对数据集中化需求越来越高的问题。Wi-Fi网络具备成本低，带宽高，无线通信等特性，可以较好解决传统有线数据采集系统部署和维修困难的问题；无线传感设备可通过Wi-Fi网络连接互联网，将数据发送至云端，实现了广域数据采集设备的数据集中化。
[0003] 同时工业现场数据具备以下特点：1)海量性，数据无时无刻产生，并不断增加存储和管理压力；2)多样性，工业现场设备和数据种类多，每个数据通道采样速率差异大，有的达到分钟级，有的达到亚毫秒级；3)稳定性，通道数据变化率不高，突变几率小；4)时序性，每个数据都要带有时间戳。目前国内外提出的压缩算法大多针对大型数据包，对于Wi-Fi网络数据帧类似的小型实时数据帧压缩效果不佳；国内外提出的针对工业现场数据的压缩算法多利用稳定性和时序性，但未考虑工业现场数据的多样性特点和Wi-Fi网络的特点，即1)数据分帧发送；2)较高丢包率，造成了无法使用到Wi-Fi无线通信中。
[0004] 综上所述，本发明最终解决以下问题：1)传统有线数据采集系统的部署和维修困难；2)数据采集设备分布广，需要实现数据集中化；3)一种适用于Wi-Fi无线通信的工业现场数据帧格式优化和数据压缩方法；4)Wi-Fi数据帧分帧发送，数据采集到发送存在较大时延，需要提高数据实时性。
发明内容
[0005] 本发明提出了一种基于数据帧格式优化和数据压缩的无线数据采集系统；本发明可以实现无线传感设备的快速部署和维护，传感数据的集中化管理，以及高效地优化数据帧格式并进行数据压缩。
[0006] 本发明采用的技术方案如下：一种基于数据帧格式优化和数据压缩的无线数据采集系统，主要由现场上位机、远程上位机、多个无线传感设备、Wi-Fi路由器、私有云数据库组成，无线传感设备和现场上位机接入Wi-Fi路由器网络进行通信，无线传感设备通过Wi-Fi路由器与私有云数据库通信，远程上位机通过互联网连接私有云数据库进行通信；该系统运行步骤包括：
[0007] 步骤1，所述现场上位机输入实验名称、每个无线传感设备的系统时间最小单位，即系统时间每增加1所需要的实际时长(下述各类时间均以此为单位)、每个无线传感设备的数据帧字节长度L、每个无线传感设备的数据帧最长发送间隔、多个无线传感设备的最大编号、每个无线传感设备的数据通道数目N、第i个通道数据的位数Di、相邻最大变化量Ci及采样周期Ti，i最大值N，最小值1；
[0008] 步骤2，所述现场上位机通过Wi-Fi路由器向所述私有云数据库注册所述实验名称，并获取当前未被其他实验使用的唯一实验编号；
[0009] 步骤3，所述现场上位机确定数据帧格式，包括：根据所述每个无线传感设备的系统时间最小单位计算存储数据帧时间戳所需的最小位数B1，计算存储步骤2获得的实验编号所需的最小位数B2，计算存储所述数据帧字节长度所需的最小位数B3，根据多个无线传感设备的最大编号计算存储无线传感设备编号所需的最小位数B4，根据所述每个无线传感设备的数据通道数目计算存储数据通道编号所需的最小位数B5，根据所述每个无线传感设备的数据帧最长发送间隔，计算以所述数据帧时间戳为基准的每个数据的采集时间增量所需的最小位数B6；
[0010] 步骤4，所述现场上位机以枚举法列举每个无线传感设备的N个通道是否使用压缩方法的2N种数据压缩方案，并模拟时间演化过程，演化至M个数据帧后结束，并得到M个数据帧中所有数据个数Z，选取每个无线传感设备的数据帧利用率 最高时对应的数据压缩方案；
[0011] 步骤5，所述现场上位机通过Wi-Fi路由器将所述实验名称、实验编号、数据帧格式、数据压缩方案发送至对应的无线传感设备和私有云数据库存储和使用；
[0012] 步骤6，所述无线传感设备根据接收的数据帧格式和压缩方案，通过Wi-Fi路由器将经过格式优化和数据压缩的数据帧发送至私有云数据库或者现场上位机；
[0013] 步骤7，所述现场上位机停止无线传感设备数据采集，并注销本次实验对应的私有云数据库中的实验编号；
[0014] 步骤8，所述远程上位机可以通过连接私有云数据库获取历史数据和所述实验编号、数据帧格式、数据压缩方案等参数，最后进行解压缩和数据使用。
[0015] 进一步地，所述数据帧分为帧头部分和数据部分；所述数据帧帧头部分包括B1位数据帧时间戳、B2位实验编号(TID)、B3位数据帧字节长度(DFL)、B4位无线传感设备编号(NID)；所述数据帧时间戳包括年(YYYY)、月(MM)、日(DD)和计时值(TC)，所述年占用14位，最大记录16384年，所述月占用4位，所述日占用5位，所述计时值占用位数(B1-23)，支持最大计时时间不小于24小时；
[0016] 所述数据帧数据部分每个数据都以2位压缩信息(F)、B5位数据通道编号(DID)、B6位数据采集时间增量(TINC)起始，后面跟随压缩数据或者非压缩数据：①压缩数据，该数据帧第一次加入该通道数据时，F为2，所述压缩数据包括所述压缩方法的数据预测增量(DINC1)、上一个数据数值(CD)，和数据校正量(DINC2)，非第一次加入该通道数据时，F为1，所述压缩数据只包括数据校正量(DINC2)；②非压缩数据，F为0，只包含完整数据。
[0017] 进一步地，步骤2所述唯一实验编号由所述私有云数据库的实验编号管理变量管理；在所述现场上位机注册实验名称时，实验编号管理变量自动加1(超过实验编号最大值则实验编号管理变量变为0)，并校验是否正在被其他实验使用，如果未被其他实验使用，则注册实验名称和对应实验编号并下发至所述上位机，如果正被其他实验使用，则重复上述操作，直至找到可利用的实验编号，若寻找超时，则将超时信息下发至所述上位机；如果现场上位机发送停止命令或者私有云数据库长时间未收到实验数据，则会注销实验编号，后面可被其他实验使用。
[0018] 进一步地，步骤3所述最小位数计算过程包括，首先获取存储对象的最大数值；然后所述最大数值按位右移K次使得结果等于0；最后将K作为最小位数。
[0019] 进一步地，步骤4所述压缩方法分为计算校正量DINC2和更新数据预测增量DINC1两步，
[0020]
[0021]
[0022] α表示DINC1的更新速率，范围为(0,1]；j表示第i个数据通道的第j次压缩；初始化DINC10和CD0为0；DINC1和DINC2均不超过所述对应第i个通道的数据的相邻最大变化量Ci。
[0023] 进一步地，步骤4所述模拟时间演化过程表示所述现场上位机计时器向上计时，每次计时操作后，进行以下步骤，直至模拟完成M个数据帧，同时记录M个数据帧中所有数据个数Z：
[0024] 步骤1，根据每个数据通道的采样周期，判断是否有新数据加入；
[0025] 步骤2，如果有数据加入，则判断数据帧数据部分可用空间(可用空间表示数据帧字节长度除去数据帧的帧头部分和已存储的数据)是否可容纳该数据；否则进行步骤4；
[0026] 步骤3，如果数据帧数据部分可用空间可容纳该数据，则数据帧数据部分可用空间长度减去该数据所占用的数据长度：对于压缩的数据，第一次加入该数据时，长度为2+B5+B6+2Ci+Di，非第一次加入该数据时，长度为2+B5+B6+Ci，对于不压缩的数据，长度为2+B5+B6+Di；如果数据帧数据部分可用空间不可容纳该通道数据，创建一个新的数据帧，重复步骤3；
[0027] 步骤4，判断数据帧超过所述数据帧最长发送间隔，则创建新的数据帧。
[0028] 进一步地，步骤8所述解压缩步骤包括：
[0029] 步骤1，判断压缩信息F数值，如果等于2，则进行以下所有步骤；如果等于1，则跳过步骤2；如果等于0，则不需要解压缩数据，跳过步骤2和3。
[0030] 步骤2，解析得到所述压缩方法的数据预测增量(DINC1)和上一个数据数值(CD)，以此初始化DINC1j-1和CDj-1；
[0031] 步骤3，解析得到数据校正量DINC2j，利用公式得到解压缩数据CDj，并更新DINC1j，[0032] CDj＝DINC2j+DINC1j-1+CDj-1
[0033] DINC1j＝DINC1j-1+α·DINC2j
[0034] 本发明的有益效果是：1)本发明采用无线数据传输方式，解决了传统有线数据采集系统的部署和维修困难问题；2)本发明通过将无线数据采集设备的数据上传至私有云数据库，实现数据集中化；3)本发明公开了一种适用于Wi-Fi无线通信的工业现场数据帧格式优化和数据压缩方法，提高了用于传输工业现场数据的数据帧利用率，适用于Wi-Fi无线通信等具备数据分帧发送、有较高丢包率特点的通信方式；4)本发明的无线传感设备将通道数据按照时序加入同一个Wi-Fi数据帧，加快单个时间帧的发送速率，进而提高数据实时性。
附图说明
[0035] 图1是本发明的无线数据采集系统架构；
[0036] 图2是本发明的运行流程图；
[0037] 图3是Wi-Fi无线通信数据帧格式；
[0038] 图4是私有云数据库注册实验名称和生成实验编号的流程图；
[0039] 图5是现场上位机得到数据帧格式的流程图；
[0040] 图6是现场上位机得到数据帧利用率最高的压缩方案的流程图；
[0041] 图7是现场上位机进行模拟时间演化的流程图；
[0042] 图8是无线传感设备数据帧加入数据的流程图；
[0043] 图9是上位机获取、解压缩和处理数据的流程图。
具体实施方式
[0044] 下面结合附图对本发明作进一步的说明。
[0045] 如图1所示，本发明具体实施给出的一种基于数据帧格式优化和数据压缩的无线数据采集系统，主要由现场上位机、远程上位机、多个无线传感设备、Wi-Fi路由器、私有云数据库组成，无线传感设备和上位机接入Wi-Fi路由器网络进行通信，私有云数据库通过Wi-Fi路由器与无线传感设备和现场上位机通讯，远程上位机通过互联网连接私有云数据库进行通信。称直接通过Wi-Fi路由器和无线传感设备通信并实现实验参数配置的上位机为现场上位机，称通过互联网连接私有云数据库，并实现远程数据获取功能的上位机为远程上位机。
[0046] 如图2所示，本发明的运行步骤包括：
[0047] 步骤101，所述现场上位机输入各类参数，包括实验名称、每个无线传感设备的系统时间最小单位，即系统时间每增加1所需要的实际时长(下述各类时间均以此为单位)、每个无线传感设备的数据帧字节长度L、每个无线传感设备的数据帧最长发送间隔、多个无线传感设备的最大编号、每个无线传感设备的数据通道数目N、第i个通道数据的位数Di、相邻最大变化量Ci及采样周期Ti，i最大值N，最小值1；
[0048] 步骤102，所述现场上位机请求私有云数据库注册实验名称；
[0049] 步骤103，私有云数据库验证实验名称未重复，即查询数据库中是否有该实验名称的实验，并生成唯一实验编号下发至所述现场上位机；
[0050] 步骤104，所述现场上位机计算数据帧各部分的位数，即得到数据帧格式：根据所述每个无线传感设备的系统时间最小单位计算存储数据帧时间戳所需的最小位数B1，计算存储步骤2获得的实验编号所需的最小位数B2，计算存储所述数据帧字节长度所需的最小位数B3，根据多个无线传感设备的最大编号计算存储无线传感设备编号所需的最小位数B4，根据所述每个无线传感设备的数据通道数目计算存储数据通道编号所需的最小位数B5，根据所述每个无线传感设备的数据帧最长发送间隔，计算以所述数据帧时间戳为基准的每个数据的采集时间增量所需的最小位数B6；
[0051] 步骤105，所述现场上位机以枚举法列举每个无线传感设备的N个通道是否使用压缩方法的2N种方案，如N＝2，则有4种方案：两个通道均不使用压缩，第一个通道使用压缩、第二个通道不使用压缩，第二个通道使用压缩、第一个通道不使用压缩，两个通道均使用压缩；并模拟时间演化过程，演化至M个数据帧后结束，得到M个数据帧中所有数据个数Z，选取每个无线传感设备的数据帧利用率 最高的是否进行数据压缩的方案，其中M可取100；
[0052] 步骤106，所述现场上位机将所述实验名称、实验编号、数据帧格式、数据压缩方案等参数发送至对应的无线传感设备和私有云数据库存储和使用；
[0053] 步骤107，所述无线传感设备根据所述现场上位机指定的数据帧格式和压缩方案，进行数据采集、压缩，并传输至私有云数据库或者现场上位机；
[0054] 步骤108，所述现场上位机获取无线传感设备的实时数据或者所属远程上位机获取私有云数据库的历史数据及实验名称、实验编号、数据帧格式、数据压缩方案等参数；
[0055] 步骤109，所述现场上位机或者远程上位机根据实验名称、实验编号、数据帧格式、数据压缩方案等参数，进行数据帧的解压缩和处理。
[0056] 如图3所示，本发明通过Wi-Fi无线通信方式通信，所述数据帧分为帧头部分和数据部分；所述数据帧帧头部分包括B1位数据帧时间戳、B2位实验编号(TID)、B3位数据帧字节长度(DFL)、B4位无线传感设备编号(NID)；所述数据帧时间戳包括年(YYYY)、月(MM)、日(DD)和计时值(TC)，所述年占用14位，最大记录16384年，所述月占用4位，所述日占用5位，所述计时值占用位数(B1-23)，支持最大计时时间不小于24小时；所述数据帧数据部分每个数据都以2位压缩信息(F)、B5位数据通道编号(DID)、B6位数据采集时间增量(TINC)起始，后面跟随压缩数据或者非压缩数据：①压缩数据，该数据帧第一次加入该通道数据时，F为2，所述压缩数据包括所述压缩方法的数据预测增量(DINC1)、上一个数据数值(CD)，和数据校正量(DINC2)，非第一次加入该通道数据时，F为1，所述压缩数据只包括数据校正量(DINC2)；②非压缩数据，F为0，只包含完整数据。
[0057] 如图4所示，图2步骤103私有云数据库注册实验名称和生成实验编号的步骤包括：
[0058] 步骤1031，判断现场上位机上传的实验名称是否已经被使用(实验名称是唯一确定对应数据和配置文件的索引)，如果已经被使用则进行步骤1035，否则进行步骤1032；
[0059] 步骤1032，如果实验名称未被使用，则实验编号管理变量加1，超过最大值则变为0；
[0060] 步骤1033，检查步骤1032的实验编号管理变量是否未被使用，如果已经被使用则重复1032；否则进行步骤1034；
[0061] 步骤1034，如果未被使用，则发送实验编号至所述现场上位机；如果寻找实验变量超时，则超时信号至所述现场上位机；
[0062] 步骤1035，如果实验名称已被使用，则发送实验名称被使用的信息至所述现场上位机。
[0063] 如图5所示，所述现场上位机计算数据帧各部分的位数，即得到数据帧格式，以某一个系统时间最小单位为1毫秒的无线传感设备为例，计算存储数据帧时间戳所需的最小位数步骤包括：
[0064] 步骤1041，将24小时换算至1毫秒为单位的数值V等于8640000；
[0065] 步骤1042，V更新为按位右移1的数值；
[0066] 步骤1043，如果V不等于0，则继续运行步骤1042，如果V等于0则运行步骤1044；
[0067] 步骤1044，将V按位右移次数加上年(14位)月(4位)日(5位)23位作为存储数据帧时间戳所需的最小位数。
[0068] 如图6所示，所述现场上位机得到数据帧利用率最高的压缩方案的步骤包括：
[0069] 步骤1051，所述现场上位机枚举压缩方案，形成列表，以2个数据通道为例，包括两个通道均不压缩、第一个通道压缩，第二个通道不压缩、第二个通道压缩，第一个通道不压缩、两个通道均压缩四个方案；
[0070] 步骤1052，选择列表中的一种压缩方案进行模拟时间演化过程；
[0071] 步骤1053，根据1052模拟得到的压缩方案的数据帧利用率，更新数据帧利用率最高的压缩方案；
[0072] 步骤1054，将模拟过的压缩方案移出列表；
[0073] 步骤1055，如果列表不为空，则继续运行步骤1052，如果列表为空，则运行步骤1056；
[0074] 步骤1056，得到数据帧利用率最高的压缩方案。
[0075] 如图7所示，所述现场上位机进行模拟时间演化的步骤包括：
[0076] 步骤10521，计时器初始化为0，第一个数据帧可用空间为X(数据帧总长度除去所述帧头部分)，数据帧个数P初始化为0个，总数据个数Z初始化为0个；
[0077] 步骤10522，计时器加1；
[0078] 步骤10523，判断数据采样周期是否到达，如果到达，则进行步骤10524，如果未到达，则进行步骤10528；
[0079] 步骤10524，判断X是否大于数据长度，是则进行步骤10527，否则进行步骤10525；
[0080] 步骤10525，数据帧个数P加1，数据帧可用空间初始化为X，即创建一个新的数据帧；
[0081] 步骤10526，判断数据帧是否达到最大个数M，M可以取100，是则计算数据帧利用率否则进行步骤10527；
[0082] 步骤10527，数据帧可用空间X更新为减去数据长度的值，对于压缩的数据，第一次加入该通道数据时，长度为2+B5+B6+2Ci+Di，非第一次加入该通道数据时，长度为2+B5+B6+Ci，对于不压缩的数据，长度为2+B5+B6+Di；
[0083] 步骤10528，判断数据帧是否未超过发送间隔，是则继续进行步骤10522，否则进行步骤10525。
[0084] 如图8所示，无线传感设备数据帧加入数据的步骤包括：
[0085] 步骤1071，所述无线传感设备周期性采集数据；
[0086] 步骤1072，所述无线传感设备根据所述现场上位机下发的压缩方案，判断是否需要压缩，是则进行步骤1073，否则进行步骤1078；
[0087] 步骤1073，计算校正量DINC2j，
[0088]
[0089] 其中，DINC1j-1为上一步的数据预测增量，CDj-1为上一步采集到的数据，CDj为本次采集到的数据，DINC2j不超过所述对应通道数据的相邻最大变化量Ci；
[0090] 步骤1074，判断采集到的数据通道是否第一次加入数据帧，是则进行步骤1075，否则进行步骤1076。
[0091] 步骤1075，数据帧中加入等于2的2位压缩信息(F)、B5位数据通道编号(DID)、B6位相对于数据帧时间戳的每个数据的采集时间增量(TINC)、数据预测增量(DINC1)、上一步采集到的数据(CD)和数据校正量(DINC2)；每一帧第一次加入某通道数据时，需要附带数据预测增量、上一步采集到的数据，是为了防止出现数据丢包造成解压缩时无法按顺序推测出数据预测增量、采集到的数据；
[0092] 步骤1076，数据帧中加入等于1的2位压缩信息(F)、B5位数据通道编号(DID)、B6位相对于数据帧时间戳的每个数据的采集时间增量(TINC)和数据校正量(DINC2)；
[0093] 步骤1077，更新数据预测增量DINC1，
[0094]
[0095] 其中α是DINC1的更新速率，可以取(0,1]，j表示第i个数据通道的第j次压缩；初始化DINC10和CD0为0；DINC1j不超过所述对应通道数据的相邻最大变化量Ci；
[0096] 步骤1078，加入等于0的2位压缩信息(F)、B5位数据通道编号(DID)、B6位相对于数据帧时间戳的每个数据的采集时间增量(TINC)、采集到的数据(CD)。
[0097] 如图9所示，上位机(现场上位机和远程上位机均可)获取数据帧，并进行解压缩和处理的步骤包括：
[0098] 步骤1091，上位机获取数据帧；
[0099] 步骤1092，解析出数据帧头中的数据帧时间戳；
[0100] 步骤1093，获取数据帧数据部分的下一个数据的压缩信息；
[0101] 步骤1094，根据压缩信息判断是否需要解压缩，如果压缩信息等于1或者2，则进行步骤1095，如果压缩信息等于等于0，则进行步骤1098；
[0102] 步骤1095，根据压缩信息判断是否需要更新DINC1和CD，如果压缩信息等于2，则运行步骤1096，如果压缩信息等于1，则运行步骤1097；
[0103] 步骤1096，解析出数据帧中的DINC1和CD，并更新压缩方法中的DINC1j-1和CDj-1。
[0104] DINC1j-1＝DINC1
[0105] CDj-1＝CD
[0106] 步骤1097，解压缩数据并更新DINC1j，
[0107] CDj＝DINC2j+DINC1j-1+CDj-1
[0108] DINC1j＝DINC1j-1+α·DINC2j
[0109] 其中j表示第i个数据通道的第j次解压缩。
[0110] 步骤1098，获取数据，并处理数据；
[0111] 步骤1099，判断数据帧是否解压缩完毕，是则结束该数据帧解压缩，否则继续进行步骤1093。
[0112] 应当理解的是，本公开并不局限于上面已经描述并在附图中体现的精确结构，并且可以在不脱离其范围进行各种修改。本公开的范围仅由所附的权利要求来限制。
