本发明提供了一种基于物联网的大规模IOT设备数据监测方法，属于物联网监测技术领域，解决了现有技术在传输海量数据及更新周期短时会出现传输性能变差的问题。该方法包括：将所有IOT设备接入物联网，获取消息队列、处理、分析、统计后添加在数据库中；对数据库新增IOT设备数据进行数据预处理；建立IOT设备参数定时自动更新程序，将定时获取的IOT设备参数存储在数据库中；通过三维可视化引擎加载数据库，确定当前视野范围内所有IOT设备，提取需要显示的关键信息，并对关键信息内容进行智能切片；将当前视野范围内所有IOT设备需要显示的关键信息发送至三维可视化引擎。该方法可使三维可视化引擎定时更新视野范围，并改善数据传输性能。
1.一种基于物联网的大规模IOT设备数据监测方法，其特征在于，包括如下步骤：S1.将所有IOT设备接入物联网，定时获取包括所有IOT设备数据的消息队列，对消息队列中的数据进行处理、分析、统计后添加在数据库中；
S2.对数据库新增加的IOT设备数据进行数据预处理，包括配置每一IOT设备的位置、参数及显示标题格式；
S3.建立IOT设备参数定时自动更新程序，并将定时获取的IOT设备参数存储在数据库中；
S4.通过三维可视化引擎加载上述数据库，确定当前视野范围内所有IOT设备，通过深度学习模式提取当前视野范围内所有IOT设备需要显示的关键信息，并对关键信息内容进行智能切片；
S5.将智能切片后当前视野范围内所有IOT设备需要显示的关键信息发送至三维可视化引擎，以使三维可视化引擎定时更新视野范围。
2.根据权利要求1所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，步骤S1进一步包括：S11.将所有IOT设备接入物联网；
S12.定时通过物联网获取包括所有IOT设备数据的消息队列，通过大数据分析引擎从消息队列中获取IOT设备数据；
S13.对IOT设备数据依次进行处理、分析、统计，最后将每一IOT设备的所有数据均存储在数据库中。
3.根据权利要求1或2所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，步骤S2进一步包括：S21.对数据库新增加的IOT设备数据，识别数据类型后，配置每一IOT设备的位置、参数及显示标题格式；
S22.对配置后的IOT设备数据进行正误性校验，包括影像正射纠正、数据范围验证、参数关系验证。
4.根据权利要求3所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，步骤S3进一步包括：S31.建立IOT设备参数定时自动更新程序，设置IOT设备的更新频率；
S32.根据IOT设备的更新频率，通过大数据分析引擎从消息队列中定时获取IOT设备参数，存储在数据库中该IOT设备的相应位置。
5.根据权利要求4所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，步骤S4进一步包括：S41.通过三维可视化引擎加载上述数据库；
S42.通过范围检索算法，结合搜索引擎，确定当前视野范围内所有IOT设备；
S44.通过深度学习模式，自动提取当前视野范围内所有IOT设备需要显示的关键信息；
S45.确定当前视野范围内每一IOT设备需要显示的关键信息的大小，并根据该关键信息的大小，对关键信息内容进行智能切片，以保证每一切片数据的完整性。
6.根据权利要求5所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，步骤S5进一步包括：S51.通过websocket软件，在浏览器和服务器之间建立实时双向通信；
S52.在浏览器上设置关键词，搜索服务器，查找所述关键词对应的智能切片后当前视野范围内所有IOT设备，并在浏览器的三维可视化引擎中加载所述关键词对应的IOT设备；
S53.识别三维可视化引擎视野范围是否更新，若未更新，直接进行所述关键词对应的IOT设备的显示，若已更新，重复步骤S41 S45，并在三维可视化引擎中删除当前视野范围外~的IOT设备，加载视野范围内新增加的IOT设备再进行所述关键词对应的IOT设备的显示，以使三维可视化引擎定时更新视野范围。
7.根据权利要求6所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，还包括如下步骤：S6.检测每一IOT设备数据，确定该IOT设备是否发生故障，如果故障执行下一步；
S7.在故障状态时通过蜂鸣器、报警信号灯，分别发出声音和灯光信号进行报警，并显示故障信息发生的时间、地点、IOT设备名称。
8.根据权利要求7所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，该方法应用于生产工艺时，还包括如下步骤：S8.进行过程监视，包括每一IOT设备的启动、停止、状态变更；
S9.进行每一IOT设备的远程自动控制，包括设定起始时间、结束时间、设备状态。
9.根据权利要求8所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，步骤S13进一步包括：S131.在消息队列的IOT设备数据流入时，对该数据进行解析；
S132.配置清洗规则对步骤S131获得的解析结果进行数据清洗，配置数据转换规则对清洗结果进行数据转换；
S133.根据步骤S132获得的转换后的IOT设备数据创建表结构，将每一IOT设备数据存储在表结构的数据库中；
S134.利用流处理引擎进行实时计算和聚合，使用窗口函数、滑动窗口进行数据统计，将数据统计结果进一步存储在上述表结构的数据库中。
10.根据权利要求9所述的基于物联网的大规模IOT设备数据监测方法，其特征在于，步骤S45进一步包括：S451.确定当前视野范围内每一IOT设备需要显示的关键信息的大小；
S453.将每一IOT设备需要显示的关键信息内容以及上述系统分片阈值输入经过训练的深度学习模型中，通过深度学习模型的动态规划算法进行智能切片，以使每个数据分片包含有意义的信息；
S454.通过深度学习模型预测网络状态，动态调整数据分片的大小或选择性地传输数据；
S455.建立实时反馈机制，通过深度学习模型学习不断优化数据分片的大小和传输策略。
一种基于物联网的大规模IOT设备数据监测方法
技术领域
[0001] 本发明涉及物联网监测技术领域，尤其涉及一种基于物联网的大规模IOT设备数据监测方法。
背景技术
[0002] 物联网（IOT）的发展已经在各个领域和行业产生了深远的影响。随着技术的不断进步，物联网的应用场景和潜力也在不断扩展和深化。物联网可以应用于许多可持续发展的领域，例如智能城市、智能交通、智能能源等。通过物联网技术，可以更好地监测和管理城市的能源消耗、交通拥堵和废弃物排放等问题，从而推动城市的可持续发展。
[0003] 在智慧城市管理中，对于IOT设备的可视化需求也越来越复杂，如何在浏览器端展示海量级IOT设备数据也成为IOT可视化领域的重要问题。IOT可视化的内容主要包括IOT设备的位置信息以及IOT设备的当前参数值，但是由于IOT设备的当前参数值实时更新的特性，需要浏览器频繁请求数据。
[0004] 目前，IOT可视化展示主要借助地图引擎来显示IOT设备的位置信息，并不断向服务器发送http请求来获取IOT设备的参数值，这样在遇到海量数据以及更新周期短时，会遇到很大的传输性能瓶颈，影响显示的效果及效率。
发明内容
[0005] 鉴于上述的分析，本发明实施例旨在提供一种基于物联网的大规模IOT设备数据监测方法，用以解决现有技术在传输海量数据及更新周期短时会出现传输性能变差的问题。
[0006] 一方面，本发明实施例提供了一种基于物联网的大规模IOT设备数据监测方法，包括如下步骤：
[0007] S1.将所有IOT设备接入物联网，定时获取包括所有IOT设备数据的消息队列，对消息队列中的数据进行处理、分析、统计后添加在数据库中；
[0008] S2.对数据库新增加的IOT设备数据进行数据预处理，包括配置每一IOT设备的位置、参数及显示标题格式；
[0009] S3.建立IOT设备参数定时自动更新程序，并将定时获取的IOT设备参数存储在数据库中；
[0010] S4.通过三维可视化引擎加载上述数据库，确定当前视野范围内所有IOT设备，通过深度学习模式提取当前视野范围内所有IOT设备需要显示的关键信息，并对关键信息内容进行智能切片；
[0011] S5.将智能切片后当前视野范围内所有IOT设备需要显示的关键信息发送至三维可视化引擎，以使三维可视化引擎定时更新视野范围。
[0012] 上述技术方案的有益效果如下：针对现有技术海量IOT设备实时显示性能低、显示效果差等情况，上述方案通过消息队列将IOT设备的参数值存储在数据库中。并通过检索算法快速查找到地图引擎当前视野范围内所有的IOT设备，从而快速查找到这些IOT设备的参数值。然后融合深度学习的方法，对发送的数据进行智能切片，保证每次发送数据的完整性。
[0013] 基于上述方法的进一步改进，步骤S1进一步包括：
[0014] S11.将所有IOT设备接入物联网；
[0015] S12.定时通过物联网获取包括所有IOT设备数据的消息队列，通过大数据分析引擎从消息队列中获取IOT设备数据；
[0016] S13.对IOT设备数据依次进行处理、分析、统计，最后将每一IOT设备的所有数据均存储在数据库中。
[0017] 进一步，步骤S2进一步包括：
[0018] S21.对数据库新增加的IOT设备数据，识别数据类型后，配置每一IOT设备的位置、参数及显示标题格式；
[0019] S22.对配置后的IOT设备数据进行正误性校验，包括影像正射纠正、数据范围验证、参数关系验证。
[0020] 进一步，步骤S3进一步包括：
[0021] S31.建立IOT设备参数定时自动更新程序，设置IOT设备的更新频率；
[0022] S32.根据IOT设备的更新频率，通过大数据分析引擎从消息队列中定时获取IOT设备参数，存储在数据库中该IOT设备的相应位置。
[0023] 进一步，步骤S4进一步包括：
[0024] S41.通过三维可视化引擎加载上述数据库；
[0025] S42.通过范围检索算法，结合搜索引擎，确定当前视野范围内所有IOT设备；
[0026] S43.确定当前视野范围内所有IOT设备数据；
[0027] S44.通过深度学习模式，自动提取当前视野范围内所有IOT设备需要显示的关键信息；
[0028] S45.确定当前视野范围内每一IOT设备需要显示的关键信息的大小，并根据该关键信息的大小，对关键信息内容进行智能切片，以保证每一切片数据的完整性。
[0029] 进一步，步骤S5进一步包括：
[0030] S51.通过websocket软件，在浏览器和服务器之间建立实时双向通信；
[0031] S52.在浏览器上设置关键词，搜索服务器，查找所述关键词对应的智能切片后当前视野范围内所有IOT设备，并在浏览器的三维可视化引擎中加载所述关键词对应的IOT设备；
[0032] S53.识别三维可视化引擎视野范围是否更新，若未更新，直接进行所述关键词对应的IOT设备的显示，若已更新，重复步骤S41 S45，并在三维可视化引擎中删除当前视野范~围外的IOT设备，加载视野范围内新增加的IOT设备再进行所述关键词对应的IOT设备的显示，以使三维可视化引擎定时更新视野范围。
[0033] 进一步，该方法还包括如下步骤：
[0034] S6.检测每一IOT设备数据，确定该IOT设备是否发生故障，如果故障执行下一步；
[0035] S7.在故障状态时通过蜂鸣器、报警信号灯，分别发出声音和灯光信号进行报警，并显示故障信息发生的时间、地点、IOT设备名称。
[0036] 进一步，该方法应用于生产工艺时，还包括如下步骤：
[0037] S8.进行过程监视，包括每一IOT设备的启动、停止、状态变更；
[0038] S9.进行每一IOT设备的远程自动控制，包括设定起始时间、结束时间、设备状态。
[0039] 进一步，步骤S13进一步包括：
[0040] S131.在消息队列的LOT设备数据流入时，对该数据进行解析；
[0041] S132.配置清洗规则对步骤S131获得的解析结果进行数据清洗，配置数据转换规则对清洗结果进行数据转换；
[0042] S133.根据步骤S132获得的转换后的LOT设备数据创建表结构，将每一LOT设备数据存储在表结构的数据库中；
[0043] S134.利用流处理引擎进行实时计算和聚合，使用窗口函数、滑动窗口进行数据统计，将数据统计结果进一步存储在上述表结构的数据库中。
[0044] 进一步，步骤S45进一步包括：
[0045] S451.确定当前视野范围内每一IOT设备需要显示的关键信息的大小；
[0046] S452.根据该关键信息的大小设置系统分片阈值；
[0047] S453.将每一IOT设备需要显示的关键信息内容以及上述系统分片阈值输入经过训练的深度学习模型中，通过深度学习模型的动态规划算法进行智能切片，以使每个数据分片包含有意义的信息；
[0048] S454.通过深度学习模型预测网络状态，动态调整数据分片的大小或选择性地传输数据；
[0049] S455.建立实时反馈机制，通过深度学习模型学习不断优化数据分片的大小和传输策略。
[0050] 提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本发明的重要特征或必要特征，也无意限制本发明的范围。
附图说明
[0051] 通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
[0052] 图1示出了实施例1中基于物联网的大规模IOT设备数据监测方法步骤示意图。
具体实施方式
[0053] 下面将参照附图更详细地描述本发明的实施例。虽然附图中显示了本发明的实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
[0054] 在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个此外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
[0055] 实施例1
[0056] 本发明的一个实施例，公开了一种基于物联网的大规模IOT设备数据监测方法，旨在通过优化数据传输过程，在传输海量数据及更新周期短时改善传输性能。如图1所示，该方法包括如下步骤：
[0057] S1.将所有IOT设备接入物联网，定时获取包括所有IOT设备数据的消息队列，对消息队列中的数据进行处理、分析、统计后添加在数据库中；
[0058] S2.对数据库新增加的IOT设备数据进行数据预处理，包括配置每一IOT设备的位置、参数及显示标题格式；
[0059] S3.建立IOT设备参数定时自动更新程序，并将定时获取的IOT设备参数存储在数据库中；
[0060] S4.通过三维可视化引擎加载上述数据库，确定当前视野范围内所有IOT设备，通过深度学习模式提取当前视野范围内所有IOT设备需要显示的关键信息，并对关键信息内容进行智能切片；
[0061] S5.将智能切片后当前视野范围内所有IOT设备需要显示的关键信息发送至三维可视化引擎，以使三维可视化引擎定时更新视野范围。
[0062] 与现有技术相比，本实施例提出的方法针对现有技术海量IOT设备实时显示性能低、显示效果差等情况，通过消息队列将IOT设备的参数值存储在数据库中。并通过检索算法快速查找到地图引擎当前视野范围内所有的IOT设备，从而快速查找到这些IOT设备的参数值。然后融合深度学习的方法，对发送的数据进行智能切片，保证每次发送数据的完整性。
[0063] 实施例2
[0064] 在实施例1的基础上进行改进，步骤S1（数据存储）进一步包括：
[0065] S11.将所有IOT设备接入物联网；具体地，通过ETL数据集成实现动态配置IOT设备接口；
[0066] S12.定时通过物联网获取包括所有IOT设备数据的消息队列，通过大数据分析引擎从消息队列中获取IOT设备数据；
[0067] S13.对IOT设备数据依次进行处理、分析、统计，最后将每一IOT设备的所有数据均存储在数据库中。
[0068] 优选地，步骤S2（数据预处理）进一步包括：
[0069] S21.对数据库新增加的IOT设备数据，识别数据类型后，配置每一IOT设备的位置、参数及显示标题格式；
[0070] S22.对配置后的IOT设备数据进行正误性校验，包括影像正射纠正、数据范围验证、参数关系验证。
[0071] 优选地，步骤S3进一步包括：
[0072] S31.建立IOT设备参数定时自动更新程序，设置IOT设备的更新频率；
[0073] S32.根据IOT设备的更新频率，定时通过大数据分析引擎从消息队列中定时获取IOT设备参数，存储在数据库中该IOT设备的相应位置。
[0074] 优选地，步骤S4（数据可视化）进一步包括：
[0075] S41.浏览器借助三维可视化引擎加载上述数据库；
[0076] S42.通过范围检索算法，结合搜索引擎，确定当前视野范围内所有IOT设备；
[0077] S43.确定当前视野范围内所有IOT设备数据；
[0078] S44.通过深度学习模式，自动提取当前视野范围内所有IOT设备需要显示的关键信息；
[0079] S45.确定当前视野范围内每一IOT设备需要显示的关键信息的大小，并根据该关键信息的大小，对关键信息内容进行智能切片，以保证每一切片数据的完整性。
[0080] 优选地，步骤S5进一步包括：
[0081] S51.通过websocket软件，在浏览器和服务器之间建立实时双向通信；
[0082] S52.在浏览器上设置关键词，搜索服务器，查找所述关键词对应的智能切片后当前视野范围内所有IOT设备，并在浏览器的三维可视化引擎中加载所述关键词对应的IOT设备；
[0083] S53.识别三维可视化引擎视野范围是否更新，若未更新，直接进行所述关键词对应的IOT设备的显示，若已更新，重复步骤S41 S45，并在三维可视化引擎中删除当前视野范~围外的IOT设备，加载视野范围内新增加的IOT设备再进行所述关键词对应的IOT设备的显示，以使三维可视化引擎定时更新视野范围。
[0084] 优选地，该方法还包括如下步骤：
[0085] S6.检测每一IOT设备数据，确定该IOT设备是否发生故障，如果故障执行下一步；
[0086] S7.在故障状态时通过蜂鸣器、报警信号灯，分别发出声音和灯光信号进行报警，并显示故障信息发生的时间、地点、IOT设备名称。
[0087] 优选地，该方法应用于生产工艺时，还包括如下步骤：
[0088] S8.进行过程监视，包括每一IOT设备的启动、停止、状态变更；
[0089] S9.进行每一IOT设备的远程自动控制，包括设定起始时间、结束时间、设备状态。
[0090] 优选地，步骤S13进一步包括：
[0091] S131.在消息队列的LOT设备数据流入时，对该数据进行解析；
[0092] S132.配置清洗规则对步骤S131获得的解析结果进行数据清洗，配置数据转换规则对清洗结果进行数据转换；
[0093] S133.根据步骤S132获得的转换后的LOT设备数据创建表结构，将每一LOT设备数据存储在表结构的数据库中；
[0094] S134.（在处理流程中）利用流处理引擎进行实时计算和聚合，使用窗口函数、滑动窗口等进行数据统计，将数据统计结果进一步存储在上述表结构的数据库中。
[0095] 在网络环境中，传输的数据大小会受到最大传输单元 (MTU) 的限制。如果传输的数据超过了 MTU 的限制，那么就需要进行数据分片。目前系统中默认分片阈值是10KB。
[0096] 优选地，步骤S45进一步包括：
[0097] S451.确定当前视野范围内每一IOT设备需要显示的关键信息的大小；
[0098] S452.根据该关键信息的大小设置系统分片阈值；
[0099] S453.将每一IOT设备需要显示的关键信息内容以及上述系统分片阈值输入经过训练的深度学习模型中，通过深度学习模型的动态规划算法进行智能切片，以使每个数据分片包含有意义的信息；
[0100] S454.（同时考虑网络环境会发生实时变化）通过深度学习模型预测网络状态，动态调整数据分片的大小或选择性地传输数据；
[0101] S455.建立实时反馈机制，通过深度学习模型学习不断优化数据分片的大小和传输策略略，以适应不断变化的环境和需求。最后将数据发送给浏览器端。
[0102] 与现有技术相比，本实施例提供的基于物联网的大规模IOT设备数据监测方法具有如下有益效果：
[0103] 1、通过消息队列以及大数据分析引擎，将IOT设备的参数值存储在时序数据库中。并通过范围检索算法，快速查找到地图引擎当前视野范围内所有的IOT设备，并结合搜索和数据分析引擎，快速查找到这些IOT设备的参数值。然后通过websocket技术，在浏览器和服务端建立实时双向通信，将IOT设备及参数发送给浏览器，在此过程中，融合深度学习的方法，对发送的数据进行智能切片，保证每次发送数据的完整性。
[0104] 2、浏览器接收到发送的信息后，根据IOT设备ID和参数值，批量更新IOT设备的参数值。
[0105] 以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对现有技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
