信息监控方法、系统及计算机可读存储介质转让专利
申请号 : CN202010354492.X
文献号 : CN111698126B
文献日 : 2021-10-01
发明人 : 喻斌 , 肖硕
申请人 : 武汉旷视金智科技有限公司 , 北京旷视科技有限公司
摘要 :
权利要求 :
1.一种信息监控方法,其特征在于,应用于管理服务器,所述管理服务器分别与监控服务器和执行服务器相连;所述方法包括:根据预先配置的视图数据推送任务,发送任务控制指令至所述执行服务器,以使所述执行服务器根据接收的所述任务控制指令执行视图数据推送任务,并将执行所述视图数据推送任务得到的推送结果数据提供给所述监控服务器;
从所述监控服务器获取所述推送结果数据和/或基于所述推送结果数据得到的统计数据;
基于所述推送结果数据和/或所述统计数据对所述视图数据推送任务进行数据监控,所述数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。
2.根据权利要求1所述的方法,其特征在于,所述推送结果数据包括所述视图数据推送任务中的每条视图数据对应的日志数据,每条所述日志数据均包括视图数据标识、推送成功或失败的推送情况信息、推送报文长度和推送时间;所述监控服务器还用于按照所述日志数据中的推送时间对所述推送结果数据进行不同时长维度的切割分片,并存储切割后的分片结果数据;
从所述监控服务器获取基于所述推送结果数据得到的统计数据的步骤,包括:将数据统计请求发送给所述监控服务器,所述数据统计请求包括统计时间段,以使所述监控服务器根据所述分片结果数据对推送时间在所述统计时间段内的日志数据进行统计,得到统计数据;
接收所述监控服务器返回的所述统计数据。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:将明细检索请求发送给所述监控服务器,所述明细检索请求包括检索时间段,以使所述监控服务器根据所述明细检索请求对所述分片结果数据进行明细检索,得到明细检索结果;
接收所述监控服务器返回的所述明细检索结果。
4.根据权利要求3所述的方法,其特征在于,每条所述日志数据还包括数据采集设备标识和视图数据类型;所述明细检索请求还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种。
5.根据权利要求1‑4任一项所述的方法,其特征在于,在发送任务控制指令至所述执行服务器之前,所述方法包括:
根据所述视图数据推送任务中的视图数据的大小,确定所述执行服务器的个数和线程数量;
根据所述个数和所述线程数量,生成所述任务控制指令。
6.根据权利要求1‑4任一项所述的方法,其特征在于,所述执行服务器为多个,所述推送结果数据包括所述视图数据推送任务中每条视图数据的采集时间和推送时间;所述方法还包括:
根据所述视图数据推送任务中每条视图数据的采集时间和推送时间,以及所述视图数据推送任务的数据量监控的监控结果,进行告警提示或执行服务器的添加;其中,所述告警提示包括发送添加执行服务器的添加指示至预设的终端设备和/或在所述管理服务器的显示界面上显示所述添加指示。
7.根据权利要求1‑4任一项所述的方法,其特征在于,在发送任务控制指令至所述执行服务器之前,所述方法包括:
当接收到所述执行服务器发送的注册请求时,为所述执行服务器分配群组;所述群组与所述视图数据推送任务中的视图数据接收端一一对应;
通过所述监控服务器验证所述执行服务器的存活状态是否正常;
当验证结果为正常时,执行所述发送任务控制指令至所述执行服务器的步骤。
8.根据权利要求1所述的方法,其特征在于,所述执行服务器还用于向zookeeper发送所述执行服务器的状态数据,所述状态数据包括存活状态数据和任务状态数据;所述方法还包括:
将状态查询请求发送给所述监控服务器,所述状态查询请求包括执行服务器标识和/或任务标识,以使所述监控服务器根据所述状态查询请求从所述zookeeper中获取状态查询结果;
接收所述监控服务器返回的所述状态查询结果。
9.一种信息监控方法,其特征在于,应用于与管理服务器连接的监控服务器,所述管理服务器还与执行服务器相连;所述方法包括:当接收到所述管理服务器发送的数据统计请求时,根据所述数据统计请求对推送结果数据进行统计,得到统计数据;其中,所述数据统计请求包括统计时间段,所述推送结果数据是所述执行服务器基于所述管理服务器发送的任务控制指令执行视图数据推送任务时产生的;
将所述统计数据发送至所述管理服务器,以使所述管理服务器基于所述统计数据对所述视图数据推送任务进行数据监控,所述数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。
10.根据权利要求9所述的方法,其特征在于,所述推送结果数据包括所述视图数据推送任务中的每条视图数据对应的日志数据,每条所述日志数据均包括视图数据标识、推送成功或失败的推送情况信息、推送报文长度和推送时间;所述方法还包括:按照所述日志数据中的推送时间对所述推送结果数据进行不同时长维度的切割分片,并存储切割后的分片结果数据。
11.根据权利要求10所述的方法,其特征在于,根据所述数据统计请求对推送结果数据进行统计,得到统计数据的步骤,包括:从所述分片结果数据中查找与所述统计时间段相匹配的第一数据;
根据所述第一数据内的日志数据进行吞吐量、数据量和成功率的统计,得到统计数据。
12.根据权利要求10所述的方法,其特征在于,每条所述日志数据还包括数据采集设备标识和视图数据类型;所述方法还包括:当接收到所述管理服务器发送的明细检索请求时,从所述分片结果数据中查找与所述明细检索请求中的检索时间段相匹配的第二数据;其中,所述明细检索请求还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种;
根据所述明细检索请求对所述第二数据进行明细检索,得到明细检索结果;
将所述明细检索结果发送至所述管理服务器。
13.根据权利要求9所述的方法,其特征在于,所述执行服务器还用于向zookeeper发送所述执行服务器的状态数据,所述状态数据包括存活状态数据和任务状态数据;所述方法还包括:
当接收到所述管理服务器发送的状态查询请求时,从所述zookeeper中查找所述状态查询请求对应的状态查询结果;其中,所述状态查询请求包括执行服务器标识和/或任务标识;
将所述状态查询结果发送至所述管理服务器。
14.一种管理服务器,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1‑8中任一项所述的方法。
15.一种监控服务器,包括存储器、处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求9‑13中任一项所述的方法。
16.一种信息监控系统,其特征在于,包括权利要求14所述的管理服务器、权利要求15所述的监控服务器,还包括执行服务器;所述管理服务器分别与所述监控服务器和所述执行服务器相连。
17.根据权利要求16所述的系统,其特征在于,所述管理服务器设置在监控中心,所述监控服务器和所述执行服务器均设置在被监控端;所述被监控端为多个,每个所述被监控端通过端口映射与所述监控中心连接。
18.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1‑8中任一项所述的方法或者权利要求9‑13中任一项所述的方法。
说明书 :
信息监控方法、系统及计算机可读存储介质
技术领域
背景技术
准,例如公安视频图像信息安全行业标准‑GA/T1400。
常通过Prometheus进行监控,而Prometheus只能在接口粒度进行接口调用的监控,监控的
不够精细、完整,无法满足用户的监控需求。
发明内容
数据推送任务得到的推送结果数据提供给所述监控服务器;
报文长度和推送时间;所述监控服务器还用于按照所述日志数据中的推送时间对所述推送
结果数据进行不同时长维度的切割分片,并存储切割后的分片结果数据;
行统计,得到统计数据;
索结果;
型中的一种或多种。
告警提示包括发送添加执行服务器的添加指示至预设的终端设备和/或在所述管理服务器
的显示界面上显示所述添加指示。
查询结果;
果数据是所述执行服务器基于所述管理服务器发送的任务控制指令执行视图数据推送任
务时产生的;
功率监控中的一种或多种。
报文长度和推送时间;所述方法还包括:
检索的视图数据标识、推送情况信息、数据采集设备标识和视图数据类型中的一种或多种;
务标识;
现上述第一方面的信息监控方法。
现上述第二方面的信息监控方法。
服务器和所述执行服务器相连。
连接。
控方法或者上述第二方面的信息监控方法。
制指令至执行服务器,以使执行服务器根据接收的任务控制指令执行视图数据推送任务,
并将执行视图数据推送任务得到的推送结果数据提供给监控服务器;然后从监控服务器获
取推送结果数据和/或基于推送结果数据得到的统计数据;从而基于推送结果数据和/或统
计数据对视图数据推送任务进行数据监控,该数据监控包括吞吐量监控、数据量监控和成
功率监控中的一种或多种。这样能够实现对视图数据推送任务的多种数据维度的监控,与
现有技术中基于Prometheus的监控方式相比,提高了监控的精细度和完整性,从而满足了
用户的监控需求。
知。
附图说明
附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前
提下,还可以根据这些附图获得其他的附图。
具体实施方式
例。
务系统;业务系统对抓拍图进行特征提取,并用提取的特征和相应的底库进行比对,将比对
产生的告警数据和抓拍图作为视图数据生产至Kafka),视频图像信息应用系统中的Work
(即执行服务器)从Kafka取出视图数据,并把视图数据推送至不同的视图库。
视图数据,并且无法确定某条视图数据是否推送成功,因此基于Prometheus的监控方法存
在以下缺陷:缺少对视图数据推送过程的完整监控,导致接收方和推送方之间难以确定视
图数据的缺失率,并且难以排查遗漏视图数据。基于此,本发明实施例提供的一种信息监控
方法、系统及计算机可读存储介质,可以从多种数据维度对转发过程实时进行数据量、成功
率和吞吐量等的监控,使得接收方和推送方之间能够确定视图数据的缺失率,便于排查遗
漏视图数据等,也即可以提高监控的精细度和完整性,从而缓解用户的监控需求。
线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的服务器100的组
件和结构只是示例性的,而非限制性的,根据需要,所述服务器可以具有图1示出的部分组
件,也可以具有图1未示出的其他组件和结构。
(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理
单元中的一种或几种的组合,并且可以控制所述服务器100中的其它组件以执行期望的功
能。
失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非
易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质
上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所
述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计
算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或
产生的各种数据等。
推送任务的执行者,执行服务器主要用于将待推送的数据处理成一定的标准协议格式,例
如GA/T1400标准协议格式,然后再推送给第三方的视图库。
任务得到的推送结果数据提供给监控服务器。
以通过IP地址、用户名(账号)和密码等来表征)等信息,一个视图数据推送任务中,视图数
据接收端可以为一个,视图数据可以为一条或多条。管理服务器会根据待推送视图数据及
视图数据接收端等信息生成任务控制指令,并将该任务控制指令发送给相应的执行服务
器,以对执行服务器进行任务分配和任务控制,该任务控制包括控制任务的启动(对应任务
启动指令)、停止(对应任务停止指令)和中断(对应任务中断指令)等。
收端。执行服务器每推送(即转发)一条视图数据(不论是否推送成功),就会生成一条日志
数据,并存储该日志数据,即推送结果数据包括视图数据推送任务中的每条视图数据对应
的日志数据;其中,每条日志数据均可以包括视图数据标识、推送成功或失败的推送情况信
息、推送报文长度和推送时间等,另外,每条日志数据还可以包括数据采集设备标识、视图
数据类型和视图数据的采集时间等,数据采集设备标识例如可以为抓拍机标识,视图数据
类型例如可以为人体、机动车、非机动车或人脸等。监控服务器可以获取执行服务器存储的
推送结果数据。
或多种。
Protocol over SecureSocket Layer,超文本传输安全协议)调用接口。因此管理服务器可
以通过HTTPS调用接口从监控服务器获取推送结果数据和/或基于推送结果数据得到的统
计数据。
种数据维度的监控;其中,吞吐量可以是平均每秒吞吐量,可以按字节(Byte)计算,与日志
数据中的推送报文长度有关;数据量可以是平均每秒转发数,可以按条数计算;成功率可以
按百分比计算,与日志数据中的推送成功或失败的推送情况信息有关。
监控、数据量监控和成功率监控等多种数据维度的监控。
行服务器根据接收的任务控制指令执行视图数据推送任务,并将执行视图数据推送任务得
到的推送结果数据提供给监控服务器;然后从监控服务器获取推送结果数据和/或基于推
送结果数据得到的统计数据;从而基于推送结果数据和/或统计数据对视图数据推送任务
进行数据监控,该数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。这
样能够实现对视图数据推送任务的多种数据维度的监控,与现有技术中基于Prometheus的
监控方式相比,提高了监控的精细度和完整性,从而满足了用户的监控需求。
推送时间对推送结果数据进行不同时长维度的切割分片,并存储切割后的分片结果数据。
例如,对推送结果数据分别进行5s、30s、1min和5min等时长维度的切割分片,从而为监控服
务器查询时的快速检索做铺垫。
数据统计请求包括统计时间段,以使监控服务器根据分片结果数据对推送时间在统计时间
段内的日志数据进行统计,得到统计数据;接收监控服务器返回的统计数据。
则监控服务器可以先获取15:49:00‑15:50:00和15:50:00‑15:51:00的数据,然后将该数据
减去15:49:00‑15:49:01和15:50:03‑15:51:00的数据,得到待统计的目标数据,最后对得
到的目标数据进行统计,即可得到统计数据。这样,监控服务器在进行数据统计时不需要对
所有推送结果数据进行检索,只需要检索与统计时间段最契合的分片结果数据,节约了检
索时间,提高了检索速度,从而提高了数据监控的效率。
匹配的数据,然后基于检索到的数据得到待统计的目标数据,并将该目标数据发送至管理
服务器。这样也节约了监控服务器的检索时间,提高了监控服务器的检索速度,从而提高了
数据监控的效率。
对分片结果数据进行明细检索,得到明细检索结果;接收监控服务器返回的明细检索结果。
49:15的数据,则监控服务器可以直接获取15:49:00‑15:49:05、15:49:05‑15:49:10和15:
49:10‑15:49:15的数据。若明细检索维度仅包含检索时间段,则监控服务器获取的该数据
即为明细检索结果;若明细检索维度还包括诸如视图数据标识的其他检索维度,则可以进
一步基于其他检索维度对监控服务器获取的该数据进行筛选,筛选得到的最终数据即为明
细检索结果。监控服务器将得到的明细检索结果发送至管理服务器即实现了管理服务器的
明细检索功能,同时由于监控服务器是基于分片结果数据进行检索的,因此节约了检索时
间,提高了检索速度。
识)查询是否有某个图片的推送数据,也可以查询某个时间范围内推送了哪些视图数据或
者有哪些数据采集设备推送的视图数据。
施例中的执行服务器采用分布式部署,支持热扩容(可以动态调整执行服务器的个数和每
个执行服务器的线程数量),从而服务器资源就不会出现瓶颈,提高了资源协调能力和可控
性。基于此,在发送任务控制指令至执行服务器之前,步骤S202还包括如下步骤1.1和步骤
1.2:
执行服务器无法满足推送需求时,可以适当增加执行服务器的个数和/或每个执行服务器
的线程数量以满足推送需求。
和线程数量的动态调整。
并发度为2,此时该执行服务器同时运行2个线程,通常情况下,一个执行服务器执行一个任
务,这个任务自执行服务器启动就一直存在,获取到了视图数据就推送给视图库),从而实
现并发控制功能。
任务中每条视图数据的采集时间和推送时间,以及视图数据推送任务的数据量监控的监控
结果,进行告警提示或执行服务器的添加;其中,告警提示包括发送添加执行服务器的添加
指示至预设的终端设备和/或在管理服务器的显示界面上显示该添加指示。
时,确定此时执行服务器的个数达到瓶颈,需要增加执行服务器;其中,预设时长可以根据
实际需求设置,这里不做限定。本实施例中,针对该情况,可以进行告警提示,以便收到告警
提示的相关人员进行执行服务器的添加;也可以自动进行执行服务器的添加。这种方式提
高了视图数据推送任务的执行效率。
程数量时,可以先暂停执行服务器的工作,调整好该执行服务器的线程数量后,再启动该执
行服务器即可。
以从监控服务器获取执行服务器的存活状态。其中,zookeeper为监控服务器对执行服务器
监控的载体,zookeeper具有时效性高的优点。
更好的管理。
(Advanced Encryption Standard,高级加密标准)数据加密认证和MD5(Message Digest
Algorithm,消息摘要算法)签名认证中的一种或多种;当安全认证通过时,为该执行服务器
分配群组。这样通过安全认证,提高了管理服务器与执行服务器之间的通信安全性。
述方法还包括:管理服务器将状态查询请求发送给监控服务器,状态查询请求包括执行服
务器标识和/或任务标识,以使监控服务器根据状态查询请求从zookeeper中获取状态查询
结果;接收监控服务器返回的状态查询结果。这样实现了对执行服务器的存活状态和任务
状态的监控。其中,任务状态数据可以包括未推送、推送中、推送异常等状态的数据。
监控功能也可以通过监控服务器主动上报执行服务器的状态数据给管理服务器来实现。
是执行服务器基于管理服务器发送的任务控制指令执行视图数据推送任务时产生的。
一种或多种。
数据发送至管理服务器,以使管理服务器基于统计数据对视图数据推送任务进行数据监控
该数据监控包括吞吐量监控、数据量监控和成功率监控中的一种或多种。这样能够实现对
视图数据推送任务的多种数据维度的监控,与现有技术中基于Prometheus的监控方式相
比,提高了监控的精细度和完整性,从而满足了用户的监控需求。
得到的报文大小加上HTTP请求自身占用的字节长度,就可以得到推送某条视图数据的流
量,从而可以计算得到一定时长内的平均每秒吞吐量。
和推送时间等。为了便于对数据的快速检索,本发明实施例中,上述方法还包括:按照日志
数据中的推送时间对推送结果数据进行不同时长维度的切割分片,并存储切割后的分片结
果数据。
吞吐量、数据量和成功率的统计,得到统计数据。通过检索与统计时间段最契合的分片结果
数据(第一数据),节约了检索时间,提高了检索速度,从而提高了数据监控的效率。
检索请求时,从分片结果数据中查找与明细检索请求中的检索时间段相匹配的第二数据;
其中,明细检索请求还包括待检索的视图数据标识、推送情况信息、数据采集设备标识和视
图数据类型中的一种或多种;根据明细检索请求对第二数据进行明细检索,得到明细检索
结果;将明细检索结果发送至管理服务器。这样监控服务器在进行明细检索时,只需查找与
检索时间段最契合的分片结果数据(第二数据),节约了检索时间,提高了检索速度。
上述方法还包括:当接收到管理服务器发送的状态查询请求时,从zookeeper中查找状态查
询请求对应的状态查询结果;其中,状态查询请求包括执行服务器标识和/或任务标识;将
状态查询结果发送至管理服务器。
现上述实施例二中的信息监控方法,监控服务器42能够实现上述实施例三中的信息监控方
法。
上述管理服务器41可以布置在外网,监控服务器42和执行服务器43可以布置在内网。需要
说明的是,管理服务器41、监控服务器42和执行服务器43也均可以布置在内网,此时监控服
务器42可以合并到管理服务器41中。
置在内网);被监控端可以为多个,每个被监控端通过端口映射与监控中心连接。在一种可
能的实现方式中,被监控端可以网省(按照网络区域划分得到的)的形式划分,也即一个网
省对应一个被监控端。这样通过一个监控中心实现了对多个网省的全量监控。
相应内容。
器和执行服务器均设置在被监控端。下面将参见图5所示的一种信息监控系统的系统架构
示意图,对该信息监控系统进行详细介绍。
制及监控各个网省的数据推送情况。
库的推送的账号权限进行管控,配置登陆各视图库需要的账号和密码;集群配置模块对
Work进行集群管理;吞吐量监控模块、数据量监控模块、成功率监控模块和历史统计模块分
别对推送的视图数据进行实时监控及历史统计;明细检索模块对某条视图数据的成功与否
或者某个检索时间段内的数据等进行检索;权限管理模块可针对不同层级的用户分配不同
的权限,对不同的视图库进行操作,超级管理员可以监控所有转发(即数据推送)的情况,包
含多种维度的数据监控,包含任务资源的分配,包含推送启停的配置及控制。
Monitor需要对Master暴露接口供其调用),在与Master进行交互时采用token认证、AES数
据加密认证和MD5签名认证等多种认证方式进行安全认证。
Master暴露接口供其调用),在与Master进行交互时(如注册或发送任务启动指令时)采用
token认证、AES数据加密认证和MD5签名认证等多种认证方式进行安全认证;每个Work只属
于一个Group,添加Group及Work节点需要在Master上进行注册,并验证通讯是否正常。
点)。
所示的一种监控界面的示意图,图6右侧即为数据量(对应图6中的平均每秒转发数)、成功
率(对应图6中的平均成功率)和吞吐量(对应图6中的平均每秒吞吐量)的监控界面,能够查
询最近5分钟到N小时内的统计数据;图6左下为历史统计界面(即图6中的近7天转发数);
“日志”页面下为明细检索页面(图6中未示出),能够查询某条成功数据、某条失败数据等。
速检索。
行监控;
网,通过外网映射暴露HTTPS端口(即端口映射),并只对Master开启访问权限,用于监控中
心统一进行监控。
track(追踪)每条数据是成功还是失败以及失败原因);
控方法。
的方法,具体实现可参见方法实施例,在此不再赘述。
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计
算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个
人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read‑Only Memory,简称ROM)、RAM、磁
碟或者光盘等各种可以存储程序代码的介质。
便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、
以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、
“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员
在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使
相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护
范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。