一种基于5G的多模型手持云端检测传输系统及检测方法转让专利

申请号 : CN202110334258.5

文献号 : CN113099175B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 齐志泉魏路红尹建英

申请人 : 苏州华云视创智能科技有限公司

摘要 :

本发明公开了一种基于5G的多模型手持云端检测传输系统及检测方法,基于5G的多模型手持云端检测传输系统,包括手持设备和云端检测模块,手持设备连接有5G网络且通过5G网络连接云端检测模块;手持设备内设有采集模块、处理模块、存储模块、检测模块和通信模块,采集模块连接处理模块,处理模块连接检测模块、存储模块和通信模块,检测模块连接存储模块和通信模块,通信模块连接5G网络。本发明通过手持设备通过5G网络实时接收学生网络检测模型进行检测,而云端检测模块则通过知识蒸馏模块进行教师网络检测模型的训练和更新,教师网络检测模型完成学生网络检测模型的训练和更新,可多设备同时工作,提高传输和处理效率。

权利要求 :

1.一种基于5G的多模型手持云端检测传输系统,其特征在于:包括手持设备和云端检测模块,所述手持设备连接有5G网络且通过5G网络连接云端检测模块;

所述手持设备内设有采集模块、处理模块、存储模块、检测模块和通信模块,所述采集模块连接处理模块,所述处理模块连接检测模块、存储模块和通信模块,所述检测模块连接存储模块和通信模块,所述通信模块连接5G网络;

所述云端检测模块包括数据库、知识蒸馏模块、检测单元、收发模块和数据处理单元,所述知识蒸馏模块连接收发模块、数据库和检测单元,所述数据处理单元连接收发模块和数据库,所述数据库还连接检测单元和收发模块,所述检测单元连接收发模块;

其中,所述手持设备根据需要检测的场景信息通过通信模块和5G网络传输给收发模块,所述收发模块将收到的场景信息传输至数据处理模块进行处理后,所述数据处理模块获取对应场景后从数据库中下载相应的训练好的学生网络检测模型通过收发模块传输至手持设备;

所述手持设备收到学生网络检测模型后完成初始化,并通过采集模块中的摄像头进行数据采集,并通过手持设备内的学生网络检测模型完成故障检测;

所述手持设备完成检测后,将对列车多个部件的检测结果进行综合,得出相应的整体检测数据,并将故障图像和整体检测数据通过5G网络上传至云端检测模块并存储于数据库中;

云端检测模块根据整体检测数据进行综合分析,完成新的教师网络检测模型的训练和更新,基于原有的数据和教师网络检测模型,通过知识蒸馏模块,训练出学生网络检测模型,用于后续的检测。

2.根据权利要求1所述的基于5G的多模型手持云端检测传输系统,其特征在于:所述知识蒸馏模块包括样本训练单元、多个教师网络检测模型和多个学生网络检测模型,所述教师网络检测模型用于通过样本训练单元,完成新的教师网络检测模型的训练、更新和学生网络检测模型的训练。

3.根据权利要求2所述的基于5G的多模型手持云端检测传输系统,其特征在于:所述学生网络检测模型的模型大小小于等于50M。

4.根据权利要求3所述的基于5G的多模型手持云端检测传输系统,其特征在于:所述采集模块包括摄像头,用于进行场景信息的数据采集。

5.一种使用如权利要求4所述的基于5G的多模型手持云端检测传输系统的检测方法,其特征在于:包括如下步骤:S1.所述手持设备根据需要检测的场景信息通过通信模块和5G网络传输给收发模块,所述收发模块将收到的场景信息传输至数据处理模块进行处理后,所述数据处理模块获取对应场景后从数据库中下载相应的训练好的学生网络检测模型通过收发模块传输至手持设备;

S2.所述手持设备收到学生网络检测模型后完成初始化,并通过采集模块中的摄像头进行数据采集,并通过手持设备内的学生网络检测模型完成故障检测;

S3.所述手持设备完成检测后,将对列车多个部件的检测结果进行综合,得出相应的整体检测数据,并将故障图像和整体检测数据通过5G网络上传至云端检测模块并存储于数据库中;

S4.云端检测模块根据整体检测数据进行综合分析,完成新的教师网络检测模型的训练和更新,基于原有的数据和教师网络检测模型,通过知识蒸馏模块,训练出学生网络检测模型,用于后续的检测。

6.根据权利要求5所述的基于5G的多模型手持云端检测传输系统的检测方法,其特征在于:步骤S4具体包括如下步骤:(41)基于数据库中的检测数据、原有的教师网络检测模型和学生网络检测模型,进行人为的标定作为训练样本,计算基于自监督的知识蒸馏损失,基于自监督的知识蒸馏损失LSS的计算公式如下所示:其中, 为教师网络检测模型自监督分类后的输出结果, 为学生网络检测模型经自监督分类后的输出结果,τ为蒸馏系数,一般τ=2,x为正整数,j为正整数;i为标识类别序号,s为学生,t为教师;

(42)基于数据库中的检测数据、原有的教师网络检测模型和学生网络检测模型,计算普通知识蒸馏的损失,普通知识蒸馏损失Lkd的计算公式如下所示:其中, 为教师网络检测模型经softmax分类后的输出结果, 为学生网络

检测模型经softmax分类后的输出结果,C为类别数目,x服从于Dx;

(43)将普通知识蒸馏损失和基于自监督的知识蒸馏损失进行加权平均,采用基于旋转角度的方式来判别数据的角度作为一个分类任务,完成学生网络检测模型的训练和更新。

说明书 :

一种基于5G的多模型手持云端检测传输系统及检测方法

技术领域

[0001] 本发明涉及高铁检测机器视觉技术领域,具体涉及一种基于5G的多模型手持云端检测传输系统及检测方法。

背景技术

[0002] 近年来,随着高铁技术的不断发展,给人的出行带来了极大的便利,然而高铁需要极大的人力物力来维护其安全运行,需要在多个方面提前或者实时的检测其状态,以便其安全运行,然而对于某些特殊的场景,我们很难提供人为的实时观测,需要通过智能的方式来辅助观测。特别是在高铁列车停车休整时的检测尤为重要,可以让整个列车提供充分的保障,以便可以在接下来的时间安全的运行。机器视觉系统作为机器人的“眼睛”,其能够借助工业像机获得被检测物体的图像,通过计算机从图像中提取有效信息并进行分析,进而实现对火车的自动化检测和评估。
[0003] 然而传统的方式通常采用实时的硬件处理和图像采集两种方案。针对于实时的故障检测系统,由于受限于手持设备的运算能力,通常情况下一种手持设备只能针对于有限的几个故障进行检测,而无法全方位的进行检测。同时这种设备的升级比较困难,需要返回给开发商进行系统升级,升级和维护的成本相对较高,不适合于这种多场景的需求。而对于那些可以通过检测结果更新模型的设备,通常需要高端的芯片,价格也会较高。而基于图像采集的方式,需要首先通过手持采集设备采集图像,然后传输给云端系统进行处理,然而这个需要一定的人为传输过程,并且需要很长的时间才可以给出相应的检测结果,效率及其低下,而且有时候受限于网络的原因,有些特殊的地方无法部署。

发明内容

[0004] 为解决上述问题,本发明提出了一种基于5G的多模型手持云端检测传输系统及检测方法,手持设备通过5G网络实时接收学生网络检测模型进行检测,而云端检测模块则通过知识蒸馏模块进行教师网络检测模型的训练和更新,教师网络检测模型完成学生网络检测模型的训练和更新,可多设备同时工作,提高传输和处理效率。
[0005] 本发明采用的技术方案是:
[0006] 本申请提出了一种基于5G的多模型手持云端检测传输系统,包括手持设备和云端检测模块,所述手持设备连接有5G网络且通过5G网络连接云端检测模块;
[0007] 所述手持设备内设有采集模块、处理模块、存储模块、检测模块和通信模块,所述所述采集模块连接处理模块,所述处理模块连接检测模块、存储模块和通信模块,所述检测模块连接存储模块和通信模块,所述通信模块连接5G网络;
[0008] 所述云端检测模块包括数据库、知识蒸馏模块、检测单元、收发模块和数据处理单元,所述知识蒸馏模块连接收发模块、数据库和检测单元,所述数据处理单元连接收发模块和数据库,所述数据库还连接检测单元和收发模块,所述检测单元连接收发模块。
[0009] 优先地,所述知识蒸馏模块包括样本训练单元、多个教师网络检测模型和多个学生网络检测模型,所述教师网络检测模型用于通过样本训练单元,完成新的教师网络检测模型的训练、更新和学生网络检测模型的训练。
[0010] 优先地,所述学生网络检测模型的模型大小小于等于50M。
[0011] 优先地,所述采集模块包括摄像头,用于进行场景信息的数据采集。
[0012] 基于上述的一种基于5G的多模型手持云端检测传输系统,本申请还提出了一种使用上述的基于5G的多模型手持云端检测传输系统的检测方法,包括如下步骤:
[0013] S1.所述手持设备根据需要检测的场景信息通过通信模块和5G网络传输给收发模块,所述收发模块将收到的场景信息传输至数据处理模块进行处理后,所述数据处理模块获取对应场景后从数据库中下载相应的训练好的学生网络检测模型通过收发模块传输至手持设备;
[0014] S2.所述手持设备收到学生网络检测模型后完成初始化,并通过采集模块中的摄像头进行数据采集,并通过手持设备内的学生网络检测模型完成故障检测;
[0015] S3.所述手持设备完成检测后,将对列车多个部件的检测结果进行综合,得出相应的整体检测数据,并将故障图像和整体检测数据通过5G网络上传至云端检测模块并存储于数据库中;
[0016] S4.云端检测模块根据整体检测数据进行综合分析,完成新的教师网络检测模型的训练和更新,基于原有的数据和教师网络检测模型,通过知识蒸馏模块,训练出学生网络检测模型,用于后续的检测。
[0017] 优先地,步骤S4具体包括如下步骤:
[0018] (41)基于数据库中的检测数据、原有的教师网络检测模型和学生网络检测模型,进行人为的标定作为训练样本,计算基于自监督的知识蒸馏损失,基于自监督的知识蒸馏损失LSS的计算公式如下所示:
[0019]
[0020] 其中, 为教师网络检测模型自监督分类后的输出结果, 为学生网络检测模型经自监督分类后的输出结果,τ为蒸馏系数,一般τ=2,x为正整数,j为正整数;
[0021] (42)基于数据库中的检测数据、原有的教师网络检测模型和学生网络检测模型,计算普通知识蒸馏的损失,普通知识蒸馏损失Lkd的计算公式如下所示:
[0022]
[0023] 其中, 为教师网络检测模型经softmax分类后的输出结果, 为学生网络检测模型经softmax分类后的输出结果,C为类别数目,x服从于Dx;
[0024] (43)将普通知识蒸馏损失和基于自监督的知识蒸馏损失进行加权平均,采用基于旋转角度的方式来判别数据的角度作为一个分类任务,完成学生网络检测模型的训练和更新。
[0025] 本发明的有益效果是:
[0026] 1.云端检测模块中设有知识蒸馏模块,其中,教师网络检测模型通过基于自监督的知识蒸馏和普通知识蒸馏进行加权平均,完成学生网络检测模型的训练和更新,通过精炼参数,提高学生网络检测模型的检测精度;
[0027] 2.更新完成的学生网络检测模型通过5G网络下发至手持设备进行检测,模型较小,减缓手持设备的运算能力,便于多个设备同时工作,减缓传输压力且提高检测效率。

附图说明

[0028] 附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
[0029] 图1是本发明的系统整体框图;
[0030] 图2是本发明的手持设备的连接示意图;
[0031] 图3是本发明的云端检测模块的连接示意图。
[0032] 图中附图标记为:1.手持设备,11.采集模块,12.处理模块,13.存储模块,14.检测模块,15.通信模块,2.云端检测模块,21.数据库,22.知识蒸馏模块,221.教师网络检测模型,222.学生网络检测模型,23.检测单元,24.收发模块,25.数据处理单元,3.5G网络。

具体实施方式

[0033] 如图1所示,本申请提出了一种基于5G的多模型手持云端检测传输系统,包括手持设备1和云端检测模块2,手持设备1连接有5G网络3且通过5G网络3连接云端检测模块2。
[0034] 如图2所示,手持设备1内设有采集模块11、处理模块12、存储模块13、检测模块14和通信模块15,采集模块11连接处理模块12,处理模块12连接检测模块14、存储模块13和通信模块15,检测模块14连接存储模块13和通信模块15,通信模块15连接5G网络3。采集模块11包括摄像头,用于进行场景信息的数据采集。
[0035] 如图3所示,云端检测模块2包括数据库21、知识蒸馏模块22、检测单元23、收发模块24和数据处理单元25,知识蒸馏模块22连接收发模块24、数据库21和检测单元23,数据处理单元25连接收发模块24和数据库21,数据库21还连接检测单元23和收发模块24,检测单元23连接收发模块24。知识蒸馏模块22包括样本训练单元、多个教师网络检测模型221和多个学生网络检测模型222,教师网络检测模型221用于通过样本训练单元,完成新的教师网络检测模型221的训练、更新和学生网络检测模型222的训练。学生网络检测模型222的模型大小小于等于50M,由于5G网络3的强大宽带,学生网络检测模型222的传输速率通常为秒级别,且检测时实用的参数量小于教师网络检测模型221。
[0036] 如图1所示,基于上述的一种基于5G的多模型手持云端检测传输系统,本申请还提出了一种使用上述的基于5G的多模型手持云端检测传输系统的检测方法,包括如下步骤:
[0037] S1.手持设备1根据需要检测的场景信息通过通信模块15和5G网络3传输给收发模块24,收发模块24将收到的场景信息传输至数据处理模块12进行处理后,数据处理模块12获取对应场景后从数据库21中下载相应的训练好的学生网络检测模型222通过收发模块24传输至手持设备1。
[0038] S2.手持设备1收到学生网络检测模型222后完成初始化,并通过采集模块11中的摄像头进行数据采集,并通过手持设备1内的学生网络检测模型222完成故障检测。
[0039] S3.手持设备1完成检测后,将对列车多个部件的检测结果进行综合,得出相应的整体检测数据,并将故障图像和整体检测数据通过5G网络3上传至云端检测模块2并存储于数据库21中。
[0040] S4.云端检测模块2根据整体检测数据进行综合分析,完成新的教师网络检测模型221的训练和更新,基于原有的数据和教师网络检测模型221,通过知识蒸馏模块22,训练出学生网络检测模型222,用于后续的检测。
[0041] 步骤S4具体包括如下步骤:
[0042] (41)基于数据库21中的检测数据、原有的教师网络检测模型221和学生网络检测模型222,进行人为的标定作为训练样本,计算基于自监督的知识蒸馏损失,基于自监督的知识蒸馏损失LSS的计算公式如下所示:
[0043]
[0044] 其中, 为教师网络检测模型221自监督分类后的输出结果, 为学生网络检测模型222经自监督分类后的输出结果,τ为蒸馏系数,一般τ=2,x为正整数,j为正整数。
[0045] (42)基于数据库21中的检测数据、原有的教师网络检测模型221和学生网络检测模型222,计算普通知识蒸馏的损失,普通知识蒸馏损失Lkd的计算公式如下所示:
[0046]
[0047] 其中, 为教师网络检测模型221经softmax分类后的输出结果, 为学生网络检测模型222经softmax分类后的输出结果,C为类别数目,x服从于Dx。
[0048] (43)将普通知识蒸馏损失和基于自监督的知识蒸馏损失进行加权平均,采用基于旋转角度的方式来判别数据的角度作为一个分类任务,完成学生网络检测模型222的训练和更新。
[0049] 以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。