一种基于时间感知的自适应深度学习的数据治理服务方法转让专利
申请号 : CN202011229927.4
文献号 : CN112422234B
文献日 : 2021-08-13
发明人 : 张新菊 , 江海燕 , 翟璐璐 , 刘阳 , 张卫伟
申请人 : 应急管理部通信信息中心
摘要 :
权利要求 :
1.一种基于时间感知的自适应深度学习的数据治理服务方法,其特征在于,包括如下步骤:
步骤1、将数据帧划分为前半部分和后半部分:向每个申请用户广播帧数据治理服务信息,每个数据帧被划分为k个数据治理服务位置区间,位置区间长度与用户数据包时间长度相同,用户发送数据包时数据包首部落在对应的数据治理服务位置区间内;
步骤2、初始时刻用户发送数据治理服务包:用户根据步骤1收到的广播信息选择数据治理服务信息的前半部分或后半部分,在第一次发送数据包时,所有用户依次经过产生源信号,调制产生传输数据,然后随机选择帧内的两个不同数据治理服务位置区间中的随机位置发送,发送的两个副本功率相同;
步骤3、用户根据检测结果更新各个位置区间的时间感知自适应深度学习评估值,具体的,用户收到数据治理服务检测信息后,会根据检测结果完成各个位置区间评估值更新;
步骤4、所有用户选择自适应深度学习评估值最大的两个位置区间继续发送数据包。
2.根据权利要求1所述的一种基于时间感知的自适应深度学习的数据治理服务方法,其特征在于:
所述步骤3中的数据治理服务检测信息是指对数据资源池中的海量数据资源质量评估、检查和控制,根据规则生成数据质量分析报告,确保数据服务质量;对于不符合质量标准的数据则需要打回重新进行加工处理,直至符合相关质量标准后才可导入整合基础库;
数据治理服务检测是在数据服务质检规则的基础上,制定数据服务质量标准,首先需要制定完善数据服务的质检方案;数据服务质量检测方案是根据数据质量的标准定义,在数据质检规则中选取相应的质检规则,并配置相关参数,从而形成一套完善的数据服务质检方案;数据服务质检方案包括质检方案的创建、数据规则的选取、 质检方案的保持。
3.根据权利要求1所述的一种基于时间感知的自适应深度学习的数据治理服务方法,其特征在于:
所述步骤4中,用户更新过自适应深度学习评估值后,在下次传输中会选择自适应深度学习评估值最大的两个位置区间发送数据包副本,如果存在多个位置区间评估值最大,用户会从中随机选取两个数据治理服务位置区间传输;如果数据包副本所在位置区间前一帧和本帧序号相同的话,那么用户保持前一帧所在位置继续发送副本;如果不同的话,那副本在本次选择的数据治理服务位置区间内随机选择一个位置发送。
4.根据权利要求1所述的一种基于时间感知的自适应深度学习的数据治理服务方法,其特征在于,还包括:
对数据资源服务进行建模,包括服务ID和服务行为描述,所述服务ID对数据治理服务进行了全局唯一命名,服务行为描述从数据治理服务的拓扑位置、服务功能和特性方面对数据资源服务进行语义化描述;
在数据治理服务模式中,向用户提供服务的时间由于网络原因造成一定的延迟,从而服务时间即为随机时间;同理用户访问数据治理服务的时间也是随机时间;假设实施时间t为服从τ分布的随机变量,则t的概率密度函数为:其中α>0,β>0,α、β均为常数, θ为数据资源服务网络延迟;
则数据治理服务资源服务模型的层次随机PETRI网具体建模如下:SPN=(P,T,D,A,M0,c1,α,β)
1)SPN(P,T,D,A,M0,c1,α,β)是一个随机PETRI网:
2)P为控制及数据Token的非空有限库所集,是存放数据治理服务节点、数据治理服务申请参数的缓冲区;
3)T为转换状态有限集,T={T1,T2,…,Tn}是一个有限变迁集,n>0,且T=Tt∪Ts,其中Tt为时间变迁的有限集,Ts为瞬时变迁的有限集,与层次随机相关联的平均变迁实施速率集合λ={λ1,λ2…λk﹜,k为时间变迁的数量;
4)D=(P∩T)U(T∩P)为流关系,即有向弧集,P∩T=ф,P∪T!=ф;D中允许有禁止弧h,且h∈(P×T);A:数据治理服务模型的层次关系;
5)M0表示库所有数据治理服务资源有限集初始节点,即数据治理服务的初始节点;
6)c1T‑>[0,1]表示每条转换弧的时间代价到[0,1]概率的映射;
7)α:P‑>[0,1]表示每个库所到[0,1]概率的映射;
8)β:P‑>D库所到服务器资源的映射函数,其中转换路径是通过时间感知的自适应深度学习算法的路由拓扑算法的选择决定的。
5.根据权利要求1所述的一种基于时间感知的自适应深度学习的数据治理服务方法,其特征在于,所述步骤1中:
初始时刻评估值均为0,最大学习帧数T=60,学习速率为a,激活的用户个数为Nusers,位置区间数k=100。
说明书 :
一种基于时间感知的自适应深度学习的数据治理服务方法
技术领域
背景技术
行分析研究。但是由于并不涉及数据装载过程,因为目标端的装载方式,源端并不能控制。
数据治理服务提供者先对需要进行服务的数据资源进行精确化的描述,然后将其在注册中
心注册。数据资源请求者则根据需求信息,采用一定的寻址方式查找满足需求的数据资源
服务。在这过程中,数据资源服务的建模与表征是整个数据资源服务计算模式中最为重要
部分。
服务在服务模式方法面临了更多的挑战,因而关于数据资源密集型服务的服务组合方法也
得到了越来越多的研究。
流程建模方法能够支持数据治理服务模式的动态修改,从而使模型具有一定的灵活性。但
是这种模型只考虑了服务中的前置条件,并未形成完整的数据治理服务模型。
发明内容
中均存在数据包随机选择发送位置,导致信道资源浪费,然后结合时间感知的自适应深度
学习算法,给出了自适应服务方案。针对大时延问题,将数据帧划分为多个均匀位置区间,
用户对位置区间进行学习,直至用户倾向于选择固定位置区间内位置发送数据包,且在算
法迭代过程中,采用粒子权重构策略使种群中进化能力较弱的粒子向进化能力较强的粒子
进行学习,重新构造生成新粒子。
在对应的数据治理服务位置区间内;
帧内的两个不同数据治理服务位置区间中的随机位置发送,发送的两个副本功率相同;
新;
不符合质量标准的数据则需要打回重新进行加工处理,直至符合相关质量标准后才可导入
整合基础库。数据服务质量的好坏关系整个数据治理服务的成败,使用实时准确的数据才
能指导数据治理服务业务管理做出正确的决策,提高综合竞争力。
义,在数据质检规则中选取相应的质检规则,并配置相关参数,从而形成一套完善的数据服
务质检方案;数据服务质检方案主要包括质检方案的创建、数据规则的选取,质检方案的保
持等质检方案的基本管理功能。
评估值最大,用户会从中随机选取两个数据治理服务位置区间传输;如果数据包副本所在
位置区间前一帧和本帧序号相同的话,那么用户保持前一帧所在位置继续发送副本;如果
不同的话,那副本在本次选择的数据治理服务位置区间内随机选择一个位置发送。
服务功能和特性方面对数据资源服务进行语义化描述;
时间t为服从τ分布的随机变量,则t的概率密度函数为:
速率集合λ={λ1,λ2…λk﹜,k为时间变迁的数量;
复杂度为O(mn)。本发明时间感知的自适应深度学习算法也仅仅额外付出了n/m的时间代
价。且由于在本章所提出的方法中一个客户端仅需管理部分数据治理服务,从而在一定程
度降低了客户端的负载,因此该方法对于数据密集型服务是非常有利的。
分帧,用户只在前半部分(后半部分)帧中接入数据治理服务包。而且将数据帧划分为多个
均匀的位置区间,化数据帧内无限个发送位置为有限个位置区间,通过时间感知的自适应
深度学习算法将用户在多个前半部分(后半部分)帧中发送数据治理服务包的位置联系起
来,每个用户分别对各自发送数据治理服务包在帧内的位置进行学习,很大程度上解决了
用户数据包发送位置的随机性导致信道资源利用率不高,进而带来吞吐量较低,丢包率较
高的问题。实验结果表明,假设发送端用户数据包采用泊松分布进行接入,在三种仿真环境
下对适应深度学习的数据治理服务方案进行计算机仿真,分别从吞吐量、丢包率等方面说
明基于时间感知的自适应深度学习算法的数据治理服务方案大大提升了系统性能。在解决
高维复杂问题时该算法在收敛速度与收敛精度上都有明显的优势。
附图说明
具体实施方式
本发明中的实施例,本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其
他实施例,都属于本发明的保护范围。
施时间t 为服从τ分布的随机变量,则t的概率密度函数为:
速率集合λ={λ1,λ2…λk﹜,k为时间变迁的数量;
于时间感知的自适应深度学习算法的数据资源服务建模方法。该方法主要包括了服务ID
和服务行为描述。前者对数据治理服务进行了全局唯一命名,后者从数据治理服务的拓扑
位置、服务功能和其他特性等方面对数据资源服务进行了语义化描述。基本框架如图 1所
示。
外提供数据资源服务。
服务环境模型中不断进行学习,推导出最优的策略;另一种是数据治理服务资源模型不需
要进行数据治理服务资源建模,直接进行自适应深度学习得到最优的策略。常见的强化深
度学习算法如下:
(λ),其中最简单的为一步算法,即TD(0)算法。一步TD算法在获得瞬时奖赏值后,只需要回
退一步,修改相邻状态的估计值即可。可由如下公式表示:
据治理服务方案示意图。
置进行区间评估,如1a‑2a,1b‑2b等,对利用时间感知的自适应深度学习评估后的区间内数
据资源进行对外提供服务。使用P(i,j)表示第i个数据治理服务资源申请用户在第j个位置
区间的评估值,评估值更大的位置区间表示用户在该数据治理服务位置区间传输成功的机
率更高,因而每次发送时,由用户来选择数据治理服务评估值最大的两个位置区间来发送
数据治理服务包。申请用户在初始发送阶段,对其他申请环境信息一无所知,因此时间感知
的自适应深度学习算法评估表初始化为全零的矩阵。自适应深度学习简化的更新算法如下
所示:
帧的数据治理服务包传输的反馈,但是从用户发出信号至接收到反馈信号的时延一般不超
过一帧的传输时间。这里,本发明提出一种数据治理服务发送端采用帧交替处理的方案,即
将数据治理服务帧分成前半部分和后半部分,分别采用自适应深度学习接入。前半部分和
后半部分内的数据治理服务位置区间评估值是独立的,前半部分的反馈会在帧的传输时延
内反馈回来,即下一个前半部分会收到来自上一个前半部分的反馈,用于评估值的更新,同
理,后半部分亦然。这相当于在前半部分和后半部分同时开展两个独立的互不相关的自适
应深度学习过程。最终当前半部分和后半部分内的自适应深度学习过程均达到收敛后,认
为整个数据治理服务系统达到收敛的稳定状态。
位置;
在对应的数据治理服务位置区间内。
两个不同数据治理服务位置区间中的随机位置发送,发送的两个副本功率相同。
随机选取两个数据治理服务位置区间传输;如果数据包副本所在位置区间前一帧和本帧序
号相同的话,那么用户保持前一帧所在位置继续发送副本;如果不同的话,那副本在本次选
择的数据治理服务位置区间内随机选择一个位置发送。
局部排序,在该数据治理服务模型中,由于每两个服务都需要根据时间感知进行比较,其中
每对服务利用时间序列分析进行预测。故对单个数据治理服务用户而言,该算法的时间复
杂度为 其中 为用户j所管理的服务数。对所有申请数据治理服务的用户而言,该算
法的时间复杂度为 假设本发明算法通过l步可达到最终的收敛,得到时间感知的
2
自适应深度学习评估值,故算法的时间复杂度为O(ln)。最后,需要对计算出的自适应深度
学习评估值进行排序,得出最终的数据治理服务全局排序,该排序算法的时间复杂度为O
(nlogn)。
算法复杂度为O(mn)。本发明时间感知的自适应深度学习算法也仅仅额外付出了n/m的时间
代价。且由于在本章所提出的方法中一个客户端仅需管理部分数据治理服务,从而在一定
程度降低了客户端的负载,因此该方法对于数据密集型服务是非常有利的。
松分布。假设用户数据包副本数为两个,数据包长度为200比特,数据帧长度为20000比特,
从物理层角度来看,信噪比(SNR)考虑高信噪比和低信噪比两种环境。其具体的仿真参数如
表1所示。
帧长度(比特) 20000
仿真次数 6000
数据包副本数 2
FEC编码 Turbo编码,1/2码率
学习速率 0.1
学习帧数 50
信噪比SNR(dB) 4,20
出的QECRA‑2数据治理服务模式的系统性能均比无FEC情况要好。QECRA‑2峰值吞吐量达到
了1,在系统负载不超过1比特/符号且Q学习算法使系统达到收敛状态时,QECRA‑2的系统负
载和吞吐量成线性关系,而CRA‑2只能达到0.5,ECRA‑2只能达到0.6。图4中可以看出,当系
统负载比较小时,CRA‑2和ECRA‑2协议虽然丢包率比较低,但是还是在随着系统负载的增大
而迅速增大,而提出的QECRA‑2数据治理服务模式在系统负载不超过1时均为0,即数据帧中
的用户全部正确接入。
学习算法在求解高维问题时具有突出优势。此外,在图5,图6中分别展示了算法在部分函数
上收敛情况,从图中可以清晰的观察出时间感知的自适应深度学习算法在收敛速度与收敛
精度上均具有显著优势。虽然时间感知的自适应深度学习算法自身也存在不足,当维数增
加时,算法的稳定性相比其他算法略显不足,但总的来说,时间感知的自适应深度学习算法
与其他算法相比,在优化结果上都大有提升。
如果迭代到200000次后仍达不到要求的精度,则用“一”表示,如表3所示。由表3知,在实验
环境相同的情况下,时间感知的自适应深度学习算法达到指定精度要求时所运行的时间要
比标准粒子群算法及其改进算法的运行时间更优,从运行时间方面再次验证了时间感知的
自适应深度学习算法的有效性。
F0 1.04E+00 4.94E‑01 5.73E‑02
F1 1.02E+00 8.17E‑01 9.43E‑01
F2 1.23E+00 5.22E‑01 1.58E‑02
F3 1.16E+00 5.36E‑01 1.46E‑02
F4 1.23E+00 5.92E‑01 1.42E‑02
F5 1.04E+00 ‑ 4.60E‑02
F6 ‑ ‑ 4.70E‑02
F7 ‑ ‑ 3.77E‑01
F8 ‑ ‑ 9.25E‑O1
F9 ‑ ‑ ‑
理服务进行实验,本发明随着数据集的变化改变从每个数据治理服务客户端中所选取的服
务的比例,该比例从10%到60%进行变化,且变化的步长为10%,从而更好地比较出时间感
知的自适应深度学习数据治理服务方法在处理不同密度数据集矩阵的能力。例如,10%意
味着对每个申请数据治理服务的客户端随机选取10%的服务用于预测所有数据治理服务
的自适应深度学习评估值的全局排序。如上所述,本发明进行了20组实验,并按照上面所述
的两个评价标准进行计算自适应深度学习评估值排序的准确度。此外,对比了传统方法与
本章方法的响应时间,进一步说明本发明方法对于不同类型数据治理服务的自适应性。
数据治理服务评价模型时各有利弊,通过以上对各种算法分类能力、有效性等方面进行对
比分析,综合分析各种算法进行分类的优缺点,将各种数据治理服务评价模型与传统的模
糊综合评判方法的对比情况归纳如表4所示。
度,而且提取的级别规则个数少;自适应粒子群优化训练精度和测试精度略高于时间感知
的自适应深度学习算法;时间感知的自适应深度学习算法训练精度最高,达到87%以上,且
可对输入的连续型属性进行分类学习,测试精度达到84%,这说明时间感知的自适应深度
学习算法能较好的学习训练不同类型的数据治理服务。
且间感知的自适应深度学习算法的数据治理服务由于剔除了无效规则和低效规则,使得规
则集合中无效的规则较少,所有的6条规则平均有效性仅0.02.
分帧,用户只在前半部分(后半部分)帧中接入数据治理服务包。而且将数据帧划分为多个
均匀的位置区间,化数据帧内无限个发送位置为有限个位置区间,通过时间感知的自适应
深度学习算法将用户在多个前半部分(后半部分)帧中发送数据治理服务包的位置联系起
来,每个用户分别对各自发送数据治理服务包在帧内的位置进行学习,很大程度上解决了
用户数据包发送位置的随机性导致信道资源利用率不高,进而带来吞吐量较低,丢包率较
高的问题。实验结果表明,假设发送端用户数据包采用泊松分布进行接入,在三种仿真环境
下对适应深度学习的数据治理服务方案进行计算机仿真,分别从吞吐量、丢包率等方面说
明基于时间感知的自适应深度学习算法的数据治理服务方案大大提升了系统性能。在解决
高维复杂问题时该算法在收敛速度与收敛精度上都有明显的优势。
术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些
变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。