一种用于数据融合的数据预处理方法及装置转让专利

申请号 : CN201910291404.3

文献号 : CN109766958B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 孙兴焕

申请人 : 江苏量动信息科技有限公司

摘要 :

本申请涉及数据融合技术领域,公开了一种用于数据融合的预处理方法及装置,在所述方法中,任意获取两个不同种类的传感器测量所得的数据,并将这两个不同种类的传感器测量所得的数据分别设置为目标数据以及参照数据。根据目标数据以及参照数据,获取目标数据的特征以及参照数据的特征。接着,获取目标特征描述集合以及参照特征描述集合。然后根据目标数据的特征、参照数据的特征、目标特征描述集合以及参照特征描述集合,获取目标数据与参照数据的相似度。最后根据相似度,通过判断相似度是否大于预设的临界阈值,进而判断目标数据与参照数据是否能够进行融合。相较于现有技术,本申请公开的方法提高了数据融合的效率。

权利要求 :

1.一种用于数据融合的数据预处理方法,其特征在于,包括:

获取第一测量数据,所述第一测量数据包括不同种类的传感器测量所得的数据;

根据所述第一测量数据,任意获取两个不同种类的传感器测量所得的数据,并将这两个不同种类的传感器测量所得的数据分别设置为目标数据以及参照数据;

根据所述目标数据,获取所述目标数据的特征,以及,根据所述参照数据,获取所述参照数据的特征;

根据所述目标数据的特征,获取目标特征描述集合,以及,根据所述参照数据的特征,获取参照特征描述集合,其中,所述目标特征描述集合为描述所述目标数据特征的状态集合,所述参照特征描述集合为描述所述参照数据特征的状态集合;

根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据的相似度;

根据所述相似度,判断所述相似度是否大于预设的临界阈值,若所述判断结果为是,则判定所述目标数据与所述参照数据能够进行融合,若所述判断结果为否,则判定所述目标数据与所述参照数据不能进行融合;

在获取所述第一测量数据之前,所述方法还包括:

获取初始测量数据,所述初始测量数据包括所有传感器测量所得的初始数据,所述所有传感器包括不同种类的传感器,每一种传感器包括多个传感器;

对所述初始测量数据进行评估,获取所述初始测量数据的评估值;

根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵;

根据所述信任度矩阵,获取所述同种类传感器中信任度较高的传感器,并将所述信任度较高的传感器的初始测量数据评估值设置为第一测量数据;

其中,所述对所述初始测量数据进行评估,获取所述初始测量数据的评估值,包括:根据所述初始测量数据,将目标传感器测量所得的初始数据设置为目标初始数据,所述目标传感器为所述所有传感器中的任意一个,所述目标初始数据中包括所述目标传感器多次进行测量的数据;

根据所述目标初始数据,获取所述目标传感器的单次目标初始数据,并将所述单次目标初始数据划分为奇项初始数据和偶项初始数据;

根据所述奇项初始数据,获取所述奇项初始数据的平均值和标准差,以及,根据所述偶项初始数据,获取所述偶项初始数据的平均值和标准差;

根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,所述局部融合结果包括平均值融合值以及标准差融合值;

根据所述单次目标初始数据的局部融合结果,获取所述目标初始数据的评估值;

获取所述初始测量数据的评估值,所述初始测量数据的评估值包括所有初始测量数据的评估值。

2.根据权利要求1所述的方法,其特征在于,所述根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据之间的相似度,包括:根据所述目标数据的特征以及所述参照数据的特征,建立特征相似度模型,所述特征相似度模型用于表征所述目标数据特征以及所述参照数据特征之间的相似度;

根据所述目标特征描述集合、所述参照特征描述集合以及所述特征相似度模型,获取所述目标数据与所述参照数据的相似度。

3.根据权利要求2所述的方法,其特征在于,

通过以下公式获取所述目标数据与所述参照数据之间的相似度:

其中,Sf(a,b)表示所述目标数据与所述参照数据之间的相似度,a表示所述目标数据的特征,b表示所述参照数据的特征,A表示所述目标特征描述集合,B表示所述参照特征描述集合,f(A∩B)表示既属于所述目标特征描述集合,又属于所述参照特征描述集合的状态的个数,f(A-B)表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述目标特征描述集合,但不属于所述参照特征描述集合的状态的个数,f(B-A)表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述参照特征描述集合,但不属于所目标特征描述集合的状态的个数,α表示对所述参照数据特征的关注度,β表示对所述目标数据特征的关注度。

4.根据权利要求1所述的方法,其特征在于,所述根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,包括:通过以下公式获取所述单次目标初始数据的局部融合结果:

其中,表示所述平均值融合值, 表示所述标准差融合值, 表示所述奇项初始数据的平均值, 表示所述偶项初始数据的平均值,σ1表示所述奇项初始数据的标准差,σ2表示所述偶项初始数据的标准差。

5.根据权利要求1所述的方法,其特征在于,所述根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵,包括:根据所述初始测量数据的评估值,获取针对同种类的传感器,获取所述同种类传感器的初始测量数据评估值;

根据所述同种类传感器的初始测量数据评估值,获取所述同种类传感器之间的置信距离;

根据所述置信距离,建立所述同种类传感器的初始测量数据的信任度矩阵。

6.一种用于数据融合的数据预处理装置,其特征在于,包括:

第一数据获取模块,用于获取第一测量数据,所述第一测量数据包括不同种类的传感器测量所得的数据;

第二数据获取模块,用于根据所述第一测量数据,任意获取两个不同种类的传感器测量所得的数据,并将这两个不同种类的传感器测量所得的数据分别设置为目标数据以及参照数据;

特征获取模块,用于根据所述目标数据,获取所述目标数据的特征,以及,根据所述参照数据,获取所述参照数据的特征;

特征描述集合获取模块,用于根据所述目标数据的特征,获取目标特征描述集合,以及,根据所述参照数据的特征,获取参照特征描述集合,其中,所述目标特征描述集合为描述所述目标数据特征的状态集合,所述参照特征描述集合为描述所述参照数据特征的状态集合;

相似度获取模块,用于根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据的相似度;

判断模块,用于根据所述相似度,判断所述相似度是否大预设的临界阈值,若所述判断结果为是,则判定所述目标数据与所述参照数据能够进行融合,若所述判断结果为否,则判定所述目标数据与所述参照数据不能进行融合;

所述装置还包括:

初始数据获取模块,用于获取初始测量数据,所述初始测量数据为所有传感器测量所得的初始数据,所述所有传感器包括不同种类的传感器,每一种传感器包括多个传感器;

评估模块,用于对所述初始测量数据进行评估,获取所述初始测量数据的评估值;

信任度矩阵建立模块,用于根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵;

第一数据设置模块,用于根据所述信任度矩阵,获取所述同种类传感器中信任度较高的传感器,并将所述信任度较高的传感器的初始测量数据评估值设置为第一测量数据;

其中,所述评估模块包括:

目标初始数据设置单元,用于根据所述初始测量数据,将目标传感器测量所得的初始数据设置为目标初始数据,所述目标传感器为所述所有传感器中的任意一个,所述目标初始数据中包括所述目标传感器多次进行测量的数据;

单次目标初始数据获取单元,用于根据所述目标初始数据,获取所述目标传感器的单次目标初始数据,并将所述单次目标初始数据划分为奇项初始数据和偶项初始数据;

第一计算单元,用于根据所述奇项初始数据,获取所述奇项初始数据的平均值和标准差,以及,根据所述偶项初始数据,获取所述偶项初始数据的平均值和标准差;

局部融合结果获取单元,用于根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,所述局部融合结果包括平均值融合值以及标准差融合值;

第一评估值获取单元,用于根据所述单次目标初始数据的局部融合结果,获取所述目标初始数据的评估值;

第二评估值获取单元,用于获取所述初始测量数据的评估值,所述初始测量数据的评估值包括所有初始测量数据的评估值。

7.根据权利要求6所述的装置,其特征在于,所述相似度获取模块包括:模型建立单元,用于根据所述目标数据的特征以及所述参照数据的特征,建立特征相似度模型,所述特征相似度模型用于表征所述目标数据特征以及所述参照数据特征之间的相似度;

相似度获取单元,用于根据所述目标特征描述集合、所述参照特征描述集合以及所述特征相似度模型,获取所述目标数据与所述参照数据的相似度。

说明书 :

一种用于数据融合的数据预处理方法及装置

技术领域

[0001] 本申请涉及数据融合技术领域,尤其涉及一种用于数据融合的数据预处理方法及装置。

背景技术

[0002] 多传感系统是指利用多个传感器,获取关于某个客观事实的全面、完整的信息,例如,在高速公路应用场景中,当需要针对车流量这一客观事实进行分析时,常通过设置地磁传感器和光照传感器进行实时测量,然后基于测量所得的数据进行分析,获取有关车流量的信息。对于多传感系统来说,所获取的数据具有多样性和复杂性,各类传感器提供的数据具有不同的特征,在针对不同的分析需求时,为了提高数据的可信度以及利用率,通常使用数据融合技术对各传感器及其测量的数据进行合理支配与融合。
[0003] 除了对数据的真实性判断,数据融合技术的关键还在于确定各传感器数据的权重。因此现有技术在对数据融合之前,通常会使用预处理方法对测量数据进行预处理。常用的数据预处理方法中,主要通过计算传感器的测量方差,来决定各传感器的测量数据在数据融合时的权重,进而实现数据融合。
[0004] 但是,申请人在本发明的研究过程中发现,现有技术中的数据预处理方法,在数据融合之前计算出多传感系统中各传感器测量数据的权重,进而根据权重对所有的传感器数据进行融合。实际应用中,多传感器系统中的各类传感器数据具有不同的特征,当需要对某一客观事实进行分析时,可能不需要对所有的传感器测量数据进行数据融合,现有技术中的数据预处理方法不能够判断出哪些传感器的数据可以融合,哪些传感器的数据不能融合,而是将所有的传感器测量数据进行融合,将会增加计算量,降低数据融合的效率。

发明内容

[0005] 为了解决现有技术中的数据预处理方法降低了数据融合的效率,而且导致数据融合所得的结果与实际所需的结果之间产生误差的问题,本申请通过以下实施例公开一种用于数据融合的数据预处理方法及装置。
[0006] 在本申请第一方面,公开一种用于数据融合的数据预处理方法,包括:
[0007] 获取第一测量数据,所述第一测量数据包括不同种类的传感器测量所得的数据;
[0008] 根据所述第一测量数据,任意获取两个不同种类的传感器测量所得的数据,并将这两个不同种类的传感器测量所得的数据分别设置为目标数据以及参照数据;
[0009] 根据所述目标数据,获取所述目标数据的特征,以及,根据所述参照数据,获取所述参照数据的特征;
[0010] 根据所述目标数据的特征,获取目标特征描述集合,以及,根据所述参照数据的特征,获取参照特征描述集合,其中,所述目标特征描述集合为描述所述目标数据特征的状态集合,所述参照特征描述集合为描述所述参照数据特征的状态集合;
[0011] 根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据的相似度;
[0012] 根据所述相似度,判断所述相似度是否大于预设的临界阈值,若所述判断结果为是,则判定所述目标数据与所述参照数据能够进行融合,若所述判断结果为否,则判定所述目标数据与所述参照数据不能进行融合。
[0013] 可选的,所述根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据之间的相似度,包括:
[0014] 根据所述目标数据的特征以及所述参照数据的特征,建立特征相似度模型,所述特征相似度模型用于表征所述目标数据特征以及所述参照数据特征之间的相似度;
[0015] 根据所述目标特征描述集合、所述参照特征描述集合以及所述特征相似度模型,获取所述目标数据与所述参照数据的相似度。
[0016] 可选的,
[0017] 通过以下公式获取所述目标数据与所述参照数据之间的相似度:
[0018] ;
[0019] 其中, 表示所述目标数据与所述参照数据之间的相似度, 表示所述目标数据的特征, 表示所述参照数据的特征, 表示所述目标特征描述集合, 表示所述参照特征描述集合, 表示既属于所述目标特征描述集合,又属于所述参照特征描述集合的状态的个数, 表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述目标特征描述集合,但不属于所述参照特征描述集合的状态的个数, 表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述参照特征描述集合,但不属于所目标特征描述集合的状态的个数, 表示对所述参照数据特征的关注度, 表示对所述目标数据特征的关注度。
[0020] 可选的,在获取所述第一测量数据之前,所述方法还包括:
[0021] 获取初始测量数据,所述初始测量数据包括所有传感器测量所得的初始数据,所述所有传感器包括不同种类的传感器,每一种传感器包括多个传感器;
[0022] 对所述初始测量数据进行评估,获取所述初始测量数据的评估值;
[0023] 根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵;
[0024] 根据所述信任度矩阵,获取所述同种类传感器中信任度较高的传感器,并将所述信任度较高的传感器的初始测量数据评估值设置为第一测量数据。
[0025] 可选的,所述对所述初始测量数据进行评估,获取所述初始测量数据的评估值,包括:
[0026] 根据所述初始测量数据,将目标传感器测量所得的初始数据设置为目标初始数据,所述目标传感器为所述所有传感器中的任意一个,所述目标初始数据中包括所述目标传感器多次进行测量的数据;
[0027] 根据所述目标初始数据,获取所述目标传感器的单次目标初始数据,并将所述单次目标初始数据划分为奇项初始数据和偶项初始数据;
[0028] 根据所述奇项初始数据,获取所述奇项初始数据的平均值和标准差,以及,根据所述偶项初始数据,获取所述偶项初始数据的平均值和标准差;
[0029] 根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,所述局部融合结果包括平均值融合值以及标准差融合值;
[0030] 根据所述单次目标初始数据的局部融合结果,获取所述目标初始数据的评估值;
[0031] 获取所述初始测量数据的评估值,所述初始测量数据的评估值包括所有初始测量数据的评估值。
[0032] 可选的,所述根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,包括:
[0033] 通过以下公式获取所述单次目标初始数据的局部融合结果:
[0034] ;
[0035] ;
[0036] 其中, 表示所述平均值融合值, 表示所述标准差融合值, 表示所述奇项初始数据的平均值, 表示所述偶项初始数据的平均值, 表示所述奇项初始数据的标准差, 表示所述偶项初始数据的标准差。
[0037] 可选的,所述根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵,包括:
[0038] 根据所述初始测量数据的评估值,获取针对同种类的传感器,获取所述同种类传感器的初始测量数据评估值;
[0039] 根据所述同种类传感器的初始测量数据评估值,获取所述同种类传感器之间的置信距离;
[0040] 根据所述置信距离,建立所述同种类传感器的初始测量数据的信任度矩阵。
[0041] 在本申请第二方面,公开一种用于数据融合的数据预处理装置,包括:
[0042] 第一数据获取模块,用于获取第一测量数据,所述第一测量数据包括不同种类的传感器测量所得的数据;
[0043] 第二数据获取模块,用于根据所述第一测量数据,任意获取两个不同种类的传感器测量所得的数据,并将这两个不同种类的传感器测量所得的数据分别设置为目标数据以及参照数据;
[0044] 特征获取模块,用于根据所述目标数据,获取所述目标数据的特征,以及,根据所述参照数据,获取所述参照数据的特征;
[0045] 特征描述集合获取模块,用于根据所述目标数据的特征,获取目标特征描述集合,以及,根据所述参照数据的特征,获取参照特征描述集合,其中,所述目标特征描述集合为描述所述目标数据特征的状态集合,所述参照特征描述集合为描述所述参照数据特征的状态集合;
[0046] 相似度获取模块,用于根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据的相似度;
[0047] 判断模块,用于根据所述相似度,判断所述相似度是否大预设的临界阈值,若所述判断结果为是,则判定所述目标数据与所述参照数据能够进行融合,若所述判断结果为否,则判定所述目标数据与所述参照数据不能进行融合。
[0048] 可选的,所述相似度获取模块包括:
[0049] 模型建立单元,用于根据所述目标数据的特征以及所述参照数据的特征,建立特征相似度模型,所述特征相似度模型用于表征所述目标数据特征以及所述参照数据特征之间的相似度;
[0050] 相似度获取单元,用于根据所述目标特征描述集合、所述参照特征描述集合以及所述特征相似度模型,获取所述目标数据与所述参照数据的相似度。
[0051] 可选的,所述装置还包括:
[0052] 初始数据获取模块,用于获取初始测量数据,所述初始测量数据为所有传感器测量所得的初始数据,所述所有传感器包括不同种类的传感器,每一种传感器包括多个传感器;
[0053] 评估模块,用于对所述初始测量数据进行评估,获取所述初始测量数据的评估值;
[0054] 信任度矩阵建立模块,用于根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵;
[0055] 第一数据设置模块,用于根据所述信任度矩阵,获取所述同种类传感器中信任度较高的传感器,并将所述信任度较高的传感器的初始测量数据评估值设置为第一测量数据。
[0056] 可选的,所述相似度获取模块还用于通过以下公式获取所述目标数据与所述参照数据之间的相似度:
[0057] ;
[0058] 其中, 表示所述目标数据与所述参照数据之间的相似度, 表示所述目标数据的特征, 表示所述参照数据的特征, 表示所述目标特征描述集合, 表示所述参照特征描述集合, 表示既属于所述目标特征描述集合,又属于所述参照特征描述集合的状态的个数, 表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述目标特征描述集合,但不属于所述参照特征描述集合的状态的个数, 表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述参照特征描述集合,但不属于所目标特征描述集合的状态的个数, 表示对所述参照数据特征的关注度, 表示对所述目标数据特征的关注度。
[0059] 可选的,所述评估模块包括:
[0060] 目标初始数据设置单元,用于根据所述初始测量数据,将目标传感器测量所得的初始数据设置为目标初始数据,所述目标传感器为所述所有传感器中的任意一个,所述目标初始数据中包括所述目标传感器多次进行测量的数据;
[0061] 单次目标初始数据获取单元,用于根据所述目标初始数据,获取所述目标传感器的单次目标初始数据,并将所述单次目标初始数据划分为奇项初始数据和偶项初始数据;
[0062] 第一计算单元,用于根据所述奇项初始数据,获取所述奇项初始数据的平均值和标准差,以及,根据所述偶项初始数据,获取所述偶项初始数据的平均值和标准差;
[0063] 局部融合结果获取单元,用于根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,所述局部融合结果包括平均值融合值以及标准差融合值;
[0064] 第一评估值获取单元,用于根据所述单次目标初始数据的局部融合结果,获取所述目标初始数据的评估值;
[0065] 第二评估值获取单元,用于获取所述初始测量数据的评估值,所述初始测量数据的评估值包括所有初始测量数据的评估值。
[0066] 可选的,所述局部融合结果获取单元还用于通过以下公式获取所述单次目标初始数据的局部融合结果:
[0067] ;
[0068] ;
[0069] 其中, 表示所述平均值融合值, 表示所述标准差融合值, 表示所述奇项初始数据的平均值, 表示所述偶项初始数据的平均值, 表示所述奇项初始数据的标准差, 表示所述偶项初始数据的标准差。
[0070] 可选的,所述信任度矩阵建立模块包括:
[0071] 第三评估值获取单元,用于根据所述初始测量数据的评估值,获取针对同种类的传感器,获取所述同种类传感器的初始测量数据评估值;
[0072] 置信距离获取单元,用于根据所述同种类传感器的初始测量数据评估值,获取所述同种类传感器之间的置信距离;
[0073] 信任度矩阵建立单元,用于根据所述置信距离,建立所述同种类传感器的初始测量数据的信任度矩阵。
[0074] 本申请公开了一种用于数据融合的预处理方法及装置,在所述方法中,任意获取两个不同种类的传感器测量所得的数据,并将这两个不同种类的传感器测量所得的数据分别设置为目标数据以及参照数据。根据目标数据以及参照数据,获取目标数据的特征以及参照数据的特征。接着,获取目标特征描述集合以及参照特征描述集合。然后根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据的相似度。最后根据所述相似度,通过判断所述相似度是否大于预设的临界阈值,进而判断所述目标数据与所述参照数据是否能够进行融合。
[0075] 现有技术中的数据预处理方法,在数据融合之前,无法判断出哪些传感器的数据可以融合,哪些传感器的数据不能融合,而是将所有的传感器测量数据进行融合,导致在数据融合时增加计算量,降低了数据融合的效率。相较于现有技术,本申请公开的数据预处理方法及装置,能够基于传感器测量数据的特征,在特征层面获取传感器测量数据间的相似度,进而根据相似度,判断出是否能够将任意两个传感器的测量数据进行融合。在实际应用中,本申请公开的数据预处理方法能够针对多传感系统,在数据融合之前,判断出哪些传感器的测量数据能够融合,进而使得数据融合时,能够有针对性的对传感器的测量数据进行融合,减小了数据融合的计算量,提高了数据融合的效率。

附图说明

[0076] 为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0077] 图1为本申请实施例公开的一种用于数据融合的数据预处理方法的工作流程示意图;
[0078] 图2为本申请实施例公开的一种用于数据融合的数据预处理装置的结构示意图。

具体实施方式

[0079] 为了解决现有技术中的数据预处理方法降低了数据融合的效率,而且导致数据融合所得的结果与实际所需的结果之间产生误差的问题,本申请通过以下实施例公开一种用于数据融合的数据预处理方法及装置。
[0080] 参见图1所示的工作流程示意图,本申请第一实施例公开一种用于数据融合的数据预处理方法,包括:
[0081] 步骤S11,获取第一测量数据,所述第一测量数据包括不同种类的传感器测量所得的数据。
[0082] 步骤S12,根据所述第一测量数据,任意获取两个不同种类的传感器测量所得的数据,并将这两个不同种类的传感器测量所得的数据分别设置为目标数据以及参照数据。
[0083] 步骤S13,根据所述目标数据,获取所述目标数据的特征,以及,根据所述参照数据,获取所述参照数据的特征。
[0084] 步骤S14,根据所述目标数据的特征,获取目标特征描述集合,以及,根据所述参照数据的特征,获取参照特征描述集合,其中,所述目标特征描述集合为描述所述目标数据特征的状态集合,所述参照特征描述集合为描述所述参照数据特征的状态集合。
[0085] 人们对繁杂的客观事物存在不同的认识,相应的客观事物的抽象也必然存在差异,不可避免的将出现不符合“定义”和“不完整”的知识元,最终导致数据在对客观事实或其某个属性的描述中出现不一致的问题。其中,知识元是指不可再分割的具有完备知识表达的知识单位。为了判断任意两个传感器测得的数据是否能够融合,本申请公开的数据预处理方法,通过获取目标数据的特征以及参照数据的特征,构建知识元库,进一步通过判断目标数据以及参照数据在特征层面上是否描述一致,使得在数据融合时使用的数据在特征层面上描述一致。例如,针对光照传感器的测量数据进行处理时,由于光照传感器主要是用于测量阴影参数以及亮度参数,因此针对光照传感器测量所得的数据,可以将阴影以及亮度作为光照传感器测量数据的特征,通过提取测量数据中,用于描述阴影的相关数据以及用于描述亮度的相关数据,将阴影相关的数据以及亮度相关的数据作为特征描述集合。
[0086] 步骤S15,根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据的相似度。
[0087] 步骤S16,根据所述相似度,判断所述相似度是否大于预设的临界阈值,若所述判断结果为是,则判定所述目标数据与所述参照数据能够进行融合,若所述判断结果为否,则判定所述目标数据与所述参照数据不能进行融合。
[0088] 为了对环境或者某一客观事物获取全面完整的信息,一个多传感系统可能包含多种传感器。例如,高速公路的多传感系统通常包括红外线传感器、超声波传感器、压电传感器、光照传感器以及地磁传感器等。针对某一分析需求,例如对于车流量这一分析需求,在数据融合时,对光照传感器以及地磁传感器这两个传感器的测量数据进行融合即可,但是利用现有技术中的数据预处理方法,在数据融合之前,无法判断出哪些传感器的数据可以融合,哪些传感器的数据不能融合,而是将所有的传感器测量数据进行融合,导致在数据融合时增加计算量,降低了数据融合的效率。相较于现有技术,本申请公开的数据预处理方法及装置,能够基于传感器测量数据的特征,获取传感器测量数据间的相似度,进而根据相似度,判断出是否能够将任意两个传感器的测量数据进行融合。在实际应用中,本申请公开的数据预处理方法能够针对多传感系统,在数据融合之前,判断出哪些传感器的测量数据能够融合,进而使得数据融合时,能够有针对性的对传感器的测量数据进行融合,减小了数据融合的计算量,提高了数据融合的效率。
[0089] 进一步的,所述根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据之间的相似度,包括:
[0090] 根据所述目标数据的特征以及所述参照数据的特征,建立特征相似度模型,所述特征相似度模型用于表征所述目标数据特征以及所述参照数据特征之间的相似度。
[0091] 一个客观事物或者系统,可被抽象成一个模型m,通过研究模型m的共性知识表示形式,可以将该模型表示为一个知识元Km。假设Nm是客观事物或者系统的概念名称,其本质是一组相同或相近意义词汇的集合。Am是用来描述客观事物特征的属性以及怎样描述这些属性的集合,分为定性描述的状态集和定量描述的可测状态集;Rm是用来描述属性之间关联关系的集合。 表示 上的一个映射关系。相关关系可分为定性与定量的相关关系,总结相关关系的共同特征能够抽象出关系知识元模型。模型m对照的知识元Km可表达为:Km=(Nm,Am,Rm)。
[0092] 通过知识元相似函数Sf的定义,显然可得到以下属性:
[0093] Sf(x,y)[0,1];
[0094] Sf(x,y)=0,当且仅当x和y不相关;
[0095] Sf(x,y)=1,当且仅当x和y相同,且Sf(x,y)=Sf(y,x)。
[0096] 其中,x,y分别代表不同知识元,可以理解为本申请上述公开的目标数据的特征以及参照数据的特征。
[0097] 从以上定义可知,采用集合几何的原理进行相似度的计算非常方便,但由于几何相似度模型的对称性,不适合现实生活中许多非对称性特征的客观事物对比,很多针对非对称性的特征对比相似度模型的适用范围更加广泛,并且以特征相似度模型为根据,很多在延伸的相似度模型应用方面的研究也在不断深入发展。本申请采用特征相似度模型,该模型将客观事物的特征枚举为集合形式,通过定义符合特征元素的函数,获得特征集合的相似度,进而表征目标数据以及参照数据在特征级别上的相似度。
[0098] 根据所述目标特征描述集合、所述参照特征描述集合以及所述特征相似度模型,获取所述目标数据与所述参照数据的相似度。
[0099] 进一步的,
[0100] 通过以下公式获取所述目标数据与所述参照数据之间的相似度:
[0101] ;
[0102] 其中, 表示所述目标数据与所述参照数据之间的相似度, 表示所述目标数据的特征, 表示所述参照数据的特征, 表示所述目标特征描述集合, 表示所述参照特征描述集合, 表示既属于所述目标特征描述集合,又属于所述参照特征描述集合的状态的个数, 表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述目标特征描述集合,但不属于所述参照特征描述集合的状态的个数, 表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述参照特征描述集合,但不属于所目标特征描述集合的状态的个数, 表示对所述参照数据特征的关注度, 表示对所述目标数据特征的关注度。关注度是根据实际的应用情况预先设置的值,在针对某一分析需求时,判断哪些测量数据可以融合时,关注度代表了不同传感器测量数据的重要程度。例如,针对车流量这一分析需求,在判断光照传感器以及地磁传感器这两个传感器的测量数据的相似度时,若操作人员认为光照传感器的测量数据对于车流量分析较为重要,那么便可以人为预先将光照传感器测量数据特征的关注度设置较大一些,将地磁传感器测量数据特征的关注度设置较小一些。
[0103] 在实际应用中,每个客观事实都是具有多个特征的多维复杂体,对拥有多维复杂特征的客观事物的相似度的计算,可以利用每个特征的特征相似度模型进行线性加权,来计算客观事物的多特征综合相似度模型,假设目标数据拥有n个特征,则计算其第i个特征与参照数据相似度为 ,则目标数据与参照数据的相似度为:
[0104] ;
[0105] 其中, 表示第i个特征的权重,可以根据实际的应用情况预先设置。
[0106] 在对所述相似度的大小进行判断时,设置临界阈值 ,且 。当时,表明目标数据与参照数据为同一对象的测量数据的可能性较大,则所述目标数据与所述参照数据能够进行融合。当 时,表明目标数据与参照数据不是同一对象的测量数据,则所述目标数据与所述参照数据不能进行融合,具体的,临界阈值 根据实际应用中,对于相似度的要求程度来设定,例如,如果对于相似度要求较高的情况下,可以将临界阈值 设置为0.8,在相似度要求比较低的情况下,可以适当将临界阈值 设置小一点。
[0107] 传感器采集数据的过程中,容易受到环境的干扰,因此传感器测量所得的数据往往带有偏差,以至于对数据融合时的准确度和稳定性造成影响,因此本申请公开的数据预处理方法,为了提高第一测量数据的精确度,在获取第一测量数据之前,对传感器测量所得的初始数据进行去差错。
[0108] 进一步的,在获取所述第一测量数据之前,所述方法还包括:
[0109] 获取初始测量数据,所述初始测量数据包括所有传感器测量所得的初始数据,所述所有传感器包括不同种类的传感器,每一种传感器包括多个传感器。
[0110] 对所述初始测量数据进行评估,获取所述初始测量数据的评估值。
[0111] 根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵。
[0112] 根据所述信任度矩阵,获取所述同种类传感器中信任度较高的传感器,并将所述信任度较高的传感器的初始测量数据评估值设置为第一测量数据。
[0113] 进一步的,所述对所述初始测量数据进行评估,获取所述初始测量数据的评估值,包括:
[0114] 根据所述初始测量数据,将目标传感器测量所得的初始数据设置为目标初始数据,所述目标传感器为所述所有传感器中的任意一个,所述目标初始数据中包括所述目标传感器多次进行测量的数据。
[0115] 根据所述目标初始数据,获取所述目标传感器的单次目标初始数据,并将所述单次目标初始数据划分为奇项初始数据和偶项初始数据。
[0116] 将所述单次目标初始数据划分为奇项初始数据和偶项初始数据,其中,奇项初始数据为: ,所述奇项初始数据共包含 个数据,偶项初始数据为 ,所述偶项初始数据共包含 个数据。
[0117] 根据所述奇项初始数据,获取所述奇项初始数据的平均值和标准差,以及,根据所述偶项初始数据,获取所述偶项初始数据的平均值和标准差。
[0118] 具体的,通过以下公式获取所述奇项初始数据的平均值:
[0119] 。
[0120] 其中,在所述奇项初始数据中, 表示第 个数据,且 。
[0121] 通过以下公式获取所述偶项初始数据的平均值:
[0122] 。
[0123] 其中,在所述偶项初始数据中, 表示第 个数据,且 。
[0124] 通过以下公式获取所述奇项初始数据的标准差:
[0125] 。
[0126] 通过以下公式获取所述偶项初始数据的标准差:
[0127] 。
[0128] 根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,所述局部融合结果包括平均值融合值以及标准差融合值。
[0129] 根据所述单次目标初始数据的局部融合结果,获取所述目标初始数据的评估值。
[0130] 获取所述初始测量数据的评估值,所述初始测量数据的评估值包括所有初始测量数据的评估值。
[0131] 进一步的,所述根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,包括:
[0132] 通过以下公式获取所述单次目标初始数据的局部融合结果:
[0133] ;
[0134] ;
[0135] 其中, 表示所述平均值融合值, 表示所述标准差融合值, 表示所述奇项初始数据的平均值, 表示所述偶项初始数据的平均值, 表示所述奇项初始数据的标准差, 表示所述偶项初始数据的标准差。
[0136] 具体的,所述平均值融合值 的推导公式为:
[0137] 。
[0138] 其中, 为一行两列的矩阵。
[0139] 所述标准差融合值的推导公式为:
[0140] 。
[0141] 根据所述标准差融合值,容易获得方差融合值 :
[0142] 。
[0143] 根据所述单次目标初始数据的局部融合结果,所获取所述目标初始数据的评估值为:
[0144] 。
[0145] 其中, 表示所述目标初始数据的评估值, 表示所述目标传感器第j次测量所得的初始数据的平均值融合值,所述目标传感器共测量m次。
[0146] 为了提高初始测量数据的准确度,针对单个传感器的单次测量数据进行局部融合,实现对单次测量数据的去差错,然后获取初始测量数据的评估值,实现对所有的传感器初始测量数据的去差错。
[0147] 由于不同的传感器在采集数据时受到的干扰不同,因此其测量所得数据的可信度也不同。针对同一种类的传感器,同样存在这样的问题,为了筛选出可信度较高的测量数据,接下来,针对同种类的传感器,通过计算传感器之间的置信距离,建立测量数据的信任度矩阵,然后通过所述信任度矩阵判断同种类的传感器中,哪些传感器测得的数据可信度较高。
[0148] 进一步的,所述根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵,包括:
[0149] 根据所述初始测量数据的评估值,获取针对同种类的传感器,获取所述同种类传感器的初始测量数据评估值。
[0150] 根据所述同种类传感器的初始测量数据评估值,获取所述同种类传感器之间的置信距离。
[0151] 具体的,假设传感器E和传感器F属于同一种类的传感器,所述传感器E的初始测量数据的评估值为 ,标准差融合值为 ;所述传感器F的初始测量数据的评估值为 ,标准差融合值为 。通过以下公式获取这两个传感器之间的置信距离 :
[0152] 。
[0153] 其中, 定义为 的概率密度函数,且。 表示所有的传感器的初始测量数据
评估值的平均值。exp表示以自然常数e为底的指数函数运算。
[0154] 根据所述置信距离,建立所述同种类传感器的初始测量数据的信任度矩阵。
[0155] 假设某一种类的传感器有K个,即有K个传感器测量同一对象,根据所获取的置信距离,建立信任度矩阵D,如下所示:
[0156] 。
[0157] 结合上述同种类的K个传感器,设传感器E为第E个传感器。上述建立的信任度矩阵D的第E行元素,表示第E个传感器与其它所有传感器的置信距离,获取该行元素之和,若该行元素之和相较于其它行的元素之和比较大,则表示所述第E个传感器测得的数据被多数传感器信任,此时第E个传感器测得的数据信任度较高。反之,则表示所述第E个传感器测得的数据不被多数传感器信任,此时第E个传感器测得的数据为真实的数据可能性较小。具体的,在针对所述信任度矩阵,判断某个传感器测得的数据在同种类传感器中信任度是否较高时,可以根据实际应用中的需求,针对这一类传感器,最终需要多少个传感器测得的数据进行融合来决定。例如,有10个同种类的传感器,在后期进行数据融合时,如果只需要5个传感器的测量数据进行融合,那么此时只需在信任度矩阵的10行中选取5行元素之和比较大的,将这5行所代表的传感器作为信任度较高的传感器。
[0158] 本申请公开了一种用于数据融合的数据预处理方法,采用基于置信距离的数据级去差错算法,去除差错数据,再基于知识元的特征级统一化算法,在特征层面获得描述一致的传感器测量数据,使得在数据融合时,能够有针对性的对传感器测量数据进行融合,减小了计算量,提高了数据融合技术的效率。
[0159] 下述为本申请公开的装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
[0160] 相应的,参见图2所示的结构示意图,本申请另一实施例公开一种用于数据融合的数据预处理装置,包括:
[0161] 第一数据获取模块10,用于获取第一测量数据,所述第一测量数据包括不同种类的传感器测量所得的数据。
[0162] 第二数据获取模块20,用于根据所述第一测量数据,任意获取两个不同种类的传感器测量所得的数据,并将这两个不同种类的传感器测量所得的数据分别设置为目标数据以及参照数据。
[0163] 特征获取模块30,用于根据所述目标数据,获取所述目标数据的特征,以及,根据所述参照数据,获取所述参照数据的特征。
[0164] 特征描述集合获取模块40,用于根据所述目标数据的特征,获取目标特征描述集合,以及,根据所述参照数据的特征,获取参照特征描述集合,其中,所述目标特征描述集合为描述所述目标数据特征的状态集合,所述参照特征描述集合为描述所述参照数据特征的状态集合。
[0165] 相似度获取模块50,用于根据所述目标数据的特征、所述参照数据的特征、所述目标特征描述集合以及所述参照特征描述集合,获取所述目标数据与所述参照数据的相似度。
[0166] 判断模块60,用于根据所述相似度,判断所述相似度是否大预设的临界阈值,若所述判断结果为是,则判定所述目标数据与所述参照数据能够进行融合,若所述判断结果为否,则判定所述目标数据与所述参照数据不能进行融合。
[0167] 进一步的,所述相似度获取模块包括:
[0168] 模型建立单元,用于根据所述目标数据的特征以及所述参照数据的特征,建立特征相似度模型,所述特征相似度模型用于表征所述目标数据特征以及所述参照数据特征之间的相似度。
[0169] 相似度获取单元,用于根据所述目标特征描述集合、所述参照特征描述集合以及所述特征相似度模型,获取所述目标数据与所述参照数据的相似度。
[0170] 进一步的,所述装置还包括:
[0171] 初始数据获取模块,用于获取初始测量数据,所述初始测量数据为所有传感器测量所得的初始数据,所述所有传感器包括不同种类的传感器,每一种传感器包括多个传感器。
[0172] 评估模块,用于对所述初始测量数据进行评估,获取所述初始测量数据的评估值;
[0173] 信任度矩阵建立模块,用于根据所述初始测量数据的评估值,针对同种类的传感器,建立所述同种类传感器的初始测量数据的信任度矩阵。
[0174] 第一数据设置模块,用于根据所述信任度矩阵,获取所述同种类传感器中信任度较高的传感器,并将所述信任度较高的传感器的初始测量数据评估值设置为第一测量数据。
[0175] 进一步的,所述相似度获取模块还用于通过以下公式获取所述目标数据与所述参照数据之间的相似度:
[0176] ;
[0177] 其中, 表示所述目标数据与所述参照数据之间的相似度, 表示所述目标数据的特征, 表示所述参照数据的特征, 表示所述目标特征描述集合, 表示所述参照特征描述集合, 表示既属于所述目标特征描述集合,又属于所述参照特征描述集合的状态的个数, 表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述目标特征描述集合,但不属于所述参照特征描述集合的状态的个数, 表示在所述目标特征描述集合中以及所述参照特征描述集合中,属于所述参照特征描述集合,但不属于所目标特征描述集合的状态的个数, 表示对所述参照数据特征的关注度, 表示对所述目标数据特征的关注度。
[0178] 进一步的,所述评估模块包括:
[0179] 目标初始数据设置单元,用于根据所述初始测量数据,将目标传感器测量所得的初始数据设置为目标初始数据,所述目标传感器为所述所有传感器中的任意一个,所述目标初始数据中包括所述目标传感器多次进行测量的数据;
[0180] 单次目标初始数据获取单元,用于根据所述目标初始数据,获取所述目标传感器的单次目标初始数据,并将所述单次目标初始数据划分为奇项初始数据和偶项初始数据;
[0181] 第一计算单元,用于根据所述奇项初始数据,获取所述奇项初始数据的平均值和标准差,以及,根据所述偶项初始数据,获取所述偶项初始数据的平均值和标准差;
[0182] 局部融合结果获取单元,用于根据所述奇项初始数据的平均值和标准差,以及所述偶项初始数据的平均值和标准差,获取所述单次目标初始数据的局部融合结果,所述局部融合结果包括平均值融合值以及标准差融合值;
[0183] 第一评估值获取单元,用于根据所述单次目标初始数据的局部融合结果,获取所述目标初始数据的评估值;
[0184] 第二评估值获取单元,用于获取所述初始测量数据的评估值,所述初始测量数据的评估值包括所有初始测量数据的评估值。
[0185] 进一步的,所述局部融合结果获取单元还用于通过以下公式获取所述单次目标初始数据的局部融合结果:
[0186] ;
[0187] ;
[0188] 其中, 表示所述平均值融合值, 表示所述标准差融合值, 表示所述奇项初始数据的平均值, 表示所述偶项初始数据的平均值, 表示所述奇项初始数据的标准差, 表示所述偶项初始数据的标准差。
[0189] 进一步的,所述信任度矩阵建立模块包括:
[0190] 第三评估值获取单元,用于根据所述初始测量数据的评估值,获取针对同种类的传感器,获取所述同种类传感器的初始测量数据评估值;
[0191] 置信距离获取单元,用于根据所述同种类传感器的初始测量数据评估值,获取所述同种类传感器之间的置信距离;
[0192] 信任度矩阵建立单元,用于根据所述置信距离,建立所述同种类传感器的初始测量数据的信任度矩阵。
[0193] 以上结合具体实施方式和范例性实例对本申请进行了详细说明,不过这些说明并不能理解为对本申请的限制。本领域技术人员理解,在不偏离本申请精神和范围的情况下,可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进,这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。