一种可灵活配置的数据全过程处理方法

摘要

本发明提供了一种可灵活配置的数据全过程处理方法，首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。解决了现有技术中数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，实现了较灵活、相对快速且简单的数据处理。

权利要求

1.一种可灵活配置的数据全过程处理方法，其特征在于：首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出；

所述方法包括以下步骤：

S1.首先对所需处理数据根据数据类型进行分类采集，并将采集到的数据信息转换成能被接收处理的形式；

S2.对接收到的数据进行预处理，得到预处理后的变换数据矩阵集合，为接下来精准处理做准备；

S3.最后，通过构造权重数学模型对预处理后数据矩阵集合进行清洗去噪，并将所得数据矩阵集合中矩阵逐个进行矩阵分解以及特征提取处理，最后得到数据输出；

所述步骤S3具体包括：

根据用户具体需求，通过构造权重数学模型 ，从预处理后的数据矩阵集合J中筛选出最为满足需求的数据矩阵；

构建权重数学模型为：

其中，A表示为用户对数据要求的所有可能数据矩阵， ，B表示为用户对数据要求矩阵的权重，C表示为用户对数据要求矩阵的权重的评分， 表示为模型输出矩阵集合；

权重数学模型的输入为矩阵A、矩阵B和矩阵C，对三个输入矩阵做如下运算，定义中间变换矩阵F：

其中， 表示矩阵中每个对应元素之间相乘，得到与矩阵A、矩阵B、矩阵C同维度的中间变换矩阵F，定义阈值 ，将矩阵F中的每一个元素与 进行比较，取出大于 的元素，作为权重数学模型的输出 。

2.如权利要求1所述的一种可灵活配置的数据全过程处理方法，其特征在于,所述步骤S2具体包括：

将采集到的数据用集合 表示，其中 ， 表示第i个数据，N表示数据个数；

对集合 进行分组编码，即按顺序对集合 根据交织准则构造矩阵，可表示为：其中，m，n为分组编码后矩阵D的行数与列数，且N = m╳n。

3.如权利要求2所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述步骤S2具体包括：

通过引入权重因子ofo对重构的矩阵D进行加权运算处理，得到加权运算后的矩阵 ，从矩阵的性质出发获得更有研究价值的矩阵，为数据处理的准确性全面性提供依据。

4.如权利要求1所述的一种可灵活配置的数据全过程处理方法，其特征在于，所述步骤S3具体包括：

对权重数学模型 的输出数据矩阵集合人工筛选的数据矩阵集合 逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性质的对角阵，可代替数据矩阵进行进一步处理分析。

说明书

一种可灵活配置的数据全过程处理方法

技术领域

[0001] 本发明涉及数据处理技术领域，尤其涉及一种可灵活配置的数据全过程处理方法。

背景技术

[0002] 随着科技的进步以及业务系统的复杂化，各行业领域产生的数据量越来越大，进而对数据处理的要求越来越高，针对不同领域的不同数据有许多梳理方法，例如分类、回
归、聚类、相似匹配、频繁项集、统计描述、链接预测、数据压缩、因果分析、图解法等，在王宗
友等的公开号为“CN113255014A”“一种基于区块链的数据处理方法以及相关设备”中利用
区块链进行数据处理，降低区块链权限管理难度，同时提高网络安全性。

[0003] 但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂。

发明内容

[0004] 本申请实施例通过提供一种可灵活配置的数据全过程处理方法，解决了现有技术中数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，实现了较灵
活、相对快速且简单的数据处理。

[0005] 本发明的技术方案如下：

[0006] 一种可灵活配置的数据全过程处理方法，首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接
收到的数据进行预处理，所述预处理为对数据进行编码分组以及运算储备处理，目的在于
降低数据维度；再对数据进行精准处理，所述精准处理为对数据进行特征提取及分析，最后
将处理后的数据进行输出。

[0007] 优选的，所述方法包括以下步骤：

[0008] S1.首先对所需处理数据根据数据类型进行分类采集，并将采集到的数据信息转换成能被接收处理的形式；

[0009] S2.对接收到的数据进行预处理，得到预处理后的变换数据矩阵集合，为接下来精准处理做准备；

[0010] S3.最后，通过构造权重数学模型对预处理后数据矩阵集合进行清洗去噪，并将所得数据矩阵集合中矩阵逐个进行矩阵分解以及特征提取处理，最后得到数据输出。

[0011] 优选的，所述步骤S2具体包括：

[0012] 将采集到的数据用集合 表示，其中 ， 表示第i个数据，N表示数据个数；

[0013] 对集合 进行分组编码，即按顺序对集合 根据交织准则构造矩阵，可表示为：

[0014]

[0015] 其中，m，n为分组编码后矩阵D的行数与列数，且N = m╳n。

[0016] 优选的，所述步骤S2具体包括：

[0017] 通过引入权重因子ofo对重构的矩阵D进行加权运算处理，得到加权运算后的矩阵，从矩阵的性质出发获得更有研究价值的矩阵，为数据处理的准确性全面性提供依据。

[0018] 优选的，所述步骤S3具体包括：

[0019] 根据用户具体需求，通过构造权重数学模型 ，从预处理后的数据矩阵集合J中筛选出最为满足需求的数据矩阵；

[0020] 构建权重数学模型为：

[0021]

[0022] 其中，A表示为用户对数据要求的所有可能数据矩阵， ，B表示为用户对数据要求矩阵的权重，C表示为用户对数据要求矩阵的权重的评分， 表示为模型输出矩阵
集合。

[0023] 优选的，所述步骤S3具体包括：

[0024] 对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合 逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性质的对
角阵，可代替数据矩阵进行进一步处理分析。

[0025] 本发明的有益效果是：

[0026] 1、 本申请通过对数据集合 进行分组构建矩阵D，使得在数据处理过程中更简单，直观，为接下来的处理过程更为灵活做准备。

[0027] 2、本申请通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，得到加权运算后的矩阵 ，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性提供依据。

[0028] 3、本申请通过构造权重数学模型，根据不同用户对数据的要求定义矩阵A，并设定矩阵A对应的权重矩阵B以及权重评分矩阵C，来对数据矩阵J进行筛选，提高了数据处理过
程中对于满足不同客户需求的灵活性。

[0029] 4、本申请通过对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同
性质的对角阵，可代替数据矩阵进行进一步处理分析，使得数据处理过程变得更为简单，降
低了数据处理过程的复杂性。

附图说明

[0030] 图1为本申请所述的一种可灵活配置的数据全过程处理方法的流程图；

[0031] 图2为本申请所述的一种可灵活配置的数据全过程处理方法实现框图。

具体实施方式

[0032] 本申请实施例通过提供一种可灵活配置的数据全过程处理方法，解决了数据处理过程中的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，为解决上述问题，
总体思路如下：

[0033] 首先根据用户要求以及数据性质对所需处理的数据进行分类采集，并将采集到的数据信息转换成能被接收处理的形式，随后对接收到的数据进行预处理，所述预处理为对
数据进行编码分组以及运算储备处理，目的在于降低数据维度；再对数据进行精准处理，所
述精准处理为对数据进行特征提取及分析，最后将处理后的数据进行输出。本申请通过对
数据集合 进行分组构建矩阵D，使得在数据处理过程中更简单，直观，为接下来的处理过
程更为灵活做准备；在数据预处理时通过引入权重因子ofo对重组后的矩阵D进行加权运算
处理，得到加权运算后的矩阵 ，从矩阵的性质出发获得更有价值的矩阵，为数据处理的
准确性提供依据；在对预处理后数据进行清洗筛选时构建权重数学模型，根据用户需求定
义参数矩阵，更灵活的实现数据处理，同时对权重数学模型输出矩阵集合逐个矩阵进行分
解得到简化对角矩阵来代表原数据矩阵，使得数据处理过程变得更为简单，降低了数据处
理过程的复杂性；最后对组成的新的矩阵集合进行特征提取，得到用户需要的数据信息，并
将其输出。

[0034] 为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

[0035] 参照图1，本申请所述一种可灵活配置的数据全过程处理方法，具体包括以下步骤：

[0036] S1. 首先对所需处理数据根据数据类型进行分类采集，并将采集到的数据信息转换成能被接收处理的形式；

[0037] S11.了解要处理数据的类型，并通过其类型特性选择恰当的手段进行针对性采集；

[0038] 常用的数据源一般有端上数据、开放数据、主观性数据、物理数据、数据库数据以及其他平台数据。

[0039] 利用有线无线的方式将数据进行汇总采集，并对采集的数据信息进行分类，根据数据特性可分为无法定义结构的非结构化数据，例如文本信息，图像信息，视频信息以及声
音信息；可定义结构的结构化数据，又称为行数据，例如学生选课系统中，学生、课程、选课
导师等数据均可抽象为结构化数据。

[0040] 采集到的数据格式一般有声音、图像、视频、纸带、表格、磁带等多媒体信息，通过有效手段对多种类型数据进行采集，所述有效手段为手动录入、机器扫描录入、数据线传输
手段。

[0041] 本申请根据用户所需数据类型以及具体要求，对数据进行人工数据采集、自动化数据采集、调研问卷收集。

[0042] S12.将采集到的数据进行转化，得到可处理的数据类型；

[0043] 现大部分数据均利用计算机对各类数据进行处理分析，能够对声音、图像、视频等多媒体信息进行综合处理的计算机。

[0044] 本申请通过计算机根据用户实际需求利用提取的特征信息得到数据相关信息，同时将用户需要的信息按照一定形式展现出来，并将待处理的数据进行预处理，所述预处理
包含数据清洗、数据评估处理，通过预处理降低数据维度。

[0045] S2. 对接收到的数据进行预处理，得到预处理后的变换数据矩阵集合，为接下来精准处理做准备；

[0046] S21.对提取到的数据进行数据清洗预处理，现有技术常用的数据清洗的方法有分箱法、聚类法以及回归法。

[0047] 将采集到的数据用集合 表示，其中 ， 表示第i个数据，N表示数据个数。

[0048] 对集合 进行分组编码，即按顺序对集合 根据交织准则构造矩阵，可表示为：

[0049]

[0050] 其中，m，n为分组编码后矩阵D的行数与列数，且N = m╳n。

[0051] 本申请通过对数据集合 进行分组构建矩阵D，使得在数据处理过程中更简单，直观且避免数据间的干扰，为接下来的处理过程更为灵活做准备。

[0052] S22.随后利用待处理数据性质对分组后的矩阵D进行运算处理，得到处理后矩阵。

[0053] 对矩阵D进行算术运算处理得到：

[0054]

[0055] 对矩阵D进行加权运算处理得到：

[0056]

[0057] 其中，ofo为引入的权重因子，表示为：

[0058]

[0059] 其中， 表示矩阵的范数， 表示两矩阵内积。

[0060] 本申请通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，得到加权运算后的矩阵 ，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性提供依据。

[0061] 对矩阵D进行傅里叶变换、沃尔什变换、离散余弦变换得到不同变换域中的数据矩阵，表示为D2，D3，D4。

[0062] 对矩阵D进行N种不同预处理方式得到预处理数据矩阵D5，…，DN。

[0063] 将经过各运算预处理得到矩阵集合：

[0064] S3. 最后，通过构造权重数学模型对预处理后数据矩阵集合进行清洗去噪，并将所得数据矩阵集合中矩阵逐个进行矩阵分解以及特征提取处理，最后得到数据输出。

[0065] S31.根据用户具体需求，从预处理通过构造权重数学模型，从集合J中筛选出最为满足需求的数据矩阵；

[0066] 构建权重数学模型为：

[0067]

[0068] 其中，A表示为用户对数据要求的所有可能数据矩阵， ，B表示为用户对数据要求矩阵的权重，C表示为用户对数据要求矩阵的权重的评分， 表示为模型输出矩阵集
合。

[0069] 权重数学模型的输入为矩阵A，矩阵B和矩阵C，对三个输入矩阵做如下运算，定义中间变换矩阵F：

[0070]

[0071] 其中， 表示矩阵中每个对应元素之间相乘，得到与矩阵A，B，C同维度的中间变换矩阵F，定义阈值 ，将矩阵F中的每一个元素与 进行比较，取出大于 的元素，作为权重数
学模型的输出 。

[0072] 进一步对筛选出来的矩阵集合 中的元素进行重新编号得到，其中n表示筛选出来的数据矩阵个数，该过程即完成数据的清洗。

[0073] 本申请通过构造权重数学模型，根据不同用户对数据的要求定义矩阵A，并设定矩阵A对应的权重矩阵B以及权重评分矩阵C，来对数据矩阵J进行筛选，提高了数据处理过程
中对于满足不同客户需求的灵活性。

[0074] 对权重数学模型的输出矩阵 进行人为评估与人工去噪，再次确定筛选出的矩阵 是否为最可能满足用户需求的矩阵集合，记此时待处理数据矩阵集合为 ，
，m表示最终处理的数据矩阵个数。

[0075] S32.针对用户对关注项与数据性质，对矩阵集 进行精准处理，得到用户需要的形式与状态实现灵活配置，具体精准处理如下；

[0076] 对 进行数据精准矩阵分解，得到更易处理的数据矩阵，

[0077]

[0078] 其中，i表示 中第i个矩阵，a，b表示分解矩阵的维度， 为对角阵。表示辅助分解矩阵，根据分解矩阵的性质对角阵 同样具有矩阵 的性质，可代替其进行
进一步处理分析。

[0079] 本申请通过对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同性
质的对角阵，可代替数据矩阵进行进一步处理分析，使得数据处理过程变得更为简单，降低
了数据处理过程的复杂性。

[0080] 经过精准矩阵分解得到新的矩阵集合 ，m表示矩阵的个数，对集合Q利用现用技术逐项进行特征提取，得到用户需要的数据信息，并将其输出，随即便完成
了可灵活配置的数据全过程处理方法。

[0081] 参照图2，为实现一种可灵活配置的数据全过程处理方法实现框图，便实现了灵活配置的数据全过程处理。

[0082] 上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

[0083] 1、本申请通过对数据集合 进行分组构建矩阵D，使得在数据处理过程中更简单，直观，为接下来的处理过程更为灵活做准备。

[0084] 2、本申请通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，得到加权运算后的矩阵 ，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性提供依据。

[0085] 3、本申请通过构造权重数学模型，根据不同用户对数据的要求定义矩阵A，并设定矩阵A对应的权重矩阵B以及权重评分矩阵C，来对数据矩阵J进行筛选，提高了数据处理过
程中对于满足不同客户需求的灵活性。

[0086] 4、本申请通过对权重数学模型的输出数据矩阵集合人工筛选的数据矩阵集合逐项进行数据矩阵分解，得到更易处理的数据矩阵，即根据分解矩阵的性质获得与矩阵相同
性质的对角阵，可代替数据矩阵进行进一步处理分析，使得数据处理过程变得更为简单，降
低了数据处理过程的复杂性。

[0087] 效果调研：

[0088] 本申请的技术方案能够有效解决数据处理的灵活性不够，处理速度较慢，且处理过程较为复杂的技术问题，并且，上述系统或方法经过了一系列的效果调研，通过对数据集
合 进行分组构建矩阵D，使得在数据处理过程中更简单，直观，为接下来的处理过程更为
灵活做准备；在数据预处理时通过引入权重因子ofo对重组后的矩阵D进行加权运算处理，
得到加权运算后的矩阵 ，从矩阵的性质出发获得更有价值的矩阵，为数据处理的准确性
提供依据；在对预处理后数据进行清洗筛选时构建权重数学模型，根据用户需求定义参数
矩阵，更灵活的实现数据处理，同时对权重数学模型输出矩阵集合逐个矩阵进行分解得到
简化对角矩阵来代表原数据矩阵，使得数据处理过程变得更为简单，降低了数据处理过程
的复杂性；最后对组成的新的矩阵集合进行特征提取，得到用户需要的数据信息，并将其输
出。

[0089] 本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流
程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实
现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

[0090] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一
个方框或多个方框中指定的功能的步骤。

[0091] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优
选实施例以及落入本发明范围的所有变更和修改。

[0092] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围
之内，则本发明也意图包含这些改动和变型在内。