本发明涉及信息处理技术领域，尤其涉及一种基于资源分配的数据处理方法及平台，包括请求接收单元获取服务器中用户的数据处理请求，数据处理单元根据该数据处理请求确定预分配资源数量；数据处理单元根据可分配资源数量与预分配资源数量的匹配度确定对数据处理请求的处理方式；在数据处理单元确定处理方式为根据预分配资源数量分配资源时，资源分配单元进行资源分配，资源管理单元根据数据处理请求对服务器的性能影响系数对分配资源数量进行调节；在数据处理单元确定处理方式为将数据处理请求加入待处理数据列表时，资源管理单元释放存在延迟的已启用进程提高了在服务器进行数据处理时对资源分配的精准度。
1.一种基于资源分配的数据处理方法，其特征在于，包括以下步骤：
S1、请求接收单元获取服务器中用户的数据处理请求，数据处理单元根据该数据处理请求确定预分配资源数量，其中预分配资源数量包括服务器的进程数量和各进程下的线程数量；
S2、所述数据处理单元根据可分配资源数量与预分配资源数量的匹配度确定对所述数据处理请求的处理方式，该处理方式包括根据预分配资源数量分配资源和将数据加入待处理数据列表；
S3、在所述数据处理单元确定所述处理方式为根据预分配资源数量分配资源时，资源分配单元进行资源分配，资源管理单元根据所述数据处理请求对所述服务器的性能影响系数对分配资源数量进行调节；
S4、在所述数据处理单元确定所述处理方式为将数据处理请求加入待处理数据列表时，所述资源管理单元释放存在延迟的已启用进程；
在所述步骤S1中，当所述数据处理单元根据所述数据处理请求确定预分配资源数量时，所述数据处理单元根据所述数据处理请求中的数据类型数量W和预设数据类型数量的比对结果确定所需进程数量，其中所述数据处理单元中设有第一预设数据类型数量W1、第二预设数据类型数量W2、第一进程数量P1、第二进程数量P2和第三进程数量P3，其中W1＜W2，P1＜P2＜P3，当W≤W1时，所述数据处理单元确定所述进程数量为P1；
当W1＜W≤W2时，所述数据处理单元确定所述进程数量为P2；
当W＞W2时，所述数据处理单元确定所述进程数量为P3；
当所述数据处理单元确定所述进程数量完成时，所述数据处理单元根据所述数据处理请求中各数据类型的待处理数据量Di与预设数据量的对比结果确定各数据类型对应的进程预分配的线程数量，其中所述数据处理单元设有第一预设数据量Db1、第二预设数据量Db2、第一线程数量T1、第二线程数量T2以及第三线程数量T3，其中Db1＜Db2，T1＜T2＜T3；
若Di＜Db1，所述数据处理单元确定第i个进程预分配的线程数量为T1；
若Db1≤Di＜Db2，所述服务器确定第i个进程预分配的线程数量为T2；
若Db2≤Di，所述服务器确定第i个进程预分配的线程数量为T3；
其中i为第i个数据类型，i=1，2，3，…，m，m为正整数；
在所述步骤S2中，当所述数据处理单元根据可分配资源数量与预分配资源数量的匹配度确定对所述数据处理请求的处理方式时，数据获取单元获取的剩余进程数量和剩余线程数量，所述数据处理单元根据获取的剩余进程数量和剩余线程数量计算匹配度G其中Pn为进程数量，P10表示剩余进程数量， 表示最低剩余进程数量系数，α表示线程数量影响权值，Tz为线程数量，T10表示剩余线程数量，K2表示最低剩余线程量系数，β表示线程影响权值，n=1，2，3，z=1，2，3。
2.根据权利要求1所述的基于资源分配的数据处理方法，其特征在于，当所述数据处理单元计算所述匹配度G完成时，所述数据处理单元根据匹配度G与预设匹配度G0的对比结果确定所述数据处理请求的处理方式，若G≤G0，所述数据处理单元确定所述数据处理请求的处理方式为根据预分配资源数量分配资源；
若G＞G0，所述数据处理单元确定所述数据处理请求的处理方式为将所述数据处理请求加入待处理数据列表。
3.根据权利要求2所述的基于资源分配的数据处理方法，其特征在于，在所述步骤S3中，当所述数据处理单元确定所述数据处理请求的处理方式为根据预分配资源数量分配资源时，所述资源分配单元分配Pn个进程以及分配每个进程对应的线程数量为Tz。
4.根据权利要求3所述的基于资源分配的数据处理方法，其特征在于，当所述资源分配单元完成资源分配时，所述数据获取单元获取完成资源分配的处理器利用率和内存利用率，所述数据处理单元根据获取的处理器利用率和内存利用率计算性能影响系数U其中C1表示处理器利用率，C10表示预设处理器利用率，α1表示处理器利用率影响权值，R1表示内存利用率，R10表示预设内存利用率，β1表示内存利用率影响权值。
5.根据权利要求4所述的基于资源分配的数据处理方法，其特征在于，当所述数据处理单元计算所述性能影响系数U完成时，所述资源管理单元根据所述性能影响系数U与预设性能影响系数U0的对比结果确定是否对所述分配资源数量进行调整，其中所述资源管理单元设有线程数量调节系数Kt，0.5≤Kt＜0；
若U≥U0，所述资源管理单元确定使用Kt对所述资源分配中的每一个进程对应的线程数量进行调节；
若U＜U0，所述资源管理单元确定不对所述分配资源数量进行调整。
6.根据权利要求5所述的基于资源分配的数据处理方法，其特征在于，在所述步骤S4中，当所述资源管理单元释放存在延迟的已启用进程时，所述数据获取单元获取各进程的处理延迟时长Qe，所述资源管理单元分别将各进程的处理延迟时长Qe与预设延迟时长Q0的对比结果确定是否释放进程，若Qe≥Q0，所述资源管理单元确定释放第e个延迟时长对应的进程，并发送错误信息给用户；
若Qe＜Q0，所述资源管理单元确定不释放对应第e个延迟时长对应的进程。
7.一种应用权利要求1‑6任意一项所述的资源分配的数据处理方法的数据处理平台，其特征在于，包括：请求接收单元，用以接收用户发出的数据处理请求；
数据处理单元，其分别与请求接收单元和所述数据获取单元连接，用于根据请求接收单元获取的数据处理请求确定预分配资源数量，以及根据数据获取单元获取的服务器的处理器利用率和内存利用率计算性能影响系数；
资源分配单元，其与数据处理单元连接，用于根据数据处理单元确定的数据处理类型数量确定资源分配数量中的进程数量及进程中预分配的线程数量；
资源管理单元，其分别与所述资源分配单元和数据处理单元连接，用于监测服务器中资源的消耗以及对异常资源进行释放。
一种基于资源分配的数据处理方法及平台
技术领域
[0001] 本发明涉及信息处理技术领域，尤其涉及一种基于资源分配的数据处理方法及平台。
背景技术
[0002] 面对大量的不同类型的数据处理需求，通过解决的方案为提高服务器的硬件配置，在服务器接收数据处理请求并进行数据处理时，异常进程和异常线程往往存在巨大的资源消耗风险，在现有的解决方案中系统资源的分配与管理往往完全依靠操作系统本身的资源分配机制，然而有一部分异常进程和异常线程很难被操作系统发现并得到及时处理，极度降低了服务器的服务应用效率。
[0003] 中国专利公开号：CN108052396A公开了一种资源分配方法及系统，所述方法包括：获取用户输入的启动指令，根据启动指令启动业务程序，并生成至少一个线程；获取至少一个申请同一块硬件加速卡计算资源的线程；按照线程申请的时间顺序，将业务互斥锁分配给目标线程；将目标线程分配给排队线程数量最少的目标计算单元，并释放目标线程的业务互斥锁；若在目标线程之前的排队线程数量为零，则处理目标线程的业务数据；将业务互斥锁分配给目标线程；将目标线程的标志位复位，将目标线程所在队列的活动位指针指向下一个待处理业务数据的线程，并释放目标线程的业务互斥锁，注销目标线程。虽然本发明能够显著提高计算资源利用率，提高硬件加速卡的应用价值，但是在资源分配的过程中没有考虑资分配过程中对系统资源的影响，由此可见，所述一种资源分配方法及系统存在在接收数据处理请求时，没有根据数据处理量的大小对资源进行精准分配问题。
发明内容
[0004] 为此，本发明提供一种基于资源分配的数据处理方法及平台，用以克服现有技术中在接收数据处理请求时，没有根据数据处理量的大小对资源进行精准分配的问题。
[0005] 为实现上述目的，本发明一方面提供一种基于资源分配的数据处理方法，包括以下步骤：
[0006] S1、请求接收单元获取服务器中用户的数据处理请求，数据处理单元根据该数据处理请求确定预分配资源数量，其中预分配资源数量包括服务器的进程数量和各进程下的线程数量；
[0007] S2、所述数据处理单元根据可分配资源数量与预分配资源数量的匹配度确定对所述数据处理请求的处理方式，该处理方式包括根据预分配资源数量分配资源和将数据加入待处理数据列表；
[0008] S3、在所述数据处理单元确定所述处理方式为根据预分配资源数量分配资源时，所述资源分配单元进行资源分配，所述资源管理单元根据所述数据处理请求对所述服务器的性能影响系数对分配资源数量进行调节；
[0009] S4、在所述数据处理单元确定所述处理方式为将数据处理请求加入待处理数据列表时，所述资源管理单元释放存在延迟的已启用进程。
[0010] 进一步地，在所述步骤S1中，当所述数据处理单元根据所述数据处理请求确定预分配资源数量时，所述数据处理单元根据所述数据处理请求中的数据类型数量W和预设数据类型数量的比对结果确定所需进程数量，
[0011] 其中所述数据处理单元中设有第一预设数据类型数量W1、第二预设数据类型数量数量W2、第一进程数量P1、第二进程数量P2和第三进程数量P3，其中W1＜W2，P1＜P2＜P3，[0012] 当W≤W1时，所述数据处理单元确定所述进程数量为P1；
[0013] 当W1＜W≤W2时，所述数据处理单元确定所述进程数量为P2；
[0014] 当W＞W2时，所述数据处理单元确定所述进程数量为P3。
[0015] 进一步地，当所述数据处理单元确定所述进程数量完成时，所述数据处理单元根据所述数据处理请求中各数据类型的待处理数据量Di与预设数据量的对比结果确定各数据类型对应的进程预分配的线程数量，
[0016] 其中所述数据处理单元设有第一预设数据量Db1、第二预设数据量Db2、第一线程数量T1、第二线程数量T2以及第三线程数量T3，其中Db1＜Db2，T1＜T2＜T3；
[0017] 若Di＜Db1，所述数据处理单元确定第i个进程预分配的线程数量为T1；
[0018] 若Db1≤Di＜Db2，所述服务器确定第i个进程预分配的线程数量为T2；
[0019] 若Db2≤Di，所述服务器确定第i个进程预分配的线程数量为T3；
[0020] 其中i为第i个数据类型，i=1，2，3，…，m，m为正整数。
[0021] 进一步地，在所述步骤S2中，当所述数据处理单元根据可分配资源数量与预分配资源数量的匹配度确定对所述数据处理请求的处理方式时，所述数据获取单元获取的剩余进程数量和剩余线程数量，所述数据处理单元根据获取的剩余进程数量和剩余线程数量计算匹配度G
[0022]
[0023] 其中Pn为进程数量，P10表示剩余进程数量， 表示最低剩余进程数量系数，α表示线程数量影响权值，Tz为线程数量，T10表示剩余线程数量，K2表示最低剩余线程量系数，β表示线程影响权值，n=1，2，3，z=1，2，3。
[0024] 进一步地，当所述所述数据处理单元计算所述匹配度G完成时，所述数据处理单元根据匹配度G与预设匹配度G0的对比结果确定所述数据处理请求的处理方式，[0025] 若G≤G0，所述数据处理单元确定所述数据处理请求的处理方式为根据预分配资源数量分配资源；
[0026] 若G＞G0，所述数据处理单元确定所述数据处理请求的处理方式为将所述数据处理请求加入待处理数据列表。
[0027] 进一步地，在所述步骤S3中，当所述数据处理单元确定所述数据处理请求的处理方式为根据预分配资源数量分配资源时，所述资源分配单元分配Pn个进程以及分配每个进程对应的线程数量为Tz。
[0028] 进一步地，当所述资源分配单元完成资源分配时，所述数据获取单元获取完成资源分配的处理器利用率和内存利用率，所述数据处理单元根据获取的处理器利用率和内存利用率计算性能影响系数U
[0029]
[0030] 其中C1表示处理器利用率，C10表示预设处理器利用率，α1表示处理器利用率影响权值，R1表示内存利用率，R10表示预设内存利用率，β1表示内存利用率影响权值。
[0031] 进一步地，当所述数据处理单元计算所述性能影响系数U完成时，所述资源管理单元根据所述性能影响系数U与预设性能影响系数U0的对比结果确定是否对所述分配资源数量进行调整，
[0032] 其中所述资源管理单元设有线程数量调节系数Kt，0.5≤Kt＜0；
[0033] 若U≥U0，所述资源管理单元确定使用Kt对所述资源分配中的每一个进程对应的线程数量进行调节；
[0034] 若U＜U0，所述资源管理单元确定不对所述分配资源数量进行调整。
[0035] 进一步地，在所述步骤S4中，当所述资源管理单元释放存在延迟的已启用进程时，所述数据获取单元获取各进程的处理延迟时长Qe，所述资源管理单元分别将各进程的处理延迟时长Qe与预设延迟时长Q0的对比结果确定是否释放进程，
[0036] 若Qe≥Q0，所述资源管理单元确定释放第e个延迟时长对应的进程，并发送错误信息给用户；
[0037] 若Qe＜Q0，所述资源管理单元确定不释放对应第e个延迟时长对应的进程。
[0038] 本发明另一方面提供一种基于资源分配的数据处理平台，包括：
[0039] 请求接收单元，用以接收用户发出的数据处理请求；
[0040] 数据获取单元，用以获取服务器的资源利用数据；
[0041] 数据处理单元，其分别与请求接收单元和所述数据获取单元连接，用于根据请求接收单元获取的数据处理请求确定预分配资源数量，以及根据数据获取单元获取的服务器的处理器利用率和内存利用率计算性能影响系数；
[0042] 资源分配单元，其与数据处理单元连接，用于根据数据处理单元确定的数据处理类型数量确定资源分配数量中的进程数量及进程中预分配的线程数量；
[0043] 资源管理单元，其分别与所述资源分配单元和数据处理单元连接，用于监测服务器中资源的消耗以及对异常资源进行释放。
[0044] 与现有技术相比，本发明的有益效果在于，请求接收单元获取服务器中用户的数据处理请求信息，数据处理单元根据该数据处理请求预分配资源的数量，所述数据处理单元根据可分配资源数量与预分配资源的数量匹配度确定对所述数据处理请求的处理方式，所述数据处理单元确定所述处理方式为将数据处理请求加入待处理数据列表时，所述资源管理单元释放存在延迟的已启用进程，所述数据处理单元确定所述处理方式为将数据处理请求加入待处理数据列表时，所述资源管理单元释放存在延迟的已启用进程，从而提高了在服务器进行数据处理时对资源分配的精准度。
[0045] 进一步地，所述数据处理单元根据所述数据处理请求中的数据类型数量和预设数据类型数量的比对结果确定所需进程数量，根据不同的数据处理类型分配不同的进程，从而提高了在服务器进行数据处理时对资源分配的精准度。
[0046] 进一步地，所述数据处理单元根据所述数据处理请求中各数据类型的待处理数据量与预设数据量的对比结果确定各数据类型对应的进程预分配的线程数量，减少了各进程下不必要的线程资源分配量，从而提高了在服务器进行数据处理时对资源分配的精准度。
[0047] 进一步地，所述数据获取单元获取的剩余进程数量和剩余线程数量，所述数据处理单元根据获取的剩余进程数量和剩余线程数量计算匹配度，当所述所述数据处理单元计算所述匹配度完成时，所述数据处理单元根据匹配度与预设匹配度的对比结果确定所述数据处理请求的处理方式，保证了判断资源分配合理性判断的合理性，从而提高了在服务器进行数据处理时对资源分配的精准度。
[0048] 进一步地，当所述数据处理单元确定所述数据处理请求的处理方式为根据预分配资源数量分配资源时，所述资源分配单元分配个进程以及分配每个进程对应的线程数量分配为，保证了资源分配的合理性，从而提高了在服务器进行数据处理时对资源分配的精准度。
[0049] 进一步地，当所述资源分配单元完成资源分配时，所述数据获取单元获取完成资源分配的处理器利用率和内存利用率，所述数据处理单元根据获取的处理器利用率和内存利用率计算性能影响系数，当所述数据处理单元计算所述性能影响系数完成时，通过在资源分配单元完成资源分配完成后所述资源管理单元根据所述性能影响系数与预设性能影响系数的对比结果确定是否对所述分配资源数量进行调整，降低了资源分配对系统资源利用率的影响，从而提高了在服务器进行数据处理时对资源分配的精准度。
[0050] 进一步地，当所述资源管理单元释放存在延迟的已启用进程时，所述数据获取单元获取各进程的处理延迟时长，所述资源管理单元分别将各进程的处理延迟时长与预设延迟时长的对比结果确定是否释放进程，通过对高延迟进程的释放预防了僵尸进程与僵尸线程导致的异常资源消耗，从而提高了在服务器进行数据处理时对资源分配的精准度。
附图说明
[0051] 图1为本发明所述一种基于资源分配的数据处理方法的逻辑框图；
[0052] 图2为本发明所述一种基于资源分配的数据处理平台的连接关系框图。
具体实施方式
[0053] 为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
[0054] 下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
[0055] 请参阅图1所示，图1为本发明实施例的一种基于资源分配的数据处理方法的逻辑框图。
[0056] 本发明实施例的基于资源分配的数据处理方法，包括以下步骤：
[0057] S1、请求接收单元获取服务器中用户的数据处理请求，数据处理单元根据该数据处理请求确定预分配资源数量，其中预分配资源数量包括服务器的进程数量和各进程下的线程数量；
[0058] S2、数据处理单元根据可分配资源数量与预分配资源数量的匹配度确定对数据处理请求的处理方式，该处理方式包括根据预分配资源数量分配资源和将数据加入待处理数据列表；
[0059] S3、在数据处理单元确定处理方式为根据预分配资源数量分配资源时，资源分配单元进行资源分配，资源管理单元根据数据处理请求对服务器的性能影响系数对分配资源数量进行调节；
[0060] S4、在数据处理单元确定处理方式为将数据处理请求加入待处理数据列表时，资源管理单元释放存在延迟的已启用进程。
[0061] 具体而言，在步骤S1中，当数据处理单元根据数据处理请求确定预分配资源数量时，数据处理单元根据数据处理请求中的数据类型数量W和预设数据类型数量的比对结果确定所需进程数量，
[0062] 其中数据处理单元中设有第一预设数据类型数量W1、第二预设数据类型数量数量W2、第一进程数量P1、第二进程数量P2和第三进程数量P3，其中W1＜W2，P1＜P2＜P3，[0063] 当W≤W1时，数据处理单元确定进程数量为P1；
[0064] 当W1＜W≤W2时，数据处理单元确定进程数量为P2；
[0065] 当W＞W2时，数据处理单元确定进程数量为P3。
[0066] 具体而言，当数据处理单元确定进程数量完成时，数据处理单元根据数据处理请求中各数据类型的待处理数据量Di与预设数据量的对比结果确定各数据类型对应的进程预分配的线程数量，
[0067] 其中数据处理单元设有第一预设数据量Db1、第二预设数据量Db2、第一线程数量T1、第二线程数量T2以及第三线程数量T3，其中Db1＜Db2，T1＜T2＜T3；
[0068] 若Di＜Db1，数据处理单元确定第i个进程预分配的线程数量为T1；
[0069] 若Db1≤Di＜Db2，服务器确定第i个进程预分配的线程数量为T2；
[0070] 若Db2≤Di，服务器确定第i个进程预分配的线程数量为T3；
[0071] 其中i为第i个数据类型，i=1，2，3，…，m，m为正整数。
[0072] 具体而言，在步骤S2中，当数据处理单元根据可分配资源数量与预分配资源数量的匹配度确定对数据处理请求的处理方式时，数据获取单元获取的剩余进程数量和剩余线程数量，数据处理单元根据获取的剩余进程数量和剩余线程数量计算匹配度G[0073]
[0074] 其中Pn为进程数量，P10表示剩余进程数量， 表示最低剩余进程数量系数，α表示线程数量影响权值，Tz为线程数量，T10表示剩余线程数量，K2表示最低剩余线程量系数，β表示线程影响权值，n=1，2，3，z=1，2，3。
[0075] 具体而言，当数据处理单元计算匹配度G完成时，数据处理单元根据匹配度G与预设匹配度G0的对比结果确定数据处理请求的处理方式，
[0076] 若G≤G0，数据处理单元确定数据处理请求的处理方式为根据预分配资源数量分配资源；
[0077] 若G＞G0，数据处理单元确定数据处理请求的处理方式为将数据处理请求加入待处理数据列表。
[0078] 具体而言，在步骤S3中，当数据处理单元确定数据处理请求的处理方式为根据预分配资源数量分配资源时，资源分配单元分配Pn个进程以及分配每个进程对应的线程数量为Tz。
[0079] 具体而言，当资源分配单元完成资源分配时，数据获取单元获取完成资源分配的处理器利用率和内存利用率，数据处理单元根据获取的处理器利用率和内存利用率计算性能影响系数U
[0080]
[0081] 其中C1表示处理器利用率，C10表示预设处理器利用率，α1表示处理器利用率影响权值，R1表示内存利用率，R10表示预设内存利用率，β1表示内存利用率影响权值。
[0082] 具体而言，当数据处理单元计算性能影响系数U完成时，资源管理单元根据性能影响系数U与预设性能影响系数U0的对比结果确定是否对分配资源数量进行调整，[0083] 其中资源管理单元设有线程数量调节系数Kt，0.5≤Kt＜0；
[0084] 若U≥U0，资源管理单元确定使用Kt对资源分配中的每一个进程对应的线程数量进行调节；
[0085] 若U＜U0，资源管理单元确定不对分配资源数量进行调整。
[0086] 具体而言，在步骤S4中，当资源管理单元释放存在延迟的已启用进程时，数据获取单元获取各进程的处理延迟时长Qe，资源管理单元分别将各进程的处理延迟时长Qe与预设延迟时长Q0的对比结果确定是否释放进程，
[0087] 若Qe≥Q0，资源管理单元确定释放第e个延迟时长对应的进程，并发送错误信息给用户；
[0088] 若Qe＜Q0，资源管理单元确定不释放对应第e个延迟时长对应的进程。
[0089] 请参阅图2所示，图2为本发明实施例的一种基于资源分配的数据处理平台的连接关系框图。
[0090] 本发明实施例的基于资源分配的数据处理平台，包括：
[0091] 请求接收单元，用以接收用户发出的数据处理请求；
[0092] 数据获取单元，用以获取服务器的资源利用数据；
[0093] 数据处理单元，其分别与请求接收单元和数据获取单元连接，用于根据请求接收单元获取的数据处理请求确定预分配资源数量，以及根据数据获取单元获取的服务器的处理器利用率和内存利用率计算性能影响系数；
[0094] 资源分配单元，其与数据处理单元连接，用于根据数据处理单元确定的数据处理类型数量确定资源分配数量中的进程数量及进程中预分配的线程数量；
[0095] 资源管理单元，其分别与资源分配单元和数据处理单元连接，用于监测服务器中资源的消耗以及对异常资源进行释放。
[0096] 至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
[0097] 以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
