一种数据传输管理方法及系统

摘要

本发明公开了一种数据传输管理方法，应用于运行服务端和客户端之间的数据传输过程，根据预备发送的数据的数据类型以及对应的数据量，确定数据传输策略，能够使运行服务端及时进行调整，提高数据传输质量，避免了数据拥塞、时延等问题；对运行服务端的实时系统资源消耗情况进行监测，并对实时资源消耗情况进行赋值，根据实时资源消耗情况的赋值确定是否划拨系统资源对数据优先级较高的数据进行优先发送，保证了数据优先级较高的数据的发送时效性；对客户端数据接收能力进行判断，并根据客户端接收能力进行系统资源划拨，相比于常规的定量系统资源划拨，系统资源划拨更加精准，避免了系统资源的浪费。

权利要求

1.一种数据传输管理方法，其特征在于，应用于运行服务端和客户端之间的数据传输过程，所述传输管理方法包括：获取客户端数据请求信息，并根据所述客户端客户请求信息，确定预备要发送的数据的数据优先级、数据类型以及对应数据量；

根据预备发送的数据的数据类型以及对应的数据量，确定数据传输策略；

获取运行服务端实时系统资源消耗情况，并针对实时系统资源消耗情况进行赋值，若运行服务端的实时系统资源消耗情况的赋值大于预设值，则根据数据优先级划拨系统资源，且在划拨系统资源时，根据客户端数据接收能力进行等比划拨，以优先对相应的客户端发送数据；

确定所述客户端数据接收能力的方法包括：

根据向客户端发送数据的数据量以及客户端反馈信息的间隔时间，分析计算客户端数据接收能力；

根据客户端数据接收能力，确定所需划拨的系统资源，以使所述运行服务端对所述客户端的数据发送满足预设时间要求。

2.根据权利要求1所述的一种数据传输管理方法，其特征在于，所述系统资源包括：数据传输分配线程、接口网络带宽、内存占用比例和处理器占用比例。

3.根据权利要求1所述的一种数据传输管理方法，其特征在于，判断运行服务端实时系统资源消耗情况的方法包括：记录单位时间内数据的数据发送类型和对应的数据发送量，并根据运行服务端在处理不同数据类型的数据时，单位数据量所对应的系统资源消耗量，分析计算运行服务端实时发送的数据所占用的系统资源量，进而判断运行服务端实时系统资源消耗情况。

4.根据权利要求3所述的一种数据传输管理方法，其特征在于，对实时系统资源消耗情况进行赋值的方法包括：建立实时资源情况赋值模型K=T‑（P1*X1+P2*X2+P3*X3+…+Pn*Xn），其中K为实时资源消耗值，T为系统总资源值；P1、P2、P3、…、Pn分别为不同的数据类型，所述X1、X2、X3、…、Xn分别为不同数据类型的数据发送量。

5.根据权利要求4所述的一种数据传输管理方法，其特征在于，所述传输管理方法还包括：对具有优先接收权的客户端的数据接收能力进行赋值，以得到客户端所需资源值；

分析计算所有具有优先接收权的客户端所需资源值，确定运行服务端的系统资源划拨量。

6.根据权利要求5所述的一种数据传输管理方法，其特征在于，判断划拨系统资源时机的方法包括：设定K1；

若所述K＞K1，则根据数据优先级划拨系统资源。

7.根据权利要求5所述的一种数据传输管理方法，其特征在于，所述传输管理方法还包括：根据发送数据的数据优先级，确定针对向相应客户端发送数据时划拨系统资源的划拨量，划拨原则为优先级越高，划拨系统资源的划拨量越大。

8.根据权利要求1所述的一种数据传输管理方法，其特征在于，所述传输管理方法还包括：获取后台管理端的管理请求信息，并根据所述管理请求信息，确定数据传输策略；

所述数据传输策略包括传输方式、传输的数据格式、数据优先级、接口网络带宽和数据传输分配线程。

9.一种数据传输管理系统，其特征在于，所述系统包括：接收模块，用于接收客户端发送的客户端请求信息；

请求信息分析模块，用于对客户端请求信息进行解析，确定预备要发送的数据的数据优先级、数据类型以及对应数据量；

传输策略确定模块，用于根据服务的客户端数量、发送的数据量以及发送的数据类型，初步确定运行服务端的数据传输策略；

系统资源消耗判断模块，用于分析计算运行服务端的实时系统资源消耗情况，并对实时系统资源消耗情况进行赋值，若实时系统资源消耗情况的赋值大于预设值，则通知所述传输策略确定模块根据数据优先级划拨系统资源，且在划拨系统资源时，根据客户端数据接收能力进行等比划拨；

确定所述客户端数据接收能力的方法包括：

根据向客户端发送数据的数据量以及客户端反馈信息的间隔时间，分析计算客户端数据接收能力；

根据客户端数据接收能力，确定所需划拨的系统资源，以使所述运行服务端对所述客户端的数据发送满足预设时间要求。

说明书

一种数据传输管理方法及系统

技术领域

[0001] 本发明涉及数据通讯技术领域，尤其是涉及一种数据传输管理方法及系统。

背景技术

[0002] 数据传输就是按照一定的规程，通过一条或者多条数据链路，将数据从数据源传输到数据终端，它的主要作用就是实现点与点之间的信息传输与交换。一个好的数据传输方式可以提高数据传输的实时性和可靠性。

[0003] 现在的互联网通讯应用中，为了能够使数据高效的进行传输，往往应用有各种数据传输调整策略，常规的传输策略中，先是得到客户端对数据的要求，然后经由运行服务端发送对应的数据，在发送过数据时，由于不确定客户端对数据的接收情况，所以往往会等待客户端的反馈后才续发相应的数据，这样的处置方式在运行服务端高负荷运行时，如果面对客户端请求较为紧急，则难以满足该数据请求的时效要求，为了解决这一技术问题，现有的做法是直接划拨系统资源优先发送优先级较高的数据，但由于系统资源划拨为定量划拨，所以容易造成系统资源的浪费，进而影响其他数据的发送。

发明内容

[0004] 本发明的目的是提供一种既能够满足数据优先级较高的数据发送的时效性，又能避免系统资源浪费数据传输管理方法。

[0005] 所以本发明公开了一种数据传输管理方法，应用于运行服务端和客户端之间的数据传输过程，所述传输管理方法包括：

[0006] 获取客户端数据请求信息，并根据所述客户端客户请求信息，确定预备要发送的数据的数据优先级、数据类型以及对应数据量；

[0007] 根据预备发送的数据的数据类型以及对应数据量，确定数据传输策略；

[0008] 获取运行服务端实时系统资源消耗情况，并针对实时系统资源消耗情况进行赋值，若运行服务端的实时系统资源消耗情况的赋值大于预设值，则根据数据优先级划拨系统资源，且在划拨系统资源时，根据客户端数据接收能力进行等比划拨，以优先对相应的客户端发送数据。

[0009] 在本申请的一些实施例中，为了能够精确划拨系统资源，公开了一种确定所述客户端数据接收能力的方法，确定所述客户端数据接收能力的方法包括：

[0010] 根据向客户端发送数据的数据量以及客户端反馈信息的间隔时间，分析计算客户端数据接收能力；

[0011] 根据客户端数据接收能力，确定所需划拨的系统资源，以使所述运行服务端对所述客户端的数据发送满足预设时间要求。

[0012] 在本申请的一些实施例中，公开了系统资源的内容，所述系统资源包括：

[0013] 数据传输分配线程、接口网络带宽、内存占用比例和处理器占用比例。

[0014] 在本申请的一些实施例中，为了能够确定划拨系统资源的时机，公开了一种判断运行服务端实时系统资源消耗情况的方法，判断运行服务端实时系统资源消耗情况的方法包括：

[0015] 记录单位时间内数据的数据发送类型和对应的数据发送量，并根据运行服务端在处理不同数据类型的数据时，单位数据量所对应的系统资源消耗量，分析计算运行服务端实时发送的数据所占用的系统资源量，进而判断运行服务端实时系统资源消耗情况。

[0016] 在本申请的一些实施例中，为了能够对实时系统资源消耗情况进行定值分析，公开了一种对实时系统资源消耗情况赋值的方法，对实时系统资源消耗情况进行赋值的方法包括：

[0017] 建立实时资源情况赋值模型K=T‑（P1*X1+P2*X2+P3*X3+…+Pn*Xn），其中K为实时资源消耗值，T为系统总资源值；P1、P2、P3、…、Pn分别为不同的数据类型，所述X1、X2、X3、…、Xn分别为不同数据类型的数据发送量。

[0018] 在本申请的一些实施例中，为了能够对客户端的数据接收能力进行定值分析，对所述传输管理方法进行了完善，所述传输管理方法还包括：

[0019] 对具有优先接收权的客户端的数据接收能力进行赋值，以得到客户端所需资源值；

[0020] 分析计算所有具有优先接收权的客户端所需资源值，确定运行服务端的系统资源划拨量。

[0021] 在本申请的一些实施例中，公开了一种更加具体的判断划拨系统实际的方法，判断划拨系统资源时机的方法包括：

[0022] 设定K1；

[0023] 若所述K＞K1，则根据数据优先级划拨系统资源。

[0024] 在本申请的一些实施例中，对系统资源划拨的方法进行了改进，所述传输管理方法还包括：

[0025] 根据发送数据的数据优先级，确定针对向相应客户端发送数据时划拨系统资源的划拨量，划拨原则为优先级越高，划拨系统资源的划拨量越大。

[0026] 在本申请的一些实施例中，为了能够使后台管理人员能够人为确定数据传输策略，对所述传输管理方法进行改进，所述传输管理方法还包括：

[0027] 获取后台管理端的管理请求信息，并根据所述管理请求信息，确定数据传输策略；

[0028] 所述数据传输策略包括传输方式、传输的数据格式、数据优先级、接口网络带宽和数据传输分配线程。

[0029] 本申请的一些实施例中，还公开了一种数据传输管理系统，所述系统包括：

[0030] 接收模块，用于接收客户端发送的客户端请求信息；

[0031] 请求信息分析模块，用于对客户端请求信息进行解析，确定预备要发送的数据的数据优先级、数据类型以及对应数据量；

[0032] 传输策略确定模块，用于根据服务的客户端数量、发送的数据量以及发送的数据类型，初步确定运行服务端的数据传输策略；

[0033] 系统资源消耗判断模块，用于分析计算运行服务端的实时系统资源消耗情况，并对实时系统资源消耗情况进行赋值，若实时系统资源消耗情况的赋值大于预设值，则通知所述传输策略确定模块根据数据优先级划拨系统资源。

[0034] 本申请公开的一种数据传输管理方法在对数据传输进行管理时，具有如下优点：

[0035] 1.根据预备发送的数据的数据类型以及对应的数据量，确定数据传输策略，能够使运行服务端及时进行调整，提高数据传输质量，避免了数据拥塞、时延等问题。

[0036] 2.对运行服务端的实时系统资源消耗情况进行监测，并对实时资源消耗情况进行赋值，根据实时资源消耗情况的赋值确定是否划拨系统资源对数据优先级较高的数据进行优先发送，保证了数据优先级较高的数据的发送时效性。

[0037] 3.对客户端数据接收能力进行判断，并根据客户端接收能力进行系统资源划拨，相比于常规的定量系统资源划拨，系统资源划拨更加精准，避免了系统资源的浪费。

[0038] 下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

[0039] 图1为本申请实施例中一种数据传输管理方法的方法步骤图；

[0040] 图2为本申请实施例中一种确定所述客户端数据接收能力的方法步骤图；

[0041] 图3为本申请实施例中一种数据传输策略进行数据处理的流程图。

具体实施方式

[0042] 以下通过附图和实施例对本发明的技术方案作进一步说明。

[0043] 除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

[0044] 实施例：

[0045] 现在的互联网通讯应用中，为了能够使数据高效的进行传输，往往应用有各种数据传输调整策略，常规的传输策略中，先是得到客户端对数据的要求，然后经由运行服务端发送对应的数据，在发送过数据时，由于不确定客户端对数据的接收情况，所以往往会等待客户端的反馈后才续发相应的数据，这样的处置方式在运行服务端高负荷运行时，如果面对客户端请求较为紧急，则难以满足该数据请求的时效要求，为了解决这一技术问题，现有的做法是直接划拨系统资源优先发送优先级较高的数据，但由于系统资源划拨为定量划拨，所以容易造成系统资源的浪费，进而影响其他数据的发送。

[0046] 本发明的目的是提供一种既能够满足数据优先级较高的数据发送的时效性，又能避免系统资源浪费数据传输管理方法。

[0047] 所以本发明公开了一种数据传输管理方法，应用于运行服务端和客户端之间的数据传输过程，参阅图1,所述传输管理方法包括：

[0048] 步骤S100，获取客户端数据请求信息，并根据所述客户端客户请求信息，确定预备要发送的数据的数据优先级、数据类型以及对应数据量。

[0049] 其中，所述数据类型包括网络协议和管理协议类数据、实时业务类数据、大数据量业务类数据、流媒体类数据和普通业务数据。

[0050] 其中，网络协议和管理协议类数据要求低时延和低丢包率，但对带宽的要求不高，实时业务类数据议要求高带宽、低时延和低抖动，大数据量业务类数据是指存在长时间大量数据传输行为的网络业务，这类业务需要尽可能低的网络丢包率，因此可以为这类报文配置流量整形功能，通过数据缓冲区缓存从接口发送的报文，减少由于突发流量导致拥塞而产生的丢包现象，流媒体类数据对网络时延、丢包和抖动的要求较低，普通业务类数据对网络无特殊要求、重要性也不高。

[0051] 影响数据传输质量的因素包括带宽、传送时延和抖动、以及丢包率。

[0052] 其中，带宽也称为吞吐量，是指在一个固定的时间内（1秒），从网络一端传输到另一端的最大数据位数，也可以理解为网络的两个节点之间特定数据流的平均速率。带宽的单位是比特/秒（bit/s）。在网络中，有两个常见的与带宽有关的概念：上行速率和下行速率。上行速率是指用户向网络发送信息时的数据传输速率，下行速率是指网络向用户发送信息时的传输速率。例如，用户通过FTP上传文件到网络，影响上传文件速度的就是上行速率；而从网络下载文件，影响下载文件速度的就是下行速率。

[0053] 时延是指一个报文或分组从网络的发送端到接收端所需要的延迟时间，一般由传输延迟及处理延迟组成。以语音传输为例，时延是指从说话者开始说话到对方听到所说内容的时间。

[0054] 抖动用来描述延迟变化的程度，也就是最大延迟与最小延迟的时间差。抖动对于实时性的传输是一个重要参数，特别是语音和视频等实时业务是极不容忍抖动的，抖动会造成话音或视频的断续。

[0055] 丢包率是指在网络传输过程中丢失报文的数量占传输报文总数的百分比。少量的丢包对业务的影响并不大，例如，在语音传输中，丢失一个比特或一个分组的信息，通话双方往往注意不到。

[0056] 步骤S200，根据预备发送的数据的数据类型以及对应数据量，确定数据传输策略。

[0057] 应当理解的是，数据传输策略包含多种，在这里举例解释差分服务数据传输策略，其基本原理是将数据分为多个类，每个类享受不同的处理，尤其是网络出现拥塞时不同的类会享受不同级别的处理，从而得到不同的丢包率、时延以及时延抖动。同一类的业务在网络中会被聚合起来统一发送，保证相同的时延、抖动、丢包率。

[0058] 参阅图3，上述数据传输策略对数据的处置方式依次是，根据数据类型进行标记分类、流量监管接口限速和其他处理，然后进入拥塞管理，生成若干数据发送队列，对数据发送队列进行调度，最终发送出接口。

[0059] 步骤S300，获取运行服务端实时系统资源消耗情况，并针对实时系统资源消耗情况进行赋值，若运行服务端的实时系统资源消耗情况的赋值大于预设值，则根据数据优先级划拨系统资源，且在划拨系统资源时，根据客户端数据接收能力进行等比划拨，以优先对相应的客户端发送数据。

[0060] 其中，上述提到的系统资源包括数据传输分配线程、接口网络带宽、内存占用比例和处理器占用比例。

[0061] 在本申请的一些实施例中，为了能够精确划拨系统资源，公开了一种确定所述客户端数据接收能力的方法，参阅图2，确定所述客户端数据接收能力的方法包括：

[0062] 步骤S301，根据向客户端发送数据的数据量以及客户端反馈信息的间隔时间，分析计算客户端数据接收能力。

[0063] 步骤S302，根据客户端数据接收能力，确定所需划拨的系统资源，以使所述运行服务端对所述客户端的数据发送满足预设时间要求。

[0064] 在本申请的一些实施例中，公开了系统资源的内容，所述系统资源包括：数据传输分配线程、接口网络带宽、内存占用比例和处理器占用比例。

[0065] 在本申请的一些实施例中，为了能够确定划拨系统资源的时机，公开了一种判断运行服务端实时系统资源消耗情况的方法，判断运行服务端实时系统资源消耗情况的方法包括：记录单位时间内数据的数据发送类型和对应的数据发送量，并根据运行服务端在处理不同数据类型的数据时，单位数据量所对应的系统资源消耗量，分析计算运行服务端实时发送的数据所占用的系统资源量，进而判断运行服务端实时系统资源消耗情况。

[0066] 在本申请的一些实施例中，为了能够对实时系统资源消耗情况进行定值分析，公开了一种对实时系统资源消耗情况赋值的方法，对实时系统资源消耗情况进行赋值的方法包括：建立实时资源情况赋值模型K=T‑（P1*X1+P2*X2+P3*X3+…+Pn*Xn），其中K为实时资源消耗值，T为系统总资源值；P1、P2、P3、…、Pn分别为不同的数据类型，所述X1、X2、X3、…、Xn分别为不同数据类型的数据发送量。

[0067] 在本申请的一些实施例中，为了能够对客户端的数据接收能力进行定值分析，对所述传输管理方法进行了完善，所述传输管理方法还包括：

[0068] 第一步，对具有优先接收权的客户端的数据接收能力进行赋值，以得到客户端所需资源值。

[0069] 第二步，分析计算所有具有优先接收权的客户端所需资源值，确定运行服务端的系统资源划拨量。

[0070] 在本申请的一些实施例中，公开了一种更加具体的判断划拨系统实际的方法，判断划拨系统资源时机的方法包括：设定K1；若所述K＞K1，则根据数据优先级划拨系统资源。

[0071] 在本申请的一些实施例中，对系统资源划拨的方法进行了改进，所述传输管理方法还包括：根据发送数据的数据优先级，确定针对向相应客户端发送数据时划拨系统资源的划拨量，划拨原则为优先级越高，划拨系统资源的划拨量越大。

[0072] 在本申请的一些实施例中，为了能够使后台管理人员能够人为确定数据传输策略，对所述传输管理方法进行改进，所述传输管理方法还包括：获取后台管理端的管理请求信息，并根据所述管理请求信息，确定数据传输策略；所述数据传输策略包括传输方式、传输的数据格式、数据优先级、接口网络带宽和数据传输分配线程。

[0073] 本申请的一些实施例中，还公开了一种数据传输管理系统，所述系统包括：接收模块、请求信息分析模块、传输策略确定模块和系统资源消耗判断模块。

[0074] 所述接收模块用于接收客户端发送的客户端请求信息。

[0075] 所述请求信息分析模块用于对客户端请求信息进行解析，确定预备要发送的数据的数据优先级、数据类型以及对应数据量；

[0076] 所述传输策略确定模块用于根据服务的客户端数量、发送的数据量以及发送的数据类型，初步确定运行服务端的数据传输策略；

[0077] 所述系统资源消耗判断模块，用于分析计算运行服务端的实时系统资源消耗情况，并对实时系统资源消耗情况进行赋值，若实时系统资源消耗情况的赋值大于预设值，则通知所述传输策略确定模块根据数据优先级划拨系统资源。

[0078] 本申请公开的一种数据传输管理方法在对数据传输进行管理时，具有如下优点：

[0079] 1.根据预备发送的数据的数据类型以及对应的数据量，确定数据传输策略，能够使运行服务端及时进行调整，提高数据传输质量，避免了数据拥塞、时延等问题。

[0080] 2.对运行服务端的实时系统资源消耗情况进行监测，并对实时资源消耗情况进行赋值，根据实时资源消耗情况的赋值确定是否划拨系统资源对数据优先级较高的数据进行优先发送，保证了数据优先级较高的数据的发送时效性。

[0081] 3.对客户端数据接收能力进行判断，并根据客户端接收能力进行系统资源划拨，相比于常规的定量系统资源划拨，系统资源划拨更加精准，避免了系统资源的浪费。

[0082] 最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。