本发明公开了一种基于分布式任务调度的GFS气象数据分发、传输方法，该方法包括以下步骤：在若干个气象监测点设置监测终端；通过图像收集模块对气象监测点的外界图像进行收集；通过数据分发模块将GFS气象数据分发传输至客户；收集GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测；将GFS气象数据、外界图像及气温误差预测值进行结合得到气象发送数据；通过数据分发模块将气象发送数据分发传输至客户；通过服务反馈模块接受客户的气象数据反馈信息。本发明能够向客户传输直观的气象数据外景，且能够提供精确的气象预测服务。
1.一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，该方法包括以下步骤：
S1、在若干个气象监测点设置监测终端，监测终端内设置有若干个气温测量模块、数据分发模块、图像收集模块及服务反馈模块；
S2、通过图像收集模块对气象监测点的外界图像进行收集；
S3、获取GFS气象数据，并通过数据分发模块将GFS气象数据分发传输至客户；
S4、收集GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测；
计算得到每天GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并存储；
每个气象监测点根据自身存储的气象监测点误差值建立训练预测模型，并利用训练预测模型按各个气象监测点每天的误差值进行各自训练；
每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值；
通过中心服务端将各个更新差值进行参数聚合，并得到聚合更新参数，且将聚合更新参数发送至各个气象监测点；
各个气象监测点通过聚合更新参数对训练预测模型进行更新，并通过训练预测模型预测GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的气温误差预测值；气温测量模块测得气象监测点的气温数值大于GFS气象数据中气象监测点的气温数值，则气温误差预测值为正，否则为负；
S5、将GFS气象数据、外界图像及气温误差预测值进行结合得到气象发送数据；
S6、通过数据分发模块将气象发送数据分发传输至客户；
S7、通过服务反馈模块接受客户的气象数据反馈信息。
2.根据权利要求1所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述监测终端内还包含存储模块，所述存储模块内存储的气象要素包括温度、湿度、气压及降水量。
3.根据权利要求1所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述S2中通过图像收集模块对气象监测点的外界图像进行收集还包括以下步骤：
每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组；
建立若干个图像分类文件夹，并根据外景图像的特征向量组对所有外景图像进行分类；
根据分类结果将各个外景图像存入不同类别的图像分类文件夹。
4.根据权利要求3所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组还包括以下步骤：特征提取网络获取外景图像的特征向量，全连接层根据外景图像的特征向量的特征维度与外景图像的类别数目建立参数矩阵，并对参数矩阵进行初始化处理，得到与不同外景图像的特征向量一一对应的类别向量；
计算外景图像的特征向量与类别向量之间的第一欧式距离，并计算不同外景图像的类别向量之间的第二欧式距离；
根据第一欧式距离及第二欧式距离计算外界图像的样本损失，并根据外界图像的样本损失计算外界图像的特征向量和类别向量的梯度，根据梯度更新特征提取网络的参数和全连接层的参数矩阵；
根据更新后的特征提取网络及全连接层对外景图像进行向量化处理。
5.根据权利要求4所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述根据第一欧式距离及第二欧式距离计算外界图像的样本损失为：L=La+λLb，La为softmax损失，Lb为余弦中心损失，λ为权重。
6.根据权利要求1所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述S4中收集GFS气象数据与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测还包括以下步骤：计算得到每天GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并存储；
每个气象监测点根据自身存储的气象监测点误差值建立训练预测模型，并利用训练预测模型按各个气象监测点每天的误差值进行各自训练；
每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值；
通过中心服务端将各个更新差值进行参数聚合，并得到聚合更新参数，且将聚合更新参数发送至各个气象监测点；
各个气象监测点通过聚合更新参数对训练预测模型进行更新，并通过训练预测模型预测GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的气温误差预测值。
7.根据权利要求6所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述训练预测模型包括神经网络预测模型。
8.根据权利要求7所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值时，每隔24小时将更新的差值发送至中心服务端。
9.根据权利要求1所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述S7中通过服务反馈模块接受客户的气象数据反馈信息还包括以下步骤：预设服务反馈内容包括标题及内容；
提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式；
将格式转化后的内容输入情感分析模块的Transformer模型中，并利用Transformer模型输出该内容的最大概率的预测标签；
其中，Transformer模型的定义如下：；其中，Q表示query，对应需要被表达的序列，K和V表示key和value，对应用来表达Q的序列，softmax是激活函数，将多个神经元的输T
出映射到（0，1）区间内，K表示K的向量的转置，T为转置符号，dk为K的向量维度。
10.根据权利要求9所述的一种基于分布式任务调度的GFS气象数据分发、传输方法，其特征在于，所述提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式时，对内容中的异常格式进行空值删除和时间格式转换处理。
一种基于分布式任务调度的GFS气象数据分发、传输方法
技术领域
[0001] 本发明涉及气象数据处理技术领域，具体来说，涉及一种基于分布式任务调度的GFS气象数据分发、传输方法。
背景技术
[0002] 分布式架构中一个服务部署多个冗余实例来运行业务，在这种分布式系统环境下运行任务调度为分布式任务调度，即将单体结构分为若干服务，服务之间通过网络交互来
完成用户的业务处理。
[0003] 电力行业、交通行业等对气象数据的需求较高。气象数据的分发及传输是气象服务的重要任务。现有技术中的气象数据处理方法，例如专利号201210495573.7，公开了一种
气象数据快速处理流程化的方法，其包括对不同文件结构的源数据通过序列化的方法导入
计算机系统等，达到提高其自动化水平，实现海量卫星观测气象数据的快速流程化处理。
[0004] 但是，以上专利在使用时存在以下问题：在对气象数据进行分发传输时，缺少对气象数据的相关地点的外部景象进行获取并分发，不利于向客户直观的展示不同气象条件下
不同的外景。同时现有的气象数据缺少误差值预测，因此不利于对客户进行更加精确的气
象预测服务。
[0005] 针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
[0006] 针对相关技术中的问题，本发明提出一种基于分布式任务调度的GFS气象数据分发、传输方法，以克服现有相关技术所存在的上述技术问题。
[0007] 为此，本发明采用的具体技术方案如下：
[0008] 一种基于分布式任务调度的GFS气象数据分发、传输方法，该方法包括以下步骤：
[0009] S1、在若干个气象监测点设置监测终端，监测终端内设置有若干个气温测量模块、数据分发模块、图像收集模块及服务反馈模块；
[0010] S2、通过图像收集模块对气象监测点的外界图像进行收集；
[0011] S3、获取GFS气象数据，并通过数据分发模块将GFS气象数据分发传输至客户；
[0012] S4、收集GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测；
[0013] S5、将GFS气象数据、外界图像及气温误差预测值进行结合得到气象发送数据；
[0014] S6、通过数据分发模块将气象发送数据分发传输至客户；
[0015] S7、通过服务反馈模块接受客户的气象数据反馈信息。
[0016] 进一步的，所述监测终端内还包含存储模块，所述存储模块内存储的气象要素包括温度、湿度、气压及降水量。
[0017] 进一步的，所述S2中通过图像收集模块对气象监测点的外界图像进行收集还包括以下步骤：
[0018] 每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组；
[0019] 建立若干个图像分类文件夹，并根据外景图像的特征向量组对所有外景图像进行分类；
[0020] 根据分类结果将各个外景图像存入不同类别的图像分类文件夹。
[0021] 进一步的，所述每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组还包括以下步骤：
[0022] 特征提取网络获取外景图像的特征向量，全连接层根据外景图像的特征向量的特征维度与外景图像的类别数目建立参数矩阵，并对参数矩阵进行初始化处理，得到与不同
外景图像的特征向量一一对应的类别向量；
[0023] 计算外景图像的特征向量与类别向量之间的第一欧式距离，并计算不同外景图像的类别向量之间的第二欧式距离；
[0024] 根据第一欧式距离及第二欧式距离计算外界图像的样本损失，并根据外界图像的样本损失计算外界图像的特征向量和类别向量的梯度，根据梯度更新特征提取网络的参数
和全连接层的参数矩阵；
[0025] 根据更新后的特征提取网络及全连接层对外景图像进行向量化处理。
[0026] 进一步的，所述根据第一欧式距离及第二欧式距离计算外界图像的样本损失为：
[0027] L=La+λLb，La为softmax损失，Lb为余弦中心损失，λ为权重。
[0028] 进一步的，所述S4中收集GFS气象数据与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测还包括以下步骤：
[0029] 计算得到每天GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并存储；
[0030] 每个气象监测点根据自身存储的气象监测点误差值建立训练预测模型，并利用训练预测模型按各个气象监测点每天的误差值进行各自训练；
[0031] 每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值；
[0032] 通过中心服务端将各个更新差值进行参数聚合，并得到聚合更新参数，且将聚合更新参数发送至各个气象监测点；
[0033] 各个气象监测点通过聚合更新参数对训练预测模型进行更新，并通过训练预测模型预测GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值
之间的气温误差预测值。
[0034] 进一步的，所述训练预测模型包括神经网络预测模型。
[0035] 进一步的，所述每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值时，每隔24小时将更新的差值发送至中心服务端。
[0036] 进一步的，所述S7中通过服务反馈模块接受客户的气象数据反馈信息还包括以下步骤：
[0037] 预设服务反馈内容包括标题及内容；
[0038] 预设标题的左右边界包含换行符；
[0039] 提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式；
[0040] 将格式转化后的内容输入情感分析模块的Transformer模型中，并利用Transformer模型输出该内容的最大概率的预测标签；
[0041] 其中，Transformer模型的定义如下：
[0042] ；其中，Q表示query，对应需要被表达的序列，K和V表示key和value，对应用来表达Q的序列，softmax是激活函数，将多个神经元
T
的输出映射到（0，1）区间内，K表示K的向量的转置，T为转置符号，dk为K的向量维度。
[0043] 进一步的，所述提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式时，对内容中的异常格式进行空值删除和时间格式转换处理。
[0044] 本发明的有益效果为：本发明通过处传输分发基于分布式任务调度的GFS气象数据，且将传输至客户的气象数据中包含当前气象监测点的外界图像，从而可以为客户展示
不同气象条件下当地相应的直观外景，有利于客户对天气进行直观的感受和了解，且能够
自动的将图像进行分类，可以直观的展示一年相同气象条件下的日期与天数，为后续的气
象研究提供数据。通过在传输至客户的气象数据中包含气温误差预测，从而可以更加精确
的为客户提供气象预测服务。同时接受客户的气象数据反馈信息，并能够高效的识别出反
馈内容的正面、负面信息，有利于相关人员及时发现客户的需求，改善气象数据的分发传输
服务。
附图说明
[0045] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获
得其他的附图。
[0046] 图1是根据本发明实施例的一种基于分布式任务调度的GFS气象数据分发、传输方法的流程图。
具体实施方式
[0047] 为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参
考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点，图中
的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
[0048] 根据本发明的实施例，提供了一种基于分布式任务调度的GFS（全球预报系统）气象数据分发、传输方法。
[0049] 现结合附图和具体实施方式对本发明进一步说明，如图1所示，根据本发明实施例的基于分布式任务调度的GFS气象数据分发、传输方法，该方法包括以下步骤：
[0050] S1、在若干个气象监测点设置监测终端，监测终端内设置有若干个气温测量模块、数据分发模块、图像收集模块及服务反馈模块；
[0051] 所述监测终端内还包含存储模块，所述存储模块内存储的气象要素包括温度、湿度、气压及降水量。
[0052] S2、通过图像收集模块对气象监测点的外界图像进行收集；
[0053] 其中，所述S2中通过图像收集模块对气象监测点的外界图像进行收集还包括以下步骤：
[0054] 每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组；
[0055] 建立若干个图像分类文件夹，并根据外景图像的特征向量组对所有外景图像进行分类；
[0056] 根据分类结果将各个外景图像存入不同类别的图像分类文件夹。
[0057] 所述每天获取气象监测点的外景图像，并对外景图像进行向量化处理，得到外景图像的特征向量组还包括以下步骤：
[0058] 图像分类模型中包含特征提取网及全连接层，特征提取网络获取外景图像的特征向量，全连接层根据外景图像的特征向量的特征维度与外景图像的类别数目建立参数矩
阵，并对参数矩阵进行初始化处理，得到与不同外景图像的特征向量一一对应的类别向量；
[0059] 计算外景图像的特征向量与类别向量之间的第一欧式距离，并计算不同外景图像的类别向量之间的第二欧式距离；
[0060] 根据第一欧式距离及第二欧式距离计算外界图像的样本损失，并根据外界图像的样本损失计算外界图像的特征向量和类别向量的梯度，根据梯度更新特征提取网络的参数
和全连接层的参数矩阵；
[0061] 根据更新后的特征提取网络及全连接层对外景图像进行向量化处理。
[0062] 所述根据第一欧式距离及第二欧式距离计算外界图像的样本损失为：
[0063] L=La+λLb，La为softmax损失，Lb为余弦中心损失，λ为权重。
[0064] S3、获取GFS气象数据，并通过数据分发模块将GFS气象数据分发传输至客户；
[0065] S4、收集GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测；
[0066] 其中，所述S4中收集GFS气象数据与气温测量模块测得气象监测点的气温数值之间的误差值，并通过误差值进行气温误差预测还包括以下步骤：
[0067] 计算得到每天GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值之间的误差值，并存储；
[0068] 每个气象监测点根据自身存储的气象监测点误差值建立训练预测模型，并利用训练预测模型按各个气象监测点每天的误差值进行各自训练；
[0069] 每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值；
[0070] 通过中心服务端将各个更新差值进行参数聚合，并得到聚合更新参数，且将聚合更新参数发送至各个气象监测点；
[0071] 各个气象监测点通过聚合更新参数对训练预测模型进行更新，并通过训练预测模型预测GFS气象数据中气象监测点的气温数值与气温测量模块测得气象监测点的气温数值
之间的气温误差预测值。气温测量模块测得气象监测点的气温数值大于GFS气象数据中气
象监测点的气温数值，则气温误差预测值为正，否则为负。
[0072] 所述训练预测模型包括神经网络预测模型。
[0073] 所述每个气象监测点依据自身的训练结果对各自的训练预测模型的参数进行更新，并存储更新的差值时，每隔24小时将更新的差值发送至中心服务端。
[0074] S5、将GFS气象数据、外界图像及气温误差预测值进行结合得到气象发送数据；
[0075] S6、通过数据分发模块将气象发送数据分发传输至客户；
[0076] S7、通过服务反馈模块接受客户的气象数据反馈信息；
[0077] 其中，所述S7中通过服务反馈模块接受客户的气象数据反馈信息还包括以下步骤：
[0078] 预设服务反馈内容包括标题及内容；
[0079] 预设标题的左右边界包含换行符；
[0080] 提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式；
[0081] 将格式转化后的内容输入情感分析模块的Transformer模型（一种神经语言程序学经典模型）中，并利用Transformer模型输出该内容的最大概率的预测标签；
[0082] 其中，Transformer模型的定义如下：
[0083] ；其中，Q表示query，对应需要被表达的序列，K和V表示key和value，对应用来表达Q的序列，该式中softmax是激活函数，将多个
T
神经元的输出映射到（0，1）区间内，K表示K的向量的转置，T为转置符号，dk为K的向量维度。
[0084] 所述提取两个换行符之间的内容，并对该内容进行解析并转化为Python Dataframe格式时，对内容中的异常格式进行空值删除和时间格式转换处理。
[0085] 综上所述，本发明通过处传输分发基于分布式任务调度的GFS气象数据，且将传输至客户的气象数据中包含当前气象监测点的外界图像，从而可以为客户展示不同气象条件
下当地相应的直观外景，有利于客户对天气进行直观的感受和了解，且能够自动的将图像
进行分类，可以直观的展示一年相同气象条件下的日期与天数，为后续的气象研究提供数
据。通过在传输至客户的气象数据中包含气温误差预测，从而可以更加精确的为客户提供
气象预测服务。同时接受客户的气象数据反馈信息，并能够高效的识别出反馈内容的正面、
负面信息，有利于相关人员及时发现客户的需求，改善气象数据的分发传输服务。
[0086] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
