一种用于网络边缘设备的文本传输和语义理解一体化方法

摘要

本发明属于通信和自然语言处理交叉技术领域，具体提供一种用于网络边缘设备的文本传输和语义理解一体化方法，包括发送端、接收端及无线信道，接收端的语义解码器在不恢复原始文本信息的情况下，采用分类器得到意图信息，采用循环神经网络GRU模型逐个生成语义槽的单词序列内容，从而得到包括意图与语义槽的结构化信息。本发明能够大幅降低运算开销，基于网络边缘设备十分有限的计算和储存能力，在接收端不恢复自然语言输入的情况下，能够直接从通信信号特征中提取结构化的意图和语义槽信息序列，实现自然语言理解。本发明适用于万物互联的5G、6G通信时代，人与机器、机器与机器之间的文本语义传输和控制场景。

权利要求

1.一种用于网络边缘设备的文本传输和语义理解一体化方法，包括：发送端与接收端；

所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器，所述语义解码器包括：分类器与循环神经网络GRU模型；具体包括以下步骤：步骤S1、在发送端，语义编码器将自然语言输入X中每一个字符进行语义编码得到对应的字符特征，同时生成一个[CLS]语义特征，得到语义编码特征向量F；信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；

步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；

步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，语义特征向量T包括[CLS]语义特征对应的解码语义特征t0与解码字符特征向量TC；语义解码器中分类器基于解码语义特征t0得到自然语言输入的意图信息，语义解码器中循环神经网络GRU模型基于解码语义特征t0与解码字符特征向量TC得到自然语言输入的语义槽信息序列；具体为：解码语义特征t0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q；基于输出特征向量Q对解码字符特征向量TC进行注意力机制运算，得到综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w1；在循环神经网络GRU模型的第k轮迭代中，将第k‑1轮迭代得到的单词估计wk‑1的嵌入表征作为输入、将第k‑1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计wk；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列。

2.根据权利要求1所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述注意力机制运算具体为： ，其中，an表示输出特征向量Q在第n个字符上的语义相关性权重： ，W1表示矩阵参数；tn表示解码字符特征向量TC中第n个字符对应的解码字符特征。

3.一种用于网络边缘设备的文本传输和语义理解一体化方法，包括：发送端与接收端；

所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器，所述语义解码器包括：分类器与循环神经网络GRU模型；具体包括以下步骤：步骤S1、在发送端，语义编码器基于自然语言输入X生成一个[CLS]语义特征，作为语义编码特征向量F；信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；

步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；

步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，包括[CLS]语义特征对应的解码语义特征t0；语义解码器中分类器基于解码语义特征t0得到自然语言输入的意图信息，语义解码器中循环神经网络GRU模型基于解码语义特征t0得到自然语言输入的语义槽信息序列；具体为：解码语义特征t0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q，作为综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w1；在循环神经网络GRU模型的第k轮迭代中，将第k‑1轮迭代得到的单词估计wk‑1的嵌入表征作为输入、将第k‑1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计wk；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列。

4.根据权利要求1或3所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述语义编码器采用由嵌入层与多层多头自注意力层组成的BERT预训练模型或者双向GRU模型。

5.根据权利要求1或3所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述信道编码器由全连接层与归一化层连接构成，所述信道解码器由全连接层构成。

6.根据权利要求1或3所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述分类器由全连接层和softmax层构成。

7.根据权利要求1或3所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，涉及网络模型均经过预训练，训练过程中惩罚函数L为： ，其中，λ为超参数；

Lint为意图分类的估计误差： ，其中，U表示预测意图分布，Z表示独

热编码的意图标签；

Lslot为语义槽信息序列的生成误差： ，其中，I表示预

测语义槽信息序列的数量，J表示语义槽信息序列的长度， 表示第i个预测语义槽信息序列中第j个单词估计对应的综合语义特征在字典上的概率分布， 表示第i个预测语义槽信息序列中第j个单词估计的独热编码标签。

8.根据权利要求1或3所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述相似度计算具体为： ，sm表示综合语义特征p与字典中第m个单词的相似度，W2表示矩阵参数，em表示字典中第m个单词的嵌入表征。

说明书

一种用于网络边缘设备的文本传输和语义理解一体化方法

技术领域

[0001] 本发明属于通信和自然语言处理交叉技术领域，具体提供一种用于网络边缘设备的文本传输和语义理解一体化方法。

背景技术

[0002] 传统的海量数据由数据中心产生，如淘宝浏览记录等，构建云服务器等大数据处理平台进行集中式的处理是基于这些数据进行智能计算的传统方式。近年来，随着万物互联时代的快速到来和5G无线网络的普及，网络边缘设备的数量及其产生的数据都在快速增长，大量数据将从边缘用户设备上产生，例如手机、可穿戴设备及各类传感器等，如果以传统模式集中处理所有边缘设备产生的数据，必然存在实时性不够、带宽不足、能耗较大、不利于数据安全和隐私等弊端。边缘智能技术旨在利用网络边缘设备上有限的运算能力，在靠近收集数据的网络边缘进行数据智能处理；此时，网络边缘设备也参与神经网络的训练和推理工作，从而提高数据处理的质量和速度，同时达到保护隐私数据和提高安全性的目的。

[0003] 自然语言理解（Natural Language Understanding, NLU）任务旨在对用户输入的文本或者语音识别的结果进行处理，提取用户的对话意图以及用户所传递的信息，将无结构的自然语言文本转化为有结构的语义表示，从而让计算机能够自动理解复杂的人类自然语言所蕴含的真正含义。近年来，基于深度学习的自然语言理解技术快速发展，并成功应用于天猫精灵、Siri等开放域智能助手，以及智能客服等专业领域内的人机对话场景。当前的自然语言理解技术主要考虑云端集中式处理场景，依赖大规模的神经网络模型和大量的训练语料，实现对语义的精准分析和理解；少量研究自然语言理解任务在网络边缘实现的工作，为了降低运算复杂度，使用正则化方法和特征函数，应用于小规模的训练和测试数据集。

[0004] 近期有研究提出，在发送端与接收端构建基于神经网络的信源‑信道联合编码模块，实现图像与文本的无线传输；该方法的目标是依赖深度学习强大的拟合能力，传输原始数据所蕴含的语义信息而非比特数据；然而，该方法的接收端对语义的解析结果仍然是无结构的图像或文本信息，而不是机器可以直接理解的结构化的信息。在万物互联时代，通信场景不仅限于人与人之间的通信，人与机器、机器与机器之间的通信则更为常见；此时，接收端的功能不仅是恢复原始信息，更要实现对信息语义的自动分析和理解。

发明内容

[0005] 本发明的目的在于针对上述现有技术存在的缺陷，提供一种用于网络边缘设备的文本传输和语义理解一体化方法，使得处于网络边缘的手机、传感器等接收端设备依靠本地受限的计算和存储能力，实现文本信息的接收及其语义理解，得到结构化的语义信息，避免了上传云端服务器进行处理，大大提高了数据处理的速度并保护了数据的安全性；本发明适用于万物互联的5G、6G通信时代，人与机器、机器与机器之间的文本语义传输和控制场景。

[0006] 为实现上述目的，本发明采用的技术方案为：

[0007] 一种用于网络边缘设备的文本传输和语义理解一体化方法，包括：发送端与接收端；所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器，所述语义解码器包括：分类器与循环神经网络GRU模型；具体包括以下步骤：

[0008] 步骤S1、在发送端，语义编码器将自然语言输入X中每一个字符进行语义编码得到对应的字符特征，同时生成一个[CLS]语义特征，得到语义编码特征向量F；信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；

[0009] 步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；

[0010] 步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，语义特征向量T包括[CLS]语义特征对应的解码语义特征t0与解码字符特征向量TC；语义解码器中分类器基于解码语义特征t0得到自然语言输入的意图信息，语义解码器中循环神经网络GRU模型基于解码语义特征t0与解码字符特征向量TC得到自然语言输入的语义槽信息序列。

[0011] 进一步的，步骤S3中，解码语义特征t0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q；基于输出特征向量Q对解码字符特征向量TC进行注意力机制运算，得到综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w1；在循环神经网络GRU模型的第k（k>1）轮迭代中，将第k‑1轮迭代得到的单词估计wk‑1的嵌入表征作为输入、将第k‑1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计wk；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列。

[0012] 更进一步的，所述注意力机制运算具体为： ，其中，an表示输出特征向量Q在第n个字符上的语义相关性权重： ，W1表示矩阵参数，n=1,2,...,N。

[0013] 一种用于网络边缘设备的文本传输和语义理解一体化方法，包括：发送端与接收端；所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器，所述语义解码器包括：分类器与循环神经网络GRU模型；具体包括以下步骤：

[0014] 步骤S1、在发送端，语义编码器基于自然语言输入X生成一个[CLS]语义特征，作为语义编码特征向量F；信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；

[0015] 步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；

[0016] 步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，包括[CLS]语义特征对应的解码语义特征t0；语义解码器中分类器基于解码语义特征t0得到自然语言输入的意图信息，语义解码器中循环神经网络GRU模型基于解码语义特征t0得到自然语言输入的语义槽信息序列。

[0017] 进一步的，步骤S3中，解码语义特征t0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q，作为综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w1；在循环神经网络GRU模型的第k（k>1）轮迭代中，将第k‑1轮迭代得到的单词估计wk‑1的嵌入表征作为输入、将第k‑1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计wk；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列。

[0018] 进一步的，上述两个技术方案中，所述语义编码器采用由嵌入层与多层多头自注意力层组成的BERT预训练模型或者双向GRU模型，所述信道编码器由全连接层与归一化层连接构成，所述信道解码器由全连接层构成，所述分类器由全连接层和softmax层构成。

[0019] 进一步的，上述两个技术方案中，所述相似度计算具体为： ，sm表示综合语义特征p与字典中第m个单词的相似度，W2表示矩阵参数，em表示字典中第m个单词的嵌入表征，m=1,2,...,M，M表示词典中的单词数量。

[0020] 进一步的，上述用于网络边缘设备的文本传输和语义理解一体化方法中，涉及网络模型均经过预训练，训练过程中惩罚函数L为： ，其中，λ为超参数；

[0021] Lint为意图分类的估计误差： ，其中，U表示预测意图分布，Z表示独热编码的意图标签；

[0022] Lslot为语义槽信息序列的生成误差： ，其中，I表示预测语义槽信息序列的数量，J表示语义槽信息序列的长度， 表示第i个预测语义槽信息序列中第j个单词估计对应的综合语义特征在字典上的概率分布， 表示第i个预测语义槽信息序列中第j个单词估计的独热编码标签。

[0023] 基于上述技术方案，本发明的有益效果在于：

[0024] 本发明提供一种用于网络边缘设备的文本传输和语义理解一体化方法，包括发送端、接收端及无线信道；发送端包括语义编码器与信道编码器，其中，语义编码器将自然语言输入编码为语义特征，信道编码器将语义特征压缩并归一化为适合信道传输的特征；接收端包括信道解码器与语义解码器，其中，信道解码器将通信信号表示的特征转化为供语义解码器使用的特征，语义解码器通过该特征在不恢复原始文本信息的情况下，采用分类器得到意图（Intent）信息，并将语义槽（Slot）名称的嵌入表征作为初始输入，采用循环神经网络GRU模型逐个生成语义槽的单词序列内容，从而得到包括意图与语义槽的结构化信息。

[0025] 进一步的，本发明在循环神经网络GRU模型中，根据语义槽名来生成语义槽信息序列，在生成过程中，使用语义槽名作为初始输入，并采用注意力机制将模型输出与解码得到的字符特征进行信息融合，从而获得符合整体语义的当前语义槽单词的特征表示；同时，本发明提出混合惩罚函数用来并行训练意图预测和语义槽信息序列生成，有效提升预测准确度。

[0026] 综上，本发明能够大幅降低运算开销，基于网络边缘设备十分有限的计算和储存能力，在接收端不恢复自然语言输入的情况下，能够直接从通信信号特征中提取结构化的意图和语义槽信息序列，实现自然语言理解；并且，在压缩传输数据量的同时，能够克服无线信道噪声的影响。

附图说明

[0027] 图1为本发明实施例1中用于网络边缘设备的文本传输和语义理解一体化方法的流程示意图。

[0028] 图2为本发明所有实施例与对比例在ATIS数据集在的意图识别正确率对比图。

[0029] 图3为本发明所有实施例与对比例在ATIS数据集在的语义槽识别完成正确率对比图。

[0030] 图4为本发明所有实施例与对比例在SmartLights数据集在的意图识别正确率对比图。

[0031] 图5为本发明所有实施例与对比例在SmartLights数据集在的语义槽识别完成正确率对比图。

[0032] 图6为本发明所有实施例与对比例在SmartSpeaker数据集在的意图识别正确率对比图。

[0033] 图7为本发明所有实施例与对比例在SmartSpeaker数据集在的语义槽识别完成正确率对比图。

[0034] 图8为本发明实施例1中各个训练信噪比时在ATIS数据集下的语义槽识别完成正确率对比图。

具体实施方式

[0035] 为使本发明的目的、技术方案与有益效果更加清楚明白，下面结合附图和实施例对本发明做进一步详细说明。

[0036] 实施例1

[0037] 本实施例一种用于网络边缘设备的文本传输和语义理解一体化方法，如图1所示，包括：发送端与接收端；所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器；具体步骤如下：

[0038] 步骤S1、在发送端，语义编码器将自然语言输入X中每一个字符进行语义编码得到对应的字符特征，同时生成一个额外的[CLS]语义特征，得到语义编码特征向量F；其中，X={x1,x2,..., xN}，N表示自然语言输入中字符数量，xn表示自然语言输入中第n个字符，F={ f0,f1,f2,..., fN}，f0表示[CLS]语义特征，fn表示xn的字符特征，n=1,2,...,N；

[0039] 信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；其中，G={ g0,g1,g2,..., gN} ，gn表示fn的信道传输语义特征，n=0,1,2,...,N；

[0040] 进一步的，所述语义编码器采用由嵌入层与多层多头自注意力层组成的BERT预训练模型；所述信道编码器由全连接层与归一化层连接构成，全连接层用于降低语义特征向量的特征维度，归一化层用于将语义特征向量中的特征值归一化至有限范围内；

[0041] 步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；

[0042] 步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，其中，T={t0,t1,t2,..., tN}，t0表示f0对应的解码语义特征，tn表示fn对应的解码语义特征，n=1,2,...,N；进而得到解码字符特征向量TC：TC={ t1,t2,..., tN}，n=1,2,...,N；

[0043] 语义解码器包括：分类器与循环神经网络GRU模型；解码语义特征t0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q；基于输出特征向量Q对解码字符特征向量TC进行注意力机制运算，得到综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w1；在循环神经网络GRU模型的第k（k>1）轮迭代中，将第k‑1轮迭代得到的单词估计wk‑1的嵌入表征作为输入、将第k‑1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计wk；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列；

[0044] 所述注意力机制运算具体为： ，其中，an表示输出特征向量Q在第n个字符上的语义相关性权重： ，W1表示可训练的矩阵参数，n=1,2,...,N；

[0045] 所述相似度计算具体为： ，sm表示综合语义特征p与字典中第m个单词的相似度，W2表示可训练的矩阵参数，em表示字典中第m个单词的嵌入表征，m=1,2,...,M，M表示词典中的单词数量；

[0046] 进一步的，所述信道解码器由全连接层构成，将语义特征R进行解码得到供语义解码器使用的解码语义特征T；所述分类器由全连接层和softmax层构成，用于输出意图信息。

[0047] 上述用于网络边缘设备的文本传输和语义理解一体化方法涉及的网络模型均完成预训练，训练目标为最小化意图与语义槽信息序列的误差，意图分类的估计误差与语义槽信息序列的生成误差均采用交叉熵进行计算；更为具体的讲：

[0048] 交叉熵用于度量真实的概率分布和预测的概率分布间的差异性，交叉熵越小，误差就越小；本实施例中，设置意图分类的估计误差为Lint：

[0049] ，

[0050] 其中，U表示预测意图分布，Z表示独热编码的意图标签；

[0051] 设置语义槽信息序列的生成误差为Lslot：

[0052] ，

[0053] 其中，I表示预测语义槽信息序列的数量，J表示语义槽信息序列的长度， 表示第i个预测语义槽信息序列中第j个单词估计对应的综合语义特征pi,j在字典上的概率分布： ， 表示第i个预测语义槽信息序列中第j个单词估计的独热编码标签；

[0054] 最终得到完整惩罚函数L为： ，其中，λ为可调节的超参数。

[0055] 实施例2

[0056] 本实施例一种用于网络边缘设备的文本传输和语义理解一体化方法，其与实施例1的区别在于：在发送端，仅将 [CLS]语义特征f0的信道传输语义特征g0无线传输至接收端；
在接收端，循环神经网络GRU模型将解码语义特征t0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第一次迭代，得到输出特征向量Q，直接作为综合语义特征p。

[0057] 实施例3

[0058] 本实施例一种用于网络边缘设备的文本传输和语义理解一体化方法，其与实施例1的区别在于：在发送端，语义编码器采用双向GRU模型。

[0059] 实施例4

[0060] 本实施例一种用于网络边缘设备的文本传输和语义理解一体化方法，其与实施例2的区别在于：在发送端，语义编码器采用双向GRU模型。

[0061] 同时，本发明还提供两个对比例，均采用文献“Chen Q, Zhuo Z, Wang W. Bert for joint intent classification and slot filling[J]. arXiv preprint arXiv:1902.10909, 2019.”中的传统语义传输和理解系统；在对比例1中，采用FixLen编码进行信源比特编码，每个字符的信源编码长度设置为6bit，采用Reed‑Solomon编码进行信道编码，信道编码长度设置为9bit、消息长度设置为7bit，在接收端使用BERT模型进行NLU；在对比例2中，采用Huffman编码进行信源比特编码，采用Reed‑Solomon编码进行信道编码，信道编码长度设置为7bit、消息长度设置为4bit，在接收端使用BERT模型进行NLU。

[0062] 对于NLU任务，本发明使用SmartLights、SmartSpeaker、ATIS公开基准数据集对实施例与对比例进行性能比较，所述SmartLights、SmartSpeaker、ATIS公开基准数据集的信息如表1所示；

[0063] 表1

[0064]

[0065] 对于ATIS数据集，将其原始训练集用于训练，结合其验证集和测试集进行测试；对于SmartLights数据集，将80%的样本用于训练，20%用于测试；对于SmartSpeaker数据集，将80%的样本用于训练，20%用于测试。

[0066] 在训练与测试过程中，实施例1 实施例4将数值连续的信道传输语义特征向量G中~每两个特征值形成一个符号，采用连续QAM调制进行无线传输，每个符号可以映射为I/Q复平面上的点；对比例1与对比例2采用64QAM调制；所有实施例与对比例的自然语言输入采用大致相同的平均传输符号数量，每个单词大约6.5个符号。在训练过程中，实施例1 实施例4~
训练的信噪比固定为7dB，采用Adam优化器与linear warmup scheduler，发送端的BERT模型的最大学习率设置为1e‑4，其他部分的最大学习率设置为5e‑3；对于发送端未采用BERT模型的实施例，整个模型设置最大学习率5e‑3进行训练。惩罚函数中超参数λ设置为0.1，批量大小设置为32，采用ratio参数为0.5的Teacher Forcing策略训练循环神经网络GRU模型；对比例1与对比例2的接收端的BERT模型采用Adam优化器进行了有效训练。在测试过程中，采用不同信噪比的AWGN信道进行测试。

[0067] 如图2 图7为所有实施例与对比例的测试结果对比图，其中，图2为在ATIS数据集~在的意图识别正确率，图3为在ATIS数据集下的语义槽识别完成正确率，图4为在SmartLights数据集在的意图识别正确率，图5为在SmartLights数据集下的语义槽识别完成正确率，图6为在SmartSpeaker数据集在的意图识别正确率，图7为在SmartSpeaker数据集下的语义槽识别完成正确率；由图可见，实施例1 实施例4均能够在测试信噪比范围内准~
确地预测自然语言输入的意图；在语义槽信息序列预测方面，当SNR低于18dB，实施例1 实~
施例4在三个数据集的性能均明显优于对比例；具体而言，在ATIS、SmartLights、SmartSpeaker数据集上，实施例1在测试信噪比为12dB时，其语义槽识别完全正确率约为
80%，证明了本发明的可行性及其对信道噪声的鲁棒性。

[0068] 进一步的，如图8所示为实施例1在各个训练信噪比时在ATIS数据集下的语义槽识别完成正确率，将单词符号数固定为12，将训练信噪比设置为2dB、5dB与12dB；由图可见，实施例1在高信噪比下进行训练时，能在高信噪比范围内获得更好的性能；在低信噪比下进行训练时，能在低信噪比范围内获得更好的性能；此外，实施例1总是能够适应当前的信道条件，并获得相对较好的性能。

[0069] 另外，本发明采用FLOPs与参数大小表征实施例1与对比例在接收端的复杂度，FLOPs表示处理自然语言输入的平均浮点操作次数；本发明中FLOPs定义为：，参数大小定义为： ，其中， S、E、H、V分别表示
语义槽数量、字典里的单词嵌入大小、隐藏层大小、句子中的单词数量。对于各个数据集，基于BERT模型的传统方法（对比例1与对比例2）在语义理解上的复杂性都近似恒定；本发明在接收端的复杂性主要存在于语义槽信息序列生成部分，并且在各个数据集之间存在差异，具体如表2所示；由表可见，对于语义槽数量与词汇数量小的数据集，如SmartLights、SmartSpeakers，实施例1的计算和存储复杂性不到基于BERT模型的传统方法的千分之一和百分之一。

[0070] 表2

[0071]

[0072] 综上可见，本发明所提出的用于网络边缘设备的文本传输和语义理解一体化方法，在接收端不用恢复原始自然语言输入，省去了信源和信道解码的运算开销，能更高效地传输并理解语义信息；同时，本发明降低了接收端语义理解的计算复杂度和存储复杂度，因而大幅降低在网络边缘进行语义理解的门槛，使得在计算能力很低的设备本地进行语义理解成为了可能。

[0073] 以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。