一种农作物诊断方法、装置、慧诊仪以及可读存储介质

摘要

本发明通过提供一种农作物诊断方法、装置、慧诊仪以及可读存储介质，其通过慧诊仪采集待识别农作物病害图像，将所述农作物病害图像输入至预先训练好的病害识别模型中，确定所述农作物病害图像的至少一个病害标注信息，用户不仅可以通过慧诊仪识别所述农作物病害图像并得到所述农作物病害的标注信息，还可以通过慧诊仪输入查询语句，再从预先建立的知识图谱中获取水稻的目标病害为水稻稻苗疫病以及所述目标病害为水稻稻苗疫病所对应的辅助决策，以此提高识别效率，达到了更准确的识别效果。

权利要求

1.一种农作物诊断方法，具体包括：

步骤1：通过慧诊仪采集待识别农作物病害图像；

步骤2：将所述农作物病害图像输入至预先训练好的病害识别模型中，确定所述农作物病害图像的至少一个病害标注信息；

具体地，所述病害识别模型包括特征提取农作物病害图像的特征向量，其中，所述特征向量包括颜色特征向量和纹理特征向量；结合颜色特征向量和纹理特征向量在得到所述农作物病害图像的特征向量后，通过所述病害识别模型的分类器进行分类标记，并得到所述农作物病害图像的分类概率和所述农作物病害图像的标注信息；

步骤3：根据查询输入来自动匹配知识图谱查询路径；

基于所述农作物病害的标注信息，自动生成查询语句，并从知识图谱中查询农作物的目标病害和对应的辅助决策；

具体地，在步骤3中包括以下步骤：

步骤3.1：获取所述标注信息和用户查询语句的表示文本；

判断标注信息和用户查询语句的表示文本是否包括关系类型及两个实体；若是则执行步骤3.2，若否则执行步骤3.4；

步骤3.2：设置知识图谱中的源节点、目标节点和临时节点，在初始阶段将临时节点设置在源节点处，更新临时节点附近的实体和关系集合；

步骤3.3：获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中的临时节点中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点；

步骤3.4：判断获取所述标注信息以及用户查询语句中是否只包括实体，若是执行步骤

3.5；若否则执行步骤3.7；

步骤3.5：将实体对应的节点的ID和相邻节点ID进行比较；若实体对应的节点的ID大于相邻节点ID，将实体对应的节点作为初始节点；

步骤3.6：获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中的临时节点中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点，获取目标病害以及用户查询语句中的实体；

步骤3.7：若通过所述慧诊仪判断未获取所述标注信息，并且用户输入查询语句中只包括实体；

步骤3.8：获取所述实体的集合A以及集合A中各实体对应节点的相邻节点的集合B，得到所述集合A与所述集合B的交集C以及并集D；

步骤3.9：通过所述交集C与所述并集D的比值计算所述集合A与所述集合B的相似度，获取相似度最高的目标实体；

步骤4：基于目标实体为农作物病害防治提供辅助决策，在未获取辅助决策时开启远程专家指导。

2.根据权利要求1所述的一种农作物诊断方法，其特征在于：在预先构建农作物病害知识图谱时，具体地，利用条件约束方法对半结构化知识进行抽取和/或利用机器学习方法提取非结构化知识，最后进行知识存储；

将抽取到的两部分作物农作物病害三元组数据共同存储到 Neo4j 图数据中，并进行可视化展示。

3.根据权利要求2所述的一种农作物诊断方法，其特征在于：在预先构建农作物病害知识图谱的映射关系时，输入文本中的实体位置信息，并结合上下文提取出实体位置中的首部、中间、尾部的语法结构特征以及语义特征；

具体地，根据注意力机制计算输入文本实体的首部、中间部分、尾部的向量，即首部向量、中间向量、尾部向量，并基于注意力机制计算所述首部向量、所述中间向量、所述尾部向量之间的相互关系R；

；

其中，S为首部向量，N为中间向量，W为尾部向量， 表示首部向量的维度或中间向量维度或尾部向量的维度数量， 表示注意力机制函数， 表示归一化指数函数。

4.根据权利要求3所述的一种农作物诊断方法，其特征在于：根据多头注意力机制进行多次线性变换，并将所述首部向量、中间向量、尾部向量进行投影，将多次线性变换矩阵进行融合；

；

其中， 表示多头注意力机制，concat（）表示融合函数， 表示在多头注意力机制下的线性变换后得到的变换矩阵，n表示变换次数；

具体地，计算多次线性变换矩阵 ；

；

其中， 表示投影后的首部向量， 表示投影后的中间向量， 表示投影后的尾部向量；

根据输出结果对所述首部向量、中间向量、尾部向量完成知识图谱中各个节点映射关系，完成构建所述农作物病害知识图谱。

5.一种农作物诊断装置，具体应用于慧诊仪，其特征在于，包括：农作物病害图像获取模块、农作物病害图像识别模块、知识图谱查询模块、辅助决策模块；

农作物病害图像获取模块，用于通过慧诊仪采集待识别农作物病害图像；

农作物病害图像识别模块，用于将所述农作物病害图像输入至预先训练好的病害识别模型中，确定所述农作物病害图像的至少一个病害标注信息；

具体地，所述病害识别模型包括特征提取农作物病害图像的特征向量，其中，所述特征向量包括颜色特征向量和纹理特征向量；结合颜色特征向量和纹理特征向量；

在得到所述农作物病害图像的特征向量后，通过所述病害识别模型的分类器进行分类标记，并得到所述农作物病害图像的分类概率和所述农作物病害图像的标注信息；知识图谱查询模块，用于根据查询输入来自动匹配知识图谱查询路径；

知识图谱查询模块，用于根据查询输入来自动匹配知识图谱查询路径；

基于所述农作物病害的标注信息，自动生成查询语句，并从知识图谱中查询农作物的目标病害和对应的辅助决策；

具体地，所述知识图谱查询模块包括：

第一查询子模块、获取所述标注信息和用户查询语句的表示文本；

判断标注信息和用户查询语句的表示文本是否包括关系类型及两个实体；若是则执行所述第一查询子模块，若否则执行第二查询子模块；

所述第一查询子模块，用于设置知识图谱中的源节点、目标节点和临时节点，在初始阶段将临时节点设置在源节点处，更新临时节点附近的实体和关系集合；

所述第一查询子模块，用于获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中的临时节点中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点；

所述第二查询子模块，判断获取所述标注信息以及用户查询语句中是否只包括实体，若是执行所述第二查询子模块；若否则执行第三查询子模块；

所述第二查询子模块，用于将实体对应的节点的ID和相邻节点ID进行比较；若实体对应的节点的ID大于相邻节点ID，将实体对应的节点作为初始节点；

所述第二查询子模块，用于获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中的临时节点中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点，获取目标病害以及用户查询语句中的实体；

所述第三查询子模块，用于若通过所述慧诊仪判断未获取所述标注信息，并且用户输入查询语句中只包括实体；

所述第三查询子模块，用于获取所述实体的集合A以及集合A中各实体对应节点的相邻节点的集合B，得到所述集合A与所述集合B的交集C以及并集D；

所述第三查询子模块，用于通过所述交集C与所述并集D的比值计算所述集合A与所述集合B的相似度，获取相似度最高的目标实体。

6.根据权利要求5所述的农作物诊断装置，其特征在于：在预先构建农作物病害知识图谱时，具体地，利用条件约束方法对半结构化知识进行抽取和/或利用机器学习方法提取非结构化知识，最后进行知识存储；

将抽取到的两部分作物农作物病害三元组数据共同存储到 Neo4j 图数据中，并进行可视化展示。

7.根据权利要求6所述的一种农作物诊断装置，其特征在于：在预先构建农作物病害知识图谱的映射关系时，输入文本中的实体位置信息，并结合上下文提取出实体位置中的首部、中间、尾部的语法结构特征以及语义特征；

具体地，根据注意力机制计算输入文本实体的首部、中间部分、尾部的向量，即首部向量、中间向量、尾部向量，并基于注意力机制计算所述首部向量、所述中间向量、所述尾部向量之间的相互关系R；

；

其中，S为首部向量，N为中间向量，W为尾部向量， 表示首部向量的维度或中间向量维度或尾部向量的维度数量， 表示注意力机制函数， 表示归一化指数函数。

8.根据权利要求7所述的一种农作物诊断装置，其特征在于：根据多头注意力机制进行多次线性变换，并将所述首部向量、中间向量、尾部向量进行投影，将多次线性变换矩阵进行融合；

；

其中， 表示多头注意力机制， concat（）表示融合函数， 表示在多头注意力机制下的线性变换后得到的变换矩阵，n表示变换次数；

具体地，计算多次线性变换矩阵 ；

；

其中， 表示投影后的首部向量， 表示投影后的中间向量， 表示投影后的尾部向量；

根据输出结果对所述首部向量、中间向量、尾部向量完成知识图谱中各个节点映射关系，完成构建所述农作物病害知识图谱。

9.一种慧诊仪，其特征在于，所述慧诊仪包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器，所述处理器用于根据所述程序代码中的指令执行上述权利要求1‑4任一项所述的一种农作物诊断方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，并将所述程序代码传输给处理器，所述处理器用于根据所述程序代码中的指令执行上述权利要求1‑4任一项所述的一种农作物诊断方法。

说明书

一种农作物诊断方法、装置、慧诊仪以及可读存储介质

技术领域

[0001] 本发明涉及计算机应用中的智慧农业的技术领域，尤其涉及一种农作物诊断方法、装置、慧诊仪以及可读存储介质。

背景技术

[0002] 水稻病虫害诊治还没有产业化、统一规范化的产品推广普及，水稻生产的病虫害防治并未真正形成体系，农民普遍缺乏抗病抗虫的技术知识。因此，针对于水稻病虫害识别和防治，急需开发出一种农作物诊断方法、装置以及相应的设备，帮助农民快速、准确识别病虫害的类型，并提供对应的防治措施。

发明内容

[0003] 对此，本发明提供一种农作物诊断方法，具体包括：

[0004] 步骤1：通过慧诊仪采集待识别农作物病害图像；

[0005] 步骤2：将所述农作物病害图像输入至预先训练好的病害识别模型中，确定所述农作物病害图像的至少一个病害标注信息；

[0006] 具体地，所述病害识别模型包括特征提取农作物病害图像的特征向量，其中，所述特征向量包括颜色特征向量和纹理特征向量；结合颜色特征向量和纹理特征向量；

[0007] 在得到所述农作物病害图像的特征向量后，通过所述病害识别模型的分类器进行分类标记，并得到所述农作物病害图像的分类概率和所述农作物病害图像的标注信息；

[0008] 步骤3：根据查询输入来自动匹配知识图谱查询路径；

[0009] 基于所述农作物病害的标注信息，自动生成查询语句，并从知识图谱中查询农作物的目标病害和对应的辅助决策；

[0010] 具体地，在步骤3中包括以下步骤：

[0011] 步骤3.1：获取所述标注信息和用户查询语句的表示文本；

[0012] 判断标注信息和用户查询语句的表示文本是否包括关系类型及两个实体；若是则执行步骤3.2，若否则执行步骤3.4；

[0013] 步骤3.2：设置知识图谱中的源节点、目标节点和临时节点，在初始阶段将临时节点设置在源节点处，更新临时节点附近的实体和关系集合；

[0014] 步骤3.3：获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点；

[0015] 步骤3.4：判断获取所述标注信息以及用户查询语句中是否只包括实体，若是执行步骤3.5；若否则执行步骤3.7；

[0016] 步骤3.5：将实体对应的节点的ID和相邻节点ID进行比较；若实体对应的节点的ID大于相邻节点ID，将实体对应的节点作为初始节点；

[0017] 步骤3.6：获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点，获取目标病害以及用户查询语句中的实体；

[0018] 步骤3.7：若通过所述慧诊仪判断未获取所述标注信息，并且用户输入查询语句中只包括实体；

[0019] 步骤3.8：获取所述实体的集合A以及相邻节点的集合B，得到所述集合A与所述集合B的交集C以及并集D；

[0020] 步骤3.9：通过所述交集C与所述并集D的比值计算所述集合A与所述集合B的相似度，获取相似度最高的目标实体；

[0021] 步骤4：基于目标实体为农作物病害防治提供辅助决策，在未获取辅助决策时开启远程专家指导。

[0022] 具体地，在预先构建农作物病害知识图谱时，具体地，利用条件约束方法对半结构化知识进行抽取和/或利用机器学习方法提取非结构化知识，最后进行知识存储；

[0023] 将抽取到的两部分作物农作物病害三元组数据共同存储到 Neo4j 图数据中，并进行可视化展示。

[0024] 具体地，在预先构建农作物病害知识图谱的映射关系时，输入文本中的实体位置信息，并结合上下文提取出实体位置中的首部、中间、尾部的语法结构特征以及语义特征；

[0025] 具体地，根据注意力机制计算输入文本实体的首部、中间部分、尾部的向量，即首部向量、中间向量、尾部向量，并基于注意力机制计算所述首部向量、所述中间向量、所述尾部向量之间的相互关系R，用关联度调整权重系数矩阵获取输入文本向量；

[0026] ；

[0027] 其中，S为首部向量，N为中间向量，W为尾部向量， 表示首部向量的维度或中间向量维度或尾部向量的维度数量， 表示注意力机制函数， 表示归一化指数函数。

[0028] 具体地，根据多头注意力机制进行多次线性变换，并将所述首部向量、中间向量、尾部向量进行投影，将多次线性变换矩阵进行融合；

[0029] ；

[0030] 其中， 表示多头注意力机制，concat（）表示融合函数， 表示在多头注意力机制下的线性变换后得到的变换矩阵，n表示变换次数；

[0031] 具体地，计算多次线性变换矩阵 ；

[0032] ；

[0033] 其中， 表示投影后的首部向量， 表示投影后的中间向量， 表示投影后的尾部向量；

[0034] 根据输出结果对所述首部向量、中间向量、尾部向量完成知识图谱中各个节点映射关系，完成构建所述农作物病害知识图谱。

[0035] 此外，本发明还提供一种农作物诊断装置，具体应用于慧诊仪，其特征在于，包括：

[0036] 农作物病害图像获取模块、农作物病害图像识别模块、知识图谱查询模块、辅助决策模块；

[0037] 农作物病害图像获取模块，用于通过慧诊仪采集待识别农作物病害图像；

[0038] 农作物病害图像识别模块，用于将所述农作物病害图像输入至预先训练好的病害识别模型中，确定所述农作物病害图像的至少一个病害标注信息；

[0039] 具体地，所述病害识别模型包括特征提取农作物病害图像的特征向量，其中，所述特征向量包括颜色特征向量和纹理特征向量；结合颜色特征向量和纹理特征向量；

[0040] 在得到所述农作物病害图像的特征向量后，通过所述病害识别模型的分类器进行分类标记，并得到所述农作物病害图像的分类概率和所述农作物病害图像的标注信息；知识图谱查询模块，用于根据查询输入来自动匹配知识图谱查询路径；

[0041] 知识图谱查询模块，用于根据查询输入来自动匹配知识图谱查询路径；

[0042] 基于所述农作物病害的标注信息，自动生成查询语句，并从知识图谱中查询农作物的目标病害和对应的辅助决策；

[0043] 具体地，所述知识图谱查询模块包括：

[0044] 第一查询子模块、获取所述标注信息和用户查询语句的表示文本；

[0045] 判断标注信息和用户查询语句的表示文本是否包括关系类型及两个实体；若是则执行所述第一查询子模块，若否则执行第二查询子模块；

[0046] 所述第一查询子模块，用于设置知识图谱中的源节点、目标节点和临时节点，在初始阶段将临时节点设置在源节点处，更新临时节点附近的实体和关系集合；

[0047] 所述第一查询子模块，用于获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点；

[0048] 所述第二查询子模块，判断获取所述标注信息以及用户查询语句中是否只包括实体，若是执行所述第二查询子模块；若否则执行第三查询子模块；

[0049] 所述第二查询子模块，用于将实体对应的节点的ID和相邻节点ID进行比较；若实体对应的节点的ID大于相邻节点ID，将实体对应的节点作为初始节点；

[0050] 步所述第二查询子模块，用于获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点，获取目标病害以及用户查询语句中的实体；

[0051] 所述第三查询子模块，用于若通过所述慧诊仪判断未获取所述标注信息，并且用户输入查询语句中只包括实体；

[0052] 所述第三查询子模块，用于获取所述实体的集合A以及相邻节点的集合B，得到所述集合A与所述集合B的交集C以及并集D；

[0053] 所述第三查询子模块，用于通过所述交集C与所述并集D的比值计算所述集合A与所述集合B的相似度，获取相似度最高的目标实体。

[0054] 具体地，在预先构建农作物病害知识图谱时，具体地，利用条件约束方法对半结构化知识进行抽取和/或利用机器学习方法提取非结构化知识，最后进行知识存储；

[0055] 将抽取到的两部分作物农作物病害三元组数据共同存储到 Neo4j 图数据中，并进行可视化展示。

[0056] 具体地，在预先构建农作物病害知识图谱的映射关系时，输入文本中的实体位置信息，并结合上下文提取出实体位置中的首部、中间、尾部的语法结构特征以及语义特征；

[0057] 具体地，根据注意力机制计算输入文本实体的首部、中间部分、尾部的向量，即首部向量、中间向量、尾部向量，并基于注意力机制计算所述首部向量、所述中间向量、所述尾部向量之间的相互关系R，用关联度调整权重系数矩阵获取输入文本向量；

[0058] ；

[0059] 其中，S为首部向量，N为中间向量，W为尾部向量， 表示首部向量的维度或中间向量维度或尾部向量的维度数量， 表示注意力机制函数， 表示归一化指数函数。

[0060] 具体地，根据多头注意力机制进行多次线性变换，并将所述首部向量、中间向量、尾部向量进行投影，将多次线性变换矩阵进行融合；

[0061] ；

[0062] 其中， 表示多头注意力机制，concat（）表示融合函数， 表示在多头注意力机制下的线性变换后得到的变换矩阵，n表示变换次数；

[0063] 具体地，计算多次线性变换矩阵 ；

[0064] ；

[0065] 其中， 表示投影后的首部向量， 表示投影后的中间向量， 表示投影后的尾部向量；

[0066] 根据输出结果对所述首部向量、中间向量、尾部向量完成知识图谱中各个节点映射关系，完成构建所述农作物病害知识图谱。

[0067] 此外，本发明还提供一种慧诊仪，其特征在于，所述慧诊仪包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器，所述处理器用于根据所述程序代码中的指令执行上述所述的一种农作物诊断方法。

[0068] 本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，并将所述程序代码传输给处理器，所述处理器用于根据所述程序代码中的指令执行上述所述的一种农作物诊断方法。

[0069] 本发明通过提供一种农作物诊断方法、装置、慧诊仪以及可读存储介质，其通过慧诊仪采集待识别农作物病害图像，将所述农作物病害图像输入至预先训练好的病害识别模型中，确定所述农作物病害图像的至少一个病害标注信息，用户可以通过慧诊仪识别所述农作物病害图像并得到所述农作物病害的标注信息，再从预先建立的知识图谱中获取水稻的目标病害为水稻稻苗疫病以及所述目标病害为水稻稻苗疫病所对应的辅助决策。同样地，用户也可以通过慧诊仪识别所述农作物病害图像并得到所述农作物病害的标注信息后，为了进一步快速了解目标病害，用户通过慧诊仪输入查询语句，从知识图谱中获取水稻的目标病害为水稻稻苗疫病以及所述目标病害为水稻稻苗疫病所对应的辅助决策，以此提高识别效率，达到了更准确的识别效果。

附图说明

[0070] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0071] 图1是一种农作物诊断方法示意图。

[0072] 图2是一种农作物诊断装置示意图。

具体实施方式

[0073] 下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

[0074] 应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

[0075] 参考图1，本发明提出了一种农作物诊断方法，具体包括：

[0076] 步骤1：通过慧诊仪采集待识别农作物病害图像；

[0077] 具体地，所述慧诊仪具备高清 AR 扫描仪机身设计三防精密工艺，配备防水等级 IP67，前置镜头采用放大 1600 倍扫描，精准识别病虫害，对病虫害细部精确扫描。内置高清网络摄像头 360°无死角圆周扫描，提高扫描图像鲜活度、清晰度。同时，通过所述慧诊仪拍摄农作物病害部位包括目标农作物的叶片、枝干、果实等。

[0078] 步骤2：将所述农作物病害图像输入至预先训练好的病害识别模型中，确定所述农作物病害图像的至少一个病害标注信息；

[0079] 具体地，所述病害识别模型包括特征提取农作物病害图像的特征向量，其中，所述特征向量包括颜色特征向量和纹理特征向量；

[0080] 具体地，在进行颜色特征提取时，由于在自然环境下采集的农作物病害图像容易受自然光照条件、作物之间遮挡物和阴影等情况的影响，因此农作物病害图像对自然光照条件中的亮度敏感，即本发明通过公式（1）‑（3）提取农作物病害图像的颜色特征；

[0081] （1）；

[0082] （2）；

[0083] （3）；

[0084] 其中， 表示颜色分量的平均强度， 表示颜色分量的方差， 代表颜色分量的偏斜度，表示第 i 个颜色分量，M 表示图像中像素总数。

[0085] 具体地，在HSV颜色空间中H分量和S分量需要匹配相应的颜色特征，因此需要从颜色分量中选择H分量和S分量进行描述，因此在HSV颜色空间模型下选择H、S分量均值的三个低阶矩阵描述颜色特征向量，即通过H分量一矩阵、H分量二矩阵、H分量三矩阵、S分量一矩阵、S分量二矩阵、S分量三矩阵得到相应数量的6个颜色特征向量；

[0086] 接着，提取所述农作物病害图像的纹理特征；

[0087] 具体地，所述纹理特征是描述所述农作物病害图像的局部模式和排列规则。因此，本发明通过条件概率描述纹理特征；

[0088] 具体地，通过公式（4）计算图像灰度i，j像素同时出现的概率；

[0089] （4）；

[0090] 其中， 表示所述农作物病害图像的灰度图像， 表示灰度图像在水平坐标轴的坐标，表示灰度图像在垂直坐标轴的坐标，  表示灰度像素的位移矢量，其中， 表示水平位移，  表示竖直位移；表示位移矢量与水平坐标轴的夹角；

[0091] 在计算出图像灰度i，j像素同时出现的概率后，通过灰度图像各元素之和S计算各元素的归一化值，即通过公式（5）计算各元素的归一化值

[0092] （5）；

[0093] 具体地，S表示灰度各元素的位移矢量之和， 表示灰度各元素的归一化值，选择 在0°、45°、90°、135°方向上，灰度分布度量和相似度对纹理特征进行描述；

[0094] 计算图像灰度分布均匀性的度量ASM，即通过公式（6）计算纹理特征的度量ASM，所述度量ASM表征图像灰度分布均匀性的度量；

[0095] （6）；

[0096] 在计算所述度量ASM后计算图像纹理的相关性描述，其通过公式（7）计算空间灰度共生矩阵中元素在水平位移和竖直位移上的相似度；

[0097] （7）；

[0098] 具体地，通过角度分别为 0°、45°、90°、135°方向上，灰度分布度量和相似度对纹理特征进行描述并得到相应数量的8个纹理特征向量。

[0099] 结合颜色特征向量和纹理特征向量，具体地，在该过程中，通过公式（8）对输入的6个颜色特征向量和8个纹理特征向量进行归一化处理得到所述农作物病害图像的特征向量；

[0100] （8）；

[0101] 其中， 是归一化处理后得到的所述农作物病害图像的特征向量， 是输入的每个颜色特征向量和纹理特征向量的数据矩阵特征值， 是所述输入的每个颜色特征向量和纹理特征向量的数据矩阵特征值的最大特征值， 所述输入的每个颜色特征向量和纹理特征向量的数据矩阵特征值的最小特征值。

[0102] 在得到所述农作物病害图像的特征向量后，通过所述病害识别模型的分类器进行分类标记，所述分类器通过公式（9）得到所述农作物病害图像的分类概率；

[0103] （9）；

[0104] 其中， 表示所述农作物病害图像属于第r类病害的概率， 表示病害样本中第i个输入向量， 表示病害样本中第k个输入向量，其中i、k均包含在病害样本的数量T中，T为病害样本的数量，e为自然对数的底数；

[0105] 因此，通过上述公式（1）‑（9）得到所述农作物病害图像的至少一个标记，所述农作物病害图像的标注信息包括病害名称、病害简介、病害症状、发生条件以及化学防治措施；

[0106] 在用户通过慧诊仪识别所述农作物病害图像并得到所述农作物病害的标注信息，在获取稻苗叶子图片后，得到目标病害症状黄白小圆斑，再从知识图谱中获取水稻的目标病害为水稻稻苗疫病以及所述目标病害为水稻稻苗疫病所对应的辅助决策。

[0107] 同样地，用户也可以通过慧诊仪识别所述农作物病害图像并得到所述农作物病害的标注信息后，为了进一步快速了解目标病害，用户通过慧诊仪输入查询语句，再结合叶子、黄白小圆斑作为目标病害症状，从知识图谱中获取水稻的目标病害为水稻稻苗疫病以及所述目标病害为水稻稻苗疫病所对应的辅助决策，（1）选择地势高的秧田；（2）加强肥水管理；（3）增加施磷钾肥；（4）喷洒72.2%普立克水剂800倍液。

[0108] 步骤3：根据查询输入来自动匹配知识图谱查询路径；

[0109] 基于所述农作物病害的标注信息，自动生成查询语句，并从知识图谱中查询农作物的目标病害和对应的辅助决策。

[0110] 具体地，在步骤3中包括以下步骤：

[0111] 步骤3.1：获取所述标注信息和用户查询语句的表示文本；

[0112] 判断标注信息和用户查询语句的表示文本是否包括关系类型及两个实体；若是则执行步骤3.2，若否则执行步骤3.4；

[0113] 步骤3.2：设置知识图谱中的源节点、目标节点和临时节点，在初始阶段将临时节点设置在源节点处，更新临时节点附近的实体和关系集合；

[0114] 步骤3.3：获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点；

[0115] 步骤3.4：判断获取所述标注信息以及用户查询语句中是否只包括实体，若是执行步骤3.5；若否则执行步骤3.7；

[0116] 步骤3.5：将实体对应的节点的ID和相邻节点ID进行比较；若实体对应的节点的ID大于相邻节点ID，将实体对应的节点作为初始节点；

[0117] 步骤3.6：获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点，获取目标病害以及用户查询语句中的实体；

[0118] 步骤3.7：若通过所述慧诊仪判断未获取所述标注信息，并且用户输入查询语句中只包括实体；

[0119] 步骤3.8：获取所述实体的集合A以及相邻节点的集合B，得到所述集合A与所述集合B的交集C以及并集D；

[0120] 步骤3.9：通过所述交集C与所述并集D的比值计算所述集合A与所述集合B的相似度，获取相似度最高的目标实体。

[0121] 具体地，本发明在实现农作物诊断方法前，预先构建农作物病害知识图谱；

[0122] 知识图谱构建是知识表示、知识抽取、知识存储、知识融合、知识推理等技术的结合，首先从结构化、半结构化或非结构化数据中提取实体、关系和属性，然后通过实体对齐和本体匹配等技术进行知识融合，最后评估知识图谱的质量，并及时更新。

[0123] 具体地，在构建农作物病害知识图谱的过程中，通过预设的时间周期爬取农作物病害的知识文章，通过数据清洗进行初步过滤，构建原始语料库，获取农作物病害文本数据；

[0124] 然后进行本体构建。根据领域语料特征构建作物病虫害本体，定义类、关系以及属性，并设置相应约束，明确知识抽取边界；接着进行知识抽取。在本体的基础上，利用条件约束方法对半结构化知识进行抽取和/或利用机器学习方法提取非结构化知识，最后进行知识存储。将抽取到的两部分作物农作物病害三元组数据共同存储到 Neo4j 图数据中，并进行可视化展示。

[0125] 其中，Neo4j是一个开源的图数据库系统，底层使用图数据结构进行存储，通过Neo4j能够提升数据检索的性能，是本领域技术人员熟知的用于知识图谱存储的主要途径。

[0126] 具体地，在所述利用条件约束方法对半结构化知识进行抽取的过程中，通过预设的时间周期爬取的所述知识文章中包括文章标题和不同内容的主题，通过构造条件约束抽取所述文章标题和所述不同内容的主题，并将所述文章标题中的农作物病害作为实体，以及将所述不同内容的主题作为实体属性构建至少一个实体属性三元组，即每个实体属性三元组为（农作物病害实体，属性，属性值），例如（水稻霜毒病，别名，黄化萎缩病）、（水稻霜毒病，衣壳，病毒粒子）、（水稻霜病毒，分布范围，水稻种植区）……；

[0127] 具体地，在利用机器学习方法提取非结构化知识的构成中，当文本中的不同实体存在关系时，利用描述不同实体中间描述的位置信息进行关系标注；

[0128] 具体地，所述实体的描述的位置信息包括首部信息、中间信息、尾部信息，根据设置的映射关系建立至少一个不同实体之间的三元组（实体1，关系1，实体2），并构建完整的三元组集合。例如，将水稻霜毒病作为实体1，黄化萎缩病作为实体2，由于“水稻霜毒病”与“黄化萎缩病”存在别称的关系，并且实体1中淡黄色条纹。此外，在构建如分布范围的三元组时，通过实体中间的描述的位置信息构建实体与关系的抽取，对实体3“水稻种植区”的中间描述信息进行提取并分别获取所述实体3中的首部信息为“水”、中间信息为“稻种植”、尾部信息为“区”，因此，构建分布范围的三元组信息为（实体1，关系2，实体3），即（水稻霜毒病，分布范围，水稻种植区）。

[0129] 通过对实体中间的位置信息进行关注，并根据预设的映射关系建立至少一个不同实体的三元组，这种方法只需要了解实体与实体之间的关系类型，不需要关注实体本身的类别和属性，并且根据预设的映射关系进行标注和抽取，减少无关实体对的冗余性和错误传播。

[0130] 具体地，在预先构建映射关系的过程中，通过映射模型中的机器学习进行映射关系的标注和抽取。

[0131] 具体地，在训练所述映射模型时，输入文本中的实体位置信息，并结合上下文提取出实体位置中的首部、中间、尾部的语法结构特征以及语义特征；

[0132] 具体地，根据公式（10）注意力机制计算实体的首部、中间部分、尾部的向量，即首部向量、中间向量、尾部向量，并基于注意力机制计算所述首部向量、所述中间向量、所述尾部向量之间的相互关系R，这里，在通过实体位置信息中的语法特征以及语义特征构建首部向量、中间向量、尾部向量的过程中，通过 注意力机制函数中的对首部向量、中间向量、尾部向量进行加权求和获取相互关系，在该过程中通过调整首部向量、中间向量、尾部向量权重系数，根据权重系数矩阵获取输入首部向量、中间向量、尾部向量；

[0133] （10）；

[0134] 其中，S为首部向量，N为中间向量，W为尾部向量， 表示首部向量的维度或中间向量维度或尾部向量的维度数量， 表示注意力机制函数， 表示归一化指数函数；

[0135] 通过公式（11）中多头注意力机制进行多次线性变换，并将所述首部向量、中间向量、尾部向量进行投影，将多次线性变换矩阵进行融合；

[0136] （11）；

[0137] 其中， 表示多头注意力机制，concat（）表示融合函数， 表示在多头注意力机制下的线性变换后得到的变换矩阵，n表示变换次数；

[0138] 具体地，通过公式（12）计算多次线性变换矩阵 ；

[0139] （12）；

[0140] 其中， 表示投影后的首部向量， 表示投影后的中间向量， 表示投影后的尾部向量；

[0141] 根据输出结果对所述首部向量、中间向量、尾部向量完成知识图谱中各个节点映射关系，完成构建所述农作物病害知识图谱。

[0142] 步骤4：基于目标实体为农作物病害防治提供辅助决策，在未获取辅助决策时开启远程专家指导。

[0143] 具体地，用户通过所述慧诊仪开启远程专家指导，获取农作物病害的防治措施。

[0144] 参考图2，本发明提出了一种农作物诊断装置，其应用于慧诊仪，具体包括：农作物病害图像获取模块、农作物病害图像识别模块、知识图谱查询模块、辅助决策模块；

[0145] 其中，农作物病害图像获取模块，通过慧诊仪采集待识别农作物病害图像；

[0146] 具体地，所述慧诊仪具备高清 AR 扫描仪机身设计三防精密工艺，配备防水等级 IP67，前置镜头采用放大 1600 倍扫描，精准识别病虫害，对病虫害细部精确扫描。内置高清网络摄像头 360°无死角圆周扫描，提高扫描图像鲜活度、清晰度。同时，通过所述慧诊仪拍摄农作物病害部位包括目标农作物的叶片、枝干、果实等。

[0147] 农作物病害图像识别模块，用于将所述农作物病害图像输入至预先训练好的病害识别模型中，确定所述农作物病害图像的至少一个病害标注信息；

[0148] 具体地，所述病害识别模型包括特征提取农作物病害图像的特征向量，其中，所述特征向量包括颜色特征向量和纹理特征向量；

[0149] 具体地，在进行颜色特征提取时，由于在自然环境下采集的农作物病害图像容易受自然光照条件、作物之间遮挡物和阴影等情况的影响，因此农作物病害图像对自然光照条件中的亮度敏感，即本发明通过公式（1）‑（3）提取农作物病害图像的颜色特征；

[0150] （1）；

[0151] （2）；

[0152] （3）；

[0153] 其中， 表示颜色分量的平均强度， 表示颜色分量的方差， 代表颜色分量的偏斜度，表示第 i 个颜色分量，M 表示图像中像素总数。

[0154] 具体地，在HSV颜色空间中H分量和S分量需要匹配相应的颜色特征，因此需要从颜色分量中选择H分量和S分量进行描述，因此在HSV颜色空间模型下选择H、S分量均值的三个低阶矩阵描述颜色特征向量，即通过H分量一矩阵、H分量二矩阵、H分量三矩阵、S分量一矩阵、S分量二矩阵、S分量三矩阵得到相应数量的6个颜色特征向量；

[0155] 接着，提取所述农作物病害图像的纹理特征；

[0156] 具体地，所述纹理特征是描述所述农作物病害图像的局部模式和排列规则。因此，本发明通过条件概率描述纹理特征；

[0157] 具体地，通过公式（4）计算图像灰度i，j像素同时出现的概率；

[0158] （4）；

[0159] 其中， 表示所述农作物病害图像的灰度图像， 表示灰度图像在水平坐标轴的坐标，表示灰度图像在垂直坐标轴的坐标，  表示灰度像素的位移矢量，其中， 表示水平位移，  表示竖直位移；表示位移矢量与水平坐标轴的夹角；

[0160] 在计算出图像灰度i，j像素同时出现的概率后，通过灰度图像各元素之和S计算各元素的归一化值，即通过公式（5）计算各元素的归一化值

[0161] （5）；

[0162] 具体地，S表示灰度各元素的位移矢量之和， 表示灰度各元素的归一化值，选择 在0°、45°、90°、135°方向上，灰度分布度量和相似度对纹理特征进行描述；

[0163] 计算图像灰度分布均匀性的度量ASM，即通过公式（6）计算纹理特征的度量ASM，所述度量ASM表征图像灰度分布均匀性的度量；

[0164] （6）；

[0165] 在计算所述度量ASM后计算图像纹理的相关性描述，其通过公式（7）计算空间灰度共生矩阵中元素在水平位移和竖直位移上的相似度；

[0166] （7）；

[0167] 具体地，通过角度分别为 0°、45°、90°、135°方向上，灰度分布度量和相似度对纹理特征进行描述并得到相应数量的8个纹理特征向量。

[0168] 结合颜色特征向量和纹理特征向量，具体地，在该过程中，通过公式（8）对输入的6个颜色特征向量和8个纹理特征向量进行归一化处理得到所述农作物病害图像的特征向量；

[0169] （8）；

[0170] 其中， 是归一化处理后得到的所述农作物病害图像的特征向量， 是输入的每个颜色特征向量和纹理特征向量的数据矩阵特征值， 是所述输入的每个颜色特征向量和纹理特征向量的数据矩阵特征值的最大特征值， 所述输入的每个颜色特征向量和纹理特征向量的数据矩阵特征值的最小特征值。

[0171] 在得到所述农作物病害图像的特征向量后，通过所述病害识别模型的分类器进行分类标记，所述分类器通过公式（9）得到所述农作物病害图像的分类概率；

[0172] （9）；

[0173] 其中， 表示所述农作物病害图像属于第r类病害的概率， 表示病害样本中第i个输入向量， 表示病害样本中第k个输入向量，其中i、k均包含在病害样本的数量T中，T为病害样本的数量，e为自然对数的底数；

[0174] 因此，通过上述公式（1）‑（9）得出所述农作物病害图像的至少一个标记，所述农作物病害图像的标注信息包括病害名称、病害简介、病害症状、发生条件以及化学防治措施；

[0175] 在用户通过慧诊仪识别所述农作物病害图像并得到所述农作物病害的标注信息，在获取稻苗叶子图片后，得到目标病害症状黄白小圆斑，再从知识图谱中获取水稻的目标病害为水稻稻苗疫病以及所述目标病害为水稻稻苗疫病所对应的辅助决策。

[0176] 同样地，用户也可以通过慧诊仪识别所述农作物病害图像并得到所述农作物病害的标注信息后，为了进一步快速了解目标病害，用户通过慧诊仪输入查询语句，再结合叶子、黄白小圆斑作为目标病害症状，从知识图谱中获取水稻的目标病害为水稻稻苗疫病以及所述目标病害为水稻稻苗疫病所对应的辅助决策，（1）选择地势高的秧田；（2）加强肥水管理；（3）增加施磷钾肥；（4）喷洒72.2%普立克水剂800倍液。

[0177] 知识图谱查询模块，用于根据查询输入来自动匹配知识图谱查询路径；

[0178] 基于所述农作物病害的标注信息，自动生成查询语句，并从知识图谱中查询农作物的目标病害和对应的辅助决策。

[0179] 具体地，所述知识图谱查询模块中包括：

[0180] 第一查询子模块、获取所述标注信息和用户查询语句的表示文本；

[0181] 判断标注信息和用户查询语句的表示文本是否包括关系类型及两个实体；若是则执行所述第一查询子模块，若否则执行第二查询子模块；

[0182] 所述第一查询子模块，用于设置知识图谱中的源节点、目标节点和临时节点，在初始阶段将临时节点设置在源节点处，更新临时节点附近的实体和关系集合；

[0183] 所述第一查询子模块，用于获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点；

[0184] 所述第二查询子模块，判断获取所述标注信息以及用户查询语句中是否只包括实体，若是执行所述第二查询子模块；若否则执行第三查询子模块；

[0185] 所述第二查询子模块，用于将实体对应的节点的ID和相邻节点ID进行比较；若实体对应的节点的ID大于相邻节点ID，将实体对应的节点作为初始节点；

[0186] 步所述第二查询子模块，用于获取与临时节点相似的附近节点的实体，并将其关系存储到知识图谱中；不断更新和存储所述临时节点附近的实体和关系集合，并最终输出最短的路径，得到所述目标节点，获取目标病害以及用户查询语句中的实体；

[0187] 所述第三查询子模块，用于若通过所述慧诊仪判断未获取所述标注信息，并且用户输入查询语句中只包括实体；

[0188] 所述第三查询子模块，用于获取所述实体的集合A以及相邻节点的集合B，得到所述集合A与所述集合B的交集C以及并集D；

[0189] 所述第三查询子模块，用于通过所述交集C与所述并集D的比值计算所述集合A与所述集合B的相似度，获取相似度最高的目标实体。

[0190] 具体地，本发明在实现农作物诊断方法前，预先构建农作物病害知识图谱；

[0191] 知识图谱构建是知识表示、知识抽取、知识存储、知识融合、知识推理等技术的结合，首先从结构化、半结构化或非结构化数据中提取实体、关系和属性，然后通过实体对齐和本体匹配等技术进行知识融合，最后评估知识图谱的质量，并及时更新。

[0192] 具体地，在构建农作物病害知识图谱的过程中，通过预设的时间周期爬取农作物病害的知识文章，通过数据清洗进行初步过滤，构建原始语料库，获取农作物病害文本数据；

[0193] 然后进行本体构建。根据领域语料特征构建作物病虫害本体，定义类、关系以及属性，并设置相应约束，明确知识抽取边界；

[0194] 接着进行知识抽取。在本体的基础上，利用条件约束方法对半结构化知识进行抽取和/或利用机器学习方法提取非结构化知识，最后进行知识存储。将抽取到的两部分作物农作物病害三元组数据共同存储到 Neo4j 图数据中，并进行可视化展示。

[0195] 其中，Neo4j是一个开源的图数据库系统，底层使用图数据结构进行存储，大幅度提升数据检索的性能，是目前用于知识图谱存储的主要途径。

[0196] 具体地，在所述利用条件约束方法对半结构化知识进行抽取的过程中，通过预设的时间周期定时爬取的所述知识文章中包括文章标题和不同内容的主题，通过构造条件约束抽取所述文章标题和所述不同内容的主题，并将所述文章标题中的农作物病害作为实体，以及将所述不同内容的主题作为实体属性构建至少一个实体属性三元组，即每个实体属性三元组为（农作物病害实体，属性，属性值），例如（水稻霜毒病，别名，黄化萎缩病）、（水稻霜毒病，衣壳，病毒粒子）、（水稻霜病毒，分布范围，水稻种植区）……；

[0197] 具体地，在利用机器学习方法提取非结构化知识的构成中，当文本中的不同实体存在关系时，利用描述不同实体中间描述的位置信息进行关系标注；

[0198] 具体地，所述实体的描述的位置信息包括首部信息、中间信息、尾部信息，根据设置的映射关系建立至少一个不同实体之间的三元组（实体1，关系1，实体2），并构建完整的三元组集合。例如，将水稻霜毒病作为实体1，黄化萎缩病作为实体2，由于“水稻霜毒病”与“黄化萎缩病”存在别称的关系，并且实体1中首部信息、中间信息、尾部信息分别为水稻、霜毒、病，实体2中首部信息、中间信息、尾部信息分别黄化、萎缩、病，通过其中间描述的位置信息以及各个实体的映射关系，因此将实体2“黄化萎缩病”作为实体1“水稻霜毒病”的别称构建三元组（水稻霜毒病，别称，黄化萎缩病）。此外，在构建如分布范围的三元组时，通过实体中间的描述的位置信息构建实体与关系的抽取，对实体3“水稻种植区”的中间描述信息进行提取并分别获取所述实体3中的首部信息为“水”、中间信息为“稻种植”、尾部信息为“区”，因此，构建分布范围的三元组信息为（实体1，关系2，实体3），即（水稻霜毒病，分布范围，水稻种植区）。

[0199] 通过对实体中间的位置信息进行关注，并根据预设的映射关系建立至少一个不同实体的三元组，这种方法只需要了解实体与实体之间的关系类型，不需要关注实体本身的类别和属性，并且根据预设的映射关系进行标注和抽取，减少无关实体对的冗余性和错误传播。

[0200] 具体地，在预先构建映射关系的过程中，通过映射模型中的机器学习进行映射关系的标注和抽取。

[0201] 具体地，在训练所述映射模型时，输入文本中的实体位置信息，并结合上下文提取出实体位置中的首部、中间、尾部的语法结构特征以及语义特征；

[0202] 具体地，根据公式（10）注意力机制计算实体的首部、中间部分、尾部的向量，即首部向量、中间向量、尾部向量，并基于注意力机制计算所述首部向量、所述中间向量、所述尾部向量之间的相互关系R，这里，在通过实体位置信息中的语法特征以及语义特征构建首部向量、中间向量、尾部向量的过程中，通过 注意力机制函数中的对首部向量、中间向量、尾部向量进行加权求和获取相互关系，在该过程中通过调整首部向量、中间向量、尾部向量权重系数，根据权重系数矩阵获取输入首部向量、中间向量、尾部向量；

[0203] （10）；

[0204] 其中，S为首部向量，N为中间向量，W为尾部向量， 表示首部向量的维度或中间向量维度或尾部向量的维度数量， 表示注意力机制函数， 表示归一化指数函数；

[0205] 通过公式（11）中多头注意力机制进行多次线性变换，并将所述首部向量、中间向量、尾部向量进行投影，将多次线性变换矩阵进行融合；

[0206] ；（11）

[0207] 其中， 表示多头注意力机制，concat（）表示融合函数， 表示在多头注意力机制下的线性变换后得到的变换矩阵，n表示变换次数；

[0208] 具体地，通过公式（12）计算多次线性变换矩阵 ；

[0209] （12）；

[0210] 其中， 表示投影后的首部向量， 表示投影后的中间向量， 表示投影后的尾部向量；

[0211] 根据输出结果对所述首部向量、中间向量、尾部向量完成知识图谱中各个节点映射关系，完成构建所述农作物病害知识图谱。

[0212] 辅助决策模块，用于基于目标实体为农作物病害防治提供辅助决策，在未获取辅助决策时开启远程专家指导。

[0213] 具体地，用户通过所述慧诊仪开启远程专家指导，获取农作物病害的防治措施。

[0214] 本发明还涉及一种慧诊仪，其特征在于，所述慧诊仪包括处理器以及存储器：所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器，所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的一种农作物诊断方法。

[0215] 本发明还涉及了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，并将所述程序代码传输给处理器，所述处理器用于根据所述程序代码中的指令执行上述方法实施例所述的一种农作物诊断方法。

[0216] 以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。