本发明是一种基于数据图谱、信息图谱、知识图谱架构的图像数据目标识别增强方法。主要用于解决现有图像识别方法无法识别训练集中未标注类别的图像识别问题，属于分布式计算和软件工程学技术交叉领域。关键在于从已有的基于深度学习方法的图像类型识别结果出发，根据已有图像资源构建三层图谱，将未识别的图像类别在数据图谱进行特征匹配得到初始匹配结果，将已识别的图像类别在信息图谱上进行关系匹配得到中间匹配结果，最后在知识图谱中进行间接交互关系匹配，计算中间匹配结果的可信度并排序，推荐给用户可信度最高的匹配图像类别。
1.一种基于数据图谱、信息图谱和知识图谱的图像数据目标识别增强方法，其特征在于，引入数据图谱、信息图谱、知识图谱架构对未标识图像进行推理，实现自动智能的识别出图片中或者摄像机所拍摄到的图像，将图像的结构，特征，频度以及交互关系，语义关系放在数据图谱、信息图谱和知识图谱中，借助于这个架构给出可信度最高的识别结果，该方法包括：步骤1）根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；
步骤3）将待识别图像分割成已识别图像集{Bi}和未识别图像A两个模块；
步骤4）将基于步骤3）获得的未识别图像A与数据图谱的实体Ai进行数据匹配，由公式1得到匹配度R(Ai)；
假设数据图谱中实体属性与Ai匹配值为μ(α)，α表示Ai可以与未识别图像匹配的一个属性，x表示所有可以匹配的属性，其中实体属性包括结构，颜色，特征，频度，局部结构；
步骤5）根据经验设定一个初始值n，按照R(Ai)从大到小的顺序选出A1、A2、… An；
步骤7）基于步骤6）获得的初始匹配结果，结合步骤3）获得的未识别图像集{B}对信息图谱进行遍历，找到所对应的交互关系， 由公式2、公式3得到A1、A2、… An和{B}的关系匹配度Y(A1)、Y(A2)…Y(An)，Y(Ai,Bi)为中间变量；
假设信息图谱中Bi与Ai之间的交互关系p的匹配度为θ(π)，其中π表示一条交互关系，q表示所有关系：（2）；
步骤8)由公式4得到中间匹配度X（A1）、X(A2)…X(An)，其中R(Ai)和Y(Ai)是相互独立的，且r1+r2=1，（4）；
步骤9）根据经验设定一个初始值k，其中k<=n，按照X(Ai)从大到小的顺序选出A1、A2、… Ak；
步骤10）基于步骤8）获得的中间匹配结果A1、A2、… Ak，在知识图谱中通过推理可以得到{B}和A1、A2、… Ak的间接交互关系，得到的新关系的正确度Cr可以由公式5得出；
实体1和实体2之间的新关系可以表示为Cr(E1,E2)，z表示所有新的间接交互关系，表示新关系匹配度，E1→E2表示实体1和实体2之间的一个间接关系，当正确度超过一个阈值时认为实体1和实体2之间的新关系成立：（5）；
步骤11）若关系成立，计算可信度Confidence，其中Cr(E1,E2)和信息图谱中的交互关系是相互独立的，且y1+y2=1, 由公式6得：（6）；
步骤12）比较可信度的大小，可信度最大的图像实体就是识别的最终结果。
基于数据图谱、信息图谱和知识图谱的图像数据目标识别增
强方法
技术领域
[0001] 本发明是一种基于数据图谱、信息图谱和知识图谱架构的图像数据目标识别增强方法。主要用于解决现有图像识别方法无法识别训练集中未标注类别的图像识别问题，属于分布式计算和软件工程学技术交叉领域。
背景技术
[0002] 知识图谱已经成为用带有标记的有向图的形式来表示知识的强大工具，并能赋予文本信息语义。知识图谱是通过结点的形式将项目、实体或用户表示出来，通过边的形式将彼此相互作用的结点链接起来构造的图形，结点之间的边可以表示任何语义关系。知识图谱的构建按照知识获取的过程分为信息抽取、知识融合和知识加工三个层次，定义知识图谱是一个具有属性的实体通过关系链接而成的网状知识库，其研究价值在于能以最小的代价将互联网中积累的信息组织成可被利用的知识，从而通过推理实现概念检索和图形化知识展示。数据是通过观察数字或其他基本个体项目得到的。信息通过数据和数据组合的背景传达，适用于分析和解释。知识是从积累的信息中获得的一般理解和经验，根据知识能推测出新的背景。
[0003] 最传统的图像识别技术是人工识别，现已经可以通过深度学习的方法识别出已标识的图像，机器在反复识别同一类对象中逐渐模拟出一个方程，这个方程逼近于所识别对象的共同特征，最后达到识别的目的，但是深度学习的方法并不能解决未标识图像的识别问题。本发明主要是通过借助数据图谱、信息图谱、知识图谱的架构去正确的识别出尽可能多的未被标识过的对象。
发明内容
[0004] 技术问题：本发明是一种基于数据图谱、信息图谱和知识图谱架构的图像数据目标识别增强方法。引入数据图谱、信息图谱、知识图谱架构对未标识图像进行知识推理，从而实现自动智能的识别出图片中或者摄像机所拍摄到的图像。本发明将图像的结构，特征，频度以及交互关系，语义关系分别放在数据图谱、信息图谱和知识图谱中，借助于这个架构给出可信度最高的识别结果。
[0005] 技术方案：本发明是一种策略性方法，可以应用于图片或者摄像机的图像目标识别，有助于解决当前机器学习中无法识别未标识图像的问题。本发明将图像的结构，特征，频度以及交互关系，语义关系分别放在数据图谱、信息图谱和知识图谱中，然后将未标识图像与数据图谱中的数据进行比较，得出初始匹配结果；再用已标识图像与信息图谱中的交互关系进行比较，通过计算得到中间匹配结果；最后在知识图谱中进行知识推理得到间接交互关系，其中可信度最高的就是我们所识别出的最终结果。
[0006] 体系结构：本专利首先针对已识别图像建立了数据图谱、信息图谱、知识图谱架构，针对未识别图像A遍历数据图谱，得到与Ai的数据匹配度R（Ai），按照R(Ai)从大到小的顺序选出初始匹配结果A1、A2、… An；将初始匹配结果与已识别图像集{B}在信息图谱中进行关系匹配，得到关系匹配度Y（Ai）和X(Ai)，按照X(Ai)从大到小的顺序选出A1、A2、… Ak，将Ai’与{B}在知识图谱中进行计算推理，得出可信度最高的结果。目前，我们已经可以运用深度学习来识别已标识的图像，本发明在此基础上，引入数据图谱、信息图谱、知识图谱架构对未标识图像进行知识推理，从而实现自动智能的识别出图片中或者摄像机所拍摄到的图像。下面给出构建数据图谱、信息图谱、知识图谱的具体说明:
[0007] 数据图谱：数据图谱能记录图像实体中的基本属性，包括颜色形态等，但是在没有上下文语境的情况下，它们本身没有意义。数据图谱可以用数组、链表、队列、树、栈、图等数据结构来表达。数据图谱也可以记录图像实体中所包含结构出现的频度，包括结构、时间和空间三个层次的频度。数据图谱能描述不同图像实体关联的紧密程度，我们称之为密度，可以反映出哪些实体联系紧密，哪些实体联系稀疏。但是数据图谱只能进行静态分析，无法表达实体之间的交互关系。同时数据图谱上也未对数据的准确性进行分析，可能出现不同的实体但表示同一含义，例如番茄和西红柿，这两种图像实体所具有的属性频度都是相同的，这就产生了数据冗余；
[0008] 信息图谱：信息是通过数据和数据组合之后的上下文来传达的，经过概念映射和相关关系组合之后的适合分析和解释的信息。信息图谱可以根据关系数据库来表达。信息图谱上进行数据清洗，消除冗余数据。信息图谱可以记录实体之间的交互关系；
[0009] 知识图谱：知识图谱根据数据图谱和信息图谱进一步完善了实体之间的语义关系，通过信息推理和实体链接提高知识图谱的边密度和结点密度，知识图谱的无结构特性使得自身可以无缝链接。信息推理需要有相关规则的支持，通过推理得到的新关系的正确度Cr可以由下列公式得出。实体1和实体2之间的新关系可以表示为Cr（E1,E2） ，z表示所有新的间接交互关系， 表示新关系匹配度， 表示实体1和实体2之间的一个间接关系，当正确度超过一个阈值是认为这个新关系成立。
[0010]
[0011] 有益效果：本发明是一种基于数据图谱、信息图谱和知识图谱架构的图像数据目标识别增强方法，具有如下一些显著优点：
[0012] （1）本发明构建了数据图谱、信息图谱和知识图谱三层架构，层层递进，实现高效识别；
[0013] （2）目前基于深度学习的方法无法识别训练集中未标注类别的图像类别，本发明可以解决训练集中未标注类别的图像类别问题，推荐给用户高可信度的识别结果；
[0014] （3）本发明将图像与图谱进行数据匹配和关系匹配，不断缩小识别范围，通过知识推理得到最精确的结果。
附图说明
[0015] 图1是对数据图谱，信息图谱和知识图谱的形式化定义。
[0016] 图2是基于数据图谱、信息图谱和知识图谱架构的图像识别过程的具体流程图。
具体实施方式
[0017] 一种基于数据图谱、信息图谱、知识图谱架构的图像识别方法的具体流程如下：
[0018] 步骤1）对应于图2中的001，根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；
[0019] 步骤2）对应于图2中的002，获取待识别图像；
[0020] 步骤3）对应于图2中的003，将待识别图像分割成已识别图像集{Bi}和未识别图像A两个模块；
[0021] 步骤4）对应于图2中的004，将基于步骤3获得的未识别图像A与数据图谱的实体Ai进行数据匹配，由公式1得到匹配度R，如图1中的数据图谱所示。假设数据图谱中实体属性（包括结构，颜色，特征，频度，局部结构等）与Ai匹配值为μ(α)，α表示Ai可以与未识别图像匹配的一个属性，x表示所有可以匹配的属性：
[0022] （1）；
[0023] 步骤5）对应于图2中的005，根据经验设定一个初始值n，按照R(Ai)从大到小的顺序选出A1、A2、… An；
[0024] 步骤6）对应于图2中的006，将A1、A2、… An作为初始匹配结果；
[0025] 步骤7）对应于图2中的007，基于步骤6获得的初始匹配结果，结合步骤3获得的未识别图像集{B}对信息图谱进行遍历，找到所对应的交互关系， 由公式2、3得到A1、A2、… An和{B}的关系匹配度Y(A1)、Y(A2)…Y(An)，如图1中的信息图谱所示，Ai与B2，B3，B4有直接交互关系。假设信息图谱中Bi与Ai之间的交互关系p匹配度为θ(π)，π其中表示一条交互关系，q表示所有关系：
[0026] （2）；
[0027] （3）；
[0028] 步骤8) 对应于图2中的008，由公式4得到中间匹配度X（A1）、X(A2)…X(An)，其中R(Ai)和Y(Ai)是相互独立的，且r1+r2=1，
[0029] （4）；
[0030] 步骤9）对应于图2中的009，根据经验设定一个初始值k(k<=n)，按照X(Ai)从大到小的顺序选出A1、A2、… Ak；
[0031] 步骤10）对应于图2中的010，基于步骤8获得的中间匹配结果A1、A2、… Ak，在知识图谱中通过推理可以得到{B}和A1、A2、… Ak的间接交互关系，如图1中知识图谱所示，Ai’与B5有间接交互关系，得到的新关系的正确度Cr可以由公式5得出。实体1和实体2之间的新关系可以表示为Cr(E1,E2)，z表示所有新的间接交互关系， 表示新关系匹配度，表示实体1和实体2之间的一个间接关系，当正确度超过一个阈值是认为该关系成立：
[0032] （5）；
[0033] 步骤11）对应于图2中的011，若关系成立，计算可信度（Confidence），其中Cr(E1,E2)和信息图谱中的交互关系是相互独立的，且y1+y2=1, 由公式6得：
[0034] （6）；
[0035] 步骤12）对应于图2中的012，比较可信度的大小，可信度最大的图像实体就是识别的最终结果。
