复杂语义增强异构信息网络表示学习方法和装置

摘要

本申请涉及一种复杂语义增强异构信息网络表示学习方法和装置。所述方法包括：抽取异构信息网络蕴含的元图；根据元图引导在异构信息网络中进行随机游走，以得到异构信息网络中节点转移至其邻居节点的转移概率，进而得到语义路径集合；查询语义路径集合中包含共享节点的两条路径，当共享节点对应的节点类型满足预设条件，则将两条路径在所述共享节点处进行级联；当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止，导出长程语义路径集合；根据长程语义路径集合，进行异构信息网络的表示学习。采用本方法能够利用到更加丰富的语义信息，提升异构信息网络表示学习的性能和效率。

权利要求

1.一种复杂语义增强异构信息网络表示学习方法，其特征在于，所述方法包括：从文本数据中提取异构信息网络，抽取所述异构信息网络蕴含的元图；所述异构信息网络包括：节点、节点类型、节点间关系以及关系的类型；所述文本数据为Word文本和TXT文本；

根据所述元图引导在所述异构信息网络中进行随机游走，以得到所述异构信息网络中节点转移至其邻居节点的转移概率；

根据所述转移概率，得到语义路径集合；所述语义路径集合中包括：多条由不同类型节点和关系组成的语义路径；

查询所述语义路径集合中包含共享节点的两条路径，如果所述共享节点对应的节点类型属于给定节点类型，则将两条路径在所述共享节点处进行级联；如果所述共享节点对应的节点类型不属于给定节点类型，并且根据给定节点类型压缩得到的路径相似度超过阈值，则将两条路径在所述共享节点处进行级联；

当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止，得到长程语义路径集合；长程语义路径集合中包括：随机游走生成的语义路径和挖掘得到的长程语义路径；

根据所述长程语义路径集合，进行异构信息网络的表示学习。

2.根据权利要求1所述的方法，其特征在于，根据所述元图引导在所述异构信息网络中进行随机游走，以得到所述异构信息网络中节点转移至其邻居节点的转移概率，包括：根据所述元图 ，计算节点类型t基于语义可达节点类型 的关系类型数量，随机选择一种语义关系游走到邻居节点类型 ；

根据所述异构信息网络 ，计算节点 与邻居节点类型 之间的关系数量，得到根据所述异构信息网络在第i步从节点 转移至邻居节点 的转移概率为：

其中， 表示类型为t的节点， 表示类型为 的节点； 表示根据元图 ，节点类型t基于语义可达节点类型 的关系类型数量； 表示根据所述异构信息网络 ，节点 与邻居节点类型 之间的关系数量，E表示所述异构信息网络的边集合； 表示元图， 表示异构信息网络。

3.根据权利要求1所述的方法，其特征在于，根据所述长程语义路径集合，进行异构信息网络的表示学习，包括：设置需要考虑的邻居节点上下文窗口大小w，通过使当前节点 的上下文邻居节点出现概率最大化学习节点的分布式向量表示结果；

其中，节点 的邻居节点 出现概率最大化的优化目

标函数为：

其中，w表示最大化窗口， 表示当前节点；

假设窗口中邻居节点 出现的概率 只与节点 相关，因此可以得到对于异构信息网络，窗口中邻居节点 出现的概率 与节点 的类型相关，即：

其中， 表示节点 的类型；

对概率函数 采用softmax建模，得到：

利用语义路径集合 ，计算窗口大小内每个上下文节点

对 的出现频率 进而采用梯度下降方式学习参数，迭代并优化如下目标函数：

其中， 表示优化目标；

当达到预设的迭代条件时，得到训练好的神经网络模型，将待表示节点及其上下文邻居节点集输入训练好的神经网络模型，输出待表示节点的分布式向量表示结果。

4.根据权利要求3所述的方法，其特征在于，还包括：将所述目标函数采用负样本进行优化，得到近似目标函数为：其中， 表示节点 的分布式向量表示结果， 表示当前节点 的分布式向量表示结果，σ（⋅）是sigmoid函数， 是当前节点 采样的第k个负节点，K表示负采样数。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：确定参数更新函数为：

其中， 表示神经网络模型的参数， 表示学习率。

6.根据权利要求3至5任一项所述的方法，其特征在于，所述方法还包括：通过生成器和判别器的对抗学习对神经网络模型的参数进行调整。

7.一种复杂语义增强异构信息网络表示学习装置，其特征在于，所述装置包括：元图生成模型，用于从文本数据中提取异构信息网络，以及抽取所述异构信息网络对应的元图；所述异构信息网络包括：节点、节点类型、节点间关系以及关系的类型；所述文本数据为Word文本和TXT文本；

长程语义路径生成模块，用于根据所述元图引导在所述异构信息网络中进行随机游走，以得到所述异构信息网络中节点转移至其邻居节点的转移概率；根据所述转移概率，得到语义路径集合；所述路径集合中包括：多条由不同类型节点和关系组成的语义路径；查询所述语义路径集合中包含共享节点的两条路径，如果所述共享节点对应的节点类型属于给定节点类型，则将两条语义路径在所述共享节点处进行级联；如果所述共享节点对应的节点类型不属于给定节点类型，并且根据给定节点类型压缩得到的路径相似度超过阈值，则将两条路径在所述共享节点处进行级联；当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止，得到长程语义路径集合；长程语义路径集合中包括：随机游走生成的语义路径和挖掘得到的长程语义路径；

表示学习模块，用于根据所述长程语义路径集合，进行异构信息网络的表示学习。

8.根据权利要求7所述的装置，其特征在于，长程语义路径生成模块还用于根据所述元图，计算节点类型t基于语义可达节点类型 的关系类型数量 ，随机选择一种语义关系游走到邻居节点类型 ；根据所述异构信息网络 ，计算节点 与邻居节点类型 之间的关系数量 ，得到根据所述异构信息网络在第i步从节点转移至邻居节点 的转移概率为：

其中， 表示类型为t的节点， 表示类型为 的节点； 表示根据元图 ，节点类型t基于语义可达节点类型 的关系类型数量； 表示根据所述异构信息网络 ，节点 与邻居节点类型 之间的关系数量，E表示所述异构信息网络的边集合； 表示元图， 表示异构信息网络。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

说明书

复杂语义增强异构信息网络表示学习方法和装置

技术领域

[0001] 本申请涉及计算机技术领域，特别是涉及一种复杂语义增强异构信息网络表示学习方法和装置。

背景技术

[0002] 现实世界中系统往往由大量类型多样、相互联系的部分构成。近年来，采用网络视角对系统进行建模，为了便于处理，通常只抽取类型相同的节点和联系、采用同质信息网络对系统进行建模，如作者合作网络、论文引用网络等，往往难以同时描述不同类型的节点及其连接，造成信息损失。而事实上，作者通过论文建立合作关系，论文之间具有引用关系，不同类型的节点和联系可以共同构成更丰富的异构信息网络。

[0003] 为了充分利用网络中丰富的节点类型及其关系，由不同类型节点及其联系构成的异构信息网络逐渐成为研究的热点。例如由论文及其所含术语、撰写作者、发表地，由演员、电影、导演等不同类型节点及联系构成的异构信息网络。

[0004] 最近，在处理网络表示学习方面有一些成果。DeepWalk首先生成随机游走，然后在该游走上应用Skip-gram来生成嵌入。Node2vec提出了一种偏向随机游走生成方法，以使用Skip-gram模型更好地探索网络的结构信息。但是，这两种方法随机生成序列，而忽略了丰富的语义信息。

发明内容

[0005] 基于此，有必要针对上述技术问题，提供一种能够解决表达学习时忽略丰富语义信息的复杂语义增强异构信息网络表示学习方法、装置、计算机设备和存储介质。

[0006] 一种复杂语义增强异构信息网络表示学习方法，所述方法包括：

[0007] 从文本数据中提取异构信息网络，抽取所述异构信息网络蕴含的元图；所述异构信息网络包括：节点、节点类型、节点间关系以及关系的类型；

[0008] 根据所述元图引导在所述异构信息网络中进行随机游走，以得到所述异构信息网络中节点转移至其邻居节点的转移概率；

[0009] 根据所述转移概率，得到语义路径集合；所述语义路径集合中包括：多条由不同类型节点和关系组成的语义路径；

[0010] 查询所述语义路径集合中包含共享节点的两条路径，如果所述共享节点对应的节点类型属于给定节点类型，则将两条路径在所述共享节点处进行级联；如果所述共享节点对应的节点类型不属于给定节点类型，并且根据给定节点类型压缩得到的路径相似度超过阈值，则将两条路径在所述共享节点处进行级联；

[0011] 当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止；长程语义路径集合 中包括：随机游走生成的语义路径和挖掘得到的长程语义路径；

[0012] 根据所述长程语义路径集合 ，进行异构信息网络的表示学习。

[0013] 在其中一个实施例中，还包括：根据所述元图 ，计算节点类型t基于语义可达的关系类型数量 ，随机选择一种语义关系游走到邻居节点类型 ；

[0014] 根据所述异构信息网络 ，计算节点 与邻居节点类型 之间的关系数量，得到根据所述异构信息网络在第i步从节点 转移至邻居节点 的转移概
率为：

[0015]

[0016] 其中， 表示类型为t的节点， 表示类型为 的节点； 表示根据元图 ，节点类型t基于语义可达节点类型 的关系类型数量； 表示根据所述
异构信息网络 ，节点 与邻居节点类型 之间的关系数量，E表示所述异构信息网络的边集合； 表示元图，表示异构信息网络。

[0017] 在其中一个实施例中，还包括：设置需要考虑的邻居节点上下文窗口大小w，根据长程语义路径集合，通过使当前节点 的上下文邻居节点出现概率最大化学习节点的分布式向量表示结果；

[0018] 最大化上下文窗口中邻居节点出现概率为：

[0019]

[0020] 其中，w表示最大化窗口， 表示当前节点；

[0021] 假设窗口中邻居节点 出现的概率 只与节点 相关，因此可以得到

[0022]

[0023] 对于异构信息网络，窗口中邻居节点 出现的概率 与节点 的类型相关，即

[0024]

[0025] 其中， 表示节点 的类型；

[0026] 对概率函数 采用softmax建模，得到：

[0027]

[0028] 利用语义路径集合 ，计算窗口大小内每个上下文节点对 的出现频率 。进而采用梯度下降方式学习参数，迭代并优化如下
目标函数：

[0029]

[0030] 其中， 表示优化目标；

[0031] 当达到预设的迭代条件时，得到训练好的神经网络模型，将待表示节点及其上下文邻居节点集输入训练好的神经网络模型，输出待表示节点的分布式向量表示结果。

[0032] 在其中一个实施例中，还包括：将所述目标函数采用负样本进行优化，得到近似目标函数为：

[0033]

[0034] 其中， 表示节点 的分布式向量表示结果， 表示当前节点 的分布式向量表示结果， 是sigmoid函数， 是为当前节点 采样的第k个负节点，K表示负采样数。

[0035] 在其中一个实施例中，确定参数更新函数为：

[0036]

[0037] 其中， 表示神经网络模型的参数， 表示学习率。

[0038] 在其中一个实施例中，通过生成器和判别器的对抗学习对神经网络模型的参数进行调整。

[0039] 一种复杂语义增强异构信息网络表示学习装置，所述装置包括：

[0040] 元图生成模型，用于从文本数据中提取异构信息网络，以及抽取所述异构信息网络对应的元图；所述异构信息网络包括：节点、节点类型、节点间关系以及关系的类型；

[0041] 长程语义路径生成模块，用于根据所述元图引导在所述异构信息网络中进行随机游走，以得到所述异构信息网络中节点转移至其邻居节点的转移概率；根据所述转移概率，得到语义路径集合；所述路径集合中包括：多条由不同类型节点和关系组成的语义路径；查询所述语义路径集合中包含共享节点的两条路径，如果所述共享节点对应的节点类型属于给定节点类型，则将两条语义路径在所述共享节点处进行级联；如果所述共享节点对应的节点类型不属于给定节点类型，并且根据给定节点类型压缩得到的路径相似度超过阈值，则将两条路径在所述共享节点处进行级联；当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止；所述长程语义路径集合中包括：随机游走生成的语义路径和挖掘得到的长程语义路径；

[0042] 表示学习模块，用于根据所述长程语义路径集合，进行异构信息网络的表示学习。

[0043] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

[0044] 从文本数据中提取异构信息网络，抽取所述异构信息网络蕴含的元图；所述异构信息网络包括：节点、节点类型、节点间关系以及关系的类型；

[0045] 根据所述元图引导在所述异构信息网络中进行随机游走，以得到所述异构信息网络中节点转移至其邻居节点的转移概率；

[0046] 根据所述转移概率，得到语义路径集合；所述语义路径集合中包括：多条由不同类型节点和关系组成的语义路径；

[0047] 查询所述路径集合中包含共享节点的两条路径，如果所述共享节点对应的节点类型属于给定节点类型，则将两条路径在所述共享节点处进行级联；如果所述共享节点对应的节点类型不属于给定节点类型，并且根据给定节点类型压缩得到的路径相似度超过阈值，则将两条路径在所述共享节点处进行级联；

[0048] 当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止；所述长程语义路径集合中包括：随机游走生成的语义路径和挖掘得到的长程语义路径；

[0049] 根据所述长程语义路径集合，进行异构信息网络的表示学习。

[0050] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

[0051] 从文本数据中提取异构信息网络，抽取所述异构信息网络蕴含的元图；所述异构信息网络包括：节点、节点类型、节点间关系以及关系的类型；

[0052] 根据所述元图引导在所述异构信息网络中进行随机游走，以得到所述异构信息网络中节点转移至其邻居节点的转移概率；

[0053] 根据所述转移概率，得到语义路径集合；所述语义路径集合中包括：多条由不同类型节点和关系组成的语义路径；

[0054] 查询所述路径集合中包含共享节点的两条路径，如果所述共享节点对应的节点类型属于给定节点类型，则将两条路径在所述共享节点处进行级联；如果所述共享节点对应的节点类型不属于给定节点类型，并且根据给定节点类型压缩得到的路径相似度超过阈值，则将两条路径在所述共享节点处进行级联；

[0055] 当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止；所述长程语义路径集合中包括：随机游走生成的语义路径和挖掘得到的长程语义路径；

[0056] 根据所述长程语义路径集合，进行异构信息网络的表示学习。

[0057] 上述复杂语义增强异构信息网络表示学习方法、装置、计算机设备和存储介质，通过元图引导，提取“长程”的隐含语义关系，应用于分类、聚类和推荐任务，较现有方法的性能更高，特别是针对大规模异构信息网络,极大提升了表示学习的性能和效率。

附图说明

[0058] 图1为一个实施例中复杂语义增强异构信息网络表示学习方法的流程图；

[0059] 图2为实施例中路径 、 、 和 的示意图；

[0060] 图3为一个实施例中路径 的示意图；

[0061] 图4为一个实施例中路径 的示意图；

[0062] 图5为一个实施例中路径 和 收缩为仅包含给定节点类型“论文”的压缩路径和 示意图；

[0063] 图6为一个实施例中路径 和 级联的示意图；

[0064] 图7为一个实施例中表示学习的流程图；

[0065] 图8为一个实施例中复杂语义增强异构信息网络表示学习装置的结构示意图；

[0066] 图9为一个实施例中计算机设备的内部结构图。

具体实施方式

[0067] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0068] 在一个实施例中，如图1所示，提供了一种复杂语义增强异构信息网络表示学习方法，包括以下步骤：

[0069] 步骤102，从文本数据中提取异构信息网络，抽取异构信息网络蕴含的元图。

[0070] 文本可以是从网页中提取的文本，也可以是本地导入的Word、TXT等文本。异构信息网络指的是多个节点类型或者多个连边类型构成的网络。异构信息网络中的节点类型和连边类型构成了网络模式，元图是在网络模式上定义的有向无环图。

[0071] 具体的，异构信息网络、网络模式、元图以及表示学习的定义如下：

[0072] 异构信息网络 具有多种节点和关系类型，其中，V是节点集合，E是关系集合。定义节点类型映射函数 和关系类型映射函数
。每个节点 对应节点类型 ，属于节点类型集合 中的一
个特定节点类型；每条关系 对应关系类型 ，属于关系类型集合 中
的一个特定关系类型。

[0073] 对于异构信息网络 ，网络模式记为 是定义在节点类型集合 和关系类型集合R上的有向图，以A中的类型为节点， 上的关系为边。

[0074] 对于网络模式 ，元图 是由网络模式上的序列组合得到的有向无环图，其中 中的节点属于节点类型集合A， 中的关系属于关系类型集合R。

[0075] 对于异构信息网络 ,表示学习的目标是将节点映射为低维空间中的d维向量，从而便于抽取有用信息,其中 。

[0076] 步骤104，根据元图引导在异构信息网络中进行随机游走，以得到异构信息网络中节点转移至其邻居节点的转移概率，根据转移概率，得到语义路径集合。

[0077] 语义路径集合中包括：多条由不同类型节点和关系组成的语义路径。

[0078] 具体的，类型为t∈A的节点 将如何随机游走到类型为t'∈A的下一个节点取决于以下信息：

[0079] 根据所述元图 ，计算节点类型t基于语义可达节点类型 的关系类型数量，随机选择一种语义关系游走到邻居节点类型 。

[0080] 然后在从其开始的关系中，节点 随机从类型为 的邻居的数目 中选择一个关系，游走到下一个节点 。

[0081] 步骤106，查询路径集合中包含共享节点的两条路径，如果共享节点对应的节点类型属于给定节点类型，则将两条路径在所述共享节点处进行级联；如共享节点对应的节点类型不属于给定节点类型，并且两条路径中共享节点对应的相似度超过阈值，则将两条路径在所述共享节点处进行级联。

[0082] 步骤108，当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止，得到长程语义路径集合。

[0083] 长程语义路径集合中包括：随机游走生成的语义路径和挖掘得到的长程语义路径。

[0084] 步骤110，根据长程语义路径集合，进行异构信息网络的表示学习。

[0085] 上述复杂语义增强异构信息网络表示学习方法中，通过元图引导，提取”长程”的隐含语义关系，应用于分类、聚类和推荐任务，较现有方法的性能更高，特别是针对大规模异构信息网络，极大提升了表示学习的性能和效率。

[0086] 在其中一个实施例中，根据元图 ，计算节点类型t基于语义可达节点类型 的关系类型数量 ，随机选择一种语义关系游走到邻居节点类型 ，以及根据异构信息网络 ，计算节点 与邻居节点类型 之间的关系数量 ，得到根据所
述异构信息网络在第i步从节点 转移至邻居节点 的转移概率为：

[0087]

[0088] 其中， 表示类型为t的节点， 表示类型为 的节点； 表示根据元图 ，节点类型t基于语义可达节点类型 的关系类型数量； 表示根据
所述异构信息网络 ，节点 与邻居节点类型 之间的关系数量，E表示所述异构信息网络的边集合； 表示元图， 表示异构信息网络。

[0089] 具体的，如果没有符合条件的类型或语义路径达到设置的长度，则随机游走将终止。

[0090] 实际上，采用随机游走采样面临的问题包括元图抽取为指数级规模，计算成本高，以及随机游走得到的路径可能缺少现实意义。鉴于这些问题，设计了语义增强策略，基于随机游走进一步生成语义明确的长程路径，有助于捕获远距离节点之间的语义和结构相关性。

[0091] 在其中一个实施例中，给定一个节点类型t∈A，扫描从随机游走导出的路径集，对于两个具有共享节点ν的路径 和 ，通过在共享节点进行有条件的级联来生成长程语义路径。具体的生成规则如下：

[0092] 1、如果共享节点 和 是类型t，即 ，则将路径 和 在节点v处连接。在节点ν的邻居中，连接后其他非t型共享节点（如果存在）仅出现一次。

[0093] 2、如果共享节点 和 不是类型t，即 ，则将路径 和 收缩为仅包含类型t节点的压缩路径 ，并计算相似度 。如果
大于阈值τ，则将路径 和 在节点v处串联。

[0094] 根据规则1，在给定节点类型为“论文”的情况下，图2中的路径 和 共享“论文”类型节点 ，因此它们在节点 处串联，形成了如图3所示的新路径 ，非“论文”类型共享节点“作者”孟伟在连接后仅出现一次。同样，路径 和 在共享的“论文”类型节点 处串联，形成新路径 ，如图4所示，而非“论文”类型共享节点“作者”I. 穆斯利在新路径中仅出现一次。

[0095] 根据规则2，路径 和 共享“作者”节点 ，而不是给定的“论文”类型。因此，如图5所示，它们首先收缩为仅由“论文”类型的节点组成的路径 和 ，然后定义函数F来计算路径的相似性。对于“论文”类型，函数F是从“论文”节点中提取文本。即，路径 和分别映射为论文标题组成的文本x和y，并且基于BERT计算x和y之间的相似度。在阈值τ= 0.9的情况下，文本x和y之间的相似度高于阈值，因此，路径 和 根据规则2在节点处级联，形成新路径 ，如图6所示。

[0096] 如果没有共享节点或长度满足要求，则长程语义路径的挖掘将终止。如果派生给定数量的长程路径，或者无法派生其他长程路径，则过程终止。

[0097] 在其中一个实施例中，根据长程语义路径集合，设置需要考虑的邻居节点上下文窗口大小，最大化窗口内上下文节点的出现概率，学习所述当前节点的分布式向量表示结果；

[0098] 最大化上下文窗口中邻居节点出现概率为：

[0099]

[0100] 其中，w表示最大化窗口， 表示当前节点；

[0101] 假设窗口中邻居节点 出现的概率 只与节点 相关，因此可以得到

[0102] 对于异构信息网络，窗口中邻居节点 出现的概率 与节点 的类型相关，即

[0103]

[0104] 其中， 表示节点 的类型；

[0105] 对概率函数 采用softmax建模，得到：

[0106]

[0107] 利用语义路径集合 ，计算窗口大小内每个上下文节点对 的出现频率 。进而采用梯度下降方式学习参数，迭代并优化如下
目标函数：

[0108]

[0109] 其中， 表示优化目标；

[0110] 当达到预设的迭代条件时，得到训练好的神经网络模型，将待表示节点及其上下文邻居节点集输入训练好的神经网络模型，输出待表示节点的分布式向量表示结果。

[0111] 在其中一个实施例中，还包括：将目标函数采用负样本进行优化，得到近似目标函数为：

[0112]

[0113] 其中， 表示节点 的分布式向量表示结果， 表示当前节点 的分布式向量表示结果， 是sigmoid函数， 是当前节点 采样的第k个负节点，K表示负采样数。

[0114] 传统的负采样用于通过随机替换路径中每个采样的正节点的值来生成负数据以供学习。对于每个采样的路径P，可以通过用随机选择的节点随机替换一个或多个节点来生成对应路径的负样本P'。

[0115] 但是，上述负采样受到限制，例如从原始异构信息网络的现有节点中选择负采样，而无法学习底层分布以获得更强大的嵌入。

[0116] 具体的，为了解决这些问题，进一步利用生成对抗网络（GAN）进行对抗学习的微调。

[0117]

[0118] 如图7所示，生成器G输入从分布 生成的d维噪声向量，并在输出中生成向量。判别器D学会从真实分布中检测出生成器产生的向量。判别器和生成器相互迭代竞争以训练更好的模型，该模型不仅对稀疏或嘈杂的数据更鲁棒，而且还提供更好的样本。

[0119] 应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

[0120] 在其中一个实施例中，提供一种复杂语义增强异构信息网络表示学习装置，如图8所示，包括：

[0121] 元图生成模型802，用于从文本数据中提取异构信息网络，抽取所述异构信息网络蕴含的元图；所述异构信息网络包括：节点、节点类型、节点间关系以及关系的类型；

[0122] 长程语义路径生成模块804，用于根据所述元图引导在所述异构信息网络中进行随机游走，以得到所述异构信息网络中节点转移至其邻居节点的转移概率；根据所述转移概率，得到语义路径集合；所述语义路径集合中包括：多条由不同类型节点和关系组成的语义路径；查询所述语义路径集合中包含共享节点的两条路径，如果所述共享节点对应的节点类型属于给定节点类型，则将两条路径在所述共享节点处进行级联；如果所述共享节点对应的节点类型不属于给定节点类型，并且根据给定节点类型压缩得到的路径相似度超过阈值，则将两条路径在所述共享节点处进行级联；当级联后的路径达到预设长度或者任意两条路径没有共享节点时，长程语义路径挖掘终止；长程语义路径集合中包括：随机游走生成的语义路径和挖掘得到的长程语义路径；

[0123] 表示学习模块806，用于根据所述长程语义路径集合，进行异构信息网络的表示学习。

[0124] 在其中一个实施例中，长程语义路径生成模块804还用于根据所述元图，计算当前节点类型基于语义可达特定类型邻居节点的关系类型数量，随机选择一种语义关系游走到特定类型的邻居节点；根据所述特定类型邻居节点数量、所述语义可达特定类型邻居节点的关系类型数量，得到根据所述异构信息网络从当前节点转移至邻居节点的转移概率为：

[0125]

[0126] 其中， 表示类型为t的节点， 表示类型为  的节点； 表示根据元图 ，节点类型t基于语义可达节点类型t'的关系类型数量； 表示根据
所述异构信息网络 ，节点 与邻居节点类型 之间的关系数量，E表示所述异构信息网络的边集合； 表示元图， 表示异构信息网络。

[0127] 在其中一个实施例中，表示学习模块806还用于根据长程语义路径集合，设置需要考虑的邻居节点上下文窗口大小，通过使当前节点的上下文邻居节点出现概率最大化学习节点的分布式向量表示结果；

[0128] 最大化上下文窗口中邻居节点出现概率为：

[0129]

[0130] 其中，w表示最大化窗口， 表示当前节点；

[0131] 假设窗口中邻居节点 出现的概率 只与节点 相关，因此可以得到

[0132]

[0133] 对于异构信息网络，窗口中邻居节点 出现的概率 与节点 的类型相关，即：

[0134]

[0135] 其中， 表示节点 的类型；

[0136] 对概率函数 采用softmax建模，得到：

[0137]

[0138] 利用语义路径集合 ，计算窗口大小内每个上下文节点对 的出现频率 进而采用梯度下降方式学习参数，迭代并优化如下
目标函数：

[0139]

[0140] 其中， 表示优化目标；

[0141] 当达到预设的迭代条件时，得到训练好的神经网络模型，将待表示节点及其上下文邻居节点集输入训练好的神经网络模型，输出待表示节点的分布式向量表示结果。

[0142] 在其中一个实施例中，表示学习模块806还用于将所述目标函数采用负样本进行优化，得到近似目标函数为：

[0143]

[0144] 其中， 表示节点 的分布式向量表示结果， 表示当前节点 的分布式向量表示结果， 是sigmoid函数， 是当前节点 采样的第k个负节点，K表示负采样数。

[0145] 在其中一个实施例中，表示学习模块806还用于确定参数更新函数为：

[0146]

[0147] 其中， 表示神经网络模型的参数，表示学习率。

[0148] 在其中一个实施例中，表示学习模块806还用于通过生成器和判别器的对抗学习对神经网络模型的参数进行调整。

[0149] 关于复杂语义增强异构信息网络表示学习装置的具体限定可以参见上文中对于一种复杂语义增强异构信息网络表示学习方法的限定，在此不再赘述。上述复杂语义增强异构信息网络表示学习装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0150] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种复杂语义增强异构信息网络表示学习方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0151] 本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0152] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。

[0153] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。

[0154] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

[0155] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0156] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。