会员体验
专利管家（专利管理）
工作空间（专利管理）
风险监控（情报监控）
数据分析（专利分析）
侵权分析（诉讼无效）
联系我们
交流群
官方交流：
QQ群： 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 专利权 / 第I章 / 一种基于融合特征表示的事实型隐式情感识别方法和系统

一种基于融合特征表示的事实型隐式情感识别方法和系统

阅读：514发布：2021-02-25

IPRDB可以提供一种基于融合特征表示的事实型隐式情感识别方法和系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于融合特征表示的事实型隐式情感识别方法和系统，可通过融合要素级的情感目标表示T、句子级的事实型隐式情感表达E以及篇章级的上下文显式情感语义背景表示B得到事实型隐式情感句的特征表示，其提出的方法在事实型隐式情感句识别任务上最高取得了74.5％识别F1值，在隐式情感倾向性判别任务上精确率最高可达80.5％，并且提出的方法在模型学习速度上有良好的提升效果。，下面是一种基于融合特征表示的事实型隐式情感识别方法和系统专利的具体信息内容。

1.一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，包括以下步骤：S1，使用显式情感词典筛选出文本中的显式情感句和候选隐式情感句，并对所述显式情感句和所述候选隐式情感句进行分词、词性标注和依存句法分析；

S2，使用开放领域文本数据，预先训练所有词的词向量表示；

S3，根据依存句法分析获取所述候选隐式情感句的依存句法树；并将依存句法树中的作主语的名词作为隐式情感目标中对象词，将其余名词作为隐式情感目标中的候选属性词；并根据融合关系得分公式获取所述对象词和每个所述候选属性词之间的融合关系得分；并使用所述对象词的词向量和与其的融合关系得分最高且大于预设阈值的所述候选属性词的词向量均值作为所述候选隐式情感句的隐式情感目标表示T；

S4，根据依存句法分析获取所述候选隐式情感句的依存句法树、所述显式情感句的依存句法树；根据第一卷积操作公式对所述依存句法树上的所有固定深度为2的子树进行卷积操作，并根据第二卷积操作公式按照子树父节点词语在句子中的词序对卷积之后的所述子树表示向量进一步进行卷积操作；以获取所述候选隐式情感句的隐式情感表达E和所述显式情感句的显式情感表达F；

S5，根据第三卷积操作公式对步骤S4中获取的所有所述显式情感句的向量表示F进行融合学习，获取上下文显式情感语义背景表示B；

S6，根据多路卷积操作公式对T、E和B进行单一、两两组合或三者统一卷积融合，依次获取事实型隐式情感特征表示y1、y2和y3，并将获取的y1、y2和y3经过池化层，对经过池化层后的输出进行拼接得到所述事实型隐式情感句的多级语义融合表示[y1,y2,y3]。

2.根据权利要求1所述的一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，在每个所述候选属性词与所述对象词融合关系得分均小于等于预设阈值的情况下，所述隐式情感目标表示T直接表示为所述对象词的词向量。

3.根据权利要求1所述的一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，所述融合关系得分公式为：其中，O为所述对象词词向量，A为所述候选属性词词向量，θ为预设阈值；ML为预学习得到的语言表达关系特征矩阵，ML定义为：其中，i，j分别表示矩阵ML中第i行第j列对应元素，dt为依存关系强度，S(O,A)为正确的情感目标搭配集合，P(dt|(i,j))定义为：其中，#dt(i,j)为具有语法依存关系类型dt的正确情感目标搭配(i,j)的个数，#(i,j)表示正确情感目标搭配(i,j)的个数；

另外，

其中，g函数度量了对象O与属性A的结构相似度，r为语义结构关系表示向量，||·||L2表示L2正则化，即向量对应元素的平方和的开方，b为偏置项。

4.根据权利要求1所述的一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，所述第一卷积操作公式为：其中，p、cj分别表示子树中父节点、子节点的词向量表示，Mp为父节点的卷积权重，b为偏置项， 为父节点和子节点间依存语法关系r语义矩阵，其计算公式如下：其中，(P,C)∈Sr表示具有依存语法关系r的父—子节点对，(P′,C′)∈Sr′表示错误的父—子节点对，即该父—子节点对应的词语不具有依存语法关系r，其中，(x)+＝max{x,0}；

损失函数L的目的是通过优化使得具有依存语法关系r的父—子节点对尽可能满足MrP+r≈MrC，使得其损失尽可能小，而使不具有依存语法关系r的父—子节点对损失尽可能大。

5.根据权利要求1所述的一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，所述第二卷积操作公式为：y”＝f(WtMt(j:j+h-1)T+b)

其中，MT为按照父节点词序排序得到的子树集特征矩阵，h为卷积窗口的大小，表示卷积窗口中子树的个数，Wt为该层卷积权重，Mt(j:j+h-1)表示矩阵Mt中第j行至第j+h-1的向量拼接，b为偏置项。

6.根据权利要求1所述的一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，所述第三卷积操作公式为：y”'＝f(mBMB(j:j+h-1)T+b)

其中，MB为按照篇章顺序排序得到的句子集特征矩阵，h为卷积窗口的大小，表示为卷积窗口中句子的个数。mB为卷积权重，MB(j:j+h-1)表示矩阵MB中第j行至第j+h-1的向量拼接，b为偏置项。

7.根据权利要求1所述的一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，所述多路卷积操作公式为：y1＝f(WXXT+b)，X∈{B,T,E}

y2＝f(WpPT+WqQT+b),P,Q∈{B,T,E},P≠Q

y3＝f(WbBT+WeET+WtTT+b)

其中，T、E、B分别为对应特征的表示，W*为各卷积层权重，b为偏置项。

8.根据权利要求1所述的一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，所述基于融合特征表示的事实型隐式情感识别方法，还包括以下步骤：使用优化函数对所述第一卷积操作公式、所述第二卷积操作公式、所述第三卷积操作公式和所述多路卷积操作公式进行模型优化，所述优化函数为交叉熵函数。

9.根据权利要求1所述的一种基于融合特征表示的事实型隐式情感句识别方法，其特征在于，在对第三卷积操作公式进行优化之前还包括以下步骤：基于四元组表示的情感袋模型获取上下文显式情感语义背景表示B的情感倾向极性分布DB。

10.一种基于融合特征表示的事实型隐式情感识别系统，其特征在于，包括：

文本预处理模块，所述文本预处理模块用于使用显式情感词典筛选出文本中的显式情感句和候选隐式情感句，并对所述显式情感句和所述候选隐式情感句进行分词、词性标注和依存句法分析，以及使用开放领域文本数据，预先训练所有词的词向量表示；

第一提取模块，所述第一获取模块用于根据依存句法树中的作主语的名词和不作主语的名词之间的融合关系得分获取隐式情感目标表示T；

第二提取模块，所述第二获取模块用于通过建立的第一卷积神经网络对依存句法树上的所有固定深度为2的子树进行卷积操作，并通过建立的第二卷积神经网络按照子树父节点词语在句子中的词序对卷积之后的所述子树进一步进行卷积操作，以获取隐式情感句的隐式情感表达E和显式情感句的显式情感表达F；

第三提取模块，所述第三获取模块用于通过建立的第三卷积神经网络获取的所有所述显式情感句的显式情感表达F进行融合学习，获取上下文显式情感语义背景表示B；

融合模块，所述融合模块用于通过建立的多路卷积神经网络对T、E和B进行单一、两两组合或三者统一卷积融合，依次获取事实型隐式情感特征表示y1、y2和y3，并将获取的y1、y2和y3经过池化层，对经过池化层后的输出进行拼接得到所述事实型隐式情感句的多级语义融合表示[y1,y2,y3]。

说明书全文

一种基于融合特征表示的事实型隐式情感识别方法和系统

技术领域

[0001] 本发明涉及计算机文本情感分析领域，特别涉及一种基于融合特征表示的事实型隐式情感识别方法和系统。

背景技术

[0002] 文本情感分析是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。由于语言的多样性和复杂性，从表达层面依照是否含有显式情感词可分为显式情感分析和隐式情感分析。显式文本情感分析作为该领域的基础性研究，已有大量的相关研究成果。然而，人们对客观事物的体验及行为反应的情感是丰富而抽象的，往往通过形象的修辞形式加以描述或者采用客观陈述方式表达自己的隐式情感。这类情感缺少显式情感词作为情感指引，且表达更为含蓄、隐晦，已成为自然语言处理中的核心难题之一。
[0003] 相对于显式情感分析，隐式情感的研究面临以下三方面的挑战：(1)隐式情感表达没有显式的情感词，使得在显式情感分析中被广泛采用的基于情感词典的方法不再有效，且由于隐式情感表达用词相对客观中立，进一步导致了基于词袋模型的文本表示方法无法进行有效的区分。(2)隐式情感在表达方式上更加含蓄、隐晦和委婉，这给文本的语义表示和理解带来了新的问题。(3)隐式情感往往与情感持有者的个人主观认知具有密切关系，缺乏统一的界定标准。
[0004] 面对上述的挑战，目前相关领域的研究者还很少涉猎。依据所在课题组前期对新浪汽车和汽车之家网站上真实汽车评论数据标注工作中的统计显示，在全部37646条评论句子中，隐式情感句占总情感句的33.2％。而在对微博评论的数据标注中，热门事件评论中隐式情感句占总句子数的10％左右，占总情感句的比例约为30％左右。而在隐式情感句中，事实型隐式情感占70％以上。
[0005] 由以上示例和统计数据可知，对文本中的隐式情感的分析在实际应用中是一个不可回避的问题，因此，对隐式情感进行深入研究，将极大提升文本情感分析的整体效果。而隐式情感中占大多数的事实型隐式情感，理应作为优先研究对象。

发明内容

[0006] 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
[0007] 为此，本发明的一个目的在于提出一种基于融合特征表示的事实型隐式情感识别方法，可提高事实型隐式情感识别的准确率，以及提高事实型隐式情感句的情感倾向判别任务上的精确率。
[0008] 本发明的另一个目的在于提出一种基于融合特征表示的事实型隐式情感识别系统。
[0009] 为实现上述目的，本发明实施例提出了一种基于融合特征表示的事实型隐式情感识别方法，包括以下步骤：
[0010] S1，使用显式情感词典筛选出文本中的显式情感句和候选隐式情感句，并对所述显式情感句和所述候选隐式情感句进行分词、词性标注和依存句法分析；
[0011] S2，使用开放领域文本数据，预先训练所有词的词向量表示；
[0012] S3，根据依存句法分析获取所述候选隐式情感句的依存句法树；并将依存句法树中的作主语的名词作为隐式情感目标中对象词，将其余名词作为隐式情感目标中的候选属性词；并根据融合关系得分公式获取所述对象词和每个所述候选属性词之间的融合关系得分；并使用所述对象词的词向量和与其的融合关系得分最高且大于预设阈值的所述候选属性词的词向量均值作为所述候选隐式情感句的隐式情感目标表示T；
[0013] S4，根据依存句法分析获取所述候选隐式情感句的依存句法树、所述显式情感句的依存句法树；根据第一卷积操作公式对所述依存句法树上的所有固定深度为2的子树进行卷积操作，并根据第二卷积操作公式按照子树父节点词语在句子中的词序对卷积之后的所述子树进一步进行卷积操作；以获取所述候选隐式情感句的隐式情感表达E和所述显式情感句的显式情感表达F；
[0014] S5，根据第三卷积操作公式对步骤S4中获取的所有所述显式情感句的显式情感表达F进行融合学习，获取上下文显式情感语义背景表示B；
[0015] S6，根据多路卷积操作公式对T、E和B进行单一、两两组合或三者统一卷积融合，依次获取事实型隐式情感特征表示y1、y2和y3，并将获取的y1、y2和y3经过池化层，对经过池化层后的输出进行拼接得到所述事实型隐式情感句的多级语义融合表示[y1,y2,y3]。
[0016] 根据本发明实施例提出的基于融合特征表示的事实型隐式情感识别方法，可通过融合要素级的情感目标表示T、句子级的事实型隐式情感表达E以及篇章级的上下文显式情感语义背景表示B得到事实型隐式情感句的特征表示，其提出的方法在事实型隐式情感句识别任务上最高取得了74.5％识别F1值，在隐式情感倾向性判别任务上精确率最高可达80.5％，并且提出的方法在模型学习速度上均有良好的提升效果。
[0017] 根据本发明的一个实施例，在每一个所述候选属性词与所述对象词融合关系得分均小于或等于预设阈值的情况下，所述隐式情感目标表示T直接表示为所述对象词的词向量。
[0018] 根据本发明的一个实施例，所述融合关系得分公式为：
[0019]
[0020] 其中，O为所述对象词词向量，A为所述候选属性词词向量，θ为预设阈值优选为0.8；
[0021] ML为预学习得到的语言表达关系特征矩阵，ML定义为：
[0022]
[0023] 其中，i，j分别表示矩阵ML中第i行第j列对应元素，dt为依存关系强度，S(O,A)为正确的情感目标搭配集合，P(dt|(i,j))定义为：
[0024]
[0025] 其中，#dt(i,j)为具有语法依存关系类型dt的正确情感目标搭配(i,j)的个数，#(i,j)表示正确情感目标搭配(i,j)的个数；
[0026] 另外，
[0027] O+r≈A
[0028] 其中，g函数度量了对象O与属性A的结构相似度，r为语义结构关系表示向量，||·||L2表示L2正则化，即向量对应元素的平方和的开方，b为偏置项。
[0029] 根据本发明的一个实施例，所述第一卷积操作公式为：
[0030]
[0031] 其中，p、cj分别表示子树中父节点、子节点的词向量表示，Mp为父节点的卷积权重，b为偏置项， 为父节点和子节点间依存语法关系r语义矩阵，其计算公式如下：
[0032]
[0033] Mr＝argminMrL
[0034] 其中，(P,C)∈Sr表示具有依存语法关系r的父—子节点对，(P′,C′)∈Sr′表示错误的父—子节点对，即该父—子节点对应的词语不具有依存语法关系r，(x)+＝max{x,0}；损r失函数L的目的是通过优化使得具有依存语法关系r的父—子节点对尽可能满足M P+r≈MrC，使得其损失尽可能小，而使不具有依存语法关系r的父—子节点对损失尽可能大。
[0035] 根据本发明的一个实施例，所述第二卷积操作公式为：
[0036] y″＝f(WtMt(j:j+h-1)T+b)
[0037] 其中，MT为按照父节点词序排序得到的子树集特征矩阵，h为卷积窗口的大小，表示卷积窗口中子树的个数，Wt为该层卷积权重，Mt(j:j+h-1)表示矩阵Mt中第j行至第j+h-1的向量拼接，b为偏置项。
[0038] 根据本发明的一个实施例，所述第三卷积操作公式为：
[0039] y″′＝f(mBMB(j:j+h-1)T+b)
[0040] 其中，MB为按照篇章顺序排序得到的句子集特征矩阵，h为卷积窗口的大小，表示为卷积窗口中句子的个数。mB为卷积权重，MB(j:j+h-1)表示矩阵MB中第j行至第j+h-1的向量拼接，b为偏置项。
[0041] 根据本发明的一个实施例，所述多路卷积操作公式为：
[0042] y1＝f(WXXT+b)，X∈{B,T,E}
[0043] y2＝f(WpPT+WqQT+b),P,Q∈{B,T,E},P≠Q
[0044] y3＝f(WbBT+WeET+WtTT+b)
[0045] 其中，T、E、B分别为对应特征的表示，W*为各卷积层权重，b为偏置项。
[0046] 根据本发明的一个实施例，所述基于融合特征表示的事实型隐式情感识别方法，还包括以下步骤：使用优化函数对所述第一卷积操作公式、所述第二卷积操作公式、所述第三卷积操作公式和所述多路卷积操作公式进行模型优化，所述优化函数为交叉熵函数。
[0047] 根据本发明的一个实施例，在对第三卷积操作公式进行优化之前还包括以下步骤：基于四元组表示的情感袋模型获取上下文显式情感语义背景表示B的情感倾向极性分布DB。
[0048] 为实现上述目的，本发明另一方面实施例还提出了一种融合特征表示的事实型隐式情感识别系统，包括：
[0049] 文本预处理模块，所述文本预处理模块用于使用显式情感词典筛选出文本中的显式情感句和候选隐式情感句，并对所述显式情感句和所述候选隐式情感句进行分词、词性标注和依存句法分析，以及使用开放领域文本数据，预先训练所有词的词向量表示；
[0050] 第一提取模块，所述第一获取模块用于根据依存句法树中的作主语的名词和不作主语的名词之间的融合关系得分获取隐式情感目标表示T；
[0051] 第二提取模块，所述第二获取模块用于通过建立的第一卷积神经网络对依存句法树上的所有固定深度为2的子树进行卷积操作，并通过建立的第二卷积神经网络按照子树父节点词语在句子中的词序对卷积之后的所述子树进一步进行卷积操作，以获取隐式情感句的隐式情感表达E和显式情感句的显式情感表达F；
[0052] 第三提取模块，所述第三获取模块用于通过建立的第三卷积神经网络获取的所有所述显式情感句的显式情感表达F进行融合学习，获取上下文显式情感语义背景表示B；
[0053] 融合模块，所述融合模块用于通过建立的多路卷积神经网络对T、E和B进行单一、两两组合或三者统一卷积融合，依次获取事实型隐式情感特征表示y1、y2和y3，并将获取的y1、y2和y3经过池化层，对经过池化层后的输出进行拼接得到所述事实型隐式情感句的多级语义融合表示[y1,y2,y3]。
[0054] 根据本发明实施例提出的基于融合特征表示的事实型隐式情感识别系统，可通过融合要素级的情感目标表示T、句子级的事实型隐式情感表达E以及篇章级的上下文显式情感语义背景表示B得到事实型隐式情感句的特征表示，其提出的方法在事实型隐式情感句识别任务上最高取得了74.5％识别F1值，在隐式情感倾向性判别任务上精确率最高可达80.5％，并且提出的方法在模型学习速度上均有良好的提升效果。
[0055] 与现有技术相比，本发明还具有以下有益效果：(1)多种关系的融合嵌入表示可以极大提升情感目标抽取的性能，并在测试集中大量出现新实体的零样本(zero-shot)场景下，也可有效解决传统方法因训练不足导致的性能下降问题；(2)将显式情感的二元组表示<目标，评价>扩展为四元组表示<目标，转折，程度，评价>，构建了基于四元组表示的情感袋模型，该模型具有更细致的情感表示精度，并构建以情感倾向性为权值的文本空间向量浅层语义表示，用于对上下文显式情感语义背景中的句子进行情感分类；(3)基于句法语义关系嵌入多层卷积神经网络模型加入了依存语法关系矩阵信息，同时使用多层卷积机制保留部分词序信息，能够准确的对事实型隐式情感进行表示建模，并能大幅加快模型的学习速度；(4)基于多级语义融合的隐式情感表示学习框架通过融合要素级情感目标特征、句子级隐式情感表达特征和篇章级上下文语义背景特征，有效实现了对事实型隐式情感四种基本特性即情感背景一致性、情感目标相关性、语义背景相关性以及表达结构相似性的建模表示；(5)在情感目标T抽取及表示方面，本发明将情感目标中对象—属性实体间所蕴含的多种统计关联特征、句法结构关系特征与实体间的隐含语义关联特征融合于实体及实体间关系的表示学习过程中，构建了一个可自由组合各种关系特征的融合表示学习框架(FREERL)，并将其应用于隐式情感表达的情感目标识别与抽取中。

附图说明

[0056] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中，
[0057] 图1是本发明实施例基于融合特征表示的事实型隐式情感识别方法流程图；
[0058] 图2是本发明实施例基于融合特征表示的事实型隐式情感识别方法中基于句法语义关系嵌入多层卷积神经网络模型结构图；
[0059] 图3是本发明实施例基于融合特征表示的事实型隐式情感识别方法中的上下文背景语义融合表示学习框架图；
[0060] 图4是本发明实施例基于融合特征表示的事实型隐式情感识别方法中的基于融合特征的事实型隐式情感表示学习框架图；
[0061] 图5是本发明实施例基于融合特征表示的事实型隐式情感识别方法中的基于情感袋的上下文显式情感要素抽取可视化结果；
[0062] 图6是本发明在事实型隐式情感识别任务上与经典算法结果对比图；
[0063] 图7是本发明在事实型隐式情感倾向性分类任务上与经典算法结果对比图(数据集1)；
[0064] 图8是本发明在事实型隐式情感倾向性分类任务上与经典算法结果对比图(数据集2)；
[0065] 图9是本发明在加入依存语法语义矩阵后，对模型学习的影响效果对比图；
[0066] 图10是根据本发明实施例的基于融合特征表示的事实型隐式情感识别系统结构图；
[0067] 图11是根据本发明实施例的基于融合特征表示的事实型隐式情感识别方法层次结构图；
[0068] 图12是根据本发明一个实施例的基于融合特征表示的事实型隐式情感识别方法流程图。

具体实施方式

[0069] 下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0070] 下面结合附图来描述本发明实施例的基于融合特征表示的事实型隐式情感识别方法和系统。
[0071] 根据本发明的一个实施例，如图1所示，该基于融合特征表示的事实型隐式情感识别方法包括以下步骤：
[0072] S1，使用显式情感词典筛选出文本中的显式情感句和候选隐式情感句，并对显式情感句和候选隐式情感句进行分词、词性标注和依存句法分析。
[0073] 其中，利用显式情感词典可将文本中的情感句分为隐式情感句和显式情感句，隐式情感句即不带显式情感词的句子，而隐式情感句中又分为事实型隐式情感句和非事实型隐式情感句，事实型隐式情感句即为不带情感词但可表达情感的句子，非事实型隐式情感句即为不带情感词也不表达情感的句子。例如，从公司到家只需五分钟，为事实型隐式情感句。我好开心，为显式情感句。学生正在考试，为非事实型隐式情感句。
[0074] S2，使用开放领域文本数据，预先训练所有词的词向量表示(word-embedding)。
[0075] 以如下文本数据(为汽车论坛一篇真实评论数据)为例：
[0076] g1五一节出游小雷子，油耗不错嘛！
[0077] g2百公里油耗大概7个。
[0078] g3动力够用，比1.4速腾要来的快多了。
[0079] g4前排座椅确实比较硬，软点就好了。
[0080] g5车子隔音在前排几乎听不到发动机声音。
[0081] g6总体感觉，和帕萨特迈腾在一个级别，有差距，但不是特别大，对得起价格。
[0082] 其中，上述文本数据共包含6个句子，分别标记为g1-g6。
[0083] 利用大规模公开的显式情感词典对句子进行筛选，筛选出其中不含有显式情感词的句子，这些句子中可能蕴含事实型隐式情感。经过筛选，g2、g5可作为候选隐式情感句，其余句子含有显式情感词，作为其上下文，并对对所有句子进行分词、词性标注、依存句法分析，以及利用大规模并利用大规模开放领域文本数据，预先训练所有词的词向量表示。
[0084] S3，根据依存句法分析获取候选隐式情感句的依存句法树；并将依存句法树中的作主语的名词作为隐式情感目标中对象词，将其余名词作为隐式情感目标中的候选属性词；并根据融合关系得分公式获取对象词和每个候选属性词之间的融合关系得分；并使用对象词的词向量和与其的融合关系得分最高且大于预设阈值的候选属性词的词向量均值作为候选隐式情感句的隐式情感目标表示T。
[0085] 另外，在每个候选属性词与对象词融合关系得分均小于等于预设阈值的情况下，隐式情感目标表示T直接表示为对象词的词向量。
[0086] 仍以上述文本数据为例，也就是说，对候选式隐式情感句g2和g5进行依存句法分析，根据依存句法分析的结果，取句子中做主语的名词作为情感目标中的对象词O，即g2中“油耗”、g5中“车子”，并取其余名词作为情感目标中属性词A，即g2中抽取出属性词“公里”、“7个”，g5中抽取出属性词“隔音”、“前排”、“发动机”、“声音”；接着使用融合关系公式计算g2、g5句子的对象词与每个属性词之间的融合关系得分。
[0087] 其中，通过融合关系得分公式 计算，g2句子中的对象词“油耗”与属性词“公里”之间的融合关系得分最高但小于预设阈值θ，此时，g2中的没有满足条件的属性词，将对象词“油耗”的词向量表示 作为g2句子的隐式情感目标T的表示，即
[0088] g5句子中的对象词“车子”与属性词“隔音”之间的融合关系得分最高且大于预设阈值θ，此时，将对象词“车子”的词向量表示 和属性词“隔音”的词向量表示的均值作为g5句子的隐式情感目标T的表示，即
[0089] 需要说明的是，在计算融合关系得分之前，需要预学习语言表达关系特征矩阵ML和语义结构关系表示向量r。
[0090] 其中，ML用于度量隐式情感目标对象和候选属性之间的语言特征关联程度，是基于句法关系特征的一种度量函数，并利用关系类型的概率度量对象-属性间的关系强度。
[0091] 另外，对于一组正确的情感目标搭配，即正确的对象词与属性词之间的搭配，也就是在数据集中出现的真实的对象-属性搭配，通过大规模的训练语料更可能学习得到一个稳定的关系向量r，r可以用于表示对象实体O和属性实体A之间的隐式结构关系，并使三者满足O+r≈A，其中，S(O,A)为正确的情感目标搭配集合。
[0092] 可以理解的是，正确的情感目标搭配为符合正常逻辑关系的搭配，例如“发动机、性能”等；错误的感情目标搭配举例为“汽车、妈妈”、“镜子、屏幕”。
[0093] 在学习到候选隐式情感句的情感目标表示T之后，学习候选隐式情感句的隐式情感表达E和显式情感句的显式情感表达F。
[0094] S4，根据依存句法分析获取候选隐式情感句的依存句法树、显式情感句的依存句法树；根据第一卷积操作公式对依存句法树上的所有固定深度为2的子树进行卷积操作，并根据第二卷积操作公式按照子树父节点词语在句子中的词序对卷积之后的子树进一步进行卷积操作；以获取候选隐式情感句的隐式情感表达E和显式情感句的显式情感表达F。
[0095] 图2为基于句法语义关系嵌入多层卷积神经网络模型结构图。如图2所示，在使用大规模情感词典筛选出不含有显式情感词的句子作为候选隐式情感句后，对候选隐式情感句和显式情感句进行预处理，主要包括分词、词性标注和依存句法分析，以及基于大规模文本数据的词向量表示预训练，并将句子处理成依存句法树后，使用第一卷积公式对该树上的所有固定深度为2的子树进行卷积操作，得到所
有子树的表示向量。
[0096] 需要说明的是，在卷积过程中，利用transR模型学习得到了依存语法关系对应的语义表示矩阵 并将其作为权重矩阵加入树形卷积过程中，进而进一步限定了名词主语的语义环境。
[0097] 也就是将对象实体O词向量映射到一个限定的语义环境空间中，比如，将实体“小明”通过语义映射为“做父亲的小明”、“做老师的小明”或者“做儿子的小明”等。
[0098] 在获取所有子树的表示向量之后，使用第二卷积公式y″＝f(WtMt(j：j+h-1)T+b)以树形卷积层的输出向量作为输入，按照子树父节点词语在句子中的词序对输入的子树特征进行卷积操作，以保留了句子的部分词序信息。
[0099] 接着对卷积后的各级表示进行池化操作，输入全连接层进行优化训练，以得到最优隐式情感表达的表示E和最优的显式情感表达F，其中，优化函数采用如下交叉熵函数：
[0100] 其中，P为依据数据标签，y为输出层softmax函数的输出。Softmax函数为[0101] 也就是说，仍以汽车论坛一篇真实评论数据为例，句子g1～g6可通过步骤S4的学习得到句子向量 将 作为候选隐式情感句的隐式情感表达的表示，即，将 作为显式情感句的显式情感表达的表示，
即 和
[0102] S5，在学习到最优隐式情感表达的表示E和最优的显式情感表达F后，使用第三卷积操作公式y″′＝f(mBMB(j：j+h-1)T+b)对显式情感表达F进行融合学习得到上下文情感语义背景表示B。
[0103] 图3为上下文背景语义融合表示学习框架图。如图3所示，将所有上下文中的显式情感句按照步骤S4表示为SK向量，输入第三卷积神经网络模型卷积层，经过池化层，融合为上下文情感语义背景表示B。
[0104] 也就是，将 和 的表示作为第三卷积神经网络模型的输入，融合学习得到上下文情感语义背景表示B。
[0105] 接着，对卷积后的各级表示进行池化操作，输入全连接层进行优化训练。在学习过程中，上下文显式情感背景极性分布DB中的信息以类别标签的形式嵌入到了语义背景B的表示中，以DB中的多数类的情感倾向作为其整体情感标签用于学习B，同样采用前文中提到的交叉熵函数作为损失函数进行优化，
[0106] 其中， yi为模型的输出，j为DB中的元素，Sj为每个显式情感句的情感倾向得分值。
[0107] 其中，DB为上下文显式情感背景极性分布，利用词语间的隐含搭配关系，设计了要素级情感搭配抽取方法，将显式情感的二元组表示<目标，评价>扩展为四元组表示<目标，转折，程度，评价>，构建了基于四元组表示的情感袋模型。具体步骤包括：
[0108] S51，构建基于词性搭配的情感要素四元组抽取模式。本发明设计了12种情感搭配抽取模式，从句子中自动抽取符合模式的四元组。情感搭配抽取模式如表1所示。
[0109] 其中，o、v、a、m、n分别表示目标词、动词、形容词、程度副词和否定副词。搭配窗口以目标词为基准向设置前后各3—5个窗口长度。
[0110] 表1情感搭配抽取模式
[0111]搭配模式 词窗口 搭配模式 词窗口
v+o 3 o+v 3
a+o 3 o+a 3
n+m+a+o 5 o+n+m+a 5
n+m+v+o 5 o+n+m+v 5
m+n+a+o 5 o+m+n+a 5
m+n+v+o 5 o+m+n+v 5
[0112] 仍以汽车论坛一篇真实评论数据为例，对上下文显式情感句g1、g3、g4、g6，抽取四元情感搭配，抽取过程见上文说明。抽取结果为(四元组中转折或程度缺省时标记为null)：g1：<雷子，null，null，不错>，<油耗，null，null，不错>；g3：<动力，null，null，够用>；g4：<座椅，null，比较，硬>；g6：<差距，不是，特别，大>，<价格，null，null，对得起>。
[0113] 其中，根据本发明的一个实施例，图5为基于情感袋的上下文显式情感要素抽取可视化结果。其为一篇关于汽车的文本，通过四元组情感袋模型抽取结果。
[0114] S52，对抽取出来的情感搭配四元组，进行筛选与冲突消解。消解规则如下：
[0115] S521，基于平均文档频率的搭配筛选。对于一些出现次数较少的词语组合，这类词语组合通常无法形成正确的情感语义，且由于其低频性容易使数据稀疏性增大。使用平均文档频率ADF用于过滤低频无效的的情感搭配，ADF定义为： N表示文档总数，df(Qi)为在语料库中出现的包含有该情感搭配的文档数。通过实验选择最佳ADF阈值为0.9E–4。
[0116] 例如，g1中<雷子，null，null，不错>因其平均文档频率过低被舍去。
[0117] S522，基于互信息的冲突消解。对于同一句子通过不同模式可以抽取出不同情感搭配而产生的冲突问题，在保留最长情感搭配的前提下，分别计算每个搭配中目标词与评价词间的互信息(Mutual Information)关联度，保留互信息值最大——即最可能成为正确组合的情感搭配。互信息值计算公式如下：
[0118]
[0119] 其中，O代表目标词，E代表评价词。
[0120] S53，情感搭配四元组极性判定。对于抽取出的情感搭配，本发明总结了大量汉语词汇搭配的语言特点，尤其是针对中性词情感词搭配和一些特定领域内词语的特殊用法，构建了一套基于规则的情感搭配倾向性计算方法，并以搭配的情感倾向性作为文本向量化表示的特征权重。情感判定算法如下表2中算法所示。
[0121] 表2搭配情感倾向判断算法
[0122]
[0123] 其中，Snp1表示相应变化趋势的词语集，例如表示大、高、长、硬、重、多等概念的形容词，Snp2对应的最高级形式词语集合例如表示大、高、长、硬、重、多等概念的形容词的比较级。Snn1表示相应变化趋势的词语集，例如表示小、低、短、软、轻、少等概念的形容词，Snn2表示对应的最高级形式词语集合例如表示小、低、短、软、轻、少等概念的形容词的比较级。Sr表示含有资源、金钱、时间等使用、消耗的意义的目标词。Sd表示含有瑕疵、缺陷、纰漏等意义的目标词。SO为其他目标词。S(*)为词对应的情感分值。
[0124] 其中，仍以汽车论坛一篇真实评论数据为例，g6：<差距，不是，特别，大>中，“差距”属于含有瑕疵、缺陷、纰漏等意义的目标词Sd，且“大”属于表示大、高、长、硬、重、多等概念的形容词、表示相应变化趋势的词语集Snp1。因此使用算法1.1中第5步公式计算s(<差距，不是，特别，大>)＝-3，变换到[-2,2]区间后取值s*(<差距，不是，特别，大>)＝-1.5。其余四元组按照算法1.1中第7步公式计算得到：s(<油耗，null，null，不错>)＝1,s(<动力，null，null，够用>)＝1,s(<座椅，null，比较，硬>)＝-1,s(<价格，null，null，对得起>)＝-1。
[0125] 需要说明的是，算法1.1中，S(*)的分值，也就是词对应的情感值是预先按照对应词-情感值表设定的。
[0126] S54，利用句子中抽取得到的情感搭配四元组，以其均值作为该句的情感倾向值。
[0127] 可以理解的是，各句子以抽取出的各四元组的得分之和作为该句总体倾向，大于0的为褒义，小于0的为贬义。即s(g1)＝s(g3)＝1，s(g4)＝-1，s(g6)＝-0.5。上下文显式情感分布可表示为一个6维向量(与篇章句子数相同，候选隐式情感句标记为0)，即DB＝(1,0,1,-1,0,-0.5)。
[0128] 也就是说，在对上下文语义背景表示B建立的CNN模型进行优化时，情感类别标签通过p＝max{∑jl(Sj)，0}进行计算。需要说明的是，上下文的类别标签是用来在训练过程中确定上下文语义背景整体的情感倾向的，如果标签为1，则表示上下文整体是个正面的情感倾向，这时上下文背景的表示输入到模型中时，模型要通过优化尽可能也输出1。如果为-1，则上下文是整体篇负面，模型通过优化要尽可能输出-1。即优化过程是要使得上下文背景表示向量输入到模型后，输出要尽可能与标签一致。这种情况下，上下文的表示向量本身就可以理解为带有上下文整体情感倾向的信息。
[0129] 由此，对候选隐式情感句g2和g5的三级特征表示为g2＝{T(g2),E(g2),B},g5＝{T(g5),E(g5),B}。
[0130] S6，根据多路卷积操作公式对T、E和B进行单一、两两组合或三者统一卷积融合，依次获取事实型隐式情感特征表示y1、y2和y3，并将获取的y1、y2和y3经过池化层，对经过池化层后的输出进行拼接得到事实型隐式情感句的多级语义融合表示[y1,y2,y3]。
[0131] 图4是基于融合特征的事实型隐式情感表示学习框架图。如图4所示，在获得隐式情感目标、隐式情感表达、上下文显式情感语义背景的表示后，本发明使用多路卷积神经网络模型，对各层级特征进行卷积融合，学习最终的事实型隐式情感特征表示。将各层级特征表示作为输入，在不同的特征组合下进行卷积融合，即全部3种特征融合、两两特征融合以及单一特征的卷积。多路卷积融合的方法可以有效保留局部单一特征和全局融合特征信息。将g2＝{T(g2),E(g2),B}，g2＝{T(g2),E(g2),B}中的各级特征进行多路卷积融合，经池化后分别得到融合表示y1-y3，其中，融合函数为：
[0132] y1＝f(WXXT+b)，X∈{B,T,E}，
[0133] y2＝f(WpPT+WqQT+b),P,Q∈{B,T,E},P≠Q，
[0134] y3＝f(WbBT+WeET+WtTT+b)。
[0135] 接着，将y1-y3进行拼接，得到g2、g5最终的融合特征表示，并输入到全连接层进行分类，并进行优化，优化函数为前文的交叉熵函数。
[0136] 其中，在对多路卷积神经网络模型进行优化时，g2的真实标签为非事实型隐式情感句，g5的标签为事实型隐式情感句。训练过程中，模型会依据g2、g5的表示给出其类别标签，若模型给出的标签与真实标签一致，则系统判定正确，没有损失，损失函数返回值为0，否则视为错误，损失函数返回值较大。需要说明的是，真实标签是提前标注好的，用于判断模型给出的结果是否正确。非事实型隐式情感句是只不含显式情感词，也不表达出主观情感倾向的文本。可以理解为事实型隐式情感的对立面。可以理解的是，模型根据所有数据上损失函数返回值的大小自动调整模型参数和数据表示，进行下一轮迭代，使得次轮迭代损失值减小，重复模型迭代优化过程，直到损失值趋于稳定或达到最大迭代次数，进而筛出事实型隐式情感句g5。
[0137] 另外，在训练出事实型隐式情感句之后，将训练数据去除非事实型隐式情感句，剩下的事实型隐式情感句划分为褒义事实型隐式情感和贬义事实型隐式情感，继续优化训练模型，进而判断事实型隐式情感句的情感倾向。
[0138] 其中，优化过程中，数据集按照14:1的比例随机划分为训练集和测试集。
[0139] 在对多路卷积神经网络模型优化之后，以此作为分类器，识别事实型隐式情感句的情感倾向，判断标签如下：
[0140] l＝softmax(W([y1,y2,y3]+b))
[0141] L为模型判断的标签， W为全连接层分类器权重，b为偏置项，y1-y3为多路卷积得到卷积后融合特征向量，[y1,y2,y3]表示y1-y3的向量拼接。
[0142] 需要说明的是，在模型学习过程中的一些参数设定和细节。
[0143] (1)模型的训练过程中，以上下文显式情感句作为训练数据进行训练，为使得模型训练更加精确，额外加入了20万条显式情感句一并进行训练。树形卷积层卷积窗口设定为深度为2的子树，子树序列卷积层卷积窗口设定为{3,5,7}，使用训练完成的模型对所有候选隐式情感句学习其句法语义关系嵌入表示。
[0144] (2)模型输入的数据切片(mini-batch)大小为200，最大迭代次数为300次。
[0145] (3)所有模型使用l2正则化，全连接层节点随机丢弃率(drop-out)设定为50％，优化过程使用梯度下降算法进行优化。
[0146] (4)情感目标、上下文显式情感语义背景、事实型隐式情感句的表示向量维度设置为150。
[0147] (5)多路CNN分类器全连接层节点随机丢弃率drop-out设定50％，分类器偏置项参数通过验证集进行选取。
[0148] (6)事实型隐式情感句识别过程分两步进行，首先识别句子是否是事实型隐式情感句。其次，对隐式情感句进行情感倾向性分类。
[0149] 图6为本发明在事实型隐式情感识别任务上的效果。实验数据来源包括汽车产品论坛和微博，其中微博数据主要涉及“乐视资本事件”、“奥运”、“雾霾”、“国考”、“春晚”等多个主题。为不失一般性，采用多次重复实验取结果平均值作为最终实验结果。实验结果显示，对于事实型隐式情感识别任务，本发明的识别效果普遍高于对比基线方法。结果表明：a)在事实型隐式情感句的表示中，词序信息是一个非常重要的特征；b)通过预先学习得到的语义关系矩阵代替随机产生的语义矩阵，可以为树形卷积学习过程提供准确的依存语义关系信息，尤其是在训练数据规模一般的时候可以有效提升模型学习的效果；c)情感目标特征、上下文情感语义背景特征对于事实型隐式情感的识别具有重要的意义。
[0150] 图7和8分别为本发明在事实型隐式情感倾向性分类任务中在两个数据集上的分类效果。为不失一般性，采用多次重复实验取结果平均值作为最终实验结果。实验显示，对于事实型隐式情感倾向性分类任务，本发明的分类效果普遍高于对比基线方法。结果分析表明情感目标特征、句法结构语义特征以及上下文情感语义背景特征同样在事实型隐式情感的倾向性分类中起到了非常重要的作用。
[0151] 其中，图6-8中，为验证模型的学习效果，将模型在测试集数据上给出的标签与真实标签进行对比，得到模型识别准确率等指标，对照组分别为NB(朴素贝叶斯分类器)，采样文档频率选择特征，括号内的600、800、1000是特征个数；context，直接用上下文情感多数类判断句子的情感倾向(只用于倾向性分类任务)；CNN，以词为基本单元的卷积神经网络模型；TBCNN基于树的卷积神经网络模型；ECM，以字为基本表示单元的卷积神经网络模型；SDTCNN(E)只考虑句子特征E的融合模型；SDTCNN(BE)只考虑句子特征E和上下文语义背景B的融合模型；SDTCNN(TE)只考虑句子特征E和要素级情感目标T的融合模型，均值下方括号数字为标准差。
[0152] 图9是在步骤S4的句子表示学习过程中，加入了依存语法语义矩阵作为卷积权重对模型学习的影响。在模型训练过程中，记录了加入依存语义矩阵和使用随机初始化卷积权重的模型迭代损失值，横坐标为迭代轮数，纵坐标为当前迭代轮次中的损失值。结果表明通过预学习依存语法语义矩阵，除了可以提升模型精度外，还可以有效加快模型迭代收敛的速度。说明依存语义矩阵中蕴含的关系信息对基于依存树的卷积模型具有非常重要的影响。
[0153] 需要说明的是，本实施例中，本发明的基于融合特征表示的事实型隐式情感识别方法的实验在山西大学计算机与信息技术学院集群计算机上完成，该集群由5台高性能计算机组成计算和管理节点，网络连接采用千兆以太网和infiniband2.5G网。每个节点配置八核CPU和128GB内存，CPU为intel xeon E3-1230V53.4GMhz主频，并配有两块NVIDIA GTX1080高性能图形卡，可以进行大规模矩阵运算和深度学习模型训练。
[0154] 结合图11-12所示，根据本发明的一个实施例，该方法的具体步骤如下：
[0155] A、将情感目标中对象—属性实体间所蕴含的多种统计关联特征、句法结构关系特征与实体间的隐含语义关联特征融合并用于抽取情感目标；
[0156] B、从文本中自动抽取<目标—转折—程度—评价>四元搭配构建要素级情感袋模型，并构建以情感倾向性为权值的文本空间向量浅层语义表示，对上下文显式情感语义背景中的句子进行情感分类；
[0157] C、使用基于句法语义关系嵌入多层卷积神经网络模型学习句子表示；
[0158] D、使用C中基于句法语义关系嵌入多层卷积神经网络模型学习其表示，并对所有上下文中的显式情感句表示使用卷积神经网络模型对其进行融合学习得到整个上下文情感语义背景的表示；
[0159] E、本发明使用多路卷积神经网络模型，对各层级特征进行卷积融合，学习最终的事实型隐式情感特征表示。将多路融合特征经过池化层后的输出进行拼接得到最终的多级语义融合表示，并利用该模型作为分类器用于对事实型隐式情感句进行识别和情感倾向分类。
[0160] 由此，该方法能够有效识别不含有显式情感词但表达了主观情感倾向的事实型隐式情感句，并能对其情感倾向进行分类。本发明的创新点在于面向事实型隐式情感分析，提出了一套系统性的识别和分析方法。该方法有针对性地构造了情感目标、隐式情感表达、上下文语义背景三级特征，以实现对情感背景一致性、情感目标相关性、语义背景相关性以及表达结构相似性的表示建模。通过在不同数据集上的实验表明，本发明在隐式情感句识别任务上分别取得74.5％和70.9％的识别F1值，在情感倾向性判别任务上精确率分别为78.3％和80.5％。相比较其他对比模型，提出的方法在识别结果和学习速度上均有良好的提升效果。
[0161] 综上，根据本发明实施例提出的基于融合特征表示的事实型隐式情感识别方法，可通过融合要素级的情感目标表示T、句子级的事实型隐式情感表达E以及篇章级的上下文显式情感语义背景表示B得到事实型隐式情感句的特征表示，其提出的方法在事实型隐式情感句识别任务上最高取得了74.5％识别F1值，在隐式情感倾向性判别任务上精确率最高可达80.5％，并且提出的方法在模型学习速度上均有良好的提升效果。
[0162] 图10是根据本发明实施例提出的基于融合特征表示的事实型隐式情感识别系统，如图10所示，包括：文本预处理模块1，文本预处理模块用于使用显式情感词典筛选出文本中的显式情感句和候选隐式情感句，并对显式情感句和候选隐式情感句进行分词、词性标注和依存句法分析，以及使用开放领域文本数据，预先训练所有词的词向量表示；第一提取模块2，第一获取模块2用于根据依存句法树中的作主语的名词和不作主语的名词之间的融合关系得分获取隐式情感目标表示T；第二提取模块3，第二获取模块3用于通过建立的第一卷积神经网络对依存句法树上的所有固定深度为2的子树进行卷积操作，并通过建立的第二卷积神经网络按照子树父节点词语在句子中的词序对卷积之后的子树进一步进行卷积操作，以获取隐式情感句的隐式情感表达E和显式情感句的显式情感表达F；第三提取模块4，第三获取模块4用于通过建立的第三卷积神经网络获取的所有显式情感句的显式情感表达F进行融合学习，获取上下文显式情感语义背景表示B；融合模块5，融合模块5用于通过建立的多路卷积神经网络对T、E和B进行单一、两两组合或三者统一卷积融合，依次获取事实型隐式情感特征表示y1、y2和y3，并将获取的y1、y2和y3经过池化层，对经过池化层后的输出进行拼接得到事实型隐式情感句的多级语义融合表示[y1,y2,y3]。
[0163] 综上，根据本发明实施例提出的基于融合特征表示的事实型隐式情感识别系统，可通过融合要素级的情感目标表示T、句子级的事实型隐式情感表达E以及篇章级的上下文显式情感语义背景表示B得到事实型隐式情感句的特征表示，其提出的方法在事实型隐式情感句识别任务上最高取得了74.5％识别F1值，在隐式情感倾向性判别任务上精确率最高可达80.5％，并且提出的方法在模型学习速度上有良好的提升效果。
[0164] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
相关专利内容
标题 发布/更新时间 阅读量
一种文章生成的方法和装置-专利编号CN110688857A 2020-05-11 630
毛里塔尼亚海域头足类资源丰度预测方法-专利编号CN107688874A 2020-05-14 319
一种双面三维立体异形纪念章的制备方法-专利编号CN103495837A 2020-05-13 546
手机键盘的英语字母排列-专利编号CN102884778A 2020-05-14 565
篇章翻译方法和装置-专利编号CN111027333A 2020-05-11 692
安全储存系统以及用于安全储存的方法-专利编号CN107797827A 2020-05-13 959
控制“SIP呼叫转移”功能特征的方法-专利编号CN101248641A 2020-05-15 318
一种文章生成的方法和装置-专利编号CN110705310A 2020-05-12 969
摩洛哥海域头足类资源丰度预测方法-专利编号CN107403243A 2020-05-15 885
多印章库及用印机-专利编号CN208730589U 2020-05-12 355
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据，专利查询、专利分析。

电话：13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧，开发出来的一款特色产品，也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品，极大的减少了用户重复工作量，提升工作效率，降低无效或侵权分析的准入门槛。

立即试用

第I章热门专利
热门文章

IPRDB

最新中国发明专利 最新美国发明专利 技术领域 专利库 专利分类库 国际专利分类库

热门服务

会员版试用 API 数据接口 找代理 知嘟嘟专利交易 排行榜 大学排行榜 专利百科

关于我们

平台介绍 战略合作 网站地图

友情链接

知嘟嘟专利交易 国家知识产权局 中国商标网

联系方式


©2019-2023 上海吉码数字技术有限公司 版权所有，并保留所有权利 沪ICP备20016256号-6 沪公网安备31011702005475号