一种面向评估任务的专家匹配效度测算方法

摘要

一种面向评估任务的专家匹配效度测算方法，利用标签提取待评估任务的特征向量；同时基于现有工作方向、历史工作经验、教育履历和代表性成果构建评估专家的特征画像，构建效度测算的模型，测算评估专家匹配任务的效度。本发明的效度值综合考虑专家的多种因素构建评估专家的特征画像，能够更为综合的体现专家匹配度；利用同一专业树对专业匹配度进行计算，匹配精度高，通过多层级的专业分类树提升“专家‑任务”匹配性的专业区分度；本发明所涉及的匹配效度的计算便于应用和执行，有较强的适用性，可以用来作为专家排序、分组、选择组长等的依据，也可以作为评估结果分析中权重系数或修正系数的依据。

权利要求

1.一种面向评估任务的专家匹配效度测算方法，其特征在于，包括如下步骤：基于特征向量的评估任务表示步骤S110：

对评估任务进行全面合理归纳的基础上，提取出能够代表评估任务特征的标签，按照重要性和符合度进行排序，并赋予权重，其中有m个特征标签的评估任务，其特征向量记为：式中，pj代表评估任务的第j项特征，λj表示评估任务的第j项特征pj的权重值，评估专家的多维特征画像描述步骤S120：基于专家在长期的工作和学习过程中逐步积累和形成的专业知识、工作经验、教育背景的特征信息，表征专家特征画像的向量K，其中向量K能够用四维元组结构来表示：其中，S表示专家当前工作领域的特征向量，由专家当前的工作岗位的专业方向、职务职称和任职年限的三维特征构成；

E表示专家以往工作经验的特征向量，由专家以往工作的专业方向、职务职称，任职年限，以及岗位类别的四维特征构成；

T表示专家教育背景的特征向量，由专家所学专业方向、院校等级和教育层级的三维特征构成；

Y表示专家工作业绩的特征向量，由专家取得的代表性成果所属专业方向、成果等级、个人排名的三维特征构成；

专家匹配任务的效度值计算步骤S130:

构建专家匹配效度计算模型，根据在步骤S110评估任务特征标签P中的每一特征标签项pj分别与步骤S120中得到的专家特征画像的四个维度(S,E,T,Y)进行效度值测算，得到专家针对该任务特征标签的单个效度值Vj，累加所有标签的单个效度值得到专家针对任务的总效度值V，其中，λj表示评估任务的第j项特征pj的权重值， 单个效度值Vj包括四个方面：专业领域分效度V(S,pj)用VSj表示，工作经验分效度V(E,pj)用VEj表示，教育背景分效度V(T,pj)用VTj表示，代表性成果分效度V(Y,pj)用VYj表示，Vj＝α1VSj+α2VEj+α3VTj+α4VYj      (4)其中，α1、α2、α3、α4为各分效度的权重系数；

其中，在专家匹配任务的效度值计算步骤S130中，专业方向的匹配度，包括现在工作中的专业领域分效度VSj中的专业匹配度Lj、工作经验分效度VEj中以往工作方向的专业匹配度LEj、教育背景分效度VTj的专业匹配度Zj，以及代表性成果分效度VYj中的专业匹配度Fj，均使用专业分类树的方法来计算，在同一专业分类树中同时确认所评估任务的特征标签，和专家的特征标签，通过计算两者的距离计算得到上述的专业匹配度，具体的计算方法为：disMax表示专业分类树中最大节点距离；disReal表示专家标签与任务标签的实际距离；dis为最底层级节点和次底层级节点之间的距离值，并规定作为所有两个相邻结点距离值的基数；c为与层级有关的系数，在公式(12)中，规定最低层级的系数为1，上一层极的系数为2，以此类推；first表示最底层结点的首个结点，end表示与首个结点距离最远的结点，分子的连加号表示从首个结点到最远结点所经历路径的距离之和；initial为标识专家特征的结点，final为标识任务特征的结点，分母的连加号表示从专家特征结点到任务特征结点所经历路径的距离之和。

2.根据权利要求1所述的专家匹配效度测算方法，其特征在于：在基于特征向量的评估任务表示步骤S110中，在提取出能够代表评估任务特征的标签时通过如下三种途径获取：一是按照评估任务的内容特点直接总结评估任务特征；二是从评估任务概述、评估目的、评估要求中抽取任务特征；三是从最具代表性的评估指标中提取评估任务特征。

3.根据权利要求1所述的专家匹配效度测算方法，其特征在于：在专家匹配任务的效度值计算步骤S130中，

专业领域分效度VSj具体为：

专业领域分效度测算主要考虑专家当前工作岗位的专业匹配度、专业权威度、任职时长的三个要素，表示为：VSj＝Lj×Gj×Dj          (5)专业匹配度Lj，即评估任务特征标签与专家现任职岗位所属专业方向的匹配程度，专业方向越接近，匹配度就越高；

专业权威度Gj，用专家现所在单位的层级以及专家的职务职称表示，具体表达式为：Gj＝CWj+CAj          (6)其中，CWj表示单位层级的权威度，CAj表示个人职级的权威度；

任职时长效度Dj，用专家在其职位上的任职年限来表示，具体计算模型如下：Dj＝log2(T+1)           (7)其中T为专家在其职务上的任职年限，单位：年。

4.根据权利要求3所述的专家匹配效度测算方法，其特征在于：在专家匹配任务的效度值计算步骤S130中，

工作经验分效度VEj具体为：

工作经验分效度的表达式为：

在公式(8)中用LE、GE和DE分别表示以往工作的专业匹配度、职位权威度和任职时长效度，其计算模型分别与专业领域分效度VSj中的专业匹配度、专业权威度和任职时长效度相同，其中，s表示在专家以往的工作中，从事的专业领域数目，k表示专家在同一个专业领域中职位的数目，任职岗位类型复合度AEj，表示在不同岗位类型、职位类型的任职经验。

5.根据权利要求4所述的专家匹配效度测算方法，其特征在于：在专家匹配任务的效度值计算步骤S130中，

教育背景分效度VTj具体为：

主要考虑所学专业方向、院校等级和教育层级的三个因素，表示为：其中，n为接受学历教育的阶段数，

专业匹配度Zj，用于衡量评估任务特征标签与专家的学历教育专业方向的接近程度；

院校等级效度Bj，即专家完成学历教育的学校等级；

教育层级效度Hj，即专家学历教育的层次。

6.根据权利要求5所述的专家匹配效度测算方法，其特征在于：在专家匹配任务的效度值计算步骤S130中，

代表性成果分效度VYj具体为：

代表性成果分效度VYj由专家取得的代表性成果所属专业方向、成果等级、个人排名的三维特征构成，其表达式为：其中，r为专家获得代表性奖项的数量；

专业匹配度Fj，用于衡量评估任务特征标签与专家代表性成果的专业方向的接近程度；

奖励层级效度Cj，表示成果的奖励等级；

专家排名效度Mj，表示专家在该奖励中的排名。

7.根据权利要求6所述的专家匹配效度测算方法，其特征在于：所述专家匹配效度计算模型中的计算公式为：

专家与任务匹配的总效度值计算模型为：

8.根据权利要求6所述的专家匹配效度测算方法，其特征在于：在基于特征向量的评估任务表示步骤S110和专家匹配任务的效度值计算步骤S130中，使用同一专业分类树，并且采用层级多的专业分类树能够相比与层级低的专业分类树更好的提升了“专家‑任务”匹配性的专业区分度。

9.根据权利要求6所述的专家匹配效度测算方法，其特征在于：对于除了专业匹配度以外的其他匹配度的计算，利用机器学习的方法获得。

说明书

一种面向评估任务的专家匹配效度测算方法

技术领域

[0001] 本发明涉及评估测算，具体的，涉及一种对评估任务所需要的专家进行匹配效度测算的方法。

背景技术

[0002] 评估方法按类型划分包括定量评估和定性评估两大类。定量评估虽然能够用数据说话，用数学方法做支撑，形式上也更加科学精确，但由于评估问题的复杂性，很多评估问题是难以用可量化的因素或指标来表示的，因此定性定量相结合的评估手段是评估复杂任务必不可少的手段。专家打分评估是其中的典型表现形式。

[0003] 专家打分是基于专家判断的评估方式，评估结果会受评估专家专业知识、工作经验、教育背景等多方面因素的影响。因此能否为评估任务匹配合适的专家，是决定评估结果准确性和可信度的关键。

[0004] 因此，如何基于专家与任务的相关信息，寻找到评估任务与专家匹配度最佳的专家成为现有技术亟需解决的技术问题。

发明内容

[0005] 本发明的目的在于提出一种面向评估任务的专家匹配效度测算方法，通过构建效度测算模型，从现有工作方向、历史工作经验、教育履历和代表性成果四个维度量化考察了专家与任务的匹配度，为专家的遴选，或者也可以作为评估结果分析中，确定权重系数或修正系数的依据。

[0006] 为达此目的，本发明采用以下技术方案：

[0007] 一种面向评估任务的专家匹配效度测算方法，其特征在于，包括如下步骤：

[0008] 基于特征向量的评估任务表示步骤S110：

[0009] 对评估任务进行全面合理归纳的基础上，提取出能够代表评估任务特征的标签，按照重要性和符合度进行排序，并赋予权重，其中有m个特征标签的评估任务，其特征向量记为：

[0010]

[0011] 式中，pj代表评估任务的第j项特征，λj表示评估任务的第j项特征pj的权重值，[0012] 评估专家的多维特征画像描述步骤S120：

[0013] 基于专家在长期的工作和学习过程中逐步积累和形成的专业知识、工作经验、教育背景的特征信息，表征专家特征画像的向量K，其中向量K能够用四维元组结构来表示：

[0014]

[0015] 其中，S表示专家当前工作领域的特征向量，由专家当前的工作岗位的专业方向、职务职称和任职年限的三维特征构成；

[0016] E表示专家以往工作经验的特征向量，由专家以往工作的专业方向、职务职称，任职年限，以及岗位类别的四维特征构成；

[0017] T表示专家教育背景的特征向量，由专家所学专业方向、院校等级和教育层级的三维特征构成；

[0018] Y表示专家工作业绩的特征向量，由专家取得的代表性成果所属专业方向、成果等级、个人排名的三维特征构成；

[0019] 专家匹配任务的效度值计算步骤S130:

[0020] 构建专家匹配效度计算模型，根据在步骤S110评估任务特征标签P中的每一特征标签项pj分别与步骤S120中得到的专家特征画像的四个维度(S，E，T,Y)进行效度值测算，得到专家针对该任务特征标签的单个效度值Vj，累加所有标签的单个效度值得到专家针对任务的总效度值V，

[0021]

[0022] 其中，λj表示评估任务的第j项特征pj的权重值， 单个效度值Vj包括四个方面：专业领域分效度V(S，pj)用VSj表示，工作经验分效度V(E，pj)用VEj表示，教育背景分效度V(T，pj)用VTj表示，代表性成果分效度V(Y,pj)用VYj表示，

[0023] Vj＝α1VSj+α2VEj+α3VTj+α4VYj    (4)

[0024] 其中，α1、α2、α3、α4为各分效度的权重系数。

[0025] 可选的，在基于特征向量的评估任务表示步骤S110中，在提取出能够代表评估任务特征的标签时通过如下三种途径获取：

[0026] 一是按照评估任务的内容特点直接总结评估任务特征；二是从评估任务概述、评估目的、评估要求中抽取任务特征；三是从最具代表性的评估指标中提取评估任务特征。

[0027] 可选的，在专家匹配任务的效度值计算步骤S130中，

[0028] 专业领域分效度VSj具体为：

[0029] 专业领域分效度测算主要考虑专家当前工作岗位的专业匹配度、专业权威度、任职时长的三个要素，表示为：

[0030] VSj＝Lj×Gj×Dj    (5)

[0031] 专业匹配度Lj，即评估任务特征标签与专家现任职岗位所属专业方向的匹配程度，专业方向越接近，匹配度就越高；

[0032] 专业权威度Gj，用专家现所在单位的层级以及专家的职务职称表示，具体表达式为：

[0033] Gj＝CWj+CAj          (6)

[0034] 其中，CWj表示单位层级的权威度，CAj表示个人职级的权威度；

[0035] 任职时长效度Dj，用专家在该职位上的任职年限来表示，具体计算模型如下：

[0036] Dj＝log2(T+1)           (7)

[0037] 其中T为专家在该职务上的任职年限，单位：年。

[0038] 可选的，在专家匹配任务的效度值计算步骤S130中，

[0039] 工作经验分效度VEj具体为：

[0040] 工作经验分效度的表达式为：

[0041]

[0042] 在公式(8)中用LE、GE和DE分别表示以往工作的专业匹配度、职位权威度和任职时长效度，其计算模型分别与专业领域分效度VSj中的专业匹配度、专业权威度和任职时长效度相同，其中，s表示在专家以往的工作中，从事的专业领域数目，k表示专家在同一个专业领域中职位的数目，

[0043] 任职岗位类型复合度AEj，表示在不同岗位类型、职位类型的任职经验。

[0044] 可选的，在专家匹配任务的效度值计算步骤S130中，

[0045] 教育背景分效度VTj具体为：

[0046] 主要考虑所学专业方向、院校等级和教育层级的三个因素，表示为：

[0047]

[0048] 其中，n为接受学历教育的阶段数，

[0049] 专业匹配度Zj，用于衡量评估任务特征标签与专家的学历教育专业方向的接近程度；

[0050] 院校等级效度Bj，即专家完成学历教育的学校等级；

[0051] 教育层级效度Hj，即专家学历教育的层次。

[0052] 可选的，在专家匹配任务的效度值计算步骤S130中，

[0053] 代表性成果分效度VYj具体为：

[0054] 代表性成果分效度VYj由专家取得的代表性成果所属专业方向、成果等级、个人排名的三维特征构成，其表达式为：

[0055]

[0056] 其中，r为专家获得代表性奖项的数量；

[0057] 专业匹配度Fj，用于衡量评估任务特征标签与专家代表性成果的专业方向的接近程度；

[0058] 奖励层级效度Cj，表示成果的奖励等级；

[0059] 专家排名效度Mj，表示专家在该奖励中的排名。

[0060] 可选的，所述专家匹配效度计算模型中的计算公式为：

[0061] 专家与任务匹配的总效度值计算模型为：

[0062]

[0063] 可选的，在专家匹配任务的效度值计算步骤S130中，

[0064] 专业方向的匹配度，包括现在工作中的专业领域分效度VSj中的专业匹配度Lj、工作经验分效度VEj中以往工作方向的专业匹配度LEj、教育背景分效度VTj的专业匹配度Zj，以及代表性成果分效度VYj中的专业匹配度Fj，均使用专业分类树的方法来计算，在同一专业分类树中同时确认所评估任务的特征标签，和专家的特征标签，通过计算两者的距离计算得到上述的专业匹配度，具体的计算方法为：

[0065]

[0066] 可选的，在基于特征向量的评估任务表示步骤S110和专家匹配任务的效度值计算步骤S130中，使用同一专业分类树。对于专业分类树的层级数并没有特殊要求，并且采用层级多的专业分类树能够相比与层级低的专业分类树更好的提升了“专家‑任务”匹配性的专业区分度。

[0067] 可选的，对于除了专业匹配度以外的其他匹配度的计算，利用机器学习的方法获得。

[0068] 因此，本发明具有如下的优点：

[0069] (1)效度值并不完全以专业匹配度为导向，综合考虑专家的多种因素，包括现有工作方向、历史工作经验、教育履历和代表性成果构建评估专家的特征画像，能够更为综合的体现专家匹配度。

[0070] (2)利用同一专业树对专业匹配度进行计算，匹配精度高，有利于对于不同的专业领域做出有效区分，通过多层级的专业分类树提升“专家‑任务”匹配性的专业区分度。

[0071] (3)本发明所计算的匹配效度的计算可以用来作为专家排序、分组、选择组长等的依据，也可以作为评估结果分析中，确定权重系数或修正系数的依据。

附图说明

[0072] 图1是根据本发明具体实施例的面向评估任务的专家匹配效度测算方法的流程图；

[0073] 图2是根据本发明具体实施例的面向评估任务的专家效度计算模型的示意图；

[0074] 图3是根据本发明具体实施例的面向评估任务的专家的各种专业方向的匹配度测算方法的专业分类树的结构示意图；

[0075] 图4(a)是根据本发明具体实施例的5层专业分类树下，专业匹配度变化趋势；

[0076] 图4(b)是根据本发明具体实施例的6层专业分类树下，专业匹配度变化趋势。

具体实施方式

[0077] 下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

[0078] 本发明主要在于：利用标签提取待评估任务的特征向量；同时基于现有工作方向、历史工作经验、教育履历和代表性成果构建评估专家的特征画像，构建效度测算的模型，测算评估专家匹配任务的效度。该效度的计算可以用来作为专家排序、分组、选择组长等的依据，也可以作为评估结果分析中权重系数或修正系数的依据。

[0079] 参见图1，示出了根据本发明具体实施例的面向评估任务的专家匹配效度测算方法的流程图，包括如下步骤：

[0080] 基于特征向量的评估任务表示步骤S110：

[0081] 对评估任务进行全面合理归纳的基础上，提取出能够代表评估任务特征的标签，按照重要性和符合度进行排序，并赋予权重，其中有m个特征标签的评估任务，其特征向量记为：

[0082]

[0083] 式中，pj代表评估任务的第j项特征，λj表示评估任务的第j项特征pj的权重值，[0084] 具体的，在获取评估任务特征并提取标签时通过如下三种途径获取：一是按照评估任务的内容特点直接总结评估任务特征；二是从评估任务概述、评估目的、评估要求中抽取任务特征；三是从最具代表性的评估指标(主要从一二级指标)中提取评估任务特征。

[0085] 评估任务特征有两种表示方式，一是专业领域表示法，就是用评估任务所属的专业领域表示任务特征。该方法的优点是评估任务特征相对规范和收敛，便于后续与专家专业经验的比较测算，缺点是任务特征只能限定于专业分类树内容；二是关键词表示法，就是总体把握评估任务内涵和要求，概括出若干主题词作为其特征标签。该方法的优点是评估任务特征标签设定较为灵活和开放，缺点是特征标签与专家属性进行效度匹配的算法难度较大。

[0086] 从技术成熟度和可靠性的角度考虑，本发明采用专业分类树为依据为任务标记特征。由于目前在专业分类方面没有权威统一的分类树，因此在面向具体任务时，需要根据实际情况选择合适且权威的分类树。在本发明中，在描绘任务特征标签、专家特征画像时需使用同一分类树，但分类树的选择并不影响本效度测算方法的有效性。

[0087] 评估专家的多维特征画像描述步骤S120：

[0088] 基于专家在长期的工作和学习过程中逐步积累和形成的专业知识、工作经验、教育背景的特征信息，表征专家特征画像的向量K，其中向量K能够用四维元组结构来表示：

[0089]

[0090] 其中，S表示专家当前工作领域的特征向量，由专家当前的工作岗位的专业方向、职务职称和任职年限的三维特征构成；

[0091] E表示专家以往工作经验的特征向量，由专家以往工作的专业方向、职务职称，任职年限，以及岗位类别的四维特征构成；

[0092] T表示专家教育背景的特征向量，由专家所学专业方向、院校等级和教育层级的三维特征构成；

[0093] Y表示专家工作业绩的特征向量，由专家取得的代表性成果所属专业方向、成果等级、个人排名的三维特征构成。

[0094] 在本步骤中得到专家特征画像的四个维度可以用于专家效度值的计算。

[0095] 专家匹配任务的效度值计算步骤S130:

[0096] 构建专家匹配效度计算模型，根据在步骤S110评估任务特征标签P中的每一特征标签项pj分别与步骤S120中得到的专家特征画像的四个维度(S,E,T,Y)进行效度值测算，得到专家针对该任务特征标签的单个效度值Vj，累加所有标签的单个效度值得到专家针对任务的总效度值V，

[0097]

[0098] 其中，λj表示评估任务的第j项特征pj的权重值， 单个效度值Vj包括四个方面：专业领域分效度V(S,pj)用VSj表示，工作经验分效度V(E,pj)用VEj表示，教育背景分效度V(T,pj)用VTj表示，代表性成果分效度V(Y,pj)用VYj表示。因此分效度值Vj：

[0099] Vj＝α1VSj+α2VEj+α3VTj+α4VYj              (4)

[0100] 其中，α1、α2、α3、α4为各分效度的权重系数。

[0101] 在本发明中，各分效度的权重系数，可以由评估任务的组织者或专家依据评估目标、应用场景等实际情况灵活设定，既可以是等权，也可以依据各分量的重要性设定。

[0102] 各分效度的计算方法通过专家特征画像的四个维度(S,E,T,Y)分别进行效度值测算得到。

[0103] 在一个可选的实施例中，在组成专家特征画像的四维元组中，不同的元组用不同的特征向量信息表征，因此需要构建不同的测算模型计算分效度。

[0104] (1)专业领域分效度VSj

[0105] 专业领域分效度测算主要考虑专家当前工作岗位的专业匹配度、专业权威度、任职时长的三个要素，表示为：

[0106] VSj＝Lj×Gj×Dj           (5)

[0107] 专业匹配度Lj，即评估任务特征标签与专家现任职岗位所属专业方向的匹配程度，专业方向越接近，匹配度就越高。

[0108] 专业权威度Gj，用专家现所在单位的层级以及专家的职务职称表示。专家所在的单位在本领域中的层级越高，权威度值越高；专家在任职岗位的职级越高，对评估任务具备越高的权威度，具体表达式为：

[0109] Gj＝CWj+CAj           (6)

[0110] 其中，CWj表示单位层级的权威度，CAj表示个人职级的权威度。

[0111] 任职时长效度Dj，用专家在该职位上的任职年限来表示，在计算该项分值时，应当考虑任职时长的“边际效应递减”，即随着专家工作时长的增加，其任职时长效度值的增长速度将降低，具体计算模型如下：

[0112] Dj＝log2(T+1)     (7)

[0113] 其中T为专家在该职务上的任职年限，单位：年。

[0114] (2)工作经验分效度VEj

[0115] 工作经验分效度主要考虑专家以往的工作经验与当前任务的匹配效度，与专业领域分效度类似，这里同样需要考虑专家以往工作岗位的专业匹配度、专业权威度和任职时长。在此基础上，还要考虑专家在不同岗位上的工作经验所带来的知识面的扩展，其表达式为：

[0116]

[0117] 为了与专业领域分效度区别，在公式(8)中用LE、GE和DE分别表示以往工作的专业匹配度、职位权威度和任职时长效度，其计算模型分别与与专业领域分效度中的各项模型相同，即分别与专业领域分效度VSj中的专业匹配度、专业权威度和任职时长效度相同，但考虑到专家在以往工作中可能存在变更专业方向、职位变动等情况，在计算时要在每一个阶段中分别计算效度值，s表示在专家以往的工作中，从事的专业领域数目，k表示专家在同一个专业领域中职位的数目。

[0118] 任职岗位类型复合度AEj，主要考虑在不同岗位类型、职位类型的任职经验，如管理岗、技术岗等。所从事的岗位类型越多，专业方向越多，该项分值越高。任职岗位类型复合度AEj用岗位类别来得到。

[0119] 举例说明，某专家参加工作20年，现任某中心主任已5年，则这5年属于专业领域分效度的计算范畴；过去15年属于工作经验分效度的计算范畴。在过去15年中，前10年从事军事海洋领域研究，后5年从事军事运筹领域研究，则其从事的专业方向的数目为s＝2；而在从事军事海洋领域研究的前10年中，从助研，到副研究员，又当了中心的主任，则职位的数目为k＝3。

[0120] (3)教育背景分效度VTj

[0121] 教育背景分效度主要考虑所学专业方向、院校等级和教育层级的三个因素，表示为：

[0122]

[0123] 其中，n为接受学历教育的阶段数，例如某专家先后接受过本科、硕士研究生、博士研究生的学历教育，则n＝3。

[0124] 专业匹配度Zj，用于衡量评估任务特征标签与专家的学历教育专业方向的接近程度。专业越接近，知识关联度就越高。

[0125] 院校等级效度Bj，就是专家完成学历教育的学校等级。等级越高，效度值越高。该效度值为不同阶段学历教育时，学校等级分值之和。

[0126] 教育层级效度Hj，就是专家学历教育的层次；

[0127] (4)代表性成果分效度VYj

[0128] 代表性成果分效度VYj由专家取得的代表性成果所属专业方向、成果等级、个人排名的三维特征构成，其表达式为：

[0129]

[0130] 其中，r为专家获得代表性奖项的数量。

[0131] 专业匹配度Fj，用于衡量评估任务特征标签与专家代表性成果的专业方向的接近程度；奖励层级效度Cj，表示成果的奖励等级，如国家级、军队级、省部级等；专家排名效度Mj，表示专家在该奖励中的排名。

[0132] 参见图2，示出了根据本发明具体实施例的面向评估任务的专家效度计算模型的示意图，将效度计算模型中的公式(1)—(10)整理得专家与任务匹配的总效度值计算模型为：

[0133]

[0134] 因此，本发明中以专业领域作为特征标签，将评估任务与评估专家进行匹配的一个主要工作就是专业匹配。同时，在本发明中，专家匹配任务的效度值考虑多种因素后的综合评价，专业匹配度只是综合评价中需要考虑的因素之一，效度值并不完全以专业匹配度为导向，而是综合评价较高的专家。

[0135] 在面向具体的评估任务时，如果对各专业领域的专家人数有明确要求，可按领域分别组织专家效度测评，然后根据效度值选定所需人数。评估任务组织形式的不同，并不影响本模型和效度测算方法的应用。

[0136] 对于效度计算模型中各个分效度值计算，可以通过如下的方式进行考虑。

[0137] 对于分效度中涉及专业方向的匹配度，包括现在工作中的专业领域分效度VSj中的专业匹配度Lj、工作经验分效度VEj中以往工作方向的专业匹配度LEj、教育背景分效度VTj的专业匹配度Zj，以及代表性成果分效度VYj中的专业匹配度Fj，均使用专业分类树的方法来计算，在同一专业分类树中同时确认所评估任务的特征标签，和专家的特征标签，通过计算两者的距离计算得到上述的各种专业匹配度。

[0138] 参见图3，示出了专业分类树具体形式。专业分类树具有层次结构的特点，可以借鉴基于语义理解的文本相似度计算的思路。

[0139] 在自然语言处理方法中，文本相似度的计算方法主要分为两大类：一类是基于统计学的计算方法，另一类是基于语义理解的计算方法。与基于统计学的计算方法不同，基于语义理解的文本相似度计算方法不需要大规模的语料库，也不需要长时间和大量的训练，而是通过计算语义结构树中两词语之间的距离来计算词语的相似度。因此，一般会用到一些具有层次结构关系的语义词典，如WordNet、HowNet、知网、同义词词林等。由于专业分类树同样具有层次结构，在借鉴上述语义相似度计算方法的基础上，提出专业匹配度计算方法如下：

[0140] 在如图3中的专业分类树形结构中，任何两个结点之间有且只有一条路径，这条路径的长度就可以作为这两个概念的语义距离的一种度量。在计算路径长度时，还应考虑到一些影响因素，如层次树的深度，即路径长度相同的两个结点，位于层次的越高层，表明结点分属更高一层的不同大类，因此其语义距离越大。

[0141] 因此，上述专业匹配度的计算为，

[0142]

[0143] 其中，disMax表示专业分类树中最大节点距离；disReal表示专家标签与任务标签的实际距离；dis为最底层级节点和次底层级节点之间的距离值，并规定作为所有两个相邻结点距离值的基数；c为与层级有关的系数，在公式(12)中，规定最低层级的系数为1，上一层极的系数为2，以此类推；first表示最底层结点的首个结点，end表示与首个结点距离最远的结点，分子的连加号表示从首个结点到最远结点所经历路径的距离之和；initial为标识专家特征的结点，final为标识任务特征的结点，分母的连加号表示从专家特征结点到任务特征结点所经历路径的距离之和。

[0144] 显然，本领域技术人员知道，公式(12)是以现在工作中的专业领域分效度VSj中的专业匹配度Lj，而其他的专业匹配度均能够以此公式进行计算。

[0145] 以图3为例，计算“专家1”分别与“任务1”和“任务2”的专业匹配度。该专业匹配度包括现在工作中的专业领域分效度VSj中的专业匹配度Lj、工作经验分效度VEj中以往工作方向的专业匹配度LEj、教育背景分效度VTj的专业匹配度Zj，以及代表性成果分效度VYj中的专业匹配度Fj。

[0146] 图3展示的是一个5层的专业分类树，假设最底层级节点和次底层级节点之间的距离值为1，即dis＝1。显然，该专业分类树中最大节点距离为“子类别名称1.1.1.1”到“子类别名称n.m.k.t”的距离，则

[0147]

[0148] “专家1”特征标签与“任务1”特征标签的实际距离为

[0149]

[0150] 所以“专家1”与“任务1”的专业匹配度为

[0151]

[0152] “专家1”与“任务2”的专业匹配度计算方法与之类似。“专家1”特征标签与“任务2”特征标签的实际距离为

[0153]

[0154] 所以“专家1”与“任务2”的专业匹配度为

[0155]

[0156] 显然，与“任务2”相比，“专家1”与“任务1”的匹配度更高，这一结果与事实相符。需要注意的是，在该算例中，专家与任务匹配度的最大值为20，最小值为1。

[0157] 因此，本发明中专业匹配度的算法具有如下优点：

[0158] (1)考虑了专业分类树层级对路径长度的影响；

[0159] (2)可以计算任意两个节点间的距离，因此专家特征标签和任务特征标签可以在不同层级；

[0160] (3)专家特征标签与任务特征标签所处的分类差别越大，匹配度分值下降越快，有利于对不同的专业领域做出有效区分；

[0161] (4)可以适用于不同层级数的专业分类树。专业分类树的层级越多，专家特征标签与任务特征标签的匹配要求越精细。

[0162] 图4显示了5层专业分类树和6层专业分类树下，随着标签类别差距的增大，专业匹配度的下降趋势。

[0163] 从图4(a)和图4(b)中可以看出，当专家特征标签与任务特征标签之间的距离增加时，专业匹配度迅速下降，这样有利于为评估任务筛选出合适的评估专家；另一方面对比上下图可以看到，当专业分类树的层级增多时，专业匹配度的分值范围扩大，数据点的数目也随之增加，从而提升了“专家‑任务”匹配性的专业区分度。

[0164] 因此，采用层级多的专业分类树能够相比与层级低的专业分类树更好的提升了“专家‑任务”匹配性的专业区分度。

[0165] 对于除了专业匹配度以外的其他匹配度的计算，可以用机器学习的方法来解这个问题，即需要对专业匹配度和其它影响效度值的因素一起建模。

[0166] 具体方法为：首先对每个因素提取特征向量，多个因素的特征向量可以拼接成一个总的特征向量。然后可以采用主成分分析(PCA)等线性降维方法或者locally linear embedding(LLE)等非线性降维方法对特征向量降维。随后可以采用logistic regression、support vector regression、Lasso等回归方法来建模特征向量和标注的效度值的关系。如果数据量很大，可以考虑采用深度学习模型(如若干全连接层+softmax的深度神经网络)。建模完成后，对于一个新任务，可以针对每位专家提取上述特征向量并使用模型预测效度值。

[0167] 在系统建设的期阶段，如果没有大量的训练数据，应当邀请权威专家通过人工定义的方法为各项因素的效度赋值。例如任职岗位类型复合度，如果专家从事过两个专业领域，并且既是研究人员，都担任过管理岗位，则AEj＝2×(2+2)。又如教育层级效度，按照博士研究生效度值为5、硕士研究生效度值为4、本科生效度值为3，其他为2计算。具体的评价标准如表1所示。

[0168] 表1 本效度测算中采用的各项效度值标准

[0169]

[0170]

[0171] 类似的，如果有大量的赋权数据，也可以通过层次分析法等客观赋权的方法来提升权值的客观性。

[0172] 因此，本发明具有如下的优点：

[0173] (1)效度值并不完全以专业匹配度为导向，综合考虑专家的多种因素，包括现有工作方向、历史工作经验、教育履历和代表性成果构建评估专家的特征画像，能够更为综合的体现专家匹配度。

[0174] (2)利用同一专业树对专业匹配度进行计算，匹配精度高，有利于对于不同的专业领域做出有效区分，通过多层级的专业分类树提升“专家‑任务”匹配性的专业区分度。

[0175] (3)本发明所计算的匹配效度的计算可以用来作为专家排序、分组、选择组长等的依据，也可以作为评估结果分析中权重系数或修正系数的依据。

[0176] 显然，本领域技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上,可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。

[0177] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施方式仅限于此，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明由所提交的权利要求书确定保护范围。