一种自动化的在线实践证据提取方法

摘要

本发明公开了一种自动化的在线实践证据提取方法，先搭建本地数据服务，再通过网络接口获取在线实践平台中的实践用户列表信息，然后获取任务链接、解析已克隆到本地的实践证据变更数据库，从中抽取和聚合用于度量和评价用户的实践证据维度信息，并结构化后存入本地数据服务；再获取实践用户的历史行为数据信息并将之结构化存储到本地数据库；最后链接本地数据服务，对同一实践用户的不同账号信息进行识别和合并，并合并实践证据，更新本地数据库。本发明包含各种能够反映用户主体实践能力的证据获取方法,具有较高的可操作性和灵活性，能够为用户提供丰富的、可供选择的实践能力证据。

权利要求

1.一种自动化的在线实践证据提取方法，包括下列步骤：

步骤1、搭建本地数据服务，在本地服务器上配置关系数据库，用于存储在线实践证据；

步骤2、通过网络接口获取在线实践平台中的实践用户列表信息，将列表信息存储在内存队列中，并打上时间戳和本地同步标记；

步骤3、本地服务器运行生产者和消费者程序，生产者从用户队列中取出用户，并根据目标在线实践平台的超链接结构自动组成待抓取的实践证据链接，存入任务队列，消费者程序从任务队列中获取任务链接，连接到目标在线实践平台，通过安全层超文本传输协议从远端服务器克隆指定用户的最新实践证据变更数据库到本地磁盘；

步骤4、解析已克隆到本地的实践证据变更数据库，从中抽取和聚合用于度量和评价用户的实践证据维度信息，并结构化后存入本地数据服务；

步骤5、建立分布在局域网内不同在线实践系统的数据链接，获取实践用户的历史行为数据信息并将之结构化存储到本地数据库；

步骤6、链接本地数据服务，对同一实践用户的不同账号信息进行识别和合并，并合并实践证据，更新本地数据库；

步骤7、根据更新周期，定时执行步骤2-6。

2.如权利要求1所述的方法，其特征在于，步骤2中的网络接口和步骤3中的超链接结构在配置文件中设置，通过网络接口的请求中包含身份认证令牌。

3.如权利要求1所述的方法，其特征在于，步骤3所述的实践证据变更数据库包括在线实践平台的作业库、实验库、团队协作项目库、用户动态信息；其中，用户动态信息包括问答模块的交流评论和用户在实践平台上的活动行为。

4.如权利要求1所述的方法，其特征在于，步骤2获取的用户列表在内存队列中通过哈希结构存储，键为用户的唯一识别ID，值是JSON结构；当获取的用户不在内存队列中时，将该用户加入内存队列；如果获取的用户是已存在的用户，则更新对应用户的时间戳标记。

5.如权利要求1所述的方法，其特征在于，步骤5中建立数据链接的方法包括：(1)通过系统的对外服务应用程序编程接口API；

(2)通过受限的数据库用户信息直接链接到目标在线实践系统数据库。

6.如权利要求1所述的方法，其特征在于，步骤4的实践证据维度信息包括作业的完成数量、作业的平均分数、作业的最高分数、作业的最低分数、完成作业的时间长度、作业的平均难度、作业是否为协同作业、实验的文档数量、实验的平均等级、实验的平均完成度、实验的平均参与时间、实验的次数、团队协作项目库中项目的数量、语言种类多少、版本库被其他用户克隆的数量、Star数量、增加代码行数、减少代码行数、提交次数、修复缺陷的数量、改动文件的数量、请求代码合并的数量，关闭问题跟踪的数量和惰性时间间隔。

7.如权利要求1所述的方法，其特征在于，步骤5所述实践用户的历史行为数据信息包括：实践用户的登陆次数，参与课程数量、完成作业数量、实践库数量、评论数量、粉丝数量、关注数量、实践时长。

8.如权利要求1所述的方法，其特征在于，步骤6的同一实践用户的不同账号信息通过使用学号、身份证号及邮箱账号的唯一识别符进行合并，且可引入第三方的跨社区信息以提高合并准确性。

9.如权利要求1所述的方法，其特征在于，步骤7所述的更新周期通过外部配置文件设置，其更新周期单位为时、星期、月。

10.如权利要求1所述的方法，其特征在于，在线实践用户的主体为学习者和开发者。

说明书

一种自动化的在线实践证据提取方法

技术领域

[0001] 本发明涉及一种自动化方法，尤其涉及一种自动化在线实践证据提取方法。

背景技术

[0002] 近年来，国内外教育领域越来越注重创新型人才的培养，创新型人才的规模和质量将对一个国家的核心竞争力产生根本性影响。但是，创新型人才培养长期以来面临一种困境，即当前主流的结果导向的总结性评价体系(即考试为中心的评价体系)很难对学习者的创新性进行识别和排序，而面向过程的评价体系虽然更加客观，但开销巨大，难以实施。

[0003] 目前，在线实践平台已在高等教育领域发挥着至关重要的作用，如在线作业平台、在线实验平台、在线开发平台等，基本上覆盖了高校的主要实验和实践活动。如何更好的利用此类在线实践平台中积累的行为数据和评价数据，实现过程性评价的自动化，是国内外教育领域面临的重大课题。国内外学者通过统计分析，发现这些数据具有以下特点和规律：

[0004] 1、目前高校常用的在线实践平台中积累的过程数据基本上覆盖了学习者的主要实践行为及其阶段性评价，对评估学习者的知识水平、实践能力、协作能力，进而辅助个性化教学和创新人才培养，都具有重要意义。

[0005] 2、在线实践平台的作业库、实验库、团队协作项目库中包含了大量实践过程数据。但是，目前的人才培养体系并没有将此类过程数据加以利用，忽略了此类能够真实反映学习者真实能力的海量过程数据。

[0006] 互联网在线创新实践平台中，数量众多的创新实践用户有着不同的行为，他们在社区中不同类型的问答模块进行交流、反馈、讨论各种信息，这些信息包括在创新实践项目的需求、缺陷信息，作业信息、编程活动记录等，同时实践用户会借助各类工具进行训练和创新活动，这些工具包括版本控制系统、云端代码托管系统、项目需求管理系统、缺陷管理系统、在线编程等。对于广泛分布于互联网不同实践社区的创新实践用户，如何快速准确的让教育工作者了解实践用户各种能力属性指标，并合理的指定培养方法，指导创新实践活动成为了一个函待解决的问题。其中，实践证据自动化获取是一个解决该问题的关键技术。但是，由于此类平台相互独立、数据的异构特性，很难有效的综合利用其中的数据实现上述目标。随着Coursera、edX等平台的为代表的大规模在线开放课程的发展，越来越多的用户加入到大规模在线实践中来，实践用户在创新实践过程中产生了大量、异构的活动行为数据，这些数据在多个维度上为度量和评估人才提供了新的思路。

[0007] 在高等教育的人才考核领域，人才的测评可以定义为是一个收集和评估实践用户的行为信息的过程，现有的学生评价体系具有较大影响的主要是总结性评价和形成性评价。总结性评价有确定的目标，并且对评价对象达成目标的程度做出评价，而形成性评价是在实践过程中对学生的知识掌握和能力发展的评价。在评价模型上，有学者提出了基于胜任特征的人才测评和复合型人才的评价框架。其中复合型人才评价从知识、工具性能力、素养和心理健康水平。实践证据是各种评价维度的基础。在已有评价模型中，虽然考虑的具体属性不同，但是其过程和方法基本一致，都是需要先定义人才度量属性，在把各个属性继续细分为多个测量维度，评价的维度则需要通过人工过程产出，进而给出具体的观测属性的分值，最后根据预先设定好的维度权重计算一个具体实践用户的综合分数。

[0008] 上述方法不仅由于其度量方法的主观性导致实用性不强，而且相关能力证据的获取过程也异常繁琐、开销巨大，高校管理部门和教师为了应对各类教学评估，往往需要投入巨大的时间和精力，即使将来可能出现的专业评估机构显然也无法完成对每年数百万的学生进行单独评估的任务。这对于互联网时代软件数量的大规模增长是非常不适合的，无法满足实时、方便、准确的了解学习者各种能力属性的需求。

发明内容

[0009] 本发明的目的在于针对现有实践相关能力证据的获取过程异常繁琐、开销巨大的技术不足，提出一种自动化在线实践证据提取方法。

[0010] 为实现上述目的，本发明提供一种自动化的在线实践证据提取方法，包括下列步骤：

[0011] 步骤1、搭建本地数据服务，在本地服务器上配置关系数据库，用于存储在线实践证据；

[0012] 步骤2、通过网络接口获取在线实践平台中的实践用户列表信息，将列表信息存储在内存队列中，并打上时间戳和本地同步标记；

[0013] 步骤3、本地服务器运行生产者和消费者程序，生产者从用户队列中取出用户，并根据目标在线实践平台的超链接结构自动组成待抓取的实践证据链接，存入任务队列，消费者程序从任务队列中获取任务链接，连接到目标在线实践平台，通过安全层超文本传输协议从远端服务器克隆指定用户的最新实践证据变更数据库到本地磁盘；

[0014] 步骤4、解析已克隆到本地的实践证据变更数据库，从中抽取和聚合用于度量和评价用户的实践证据维度信息，并结构化后存入本地数据服务；

[0015] 步骤5、建立分布在局域网内不同在线实践系统的数据链接，获取实践用户的历史行为数据信息并将之结构化存储到本地数据库；

[0016] 步骤6、链接本地数据服务，对同一实践用户的不同账号信息进行识别和合并，并合并实践证据，更新本地数据库；

[0017] 步骤7、根据更新周期，定时执行步骤2-6。

[0018] 进一步地，步骤2中的网络接口和步骤3中的超链接结构在配置文件中设置，通过网络接口的请求中包含身份认证令牌。

[0019] 进一步地，步骤3所述的实践证据变更数据库包括在线实践平台的作业库、实验库、团队协作项目库、用户动态信息；其中，用户动态信息包括问答模块的交流评论和用户在实践平台上的活动行为。

[0020] 进一步地，步骤2获取的用户列表在内存队列中通过哈希结构存储，键为用户的唯一识别ID，值是JSON结构；当获取的用户不在内存队列中时，将该用户加入内存队列；如果获取的用户是已存在的用户，则更新对应用户的时间戳标记。

[0021] 进一步地，步骤5中建立数据链接的方法包括：

[0022] (1)通过系统的对外服务应用程序编程接口API；

[0023] (2)通过受限的数据库用户信息直接链接到目标在线实践系统数据库。

[0024] 进一步地，步骤4的实践证据维度信息包括作业的完成数量、作业的平均分数、作业的最高分数、作业的最低分数、完成作业的时间长度、作业的平均难度、作业是否为协同作业、实验的文档数量、实验的平均等级、实验的平均完成度、实验的平均参与时间、实验的次数、团队协作项目库中项目的数量、语言种类多少、版本库被其他用户克隆的数量、Star数量、增加代码行数、减少代码行数、提交次数、修复缺陷的数量、改动文件的数量、请求代码合并的数量，关闭问题跟踪的数量和惰性时间间隔。

[0025] 进一步地，步骤5所述实践用户的历史行为数据信息包括：

[0026] 实践用户的登陆次数，参与课程数量、完成作业数量、实践库数量、评论数量、粉丝数量、关注数量、实践时长。

[0027] 进一步地，步骤6的同一实践用户的不同账号信息通过使用学号、身份证号及邮箱账号的唯一识别符进行合并，且可引入第三方的跨社区信息以提高合并准确性。

[0028] 进一步地，步骤7所述的更新周期通过外部配置文件设置，其更新周期单位为时、星期、月。

[0029] 进一步地，在线实践用户的主体为学习者和开发者。

[0030] 所述自动化的在线实践证据提取方法包含各种能够反映用户主体实践能力的证据获取方法,具有较高的可操作性和灵活性，能够为用户提供丰富的、可供选择的实践能力证据。

附图说明

[0031] 图1为本发明的方法流程示意图。

具体实施方式

[0032] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0033] 请参阅图1，本发明提供一种自动化的在线实践证据提取方法，包括下列步骤：

[0034] 步骤1、搭建本地数据服务，在本地服务器上配置关系数据库，用于存储在线实践证据；

[0035] 步骤2、通过网络接口获取在线实践平台中的实践用户列表信息，将列表信息存储在内存队列中，并打上时间戳和本地同步标记；

[0036] 步骤3、本地服务器运行生产者和消费者程序，生产者从用户队列中取出用户，并根据目标在线实践平台的超链接结构自动组成待抓取的实践证据链接，存入任务队列，消费者程序从任务队列中获取任务链接，连接到目标在线实践平台，通过安全层超文本传输协议从远端服务器克隆指定用户的最新实践证据变更数据库到本地磁盘；

[0037] 步骤4、解析已克隆到本地的实践证据变更数据库，从中抽取和聚合用于度量和评价用户的实践证据维度信息，并结构化后存入本地数据服务；

[0038] 步骤5、建立分布在局域网内不同在线实践系统的数据链接，获取实践用户的历史行为数据信息并将之结构化存储到本地数据库；

[0039] 步骤6、链接本地数据服务，对同一实践用户的不同账号信息进行识别和合并，并合并实践证据，更新本地数据库；

[0040] 步骤7、根据更新周期，定时执行步骤2-6。

[0041] 步骤2中的网络接口和步骤3中的超链接结构在配置文件中设置，通过网络接口的请求中包含身份认证令牌。

[0042] 步骤2获取的用户列表在内存队列中通过哈希结构存储，键为用户的唯一识别ID，值是JSON结构；当获取的用户不在内存队列中时，将该用户加入内存队列；如果获取的用户是已存在的用户，则更新对应用户的时间戳标记。

[0043] 步骤3所述的实践证据变更数据库包括在线实践平台的作业库、实验库、团队协作项目库、用户动态信息；其中，用户动态信息包括问答模块的交流评论和用户在实践平台上的活动行为。

[0044] 步骤4的实践证据维度信息包括作业的完成数量、作业的平均分数、作业的最高分数、作业的最低分数、完成作业的时间长度、作业的平均难度、作业是否为协同作业、实验的文档数量、实验的平均等级、实验的平均完成度、实验的平均参与时间、实验的次数、团队协作项目库中项目的数量、语言种类多少、版本库被其他用户克隆的数量、Star数量、增加代码行数、减少代码行数、提交次数、修复缺陷的数量、改动文件的数量、请求代码合并的数量，关闭问题跟踪的数量和惰性时间间隔。

[0045] 步骤5中建立数据链接的方法包括：

[0046] (1)通过系统的对外服务应用程序编程接口API；

[0047] (2)通过受限的数据库用户信息直接链接到目标在线实践系统数据库。

[0048] 步骤5所述实践用户的历史行为数据信息包括：

[0049] 实践用户的登陆次数，参与课程数量、完成作业数量、实践库数量、评论数量、粉丝数量、关注数量、实践时长。

[0050] 步骤6的同一实践用户的不同账号信息通过使用学号、身份证号及邮箱账号的唯一识别符进行合并，且可引入第三方的跨社区信息以提高合并准确性。

[0051] 步骤7所述的更新周期通过外部配置文件设置，其更新周期单位为时、星期、月。

[0052] 该在线实践用户的主体为学习者和开发者。

[0053] 所述自动化的在线实践证据提取方法包含各种能够反映用户主体实践能力的证据获取方法,具有较高的可操作性和灵活性，能够为用户提供丰富的、可供选择的实践能力证据。

[0054] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素”。

[0055] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。