一种题目智能识别、批改的方法和系统

摘要

本发明公开了一种题目智能识别、批改的方法和系统，通过人工智能实现对试卷中的多种类型题目的题干以及答题内容进行自动识别并对答题内容进行自动批改。其技术方案为：预先基于众多试卷样本将神经网络模型(例如CNN模型)训练成用于题目类型识别的模型，并用训练而成的该模型检测出试卷中的各个题目的位置、题目对应的类型、题目中的不同组成部分(题干、答题、图片)，再分别基于识别模型识别出题干的打印体字符信息和答题部分的手写体字符信息，最后基于识别出的字符信息进行自动批改。

权利要求

1.一种题目智能识别方法，其特征在于，包括：步骤1：基于试卷的影像和预先训练的第一模型，识别所述试卷上的各个题目的区域，其中，所述第一模型是基于神经网络的模型；

步骤2：通过第一模型分别对所述各个题目的区域进行题目类型的识别，并对识别到的各个类型的题目分别进行标注，标注出各个题目的区域中的对应类型题目的各个组成部分，所述组成部分包括题干、答题和/或图片，其中题目类型包括填空题、计算题、选择题或应用题；

步骤3：基于所述试卷上的各个题目的区域的单独影像、所述题目的区域对应的题目类型、所述题目的区域对应的所述组成部分、以及第二模型，识别出所述各个题目的区域中的字符，从而确定所述试卷上记载的信息，其中，所述第二模型是基于神经网络的模型，其中步骤3中的所述第二模型包括针对题干的识别模型和针对答题的识别模型，其中所述题干由打印字体组成，所述答题由手写字体组成，所述针对题干的识别模型和所述针对答题的识别模型分别经过各自独立的训练而成，其中步骤3进一步包括采用空洞卷积分别对题干、答题和/或图片类型对应的标注框进行特征提取，以及通过注意力模型将提取到的特征解码成字符；

其中所述第一模型通过以下步骤训练得到：对第一试卷影像样本训练集中的每个试卷影像样本进行标注处理，以标注出每个所述试卷影像样本中的一个或多个区域中的每个区域、与每个区域对应的题目类型、与每个区域对应的题目类型包含的组成部分，所述组成部分包括题干、答题和/或图片；以及通过经过所述标注处理的所述第一试卷影像样本训练集，对第一神经网络进行训练，以得到所述第一模型，其中所述第一神经网络是基于深度卷积神经网络建立的；

其中所述第二模型通过以下步骤训练得到：对第二试卷影像样本训练集中的每个试卷影像样本进行标注处理，标注出每个所述试卷影像样本中的一个或多个区域中的每个区域以及每个区域中的字符；以及通过经过所述标注处理的所述第二试卷影像样本训练集，对第二神经网络进行训练，以得到所述第二模型，其中所述第二神经网络是基于空洞卷积和注意力模型建立的；

其中先基于第一模型识别出各个题目对应位置的区域，各个题目对应的类型以及各类型中的题干、答题、图形等组成部分，再基于第二模型分别对题干中的打印字体和答题的手写字体进行字体信息的识别。

2.根据权利要求1所述的题目智能识别方法，其特征在于，步骤1进一步包括：利用第一模型从所述试卷的影像中提取二维特征向量；

在二维特征向量的每一个网格生成不同形状的锚点，使用标注框将识别出的区域进行标注。

3.根据权利要求2所述的题目智能识别方法，其特征在于，在步骤1的使用标注框将识别出的区域进行标注的处理之后还包括：将标注框与生成的锚点做回归处理，以使标注框贴近题目实际位置。

4.根据权利要求1所述的题目智能识别方法，其特征在于，对神经网络进行训练还包括：

基于试卷影像样本测试集对经过训练的所述神经网络的准确率进行测试；

若输出准确率小于预定的阈值，则增加试卷影像样本训练集中的试卷影像样本的数量，所增加的试卷影像样本中的每个试卷影像样本均经过所述标注处理；以及通过增加了试卷影像样本的数量之后的试卷影像样本训练集，重新对所述神经网络进行训练。

5.一种题目智能批改方法，其特征在于，包括：如权利要求1所述的题目智能识别方法；以及基于解码出的题干在题库中搜索，若存在搜索结果则获取搜索结果对应的标注题型，将每一道题目切割开分别进行批改，其中针对不同类型的题目的批改方式包括：如果题目类型为计算题，则由计算引擎计算出结果，进行比对；

如果题目类型为选择填空判断题，则直接判断输入的答题与标注的答案是否一致；

如果题目类型为主观题，则直接显示标准答案。

6.根据权利要求5所述的题目智能批改方法，其特征在于，对于计算题的批改，对具有多个计算步骤的计算题，将不同行的答题过程进行切割并通过计算引擎根据上下行的内容判断是否计算正确。

7.根据权利要求5所述的题目智能批改方法，其特征在于，对于计算题的批改，将填写计算符号、大于小于号、以及单位换算的题目识别为计算题，通过计算引擎判断两侧内容进行批改。

8.一种题目智能识别系统，其特征在于，包括：第一模型，所述第一模型是基于神经网络的模型，所述第一模型是基于深度卷积神经网络训练而成；

第二模型，所述第二模型是基于神经网络的模型，所述第二模型是基于空洞卷积和注意力模型训练而成；

第一装置，第一装置被配置为：

基于试卷的影像和预先训练的第一模型，识别所述试卷上的各个题目的区域；

通过第一模型分别对所述各个题目的区域进行题目类型的识别，并对识别到的各个类型的题目分别进行标注，标注出各个题目的区域中的对应类型题目的各个组成部分，所述组成部分包括题干、答题和/或图片，其中题目类型包括填空题、计算题、选择题或应用题；

基于所述试卷上的各个题目的区域的单独影像、所述题目的区域对应的题目类型、所述题目的区域对应的组成部分、以及所述第二模型，识别出一个或多个区域中的每个区域中的字符，从而确定所述试卷上记载的信息，其中所述第二模型包括针对题干的识别模型和针对答题的识别模型，其中所述题干由打印字体组成，所述答题由手写字体组成，所述针对题干的识别模型和所述针对答题的识别模型分别经过各自独立的训练而成；

其中先基于第一模型识别出各个题目对应位置的区域，各个题目对应的类型以及各类型中的题干、答题、图形等组成部分，再基于第二模型分别对题干中的打印字体和答题的手写字体进行字体信息的识别。

9.一种题目智能批改系统，其特征在于，包括：如权利要求8所述的题目智能识别系统；

第二装置，第二装置被配置为：

基于解码出的题干在题库中搜索，若存在搜索结果则获取搜索结果对应的标注题型，将每一道题目切割开分别进行批改；

其中第二装置针对不同类型的题目进行批改：如果题目类型为计算题，则由计算引擎计算出结果，进行比对；

如果题目类型为选择填空判断题，则直接判断输入的答题与标注的答案是否一致；

如果题目类型为主观题，则直接显示标准答案。

10.一种题目智能识别系统，其特征在于，包括：处理器；以及

存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行如权利要求1至4中任一项所述的方法。

11.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列可执行的指令被计算装置执行时，使得计算装置进行如权利要求1至4中任一项所述的方法。

12.一种题目智能批改系统，其特征在于，包括：处理器；以及

存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行如权利要求5至7中任一项所述的方法。

13.一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列可执行的指令被计算装置执行时，使得计算装置进行如权利要求5至7中任一项所述的方法。

说明书

一种题目智能识别、批改的方法和系统

技术领域

[0001] 本发明涉及人工智能技术，尤其涉及对包含多种类型的题目的答卷进行自动批改的技术。

背景技术

[0002] 随着计算机技术和教育信息化的不断推进，计算机技术已经逐步应用于日常的教育教学各项活动中，例如在教学评测场景下得到了相应的应用。国内现有的基础教育、学生
学习状况的主要考察形式仍是各种类型的考试或测试，在此状况下，教师背负着很大的批
改作业和试卷的工作压力。针对这种现象，在大中型或重要性高的考试或测试中已经逐渐
推广和采用了各类自动阅卷系统，这类系统能够一定程度上减轻教师阅卷的工作量。

[0003] 现有的自动阅卷系统中完全由计算机完成阅卷的部分多是对填涂性客观题(如选择题)的阅卷，采用的处理方法是读取填图卡的数据，将其和标准答案进行比对，这个方法
虽然有效提高了批阅速度，但是需要学生作答时使用2B铅笔进行客观题的作答，不仅多有
不便，还容易出现误涂、漏涂等情况。此外，学生手写作答的打印试卷在批改时则严重依赖
老师或家长的手动检查和批改，特别是填空题或主观题这类题目，答案的位置和具体内容
无法有效通过现有的阅卷系统进行自动识别，或者识别效果差效率低。而且在人工阅卷时
因不同教师风格、情绪、心理状态等主观性因素可能会造成判卷结果出现不公平不公正的
现象。

[0004] 随着互联网技术和产品逐步向教育领域渗透，在线教育的受众的规模不断扩大，又进一步增加了考试和作业评阅的数量。因此如何减少人工评阅的工作量，提升评阅尤其
是评分的准确性和客观性，是目前业界亟待解决的问题。

发明内容

[0005] 以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非
试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一
些概念以为稍后给出的更加详细的描述之序。

[0006] 本发明的目的在于解决上述问题，提供了一种题目智能识别、批改的方法和系统，通过人工智能实现对试卷中的多种类型题目的题干以及答题内容进行自动识别并对答题
内容进行自动批改。

[0007] 本发明的技术方案为：本发明揭示了一种题目智能识别方法，包括：

[0008] 步骤1：基于试卷的影像和预先训练的第一模型，识别所述试卷上的各个题目的区域，其中，所述第一模型是基于神经网络的模型；

[0009] 步骤2：通过第一模型分别对所述各个题目的区域进行题目类型的识别，并对识别到的各个类型的题目分别进行标注，标注出各个题目的区域中的对应类型题目的各个组成
部分，所述组成部分包括题干、答题和/或图片；

[0010] 步骤3：基于所述试卷上的各个题目的区域的单独影像、所述题目的区域对应的题目类型、所述题目的区域对应的所述组成部分、以及第二模型，识别出所述各个题目的区域
中的字符，从而确定所述试卷上记载的信息，其中，所述第二模型是基于神经网络的模型。

[0011] 根据本发明的题目智能识别方法的一实施例，步骤3中的所述第二模型包括针对题干的识别模型和针对答题的识别模型，其中所述题干由打印字体组成，所述答题由手写
字体组成，所述针对题干的识别模型和所述针对答题的识别模型分别经过各自独立的训练
而成。

[0012] 根据本发明的题目智能识别方法的一实施例，所述第一模型通过以下步骤训练得到：

[0013] 对第一试卷影像样本训练集中的每个试卷影像样本进行标注处理，以标注出每个所述试卷影像样本中的一个或多个区域中的每个区域、与每个区域对应的题目类型、与每
个区域对应的题目类型所包含的组成部分，所述组成部分包括题干、答题和/或图片；以及

[0014] 通过经过所述标注处理的所述第一试卷影像样本训练集，对第一神经网络进行训练，以得到所述第一模型。

[0015] 根据本发明的题目智能识别方法的一实施例，所述第二模型通过以下步骤训练得到：

[0016] 对第二试卷影像样本训练集中的每个试卷影像样本进行标注处理，标注出每个所述试卷影像样本中的一个或多个区域中的每个区域以及每个区域中的字符；以及

[0017] 通过经过所述标注处理的所述第二试卷影像样本训练集，对第二神经网络进行训练，以得到所述第二模型。

[0018] 根据本发明的题目智能识别方法的一实施例，所述第一神经网络是基于深度卷积神经网络建立的。

[0019] 根据本发明的题目智能识别方法的一实施例，所述第二神经网络是基于空洞卷积和注意力模型建立的。

[0020] 根据本发明的题目智能识别方法的一实施例，步骤1进一步包括：

[0021] 利用第一模型从所述试卷的影像中提取二维特征向量；

[0022] 在二维特征向量的每一个网格生成不同形状的锚点，使用标注框将识别出的区域进行标注。

[0023] 根据本发明的题目智能识别方法的一实施例，在步骤1的使用标注框将识别出的区域进行标注的处理之后还包括：

[0024] 将标注框与生成的锚点做回归处理，以使标注框贴近题目实际位置。

[0025] 根据本发明的题目智能识别方法的一实施例，步骤3进一步包括：

[0026] 采用空洞卷积分别对题干、答题和/或图片类型对应的标注框进行特征提取；

[0027] 通过注意力模型将提取到的特征解码成字符。

[0028] 根据本发明的题目智能识别方法的一实施例，对神经网络进行训练还包括：

[0029] 基于试卷影像样本测试集对经过训练的所述神经网络的准确率进行测试；

[0030] 若输出准确率小于预定的阈值，则增加试卷影像样本训练集中的试卷影像样本的数量，所增加的试卷影像样本中的每个试卷影像样本均经过所述标注处理；以及

[0031] 通过增加了试卷影像样本的数量之后的试卷影像样本训练集，重新对所述神经网络进行训练。

[0032] 本发明还揭示了一种题目智能批改方法，包括：

[0033] 如前述的题目智能识别方法；以及

[0034] 基于解码出的题干在题库中搜索，若存在搜索结果则获取搜索结果对应的标注题型，将每一道题目切割开分别进行批改。

[0035] 根据本发明的题目智能批改方法的一实施例，针对不同类型的题目的批改方式包括：

[0036] 如果题目类型为计算题，则由计算引擎计算出结果，进行比对；

[0037] 如果题目类型为选择填空判断题，则直接判断输入的答题与标注的答案是否一致；

[0038] 如果题目类型为主观题，则直接显示标准答案。

[0039] 根据本发明的题目智能批改方法的一实施例，对于计算题的批改，对具有多个计算步骤的计算题，将不同行的答题过程进行切割并通过计算引擎根据上下行的内容判断是
否计算正确。

[0040] 根据本发明的题目智能批改方法的一实施例，对于计算题的批改，将填写计算符号、大于小于号、以及单位换算的题目识别为计算题，通过计算引擎判断两侧内容进行批
改。

[0041] 本发明揭示了一种题目智能识别系统，包括：

[0042] 第一模型，所述第一模型是基于神经网络的模型；

[0043] 第二模型，所述第二模型是基于神经网络的模型；

[0044] 第一装置，第一装置被配置为：

[0045] 基于试卷的影像和预先训练的第一模型，识别所述试卷上的各个题目的区域；

[0046] 通过第一模型分别对所述各个题目的区域进行题目类型的识别，并对识别到的各个类型的题目分别进行标注，标注出各个题目的区域中的对应类型题目的各个组成部分，
所述组成部分包括题干、答题和/或图片；

[0047] 基于所述试卷上的各个题目的区域的单独影像、所述题目的区域对应的题目类型、所述题目的区域对应的组成部分、以及所述第二模型，识别出所述一个或多个区域中的
每个区域中的字符，从而确定所述试卷上记载的信息。

[0048] 根据本发明的题目智能识别系统的一实施例，所述第二模型包括针对题干的识别模型和针对答题的识别模型，其中所述题干由打印字体组成，所述答题由手写字体组成，所
述针对题干的识别模型和所述针对答题的识别模型分别经过各自独立的训练而成。

[0049] 根据本发明的题目智能识别系统的一实施例，所述第一模型是基于深度卷积神经网络训练而成，所述第二模型是基于空洞卷积和注意力模型训练而成。

[0050] 本发明还揭示了一种题目智能批改系统，包括：

[0051] 如前述的题目智能识别系统；

[0052] 第二装置，第二装置被配置为：

[0053] 基于解码出的题干在题库中搜索，若存在搜索结果则获取搜索结果对应的标注题型，将每一道题目切割开分别进行批改。

[0054] 根据本发明的题目智能批改系统的一实施例，第二装置针对不同类型的题目进行批改：

[0055] 如果题目类型为计算题，则由计算引擎计算出结果，进行比对；

[0056] 如果题目类型为选择填空判断题，则直接判断输入的答题与标注的答案是否一致；

[0057] 如果题目类型为主观题，则直接显示标准答案。

[0058] 本发明还揭示了一种题目智能识别系统，包括：

[0059] 处理器；以及

[0060] 存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，

[0061] 其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行如前所述的方法。

[0062] 本发明揭示了一种非临时性计算机可读存储介质，其特征在于，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列可执行的指令被计
算装置执行时，使得计算装置进行如前所述的方法。

[0063] 本发明揭示了一种题目智能批改系统，包括：

[0064] 处理器；以及

[0065] 存储器，所述存储器被配置为存储一系列计算机可执行的指令以及与所述一系列计算机可执行的指令相关联的计算机可访问的数据，

[0066] 其中，当所述一系列计算机可执行的指令被所述处理器执行时，使得所述处理器进行如前所述的方法。

[0067] 本发明还一种非临时性计算机可读存储介质，所述非临时性计算机可读存储介质上存储有一系列计算机可执行的指令，当所述一系列可执行的指令被计算装置执行时，使
得计算装置进行如前所述的方法。

[0068] 本发明对比现有技术有如下的有益效果：本发明预先基于众多试卷样本将神经网络模型(例如CNN模型)训练成用于题目类型识别的模型，并用训练而成的该模型检测出试
卷中的各个题目的位置、题目对应的类型、题目中的不同组成部分(题干、答题、图片)，再分
别基于识别模型识别出题干的打印体字符信息和答题部分的手写体字符信息，最后基于识
别出的字符信息进行自动批改，还可以同时对解题步骤进行批改分析，标注出错误点并进
行解析。相较于现有技术，本发明能够对包含了各种题型的试卷进行自动识别和批改，而不
仅仅局限于单一题型(例如仅局限于口算题)，从而扩大了应用范围，提高了作业批改效率。

附图说明

[0069] 在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征
的组件可能具有相同或相近的附图标记。

[0070] 图1示出了本发明的题目智能识别方法的一实施例的流程图。

[0071] 图2示出了本发明的题目智能批改方法的一实施例的流程图。

[0072] 图3示出了本发明的第一模型训练过程的流程图。

[0073] 图4示出了本发明的第二模型训练过程的流程图。

[0074] 图5示出了本发明的智能识别中的步骤1的一示例的细化流程图。

[0075] 图6示出了本发明的智能识别中的步骤1的另一示例的细化流程图。

[0076] 图7示出了本发明的智能识别中的步骤3的细化流程图。

[0077] 图8示出了本发明的神经网络训练中对模型准确率进行测试的细化流程图。

[0078] 图9示出了本发明的题目智能识别系统的一实施例的原理图。

[0079] 图10示出了本发明的题目智能批改系统的一实施例的原理图。

[0080] 图11示出了本发明的试卷内容的一个示例。

具体实施方式

[0081] 以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。

[0082] 图1示出了本发明的题目智能识别方法的一实施例的流程，请参见图1，下面是对本实施例的题目智能识别方法的各个步骤的详细描述。

[0083] 步骤S1：基于试卷的影像和预先训练的第一模型，识别试卷上的各个题目的区域，第一模型是基于神经网络的模型。

[0084] 第一模型是通过如图3所示的步骤训练得到的。请同时参见图3，下面详述了如何训练得到第一模型的过程。

[0085] 步骤S31：对第一试卷影像样本训练集中的每个试卷影像样本进行标注处理，以标注出每个试卷影像样本中的一个或多个区域中的每个区域、每个区域对应的题目类型、每
个区域对应的题目类型包含的组成部分，组成部分包括题干、答题和/或图片。

[0086] 在本实施例中，第一试卷影像样本训练集就是标注有对应的题目类型以及位置的试卷图片样本，各个类别的图片数量可以相同也可以不同。

[0087] 步骤S32：通过经过所标注处理的第一试卷影像样本训练集，对第一神经网络进行训练，以得到第一模型。

[0088] 在本实施例中，第一神经网络是基于深度卷积神经网络(CNN网络)建立的。除此之外，还可以利用例如ResNet模型进行训练等。

[0089] 较佳的，在前述图3所示的神经网络训练过程中增加对其准确率的测试，以进一步提高模型识别效果。测试过程如图8所示。

[0090] 步骤S81：基于试卷影像样本测试集对经过训练的所述神经网络的准确率进行测试。

[0091] 步骤S82：判断测试输出的准确率和预定的阈值的大小关系，若测试准确率大于等于阈值则表示测试通过，若小于阈值则进入步骤S83。

[0092] 步骤S83：增加试卷影像样本训练集中的试卷影像样本的数量，所增加的试卷影像样本中的每个试卷影像样本均经过和前述相同的标注处理，然后重新对神经网络进行如图
3所示的训练。

[0093] 步骤S1的具体实现可以有两种方式：如图5所示的细化步骤或者如图6所示的细化步骤，以下分别就两种实现方式进行说明。

[0094] 请参见图5，步骤S1的其中一种细化过程如下。

[0095] 步骤S101：利用第一模型从试卷的影像中提取二维特征向量。

[0096] 步骤S102：在二维特征向量的每一个网格生成不同形状的锚点(anchors)，使用标注框将识别出的区域进行标注。

[0097] 锚点具体为标注框的中心坐标以及标注框的长度和高度，由于试卷中的文字行多以长条形为主，因此本实施例中生成的锚点中以框高比2:1、3:1、4:1为主的矩形框，不同题
目具有不同形状的标注框。

[0098] 区别于图5所示的处理，本发明还增加了一个步骤使得区域识别更加准确，请参见图6，步骤S1的另一种细化过程如下。

[0099] 步骤S111：利用第一模型从试卷的影像中提取二维特征向量。

[0100] 步骤S112：在二维特征向量的每一个网格生成不同形状的锚点，使用标注框(Groundtruth Boxes)将识别出的区域进行标注。

[0101] 其中网格是卷积后不同通道的二维特征矩阵，而生成的锚点实际就是对单通道中识别区域进行标注框处理。此时只是将所有可能的区域都找出来，但还未区分类型，此时的
特征是整张影像图片的，还未做题干、答题、图片等组成部分的区分。

[0102] 步骤S113：将标注框与生成的锚点做回归(regression)处理，以使标注框贴近题目实际位置。

[0103] 步骤S2：基于第一模型进行题目类型的识别，并对识别到的各个类型的题目分别进行标注，标注出每一类型题目的各个组成部分，组成部分包括题干、答题和/或图片。

[0104] 本实施例中会对不同类型进行位置标注框(即识别到各个类型的题目)，再标注出各个类型题目中的题干部分、答题部分以及图片部分，之后再对不同标注框切割出来单独
进行分类标注题目所属类别。

[0105] 步骤S3：基于试卷上的各个题目的区域的单独影像、各个题目的区域对应的题目类型、各个题目的区域对应的组成部分、以及第二模型，识别出一个或多个区域中的每个区
域中的字符，从而确定试卷上记载的信息，其中，第二模型是基于神经网络的模型。

[0106] 第二模型可以是同一个模型，也可以包括两个模型：针对题干的识别模型和针对答题的识别模型。因为题干一般由打印字体组成，答题则一般由手写字体组成，所以针对题
干的识别模型和针对答题的识别模型分别经过各自独立的训练而成。

[0107] 第二模型是通过如图4所示的流程来实现训练的，请参见图4，以下是第二模型的训练过程。

[0108] 步骤S41：对第二试卷影像样本训练集中的每个试卷影像样本进行标注处理，标注出每个试卷影像样本中的一个或多个区域中的每个区域以及每个区域中的字符。

[0109] 步骤S42：通过经过标注处理的第二试卷影像样本训练集，对第二神经网络进行训练，以得到第二模型。

[0110] 第二神经网络是基于空洞卷积和注意力模型建立的。

[0111] 步骤S3的细化处理如图7所示，请参见图7，下面是对步骤S3的具体处理过程的详细描述。

[0112] 步骤S301：采用空洞卷积(Dilated Convolution)分别对题干、答题和/或图片类型对应的标注框进行特征提取。

[0113] 提取到的特征具有较大的感受野(receptive field)，采用空洞卷积可以根据手写文字上下文进行识别，可以间隔识别，不用逐个文字进行识别，便于机器并行处理。

[0114] 步骤S302：通过注意力(Attention)模型将提取到的特征解码成字符。

[0115] 图2示出了本发明的题目智能批改方法的一实施例的流程。请参见图2，下面是对本实施例的方法的实施步骤的详细描述。

[0116] 步骤a：基于试卷的影像和预先训练的第一模型，识别试卷上的各个题目的区域，第一模型是基于神经网络的模型。

[0117] 步骤b：通过第一模型分别对各个题目的区域进行题目类型的识别，并对识别到的各个类型的题目分别进行标注，标注出各个题目的区域中对应类型题目的各个组成部分，
组成部分包括题干、答题和/或图片。

[0118] 步骤c：基于试卷上的各个题目的区域的单独影像、各个题目的区域对应的题目类型、各个题目的区域对应的组成部分、以及第二模型，识别出一个或多个区域中的每个区域
中的字符，从而确定试卷上记载的信息，其中，第二模型是基于神经网络的模型。

[0119] 上述的步骤a～c和前述的题目智能识别方法的步骤S1～S3的处理过程相同，每个步骤的细化处理因此不再赘述。

[0120] 步骤d：基于解码出的题干在题库中搜索，若存在搜索结果则获取搜索结果对应的标注题型，将每一道题目切割开分别进行批改。

[0121] 根据不同类型的题目对应了不同的批改方式，具体如下：

[0122] 如果题目类型为计算题，则由计算引擎计算出结果，进行比对。在计算题的批改中，对具有多个计算步骤的计算题，将不同行的答题过程进行切割并通过计算引擎根据上
下行的内容判断是否计算正确。此外，将填写计算符号、大于小于号、以及单位换算的题目
识别为计算题，通过计算引擎判断两侧内容进行批改。

[0123] 如果题目类型为选择填空判断题，则直接判断输入的答题与标注的答案是否一致。

[0124] 如果题目类型为主观题，则直接显示标准答案。

[0125] 图11示出了本发明的试卷内容的示例，试卷中包括多种题目类型：填空题、计算题、选择题、应用题等。每一种题目类型中，包括打印字体的题干以及学生手写的答题内容。
部分图形题中还有打印的图形等。

[0126] 通过本发明的上述方法，先识别出各个题目对应位置的区域，再识别出各个题目对应的类型以及各类型中的题干、答题、图形等组成部分。最后再分别对题干中的打印字体
和答题的手写字体进行字体信息的识别。待识别出试卷中全部字符信息后，可以基于数据
库和计算引擎进行自自动批改。

[0127] 图9示出了本发明的题目智能识别系统的一实施例的原理图。请参见图9，本实施例的系统包括了：第一模型、第二模型、以及第一装置。

[0128] 第一模型是基于神经网络的模型，是通过如图3所示的深度卷积神经网络训练而成。第二模型是通过如图4所示的基于空洞卷积和注意力模型训练而成。具体的训练过程
(包括测试过程)在前述实施例中均已详述，在此不再赘述。

[0129] 第二模型可以采用同一个基于神经网络的模型，也可以包括针对题干的识别模型和针对答题的识别模型，其中题干由打印字体组成，答题由手写字体组成，因此为了识别更
精确，针对题干的识别模型和针对答题的识别模型分别经过各自独立的训练而成。

[0130] 第一装置被配置成实现如下的功能：

[0131] 基于试卷的影像和预先训练的第一模型，识别试卷上的各个题目的区域；

[0132] 通过第一模型分别对各个题目的区域进行题目类型的识别，并对识别到的各个类型的题目分别进行标注，标注出各个题目的区域中的对应类型题目的各个组成部分，组成
部分包括题干、答题和/或图片；

[0133] 基于试卷上的各个题目的区域的单独影像、题目的区域对应的题目类型、题目的区域对应的组成部分、以及第二模型，识别出一个或多个区域中的每个区域中的字符，从而
确定试卷上记载的信息。

[0134] 图10示出了本发明的题目智能批改系统的一实施例的原理图。请参见图10，本实施例的系统包括了：第一模型、第二模型、第一装置、以及第二装置。

[0135] 其中第一模型、第二模型和第一装置组成了如前述的图9所示的题目智能识别系统，其具体功能不再赘述。而第二装置被配置成实现如下的功能：基于解码出的题干在题库
中搜索，若存在搜索结果则获取搜索结果对应的标注题型，将每一道题目切割开分别进行
批改。

[0136] 第二装置针对不同类型的题目进行批改：

[0137] 如果题目类型为计算题，则由计算引擎计算出结果，进行比对；

[0138] 如果题目类型为选择填空判断题，则直接判断输入的答题与标注的答案是否一致；

[0139] 如果题目类型为主观题，则直接显示标准答案。

[0140] 而在针对计算题的批改中，对具有多个计算步骤的计算题，将不同行的答题过程进行切割并通过计算引擎根据上下行的内容判断是否计算正确。此外，将填写计算符号、大
于小于号、以及单位换算的题目识别为计算题，通过计算引擎判断两侧内容进行批改。

[0141] 此外，本发明所公开的题目智能识别系统中包括了处理器、存储器，存储器为存储一系列计算机可执行的指令以及与这一系列计算机可执行的指令相关联的计算机可访问
的数据，当这一系列计算机可执行的指令被处理器执行时，使得处理器进行如前述图1所示
实施例的方法。

[0142] 本发明所公开的非临时性计算机可读存储介质，其上存储有一系列计算机可执行的指令，当这一系列可执行的指令被计算装置执行时，使得计算装置进行如前述图1所示实
施例的方法。

[0143] 本发明所公开的题目智能批改系统中包括了处理器、存储器，存储器为存储一系列计算机可执行的指令以及与这一系列计算机可执行的指令相关联的计算机可访问的数
据，当这一系列计算机可执行的指令被处理器执行时，使得处理器进行如前述图2所示实施
例的方法。

[0144] 本发明所公开的非临时性计算机可读存储介质，其上存储有一系列计算机可执行的指令，当这一系列可执行的指令被计算装置执行时，使得计算装置进行如前述图2所示实
施例的方法。

[0145] 尽管为使解释简单化将上述方法图示并描述为一系列动作，但是应理解并领会，这些方法不受动作的次序所限，因为根据一个或多个实施例，一些动作可按不同次序发生
和/或与来自本文中图示和描述或本文中未图示和描述但本领域技术人员可以理解的其他
动作并发地发生。

[0146] 本领域技术人员将进一步领会，结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清
楚地解说硬件与软件的这一可互换性，各种解说性组件、框、模块、电路、和步骤在上面是以
其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和
施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的
功能性，但这样的实现决策不应被解读成导致脱离了本发明的范围。

[0147] 结合本文所公开的实施例描述的各种解说性逻辑板块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编
程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的
任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任
何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例
如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其
他此类配置。

[0148] 结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存
储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD‑ROM、或本领域中所知的任
何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储
介质读取和写入信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可
驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组
件驻留在用户终端中。

[0149] 在一个或多个示例性实施例中，所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品，则各功能可以作为一条或更多条指令或代
码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信
介质两者，其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被
计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、
EEPROM、CD‑ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令
或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地
称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线
(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传
送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线
技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟
(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟，其中盘(disk)往往以磁的方式再现
数据，而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质
的范围内。

[0150] 提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普
适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限
定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一
致的最广范围。