推荐模型训练、及进一步审计程序推荐方法、装置及设备

摘要

本申请公开一种推荐模型训练，及进一步审计程序推荐方法、装置及设备，包括：获取预设格式的审计历史数据；从审计历史数据中，提取预设数据项分别对应的文本内容；预设数据项包括审计分析结论和进一步审计程序；利用第一关键词列表对提取到的各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，推荐模型用于描述审计分析结论和进一步审计程序之间的关系。另外，利用经过训练的推荐模型进行进一步审计程序的推荐。本申请能够更准确、更高效的完成进一步审计程序的确定，提升审计业务整体质量。

权利要求

1.一种推荐模型训练方法，其特征在于，所述方法包括：

获取预设格式的审计历史数据；

从所述审计历史数据中，提取预设数据项分别对应的文本内容；其中，各个预设数据项分别对应的文本内容间具有对应关系，所述预设数据项包括审计分析结论和进一步审计程序；

利用第一关键词列表，对提取到的各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；其中，所述第一关键词列表中存储有各个预设数据项分别对应的关键词；

利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，其中，所述推荐模型用于描述所述审计分析结论和所述进一步审计程序之间的关系。

2.根据权利要求1所述的方法，其特征在于，所述预设数据项还包括审计查证事项，所述审计查证事项用于描述审计业务场景；相应的，所述推荐模型具体用于描述所述审计查证事项、所述审计分析结论和所述进一步审计程序之间的关系。

3.根据权利要求1所述的方法，其特征在于，所述从所述审计历史数据中，提取预设数据项分别对应的文本内容，包括：对所述审计历史数据进行分词处理，得到经过分词处理后的审计历史数据；

利用第二关键词列表，在所述经过分词处理后的审计历史数据中进行检索，得到各个预设数据项分别对应的文本内容；其中，所述第二关键词列表中存储有各个预设数据项分别对应的检索关键词。

4.一种进一步审计程序推荐方法，其特征在于，所述方法包括：

将任一审计分析结论和/或与所述审计分析结论对应的审计查证事项作为权利要求1-

3任一项推荐模型训练方法中所述的经过训练的推荐模型的输入参数，经过所述推荐模型的处理后，输出与所述审计分析结论和/或与所述审计查证事项对应的进一步审计程序。

5.根据权利要求4所述的进一步审计程序推荐方法，其特征在于，所述推荐模型输出的进一步审计程序包括具有顺序关系的进一步审计程序组合。

6.一种推荐模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取预设格式的审计历史数据；

提取模块，用于从所述审计历史数据中，提取预设数据项分别对应的文本内容；其中，各个预设数据项分别对应的文本内容间具有对应关系，所述预设数据项包括审计分析结论和进一步审计程序；

抽象化模块，用于利用第一关键词列表，对提取到的各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；其中，所述第一关键词列表中存储有各个预设数据项分别对应的关键词；

训练模块，用于利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，其中，所述推荐模型用于描述所述审计分析结论和所述进一步审计程序之间的关系。

7.根据权利要求6所述的装置，其特征在于，所述预设数据项还包括审计查证事项，所述审计查证事项用于描述审计业务场景；相应的，所述推荐模型具体用于描述所述审计查证事项、所述审计分析结论和所述进一步审计程序之间的关系。

8.一种进一步审计程序推荐装置，其特征在于，所述装置包括：

推荐模块，用于将任一审计分析结论和\或与所述审计分析结论对应的审计查证事项作为权利要求6-8任一项推荐模型训练装置中所述的经过训练的推荐模型的输入参数，经过所述推荐模型的处理后，输出与所述审计分析结论和所述审计查证事项对应的进一步审计程序。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1-5中任意一项所述的方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-5中任意一项所述的方法。

说明书

推荐模型训练、及进一步审计程序推荐方法、装置及设备

技术领域

[0001] 本申请涉及审计领域，具体涉及一种推荐模型训练、及进一步审计程序推荐方法、装置及设备。

背景技术

[0002] 在审计实务中，审计人员实施风险评估程序和审计分析后，得到审计分析结论，审计分析结论中存在风险点，为了将风险点降到最低，需要采取进一步审计程序对审计分析结论进行验证，以保证审计人员得出的审计分析结论的准确性。

[0003] 假设审计人员得出的审计分析结论为成本存在问题，则为了保证审计分析结论的准确性，则需要对可能造成成本问题的各个风险点采取进一步审计程序，例如对成本进行进一步的核算等，如果采取进一步审核程序后证明审计分析结论正确，则使得该审计分析结论的说服力得到保证。

[0004] 目前，基于审计分析结论对进一步审计程序的选择是由审计人员人工完成的，由于审计人员的专业能力、工作经验等各方面因素的限制，进一步审计程序的选择难免会出现各种各样的问题，例如进一步审计程序与审计风险点的相关性不充分甚至不相关、遗漏重要实质性程序、进一步审计程序组合不合理等，严重影响到审计业务整体质量。

发明内容

[0005] 为解决上述问题，本申请提供了一种推荐模型训练及进一步审计程序推荐方法、装置及设备，通过训练推荐模型，并利用推荐模型更准确、更高效的完成进一步审计程序的确定，提升审计业务整体质量。具体技术方案如下：

[0006] 第一方面，本申请提供了一种进一步审计程序推荐方法，所述方法包括：

[0007] 获取预设格式的审计历史数据；

[0008] 从所述审计历史数据中，提取预设数据项分别对应的文本内容；其中，各个预设数据项分别对应的文本内容具有对应关系，所述预设数据项包括审计分析结论和进一步审计程序；

[0009] 利用第一关键词列表，对提取到的各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；其中，所述第一关键词列表中存储有各个预设数据项分别对应的关键词；利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，其中，所述推荐模型用于描述所述审计分析结论和所述进一步审计程序之间的关系。

[0010] 可选的，所述预设数据项还包括审计查证事项，所述审计查证事项用于描述审计业务场景；相应的，所述推荐模型具体用于描述所述审计查证事项、所述审计分析结论和所述进一步审计程序之间的关系。

[0011] 可选的，所述从所述审计历史数据中，提取预设数据项分别对应的文本内容，包括：

[0012] 对所述审计历史数据进行分词处理，得到经过分词处理后的审计历史数据；

[0013] 利用第二关键词列表，在所述经过分词处理后的审计历史数据中进行检索，得到各个预设数据项分别对应的文本内容；其中，所述第二关键词列表中存储有各个预设数据项分别对应的检索关键词。

[0014] 第二方面，本申请实施例还提供了一种进一步审计程序推荐方法，所述方法包括：

[0015] 将任一审计分析结论和/或与所述审计分析结论对应的审计查证事项作为第一方面的任一项推荐模型训练方法中所述的经过训练的推荐模型的输入参数，经过所述推荐模型的处理后，输出与所述审计分析结论和/或与所述审计查证事项对应的进一步审计程序。

[0016] 可选的，所述推荐模型输出的进一步审计程序包括具有顺序关系的进一步审计程序组合。

[0017] 第三方面，本申请提供了一种推荐模型训练装置，所述装置包括：

[0018] 获取模块，用于获取预设格式的审计历史数据；

[0019] 提取模块，用于从所述审计历史数据中，提取预设数据项分别对应的文本内容；其中，各个预设数据项分别对应的文本内容间具有对应关系，所述预设数据项包括审计分析结论和进一步审计程序；

[0020] 抽象化模块，用于利用第一关键词列表，对提取到的各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；其中，所述第一关键词列表中存储有各个预设数据项分别对应的关键词；

[0021] 训练模块，用于利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，其中，所述推荐模型用于描述所述审计分析结论和所述进一步审计程序之间的关系。

[0022] 可选的，所述预设数据项还包括审计查证事项，所述审计查证事项用于描述审计业务场景；相应的，所述推荐模型具体用于描述所述审计查证事项、所述审计分析结论和所述进一步审计程序之间的关系。

[0023] 可选的，所述提取模块，包括：

[0024] 分词处理子模块，用于对所述审计历史数据进行分词处理，得到经过分词处理后的审计历史数据；

[0025] 检索子模块，用于利用第二关键词列表，在所述经过分词处理后的审计历史数据中进行检索，得到所述预设数据项分别对应的文本内容；其中，所述第二关键词列表中存储有各个预设数据项分别对应的检索关键词。

[0026] 第四方面，本申请还提供了一种进一步审计程序推荐装置，所述装置包括：

[0027] 推荐模块，用于将任一审计分析结论和\或与所述审计分析结论对应的审计查证事项作为第三方面中的任一项推荐模型训练装置中所述的经过训练的推荐模型的输入参数，经过所述推荐模型的处理后，输出与所述审计分析结论和所述审计查证事项对应的进一步审计程序。

[0028] 可选的，所述推荐模型输出的进一步审计程序包括具有顺序关系的进一步审计程序组合。

[0029] 第五方面，本申请提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行第一方面或第二方面中的任意一项所述的方法。

[0030] 第六方面，本申请提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行第一方面或第二方面中的任意一项所述的方法。

[0031] 本申请提供的推荐模型训练方法及进一步审计程序推荐方法中，利用机器学习的方式对海量审计历史数据进行分析，建立推荐模型，利用经过大量样本训练的推荐模型实现进一步审计程序的推荐，与现有技术比较，能够更准确、更高效的完成进一步审计程序的推荐，提升审计业务整体质量。

附图说明

[0032] 为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0033] 图1为本申请实施例提供的一种推荐模型训练方法的流程图；

[0034] 图2为本申请实施例提供的一种进一步审计程序推荐方法的流程图；

[0035] 图3为本申请实施例提供的一种推荐模型训练装置的结构示意图；

[0036] 图4为本申请实施例提供的一种进一步审计程序推荐装置的结构示意图。

具体实施方式

[0037] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0038] 针对审计人员做出的审计分析结论采取进一步审计程序进行验证，能够保证审计人员提供的审计分析结论的准确性，为此，对进一步审计程序的选择成为保证审计分析结论准确性的关键点，目前基于审计人员人工选择进一步审计程序的方式，无法保证进一步审计程序选择的准确性，所以，本申请提供了一种推荐模型训练方法及一种进一步审计程序推荐方法、装置及设备，利用机器学习的方式对海量审计历史数据进行分析，建立推荐模型，利用大量样本对推荐模型进行训练，并利用经过训练的推荐模型实现进一步审计程序的推荐，与现有技术比较，能够更准确、更高效的完成进一步审计程序的推荐，提升审计业务整体质量。

[0039] 以下具体介绍本申请提供的一种推荐模型训练方法的实施例，参考图1，为本申请实施例提供的一种推荐模型训练方法的流程图，该方法具体包括：

[0040] S101：获取预设格式的审计历史数据。

[0041] 审计历史数据的范围很宽泛，通常可以包括企业内部审计工作底稿、事务所年报审计底稿、专项审计工作底稿等，本申请实施例中的审计历史数据可以指审计工作实务中涉及到的各种材料。

[0042] 由于审计历史数据的形式多种多样，所以审计历史数据的格式也是千差万别，通常可以包括Excel文档、Word文档、电子邮件、数据库等格式的审计历史数据。为了便于后续对审计历史数据的利用，本申请实施例需要对获取到的各种格式的审计历史数据进行整理，得到预设格式的审计历史数据。其中，预设格式可以包括Excel文档、Word文档等，具体的，根据审计历史数据中的内容进行格式的整理，可以将审计历史数据中的文字内容整理成Word文档，将表格内容整理成Excel文档等。

[0043] S102：从所述审计历史数据中，提取预设数据项分别对应的文本内容；其中，各个预设数据项分别对应的文本内容间具有对应关系，所述预设数据项包括审计分析结论和进一步审计程序。

[0044] 在获取到预设格式的审计历史数据后，对审计历史数据进行进一步的整理，具体的，从审计历史数据中提取预设数据项分别对应的文本内容。

[0045] 其中，预设数据项可以包括审计分析结论和进一步审计程序，审计分析结论为审计历史数据中审计人员实施风险评估程序和审计分析后得到的结论，例如，审计分析结论可以为“结算存在问题”、“投资回报率60％”、“违规发放个人差率费”等，其中，审计分析结论具有风险点，例如“结算存在问题”可能是由于原材料盘点错误导致，也可能是由于管理费结算出现问题等，所以，针对审计分析结论的各种风险点具有对应的进一步审计程序，例如对于原材料盘点错误可以重新对原材料进行核查，对于管理费结算出现问题可以重新核查管理费。上述只是几个简单的示例，事实上在审计实务中各种审计分析结论可以存在各种各样的风险点，为此需要采用各种进一步审计程序对其进行进一步审计。进一步审计程序是指为了保证审计人员得出的审计分析结论的准确性而针对风险点采取的进一步验证，其中，进一步审计程序的选择需要与风险点充分相关。

[0046] 实际应用中，首先对S101中获取到的预设格式的审计历史数据进行分词处理，得到经过分词处理后的审计历史数据。具体的，对中文进行分词处理一般采用双自然语言处理算法、结巴分词算法、哈工大LTP、中科院NLPIR等分词处理算法；对英文进行分词处理一般采用TF-IDF(词频-逆文本频率指数；term frequency–inverse document frequency)或BM25(Best Match 25)等算法。其次，预先为预设数据项分别设置第二关键词列表，其中，第二关键词列表中存储有各个预设数据项的检索关键词，通过检索关键词可以从审计历史数据中检索到预设数据项对应的文本内容。具体的，第二关键词列表可以以各个预设数据项与自身的检索关键词相对应的结构进行存储，例如以分别存储有预设数据项和检索关键词的两列表格进行存储。利用预设数据项的检索关键词，在经过分词处理后的审计历史数据中进行检索，得到各个数据项分别对应的文本内容。一种可选的实现方式中，将经过分词处理后的审计历史数据中与任一数据项的关键词匹配程度达到预设值的某段文本作为该数据项对应的文本内容。

[0047] 值得注意的是，还可以对各个预设数据项对应的文本内容进行去重，最终得到结构化数据。通过上述实现方式可以从审计历史数据中至少提取到审计分析结论和进一步审计程序分别对应的文本内容，且提取到审计分析结论和进一步审计程序分别对应的文本内容是以对应的关系进行存储，例如审计分析结论对应的文本内容为“由于原材料盘点错误导致结算存在问题”，进一步审计程序对应的文本内容为“重新对原材料进行核查”，具体的，将“由于原材料盘点错误导致结算存在问题”与“重新对原材料进行核查”以对应的关系进行存储。

[0048] 一种可选的实施方式中，预设数据项还可以包括审计查证事项，其中，审计查证事项用于描述审计业务场景。对于一个审计分析结论可以属于多个审计业务场景，属于不同审计业务场景的同一个审计分析结论对应不同的进一步审计程序，而在特定的审计业务场景下的审计分析结论能够对应更准确的进一步审计程序，所以，本申请实施例为了能够推荐出更准确的进一步审计程序，将审计查证事项也作为预设数据项，也其他预设数据项采用相同的方式获取对应的文本内容。另外，本申请实施例中还可以根据需求设置其他数据项，在此不再赘述。

[0049] S103：利用第一关键词列表，对提取到的各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；其中，所述第一关键词列表包括各个预设数据项分别对应的关键词。

[0050] 由于各个预设数据项对应的文本内容的来源不同，而不同的审计人员或其他工作人员的描述语言一般不同，所以，本申请实施例将各个预设数据项分别对应的文本内容进行抽象化处理，使得表达相同意思的文本内容使用统一的表述语言，得到更加规范化的文本描述。

[0051] 实际应用中，为各个预设数据项预先设置第一关键词列表，其中，第一关键词列表中存储有各个预设数据项分别对应的关键词，通过将关键词与对应预设数据项的文本内容进行比对，可以将预设数据项的文本内容进行抽象化处理，得到抽象化描述文本，目的是将描述语言不同但表达意思相同的文本内容使用统一的表述语言，使得文本描述更加规范化。具体的，第一关键词列表可以以各个预设数据项与自身的关键词相对应的结构进行存储，例如以分别存储有预设数据项和关键词的两列表格进行存储。具体的，第一关键词列表可以与第二关键词列表相同，即各个预设数据项的关键词与检索关键词相同；另外也可以不同。一种可选的实施方式中，每个预设数据项对应的关键词可以组成关键词组合(包括一个或多个关键词)，每个关键词组合对应一种抽象化描述文本，如果某个预设数据项对应的文本内容与该预设数据项中任一关键词组合匹配程度达到预设值，则将该关键词组合对应的抽象化描述文本代替原有文本内容，实现规范化的文本描述。例如，对于“对供应商实施函证”可以有以下三种表述：“对供应商发送函证，函证应付账款金额是否准确”“计划对账目余额超过50万的供应商发送询证函”“通过询证函核对相关科目余额是否真实存在、准确”，通过上述抽象化处理，可以统一表述为“对供应商实施函证”作为抽象化描述文本，实现规范化的文本描述。

[0052] 实际应用中，对各个预设数据项分别对应的文本内容进行抽象化处理后，可以将得到抽象化描述文本进行去重处理，使得数据更加精炼。

[0053] S104：利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，其中，所述推荐模型用于描述所述审计分析结论和所述进一步审计程序之间的关系。

[0054] 本申请实施例中，预先建立用于推荐进一步审计程序的推荐模型，具体的，可以通过建立具体的数学函数或模型，完成推荐模型的建立。其中，建立的推荐模型能够用于描述审计分析结论与进一步审计程序之间的关系，例如，对于某一审计分析结论选择某一进一步审计程序的概率或次数等。

[0055] 在建立推荐模型后，需要对该推荐模型进行训练。由于利用上述S101-S103能够从大量的审计历史数据中获取到审计分析结论与进一步审计程序分别对应的抽象化描述文本，所以，本申请实施例可以利用具有对应关系的抽象化描述文本作为推荐模型训练样本，实现对推荐模型的训练，使得经过训练的推荐模型能够用于准确描述审计分析结论与进一步审计程序之间的关系。

[0056] 一种可选的实施方式中，如果预设数据项除了包括审计分析结论和进一步审计程序，还包括审计查证事项，则利用从大量的审计历史数据中获取到的三者分别对应的抽象化描述文本作为推荐模型的训练样本，实现对推荐模型的训练，使得经过训练的推荐模型能够用于准确描述审计查证事项、审计分析结论与进一步审计程序之间的关系。

[0057] 实际应用中，经过上述方法进行训练的推荐模型能够用于审计工作中的进一步审计程序的推荐，以更准确、更高效的完成进一步审计程序的确定，提升审计业务整体质量。

[0058] 具体的，本申请实施例还提供了一种进一步审计程序的推荐方法，参考图2，在上述图1中的各个步骤的基础上，本申请实施例提供的进一步审计程序的推荐方法还包括S105，具体如下：S105：将任一审计分析结论和/或与所述审计分析结论对应的审计查证事项作为上述推荐模型训练方法中所述的经过训练的推荐模型的输入参数，经过所述推荐模型的处理后，输出与所述审计分析结论和/或与所述审计查证事项对应的进一步审计程序。

[0059] 本申请实施例中，在完成对推荐模型的训练后，可以利用经过训练的推荐模型实现进一步审计程序的推荐，由于该推荐模型经过了大量训练样本的训练，所以，利用该推荐模型推荐进一步审计程序能够达到更高效和更准确的目的，从整体上提升了审计业务的质量。

[0060] 实际应用中，如果推荐模型用于描述审计分析结论与进一步审计程序之间的关系，则可以将任一审计分析结论作为该推荐模型的输入参数，经过推荐模型的处理后，输出进一步审计程序，该进一步审计程序即为输入的审计分析结论采用的进一步审计程序。

[0061] 如果推荐模型用于描述审计查证事项、审计分析结论与进一步审计程序之间的关系，则可以将任一审计分析结论与该审计分析结论对应的审计查证事项作为该推荐模型的输入参数，经过推荐模型的处理后，输出进一步审计程序，该进一步审计程序即为输入的该审计查证事项下的审计分析结论采用的进一步审计程序。

[0062] 本申请实施例提供的推荐模型训练方法及进一步审计程序推荐方法中，利用机器学习的方式对海量审计历史数据进行分析，建立推荐模型，利用经过大量样本对推荐模型进行训练，并利用经过训练的推荐模型实现进一步审计程序的推荐，与现有技术比较，能够更准确、更高效的完成进一步审计程序的推荐，提升审计业务整体质量。

[0063] 一种可选的实施方式中，推荐模型的输出也可以是具有顺序关系的进一步审计程序组合，其中，进一步审计程序组合可以以进一步审计程序列表的形式存在，所谓进一步审计程序列表是指推荐模型可以通过为用户推荐多个进一步审计程序供用户选择采用。其中进一步审计程序列表中包括的进一步审计程序可以按照被采用的次数多少进行排序，被采用次数多的进一步审计程序优先供用户采用。另外，进一步审计程序组合也可以指一组具有执行先后顺序的进一步审计程序，在具体执行过程中将该组合中的各个进一步审计程序视同为一个程序，需要按照先后顺序一次性的完成执行。

[0064] 另外，本申请实施例还可以接收用户对推荐模型推荐的的进一步审计程序或进一步审计程序组合的排序进行调整，得到调整后的进一步审计程序或进一步审计程序组合。系统的评分模块首选对推荐模型推荐的进一步审计程序或进一步审计程序组合进行打分(即第一得分)，具体的打分规则包括但不限于如下方式：该推荐模型针对某一审计分析结论(或，审计分析结论与审计查证事项)推荐的某一特定进一步审计程序出现的次数与所有进一步审计程序或进一步审计程序组合的总次数的比值乘上100。当用户对推荐模型的推荐结果不满意时，也可以对进一步审计程序或进一步审计程序组合的排序进行调整并打分(即第二得分)，具体的打分规则包括但不限于如下方式：该推荐模型下用户选择的针对某一审计分析结论(或，审计分析结论与审计查证事项)的进一步审计程序或进一步审计程序组合出现的总次数与用户对该进一步审计程序或进一步审计程序组合调整的次数的比值的倒数乘上100。用户的打分可以对推荐模型的打分进行影响，实际应用中，分别收集上述得分，并根据具体情况人工为上述得分分别设置权重系数(第一权重系数和第二权重系数，两者之和为1)，计算最终的推荐排序得分，推荐模型为用户提供的具有顺序关系的进一步审计程序组合可以是推荐排序得分较高的几个进一步审计程序一种推荐排序得分的计算方法中，推荐排序得分＝第一得分*第一权重系数+第二得分*第二权重系数。

[0065] 利用上述方式，在利用推荐模型进行进一步审计程序的推荐时，推荐模型能够为用户推荐得分较高的前N个进一步审计程序，用户可以从中选择所需的进一步审计程序。

[0066] 与上述方法实施例相对应的，本申请还提供了一种进一步审计程序推荐装置，参考图3，为本申请实施例提供的一种进一步审计程序推荐装置的结构示意图，所述装置包括：

[0067] 获取模块201，用于获取预设格式的审计历史数据；

[0068] 提取模块202，用于从所述审计历史数据中，提取预设数据项分别对应的文本内容；其中，各个预设数据项分别对应的文本内容间具有对应关系，所述预设数据项包括审计分析结论和进一步审计程序；

[0069] 抽象化模块203，用于利用第一关键词列表，对提取到的各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；其中，所述第一关键词列表包括各个预设数据项分别对应的关键词；

[0070] 训练模块204，用于利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，其中，所述推荐模型用于描述所述审计分析结论和所述进一步审计程序之间的关系。

[0071] 所述预设数据项还包括审计查证事项，所述审计查证事项用于描述审计业务场景；相应的，所述推荐模型具体用于描述所述审计查证事项、所述审计分析结论和所述进一步审计程序之间的关系。

[0072] 所述提取模块，包括：

[0073] 分词处理子模块，用于对所述审计历史数据进行分词处理，得到经过分词处理后的审计历史数据；

[0074] 检索子模块，用于利用第二关键词列表，在所述经过分词处理后的审计历史数据中进行检索，得到各个预设数据项分别对应的文本内容；其中，所述第二关键词列表包括各个预设数据项分别对应的检索关键词。

[0075] 另外，在上述推荐模型训练装置的各个模块的基础上，本申请实施例还提供了一种进一步审计程序推荐装置，在推荐模型训练装置的各个模块的基础上，本申请实施例还包括推荐模块205，参考图4，为本申请实施例提供的进一步审计程序推荐装置的结构示意图。

[0076] 其中，推荐模块205，具体用于：

[0077] 将任一审计分析结论和\或与所述审计分析结论对应的审计查证事项作为上述任一项推荐模型训练装置中所述的经过训练的推荐模型的输入参数，经过所述推荐模型的处理后，输出与所述审计分析结论和所述审计查证事项对应的进一步审计程序。

[0078] 所述推荐模型输出的进一步审计程序包括具有顺序关系的进一步审计程序组合。

[0079] 本申请实施例提供的推荐模型训练装置及进一步审计程序推荐装置中，利用机器学习的方式对海量审计历史数据进行分析，建立推荐模型，利用经过大量样本训练对推荐模型进行训练，并利用经过训练的推荐模型实现进一步审计程序的推荐，与现有技术比较，能够更准确、更高效的完成进一步审计程序的推荐，提升审计业务整体质量。

[0080] 相应的，所述推荐模型训练装置和进一步审计程序推荐装置分别包括处理器和存储器，上述获取模块、提取模块、抽象化模块、训练模块和推荐模块等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

[0081] 处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来更准确、更高效的完成进一步审计程序的确定，提升审计业务整体质量。

[0082] 存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

[0083] 本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述推荐模型训练方法或进一步审计程序推荐方法。

[0084] 本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述推荐模型训练方法或进一步审计程序推荐方法。

[0085] 本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

[0086] 获取预设格式的审计历史数据；

[0087] 从所述审计历史数据中，提取预设数据项分别对应的文本内容；其中，各个预设数据项分别对应的文本内容具有对应关系，所述预设数据项包括审计分析结论和进一步审计程序；

[0088] 利用为所述预设数据项分别设置的第一关键词列表，对各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；

[0089] 利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，其中，所述推荐模型用于描述所述审计分析结论和所述进一步审计程序之间的关系；

[0090] 利用所述经过训练的推荐模型进行进一步审计程序的推荐。

[0091] 可选的，所述预设数据项还包括审计查证事项，所述审计查证事项用于描述审计业务场景；相应的，所述推荐模型具体用于描述所述审计查证事项、所述审计分析结论和所述进一步审计程序之间的关系。

[0092] 可选的，所述从所述审计历史数据中，提取预设数据项分别对应的文本内容，包括：

[0093] 对所述审计历史数据进行分词处理，得到经过分词处理后的审计历史数据；

[0094] 利用为预设数据项分别设置的第二关键词列表，在所述经过分词处理后的审计历史数据中进行检索，得到所述预设数据项分别对应的文本内容。

[0095] 本发明实施例还提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

[0096] 将任一审计分析结论和/或与所述审计分析结论对应的审计查证事项作为上述任一项推荐模型训练方法中所述的经过训练的推荐模型的输入参数，经过所述推荐模型的处理后，输出与所述审计分析结论和/或与所述审计查证事项对应的进一步审计程序。

[0097] 可选的，所述推荐模型输出的进一步审计程序包括具有顺序关系的进一步审计程序组合。

[0098] 本文中的设备可以是服务器、PC、PAD、手机等。

[0099] 本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

[0100] 获取预设格式的审计历史数据；

[0101] 从所述审计历史数据中，提取预设数据项分别对应的文本内容；其中，各个预设数据项分别对应的文本内容具有对应关系，所述预设数据项包括审计分析结论和进一步审计程序；

[0102] 利用为所述预设数据项分别设置的第一关键词列表，对各个预设数据项分别对应的文本内容进行抽象化处理，得到各个预设数据项分别对应的抽象化描述文本；

[0103] 利用各个预设数据项分别对应的抽象化描述文本，对预先建立的推荐模型进行训练，得到经过训练的推荐模型，其中，所述推荐模型用于描述所述审计分析结论和所述进一步审计程序之间的关系；

[0104] 利用所述经过训练的推荐模型进行进一步审计程序的推荐。

[0105] 本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

[0106] 将任一审计分析结论和/或与所述审计分析结论对应的审计查证事项作为上述任一项推荐模型训练方法中所述的经过训练的推荐模型的输入参数，经过所述推荐模型的处理后，输出与所述审计分析结论和/或与所述审计查证事项对应的进一步审计程序。

[0107] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0108] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0109] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0110] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0111] 在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

[0112] 存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

[0113] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

[0114] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

[0115] 本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0116] 以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。