基于虚拟现实和眼动技术的罪犯改造评估系统和方法

摘要

本发明公开了一种基于虚拟现实和眼动技术的罪犯改造系统和方法，所述方法包括：接收虚拟现实交互设备采集的罪犯在虚拟现实场景中交互过程中的互动信息，所述交互按照设定的互动环节进行；采用预先建立的决策树预测模型进行罪犯改造评估。本发明通过记录罪犯互动过程中的各种行为和特征信息，有效地对罪犯改造情况的做出评估，避免罪犯在改造过程中投机取巧而欺骗监狱警务人员，真实的反映出罪犯改造的情况。

权利要求

1.一种基于虚拟现实和眼动技术的罪犯改造评估系统，包括：虚拟现实交互设备和后台服务器，其中，

所述虚拟现实交互设备采集罪犯在虚拟现实场景中交互过程中的互动信息，并传输至所述后台服务器；所述交互按照设定的互动任务进行；

所述后台服务器接收所述互动信息，采用预先建立的决策树预测模型进行罪犯改造评估；

所述互动信息包括互动过程中针对每个互动任务互动的次数、频率、持续时间、总的持续时间在整个互动时间中所占的百分比，以及动作信息、情绪和眼动信息；所述眼动信息包括罪犯对模拟场景中各区域的关注度；

所述决策树的建立过程为：

分别选择同样人数的已知改造情况的改造优秀、良好、合格、不合格的四组罪犯，采用所述虚拟现实交互设备采集罪犯的互动信息作为训练集；

对所述互动信息进行量化并转换成特征向量数据：采用z‑score标准化算法对所采集和预处理的信息数据进行数据标准化处理，以解决数据指标之间的可比性，经过数据标准化处理后，各数据指标处于同一数量级，最后量化成特征向量数据；通过决策树算法训练预测模型。

2.如权利要求1所述的基于虚拟现实和眼动技术的罪犯改造评估系统，其特征在于，所述动作信息包括运动姿势。

3.如权利要求1所述的基于虚拟现实和眼动技术的罪犯改造评估系统，其特征在于，所述后台服务器中包含罪犯信息数据库，用于存储各罪犯的基本信息和测试数据。

4.一种基于虚拟现实和眼动技术的罪犯改造评估方法，其特征在于，包括以下步骤：接收虚拟现实交互设备采集的罪犯在虚拟现实场景中交互过程中的互动信息，所述交互按照设定的互动环节进行；

采用预先建立的决策树预测模型进行罪犯改造评估；

所述互动信息包括互动过程中针对每个互动任务互动的次数、频率、持续时间、总的持续时间在整个互动时间中所占的百分比，以及动作信息、情绪和眼动信息；所述眼动信息包括罪犯对模拟场景中各区域的关注度；

所述决策树的建立过程为：

分别选择同样人数的已知改造情况的改造优秀、良好、合格、不合格的四组罪犯，采用所述虚拟现实交互设备采集罪犯的互动信息作为训练集；

对所述互动信息进行量化并转换成特征向量数据：采用z‑score标准化算法对所采集和预处理的信息数据进行数据标准化处理，以解决数据指标之间的可比性，经过数据标准化处理后，各数据指标处于同一数量级，最后量化成特征向量数据；通过决策树算法训练预测模型。

5.一种基于虚拟现实和眼动技术的罪犯改造评估装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求4所述的方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时执行如权利要求4所述的基于虚拟现实和眼动技术的罪犯改造评估方法。

说明书

基于虚拟现实和眼动技术的罪犯改造评估系统和方法

技术领域

[0001] 本发明涉及监狱罪犯改造评估领域，尤其涉及基于VR互动和眼动技术的罪犯改造评估。

背景技术

[0002] 目前，罪犯的教育改造是我国监狱体质的核心部分和主要任务，通过监狱的教育改造系统，使得在押罪犯能够被改造成遵守法律、自食其力的良好公民。罪犯的教育改造是
一项繁琐复杂而艰巨的系统工程，同时对于罪犯改造情况的评估也是一项艰巨而有延续性
的工作，其对提升教育改造罪犯质量起着至关重要的作用。传统的罪犯改造评估主要有：一
是由监狱警务人员通过观察罪犯的改造表现和收集相关的情报进行综合评估，二是通过对
罪犯进行心理测试获取心理测试数据而进行评估。然而，在罪犯教育改造中，有相当一部分
罪犯由于改造意识淡化，不认罪服法和安心改造而是投机取巧并想方设法达到减刑、假释
的目的。针对这种情况传统的罪犯改造评估方法很难做出正确而有效的评估。

[0003] 随着科技的迅速发展，最近几年VR(虚拟现实)技术已经很成熟，相应的产品在人们日常生活中也越来越普及。VR相关产品主要是利用计算机生成一种模拟环境，是多源信
息融合的、交互式的三维动态视景和实体行为的系统仿真，可以模拟现实中的多种场景模
式。在计算机视觉技术的不断发展的过程中，眼动技术也得到深入的研究。目前市场上也有
将眼动技术和VR相结合的产品，可以捕捉用户的肢体和头部以及眼神等各种信息数据。心
理学上，在一定的环境场景中人的肢体和头部以及眼神等各种信息数据和人心里思想有着
一定的联系。

[0004] 如何更客观准确地进行罪犯改造评估，是本领域技术人员目前迫切解决的技术问题。

发明内容

[0005] 为克服上述现有技术的不足，本发明提供了一种基于虚拟现实和眼动技术的罪犯改造评估系统及方法，通过VR技术模拟多种日常生活场景，罪犯可以在模拟的VR场景中进
行互动。利用VR技术结合眼动技术记录罪犯互动过程中的各种行为和特征信息，针对采集
的信息采用数据挖掘进一步建模分析和预测，从而有效地对罪犯改造情况的做出评估，避
免罪犯在改造过程中投机取巧而欺骗监狱警务人员，真实的反映出罪犯改造的情况。

[0006] 为实现上述目的，本发明采用如下技术方案：

[0007] 一种基于虚拟现实和眼动技术的罪犯改造评估系统，包括：虚拟现实交互设备和后台服务器，其中，

[0008] 所述虚拟现实交互设备采集罪犯在虚拟现实场景中交互过程中的互动信息，并传输至所述后台服务器；所述交互按照设定的互动任务进行；

[0009] 所述后台服务器接收所述互动信息，采用预先建立的决策树预测模型进行罪犯改造评估。

[0010] 进一步地，所述互动信息包括互动过程中针对每个互动任务互动的次数、频率、持续时间、总的持续时间在整个互动时间中所占的百分比，以及动作信息、情绪和眼动信息。

[0011] 进一步地，所述动作信息包括运动姿势。

[0012] 进一步地，所述眼动信息包括罪犯对模拟场景中各区域的关注度。

[0013] 进一步地，所述后台服务器中包含罪犯信息数据库，用于存储各罪犯的基本信息和测试数据。

[0014] 进一步地，所述决策树的建立过程为：

[0015] 分别选择同样人数的已知改造情况的改造优秀、良好、合格、不合格的四组罪犯，采用所述虚拟现实交互设备采集罪犯的互动信息作为训练集；

[0016] 对所述互动信息进行量化并转换成特征向量数据；

[0017] 通过决策树算法训练预测模型。

[0018] 根据本发明的第二目的，本发明还提供了一种基于虚拟现实和眼动技术的罪犯改造方法，包括以下步骤：

[0019] 接收虚拟现实交互设备采集的罪犯在虚拟现实场景中交互过程中的互动信息，所述交互按照设定的互动环节进行；

[0020] 采用预先建立的决策树预测模型进行罪犯改造评估。

[0021] 进一步地，所述决策树的建立过程为：

[0022] 分别选择同样人数的已知改造情况的改造优秀、良好、合格、不合格的四组罪犯，采用所述虚拟现实交互设备采集罪犯的互动信息作为训练集；

[0023] 对所述互动信息进行量化并转换成特征向量数据；

[0024] 通过决策树算法训练预测模型。

[0025] 根据本发明的第三目的，本发明还提供了一种基于虚拟现实和眼动技术的罪犯改造评估装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所
述处理器执行所述程序时实现所述的方法。

[0026] 根据本发明的第四目的，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行所述的基于虚拟现实和眼动技术的罪犯改造评估
方法。

[0027] 本发明的有益效果

[0028] 1、本发明通过虚拟现实设备采集动作、情绪和眼动信息，能够从多个角度反映罪犯的心理状态，因此本发明的评估结果相较于传统的直接观察或心理测试，更具真实性。

[0029] 2、本发明通过虚拟现实设备结合眼动技术采集罪犯互动信息数据，并应用预测模型对互动信息数据进行分析预测评估出罪犯的改造情况，从而有效地避免罪犯由于改造意
识淡化、不认罪服法和安心改造，而是投机取巧并想方设法去应付监狱的教育改造而达到
减刑、假释的目的，真实的反映出罪犯改造的情况，从而解决现有罪犯改造评估方法的不足
之处。

附图说明

[0030] 构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

[0031] 图1为基于虚拟现实和眼动技术的罪犯改造评估的整体结构图。

具体实施方式

[0032] 应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常
理解的相同含义。

[0033] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式
也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包
括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

[0034] 在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

[0035] 由于监狱的封闭式环境，罪犯服刑期间很难接触社会环境，所以很多罪犯对日益改变的社会环境很陌生。本发明采用VR技术模拟社会中的日常生活多种场景，包括交通场
景(飞机站、火车站、汽车站、地铁站、公交站等)、购物场景(大型商场、电商模拟场景等)、社
交场景(微信、QQ等)等现代社会特色代表的场景，在每种场景中按照需求设置相对应模拟
现实生活中的交互环节，使得罪犯可以在模拟场景中进行互动实现智能交互。

[0036] 本发明利用VR技术模拟各种现实生活场景，通过前端VR设备可以让罪犯在模拟场景中进行智能交互，并采集罪犯互动过程的眼神信号、对模拟场景中各区域的关注度、动
作、运动姿势、情绪、各种互动的次数、频率、持续时间、总的持续时间在整个互动时间中所
占的百分比等数据信息，利用决策树算法对已知数据信息进行预测模型的建模分析，对采
集的罪犯互动信息数据应用预测模型进行预测，从而对罪犯的改造情况进行评估。

[0037] 实施例一

[0038] 本实施例公开了一种基于虚拟现实和眼动技术的罪犯改造评估系统，包括头戴式虚拟现实交互设备和后台服务器。

[0039] 头戴式虚拟现实交互设备，包括：

[0040] 场景显示装置，用于显示虚拟现实交互场景以及互动任务；罪犯按照设定的互动任务与所述场景进行交互。

[0041] 行为采集装置，用于采集罪犯在虚拟现实场景中交互过程中的动作图像，并传输至数据处理装置；

[0042] 面部采集装置，用于采集罪犯在虚拟现实场景中交互过程中的面部图像，并传输至数据处理装置；

[0043] 眼动跟踪装置，用于采集罪犯在虚拟现实场景中交互过程中的眼球图像，并传输至数据处理装置；

[0044] 数据处理装置，用于接收针对虚拟现实交互场景的选择并输出至所述场景显示装置；

[0045] 接收所述行为采集装置传输的罪犯动作图像，并基于头部和肢体等特征分析所述罪犯的动作信息，以及操作指令；

[0046] 根据所述操作指令和互动任务，分析互动过程中针对每个互动任务互动的次数、频率、持续时间、总的持续时间在整个互动时间中所占的百分比；具体地，整个互动时间为
罪犯每次互动的总的持续时间，互动次数表示整个互动时间内单个互动任务的互动次数，
持续时间表示单个互动任务的单次互动时间，总的持续时间表示单个互动任务互动多次的
总时间。

[0047] 接收所述行为采集装置传输的罪犯面部图像数据，并基于所述面部图像数据分析所述罪犯的情绪；

[0048] 接收所述行为采集装置传输的罪犯眼球图像数据，并基于图像处理技术来提取罪犯的眼球瞳孔的特征，通过这些特征实时计算罪犯对模拟场景中各区域的关注度；

[0049] 后台服务器，包括：

[0050] 数据采集装置，通过无线网络实时采集前端VR交互设备记录的信息数据，并对采集的信息数据进行预处理去掉噪声和某些不相关的或者冗余的信息，将预处理完的信息数
据存入罪犯信息数据库；所述罪犯信息数据库按照罪犯信息数据不同的属性建立不同的数
据表头，包括罪犯姓名、罪犯测试次数、罪犯的眼神信号、罪犯对场景各区域的关注度、罪犯
的动作、罪犯的运动姿势、罪犯的情绪以及各种互动的次数、频率、持续时间、总的持续时间
在整个互动时间中所占的百分比，罪犯信息数据库不仅可以为后续的数据分析和建模提供
数据，还可以方便监狱警务人员进行实时查询。

[0051] 罪犯改造评估装置，采集服刑的罪犯在VR场景中的互动数据，应用已建立的预测模型对采集的数据进行预测，从而评估出罪犯的改造情况并给出评估结果(优秀、良好、合
格、不合格)。

[0052] 所述预测模型的训练过程如下：采用决策树算法根据已知罪犯互动信息数据预先建立一个预测模型。

[0053] 确定训练集：根据已知罪犯改造的情况分别选择同样人数的改造优秀、良好、合格、不合格的罪犯，让他们在本发明的基于VR互动结合眼动技术的罪犯改造评估系统建立
的模拟场景中进行互动，从而采集罪犯的互动信息数据作为训练集；所述互动信息数据包
括：记录罪犯的动作、运动姿势、情绪等各种信息，并统计各种互动的次数、频率、持续时间、
总的持续时间在整个互动时间中所占的百分比等，以及罪犯对模拟场景中各区域的关注
度；

[0054] 数据转换：对于罪犯在模拟场景互动中所采集和预处理的信息数据，由于其数据属于不同量纲的数据，需要进行数据转换。本发明采用z‑score标准化(zero‑mean 
normalization)算法对所采集和预处理的信息数据进行数据标准化处理，以解决数据指标
之间的可比性，经过数据标准化处理后，各数据指标处于同一数量级，最后量化成特征向量
数据；

[0055] 预测模型训练：通过决策树算法训练预测模型使得模型有较好的鲁棒性。

[0056] 本发明采用目前主流的VR头盔并结合眼动技术形成前端VR交互设备，前端VR交互设备可以通过无线网络向后台实时传输数据。本发明的前端VR交互设备可以让罪犯在已建
立的模拟场景中按照设定的互动环节进行交互，例如，在火车站场景中罪犯可以通过VR交
互设备在场景中模拟购买火车票并取票、安检进站、按照车票信息上车、下车出站等。罪犯
在模拟场景中进行智能交互过程中，本发明的VR交互设备不仅可以记录记录罪犯的动作、
运动姿势、情绪等各种信息，并统计各种互动的次数、频率、持续时间、总的持续时间在整个
互动时间中所占的百分比等，而且本发明还利用眼动技术捕捉罪犯互动过程中的眼神信
号，并实时统计出罪犯对模拟场景中各区域的关注度。

[0057] 实施例二

[0058] 本实施例提供了一种基于虚拟现实和眼动技术的罪犯改造评估方法，包括以下步骤：

[0059] 接收虚拟现实交互设备采集的罪犯在虚拟现实场景中交互过程中的互动信息，所述交互按照设定的互动环节进行；

[0060] 采用预先建立的决策树预测模型进行罪犯改造评估。

[0061] 所述决策树的建立过程为：

[0062] 分别选择同样人数的已知改造情况的改造优秀、良好、合格、不合格的四组罪犯，采用所述虚拟现实交互设备采集罪犯的互动信息作为训练集；

[0063] 对所述互动信息进行量化并转换成特征向量数据；

[0064] 通过决策树算法训练预测模型。

[0065] 实施例三

[0066] 本实施例的目的是提供一种计算装置。

[0067] 一种基于虚拟现实和眼动技术的罪犯改造评估装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步
骤，包括：

[0068] 接收虚拟现实交互设备采集的罪犯在虚拟现实场景中交互过程中的互动信息，所述交互按照设定的互动环节进行；

[0069] 采用预先建立的决策树预测模型进行罪犯改造评估。

[0070] 所述决策树的建立过程为：

[0071] 分别选择同样人数的已知改造情况的改造优秀、良好、合格、不合格的四组罪犯，采用所述虚拟现实交互设备采集罪犯的互动信息作为训练集；

[0072] 对所述互动信息进行量化并转换成特征向量数据；

[0073] 通过决策树算法训练预测模型。

[0074] 实施例四

[0075] 本实施例的目的是提供一种计算机可读存储介质。

[0076] 一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行以下步骤：

[0077] 接收虚拟现实交互设备采集的罪犯在虚拟现实场景中交互过程中的互动信息，所述交互按照设定的互动环节进行；

[0078] 采用预先建立的决策树预测模型进行罪犯改造评估。

[0079] 所述决策树的建立过程为：

[0080] 分别选择同样人数的已知改造情况的改造优秀、良好、合格、不合格的四组罪犯，采用所述虚拟现实交互设备采集罪犯的互动信息作为训练集；

[0081] 对所述互动信息进行量化并转换成特征向量数据；

[0082] 通过决策树算法训练预测模型。

[0083] 以上实施例二、三和四涉及的各步骤与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的
单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载
用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

[0084] 本发明提供一种基于VR互动结合眼动技术的罪犯改造评估系统及方法通过VR设备结合眼动技术采集罪犯互动信息数据，并应用预测模型对互动信息数据进行分析预测评
估出罪犯的改造情况，从而有效地避免罪犯由于改造意识淡化、不认罪服法和安心改造，而
是投机取巧并想方设法去应付监狱的教育改造而达到减刑、假释的目的，真实的反映出罪
犯改造的情况，从而解决现有罪犯改造评估方法的不足之处。

[0085] 本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储
在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们
中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和
软件的结合。

[0086] 上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不
需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。