动作学习装置、技能判别装置以及技能判别系统

摘要

具有：第1动作特征提取部(102)，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取熟练作业者和一般作业者的动作的轨迹特征；动作特征学习部(103)，其对与从提取出的轨迹特征中决定的作为基准的轨迹特征相似的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图，根据生成的直方图进行用于确定熟练动作的轨迹特征的判别学习；以及判别函数生成部(104)，其参照判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数。

权利要求

1.一种动作学习装置，该动作学习装置具有：

第1动作特征提取部，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取所述熟练作业者和所述一般作业者的动作的轨迹特征；

动作特征学习部，其对与从所述第1动作特征提取部提取出的所述轨迹特征中决定的作为基准的轨迹特征相似的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图，根据生成的所述直方图进行用于确定熟练动作的轨迹特征的判别学习；以及判别函数生成部，其参照所述动作特征学习部的判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数。

2.根据权利要求1所述的动作学习装置，其特征在于，

所述动作特征学习部使用所述熟练作业者组的直方图和所述一般作业者组的直方图，计算使得所述熟练作业者组与所述一般作业者组之间的方差最大且各组内的方差最小的投影轴，生成所述判别函数。

3.根据权利要求1所述的动作学习装置，其特征在于，

所述动作特征学习部使用基于机器学习的判别器进行所述判别学习。

4.根据权利要求1所述的动作学习装置，其特征在于，

所述动作学习装置具有部位检测部，该部位检测部根据所述动态图像数据检测所述熟练作业者和所述一般作业者被拍摄到的部位，所述第1动作特征提取部按照所述检测出的每个部位提取所述轨迹特征，所述动作特征学习部按照所述部位检测部检测出的每个部位生成所述直方图而进行所述判别学习，所述判别函数生成部按照所述检测出的每个部位生成所述判别函数。

5.根据权利要求3所述的动作学习装置，其特征在于，

所述动作特征学习部追加稀疏正则化项，进行使用所述判别器的所述判别学习。

6.一种技能判别装置，该技能判别装置具有：

第2动作特征提取部，其从拍摄作为评价对象的作业者的作业而得到的动态图像数据中提取该作为评价对象的作业者的动作的轨迹特征，使用预先决定的作为基准的轨迹特征对所述提取出的所述作为评价对象的作业者的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图；

技能判别部，其使用预先求出的判别熟练动作的判别函数，根据所述第2动作特征提取部生成的直方图判别所述作为评价对象的作业者的动作是否熟练；以及显示控制部，其根据所述技能判别部的判别结果，在所述作为评价对象的作业者的动作熟练的情况下，进行显示针对熟练作业者的信息的控制，在所述作为评价对象的作业者的动作不熟练的情况下，进行显示针对一般作业者的信息的控制。

7.一种技能判别系统，该技能判别系统具有：

第1动作特征提取部，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取所述熟练作业者和所述一般作业者的动作的第1轨迹特征；

动作特征学习部，其从所述第1动作特征提取部提取出的所述第1轨迹特征中决定作为基准的轨迹特征，对与所决定的作为基准的轨迹特征相似的所述第1轨迹特征进行分类，根据分类后的所述第1轨迹特征的出现频度生成直方图，根据该直方图进行用于确定熟练动作的轨迹特征的判别学习；

判别函数生成部，其参照所述动作特征学习部的判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数；

第2动作特征提取部，其从拍摄作为评价对象的作业者的作业而得到的动态图像数据中提取所述作为评价对象的作业者的动作的第2轨迹特征，使用所述动作特征学习部决定的所述作为基准的轨迹特征对所述第2轨迹特征进行分类，根据分类后的所述第2轨迹特征的出现频度生成直方图；

技能判别部，其使用所述判别函数生成部生成的所述判别函数，根据所述第2动作特征提取部生成的直方图判别所述作业中的作业者的动作是否熟练；以及显示控制部，其根据所述技能判别部的判别结果，在所述作业中的作业者的动作熟练的情况下，进行显示针对所述熟练作业者的信息的控制，在所述作业中的作业者的动作不熟练的情况下，进行显示针对所述一般作业者的信息的控制。

说明书

动作学习装置、技能判别装置以及技能判别系统

技术领域

[0001] 本发明涉及根据动态图像数据对评价对象者的动作进行评价的技术。

背景技术

[0002] 为了提高在工厂等进行作业的作业者的作业效率，要求如下的体系构建：提取熟练的作业者(下面记作熟练作业者)的技能，传承给非熟练得作业者即一般的作业者(下面记作一般作业者)。具体地，在熟练作业者的动作中检测与一般作业者不同的动作，将检测出的动作示教给一般作业者，由此，辅助提高一般作业者的技能。

[0003] 例如，在专利文献1公开的动作特征提取装置中，拍摄从事某一作业工序的熟练作业者的姿势，以相同的摄影角度拍摄从事同一作业工序的一般作业者的姿势，提取一般作业者的异常动作。更具体地，从熟练作业者的动态图像数据中提取立体高阶自相关(CHLAC)特征，从一般作业者的评价对象图像中提取CHLAC特征，根据提取出的CHLAC特征的相关关系，提取一般作业者的异常动作。

[0004] 现有技术文献

[0005] 专利文献

[0006] 专利文献1：日本特开2011-133984号公报

发明内容

[0007] 发明要解决的问题

[0008] 但是，在上述的专利文献1公开的技术中，关于动态图像数据中的动作特征，存在需要准备多个CHLAC特征这样的固定的遮掩模式(mask pattern)，需要用户设计针对熟练作业者的动作的遮掩模式这样的问题。

[0009] 本发明正是为了解决如上所述的问题而完成的，其目的在于，不需设计针对熟练作业者的动作的遮掩模式，即可得到用于根据从动态图像数据中提取出的熟练作业者的动作判别作为评价对象的作业者的技能的指标。

[0010] 用于解决问题的手段

[0011] 本发明的发明的动作学习装置具有：第1动作特征提取部，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取熟练作业者和一般作业者的动作的轨迹特征；动作特征学习部，其对与从第1动作特征提取部提取出的轨迹特征中决定的作为基准的轨迹特征相似的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图，根据生成的直方图进行用于确定熟练动作的轨迹特征的判别学习；以及判别函数生成部，其参照动作特征学习部的判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数。

[0012] 发明效果

[0013] 根据本发明，能够从动态图像数据中提取熟练作业者的熟练动作，能够得到用于根据提取出的动作判别作为评价对象的作业者的技能的指标。

附图说明

[0014] 图1是示出实施方式1的技能判别系统的结构的框图。

[0015] 图2A、图2B是实施方式1的动作学习装置的硬件结构。

[0016] 图3A、图3B是示出实施方式1的技能判别装置的硬件结构例的图。

[0017] 图4是示出实施方式1的动作学习装置的动作的流程图。

[0018] 图5是示出实施方式1的技能判别装置的动作的流程图。

[0019] 图6A、图6B、图6C、图6D是示出实施方式1的动作学习装置的处理的说明图。

[0020] 图7是示出实施方式1的技能判别装置的判别结果的显示例的图。

[0021] 图8是示出实施方式2的技能判别系统的结构的框图。

[0022] 图9是示出实施方式2的动作学习装置的动作的流程图。

[0023] 图10是示出实施方式2的技能判别装置的动作的流程图。

[0024] 图11是示出在实施方式1的动作学习装置中追加稀疏正则化项时的效果的图。

具体实施方式

[0025] 下面，为了更详细地说明本发明，参照附图说明用于实施本发明的方式。

[0026] 实施方式1

[0027] 图1是示出本发明的实施方式1的技能判别系统的结构的框图。

[0028] 技能判别系统由动作学习装置100和技能判别装置200构成。动作学习装置100分析熟练的作业者(下面记作熟练作业者)和非熟练的作业者即一般的作业者(下面记作一般作业者)的动作特征差异，生成用于判别作为评价对象的作业者的技能的函数。在此，设作为评价对象的作业者包含熟练作业者和一般作业者。技能判别装置200使用由动作学习装置100生成的函数，判别作为评价对象的作业者的技能是否熟练。

[0029] 动作学习装置100构成为具有动态图像数据库101、第1动作特征提取部102、动作特征学习部103以及判别函数生成部104。

[0030] 动态图像数据库101是存储有拍摄多个熟练作业者和多个一般作业者的作业状态而得到的动态图像数据的数据库。第1动作特征提取部102从动态图像数据库101中存储的动态图像数据中提取熟练作业者和一般作业者的动作的轨迹特征。第1动作特征提取部102将提取出的动作的轨迹特征输出给动作特征学习部103。

[0031] 动作特征学习部103根据第1动作特征提取部102提取出的动作的轨迹特征，决定作为基准的动作的轨迹特征。动作特征学习部103根据作为基准的动作的轨迹特征，进行用于确定熟练动作的轨迹特征的判别学习。动作特征学习部103生成记述有所决定的作为基准的动作的轨迹特征的动作特征辞典，并存储到技能判别装置200的动作特征辞典存储部202。并且，动作特征学习部103将判别学习的结果输出给判别函数生成部104。判别函数生成部104参照动作特征学习部103的学习结果，生成用于判别作为评价对象的作业者的技能是否熟练的函数(下面记作判别函数)。判别函数生成部104将生成的判别函数蓄积到技能判别装置200的判别函数蓄积部204。

[0032] 技能判别装置200由图像信息取得部201、动作特征辞典存储部202、第2动作特征提取部203、判别函数蓄积部204、技能判别部205以及显示控制部206构成。并且，技能判别装置200与摄像机300和显示装置400连接，摄像机300拍摄作为评价对象的作业者的作业，显示装置400根据技能判别装置200的显示控制来显示信息。

[0033] 图像信息取得部201取得摄像机300拍摄作为评价对象的作业者的作业状态而得到的动态图像数据(下面称作评价对象的动态图像数据)。图像信息取得部201将取得的动态图像数据输出给第2动作特征提取部203。在动作特征辞典存储部202中存储有记述有从动作学习装置100输入的作为基准的动作的轨迹特征的动作特征辞典。

[0034] 第2动作特征提取部203参照动作特征辞典存储部202中存储的动作特征辞典，从图像信息取得部201取得的评价对象的动态图像数据中提取动作的轨迹特征。第2动作特征提取部203将提取出的动作的轨迹特征输出给技能判别部205。判别函数蓄积部204是蓄积动作学习装置100的判别函数生成部104生成的判别函数的区域。技能判别部205使用判别函数蓄积部204中蓄积的判别函数，根据第2动作特征提取部203提取出的动作的轨迹特征，判别作为评价对象的作业者的技能是否熟练。技能判别部205将判别结果输出给显示控制部206。显示控制部206按照技能判别部205的判别结果，决定应显示给作为评价对象的作业者的信息作为辅助信息。显示控制部206对显示装置400进行用于显示所决定的信息的显示控制。

[0035] 下面，说明动作学习装置100和技能判别装置200的硬件结构例。

[0036] 首先，对动作学习装置100的硬件结构例进行说明。

[0037] 图2A、图2B是示出实施方式1的动作学习装置100的硬件结构例的图。

[0038] 动作学习装置100中的第1动作特征提取部102、动作特征学习部103以及判别函数生成部104的各功能通过处理电路来实现。即，动作学习装置100具有用于实现上述各功能的处理电路。该处理电路可以如图2A所示是作为专用硬件的处理电路100a，也可以如图2B所示是执行存储器100c中存储的程序的处理器100b。

[0039] 如图2A所示，在第1动作特征提取部102、动作特征学习部103以及判别函数生成部104是专用硬件的情况下，处理电路100a例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC(application specific integrated circuit：面向特定用途的集成电路)、FPGA(field-programmable gate array：现场可编程门阵列)或者它们的组合。也可以是，通过处理电路分别实现第1动作特征提取部102、动作特征学习部103以及判别函数生成部104的各部的功能，还可以通过一个处理电路统一实现各部的功能。

[0040] 如图2B所示，在第1动作特征提取部102、动作特征学习部103以及判别函数生成部104是处理器100b的情况下，各部的功能通过软件、固件或者软件与固件的组合来实现。软件或者固件被记作程序并存储在存储器100c中。处理器100b通过读出并执行存储器100c中存储的程序，实现第1动作特征提取部102、动作特征学习部103以及判别函数生成部104的各功能。即，动作特征提取部、动作特征学习部103以及判别函数生成部104具有用于存储在由处理器100b执行时结果是执行后述的图4所示的各步骤的程序的存储器100c。并且，也可以说这些程序使计算机执行第1动作特征提取部102、动作特征学习部103以及判别函数生成部104的步骤或者方法。

[0041] 其中，处理器100b例如是CPU(Central Processing Unit：中央处理单元)、处理装置、运算装置、处理器、微处理器、微计算机或者DSP(Digital Signal Processor：数字信号处理器)等。

[0042] 存储器100c例如可以是RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory：可擦除可编程只读存储器)、EEPROM(Electrically EPROM：电可擦除可编程只读存储器)等非易失性或者易失性的半导体存储器，也可以是硬盘、软盘等磁盘，还可以是迷你盘、CD(Compact Disk：紧凑盘)、DVD(Digital Versatile Disk：数字多功能盘)等光盘。

[0043] 另外，关于第1动作特征提取部102、动作特征学习部103以及判别函数生成部104的各功能，还可以是一部分由专用硬件实现，一部分由软件或者固件实现。这样，动作学习装置100中的处理电路100a能够通过硬件、软件、固件或者它们的组合，实现上述的各功能。

[0044] 下面，对技能判别装置200的硬件结构例进行说明。

[0045] 图3A、图3B是示出实施方式1的技能判别装置200的硬件结构例的图。

[0046] 技能判别装置200中的图像信息取得部201、第2动作特征提取部203、技能判别部205以及显示控制部206的各功能通过处理电路来实现。即，技能判别装置200具有用于实现上述各功能的处理电路。该处理电路可以如图3A所示是作为专用硬件的处理电路200a，也可以如图3B所示是执行存储器200c中存储的程序的处理器200b。

[0047] 如图3A所示，在图像信息取得部201、第2动作特征提取部203、技能判别部205以及显示控制部206是专用硬件的情况下，处理电路200a例如是单一电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC、FPGA或者它们的组合。也可以是，通过处理电路分别实现图像信息取得部201、第2动作特征提取部203、技能判别部205以及显示控制部206的各部的功能，还可以通过一个处理电路统一实现各部的功能。

[0048] 如图3B所示，在图像信息取得部201、第2动作特征提取部203、技能判别部205以及显示控制部206是处理器200b的情况下，各部的功能通过软件、固件或者软件与固件的组合来实现。软件或者固件被记作程序并存储在存储器200c中。处理器200b通过读出并执行存储器200c中存储的程序，实现图像信息取得部201、第2动作特征提取部203、技能判别部205以及显示控制部206的各功能。即，图像信息取得部201、第2动作特征提取部203、技能判别部205以及显示控制部206具有用于存储在由处理器200b执行时结果是执行后述的图5所示的各步骤的程序的存储器200c。并且，也可以说这些程序使计算机执行图像信息取得部201、第2动作特征提取部203、技能判别部205以及显示控制部206的步骤或者方法。

[0049] 另外，关于图像信息取得部201、第2动作特征提取部203、技能判别部205以及显示控制部206的各功能，还可以是一部分由专用硬件实现，一部分由软件或者固件实现。这样，技能判别装置200中的处理电路200a能够通过硬件、软件、固件或者它们的组合，实现上述的各功能。

[0050] 下面，对动作学习装置100的动作和技能判别装置200的动作进行说明。首先对动作学习装置100的动作进行说明。

[0051] 图4是示出实施方式1的动作学习装置100的动作的流程图。

[0052] 第1动作特征提取部102从动态图像数据库101读出拍摄熟练作业者和一般作业者的动作而得到的动态图像数据(步骤ST1)。第1动作特征提取部102从在步骤ST1中读出的动态图像数据中提取动作的轨迹特征(步骤ST2)。第1动作特征提取部102将提取出的轨迹特征输出给动作特征学习部103(步骤ST3)。

[0053] 对上述步骤ST2的处理进行详细说明。

[0054] 第1动作特征提取部102追随动态图像数据的特征点，提取某一固定值以上的帧数的特征点的坐标的变迁作为轨迹特征。并且，第1动作特征提取部102除坐标的变迁外，还可以追加提取动态图像数据的特征点周边的边缘信息、光流的直方图或者光流的一次微分的直方图中的至少任意一方。在这种情况下，第1动作特征提取部102提取整合在坐标的变迁的基础上得到的信息的数值信息，作为轨迹特征。

[0055] 动作特征学习部103从在步骤ST2中提取出的轨迹特征中决定作为基准的多个轨迹特征(步骤ST3)。动作特征学习部103使用在步骤ST3中决定的作为基准的多个轨迹特征生成动作特征辞典，存储到技能判别装置200的动作特征辞典存储部202(步骤ST4)。

[0056] 在步骤ST4中生成动作特征辞典时，可以应用根据k-means算法等分类手法将各分类器的中央值作为基准轨迹特征的方法。

[0057] 动作特征学习部103使用在步骤ST3中决定的作为基准的轨迹特征，将在步骤ST2中提取出的各轨迹特征按照相似的轨迹特征彼此进行分类(步骤ST5)。

[0058] 在步骤ST5的处理中，动作特征学习部103首先将在步骤ST2中提取出的各轨迹特征向量化。然后，动作特征学习部103根据各轨迹特征的向量与在步骤ST3中决定的作为基准的轨迹特征的向量的距离，判定各轨迹特征是否与作为基准的轨迹特征相似。动作特征学习部103根据是否相似的判定结果，进行各轨迹特征的分类。

[0059] 动作特征学习部103根据步骤ST5的分类结果，生成与相似的轨迹特征的出现频度对应的直方图(步骤ST6)。在步骤ST6的处理中，按照熟练作业者组和一般作业者组分别生成直方图。动作特征学习部103根据在步骤ST6中生成的直方图，进行用于确定熟练动作的轨迹特征的判别学习(步骤ST7)。动作特征学习部103根据步骤ST7的判别学习的判别结果，生成朝向与作业者的熟练程度对应的轴的映射变换矩阵(步骤ST8)。动作特征学习部103将在步骤ST8中生成的映射变换矩阵输出给判别函数生成部104。

[0060] 判别函数生成部104根据在步骤ST8中生成的映射变换矩阵，生成表示用于识别作为评价对象的作业者的动作是否是熟练动作的边界的判别函数(步骤ST9)。具体地，在步骤ST9中，判别函数生成部104在根据映射变换矩阵而转换的轴中，设计识别熟练动作和一般动作的线性识别函数。判别函数生成部104将在步骤ST9中生成的判别函数蓄积到技能判别装置200的判别函数蓄积部204(步骤ST10)，结束处理。在步骤ST10中蓄积的作为线性识别函数的判别函数如果是“0”以上，则表示作为评价对象的作业者的动作是熟练动作，如果小于“0”，则表示作为评价对象的作业者的动作是不熟练的一般动作。

[0061] 对上述的步骤ST7和步骤ST8的处理进行详细说明。

[0062] 动作特征学习部103使用在步骤ST6中生成的直方图进行判别分析，计算使得熟练作业者组与一般作的作业者组的等级之间的方差最大且各等级内的方差最小的投影轴，决定判别边界。动作特征学习部103的运算将用下面的式(1)表示的裂纹(fissure)的评价基准最大化。

[0063] JS(A)＝AtSBA/AtSWA   (1)

[0064] 在式(1)中，SB表示等级间方差，SW表示等级内方差。并且，在式(1)中，A是将直方图转换成一维数值的矩阵，即上述的映射变换矩阵。

[0065] 使式(1)的JS(A)最大化的A，按照拉格朗日未定乘数法，转变成求出下面的式(2)中的极值的问题。

[0066] JS(A)＝AtSBA-λ(AtSBA-I)   (2)

[0067] 在式(2)中，I表示单位矩阵。在对式(2)进行偏微分并展开时成为(S-1W SB-λI)A＝0，A能够作为与S-1W SB的最大固有值对应的固有向量求出。求出的固有向量能够作为映射变换矩阵进行处理。

[0068] 另外，此时，也可以利用使用主成分分析预先计算数据的方差较大的轴，进行为了压缩维数而转换成主成分的处理，然后进行判别分析或SVM(Support Vector Machine)等的判别器。由此，动作特征学习部103能够检测熟练作业者组与一般作业者组的方差最大的轴，得到对判别是熟练动作还是一般动作有用的轨迹。即，动作特征学习部103能够确定表示熟练动作的轨迹，能够将该轨迹可视化。

[0069] 这样，动作特征学习部103进行将直方图的判别分析结果为熟练作业者组与一般作业者组的等级之间的方差最大的轴作为固有向量的特异值分析，计算与固有向量对应的映射变换矩阵。动作特征学习部103将计算出的映射变换矩阵作为熟练成分转换矩阵输出给判别函数生成部104。

[0070] 下面，对技能判别装置200的动作进行说明。

[0071] 图5是示出实施方式1的技能判别装置200的动作的流程图。

[0072] 在图像信息取得部201取得拍摄作为评价对象的作业者的作业状态而得到的动态图像数据时(步骤ST21)，第2动作特征提取部203提取在步骤ST21中得到的动态图像数据的动作的轨迹特征(步骤ST22)。第2动作特征提取部203参照动作特征辞典存储部202中存储的动作特征辞典，对提取出的轨迹特征进行分类，生成与出现频度对应的直方图(步骤ST23)。第2动作特征提取部203将在步骤ST23中生成的直方图输出给技能判别部205。

[0073] 技能判别部205通过判别函数蓄积部204中蓄积的判别函数，根据在步骤ST23中生成的直方图判别作为评价对象的作业者的技能是否熟练(步骤ST24)。技能判别部205将判别结果输出给显示控制部206。显示控制部206在作为评价对象的作业者的技能熟练的情况下(步骤ST24：是)，对显示装置400进行用于显示针对熟练作业者的信息的显示控制(步骤ST25)。另一方面，显示控制部206在作为评价对象的作业者的技能不熟练的情况下(步骤ST24：否)，对显示装置400进行用于显示针对一般作业者的信息的显示控制(步骤ST26)。以上结束处理。

[0074] 如上所述，根据判别函数蓄积部204中蓄积的判别函数是“0”以上还是小于“0”，判别作业者的技能。因此，在步骤ST24的判别处理中，技能判别部205在判别函数是“0”以上时判别为作业者的技能熟练，在判别函数小于“0”时判别为作业者的技能不熟练。

[0075] 下面，参照图6和图7对动作学习装置100的学习效果进行说明。

[0076] 图6是示出实施方式1的动作学习装置100的处理的说明图。

[0077] 图6A是示出第1动作特征提取部102读出的动态图像数据的图，以作业者X的动态图像数据为例进行图示。

[0078] 图6B是示出第1动作特征提取部102从图6A的动态图像数据中提取出的动作的轨迹特征的图。在图6B的例子中，示出作业者X的手Xa的动作的轨迹特征Y。

[0079] 图6C是示出动作特征学习部103学习图6B的轨迹特征Y的结果的图。如图6C所示，示出动作特征学习部103根据轨迹特征Y决定作为基准的3个轨迹特征即第1轨迹特征A、第2轨迹特征B和第3轨迹特征C的情况。并且，示出将图6B所示的轨迹特征Y分类成第1轨迹特征A、第2轨迹特征B和第3轨迹特征C并生成直方图的结果。动作特征学习部103对熟练作业者和一般作业者生成直方图，如图6C所示生成熟练作业者组的直方图和一般作业者组的直方图。在图6C所示的熟练作业者组的直方图中，第3轨迹特征C最高，在一般作业者组的直方图中，第1轨迹特征A最高。

[0080] 图6D示出将表示动作特征学习部103确定的熟练动作的轨迹D，在表示作业技能的空间(下面称作作业技能空间)内可视化地显示的情况。在图6D中示出的横轴表示第3轨迹特征C，其它的各轴表示各轨迹特征的出现频度。在图6D的例子中，示出熟练度随着沿轨迹D的箭头方向前进而变高，熟练度随着沿轨迹D的反箭头方向前进而变低。通过将熟练作业者和一般作业者的轨迹特征直方图化，能够生成作业技能空间，对动作特征学习部103确定的动作进行映射。由此，能够假设熟练作业者和一般作业者的动作分布在作业技能空间内彼此不同的区域。动作特征学习部103仅关注在图6D中示出的熟练度较低的区域P与熟练度较高的区域Q的等级之间的方差，首先学习边界。动作特征学习部103求出与学习到的边界垂直的直线作为熟练轨迹的轴。

[0081] 技能判别装置200的显示控制部206可以使用在图6D中示出的作业技能空间，根据技能判别部205的判别结果进行显示作为评价对象的作业者的技能水平的程度的控制。

[0082] 图7是示出将实施方式1的技能判别装置200的判别结果显示于显示装置400的一例的图。

[0083] 在图7的例子中，作业者X的技能被判别为不熟练，针对该作业者X，通过显示装置40显示熟练动作的轨迹Da。作业者X能够通过视觉观察该显示，容易地识别自己应该改进的部位。

[0084] 如上所述，根据该实施方式1，构成为具有：第1动作特征提取部102，其根据分别拍摄熟练作业者和一般作业者而得到的动态图像数据，提取熟练作业者和一般作业者的动作的轨迹特征；动作特征学习部103，其对与从提取出的轨迹特征中决定的作为基准的轨迹特征相似的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图，根据生成的直方图进行用于确定熟练动作的轨迹特征的判别学习；以及判别函数生成部104，其参照判别学习的结果，生成表示用于判别是否是熟练动作的边界的判别函数。因而能够从动态图像数据中提取熟练作业者的熟练动作，能够得到用于根据提取出的动作判别作为评价对象的作业者的技能的指标。

[0085] 并且，根据该实施方式1，构成为具有：第2动作特征提取部203，其从拍摄作为评价对象的作业者的作业而得到的动态图像数据中提取该作为评价对象的作业者的动作的轨迹特征，使用预先决定的作为基准的轨迹特征对提取出的轨迹特征进行分类，根据分类后的轨迹特征的出现频度生成直方图；技能判别部205，其使用预先求出的判别熟练动作的判别函数，根据生成的直方图判别作为评价对象的作业者的动作是否熟练；以及显示控制部206，其根据判别结果，在作为评价对象的作业者的动作熟练的情况下进行显示针对熟练作业者的信息的控制，在作为评价对象的作业者的动作不熟练的情况下进行显示针对不熟练作业者的信息的控制。因而能够根据拍摄作为评价对象的作业者的作业而得到的动态图像数据判别该作业者的技能。那个按照判别结果切换要提示的信息，能够抑制阻碍熟练作业者的作业或者使作业效率降低，并且将技能传承给一般作业者。

[0086] 实施方式2

[0087] 在该实施方式2中，示出按照作为评价对象的作业者的身体的每个部位评价技能的结构。

[0088] 图8是示出实施方式2的技能判别系统的结构的框图。

[0089] 实施方式2的技能判别系统的动作学习装置100A构成为，对图1所示的实施方式1的动作学习装置100追加部位检测部105。并且，构成为具有第1动作特征提取部102a、动作特征学习部103a以及判别函数生成部104a，以替代第1动作特征提取部102、动作特征学习部103以及判别函数生成部104。

[0090] 实施方式2的技能判别系统的技能判别装置200A构成为具有第2动作特征提取部203a、技能判别部205a以及显示控制部206a，以替代图1所示的实施方式1的第2动作特征提取部203、技能判别部205以及显示控制部206。

[0091] 下面，对与实施方式1的动作学习装置100和技能判别装置200的构成要素相同或者相当的部分，标注与在实施方式1中使用的标号相同的标号，并省略或者简化说明。

[0092] 部位检测部105分析动态图像数据库101中存储的动态图像数据，检测动态图像数据中包含的熟练作业者和一般作业者的部位(下面记作作业者的部位)。其中，作业者的部位是指作业者的手指、手掌及手腕等。部位检测部105将表示检测出的部位的信息和动态图像数据输出给第1动作特征提取部102a。第1动作特征提取部102a按照由部位检测部105检测出的每个部位，从动态图像数据中提取熟练作业者和一般作业者的动作的轨迹特征。第1动作特征提取部102a将提取出的动作的轨迹特征与表示作业者的部位的信息关联起来输出给动作特征学习部103a。

[0093] 动作特征学习部103a根据第1动作特征提取部102a提取出的动作的轨迹特征，按照每个部位决定作为基准的动作的轨迹特征。动作特征学习部103a根据作为基准的动作的轨迹特征，进行用于按照每个部位确定熟练动作的轨迹特征的判别学习。动作特征学习部103a生成按照每个部位存储有所决定的作为基准的动作的轨迹特征的动作特征辞典，存储到技能判别装置200A的动作特征辞典存储部202。并且，动作特征学习部103a将每个部位的判别学习的结果输出给判别函数生成部104a。判别函数生成部104a参照动作特征学习部
103a的学习结果，按照每个部位生成判别函数。判别函数生成部104a将生成的判别函数蓄积到技能判别装置200A的判别函数蓄积部204。

[0094] 第2动作特征提取部203a参照动作特征辞典存储部202中存储的动作特征辞典，从图像信息取得部201取得的作为评价对象的动态图像数据中提取动作的轨迹特征。第2动作特征提取部203a将提取出的动作的轨迹特征与表示作业者的部位的信息关联起来输出给技能判别部205a。技能判别部205a使用判别函数蓄积部204中蓄积的判别函数，根据第2动作特征提取部203a提取出的动作的轨迹特征判别作为评价对象的作业者的技能是否熟练。技能判别部205a按照与动作的轨迹特征关联起来的每个部位进行判别。技能判别部205a将判别结果与表示作业者的部位的信息关联起来输出给显示控制部206a。显示控制部206a按照技能判别部205a的判别结果，按照作业者的每个部位决定应该显示给作为评价对象的作业者的信息作为辅助信息。

[0095] 下面，说明动作学习装置100A和技能判别装置200A的硬件结构例。另外，省略与实施方式1相同的结构的说明。

[0096] 动作学习装置100A中的部位检测部105、第1动作特征提取部102a、动作特征学习部103a以及判别函数生成部104a是图2A所示的处理电路100a或者图2B所示的执行存储器100c中存储的程序的处理器100B。

[0097] 技能判别装置200A中的第2动作特征提取部203a、技能判别部205a以及显示控制部206a图3A所示的处理电路200a或者图3B所示的执行存储器200c中存储的程序的处理器200B。

[0098] 下面，对动作学习装置100A的动作和技能判别装置200A的动作进行说明。首先，对动作学习装置100A的动作进行说明。

[0099] 图9是示出实施方式2的动作学习装置100A的动作的流程图。另外，在图9的流程图中，对与图4所示的实施方式1的流程图相同的步骤标注相同的标号并省略说明。

[0100] 部位检测部105从动态图像数据库101读出拍摄熟练作业者和一般作业者的动作而得到的动态图像数据(步骤ST31)。部位检测部105检测在步骤ST31中读出的动态图像数据中包含的作业者的部位(步骤ST32)。部位检测部105将表示检测出的部位的信息和读出的动态图像数据输出给第1动作特征提取部102a。第1动作特征提取部102a根据在步骤ST31中读出的动态图像数据，按照在步骤ST32中检测出的作业者的每个部位提取动作的轨迹特征(步骤ST2a)。第1动作特征提取部102a将作业者的每个部位的动作的轨迹特征输出给动作特征学习部103a。

[0101] 动作特征学习部103a按照作业者的每个部位决定作为基准的多个轨迹特征(步骤ST3a)。动作特征学习部103a使用在步骤ST3a中决定的作为基准的多个轨迹特征，按照作业者的每个部位生成动作特征辞典，存储到技能判别装置200A的动作特征辞典存储部202(步骤ST4a)。动作特征学习部103a进行步骤ST5～步骤ST7的处理，按照作业者的每个部位生成映射变换矩阵(步骤ST8a)。判别函数生成部104a按照作业者的每个部位生成判别函数(步骤ST9a)。判别函数生成部104a将生成的判别函数与作业者的部位关联起来蓄积到技能判别装置200A的判别函数蓄积部204(步骤ST10a)，结束处理。

[0102] 下面，对技能判别装置200A的动作进行说明。

[0103] 图10是示出实施方式2的技能判别装置200A的动作的流程图。另外，在图10的流程图中，对与图5所示的实施方式1的流程图相同的步骤标注相同的标号并省略说明。

[0104] 第2动作特征提取部203a参照动作特征辞典存储部202中存储的动作特征辞典，对提取出的轨迹特征进行分类，按照每个部位生成与出现频度对应的直方图(步骤ST23a)。第2动作特征提取部203a将在步骤ST23a中生成的直方图和作业者的部位关联起来输出给技能判别部205a。技能判别部205a使用判别函数蓄积部204中蓄积的每个部位的判别函数，根据在步骤ST23a中生成的直方图，判别作业者的每个部位的技能是否熟练(步骤ST24a)。技能判别部205a在步骤ST24a中对全部部位的技能进行判别，将判别结果输出给显示控制部
206a。

[0105] 显示控制部206a对于某个部位在作业中的作业者的技能熟练的情况下(步骤ST24a：是)，对显示装置400进行用于对于该部位显示针对熟练作业者的信息的显示控制(步骤ST25a)。另一方面，显示控制部206a对于某个部位在作业中的作业者的技能不熟练的情况下(步骤ST24a：否)，对显示装置400进行用于显示针对一般作业者的信息的显示控制(步骤ST26a)。以上结束处理。另外，在技能判别部205a的判别结果示出虽然对于某个部位技能熟练但是对于某个部位技能不熟练的情况下，显示控制部206a进行步骤ST25a和步骤ST26a双方的处理。

[0106] 如上所述，根据该实施方式2，构成为具有部位检测部105，该部位检测部105根据动态图像数据检测熟练作业者和一般作业者被拍摄到的部位，第1动作特征提取部102a按照检测出的每个部位提取轨迹特征，动作特征学习部103a按照检测出的每个部位生成直方图并进行判别学习，判别函数生成部104a按照检测出的每个部位生成判别函数。因而能够按照作业者的每个部位学习动作特征。

[0107] 并且，在技能判别装置200A中，能够对作为评价对象的作业者按照每个部位来提示信息，可以提示详细的信息。

[0108] 示出了如下的结构：当动作特征学习部103、103a在判别分析中进行熟练作业者组和一般作业者组的二等级分类时，计算使得等级间的方差最大且等级内的方差最小的投影轴，决定判别边界。在追加稀疏正则化项计算投影轴时，将影响度较小的要素视为权重“0”进行学习。由此，能够实现如下的结构：在动作特征学习部103、103a计算投影轴时，以使轴的成分包含较多的“0”的方式追加稀疏正则化项计算投影轴。

[0109] 通过动作特征学习部103、103a追加稀疏正则化项计算投影轴，决定判别边界所需要的特征轨迹能够抑制提取多个轨迹的组合这样复杂的特征轨迹。因此，动作特征学习部103能够根据多个特征轨迹中种类更少的特征轨迹的组合，计算投影轴而决定判别边界。由此，技能判别装置200、200A能够实现对于作业者而言容易理解的技能水平的提示。

[0110] 图11是示出在实施方式1的动作学习装置100中追加稀疏正则化项时的效果的图。

[0111] 在图11中示出对实施方式1的图6C所示的学习结果追加稀疏正则化项计算投影轴时得到的作业空间和轨迹E。在图11D中示出的横轴表示第三轨迹特征C，其它的各轴表示各轨迹特征的出现频度。轨迹E与第三轨迹特征C平行，更容易理解地对作业者显示示出熟练动作的轨迹。

[0112] 除以上所述的以外，本发明能够在其发明的范围内进行各实施方式的任意组合、各实施方式的任意构成要素的变形或者各实施方式的任意构成要素的省略。

[0113] 产业上的可利用性

[0114] 本发明的动作学习装置能够学习作业者的熟练动作，因而适合于辅助作业者的系统等，适合于对作业者示教熟练作业者的动作特征，实现熟练作业者的技能传承。

[0115] 标号说明

[0116] 100、100A动作学习装置；101动态图像数据库；102、102a第1动作特征提取部；103、103a动作特征学习部；104、104a判别函数生成部；105部位检测部；200、200A技能判别装置；
201图像信息取得部；202动作特征辞典存储部；203、203a第2动作特征提取部；204判别函数蓄积部；205、205a技能判别部；206、206a显示控制部。