一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质转让专利

申请号 : CN202010392550.8

文献号 : CN111657935B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 沈海斌曾笛飞

申请人 : 浙江大学

摘要 :

本发明公开了一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质。包括脑电信号采集模块,脑电信号预处理模块,癫痫状态标注模块,脑电时频分析模块,层次图卷积神经网络训练模块和癫痫状态识别模块;通过脑电信号采集模块获取脑电波信号;脑电信号预处理模块和癫痫状态标注模块对采集信号做标准化处理和标注;脑电时频分析模块从时域和频域对采集信号进行分析并提取特征;层次图卷积神经网络训练模块和癫痫状态识别模块基于层次图卷积神经网络,依据电极间的物理位置关系,提取出区域化的特征信息,得到识别结果;本发明利用了采集系统的图结构信息,使模型达到了可以临床应用的精度,可以长时间自动化工作,节省了大量人力成本。

权利要求 :

1.一种基于层次图卷积神经网络的癫痫脑电识别系统,其特征在于,包括:脑电信号采集模块:通过电极采集脑电信号数据;沿纵向相邻的一对电极作为图中的一个节点,每一个节点的数值为纵向相邻电极间的电压差;脑电信号预处理模块:将获取到的脑电信号数据进行分割和归一化预处理;

癫痫状态标注模块:用于对已知癫痫发作时间段的样本数据进行标注,所述的癫痫状态标注模块设有第一控制开关,当系统处于配置模式时,第一控制开关开启,癫痫状态标注模块处于工作状态;当系统处于识别模式时,第一控制开关关闭,癫痫状态标注模块不参与系统工作;

脑电时频分析模块:用于对预处理后的脑电信号进行时域和频域的分析并提取特征,再根据系统的运行模式输出带标签的脑电时频域特征训练样本集或不带标签的脑电时频域特征测试样本集;

层次图卷积神经网络训练模块:配置有将脑电信号的时域特征和频域特征转化为对应标签的层次图卷积神经网络模型和第二控制开关,当系统处于配置模式时,第二控制开关开启,层次图卷积神经网络训练模块处于工作状态,读取脑电时频分析模块输出的脑电时频域特征训练样本集并对层次图卷积神经网络模型进行训练,生成模型文件;当系统处于识别模式时,第二控制开关关闭,层次图卷积神经网络训练模块不参与系统工作;

癫痫状态识别模块:当系统处于识别模式时,用于加载层次图卷积神经网络训练模块输出的模型文件,得到训练好的层次图卷积神经网络模型,并将脑电时频分析模块输出的不带标签的脑电时频域特征测试样本集作为层次图卷积神经网络模型的输入,输出识别结果;

所述的层次图卷积神经网络模型包括脑电时频域特征输入层、第一层次图卷积模块、第二层次图卷积模块、融合模块和分类层;

所述的第一层次图卷积模块连接脑电时频域特征输入层,该模块包含两路分支:第一分支依次为具有4F个横向图卷积核的第一横向图卷积层、具有2F个纵向图卷积核的第二纵向图卷积层;第二分支依次为具有4F个纵向图卷积核的第一纵向图卷积层、具有2F个横向图卷积核的第二横向图卷积层,两路分支的输出再经第一拼接层后作为第一层次图卷积模块的输出;所述的横向图卷积核指在横向图卷积层中的权重参数;所述的纵向图卷积核指在纵向图卷积层中的权重参数;

所述的第二层次图卷积模块的输入为第一层次图卷积模块的输出,该模块包含两路分支:第一分支依次为具有2F个横向图卷积核的第三横向图卷积层、具有F个纵向图卷积核的第四纵向图卷积层;第二分支依次为具有2F个纵向图卷积核的第三纵向图卷积层、具有F个横向图卷积核的第四横向图卷积层,两路分支的输出再经第二拼接层后作为第二层次图卷积模块的输出;

采用纵向图卷积层和横向图卷积层分别处理电极之间的纵向关系和横向关系,所述的纵向关系和横向关系分别通过纵向邻接矩阵和横向邻接矩阵来表示;

定义纵向邻接矩阵仅仅包含纵向相邻关系,纵向邻接矩阵的两个维度都代表图的节点,两两节点间存在纵向相邻关系时取值为1,两两节点间不存在纵向相邻关系时取值为0,所述的第一纵向卷积层和第二纵向卷积层通过图的纵向邻接矩阵进行图卷积操作;

定义横向邻接矩阵仅仅包含横向相邻关系,横向邻接矩阵的两个维度都代表图的节点,两两节点间存在横向相邻关系时取值为1,两两节点间不存在横向相邻关系时取值为0,所述的第一横向卷积层和第二横向卷积层通过图的横向邻接矩阵进行图卷积操作;

所述融合模块,用于将第二层次图卷积模块的输出进行汇总,融合,并得到全局信息。

2.根据权利要求1所述的一种基于层次图卷积神经网络的癫痫脑电识别系统,其特征在于,所述的层次图卷积神经网络训练模块中的层次图卷积神经网络模型的传播公式如下:

l l,1 l,2 l

H=σ([H ;H ]W)

l‑1 l

其中,H 和H 分别是层次图卷积神经网络第l层的输入和输出,当l=1时,层次图卷积l,1

神经网络第1层的输入为脑电时频域特征;h , 和 代表了层次图卷积神经网络第ll,1

层第一分支中纵向卷积层的输出、纵向邻接矩阵和权重;H , 和 代表了层次图卷积l,2

神经网络第l层第一分支中横向卷积层的输出、横向邻接矩阵和权重;h , 和 代表l,2

了层次图卷积神经网络第l层第二分支中横向卷积层的输出、横向邻接矩阵和权重;H ,和 代表了层次图卷积神经网络第l层第二分支中纵向卷积层的输出、纵向邻接矩阵l

和权重;W代表了层次图卷积神经网络第l层中拼接两路分支时的权重;σ代表激活函数;S(A)表示邻接矩阵A的传播矩阵,所述传播矩阵指在图卷积时将特征在相邻图节点间进行传播时所用到的矩阵,其通过对图的邻接矩阵进行图的傅里叶变换得到,计算公式如下:其中,IN表示N个节点的单位阵,D表示图的度矩阵。

3.根据权利要求1所述的一种基于层次图卷积神经网络的癫痫脑电识别系统,其特征在于,癫痫状态标注模块中的样本标签包括发作间期、发作前期和发作期;所述的发作间期为癫痫发作前或发作后m小时以上的时期,发作前期为癫痫发作前n小时以内的时期,n≤m;

所述的发作前期包括发作前一期、发作前二期、发作前三期;所述的发作前一期、发作前二期和发作前三期分别指发作前期对应的时间段内的前n/3小时、中n/3小时和后n/3小时。

4.根据权利要求1所述的一种基于层次图卷积神经网络的癫痫脑电识别系统,其特征在于,所述的癫痫状态识别模块包括癫痫发作二分类模式、癫痫预测二分类模式、癫痫发作三分类模式和癫痫发作五分类模式;

当执行癫痫发作二分类模式时,将发作间期标签和发作前期标签对应的样本识别为未发作期,将发作期标签对应的样本识别为发作期;

当执行癫痫预测二分类模式时,将发作间期标签和发作前期标签对应的样本为分别识别为发作间期和发作前期;

当执行癫痫发作三分类模式时,将发作间期标签、发作前期标签和发作期标签对应的样本分别识别为发作间期、发作前期和发作期;

当执行癫痫发作五分类模式时,将发作间期标签、发作前一期标签、发作前二期标签、发作前三期标签和发作期标签对应的样本分别识别为发作间期、发作前一期、发作前二期、发作前三期和发作期。

5.根据权利要求1所述的一种基于层次图卷积神经网络的癫痫脑电识别系统,其特征在于,脑电时频分析模块对归一化脑电信号提取的时域特征包括归一化后脑电信号的平均值、整流平均值、峰峰值、标准差、交叉频率、峰度和偏度;所述的频域特征包括归一化后脑电信号的功率谱密度和小波变换。

6.一种终端,其特征在于,包括存储器和处理器;

所述存储器,用于存储计算机程序;

所述处理器,用于当执行所述计算机程序时,实现如权利要求1~5任一项所述基于层次图卷积神经网络的癫痫脑电识别系统的功能。

7.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1~5任一项所述基于层次图卷积神经网络的癫痫脑电识别系统的功能。

说明书 :

一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及

存储介质

技术领域

[0001] 本发明涉及一种癫痫脑电识别领域,具体涉及一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质。

背景技术

[0002] 当前应用中绝大多数情况下使用脑电波进行对患者的癫痫发作预测。在预测的算法中,主流的技术采用卷积神经网络(包括普通的卷积神经网络,一维卷积神经网络和残差
卷积神经网络),循环神经网络(包括长短期记忆神经网络和双向长短期记忆神经网络),以
及他们的结合体循环卷积神经网络(包括循环卷积神经网络和双向循环卷积神经网络)。
[0003] 卷积神经网络的核心思想是对二维图像进行卷积,在一个图像中(即欧式空间中),每个像素都会有其上下左右等等相邻的像素,故使用普通的卷积方法是合适的。在脑
电识别系统中,每个电极通道并不会拥有排列规则的相邻通道,即该环境是一个非欧式空
间。在一个非欧空间上使用卷积操作是有缺陷的,因此在本专利的环境中,在对某一通道进
行卷积时会忽略众多相邻的通道,以及卷积一些非相邻的通道。
[0004] 循环神经网络的核心思想是利用脑电波中的时间信息来处理特征,即将脑电波信息按时间序列,依次输入到循环神经网络中去,每个时间点下的输入是所有预处理好的脑
电波信息,按一维的方式输入。对于每个时间点的特征输入,循环神经网络认为是独立不相
关的,因此在本专利的环境中,对于某些特征来自于同一通道这个相关性条件,存在信息丢
失的问题。
[0005] 循环卷积神经网络是将循环神经网络和卷积神经网络结合起来。先用卷积神经网络对每个时间点的输入做一次高层的特征提取,即将一个多维输入的脑电波信息提取成一
维信息后,再将高层特征送入循环神经网络中去。循环卷积神经网络没有解决卷积神经网
络固有的缺点,即无法在非欧式空间中进行卷积。
[0006] 因此,现有的癫痫脑电识别系统至少存在以下技术问题:
[0007] (1)对于使用卷积神经网络的系统,在一个非欧空间下进行卷积操作,会产生错误的卷积位置的选取,不利于模型的泛化性和鲁棒性,同时降低模型的准确率。
[0008] (2)对于使用循环神经网络的系统,忽略了特征间的先验关系,导致降低了模型的准确率。
[0009] (3)对于使用循环卷积神经网络的系统,没有解决卷积神经网络中卷积方法的固有缺点,即在一个非欧空间下进行卷积操作,会产生错误的卷积位置的选取,导致降低了模
型的准确率。

发明内容

[0010] 针对现有技术中用于癫痫脑电识别的网络模型由于忽略了众多相邻的通道导致模型准确率较低的缺陷,本发明利用图卷积神经网络来处理非欧空间上的卷积需求,提供
了一种基于层次图卷积神经网络的癫痫脑电识别系统,将层次图卷积神经网络应用于癫痫
脑电识别系统,对于采集系统中的两种电极间的相邻关系分开进行处理,充分地考虑采集
时电极位置间的邻接关系,从而进行特征的提取,切合实际地完成了图结构(即非欧空间)
中的卷积运算,为模型的准确率提供了最优的解决方案。
[0011] 本发明解决其技术问题所采用的技术方案是:
[0012] 脑电信号采集模块:通过电极采集脑电信号数据;
[0013] 脑电信号预处理模块:将获取到的脑电信号数据进行分割和归一化预处理;
[0014] 癫痫状态标注模块:用于对已知癫痫发作时间段的样本数据进行标注,所述的癫痫状态标注模块设有第一控制开关,当系统处于配置模式时,第一控制开关开启,癫痫状态
标注模块处于工作状态;当系统处于识别模式时,第一控制开关关闭,癫痫状态标注模块不
参与系统工作;
[0015] 脑电时频分析模块:用于对预处理后的脑电信号进行时域和频域的分析并提取特征,再根据系统的运行模式输出带标签的脑电时频域特征训练样本集或不带标签的脑电时
频域特征测试样本集;
[0016] 层次图卷积神经网络训练模块:配置有将脑电信号的时域特征和频域特征转化为对应标签的层次图卷积神经网络模型和第二控制开关,当系统处于配置模式时,第二控制
开关开启,层次图卷积神经网络训练模块处于工作状态,读取脑电时频分析模块输出的脑
电时频域训练样本集并对层次图卷积神经网络结构进行训练,生成模型文件;当系统处于
识别模式时,第二控制开关关闭,层次图卷积神经网络训练模块不参与系统工作;
[0017] 癫痫状态识别模块:当系统处于识别模式时,用于加载层次图卷积神经网络训练模块输出的模型文件,得到训练好的层次图卷积神经网络模型,并将脑电时频分析模块输
出的不带标签的脑电时频域测试样本集作为层次图卷积神经网络模型的输入,输出识别结
果;
[0018] 所述的层次图卷积神经网络包括脑电时频域特征输入层、第一层次图卷积模块、第二层次图卷积模块、融合模块和分类层;
[0019] 所述脑电时频域特征输入层,用于组织脑电时频分析模块输出的脑电时频域特征为二维结构,其中一维代表安置在受试者头皮上的电极数,另一维代表脑电时频分析模块
输出的脑电时频域特征的种类数;
[0020] 所述的第一层次图卷积模块连接脑电时频域特征输入层,该模块包含两路分支:第一分支依次为具有4F个横向图卷积核的第一横向图卷积层、具有2F个纵向图卷积核的第
二纵向图卷积层;第二分支依次为具有4F个纵向图卷积核的第一纵向图卷积层、具有2F个
横向图卷积核的第二横向图卷积层,两路分支的输出再经第一拼接层后作为第一层次图卷
积模块的输出;
[0021] 所述的第二层次图卷积模块的输入为第一层次图卷积模块的输出,该模块包含两路分支:第一分支依次为具有2F个横向图卷积核的第三横向图卷积层、具有F个纵向图卷积
核的第四纵向图卷积层;第二分支依次为具有2F个纵向图卷积核的第三纵向图卷积层、具
有F个横向图卷积核的第四横向图卷积层,两路分支的输出再经第二拼接层后作为第二层
次图卷积模块的输出。
[0022] 所述融合模块用于将第二层次图卷积模块的输出进行汇总,融合,并得到全局信息,其包括形变层和两个全连接层,形变层将第二层次图卷积模块的输出进行汇总,两个全
连接层实现融合,得到全局信息。所述的横向图卷积层指通过图的横向邻接矩阵进行图卷
积操作的层,纵向图卷积层指通过图的纵向邻接矩阵进行图卷积操作的层;所述的横向图
卷积核指在横向图卷积层中的权重参数,纵向图卷积核指在纵向图卷积层中的权重参数。
[0023] 所述的横向邻接矩阵指一个二维矩阵,两个维度都代表图的节点,该矩阵的意义是图中的两两节点间是否存在横向相邻关系,具体地,两个节点是横向相邻时值为1,横向
不相邻时值为0;所述的纵向邻接矩阵是指一个二维矩阵,两个维度都代表图的节点,该矩
阵的意义是图中的两两节点间是否存在纵向相邻关系,具体地,两个节点是纵向相邻时值
为1,纵向不相邻时值为0。
[0024] 作为本发明的优选,所述的层次图卷积神经网络的传播公式如下:
[0025]
[0026]
[0027]
[0028]
[0029] Hl=σ([Hl,1;Hl,2]Wl)
[0030] 其中,Hl‑1和Hl分别是层次图卷积神经网络第l层的输入和输出;hl,1, 和 代l,1
表了层次图卷积神经网络第l层第一分支中纵向卷积层的输出、纵向邻接矩阵和权重;H ,
和 代表了层次图卷积神经网络第l层第一分支中横向卷积层的输出、横向邻接矩阵
l,2
和权重;h , 和 代表了层次图卷积神经网络第 l层第二分支中横向卷积层的输出、
l,2
横向邻接矩阵和权重;H , 和 代表了层次图卷积神经网络第l层第二分支中纵向卷
l
积层的输出、纵向邻接矩阵和权重;W代表了层次图卷积神经网络第l层中拼接两路分支时
的权重;σ代表激活函数,S(A)表示邻接矩阵A的传播矩阵,所述传播矩阵指在图卷积时将特
征在相邻图节点间进行传播时所用到的矩阵,其通过对图的邻接矩阵进行图的傅里叶变换
得到,其计算公式如下:
[0031]
[0032] 其中,IN表示N个节点的单位阵,D表示图的度矩阵。
[0033] 本发明的另一目的在于公开了一种终端,包括存储器和处理器;
[0034] 所述存储器,用于存储计算机程序;
[0035] 所述处理器,用于当执行所述计算机程序时,实现上述基于层次图卷积神经网络的癫痫脑电识别系统的功能。
[0036] 本发明的另一目的在于公开了一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现上述基于层次图卷积
神经网络的癫痫脑电识别系统的功能。
[0037] 由于本发明中的国际10‑20脑电位置命名系统的图结构中,节点的纵向相邻关系和横向相邻关系有所区别,故使用层次图卷积神经网络模型进行癫痫发作情况预测时,该
模型使用纵向图卷积层和横向图卷积层按层次分开处理特征。
[0038] 本发明与背景技术相比,具有的有益效果是:
[0039] (1)本发明采用了图卷积作为基础的卷积方式,可以实现在非欧式空间上的卷积需求,所以相比于现有技术手段中的卷积神经网络和循环卷积神经网络等,克服了其错误
地在非欧式空间上进行卷积操作的问题,相比于现有技术手段中的循环神经网络等,克服
了其忽视输入特征本身存在相关性的问题,相较于现有技术大幅度提升了模型的准确率,
也加强了模型的鲁棒性和稳健性。
[0040] (2)在采集脑电波时,其脑电波以纵向相邻电极间的电压差表示。在此类图结构中,纵向相邻的一对电压差与三个电极相关,而横向相邻的一对电压差与四个电极相关,即
该图结构存在纵向和横向两种不同的相邻关系。本发明对于脑电采集系统中的图结构中的
纵向和横向两种相邻关系做了特别的处理,设计了层次图卷积模块,克服了仅使用普通的
图卷积神经网络时,邻接矩阵中对于所有相邻关系都认为是同种类型的问题,相较于普通
的图卷积神经网络,本发明中的层次图卷积神经网络模型明显地提升了准确率和稳健性。
[0041] (3)本发明在采集脑电波时使用的是国际10‑20脑电位置命名系统,即一公开的国际标准,具有规范化操作的效果,相较于现有技术相比,本发明允许系统从使用同一采集标
准的不同数据集进行训练和配置,使模型获得更强的泛化能力。
[0042] (4)本发明在提取特征时考虑了多种时域的和频域的特征,相较于现有技术仅提取单一的某种频域特征,本发明客服了提取特征不完备的问题,有效地提升了模型的准确
率。

附图说明

[0043] 图1为本发明的流程图;
[0044] 图2为图卷积神经的卷积操作示意图;图a表示某个图结构,图b表示对该图结构进行图卷积时,以节点A为最后的目标节点时的卷积路线图;
[0045] 图3为本发明的脑电波采集系统图;图a表示国际10‑20脑电位置命名系统中的节点,图b表示在该系统采集脑电波时,脑电波信息以纵向两个相邻电极间的电压差给出,即
图b中的每个节点代表一对相邻的电压差;
[0046] 图4为本发明中的图卷积神经网络模型图;图a表示简单的图卷积神经网络结构,图b表示本发明中的层次图卷积神经网络结构。

具体实施方式

[0047] 下面结合附图和实施例对本发明做进一步的说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下,均可进行相应组合。
[0048] 如图1所示,一种基于图卷积神经网络的癫痫脑电识别系统,包括脑电信号采集模块、脑电信号预处理模块、癫痫状态标注模块、脑电时频分析模块、层次图卷积神经网络训
练模块和癫痫状态识别模块共6个模块;
[0049] 脑电信号采集模块:通过电极采集脑电信号数据;
[0050] 脑电信号预处理模块:将获取到的脑电信号数据进行分割和归一化预处理;
[0051] 癫痫状态标注模块:用于对已知癫痫发作时间段的样本数据进行标注,所述的癫痫状态标注模块设有第一控制开关,当系统处于配置模式时,第一控制开关开启,癫痫状态
标注模块处于工作状态;当系统处于识别模式时,第一控制开关关闭,癫痫状态标注模块不
参与系统工作;
[0052] 脑电时频分析模块:用于对预处理后的脑电信号进行时域和频域的分析并提取特征,再根据系统的运行模式输出带标签的脑电时频域训练样本集或不带标签的脑电时频域
测试样本集;
[0053] 层次图卷积神经网络训练模块:配置有将脑电信号的时频域特征转化为对应标签的层次图卷积神经网络模型和第二控制开关,当系统处于配置模式时,第二控制开关开启,
层次图卷积神经网络训练模块处于工作状态,读取脑电时频分析模块输出的脑电时频域训
练样本集并对层次图卷积神经网络模型进行训练,生成模型文件;当系统处于识别模式时,
第二控制开关关闭,层次图卷积神经网络训练模块不参与系统工作;
[0054] 癫痫状态识别模块:当系统处于识别模式时,用于加载层次图卷积神经网络训练模块输出的模型文件,得到训练好的层次图卷积神经网络模型,并将脑电时频分析模块输
出的不带标签的脑电时频域测试样本集作为层次图卷积神经网络模型的输入,输出识别结
果。
[0055] 本申请的一个优选实施案展示了脑电采集模块和脑电信号预处理模块的具体实施。
[0056] 脑电信号采集模块用于采集被试者的脑电信号数据,一般是是在被试者头皮或颅内安置好电极,进行脑电波的读取,其通过国际10‑20脑电位置命名系统在患者头皮上安置
电极,电极的命名可以采用多种命名系统。
[0057] 在本实施例中,按照如图3所示的19个位置对电极进行安置,采用的命名系统包括FP1,FP2,F7,F3,FZ,F4,F8,T7,C3,CZ,C4,T8,P7,P3,PZ,P4,P8,O1, O2。其中FP1,FP2在一条
横贯线上,F7,F3,FZ,F4,F8在一条横贯线上,T7,C3, CZ,C4,T8在一条横贯线上,P7,P3,PZ,
P4,P8在条横贯线上,O1,O2在一条横贯线上;FP1,F7,T7,P8在一条纵贯线上,FP1,F3,C3,
P3,O1在一条纵贯线上, FZ,CZ,PZ在一条纵贯线上,FP2,F4,C4,P4,O2在条纵贯线上,FP2,
F8,T8,P8, O2在一条纵贯线上。
[0058] 本实施例在波士顿儿童医院收集的CHB‑MIT数据集上进行,该数据集记录了958小时以上癫痫发作或非癫痫发作过程的脑电波信号,其中包含198次癫痫发作。在脑电波记录
的时候,采用了国际10‑20脑电位置命名系统在受试患者的头皮上安置了19个电极,并以18
个电极对的形式来描述脑电波信号,分别是 FP1‑F7、F7‑T7、T7‑P7、P7‑O1、FP1‑F3、F3‑C3、
C3‑P3、P3‑O1、FZ‑CZ、CZ‑PZ、 FP2‑F4、F4‑C4、C4‑P4、P4‑O2、FP2‑F8、F8‑T8、T8‑P8和P8‑O2。
数据以每秒 256个样本的速度采样,记录电压的分辨率为16比特的浮点型。绝大部分的记
录脑电波信号时长为一小时,少数几次记录时长为2小时或4小时。数据集除了给出了脑电
波信号,也给出了每份记录文件中是否含有癫痫发作,如果含有癫痫发作则会记录癫痫发
作是从何时何分何秒发作到何时何分何秒。
[0059] 脑电信号预处理模块用于将获取到的脑电信号数据进行分割和归一化预处理。在预处理中根据数据输入的定义进行分割数据,所有输入定义为一个21s长的脑电波信号。对
于一个21s长的原始脑电波信号,需要对其再进行归一化处理。由于不同的受试者,在不同
的时间段下,不同电极通道内的脑电波信号的幅值最大可以存在十倍的差异,因此,进行归
一化后模型将能良好地收敛,并且对于不同的患者具备良好的泛化性能。现有的归一化方
法中包括最大最小值归一化,平均值归一化,Z‑score归一化以及对数归一化等等方法,本
专利在经过比较后使用了Z‑score归一化方法,即对于一个长时间段内的信号 减去
其平均值后再除以标准差,其公式如下:
[0060]
[0061]
[0062]
[0063] 其中,μ和σ分别表示x的平均值和标准差,xZ代表x经过Z‑score归一化后得到的结果,具体地,在本实施例中对一个小时时长的采样数据做归一化,即此处的 N=256*60*60。
[0064] 本申请的一个优选实施案展示了癫痫状态标注模块和脑电时频分析模块的具体实施。
[0065] 癫痫状态标注模块对用于训练的脑电信号数据进行标注,每一个样本获得一个标签。在用于训练的样本中,数据集给出了癫痫从发作到结束的时间点,根据发作和结束的时
间点,对样本进行标注。
[0066] 本实施例中的癫痫状态标注模块设有第一控制开关,当系统处于配置模式时,第一控制开关开启,癫痫状态标注模块处于工作状态;当系统处于识别模式时,第一控制开关
关闭,癫痫状态标注模块不参与系统工作。样本标签包括发作间期、发作前一期、发作前二
期、发作前三期和发作期。
[0067] 所述的发作间期为癫痫发作前或发作后m小时以上的时期,发作前期为癫痫发作前n小时以内的时期,n≤m。其中m用于保证发作间期与发作期的间隔足够长,保证此时受试
者处于非发作的状态下,n用于保证发作前期与发作期的间隔足够近,脑电波信号出已经出
现波动,但受试者还未癫痫发作。所述的发作前一期、发作前二期和发作前三期分别指发作
前期对应的时间段内的前n/3小时、中n/3小时和后n/3小时。
[0068] 具体的,可以将该数据集的标签分为五类,包括发作间期、发作前一期、发作前二期、发作前三期和发作期。发作间期是指发作期前或发作后4小时以上的时期。发作前期是
指癫痫发作前一小时以内的时期。发作前一期、发作前二期和发作前三期分别指发作前期
的前二十分钟、中二十分钟和后二十分钟。特别地,引领的癫痫发作定义为如果两次癫痫发
作的时间间隔小于一小时(即发作前期的时长),那么这两次癫痫发作中只将第一次癫痫发
作认为是引领的癫痫发作,以此类推,直到下一次癫痫发作与这次癫痫发作的时长间隔大
于一小时,才认为下一次癫痫发作是一次新的癫痫发作。实施例中所有的癫痫发作都是引
领的癫痫发作。
[0069] 脑电时频分析模块用于对预处理后的脑电信号进行时域和频域的分析并提取特征,再根据系统的运行模式输出带标签的训练样本特征集或不带标签的测试样本特征集。
[0070] 常用的特征提取会使用频域的相关特征,包括使用短时傅里叶变换,梅尔倒谱频系数,功率谱密度和小波变换等等。但在以上方法中,使用傅里叶变换的方法都存在着一定
的缺陷,傅里叶变换无法既做到时间分辨精确的同时又做到频率分辨精确。同时,仅仅从频
域提取特征也是不够全面的,因此本专利中还考虑了时域特征。
[0071] 本实施例中的脑电时频分析模块用于提取的时域特征包括平均值,整流平均值,峰峰值,标准差,交叉频率,峰度和偏度。所述平均值的公式如下:
[0072]
[0073] 其中N代表了采样点个数,xi代表了归一化后的脑电波信号的采样点,xavg代表了平均值。所述整流平均值的公式如下:
[0074]
[0075] 其中N代表了采样点个数,xi代表了归一化后的脑电波信号的采样点,xarv代表了整流平均值。所述峰峰值的公式如下:
[0076]
[0077] 其中N代表了采样点个数,xi代表了归一化后的脑电波信号的采样点,xp‑p代表了峰峰值。所述标准差的公式如下:
[0078]
[0079] 其中N代表了采样点个数,xi代表了归一化后的脑电波信号的采样点,xstd代表了标准差,衡量信号中所有采样点的稳定程度。所述交叉频率的公式如下:
[0080]
[0081] 其中N代表了采样点个数,xi代表了归一化后的脑电波信号的采样点,xcross代表了交叉频率,从时域的角度去整体衡量信号的频率高低。所述峰度的公式如下:
[0082]
[0083] 其中N代表了采样点个数,xi代表了归一化后的脑电波信号的采样点,xkurt代表了峰度,衡量信号中所有采样点在峰值处的尖锐程度。所述偏度的公式如下:
[0084]
[0085] 其中N代表了采样点个数,xi代表了归一化后的脑电波信号的采样点,xskew代表了偏度,衡量信号中所有采样点是左偏还是右偏。
[0086] 本实施例中的脑电时频分析模块用于提取的频域特征包括功率谱密度和小波变换,所述功率谱密度用于计算所有采样信号经过归一化处理后,在每个频率点上的功率。对
于从脑电信号中的N个离散的采样点x(n),对其进行离散傅里叶变换得到:
[0087]
[0088] 从而可以得到对应的功率谱密度为:
[0089]
[0090] 对于上述公式中的k选取不同的频率点,可以得到不同频率点下的功率。
[0091] 所述小波变换用于计算所有采样信号经过归一化处理后,在每个频率点上具有的能量。对于一个小波母函数ψ(t)做如下变换:
[0092]
[0093] 其中τ用于平移,s用于伸缩频率, 用于保证变换前后能量守恒。使用该变换方式,即可动态地调整小波函数的频率,以及有值部分的时间轴。将该变换后的小波函数与原
信号做相乘后积分,就得到了小波变换如下:
[0094]
[0095] 其中用于变换的母小波采用cgau8函数,其公式表示为:
[0096]
[0097] 其中C是用于校正的常量系数,i代表虚数 对于上述公式中的s取不同的频率点,可以得到不同频率点下的能量。
[0098] 在本实施例中,对于2秒长的归一化脑电信息做一次特征提取,即在前文中用于特征提取时脑电信号的采样点个数N=256*2,在频域特征的提取当中,对于功率谱密度提取
出来的特征,令k分别取{0,1,2,...,127},得到128维特征,再将δ频段(0.5~4Hz)、θ频段(4
~8Hz)、α频段(8~13Hz)、β频段(13~30Hz)、低γ频段(33~55Hz)和高γ频段(65~110Hz)
下的功率谱密度均值作为新的6个特征。对于小波变换提取出来的特征,令s分别取{2,...,
128},得到127维特征,同样的,再将δ频段(0.5~4Hz)、θ频段(4~8Hz)、α频段(8~13Hz)、β
频段(13~30Hz)、低γ频段(33~55Hz)和高γ频段(65~110Hz)下的小波变换能量均值作
为新的6个特征。将上述特征拼接起来,可以得到7个时域特征,134个功率谱密度特征和 
133个小波变换特征,共计274个特征。
[0099] 本实施例中从时域和频域两个角度去考虑特征的提取。在时域特征提取中,尽量去提取那些在发作期和非发作期有着明显差异的特征,如平均值,整流平均值,峰峰值,标
准差和交叉频率,同时也考虑了从波形的层面去提取特征,包括峰度和偏度。在频域特征提
取中,首先采用了以傅里叶变换为实现基础的功率谱密度特征,其次注意到其缺陷后,又采
用了可以解决这一缺陷的小波变换特征。因此本实施例在特征提取时,从多个角度入手,同
时也考虑现有技术中存在的缺点从而进行了弥补。
[0100] 本申请的一个优选实施案展示了层次图卷积神经网络训练模块的具体实施。
[0101] 层次图卷积神经网络训练模块是本发明的核心,配置有层次图卷积神经网络结构和第二控制开关,充分考虑了节点的纵向相邻关系和横向相邻关系之间的区别。当系统处
于配置模式时,第二控制开关开启,层次图卷积神经网络训练模块处于工作状态,读取脑电
时频分析模块输出的训练样本特征集并对层次图卷积神经网络结构进行训练,生成模型文
件;当系统处于识别模式时,第二控制开关关闭,层次图卷积神经网络训练模块不参与系统
工作。
[0102] 在识别的算法中,常用的网络模型有卷积神经网络(包括普通的卷积神经网络,一维卷积神经网络和残差卷积神经网络等),循环神经网络(包括长短期记忆神经网络和双向
长短期记忆神经网络等),以及上述两者的结合体循环卷积神经网络(包括循环卷积神经网
络和双向循环卷积神经网络等)。
[0103] 图卷积神经网络的卷积核正是适合于卷积非欧空间,其卷积核的卷积对象并不是根据当前坐标在欧式空间中找到相邻坐标并对其卷积,而是根据图的邻接矩阵关系,找到
当前节点的相邻节点并对其卷积。
[0104] 如图2a所示,图2a是一个非欧空间的图结构(不是一个二维图像),图 2b表达了以A为最后目标节点的图卷积路线图。A的特征将由其相邻节点B,C, D以及它自己进行卷积得
到,同理,节点B,C,D的特征也分别由它们各自的相邻节点卷积得到。图卷积模型在对某个
节点进行卷积时,会根据图结构融合其所有相邻节点的特征。而这正是普通的卷积神经网
络所做不到的。而图2实际上是图的空域卷积的一个例子,但是基于图的空域卷积在在脑电
信号采集和识别应用的场景下存在两方面的问题。一个方面,图的空域卷积缺乏理论性的
论证,仅仅是对按照卷积方法进行类似地模仿,在卷积神经网络中的一个卷积核对应着一
种特征的提取,而在空域卷积的实现方法里缺少类似的定义;另一个方面,图的空域卷积需
要建立在确定的已知图关系上,虽然头皮上的电极因为位置关系,可以人为的根据位置远
近定义图结构即图的邻接矩阵,但是这个图结构其实是隐性且不固定的,也可以由其他方
法进行设计(包括根据通道的相关性建立相关性矩阵作为图的邻接矩阵等等)。综上,本发
明采用了具有严格数学论证的图频域卷积方法,该方法允许图的邻接矩阵能够自适应的调
整。
[0105] 假设图中所有节点记作x,图卷积核记为g,图卷积的操作记为*G,那么最后要完成的运算实际上就是x*Gg。这里使用图的傅里叶变换完成这个操作,即对x和g先进行图傅里
叶变换并相乘后,在进行图傅里叶逆变换即可。图的傅里叶变换通过分解图的归一化拉普
拉斯矩阵可以得到,即图的归一化拉普拉斯矩阵的特征向量就是图的傅里叶变换中的一组
基。假设该图结构的邻接矩阵为 则度矩阵为 图的归一化拉普拉斯矩
阵表示为:
[0106]
[0107] 对L求其特征向量U有:L=UΛUT;至此就得到了图的傅里叶变换 和图的傅T T
里叶逆变换 则x*Gg可以被表示为UU xUg;由于求解图的特征向量是一个繁琐的运
算,这里使用切比雪夫多项式进行二阶近似(物理意义是图中对某点进行图卷积时仅仅考
虑自身节点和一阶相邻节点),最后可以化简得到图卷积神经网络的传播公式:
[0108] Hl=σ(S(Al)Hl‑1Wl)
[0109] 其中l代表了层数编号,H代表了图频域卷积层,以及W代表了权重矩阵,即切比雪夫多项式的系数,σ代表了激活函数, 作为邻接矩阵A的传播矩阵。可
见,如何依据图结构进行图卷积层的特征传播的关键,就在于S(A)。
[0110] 本实施例采用的脑电波采集系统图如图3所示,图3a是国际10‑20脑电位置命名系统,一共包含了19个节点,通过19个节点的位置来指导如何在受试者的头皮上安置电极。在
实际给出采样脑电波时,以纵向相邻的电极间的电压差的方式给出。如图3b所示,给出的是
18个纵向相邻的电极间的电压差,即图 3b中的每个节点,代表了图3a中纵向相邻的电极间
的电压差。因此在实际应用的图3b结构中,使用普通的图卷积神经网络就不再合适了。具体
如图3b中,可以看到主要存在两种相邻关系,如虚线框出的纵向相邻关系,和实线框出的横
向相邻关系。其中纵向相邻关系中包含有3个通道,而横向相邻关系中包含有4 个通道,这
是两种完全不一致的相邻关系,本发明提出使用纵向图卷积层和横向图卷积层分别处理这
两种相邻关系。
[0111] 所述的横向图卷积层指通过图的横向邻接矩阵进行图卷积操作的层,纵向图卷积层指通过图的纵向邻接矩阵进行图卷积操作的层;横向图卷积核指在横向图卷积层中的权
重参数,纵向图卷积核指在纵向图卷积层中的权重参数。
[0112] 具体的,纵向图卷积层指该图卷积层的邻接矩阵仅仅包含纵向相邻关系,而横向图卷积层指该图卷积层的邻接矩阵仅仅包含横向相邻关系。所述的横向邻接矩阵指一个二
维矩阵,两个维度都代表图的节点,该矩阵的意义是图中的两两节点间是否存在横向相邻
关系,具体地,两个节点是横向相邻时值为1,横向不相邻时值为0;所述的纵向邻接矩阵是
指一个二维矩阵,两个维度都代表图的节点,该矩阵的意义是图中的两两节点间是否存在
纵向相邻关系,具体地,两个节点是纵向相邻时值为1,纵向不相邻时值为0。
[0113] 进一步地再考虑到要完成对于图的所有相邻关系的特征融合,因此分两条传播路径进行特征提取。在一个层次图卷积模块中,一条路径先通过纵向图卷积层再通过横向图
卷积层,而另一条路径先通过横向图卷积层再通过纵向图卷积层,最后再将两条路径进行
拼接。总的传播公式如下:
[0114]
[0115]
[0116]
[0117]
[0118] Hl=σ([Hl,1;Hl,2]Wl)
[0119] 其中,Hl‑1和Hl分别是层次图卷积神经网络第l层的输入和输出;hl,1, 和 代l,1
表了层次图卷积神经网络第l层第一分支中纵向卷积层的输出,纵向邻接矩阵和权重;H ,
和 代表了层次图卷积神经网络第l层第一分支中横向卷积层的输出,横向邻接矩阵
l,2
和权重;h , 和 代表了层次图卷积神经网络第l层第二分支中横向卷积层的输出,
l,2
横向邻接矩阵和权重;H , 和 代表了层次图卷积神经网络第l层第二分支中纵向卷
l
积层的输出,纵向邻接矩阵和权重;W代表了层次图卷积神经网络第l层中拼接两路分支时
的权重;σ代表激活函数。
[0120] 如图4所示,图4a给出了普通图卷积神经网络的结构示意图,在图4a中,先经过输入模块,其形状是18x274,18代表通道对的个数(即图的节点个数), 274代表每个通道对中
提取的特征个数(包括时域提取了7种特征和频域提取的),先经过一层具有128个图卷积核
的图卷积层,图卷积之后形状变成了18x128,再经过一层具有64个图卷积核的图卷积层,图
卷积之后形状变成了18x64,再将形状拉平至一维得到18*64=1152个特征,再通过一个512
个隐态的全连接层,一个128个隐态的全连接层和一个分类数个隐态的全连接层,形状变为
分类数个,得到对于每个类别下的逻辑概率。
[0121] 图4b给出了具体的本发明中的层次图卷积神经网络结构示意图,包括脑电时频域特征输入层、第一层次图卷积模块、第二层次图卷积模块、融合模块和分类层;
[0122] 所述的第一层次图卷积模块连接脑电时频域特征输入层,该模块包含两路分支:第一分支依次为具有128个横向图卷积核的第一横向图卷积层、具有64个纵向图卷积核的
第二纵向图卷积层;第二分支依次为具有128个纵向图卷积核的第一纵向图卷积层、具有64
个横向图卷积核的第二横向图卷积层,两路分支的输出再经第一拼接层后作为第一层次图
卷积模块的输出;
[0123] 所述的第二层次图卷积模块的输入为第一层次图卷积模块的输出,该模块包含两路分支:第一分支依次为具有64个横向图卷积核的第三横向图卷积层、具有32个纵向图卷
积核的第四纵向图卷积层;第二分支依次为具有64个纵向图卷积核的第三纵向图卷积层、
具有32个横向图卷积核的第四横向图卷积层,两路分支的输出再经第二拼接层后作为第二
层次图卷积模块的输出。
[0124] 在图4b中,先经过输入模块,其形状是18x274,18代表通道对的个数(即图的节点个数),274代表每个通道对中提取的特征个数(包括时域提取的7种特征,频域中功率谱密
度提取的134维特征,频域中小波变换提取的133维特征,总计274维特征)。之后的模型结构
由两个层次图卷积模块,和三个与图4a一样的全连接层构成。特征首先由输入模块进入第
一个层次图卷积模块,分为两条路径传播。一条路径是先通过一个128个横向图卷积核的横
向图卷积层,再通过一个64个纵向图卷积核的纵向图卷积层(形状由18x274变为18x128再
变为 18x64),另一条路径是先通过一个128个纵向图卷积核的纵向图卷积层,再通过一个
64个横向图卷积核的横向图卷积层(形状由18x274变为18x128再变为 18x64)。将两条路径
的最后特征再进行拼接,形状变为了18x128。第二个层次图卷积模块与第一个层次图卷积
模块类似,只不过每一个图卷积层的特征个数都缩小了一倍,最后输出的形状随之变为了
18x64。再经过三个和图4a中一样的全连接层后,形状变为分类数个,得到了对于每个类别
下的逻辑概率。
[0125] 在构建完毕训练时需要的层次图卷积神经网络模型后,针对于训练的样本和对应的标签,本实施例通过以下方法对该模型进行训练,并保存下模型文件到存储介质中。对于
所有用于训练的样本,总共27470个样本,进行批梯度下降训练,即每次只送入网络模型一
个批次共32个样本进行训练,将一个批次内用于训练的样本记作x,其对应的标签记作 训
练样本x在通过层次图卷积神经网络模型的识别后,得到模型的识别结果y。在本实施例中,
训练的目的就是缩小标签 和模型的识别结果y之间的差异,因此选择交叉熵损失函数用于
描述 和y之间的差异,其交叉熵损失函数如下:
[0126]
[0127] 其中 代表交叉熵损失函数,N代表训练中识别任务的分类数。 代表一个批次中的第i个样本属于第j个类别的概率,yij代表一个批次中的第i个样本在经过层次图卷积神
经网络后的识别结果属于第j个类别的概率。本实施例在TensorFlow 平台上通过批梯度下
降方法训练网络模型300个周期后,将模型文件保存至存储介质中去,以供癫痫状态识别模
块进行识别任务。所述的一个周期指将所有训练数据都通过批梯度下降方法训练过一次。
[0128] 本申请的一个优选实施案展示了癫痫状态识别模块的具体实施。
[0129] 癫痫状态识别模块:当系统处于识别模式时,用于加载层次图卷积神经网络训练模块输出的模型文件,得到训练好的层次图卷积神经网络模型,并将脑电时频分析模块输
出的不带标签的测试样本特征集作为层次图卷积神经网络模型的输入,输出识别结果。
[0130] 常见的识别模块通常是一个癫痫发作二分类的识别任务,即只识别癫痫发作和癫痫非发作这两类。
[0131] 本实施例中的癫痫状态识别模块具备多种任务识别模式,分别是癫痫发作2 分类任务,癫痫预测2分类任务,癫痫发作3分类任务和癫痫发作5分类任务。
[0132] 癫痫发作2分类任务用于识别非发作期和发作期。其中非发作期样本对应的标签为发作间期标签、发作前一期标签、发作前二期标签或发作前三期标签;发作期样本对应的
标签为发作期标签。
[0133] 癫痫预测2分类任务用于识别发作间期和发作前期。其中发作间期样本对应的标签为发作间期标签;发作前期样本对应的标签为发作前一期标签、发作前二期标签或发作
前三期标签。
[0134] 癫痫发作3分类任务用于识别发作间期、发作前期和发作期。其中发作间期样本对应的标签为发作间期标签;发作前期样本对应的标签为发作前一期标签、发作前二期标签
或发作前三期标签;发作期样本对应的标签为发作期标签。
[0135] 癫痫发作5分类任务用于识别发作间期、发作前一期、发作前二期、发作前三期和发作期。其中发作间期、发作前一期、发作前二期、发作前三期和发作期的样本对应的标签
分别为发作间期标签、发作前一期标签、发作前二期标签、发作前三期标签和发作期标签。
其中癫痫发作2分类是常用的识别任务,用于识别癫痫的发作;癫痫预测2分类任务时可以
应用于临床监控的2分类任务,在识别到癫痫的发作前期时,可以提前报警,通知医生对患
者进行防护或者救助;癫痫发作3分类是上述两个分类任务的结合;癫痫发作5分类则特别
注重了在癫痫前期这一时间段,可以更好地对于癫痫前期的不同时刻进行报警,用于临床。
另外地,这四个任务在模型识别上也是由易到难,其中癫痫发作5分类任务更是可以用于衡
量模型的准确率高低,以及是否具有鲁棒性等等。
[0136] 在本申请的一个实施案中,提供了一种终端和存储介质。
[0137] 终端,它包括存储器和处理器;
[0138] 其中存储器,用于存储计算机程序;
[0139] 处理器,用于当执行所述计算机程序时,实现前述基于层次图卷积神经网络的癫痫脑电识别系统的功能。
[0140] 需要注意的是,存储器可以包括随机存取存储器(Random Access Memory, RAM),也可以包括非易失性存储器(Non‑Volatile Memory,NVM),例如至少一个磁盘存储器。上述
的处理器为终端的控制中心,利用各种接口和线路连接终端的各个部分,通过执行存储器
中的计算机程序来调用存储器中的数据,以执行终端的功能。处理器可以是通用处理器,包
括中央处理器(Central Processing Unit, CPU)、网络处理器(Network Processor,NP)
等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路
(Application Specific Integrated Circuit, ASIC)、现场可编程门阵列(Field‑
Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、
分立硬件组件。当然,该终端中还应当具有实现程序运行的必要组件,例如电源、通信总线
等等。
[0141] 示例性的,所述的计算机程序可以被分割为多个模块,每一个模块均被存储在存储器中,分割开来的每一个模块都可以完成具备特定功能的计算机程序指令段,该指令段
用于描述计算机程序的执行过程。例如,可以将计算机程序分割成以下模块:
[0142] 脑电信号采集模块:通过电极采集脑电信号数据;
[0143] 脑电信号预处理模块:将获取到的脑电信号数据进行分割和归一化预处理;
[0144] 癫痫状态标注模块:用于对已知癫痫发作时间段的样本数据进行标注,所述的癫痫状态标注模块设有第一控制开关,当系统处于配置模式时,第一控制开关开启,癫痫状态
标注模块处于工作状态;当系统处于识别模式时,第一控制开关关闭,癫痫状态标注模块不
参与系统工作;
[0145] 脑电时频分析模块:用于对预处理后的脑电信号进行时域和频域的分析并提取特征,再根据系统的运行模式输出带标签的脑电时频域训练样本集或不带标签的脑电时频域
测试样本集;
[0146] 层次图卷积神经网络训练模块:配置有将脑电信号的时频域特征转化为对应标签的层次图卷积神经网络模型和第二控制开关,当系统处于配置模式时,第二控制开关开启,
层次图卷积神经网络训练模块处于工作状态,读取脑电时频分析模块输出的带标签的脑电
时频域特征训练样本集并对层次图卷积神经网络结构进行训练,生成模型文件;当系统处
于识别模式时,第二控制开关关闭,层次图卷积神经网络训练模块不参与系统工作;
[0147] 癫痫状态识别模块:当系统处于识别模式时,用于加载层次图卷积神经网络训练模块输出的模型文件,得到训练好的层次图卷积神经网络模型,并将脑电时频分析模块输
出的不带标签的脑电时频域特征测试样本集作为层次图卷积神经网络模型的输入,输出识
别结果。
[0148] 以上模块中的程序在执行时均由处理器进行处理。
[0149] 另外,在上述终端中,还可以进一步集成脑电信号获取设备,获取诊断对象的初始脑电信号后,可以存储在存储器中,然后通过处理器对其进行识别,直接输出识别结果。
[0150] 此外,上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。存储器作为一种计算机
可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的系统对应
的程序指令或模块。处理器通过运行存储在存储器中的软件程序、指令或模块,从而执行功
能应用以及数据处理,即实现上述实施例中的功能。例如,U盘、移动硬盘、只读存储器
(Read‑OnlyMemory,ROM)、随机存取存储器(RandomAccessMemory,RAM)、磁碟或者光盘等多
种可以存储程序代码的介质,也可以是暂态存储介质。此外,上述存储介质以及终端中的多
条指令由处理器加载并执行的具体过程在上述中已经详细说明。
[0151] 本实施例用于展示一个具体的实施效果。本实施例中的脑电信号采集模块、脑电信号预处理模块、癫痫状态标注模块、脑电时频分析模块、层次图卷积神经网络训练模块、
癫痫状态识别模块均采用上述描述的结构及功能,此处不再赘述。
[0152] 实施过程为:包括配置过程和识别过程。首先设置系统处于配置模式,通过脑电信号采集模块获取脑电信号,然后由脑电信号预处理模块对脑电信号做归一化处理,并由癫
痫状态标注模块进行标记,再通过脑电时频分析模块输出带标签的训练样本特征集,最后
由层次图卷积神经网络训练模块根据训练样本特征集对图卷积神经网络进行训练,保存为
模型文件。
[0153] 配置结束后,将系统设置为识别模式,首选通过脑电信号采集模块获取被试者的脑电信号,然后由脑电信号预处理模块对脑电信号做归一化处理,再通过脑电时频分析模
块输出不带标签的测试样本特征集,最后由癫痫状态识别模块直接加载训练好的模型文
件,将测试样本特征集作为输入,得到识别结果。
[0154] 基于实施例1中的数据集,用于实验的数据按7∶2∶1的比例分为三个部分,分别是训练集,验证集和测试集。其中训练集用于训练模型,验证集用于在训练的同时观测数据集
是否过拟合以及是否需要提前终止训练,而测试集用于最终的测试。
[0155] 所有二分类测试任务中存在四种测试指标,分别是灵敏度,特异度,精确度和准确度;所有多分类测试任务中仅仅测试准确度。假设一个二分类任务中,预测正例中预测正确
的个数为TP,预测负例中预测错误的个数为FN,预测正例中预测错误的个数为FP,预测负例
中预测正确的个数为TN。那么二分类任务中的灵敏度是指实际正例中预测正确的概率,公
式为:
[0156]
[0157] 二分类任务中的特异度是指实际负例中预测正确的概率,公式为:
[0158]
[0159] 二分类任务中的精确度是指预测正例中预测正确的概率,公式为:
[0160]
[0161] 二分类任务中的准确度是指所有样例中预测正确的概率,公式为:
[0162]
[0163] 多分类任务中的准确度和二分类任务中的准确度定义相似,是指所有样例中预测正确的概率,公式为:
[0164]
[0165] 其中N指任务中的类别个数,Ti和Fi分别指第i个类别中预测正确和预测错误的样本个数。
[0166] 在TensorFlow基准测试平台上用GeForce RTX 2080Ti‑NVIDIA GPU进行了交叉验证。交叉验证指对于所有受试者的数据一起打乱,并从中随机抽取数据组成训练集,验证集
和测试集。为了保证抽取数据的随机性,在保证训练集,验证集和测试集的比例是7∶2∶1的
条件下,随机生成了5次数据集进行测试后取平均结果进行验证,也叫5折交叉验证。
[0167] 使用5折验证对多种模型进行了测试,为了公平起见,保证所有模型的特征点个数规模一致的情况下进行测试。所进行对比的模型包括了三个卷积神经网络 (分别是普通卷
积神经网络,一维卷积神经网络,残差卷积神经网络),两个循环神经网络(分别是长短期记
忆神经网络和双向长短期记忆神经网络),两个循环卷积神经网络(分别是循环卷积神经网
络和双向循环卷积神经网络),以及图卷积神经网络和层次图卷积神经网络。
[0168] 在交叉验证中测试任务包括前文提到的四个分类任务,分别是癫痫发作2分类、癫痫预测2分类、癫痫发作3分类和癫痫发作5分类这四个任务。癫痫发作 2分类任务将测试灵
敏度,特异性,准确度和精确度四个指标,以全方面评估不同指标下的分类能力;癫痫预测2
分类任务,癫痫发作3分类和癫痫发作5分类任务仅测试准确度,以评估不同模型鉴别所有
类别的综合能力。测试结果如下表 1和表2所示:
[0169] 表1各模型在癫痫发作2分类任务中的5折交叉验证
[0170]
[0171]
[0172] 表2各模型在三个不同任务中的5折交叉验证
[0173]
[0174] 可以看到图卷积神经网络远远优于当前应用算法中的卷积神经网络,循环神经网络和循环卷积神经网络。在表1的任务癫痫发作2分类的四个指标下,当前流行的方法得到
的结果明显不如本专利提到的方法。在表2更困难的三个任务癫痫预测2分类,癫痫发作3分
类,癫痫发作5分类中,图卷积神经网络的方法要超越当前流行的算法至少5%,这是因为正
确利用了采样系统中电极之间的图结构信息,使用了可以在非欧式空间上进行卷积的图卷
积方法,而卷积神经网络和循环卷积神经网络错误地实现了卷积相邻通道信息的需求,循
环神经网络忽略了该需求。在表2最困难的癫痫发作5分类任务中,层次图卷积神经网络比
普通的图卷积神经网络在准确率上提高了3.78%,这是因为针对于特殊的图结构采用了纵
向和横向两种图卷积层,设计了层次图卷积模块,分别处理了纵向和横向两种相邻的图关
系,使得模型获得了更高的准确性和鲁棒性。
[0175] 以上列举的仅是本发明的具体实施例。显然,本发明不限于以上实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,
均应认为是本发明的保护范围。