神经网络模型中子图的展示方法、装置和存储介质转让专利
申请号 : CN202011324500.2
文献号 : CN112508163B
文献日 : 2021-12-07
发明人 : 潘子豪 , 施依欣 , 吕雪莹 , 申玉涵 , 陈泽裕 , 赖宝华 , 吴泽武 , 赵乔
申请人 : 北京百度网讯科技有限公司
摘要 :
权利要求 :
1.一种神经网络模型中子图的展示方法,包括:获取神经网络模型;
从所述神经网络模型之中读取模型参数,其中,所述模型参数包括多个子图及所述多个子图对应的多个子图参数,其中,所述子图是指所述神经网络模型中条件分支中每个分支内的计算图;
根据所述多个子图及所述多个子图对应的多个子图参数生成模型树形结构;以及接收用户子图选择指令,并根据所述子图选择指令和所述模型树形结构生成子图展示图并展示;
其中,所述子图参数包括子图属性、子图的节点和节点的属性;
所述根据所述多个子图及所述多个子图对应的多个子图参数生成模型树形结构,包括:
将所述多个子图作为所述模型树形结构的第一级节点,并根据所述子图属性设置所述第一级节点的属性;
获取所述第一级节点所对应子图之中的多个节点,并作为所述模型树形结构所述第一级节点所属的第二级节点,并根据所述节点的属性生成所述第二级节点的属性。
2.如权利要求1所述的方法,其中,所述子图参数还包括所述子图之中节点之间的对应关系/向量,所述方法还包括:根据所述节点之间的对应关系/向量生成所述第二级节点之间的节点关系。
3.如权利要求2所述的方法,其中,在所述接收用户子图选择指令之前,还包括:遍历所述模型树形结构之中的多个第一级节点,并生成多个子图展示图的名称;
检测所述神经网络模型之中子图的数量;
在所述子图的数量大于预设数量的情况下,在展示界面之中展示所述多个子图展示图的名称,以供所述用户选择。
4.如权利要求1所述的方法,其中,所述根据所述子图选择指令和所述模型树形结构生成子图展示图并展示,包括:根据所述子图选择指令从所述模型树形结构中获取对应的目标第二级节点;
从所述模型树形结构中,读取所述目标第二级节点的子图参数;
根据所述目标第二级节点的子图参数生成所述子图展示图,并展示。
5.一种神经网络模型中子图的展示装置,包括:获取模块,用于获取神经网络模型;
读取模块,用于从所述神经网络模型之中读取模型参数,其中,所述模型参数包括多个子图及所述多个子图对应的多个子图参数,其中,所述子图是指所述神经网络模型中条件分支中每个分支内的计算图;
第一生成模块,用于根据所述多个子图及所述多个子图对应的多个子图参数生成模型树形结构;以及
子图展示模块,用于接收用户子图选择指令,并根据所述子图选择指令和所述模型树形结构生成子图展示图并展示;
其中,所述子图参数包括子图属性、子图的节点和节点的属性;
所述第一生成模块,具体用于:将所述多个子图作为所述模型树形结构的第一级节点,并根据所述子图属性设置所述第一级节点的属性;
获取所述第一级节点所对应子图之中的多个节点,并作为所述模型树形结构所述第一级节点所属的第二级节点,并根据所述节点的属性生成所述第二级节点的属性。
6.如权利要求5所述的装置,其中,所述子图参数还包括所述子图之中节点之间的对应关系/向量,所述装置还包括:第二生成模块,用于根据所述节点之间的对应关系/向量生成所述第二级节点之间的节点关系。
7.如权利要求6所述的装置,其中,还包括:第三生成模块,用于遍历所述模型树形结构之中的多个第一级节点,并生成多个子图展示图的名称;
检测模块,用于检测所述神经网络模型之中子图的数量;
展示模块,用于在所述子图的数量大于预设数量的情况下,在展示界面之中展示所述多个子图展示图的名称,以供所述用户选择。
8.如权利要求6所述的装置,其中,所述子图展示模块,包括:获取单元,用于根据所述子图选择指令从所述模型树形结构中获取对应的目标第二级节点;
读取单元,用于从所述模型树形结构中,读取所述目标第二级节点的子图参数;
子图展示单元,用于根据所述目标第二级节点的子图参数生成所述子图展示图,并展示。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑4中任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1‑4任一项所述方法的步骤。
说明书 :
神经网络模型中子图的展示方法、装置和存储介质
技术领域
背景技术
训练。当前深度学习已经在图像识别、语音识别、自然语言处理、计算生物、推荐系统等领域
成效显著。
构的难度较大。
发明内容
所述多个子图对应的多个子图参数;根据所述多个子图及所述多个子图对应的多个子图参
数生成模型树形结构;以及接收用户子图选择指令,并根据所述子图选择指令和所述模型
树形结构生成子图展示图并展示。
中,所述模型参数包括多个子图及所述多个子图对应的多个子图参数;第一生成模块,用于
根据所述多个子图及所述多个子图对应的多个子图参数生成模型树形结构;以及子图展示
模块,用于接收用户子图选择指令,并根据所述子图选择指令和所述模型树形结构生成子
图展示图并展示。
执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本
申请的神经网络模型中子图的展示方法。
型中子图的展示方法。
生成模型树形结构,以及接收用户子图选择指令,并根据子图选择指令和模型树形结构生
成子图展示图并展示。由此,结合子图选择指令和模型树形结构中对应子图的子图参数,准
确生成了对应子图的子图展示图,以可视化的方式展示神经网络模型中对应子图的子图展
示图,方便用户通过所展示的子图展示图深入了解神经网络模型中子图的内部结构信息,
进而可方便后续优化神经网络模型的模型结构。
附图说明
具体实施方式
到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同
样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
式实现,该实施例中的神经网络模型中子图的展示装置(为了方便后续描述,简称“子图展
示装置”)可以配置在电子设备中,本实施例中的电子设备可以包括终端设备和服务器等设
备,其中,终端设备可以包括个人计算机、平板电脑、智能电话等设备,该实施例对终端设备
不作限定。其中,需要说明的是,本实施例中的子图展示装置除了具有神经网络模型的子图
的展示功能外,还可以具有深度学习框架,以方便用户通过深度学习框架进行神经网络模
型的学习。
选神经网络模型中选择的神经网络模型,并将选择的神经网络模型发送至子图展示装置,
从而使得子图展示装置获取神经网络模型。
型中所选中的神经网络模型。
分类。可以理解的是,神经网络模型中包括各种功能的算子,例如,神经网络模型可以包括
特征提取算子、归一化算子等各种功能的算子。
后,从缓存器中读取该模型文件进行解析,以得到神经网络模型的模型参数。
的模型文件转换为预设格式的模型文件,从而可通过ModelFactory模块对转换后的模型文
件进行解析,以得到神经网络模型中的模型参数。
2转换为文件格式1的转换规则,然后,根据转换规则,对该神经网络模型的模型文件进行文
件转换,以得到转换后的模型文件,转换后的模型文件的文件格式为文件格式1,并通过
ModelFactory模块对转换格式后的模型文件进行解析,以得到神经网络模型的模型参数。
例中,上述根据多个子图及多个子图对应的多个子图参数生成模型树形结构的可能实现方
式可以为:将多个子图作为模型树形结构的第一级节点,并根据子图属性设置第一级节点
的属性;获取第一级节点所对应子图之中的多个节点,并作为模型树形结构第一级节点所
属的第二级节点,并根据节点的属性生成第二级节点的属性。由此,生成了可以对子图进行
表示的模型树形结构,方便后续通过模型树形结构中的第一级节点和第二级节点快速获取
对应子图的子图参数,进而可提高生成对应子图的子图展示图的效率。
向量生成第二级节点之间的节点关系。
方向可以表示两个节点之间的指向关系,向量从开始节点指向结束节点。通过向量的方向,
可以了节点之间的数据流向信息。
节点对应的属性信息确定该子图标识对应的子图参数,然后,结合该子图参数,生成该子图
标识对应的子图展示图,并展示子图展示图。其中,在本实施例中节点的属性信息与该子图
标识对应的子图参数对应。
始化参数可以包括节点的初始化权重以及初始化偏置。
结构。在用户使用具有子图展示功能的软件或者网页的过程中,可在软件或者网页中展示
包含多个子图的子图列表,获取用户从子图列表中选出的目标子图,并获取针对目标子图
所选择的显示类型信息,在显示类型信息为显示节点名称的情况下,从模型树形结构中获
取与目标子图对应的目标节点,并获取该目标节点对应的属性信息,然后,根据显示类型信
息,从属性信息中,获取目标子图中节点的节点名称信息,并从属性信息中获取目标子图中
节点与节点之间的关系,然后,根据节点的节点名称信息以及节点与节点之间的关系信息,
生成该目标子图对应的子图展示图。其中,可以理解的是,目标节点对应的属性信息与目标
子图对应的子图参数对应。
的目标子图,并获取针对目标子图所选择的显示类型信息,在显示类型信息为显示初始化
参数情况下,获取与目标子图对应的节点,然后,从模型树形结构中获取与该节点对应的目
标节点,并获取该目标节点的属性信息,然后,根据显示类型信息,从目标节点的属性信息
中获取目标子图中每个节点的初始化参数,以及节点与节点之间的关系信息,根据每个节
点的初始化参数,以及节点与节点之间的关系信息,生成该目标子图对应的子图展示图。
中的展示内容以自上而下的方式展示。
中的展示内容以自左向右的方式展示。
数,并根据多个子图及多个子图对应的多个子图参数生成模型树形结构,以及接收用户子
图选择指令,并根据子图选择指令和模型树形结构生成子图展示图并展示。由此,结合子图
选择指令和模型树形结构中对应子图的子图参数,准确生成了对应子图的子图展示图,以
可视化的方式展示神经网络模型中对应子图的子图展示图,方便用户通过所展示的子图展
示图深入了解神经网络模型中子图的内部结构信息,进而可方便后续优化神经网络模型的
模型结构。
第一级节点所对应子图之中的多个节点,并作为模型树形结构第一级节点所属的第二级节
点,并根据节点的属性生成第二级节点的属性。
确定出该神经网络模型之中子图的数量为多个,则在展示界面之中展示多个子图展示图的
名称,以供用户选择。
展示的子图展示图,方便了用户选择子图展示图。
中的展示内容以自上而下的方式展示。
中的展示内容以自左向右的方式展示。
化参数和显示节点名称。对应地,通过图3可以看出,用户所选择的子图展示图名称为子图
展示图名称1,并选择显示类型信息为显示初始化参数,并选择方向为垂直方向的情况下,
展示界面的显示区域A上展示的子图展示图。对于显示区域A的子图展示图,可通过展示界
面上的放大或者缩小控件对子图展示图进行相应放大或者缩小。
可根据用户选择的文件类型,导出对应文件类型的子图展示图。其中,文件类型包括PNG
(Portable Network Graphics,便携式网络图形)和SVG(Scalable Vector Graphics,可缩
放矢量图形)等类型。
并将多个子图作为模型树形结构的第一级节点,并根据子图属性设置第一级节点的属性,
以及获取第一级节点所对应子图之中的多个节点,并作为模型树形结构第一级节点所属的
第二级节点,并根据节点的属性生成第二级节点的属性,以及遍历模型树形结构之中的多
个第一级节点,并生成多个子图展示图的名称,检测神经网络模型之中子图的数量;在子图
的数量大于预设数量的情况下,在展示界面之中展示多个子图展示图的名称,以供用户选
择,接收用户子图选择指令,根据子图选择指令从模型树形结构中获取对应的目标第二级
节点,从模型树形结构中,读取目标第二级节点的子图参数;根据目标第二级节点的子图参
数生成子图展示图,并展示。由此,结合子图选择指令,从模型树形结构获取对应的目标第
一级节点,然后,根据模型树形结构,获取目标第一级节点所对应的第二级节点,并根据第
二级节点的子图参数,快速,且准确生成了对应子图的子图展示图,以可视化的方式展示神
经网络模型中对应子图的子图展示图,方便用户通过所展示的子图展示图深入了解神经网
络模型中子图的内部结构信息,进而可方便后续优化神经网络模型的模型结构。
数,并根据多个子图及多个子图对应的多个子图参数生成模型树形结构,以及接收用户子
图选择指令,并根据子图选择指令和模型树形结构生成子图展示图并展示。由此,结合子图
选择指令和模型树形结构中对应子图的子图参数,准确生成了对应子图的子图展示图,以
可视化的方式展示神经网络模型中对应子图的子图展示图,方便用户通过所展示的子图展
示图深入了解神经网络模型中子图的内部结构信息,进而可方便后续优化神经网络模型的
模型结构。
中的多个节点,并作为模型树形结构第一级节点所属的第二级节点,并根据节点的属性生
成第二级节点的属性。在本申请的一个实施例中,子图参数还包括子图之中节点之间的对
应关系/向量,如图5所示,该装置可以包括获取模块501、读取模块502、第一生成模块503、
子图展示模块504和第二生成模块505,其中:
展示模块404的说明,此处不再进行描述。
并将多个子图作为模型树形结构的第一级节点,并根据子图属性设置第一级节点的属性,
以及获取第一级节点所对应子图之中的多个节点,并作为模型树形结构第一级节点所属的
第二级节点,并根据节点的属性生成第二级节点的属性,以及遍历模型树形结构之中的多
个第一级节点,并生成多个子图展示图的名称,检测神经网络模型之中子图的数量;在子图
的数量大于预设数量的情况下,在展示界面之中展示多个子图展示图的名称,以供用户选
择,接收用户子图选择指令,根据子图选择指令从模型树形结构中获取对应的目标第二级
节点,从模型树形结构中,读取目标第二级节点的子图参数;根据目标第二级节点的子图参
数生成子图展示图,并展示。由此,结合子图选择指令,从模型树形结构获取对应的目标第
一级节点,然后,根据模型树形结构,获取目标第一级节点所对应的第二级节点,并根据第
二级节点的子图参数,快速,且准确生成了对应子图的子图展示图,以可视化的方式展示神
经网络模型中对应子图的子图展示图,方便用户通过所展示的子图展示图深入了解神经网
络模型中子图的内部结构信息,进而可方便后续优化神经网络模型的模型结构。
台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还
可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其
它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,
并且不意在限制本文中描述的和/或者要求的本申请的实现。
装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进
行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的
显示设备)上显示图形用户界面(Graphical User Interface,简称GUI)的图形信息的指
令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存
储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服
务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
中子图的展示方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令
用于使计算机执行本申请所提供的神经网络模型中子图的展示方法。
应的程序指令/模块(例如,附图4所示的获取模块401、读取模块402、第一生成模块403和子
图展示模块404)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模
块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的神经网络
模型中子图的展示方法。
的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可
以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器
件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存
储器可以通过网络连接至神经网络模型中子图的展示的电子设备。上述网络的实例包括但
不限于互联网、企业内部网、局域网、移动通信网及其组合。
连接,图6中以通过总线连接为例。
轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604
可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示
设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在
一些实施方式中,显示设备可以是触摸屏。
固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计
算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上
执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至
少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储
系统、该至少一个输入装置、和该至少一个输出装置。
计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指
令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光
盘、存储器、可编程逻辑装置(PLD,Programmable Logic Device)),包括,接收作为机器可
读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数
据提供给可编程处理器的任何信号。
器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来
将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的
反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网
(Local Area Network,LAN)、广域网(Wide Area Network,WAN)和互联网。
算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或
云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("
Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服
务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
及多个子图对应的多个子图参数生成模型树形结构,以及接收用户子图选择指令,并根据
子图选择指令和模型树形结构生成子图展示图并展示。由此,结合子图选择指令和模型树
形结构中对应子图的子图参数,准确生成了对应子图的子图展示图,以可视化的方式展示
神经网络模型中对应子图的子图展示图,方便用户通过所展示的子图展示图深入了解神经
网络模型中子图的内部结构信息,进而可方便后续优化神经网络模型的模型结构。。
智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等
技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及
机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。