一种融合多特征的印章识别方法

摘要

本发明涉及一种融合多特征的印章识别方法。首先提取印章图像的颜色特征图、边缘特征图和原始灰度特征图，然后将三种特征图输入深度学习模型进行识别，最后将识别结果与知识图谱中的节点进行比对，并对相关知识进行展示。实验结果表明，本发明所提方法对印章识别任务有良好的效果，其中多维度的特征图可以提高模型对复杂情境的识别能力和鲁棒性。

权利要求

1.一种融合多特征的印章识别方法，其特征在于，包括以下步骤：

步骤1，对印章图像数据进行采集和标注，得到训练数据集；

步骤2，分别提取印章图像的颜色特征、边缘特征和灰度特征；

采用HSV色彩空间对印章图像进行表示，该色彩空间使用色调Hue、饱和度Saturation和亮度Value三个分量表示颜色；为防止过低饱和度和亮度的红色值的影响，将饱和度和亮度的取值范围设置为[N1, N2]；为解决色调范围选取困难的情况，采用PN和PA两个指标来衡量颜色特征的提取效果，PN表示红色连通域的数量占印章图像的总像素数的比值，PA表示红色连通域内像素总数占印章图像总像素数的比值，具体计算方式为：（1）

（2）

式中，NCC和ACC分别表示印章图像中红色连通域的数量和总像素数，W为印章图像宽度的像素数，H为印章图像高度的像素数；

计算连通域首先需要生成二值图，即将符合色度阈值的像素设置为白色，不符合色度阈值的像素设置为黑色，然后使用八路连接的计算方式判断是否相连，若某一像素点与相邻的八个像素点值均不同，则该点不与周围像素连通，反之则与相同的像素点连通，使用该方法计算得到印章图像所含的连通域数量和总面积；

当PN∈[N3, N4]且PA∈[N5, N6]时，提取的颜色特征满足要求，然后剔除面积小于 的连通域，得到印章的颜色特征图；将颜色特征图转化为灰度图，并使用双边滤波对图像进行降噪，然后使用Canny算子对印章的边缘进行提取，得到边缘特征；将印章图像转化为灰度图像，得到灰度特征；

步骤3，构建识别印章的深度学习网络模型，包含输入层、隐藏层和输出层三部分；

输入层负责接收步骤2提取的颜色特征、边缘特征和灰度特征图，并将其大小调整到统一维度，然后按照顺序进行排列；隐藏层包含卷积层和池化层两类，其中卷积层提取印章图像的颜色特征、边缘特征和灰度特征，池化层则对卷积层所提取的三种特征进行选择，降低参数数量，进而提高识别效率；输出层由全连接层组成，全连接层将隐藏层的高维空间降至低维空间，实现对特征的压缩，最后一层输出层的激活函数使用softmax函数，用以输出对应类别的概率，进而实现对印章图像的识别；

步骤4，使用步骤1中的训练数据集分批次对步骤3构建的印章识别网络模型进行训练；

步骤5，利用步骤4训练好的印章识别网络模型进行印章图像识别；

步骤6，构建印章知识图谱，并与步骤5识别出的印章相关联进行可视化展示。

2.如权利要求1所述的一种融合多特征的印章识别方法，其特征在于：步骤1中首先获取包含印章的整幅作品的高清原图，然后采集原图中的印章，并将难以辨别和残缺的印章剔除，印章采集时沿着印章的边界进行裁剪。

3.如权利要求1所述的一种融合多特征的印章识别方法，其特征在于：步骤1中采用“人物‑名称‑编号”的标注格式对采集的印章进行标注，其中“‑”为分隔符，人物为印章的所有人，名称为印章的内容，当印章的所有人不可考时人物标注为“未知”，当印章为官印时人物标注为印章的时代加官印，没有时代或时代不清晰的不加时代，当印章的所有人和印章内容都相同时，需要对其进行编号，印章不重复则无需编号，去除编号后“人物‑名称”部分作为训练集使用的标签。

4.如权利要求1所述的一种融合多特征的印章识别方法，其特征在于：步骤3中输入层在接收多特征图时，将输入图像的大小进行统一缩放；为了避免出现过拟合现象，隐藏层采用卷积与池化相叠加的结构，同时在卷积层使用Dropout和正则化策略，靠近输入层的卷积层用于提取印章的纹理、边缘、形状这些底层特征，后续的卷积层将底层特征进行组合得到包含更多语义信息的高层特征，池化层使用最大池化方式；当待识别的印章图片经过卷积层时会激活不同的卷积核，将激活状态的卷积核输出进行组合，得到待识别印章的特征向量，最后经过全连接层对该特征向量进行适当的缩放后，经过softmax激活函数即可得到印章的识别结果。

5.如权利要求1所述的一种融合多特征的印章识别方法，其特征在于：步骤4训练过程中通过反向传参对卷积层和池化层的参数进行调整，以提取不同印章图像的语义特征；神经网络模型中输入特征的尺寸为[N7,N7,N8]，训练批次大小为N9，使用Adam优化器调整模型的拟合方向，Adam优化器的初始学习率为N10，dropout设置为N11，最大训练次数为N12，使用early_stop策略，当训练中的 个轮次评价指标没有得到提升时停止训练，并将最佳模型进行保存，方便之后调用。

6.如权利要求1所述的一种融合多特征的印章识别方法，其特征在于：步骤5当用户需要识别印章图像时，首先需要使用步骤2中的方法提取待识别印章图像的颜色特征、边缘特征和灰度特征，然后调用步骤4中保存的网络模型对待识别印章图像进行检测，得到检测结果。

7.如权利要求1所述的一种融合多特征的印章识别方法，其特征在于：步骤6中构建的印章知识图谱是以印章本体库为基础，采用自顶向下的方式构建印章知识图谱，将符合本体结构的知识加入知识图谱中；印章本体库由领域专家构建，以书画古籍为中心，共分为三层，第一层为包含书画古籍的名称、作者、藏家、创作背景、创作年代、体裁、现存地、规格、材质；第二层包含人物所处时代、拥有印章名称、主要作品、别名、字、号、民族、官职、谥号、好友、父亲、兄弟；第三层包含印章内容、含义、出处、典故、特征、材质、形状；知识图谱使用百度百科半结构化数据，扩充大量典故，以增强所含知识的可读性；若步骤5识别出的印章与印章知识图谱匹配正确，则将与识别结果相关联的知识进行可视化展示。

说明书

一种融合多特征的印章识别方法

技术领域

[0001] 本发明属于图像识别技术领域，具体涉及一种融合多特征的印章识别方法。

背景技术

[0002] 相较于书法、建筑和绘画艺术，以印章为代表的传统篆刻艺术在广大民众中的普及程度并不高，其传承与发扬在新技术环境下面临危机。一方面，借助古铜、玉石、象牙等天然材质制作的传统印章实体，历经久远岁月的流传和自然侵蚀，对传统印章的保护带来了挑战。同时，这也使得印章实体边栏难免产生苍茫和残烂，致使原本工整的印文呈现图案残缺不全，对印文的美感和观赏价值带来负面影响；另一方面，诸如小篆、大篆、绘画等印文传统呈现形式通常艰深晦涩，给公众了解印文背后的典故文化和人物事迹增添了较大的认知负担，进而阻碍了传统印章文化的广泛传播与普及。此外，随着数字化技术深度融入人类社会的生产生活中，传统实体印章的防伪和标识功能也逐渐被电子印章取代，实体印章终将逐步淡出人们的视线。因此，如何保护、传承和发展集聚人文内核和功用价值的传统印章文化遗产，成为理论和现实中亟待探究的重要问题。

[0003] 我国于2007年启动“中华古籍保护计划”，其中要求将印章进行数字化保护。将印章转化为可检索的对象，可用于古籍字画等作品的版本鉴定和历史溯源，同时还应挖掘印章本身作为艺术品的鉴赏价值。数字人文为传统印章篆刻文化的传承与发展提供了理论指导和技术支撑。通过文化遗产的数字化建设，对传统印章资源进行数字化识别、采集、分类、保存、检索，结合各类三维数字化技术和可视化技术，能够在数字空间中对传统印章实体和印文进行虚拟再造，为传统印章文化遗产的保护开辟了新的路径。在此基础上，利用知识图谱技术对传统印章蕴含的实体、事件及其关系进行关联，有利于建立起人们对传统印章艺术的直观认知，也为该领域的知识组织和多元视角阐释提供了新思路。现有关于数字人文的研究对象极少涉足传统印章，尚未有研究利用知识图谱技术构建传统印章及关联实体的概念图谱，实现篆刻艺术的可视化知识检索。

发明内容

[0004] 本发明针对现有技术的不足，提供一种融合多特征的印章识别方法，包括以下步骤：

[0005] 步骤1，对印章图像数据进行采集和标注，得到训练数据集；

[0006] 步骤2，分别提取印章图像的颜色特征、边缘特征和灰度特征；

[0007] 步骤3，构建识别印章的深度学习网络模型；

[0008] 步骤4，使用步骤1中的训练数据集分批次对步骤3构建的印章识别网络模型进行训练；

[0009] 步骤5，利用步骤4训练好的印章识别网络模型进行印章图像识别；

[0010] 步骤6，构建印章知识图谱，并与步骤5识别出的印章相关联进行可视化展示。

[0011] 而且，所述步骤1中首先获取包含印章的整幅作品的高清原图，接着采集原图中的印章，并将难以辨别和残缺的印章剔除，印章采集时沿着印章的边界进行裁剪，然后对采集的印章进行标注，采用“人物‑名称‑编号”的标注格式，其中“‑”为分隔符，人物为印章的所有人，名称为印章的内容，当印章的所有人不可考时人物标注为“未知”，当印章为官印时人物标注为印章的时代加官印，没有时代或时代不清晰的不加时代，当印章的所有人和印章内容都相同时，需要对其进行编号，印章不重复则无需编号，去除编号后“人物‑名称”部分作为训练集使用的标签。

[0012] 而且，所述步骤2中采用HSV色彩空间对印章图像进行表示，该色彩空间使用色调Hue、饱和度Saturation和亮度Value三个分量表示颜色；为防止过低饱和度和亮度的红色值的影响，将饱和度和亮度的取值范围设置为[N1, N2]；为解决色调范围选取困难的情况，采用PN和PA两个指标来衡量颜色特征的提取效果，PN表示红色连通域的数量占印章图像的总像素数的比值，PA表示红色连通域内像素总数占印章图像总像素数的比值，具体计算方式为：

[0013] （1）

[0014] （2）

[0015] 式中，NCC和ACC分别表示印章图像中红色连通域的数量和总像素数，W为印章图像宽度的像素数，H为印章图像高度的像素数。

[0016] 计算连通域首先需要生成二值图，即将符合色度阈值的像素设置为白色，不符合色度阈值的像素设置为黑色，然后使用八路连接的计算方式判断是否相连，若某一像素点与相邻的八个像素点值均不同，则该点不与周围像素连通，反之则与相同的像素点连通，使用该方法计算得到印章图像所含的连通域数量和总面积；当PN∈[N3, N4]且PA∈[N5, N6]时，提取的颜色特征满足要求，然后剔除面积小于 的连通域，得到印章的颜色特征图；将颜色特征图转化为灰度图，并使用双边滤波对图像进行降噪，然后使用Canny算子对印章的边缘进行提取，得到边缘特征；将印章图像转化为灰度图像，得到灰度特征。

[0017] 而且，所述步骤3中网络包含输入层、隐藏层和输出层三部分，输入层负责接收步骤2中的颜色特征、边缘特征和灰度特征图，并将其大小调整到统一维度，然后按照顺序进行排列。隐藏层包含卷积层和池化层两类，其中卷积层可以提取印章图像的颜色特征、边缘特征和灰度特征，池化层则对卷积层所提取的三种特征进行选择，降低参数数量，进而提高识别效率。输出层由全连接层组成，全连接层将隐藏层的高维空间降至低维空间，实现对特征的压缩，最后一层输出层的激活函数使用softmax函数，用以输出对应类别的概率，进而实现对印章图像的识别。输入层在接收多特征图时，将输入图像的大小进行统一缩放。为了避免出现过拟合现象，隐藏层采用卷积与池化相叠加的结构，同时在卷积层使用Dropout和正则化策略，靠近输入层的卷积层用于提取印章的纹理、边缘、形状等底层特征，后续的卷积层将底层特征进行组合得到包含更多语义信息的高层特征，池化层使用最大池化方式。当待识别的印章图片经过卷积层时会激活不同的卷积核，将激活状态的卷积核输出进行组合，得到待识别印章的特征向量，最后经过全连接层对该特征向量进行适当的缩放后，经过softmax激活函数即可得到印章的识别结果。

[0018] 而且，所述步骤4训练过程中通过反向传参对卷积层和池化层的参数进行调整，以提取不同印章图像的语义特征。神经网络模型中输入特征的尺寸为[N7,N7,N8]，训练批次大小为N9，使用Adam优化器调整模型的拟合方向，Adam优化器的初始学习率为N10，dropout设置为N11，最大训练次数为N12，使用early_stop策略，当训练中的 个轮次评价指标没有得到提升时停止训练，并将最佳模型进行保存，方便之后调用。

[0019] 而且，所述步骤5当用户需要识别印章图像时，首先需要使用步骤2中的方法提取待识别印章图像的颜色特征、边缘特征和灰度特征，然后调用步骤4中保存的网络模型对待识别印章图像进行检测，得到检测结果。

[0020] 而且，所述步骤6以印章本体库为基础，采用自顶向下的方式构建印章知识图谱，将符合本体结构的知识加入知识图谱中。印章本体库由领域专家构建，以书画古籍为中心，共分为三层，第一层为包含书画古籍的名称、作者、藏家、创作背景、创作年代、体裁、现存地、规格、材质，第二层包含人物所处时代、拥有印章名称、主要作品、别名、字、号、民族、官职、谥号、好友、父亲、兄弟；第三层包含印章内容、含义、出处、典故、特征、材质、形状。知识图谱使用百度百科半结构化数据，扩充大量典故，以增强所含知识的可读性。若步骤5识别出的印章与印章知识图谱匹配正确，则将与识别结果相关联的知识进行可视化展示。

[0021] 与现有技术相比，本发明具有如下优点：

[0022] 1）通过颜色特征、边缘特征和灰度图特征多种特征相互补充，能够有效提升复杂情境下的印章识别效果；2）使用较为轻量化的深度学习模型将多种特征进行融合，可以较好地避免过拟合现象的发生；3）构建印章知识图谱，并与识别出的印章相关联进行可视化展示，

[0023] 有利于建立起人们对传统印章艺术的直观认知，也为该领域的知识组织和多元视角阐释提供了新思路。

附图说明

[0024] 图1为本发明实施例的流程图。

[0025] 图2为复杂情境下的印章示例图，其中图2（a）为褪色的印章，图2（b）为两侧底色不同的印章，图2（c）为印章和文字重叠的情况。

[0026] 图3为HSV颜色空间下两枚印章不同色调范围的色彩特征，其中图3（a）为印章1的原图，图3（b）为印章1在H∈[0,5]时的色彩特征，图3（c）印章1在H∈[0,10]时的色彩特征，图3（d）印章1在H∈[0,15]时的色彩特征，图3（e）印章1在H∈[0,20]时的色彩特征，图3（f）中为印章2的原图，图3（g）为印章2在H∈[0,5]时的色彩特征，图3（h）印章2在H∈[0,10]时的色彩特征，图3（i）印章2在H∈[0,15]时的色彩特征，图3（j）印章2在H∈[0,20]时的色彩特征。

[0027] 图4为基于双边滤波器的Canny边缘检测算子的边缘检测过程，图4（a）为原图，图4（b）为颜色特征图，图4（c）为颜色特征二值图，图4（d）为提取到的边缘特征。

[0028] 图5为“埋轮之后”印章的可视化界面，其中图5（a）为识别结果所关联的知识图谱，图5（b）为识别结果及其特征图与典故。

[0029] 图6为“埋轮之后”印章的典故详情页。

具体实施方式

[0030] 本发明提供一种融合多特征的印章识别方法，下面结合附图和实施例对本发明的技术方案作进一步说明。

[0031] 如图1所示，本发明实施例的流程包括以下步骤：

[0032] 步骤1，对印章图像数据进行采集和标注，得到训练数据集。

[0033] 首先获取包含印章的整幅作品的高清原图，并使用TIFF格式保存，该格式是一种非失真的压缩格式，可以保留原始图像的颜色和层次。接着采集原图中的印章，并将难以辨别和残缺的印章剔除，印章采集时沿着原印章的边界进行裁剪。然后对采集的印章进行标注，采用“人物‑名称‑编号”的标注格式，其中“‑”为分隔符，人物为印章的所有人，名称为印章的内容。当印章的所有人不可考时人物标注为“未知”，当印章为官印时人物标注为印章的时代加官印，如宋官印‑荆湖南路转运使印，没有时代或时代不清晰的可不加时代，如官印‑北京图书馆藏。当印章的所有人和印章内容都相同时，需要对其进行编号，如项元汴‑项叔子‑1，项元汴‑项叔子‑2，印章不重复则无需编号。去除编号后“人物‑名称”部分作为训练集使用的标签。

[0034] 步骤2，分别提取印章图像的颜色特征、边缘特征和灰度特征。

[0035] 印泥中的显色成分主要为朱砂，但印章在传承过程中，受存放方式、存放环境和辅料不同的影响，会导致印章存在褪色、偏色等问题，如图2（a）所示；后代收藏者也会对褪色或偏色的书画进行重新装裱，造成在骑缝处的印章左右背景和纹理不同，如图2（b）所示；还有一些收藏者会将印章钤印到文字上，或在题跋的过程中文字覆盖到印章上，如图2（c）所示。上述因素会影响模型对印章识别的效果，为了避免印章和文字重叠及底部纹理对识别产生影响，需要提取图像中的印章部分，而忽略非印章的部分。本发明通过提取图像中红色分量部分提取出图像中的印章。

[0036] 古籍书画采集和数字化过程中，设备和光照的不同会导致颜色分量差异较大，不利于印章提取。为了避免上述问题，采用HSV色彩空间对图像进行表示，该色彩空间使用色调（Hue）、饱和度（Saturation）和亮度（Value）三个分量表示颜色。在HSV色彩空间下，将饱和度和亮度值固定就可以避免印章颜色的深浅和明暗所带来的影响。为防止过低饱和度和亮度的红色值的影响，将饱和度和亮度的取值范围设置为[50, 255]，如图3所示，更改色调的取值范围可以调节红色分量的提取区间。

[0037] 当色调值等于0时颜色为正红色，因此色调的取值范围最小值为0。随着色调的值越大，颜色向着橙色及黄色转变。由图3可知，印章受到诸多因素的影响，即便是同一枚印章在不同的场景下色彩差异也较大。色调的取值范围直接影响着印章识别的效果，当色调的取值范围过小时，符合要求的像素数量较少，印章的色彩特征难以被完整提取。而当色调的取值范围过大时，所提取的色彩特征包含较多的噪声像素。

[0038] 为解决色调范围选取困难的情况，采用PN和PA两个指标来衡量颜色特征的提取效果，其中，PN表示红色连通域的数量占印章图像的总像素数的比值，PA表示红色连通域内像素总数占印章图像总像素数的比值，具体计算方式为：

[0039] （1）

[0040] （2）

[0041] 式中，NCC和ACC分别表示印章图像中红色连通域的数量和总像素数，W为印章图像宽度的像素数，H为印章图像高度的像素数。

[0042] 计算连通域需要先生成二值图，即符合色度阈值的像素设置为白色，不符合色度阈值的像素设置为黑色，然后使用八路连接的计算方式判断是否相连，若某一像素点与相邻的八个像素点值均不同，则该点不与周围像素连通，反之则与相同的像素点连通。使用上述方法即可计算出印章图像所含的连通域数量和总面积。当NCC的值过高时表明有较多的连通域，可能存在较多的噪声点。而当NCC的值过低时表明连通域数量少，可能不同区域粘连，并未很好地提取到印章色彩特征。当ACC值较低时表明所提取的区域较少，印章色彩特征提取不充分，而当ACC的值过高时表明所提取区域较多，印章色彩特征未得到有效的分离。在印‑5章数据上使用不同的色度值进行比对，最终得到当PN∈[1e , 6e‑4]且PA∈[0.2, 0.42]时效果较好。当印章颜色特征提取较好时，连通域面积较小的点通常为噪声点，因此需要将面积小于4的连通域去除，此时的特征图像即为印章的颜色特征图。

[0043] 虽然印章的颜色特征图可以有效去除笔迹重叠和背景纹理所带来的影响，但是印章在篆刻或钤印的过程中难免发生字体中间出现白色空隙及残缺的现象，因此印章的边缘特征是对颜色特征的重要补充。由于颜色特征图较好地保留了印章的全貌，因此边缘特征的提取基于颜色特征图进行。

[0044] 相较于Roberts、Sobel、Prewitt等算子，Canny算子具有信噪比大、准确率高的优点。Canny算子的边缘检测过程包含降噪、寻找梯度、跟踪边缘三个步骤。该算法在降噪步骤中使用高斯函数对输入图像进行平滑滤波处理，但是该步骤在降噪的同时会丢失部分边缘信息进而导致边缘模糊。后续的Canny改进算子通常使用双边滤波代替高斯滤波，双边滤波融合了高斯标准差，对于灰度图可以将灰度相似性和空间分布情况纳入检测范围，可以更好地保留高频细节。

[0045] 以“北京图书馆藏”为例，印章的边缘特征提取过程如图4所示，为了更好地适配Canny算子进行边缘检测，首先将颜色特征图转化为灰度图，随后使用双边滤波对图像进行降噪，最后使用Canny算子对印章的边缘进行提取。不同印章的颜色特征和边缘特征具有较强的区分性，但是在提取特征的过程中难免会有信息损失。或者当颜色特征和边缘特征提取并不充分的情况下，就需要将印章图像的特征作为补充，确保神经网络的输入具有足够的信息用于区分不同的印章。鉴于颜色特征已经存在，使用灰度图对印章图像进行表示，在保留原始特征的前提下可以提升模型的计算效率。

[0046] 步骤3，构建识别印章的深度学习网络模型。

[0047] 该模型包含输入层、隐藏层和输出层三部分。输入层负责接收步骤2中的颜色特征、边缘特征和灰度特征图，并将其大小调整到统一维度，然后按照顺序进行排列；隐藏层包含卷积层和池化层两类，其中卷积层可以提取印章图像的特征，池化层则对卷积层所提取的特征进行选择，降低参数数量，进而提高识别效率；输出层由全连接层组成，全连接层将隐藏层的高维空间降至低维空间，实现对特征的压缩，最后一层输出层的激活函数使用softmax函数，用以输出对应类别的概率，进而实现对印章图像的识别。

[0048] 如图1所示，输入层在接收多特征图时，将输入图像的大小统一缩放至宽度等于300像素的正方形。为了避免出现过拟合现象，隐藏层采用三层卷积与三层池化相叠加的结构，同时在卷积层使用Dropout和正则化策略，靠近输入层的卷积层包含64个卷积核，用于提取印章的纹理、边缘、形状等底层特征，后续的卷积层包含128个卷积核，将底层特征进行组合得到包含更多语义信息的高层特征，卷积核的大小均为边长等于3像素的正方形，池化层使用最大池化方式，池化窗口的大小为2×2。当待识别的印章图片经过卷积层时会激活不同的卷积核，将激活状态的卷积核输出进行组合，即可得到待识别印章的特征向量。经过全连接层对该特征向量的长度进行修剪，即可用于印章的识别。

[0049] 步骤4，使用步骤1中的训练数据集分批次对步骤4构建的印章识别网络模型进行训练。

[0050] 训练过程中通过反向传参对卷积层和池化层的参数进行调整，以提取不同印章图像的语义特征。神经网络模型中输入特征的尺寸为[300,300,3]，训练批次大小为16，使用‑4Adam优化器调整模型的拟合方向，Adam优化器的初始学习率为2×e ，dropout设置为0.2，最大训练次数为500。使用early_stop策略，当训练中的5个轮次评价指标没有得到提升时停止训练，并将最佳模型进行保存，方便之后调用。

[0051] 步骤5，利用步骤4训练好的印章识别网络模型进行印章图像识别。

[0052] 当用户需要识别印章图像时，首先需要使用步骤2中的方法提取待识别图像的颜色特征、边缘特征和灰度特征，然后调用步骤4中保存的模型对待识别图像进行检测，得到检测结果。

[0053] 步骤6，构建印章知识图谱，并与步骤5识别出的印章相关联进行可视化展示。

[0054] 以印章本体库为基础，采用自顶向下的方式构建印章知识图谱，将符合本体结构的知识加入知识图谱中。印章本体库由领域专家构建，以书画古籍为中心，共分为三层，第一层为包含书画古籍的名称、作者、藏家、创作背景、创作年代、体裁、现存地、规格、材质等。第二层包含人物所处时代、拥有印章名称、主要作品、别名、字、号、民族、官职、谥号、好友、父亲、兄弟等。第三层包含印章内容、含义、出处、典故、特征、材质、形状等。知识图谱主要使用百度百科等半结构化数据，扩充大量典故，以增强所含知识的可读性。若步骤5识别出的印章与印章知识图谱匹配正确，则将与识别结果相关联的知识进行可视化展示。

[0055] 实验设置与结果分析

[0056] 1.实验数据集

[0057] 采集了《兰亭序》、《祭侄文稿》、《寒食帖》、《伯远帖》、《韭花帖》、《快雪时晴帖》、《伯远帖》、《中秋帖》、《仲尼梦奠帖》、《上阳台帖》和《洛神赋》十一篇字画上共计1025枚印章作为训练集，并采集《松风阁帖》和《蜀素帖》上训练集中出现过的印章作为测试集，共计76枚印章。为更好测试模型的对复杂情境下的鲁棒性，测试集中包含背景不同、字迹覆盖、印章颜色较浅等情况。

[0058] 2.实验设置

[0059] 使用武汉大学超级计算机中心的GPU服务器作为实验平台，CPU型号为Intel(R) Xeon(R) E5‑2640， GPU型号为Nvidia Tesla V100，内存容量为128GB，操作系统为CentOS 7.7，实验代码基于python 3.7和Tensorflow 2.4框架编写。模型训练时使用early_
stopping策略，当超过10个训练轮次准确率没有得到提升时停止训练。模型的相关参数使用网格搜索策略，为每个参数设置候选列表，使用遍历循环的方式得到每一种参数组合的准确率，保存印章识别效果最好的参数组合，如表1所示。

[0060] 表1 模型参数设置

[0061]

[0062] 当计算某一类样本时，该类样本为正样本，其余样本为负样本。模型的评价指标为精确率P（Precision）、召回率R（Recall）和F1值，计算方式如下：

[0063] （3）

[0064] （4）

[0065] （5）

[0066] 式中，n为总类别数；TPi表示识别正确的正样本数；FPi是负样本被识别为正样本的个数；FNi是正样本被识别为负样本的个数；P表示识别正确的正样本数和所有识别为正样本数的比值，即识别出正样本中正确的占比；R表示识别正确的正样本数和实际正样本数的比值；F1值是P和R的等权调和平均值，可以对P和R进行综合评价。

[0067] 在多分类任务中，实际计算的是Macro Average，需要单独计算每个类别的P、R、F1，最后求平均值。

[0068] 3.实验结果及分析

[0069] 为了验证融合多特征的印章识别方法的有效性，选取CNN、VGG16和GoogleNet作为本方法的对比基线模型，基线模型均使用原始印章图像作为输入。其中CNN与本方法结构一致，VGG16包含13个卷积层和3个全连接层，GoogLeNet将名为Inception的模块化结构进行串联，扩大了模型的深度和广度。同时实验设置了消融实验用于验证不同特征的作用，分别去除颜色特征，去除边缘特征，去除原始图像灰度特征，仅保留颜色特征，仅保留边缘特征。实验结果如表2所示。

[0070] 表2 实验结果

[0071]

[0072] 注：‑为去除的特征，+为仅保留的特征。

[0073] 由表2可知，VGG16和GooGleNet模型在印章识别任务中性能较差，VGG16的识别精度略高于GooGLeNet，而召回率略低于GooGLeNet，原因是VGG16模型参数过多，训练数据不足以使模型得到充分的优化，在训练过程中出现了不同程度的过拟合现象。GooGLeNet模型更深的层数导致过拟合程度更高，准确率更低。由于CNN模型参数少，可以在一定程度上避免过拟合现象，整体识别效果得到了一定的提升。上述三种模型使用原始图像作为输入，难以处理字迹覆盖等复杂因素，同时VGG16和GooGLeNet模型将字迹等噪声视为印章特征的一部分，加剧了过拟合现象。

[0074] 在消融实验中，去除颜色特征后的F1值下降了21.56%，但依然高于CNN模型，表明边缘特征起到了一定的过滤噪声的功能。将边缘特征去除后，F1值下降了11.67%，检查预测结果发现模型对浅色印章和不清晰印章的识别能力下降。去除原始图像灰度特征后，F1值下降了2.77%，在处理字迹覆盖等情况时原始图像的灰度特征同样会引入噪声，但颜色特征和边缘特征会对噪声进行一定的抑制，进而保留其中有益的特征。总的来说，边缘特征是颜色特征进一步处理后的特征，两者对噪声均不敏感。颜色特征聚焦于印章整体的情况，而边缘特征更加重视印章内容的边缘，从而对印章内容空隙等情况具有更强的鲁棒性。原始图像的灰度特征中的噪声得到抑制的情况下，引入该特征收益大于损失。

[0075] 4.案例演示

[0076] 为了更加形象的展示查询结果和关联知识，基于所提方法设计了可视化展示平台。平台通过选择“印章识别”选项上传图像并对其进行识别，选择“知识图谱”选项卡可以查看整体的知识图谱，选择“模型训练”选项卡可以选择不同的训练数据重新训练模型，选择“模型选择”选项卡可以选择所保存的模型进行印章识别，选择“数据分析”选项卡可以查看模型训练结果。当用户将印章图片上传至平台时，平台会调用特征提取模块对输入图像进行处理，得到可供卷积神经网络识别的三种特征图。平台会加载神经网络模型对输入特征进行识别。同时模型会将识别印章结果与知识图谱中的节点进行比对，同时将与之相连的一跳节点进行展示。

[0077] 图5给出了《寒食帖》接缝上“埋轮之后”印章的识别结果，图5（a）显示“埋轮之后”印章的一跳节点和部分二跳节点。图5（b）上方为识别结果，中部为模型提取的特征图，下方则为典故，点击“更多”按钮可以跳转至典故页面，查看完整的典故信息。由图5可知，该印章属于张縯，印章雕刻方式为阳刻，印章含义为“出自《后汉书·张纲传》。同时图谱中包含寒食帖的简体字内容，可以降低用户的阅读门槛。

[0078] 图6给出了寒食帖相关的典故，通过阅读典故可以帮助用户感受作品历经沧桑的厚重感，在了解作品的创作背景和对应的典故可以更好地理解作品本身的内容。

[0079] 本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。