一种基于卷积神经网络的牙齿图像龋坏识别方法及系统

摘要

本发明提供一种基于卷积神经网络的牙齿图像龋坏识别方法及系统。本发明通过对大量的经过临床诊断的牙的数码照片进行深度学习，能够准确判断目标照片中牙齿龋坏的概率，可以帮助民众进行龋的自我监管，必要时及时到医院就诊检查。具有实时性好，能发现早期龋坏的特点。

权利要求

1.一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，所述方法包括以下步骤，步骤1)数据采集，采集医院若干病例样本口腔相关的电子病历记录作为数据集，所述电子病历记录包括诊疗前口内照片；

步骤2)数据标记，将所述数据集中的所述照片判读为已龋坏或未龋坏，同时将所述照片对应的样本标注不同类别的标签，其中所述标签为已龋坏的样本为正样本，所述标签为未龋坏的样本为负样本，进而得到已标注的数据集；

步骤3)数据预处理，对所述已标注的数据集中的所述照片进行预处理，进而得到已预处理的数据集；

步骤4)数据划分，按照设定正负样本抽取比例与设定数据集划分比例，对所述已处理的数据集进行随机抽取与随机划分，进而得到训练集、验证集与测试集；

步骤5)模型定义，构建卷积神经网络分类器，定义损失函数；

步骤6)模型训练，初始化卷积神经网络分类器参数，迭代使用所述训练集训练所述卷积神经网络分类器参数，当损失函数小于设定阈值时，停止训练所述卷积神经网络分类器参数，使用所述验证集优化所述卷积神经网络分类器参数，进而得到已训练优化的卷积神经网络分类器；

步骤7)模型评估，使用所述测试集评估已训练优化的卷积神经网络分类器的性能指标；

步骤8)模型识别，对新的诊疗前口内照片进行所述预处理，并输入所述已训练优化的卷积神经网络分类器中，所述已训练优化的卷积神经网络分类器预测输出对应的标签类别，进而识别所述的疗前口内照片已龋坏或未龋坏。

2.根据权利要求1所述的一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，在所述步骤2)中，具体实现包括：a)若所述照片中窝沟形态相对完整，表现为沟壁沟底龋坏的早期窝沟龋或未破坏边缘嵴的邻面龋，则判读为已龋坏；

b)若所述照片中已形成龋洞的或包含较易识别的龋坏部分，则判读为已龋坏；

c)若所述照片非a)或非b)，则判读为未龋坏。

3.根据权利要求1所述的一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，在所述步骤2)中，使用toothMarking工具将所述数据集中的所述照片判读为已龋坏或未龋坏。

4.根据权利要求1所述的一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，在所述步骤3)中，所述预处理包括图像去噪和图像大小归一化操作。

5.根据权利要求1所述的一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，在所述步骤4)中，所述设定正负样本抽取比例为所述正样本与所述负样本的比例为1：

1，所述设定正负样本抽取比例为所述训练集、所述验证集与所述测试集的比例为4:1:1。

6.根据权利要求1所述的一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，在所述步骤5)中，所述卷积神经网络分类器网络包括13层卷积层、5层池化层、1个自注意力机制模块、3层全连接层与1层softmax层，从前至后共分为8个模块，其中模块1与模块2均包括2层卷积层和1层池化层，模块3、模块4与模块5均包括3层卷积层和1层池化层，模块6为自注意力机制模块，模块7包括3层全连接层，模块8包括1层softmax层，卷积层采用卷积核为3×3、步幅为1且填充为1的卷积操作，池化层采用最大池化的池化操作，全连接层和卷积层采用RELU作为激活函数，并通过softmax层输出照片识别的标签类别；所述自注意力机制模块从左到右包括3层1×1的卷积层，1层逐像素的相乘连接操作和softmax层，1层逐像素的相乘连接操作和1层1×1的卷积层。

7.根据权利要求1所述的一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，在所述步骤5)中，所述损失函数为cross-entropy函数。

8.根据权利要求1所述的一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，在所述步骤6)中，所述设定阈值为1e-10。

9.根据权利要求1所述的一种基于卷积神经网络的牙齿图像龋坏识别方法，其特征在于，在所述步骤7)中，所述性能指标包括但不限于敏感度和特异度。

10.一种基于卷积神经网络的牙齿图像龋坏识别系统，其特征在于，所述系统包括图像输入模块、图像预处理模块、龋坏识别模块与结果输出模块；

所述图像输入模块，用于输入牙齿图像，并将所述牙齿图像发送至所述预处理模块；

所述图像预处理模块，接收所述预处理模块发送的所述牙齿图像，对所述牙齿图像进行预处理，得到已预处理的牙齿图像，并将所述已预处理的牙齿图像发送至所述龋坏识别模块；

所述龋坏识别模块包括已训练的卷积神经网络分类器，所述已训练的卷积神经网络分类器接收所述图像预处理模块发送的所述已预处理的牙齿图像，并预测输出对应的标签类别；

所述结果输出模块，接收所述龋坏识别模块所输出的所述标签类别，进而输出所述牙齿图像已龋坏或未龋坏。

说明书

一种基于卷积神经网络的牙齿图像龋坏识别方法及系统

技术领域

[0001] 本发明涉及一种基于深度学习的牙齿健康状态判断系统，其判断对象是数码照片，主要解决的问题是非专业人士自我发现早期龋有困难，该算法可以对早期龋进行预警。

背景技术

[0002] 龋病(dental caries)，是以细菌为病原体，多种因素参与，发生在牙齿硬组织的慢性、进行性、破坏性疾病。龋病是一种常见病、多发病，世界卫生组织将其列为危害人类的三大疾病之一，尽可能早地发现龋病，并对其进行早期预防和治疗，可以很大程度上预防龋病的发展。

[0003] 龋，尤其是儿童龋，龋蚀范围广，发展迅速，龋损早期表现不明显，家长发现并就医时通常龋损已发展成洞，甚至已出现牙髓炎或牙龈瘘管的症状。因此，尽可能早地发现龋病，对于儿童龋的治疗至关重要，可以在最大程度上预防龋病的进展并获得较好的疗效。

[0004] 龋的好发牙面依次为咬合面、邻面、牙根面、唇颊侧。根据龋发生的解剖部位不同，可以分为三类：窝沟点隙龋(合面龋)、光滑面龋(邻面龋、唇舌侧龋)、根面龋。不易发现的早期龋病常见于牙齿的窝沟点隙及邻面。后牙咬合面的窝沟点隙是牙齿发育过程中硬组织融合不全遗留的薄弱部位，且容易积存菌斑和食物残渣，沟裂不易清洁，加上其矿化程度低，易发生龋坏，且由于窝沟龋坏三维结构复杂，早期发现有困难；牙齿邻面由于存在食物嵌塞及菌斑堆积，易发生龋坏，发生在邻面的龋坏具有早期的隐蔽性，其多发生在接触点根方，往往在龋坏扩展波及邻面接触点牙本质时，通过视诊可见边缘嵴下的墨浸状改变才能被发现；邻面龋和窝沟龋在早期，也就是形成明显龋洞前其发现和诊断对口腔专业人士来说都有一定的困难，除临床检查外还需要借助X线片等检查手段。对非专业人士而言要发现这些类型的龋坏几乎是不可能的。等自我感知到龋坏时龋洞已经不小，治疗所需要消耗的成本更高，而且效果与早治疗相比不理想。儿童龋具有龋坏进展快的特点，对于大面积已有破坏的深龋齿，病变进展到牙本质深层，临床上通常可观察到明显的深龋洞，接近牙髓，可有或没有自觉症状，如未经及时治疗，龋坏易发展为牙髓炎或根尖周炎。本发明通过深度学习算法的开发设计能够识别窝沟早期龋(窝沟形态相对完整，表现为沟壁沟底的龋坏)、早期邻面龋(未破坏边缘嵴者)和大面积已有破坏的深龋齿的自动判断系统，以实现对牙齿龋坏的预警，更好的进行口腔健康状况监测。

[0005] 随着计算机技术的发展，更多的新技术被应用于更准确的检测和判断窝沟龋及邻面龋，如光学投照、电阻抗法、定量光导荧光技术(QLF)、近红外透照成像技术、数字化X线摄影、LED技术等。这些技术需要较为昂贵的外部成像硬件，且对外界环境条件也有一定的要求，对于推广应用到普通人群有较多限制。Sopro-life是采用LED技术的龋齿探测系统，其工作原理尚未明确，可能与窝沟底部的有机物有关，其有三种模式，其中日光模式可将牙面局部放大50倍，在诊断模式下发射450nm波长荧光，并在程序中观察，正常牙体组织呈绿色，异常可疑龋组织呈红褐色。目前已有部分研究证明以上技术具有较好的灵敏度，但特异度波动范围较大，影响因素较多，对激光有反应的物质均可能对数值产生影响，如菌斑牙石、食物残渣、色素、修复材料、窝沟封闭剂、抛光膏等。

[0006] 随着个人计算机的发展，使数字成像过程更加高效和方便。然而，很少有学者应用卷积神经网络定量评估数字图像来诊断龋齿。近来，已有研究者提出可以应用数字图像处理与识别技术来评估窝沟龋，其具有较好的灵敏度和特异度。2015年Berdouses等人首次提出了一种计算机辅助下全自动窝沟龋评估方法，基于彩色图像处理系统，能够检测窝沟龋，提供与训练有素的牙医相似或更好的性能来对窝沟龋坏进行分类。通过利用适当的特征和包含或排除规则，使用已知分类的更多图片来进行训练，可以调整算法以更新关于龋诊断的知识(A computer-aided automated methodology for the detection and classification of occlusal caries from photographic color images[J].Computers in Biology&Medicine,2015,62:119-135)。2019年，K.Moutselos和I.Maglogiannis等人提出了一种基于深度学习架构识别并根据ICDAS分类合面龋的方法，该试验所用训练数据较少，仅为88例(Moutselos K,Berdouses E,Oulis C et al.Recognizing Occlusal Caries in Dental Intraoral Images Using Deep Learning.[J].Conf Proc IEEE Eng Med Biol Soc,2019,2019:1617-1620)。而关于使用卷积神经网络和机器学习技术识别邻面龋数字图像尚未有文献报道。

[0007] 综上，现有技术存在以下若干技术不足：(1)需要较为昂贵的外部成像硬件，且对外界环境条件也有一定的要求，可以作为医疗机构诊断的帮助，但不适宜普通人群日常监测龋坏情况使用。(2)目前临床发现早期龋的主要方法是要求被检查者定期到医疗机构进行检查，这种方法一方面需要有足够的医疗资源，而我国口腔医生尤其是儿童口腔医生专业队伍严重不足；另一方面需要被检查者抽出时间到医疗机构，总而言之就是需要消耗较大的社会资源，其中不可避免会有医患双方的浪费。总结目前该方法的缺点为：资源不足，浪费资源。(3)尚无基于机器学习自动化识别邻面龋数字照片的先例。

[0008] 总之，目前没有供民众普及日常使用的监测窝沟早期龋(窝沟形态相对完整，表现为沟壁沟底的龋坏)、邻面龋(未破坏边缘嵴者)的方法，而现行的推荐方法的可及性差，需要消耗大量的医患资源。

发明内容

[0009] 本发明的技术解决问题：克服现有技术的不足，提供一种基于卷积神经网络的牙齿图像龋坏识别方法及系统，能够更加全面地对早期龋坏进行图像识别。

[0010] 本发明的技术方案：

[0011] 本发明的一种基于卷积神经网络的牙齿图像龋坏识别方法，包括以下步骤，[0012] 步骤1)数据采集，采集医院若干病例样本口腔相关的电子病历记录作为数据集，所述电子病历记录包括但不限于诊疗前口内照片；

[0013] 步骤2)数据标记，依据既定规则，将所述数据集中的所述照片判读为已龋坏或未龋坏，同时将所述照片对应的样本标注不同类别的标签，其中所述标签为已龋坏的样本为正样本，所述标签为未龋坏的样本为负样本，进而得到已标注的数据集；

[0014] 步骤3)数据预处理，对所述已标注的数据集中的所述照片进行预处理，进而得到已预处理的数据集；

[0015] 步骤4)数据划分，按照设定正负样本抽取比例与设定数据集划分比例，对所述已处理的数据集进行随机抽取与随机划分，进而得到训练集、验证集与测试集；

[0016] 步骤5)模型定义，构建卷积神经网络分类器，定义损失函数；

[0017] 步骤6)模型训练，初始化卷积神经网络分类器参数，迭代使用所述训练集训练所述卷积神经网络分类器参数，当损失函数小于设定阈值时，停止训练所述卷积神经网络分类器参数，使用所述验证集优化所述卷积神经网络分类器参数，进而得到已训练优化的卷积神经网络分类器；

[0018] 步骤7)模型评估，使用所述测试集评估已训练优化的卷积神经网络分类器的性能指标；

[0019] 步骤8)模型识别，对新的诊疗前口内照片进行所述预处理，并输入所述已训练优化的卷积神经网络分类器中，所述已训练优化的卷积神经网络分类器预测输出对应的标签类别，进而识别所述的疗前口内照片已龋坏或未龋坏。

[0020] 在所述步骤2)中，所述既定规则包括：

[0021] a)若所述照片中窝沟形态相对完整，表现为沟壁沟底龋坏的早期窝沟龋或未破坏边缘嵴的邻面龋，则判读为已龋坏；

[0022] b)若所述照片中已形成龋洞的或包含较易识别的龋坏部分，则判读为已龋坏；

[0023] c)若所述照片非a)或非b)，则判读为未龋坏。

[0024] 在所述步骤2)中，使用toothMarking工具将所述数据集中的所述照片判读为已龋坏或未龋坏。

[0025] 在所述步骤3)中，所述预处理包括图像去噪和图像大小归一化操作。

[0026] 在所述步骤4)中，所述设定正负样本抽取比例为所述正样本与所述负样本的比例为1：1，所述设定正负样本抽取比例为所述训练集、所述验证集与所述测试集的比例为4:1:1。

[0027] 在所述步骤5)中，所述卷积神经网络分类器网络包括13层卷积层、5层池化层、1个自注意力机制模块、3层全连接层与1层softmax层，从前至后共分为8个模块，其中模块1与模块2均包括2层卷积层和1层池化层，模块3、模块4与模块5均包括3层卷积层和1层池化层，模块6为自注意力机制模块，模块7包括3层全连接层，模块8包括1层softmax层，卷积层采用卷积核为3×3、步幅为1且填充为1的卷积操作，池化层采用最大池化的池化操作，全连接层和卷积层采用RELU作为激活函数，并通过softmax层输出照片识别的标签类别。所述自注意力机制模块从左到右包括3层1×1的卷积层，1层逐像素的相乘连接操作和softmax层，1层逐像素的相乘连接操作和1层1×1的卷积层。

[0028] 在所述步骤5)中，所述损失函数为cross-entropy函数。

[0029] 在所述步骤6)中，所述设定阈值为1e-10。

[0030] 在所述步骤7)中，所述性能指标包括但不限于敏感度和特异度。

[0031] 本发明的一种基于卷积神经网络的牙齿图像龋坏识别系统，包括图像输入模块、图像预处理模块、龋坏识别模块与结果输出模块；

[0032] 所述图像输入模块，用于输入牙齿图像，并将所述牙齿图像发送至所述预处理模块；

[0033] 所述图像预处理模块，接收所述预处理模块发送的所述牙齿图像，对所述牙齿图像进行预处理，得到已预处理的牙齿图像，并将所述已预处理的牙齿图像发送至所述龋坏识别模块；

[0034] 所述龋坏识别模块包括已训练的卷积神经网络分类器，所述已训练的卷积神经网络分类器接收所述图像预处理模块发送的所述已预处理的牙齿图像，并预测输出对应的标签类别；

[0035] 所述结果输出模块，接收所述龋坏识别模块所输出的所述标签类别，进而输出所述牙齿图像已龋坏或未龋坏。

[0036] 本发明与现有技术相比优点在于：通过深度学习算法的开发设计能够识别窝沟早期龋(窝沟形态相对完整，表现为沟壁沟底的龋坏)和邻面龋(未破坏边缘嵴者)的自动判断系统，以实现对相对不易察觉龋坏的预警，更好的进行口腔健康状况监测，并对需要治疗者给出就诊提示，以尽可能的节约医疗和社会资源，为口腔诊疗资源不足的地区提供远程口腔检查诊断的手段。

[0037] 本发明相对于现有技术的技术优点：

[0038] (1)现有技术对设备的要求高，需要借助激光等专用装置，而本发明采用的是普通数码照相设备，在智能手机高度普及和低价口腔内窥镜实用化的时代，解决了硬件设备的可及性问题。

[0039] (2)本技术采用了权威口腔医疗机构大量的有明确临床诊断的数码照片作为学习对象，为所建立系统判断能力的准确性构筑了坚实的基础。

[0040] (3)卷积神经网络技术对牙齿数码照片龋坏的识别与其他方式相比，不需要借助特殊的设备，有更广泛的应用性。

[0041] (4)加入了基于卷积神经网络对邻面龋数码照片龋坏的识别，最终输出的判别结果是有/无龋坏的二分类及判断准确性的百分比。

[0042] 总之，本发明在牙齿图像龋坏识别的技术领域，为解决识别窝沟早期龋(窝沟形态相对完整，表现为沟壁沟底的龋坏，窝沟早期龋是一个组合名词)和邻面龋(未破坏边缘嵴者)的技术问题，提出了基于卷积神经网络的牙齿数码照片龋坏识别技术方案，相对于现有技术有相对更高的识别率和更广泛的应用性，并有加入了基于卷积神经网络对邻面龋数码照片龋坏识别的技术优点

附图说明

[0043] 图1表示本发明方法的步骤流程图；

[0044] 图2表示本发明方法中收集数据阶段，为方便口腔专业医师标注真值数据所开发的标注工具toothMarking的功能界面图；

[0045] 图3表示卷积神经网络分类器的结构示意图；

[0046] 图4表示所述卷积神经网络分类器的主干网络的参数量统计图。具体实施方式：

[0047] 下面结合附图对本发明系统的具体实施方式进一步说明。

[0048] 如图1所示，本发明提供了一种基于卷积神经网络的牙齿图像龋坏识别方法，包括以下步骤：

[0049] 为了保证获取数据的准确性，采集北京大学口腔医院儿童口腔科诊疗前口内照片和牙齿治疗的电子病历记录作为数据集，以临床实际诊断作为金标准。

[0050] 设计用于标记龋坏的toothMarking工具，在toothMarking工具中，由口腔专业医师对诊疗前的真值数据即观察对象的口内牙齿数码照片进行观察，根据临床病历记录(金标准)将照片中窝沟形态相对完整，表现为沟壁沟底龋坏的早期窝沟龋、未破坏边缘嵴的邻面龋(这两类合称早期龋，其特点是非专业人士不易发现)；对已形成龋洞的、非专业人士较易识别的龋坏部分也进行标记，通过该工作获得龋坏的标注数据集。同时对相等数量的无龋牙齿(包括已完成完善龋齿治疗的牙齿)进行标记，获得未龋坏的标注数据集。口腔专业医师应用该标注工具标注数据为判别方法提供真值数据。

[0051] 对图像进行预处理，包括根据病历记录(金标准)进行标注并对图片进行去噪处理和大小统一。

[0052] 将标注后的包含照片的数据集进行深度学习。构建卷积神经网络分类器，所述卷积神经网络分类器网络包括13层卷积层、5层池化层、1个自注意力机制模块、3层全连接层与1层softmax层，从前至后共分为8个模块，其中模块1与模块2均包括2层卷积层和1层池化层，模块3、模块4与模块5均包括3层卷积层和1层池化层，模块6为自注意力机制模块，模块7包括3层全连接层，模块8包括1层softmax层，卷积层采用卷积核为3×3、步幅为1且填充为1的卷积操作，池化层采用最大池化的池化操作，全连接层和卷积层采用RELU作为激活函数，并通过softmax层输出照片识别的标签类别。所述自注意力机制模块从左到右包括3层1×1的卷积层，1层逐像素的相乘连接操作和softmax层，1层逐像素的相乘连接操作和1层1×1的卷积层。针对每张牙齿图像，在卷积神经网络分类器的主干网络中完成特征提取，并通过自注意力机制模块实现对于牙齿龋坏区域的局部到全局的特征(纹理，菌斑区域大小，菌斑边缘特征等)的重新分配，定义cross-entropy损失函数，对龋坏图像进行判别。通过对测试集通过使用本发明方法的识别结果与电子病历中的诊断信息进行对比，计算本发明方法的敏感度和特异度；增加更多电子病历中样本作为训练集进行继续优化学习，不断提升算法的准确性，最终是本发明方法达到能对牙齿龋坏程度进行预警的能力。根据该方法构建能够根据照片自动判断早期龋坏的识别系统，如移动端app等，不断完善及进行进一步深度学习，以达到对使用者的牙齿早期龋坏进行提前预警、提醒尽快就医的目的。

[0053] 如图2所述，toothMarking工具主要使用了微软开发的.Net开发平台中Windows Form工具，核心算法使用的是“智能剪刀”算法，“智能剪刀”(Intelligent Scissors)是Morten-son和Barrett在1995年提出的一种图像分割交互工具(Intelligent scissors for image composition[C].Proceedings of the 22nd annual conference on Computer graphics and interactive techniques.ACM,1995:191-198.)，它可用于2D图像分割，通过这个工具，用户可以容易且精确地在图像中勾画出感兴趣的区域ROI(Region Of Interest)。在toothMarking工具中，由口腔专业医师对数据集中的诊疗前口内照片进行观察，并进行龋齿和非龋齿的标注。

[0054] 如图3所述，卷积神经网络分类器结构包括全局和局部特征提取和softmax分类两个模块，所述卷积神经网络分类器的构建和应用，包括以下步骤：

[0055] 利用Vgg16网络结构作为特征提取的主干网络，Vgg16是由Simonyan和Zisserman在2014年提出的卷积神经网络模型(Very Deep Convolutional Networks for Large-Scale Image Recognition[J].Computer Science,2014.)，网络结构简洁，共包括16层，其中13层卷积层和3层全连接层，主要用来对于处理分类和目标检测等问题，针对龋齿分类任务应该使得网络更关注于龋坏部分特征的提取，因此对于龋齿分类任务做了相应改进，包括以下内容：

[0056] 1.在输出流部分，借助于softmax保证输出类别为龋齿和非龋齿两类；

[0057] 2.为了更好的保证网络模型对于牙齿图像的拟合能力，保留原有的网络结构和参数不变，如图4所述，由于在骨干网络中使用卷积核的规模保持一致，因此网络中的参数随网络深度的增加而增加；

[0058] 3.为了针对牙齿龋坏图像提取全局和局部的上下文特征，在主干网络中增加了自注意力机制模块对牙齿龋图像特征进行重新加权。

[0059] 所述的自注意力机制模块操作由公式 表示，其中x是由卷积层提取到的特征图，y是自注意力机制模块的输出， 和 为1x1卷积中待学习的参数，g(x)是身份函数，g(x)＝Wgx，Wg同样为1x1卷积中待学习的参数。所述操作对使用所述神经网络分类器中前5个模块提取到的特征图进行非局部加权的处理，使其关注在关注局部特征的同时增加对于非局部特征的注意力。即应用自注意力机制模块对牙齿龋图像特征进行重新加权，是指对网络训练过程中的特征图进行重新加权，使得图像中龋坏的部分获得更大的关注，应用所述自注意力模块来获取和关注从局部到全局的信息，从而提高网络模型判别的准确率。

[0060] 4.模型对预测值标签和牙齿图像的真值数据进行损失比对，利用损失函数迭代优化网络模型。

[0061] 所述的模型对预测值标签和牙齿图像的真值数据进行损失比对，是指利用交叉熵损失函数对预测值标签和牙齿图像的真值数据进行对比；

[0062] 5.应用预训练好的网络参数对牙齿图像训练集进行快速重新训练和微调。

[0063] 所述重新训练指的是给所述神经网络分类器训练集和训练集对应的真值数据作为网络输入，应用Vgg16网络在ImageNet数据集上进行训练的模型作为预训练的参数，经过一次正向传播之后，应用交叉熵损失函数计算损失，并进行反向传播，不断迭代上述过程，使得损失不断下降，当前后两次损失相差小于设定的阈值或者达到设定的训练次数之后，完成模型的训练。且在训练过程中，每训练一定次数后，使用验证集对分类器模型进行评估，保存训练过程中在验证集上表现最好的训练模型。所述微调是指，应用训练好的神经网络分类器模型参数作为新的预训练的参数，应用训练集数据对所述神经网络进行训练，训练时关闭网络模型中的前7个模块，即前7个模块中的网络参数不再优化，只对最后一个模块中的全连接层进行训练，这样可以起到优化网络分类器结构参数，使得模型达到更好的效果的作用。

[0064] 如图4所述，由于在主干网络Vgg16中使用卷积核的规模保持一致，因此主干网络Vgg16中的参数随网络深度的增加而增加。

[0065] 该所述龋坏识别方法实验结果以敏感度和特异度作为评价指标，敏感度又称为真阳性率，其计算公式为Sensitivity＝TP/(TP+FN)，其中TP表示真阳性样本数，FN表示假阴性样本数，敏感度可以衡量所述龋坏判别系统对于正例的识别能力。特异度又称为真阴性率，其计算公式为Specificity＝TN/(FP+TN)，其中TN表示真阴性样本数，FP表示假阳性样本数，特异度可以衡量所述龋坏判别系统对于负例的识别能力。龋有不同的诊断体系和标准，本研究所采用的是临床诊断作为金标准，这种诊断是临床医师根据患者实际情况在综合临床各方面信息后所做出的，对患者来说其结论是被诊断的牙齿需要治疗。这也是本研究的切入点，即我们诊断的对象是需要临床治疗的龋齿，对特别微小的龋坏，当尚不需要进行临床治疗时，是不被诊断为早期龋的。

[0066] 本发明还提供了一种基于卷积神经网络的牙齿图像龋坏识别系统，包括图像输入模块、图像预处理模块、龋坏识别模块与结果输出模块，

[0067] 所述图像输入模块，用于输入牙齿图像，并将所述牙齿图像发送至所述预处理模块；

[0068] 所述图像预处理模块，接收所述预处理模块发送的所述牙齿图像，对所述牙齿图像进行预处理，得到已预处理的牙齿图像，并将所述已预处理的牙齿图像发送至所述龋坏识别模块；

[0069] 所述龋坏识别模块包括已训练的卷积神经网络分类器，所述已训练的卷积神经网络分类器接收所述图像预处理模块发送的所述已预处理的牙齿图像，并预测输出对应的标签类别；

[0070] 所述结果输出模块，接收所述龋坏识别模块所输出的所述标签类别，进而输出所述牙齿图像已龋坏或未龋坏。

[0071] 提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。