基于手部X光图像的骨龄预测方法、系统、设备及介质

摘要

本发明公开了一种基于手部X光图像的骨龄预测方法、系统、设备及介质，涉及人工智能领域中的骨龄预测，其目的在于解决现有深度学习中基于ROI区域多步骤不适合用自动化方法实现的缺点的技术问题。其包括通过图像、关键点和中心线得到对应的特征向量，并选取前k个最接近的特征向量，根据特征向量对应的年龄取平均值得到该图像的迭代的始值；将相关数据输入相对秩回归器，相对秩回归器输出相对秩；采用初始值、相对秩进行迭代计算，迭代停止后，输出此时的绝对秩作为输入图像的预测年龄。其克服了临床方法存在的主观性强、人力和时间成本高、以及不适用于自动化处理等缺点，解决了基于ROI(56)对比文件乔嘉昕.基于改进ResNet和注意力机制的骨龄评估方法研究《.万方数据知识服务平台》.2022,全文.BO LIU 等.Bone Age Assessment Basedon Rank-Monotonicity Enhanced RankingCNN《.IEEE Access》.2019,120976-120983.Hyejun Seo 等.Deep focus approach foraccurate bone age estimation from lateralcephalogram《.Journal of Dental Sciences》.2022,34-43.Dongxu Zhang 等.An Automated TW3-RUSBone Age Assessment Method with OrdinalRegression-Based Determination ofSkeletal Maturity《.Journal of DigitalImaging》.2023,1001-1015.Tushar Jain 等.BONE AGE ASSESSMENTUSING MACHINE LEARNING AND IMAGEPROCESSING《.International Journal ofAdvanced Research in Computer andCommunication Engineering》.2022,第11卷(第4期),287-296.

权利要求

1.一种基于手部X光图像的骨龄预测方法，其特征在于，包括如下步骤：步骤S1，初始值预测；

根据获取的X光图像、关键点和中心线得到对应该X光图像的特征向量，基于knn算法从所有带年龄标签的训练集中选取前k个与X光图像的特征向量最接近的特征向量，并根据k个特征向量对应的年龄取平均值，得到该X光图像的第一次迭代的初始值；

步骤S2，输出相对秩；

将X光图像作为相对秩回归器的输入图像 ，并根据滑动窗口的大小选取出与输入图像对应的参考图像 、参考图像 ；将输入图像 、参考图像 、参考图像 、输入图像 的关键点和中心线、参考图像 的关键点和中心线、参考图像 的关键点和中心线以及输入图像 的性别 和实际年龄 均输入相对秩回归器，相对秩回归器输出输入图像 的相对秩 ；

步骤S3，输出预测年龄；

采用步骤S1得到的初始值、步骤S2输出的相对秩 进行迭代计算，迭代停止后，输出此时的绝对秩 作为输入图像 的预测年龄。

2.如权利要求1所述的一种基于手部X光图像的骨龄预测方法，其特征在于，步骤S1中，获取的X光图像、关键点和中心线，并将X光图像、关键点和中心线输入编码器中进行特征提取，得到对应该X光图像的特征向量；

编码器的主干网络为ResNet‑50网络。

3.如权利要求1所述的一种基于手部X光图像的骨龄预测方法，其特征在于，步骤S2中，相对秩 的计算方式为：其中， 表示输入图像 对应的特征向量， 表示参考图像 对应的特征向量，表示参考图像 对应的特征向量，、分别表示性别、年龄， 、 分别表示性别的学习乘数、年龄 的学习乘数； 表示回归计算，输出一个[‑1,1]之间的数。

4.如权利要求3所述的一种基于手部X光图像的骨龄预测方法，其特征在于，对相对秩回归器进行训练，训练时的损失函数为：其中， 表示根据输入图像 计算得到的相对秩，表示根据带年龄标签的训练集中图像计算得到的相对秩； 表示输入图像 当前迭代次数对应的绝对秩。

5.如权利要求1所述的一种基于手部X光图像的骨龄预测方法，其特征在于，步骤S3中，在进行迭代计算时，迭代计算公式为：当 或者迭代次数达到预设上限，则停止迭代；输出此时的绝对秩 作

为输入图像 的预测年龄；

其中， 、 分别表示在t时刻输入图像 对应的两张参考图像。

6.一种基于手部X光图像的骨龄预测系统，其特征在于，包括：

初始值预测模块，用于根据获取的X光图像、关键点和中心线得到对应该X光图像的特征向量，基于knn算法从所有带年龄标签的训练集中选取前k个与X光图像的特征向量最接近的特征向量，并根据k个特征向量对应的年龄取平均值，得到该X光图像的第一次迭代的初始值；

相对秩输出模块，用于将X光图像作为相对秩回归器的输入图像 ，并根据滑动窗口的大小选取出与输入图像 对应的参考图像 、参考图像 ；将输入图像 、参考图像 、参考图像 、输入图像 的关键点和中心线、参考图像 的关键点和中心线、参考图像 的关键点和中心线以及输入图像 的性别 和实际年龄 均输入相对秩回归器，相对秩回归器输出输入图像 的相对秩 ；

预测年龄输出模块，用于采用初始值预测模块得到的初始值、相对秩输出模块输出的相对秩 进行迭代计算，迭代停止后，输出此时的绝对秩 作为输入图像 的预测年龄。

7.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

说明书

基于手部X光图像的骨龄预测方法、系统、设备及介质

技术领域

[0001] 本发明属于人工智能技术领域，涉及骨龄预测，尤其涉及一种基于手部X光图像的骨龄预测方法、系统、设备及介质。

背景技术

[0002] 骨龄预测是一种医学任务，用于评估儿童和青少年的生长发育情况。骨龄是指一个人骨骼的成熟程度，通常以与年龄相对应的骨骼发育阶段来表示。在骨龄预测任务中，医生或医学专家会通过对患者进行临床检查和骨龄评估，来确定其骨骼的发育状况，这种预测可以帮助医生更准确地评估患者的生长发育状态，检测和监测生长异常，以及制定个性化的治疗计划。

[0003] 目前临床上现有的诊断方法主要有两种，一种是GP方法，另一种是TW方法。这两种方法都是将患者的左手X。光片与骨龄测量图谱进行比较。其中GP方法是通过对比整个手部区域直接得出患者的预测年龄，而TW方法则是对比指定的ROI关键区域，并为每个ROI进行打分，最后将其统计转化为对应的骨龄。与此同时，随着深度学习技术逐渐渗透到医学图像的各个领域，并取得了一系列先进的成果，目前市场上也出现了许多基于深度学习的骨龄预测方法。基于深度学习的骨龄预测方法大致可分为两类：一种是不基于ROI，直接将整个图片当作卷积神经网络的输入，采用端到端的单级结构进行骨龄的预测。另一种是基于ROI的方法，该方法通常会利用人类的先验知识对原始图像进行额外的图像处理。整个过程一般由多个图像处理步骤组成，首先将手从原始图像中进行分割，减少背景对实验结果的干扰，然后利用人类的先验知识检测和提取出对应的ROI关键区域，最后生成对应的年龄结果。

[0004] 申请号为201910693283.5的发明专利申请就公开了一种基于异构数据融合网络的手骨X光片骨龄评估方法，包括以下步骤：步骤一，对X光片图像进行预处理，提取图像中手腕骨部位；步骤二，构建卷积神经网络提取图像特征，构建卷积神经网络的过程为：步骤2.1：输入步骤一处理后的一组手骨X光片；步骤2.2：先经过7*7大小的卷积操作，随后进行batch normalization，Relu激活函数操作；步骤2.3：经过MaxPooling操作，提取主要特征；
步骤2.4：提取的特征经过残差卷积模块，该模块包括2组3*3的卷积操作和batchnormalization；步骤2.5：重复步骤2.4三次，得到X光片粗糙的特征Fcoarse；步骤
2.6：将Fcoarse输入到注意力机制模块中，得到精细的特征Ffine；步骤2.7：将Ffine输入到空间金字塔池化模块中，得到固定的512*21大小的一维向量Vimage；步骤三，构建文本特征提取模型；步骤四，构建融合层，合并图像特征和文本特征；步骤五，模型训练，充分收敛后，保存并导出模型结构及权重参数。其通过卷积神经网络对X光片进行分析，自动辅助评估X光片骨龄的方法，相比传统方法效率高，速度快；在X光片图像特征提取中采用了注意力机制模块，精细化了网络的特征，使重要的图像信息得到了有效利用；使用X光片图像和文本信息两种多源异构数据，两者信息融合互补，提高了评估效果。

[0005] 申请号为202211076541.3的发明专利申请就公开了一种用于小儿骨龄预测的方法，包括如下步骤：从带有骨龄标签的手部X光片公开数据集中随机选取部分手部X光片组成数据集，并调整所有图片至规定的大小；建立TENet模型，同时构建训练集；将训练集作为TENet模型的输入，使用Adam优化器对TENet模型进行训练，当达到最大迭代次数时得到训练好的TENet模型；该TENet模型包括手部拓扑模块、边缘特征增强模块和深度学习网络改进模型D，其中，边缘特征增强模块为改进后的Canny边缘检测算法，所述改进后的Canny边缘检测算法使用的是双边滤波去噪算法和大津算法。在传统的Canny边缘检测算法中，采用的线性高斯滤波进行去噪，其中使用含有加权系数的卷积对图像进行卷积去噪，实质上就是一种均值模糊，只是高斯模糊是按照加权平均的，距离越近的点权重越大，距离越远的点权重越小，因此计算均值会将图像中的边缘信息以及特征信息“模糊”掉，会丢失很多特征。而双边滤波是一种非线性滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，即通过引入空间域核和值域核达到目的，此种方法不光考虑了像素在空间中位置远近程度的影响，还考虑了像素亮度相近程度的影响。因此双边滤波器可以良好地保留图像边缘特征且过滤掉低频分量的噪音。

[0006] 此外，申请号为202310173447.8的发明专利申请还公开了一种基于多区域结合的骨龄智能评估方法，包括以下步骤：步骤1：对待测手腕部X光片图像进行图像增强；步骤2：提取手腕骨X光片中的若干个兴趣区域，利用这些兴趣区域来提升骨龄评估的精度；步骤3：
将步骤1和步骤2处理后的图片和感兴趣区域送入骨龄评估网络进行骨龄评估；步骤3中，1)利用卷积神经网络Inception‑ResNet‑V2对整张X光片和三个兴趣区域的图像进行特征提取，生成46080维的图像特征向量；2)将X光片对应的性别信息通过一个神经元个数为32的全连接层，生成32维的性别特征向量；3)将整张X光片图像以及掌骨区域、拇指区域、指骨区域的图像，经Inception‑ResNet‑V2网络计算后，生成46080维的图像特征向量；4)将图像特征向量与性别特征向量进行拼接，形成新的特征向量。最后，使用两个神经元个数为1000的全连接层进行计算，回归得出对应的评估骨龄值。

[0007] 与上述专利申请一样，现有的深度学习大多都是基于ROI（感兴趣区域）的方法来实现，深度学习中基于ROI的方法虽然提高了预测的准确性，但同时也带来了一系列的限制：1）由领域专家识别的强监督ROI注意力可能不太适合用自动化方法实现；2）这种方法需要大量专家标注的ROI标注框，将产生极大的人工成本；3）由于其引入了额外的处理过程，使得它很难通过端到端的方法进行训练，同时也面临着极高的复杂性和时间成本。

发明内容

[0008] 本发明的目的在于：解决现有深度学习中基于ROI区域多步骤不适合用自动化方法实现的缺点的技术问题，提供一种基于手部X光图像的骨龄预测方法、系统、设备及介质。

[0009] 本发明为了实现上述目的具体采用以下技术方案：

[0010] 一种基于手部X光图像的骨龄预测方法，包括如下步骤：

[0011] 步骤S1，初始值预测；

[0012] 根据获取的X光图像、关键点和中心线得到对应该X光图像的特征向量，基于knn算法从所有带年龄标签的训练集中选取前k个与X光图像的特征向量最接近的特征向量，并根据k个特征向量对应的年龄取平均值，得到该X光图像的第一次迭代的初始值；

[0013] 步骤S2，输出相对秩；

[0014] 将X光图像作为相对秩回归器的输入图像 ，并根据滑动窗口的大小选取出与输入图像 对应的参考图像 、参考图像 ；将输入图像 、参考图像 、参考图像 、输入图像的关键点和中心线、参考图像 的关键点和中心线、参考图像 的关键点和中心线以及输入图像 的性别 和实际年龄 均输入相对秩回归器，相对秩回归器输出输入图像 的相对秩 ；

[0015] 步骤S3，输出预测年龄；

[0016] 采用步骤S1得到的初始值、步骤S2输出的相对秩 进行迭代计算，迭代停止后，输出此时的绝对秩 作为输入图像 的预测年龄。

[0017] 进一步地，步骤S1中，获取的X光图像、关键点和中心线，并将X光图像、关键点和中心线输入编码器中进行特征提取，得到对应该X光图像的特征向量；

[0018] 编码器的主干网络为ResNet‑50网络。

[0019] 进一步地，步骤S2中，相对秩 的计算方式为：

[0020]

[0021]

[0022]

[0023] 其中， 表示输入图像 对应的特征向量， 表示参考图像 对应的特征向量， 表示参考图像 对应的特征向量，、分别表示性别、年龄， 、 分别表示性别的学习乘数、年龄 的学习乘数； 表示回归计算，输出一个[‑1,1]之间的数。

[0024] 更进一步地，对相对秩回归器进行训练，训练时的损失函数为：

[0025]

[0026]

[0027]

[0028]

[0029] 其中， 表示根据输入图像 计算得到的相对秩，表示根据带年龄标签的训练集中图像计算得到的相对秩； 表示输入图像 当前迭代次数对应的绝对秩。

[0030] 进一步地，步骤S3中，在进行迭代计算时，迭代计算公式为：

[0031]

[0032] 当 或者迭代次数达到预设上限，则停止迭代；输出此时的绝对秩作为输入图像 的预测年龄；

[0033] 其中， 、 分别表示在t时刻输入图像 对应的两张参考图像。

[0034] 一种基于手部X光图像的骨龄预测系统，包括：

[0035] 初始值预测模块，用于根据获取的X光图像、关键点和中心线得到对应该X光图像的特征向量，基于knn算法从所有带年龄标签的训练集中选取前k个与X光图像的特征向量最接近的特征向量，并根据k个特征向量对应的年龄取平均值，得到该X光图像的第一次迭代的初始值；

[0036] 相对秩输出模块，用于将X光图像作为相对秩回归器的输入图像 ，并根据滑动窗口的大小选取出与输入图像 对应的参考图像 、参考图像 ；将输入图像 、参考图像 、参考图像 、输入图像 的关键点和中心线、参考图像 的关键点和中心线、参考图像 的关键点和中心线以及输入图像 的性别 和实际年龄 均输入相对秩回归器，相对秩回归器输出输入图像 的相对秩 ；

[0037] 预测年龄输出模块，用于采用初始值预测模块得到的初始值、相对秩输出模块输出的相对秩 进行迭代计算，迭代停止后，输出此时的绝对秩 作为输入图像 的预测年龄。

[0038] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。

[0039] 一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。

[0040] 本发明的有益效果如下：

[0041] 1、相比于目前临床上的GP和TW骨龄预测方法，本发明可以实现自动化，克服了临床方法存在的主观性强、人力和时间成本高、以及不适用于自动化处理等缺点。

[0042] 2、相比于当前深度学习中不基于ROI的骨龄预测模型，本发明引入了患者对应的关键点和中心线信息，解决了前者缺少对特定ROI区域的关注，从而导致准确性和可解释性都相对较差的问题。

[0043] 3、相比于当前深度学习中基于ROI的骨龄预测模型，本发明摒弃了对原始图像的多步骤处理方式，在降低训练复杂度和人工成本的同时，保证了模型的准确性和可解释性。

[0044] 4、相比于目前基于深度学习的骨龄预测模型，本发明首次将有序回归思想与骨龄预测任务进行结合，并采用滑动窗口的机制不断迭代进行骨龄的预测，在方法上进行了一定的创新。

附图说明

[0045] 图1是本发明的流程示意图；

[0046] 图2是本发明中knn预测的流程示意图；

[0047] 图3是本发明中相对秩回归器的流程示意图；

[0048] 图4是本发明中滑动窗口的结构示意图。

具体实施方式

[0049] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

[0050] 因此，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0051] 实施例1

[0052] 本实施例提供一种基于手部X光图像的骨龄预测方法，通过将手部X光图像及其对应的关键点、中心线作为输入，最终输出预测的年龄。如图1所示，具体预测方法，包括如下步骤：

[0053] 步骤S1，初始值预测；

[0054] 根据获取的X光图像、关键点和中心线得到对应该X光图像的特征向量，基于knn算法从所有带年龄标签的训练集中选取前k个与X光图像的特征向量最接近的特征向量，并根据k个特征向量对应的年龄取平均值，得到该X光图像的第一次迭代的初始值。

[0055] 获取患者对应的X光图像、关键点和中心线，并将X光图像、关键点和中心线输入编码器中进行特征提取，得到对应该X光图像的特征向量；该编码器的主干网络为ResNet‑50网络。如图2所示，然后使用knn算法在所有带年龄标签的训练集（本实施例中，训练集采用现有的公开数据集，即RSNA数据集）所对应的特征空间中选取前k（本实施例中，k=5）个与X光图像的特征向量最接近的特征向量，并将这k个特征向量对应的年龄取平均值，得到该X光图像的第一次迭代的初始值。

[0056] 步骤S2，输出相对秩；

[0057] 将X光图像作为相对秩回归器的输入图像 ，并根据滑动窗口的大小选取出与输入图像 对应的参考图像 、参考图像 ；将输入图像 、参考图像 、参考图像 、输入图像的关键点和中心线、参考图像 的关键点和中心线、参考图像 的关键点和中心线以及输入图像 的性别 和实际年龄 均输入相对秩回归器，相对秩回归器输出输入图像 的相对秩 。

[0058] 首先，本实施例设计了一种相对秩回归器来输出相对秩，相对秩回归器如图3所示，其由特征提取器和回归模块两部分组成，其中特征提取器也采用ResNet‑50网络，采用ResNet‑50网络最后一层池化层的输出作为输入图像 的特征向量 ；回归器包含三个全连接层，前两个全连接层采用ReLU激活层，最后一层采用tanh激活层输出一个[‑1,1]之间的数，作为输入图像 的相对秩 。因为相对秩描述的是输入图像 与两个参考图像间年龄的相对大小之间的关系，因而参考图像 、参考图像 也需要通过特征提取器来获取对应的特征向量 、特征向量 ，并且三者之间的权重是共享的。

[0059] 为了充分利用患者身份信息来提高最终的预测准确度，本实施例还引入了患者的性别 和年龄 ，且没有通过手工嵌入的方式增加维度，而是采用学习乘数 、 来平衡每个输入的重要性。最后，相对秩 的计算方式为：

[0060]

[0061]

[0062]

[0063] 其中， 表示输入图像 对应的特征向量， 表示参考图像 对应的特征向量， 表示参考图像 对应的特征向量，、分别表示性别、年龄， 、 分别表示性别的学习乘数、年龄 的学习乘数； 表示回归计算，输出一个[‑1,1]之间的数。

[0064] 由于回归器是通过端到端的方式进行训练，因而需要根据滑动窗口的大小 来选取输入图像 对应的参考图像 、参考图像 。该 固定为一个常量，这也将减小相对秩回归器的训练难度。

[0065] 相对秩回归器将带年龄标签的训练集中图像作为训练时 的ground‑truth，并通过计算得到对应的相对秩的ground‑truth，记作 。该相对秩回归器训练时，采用的损失函数为平方误差，具体为：

[0066]

[0067]

[0068]

[0069]

[0070] 其中， 表示根据输入图像 计算得到的相对秩，表示根据带年龄标签的训练集中图像计算得到的相对秩； 表示输入图像 当前迭代次数对应的绝对秩。

[0071] 该相对秩回归器训练的本质，是通过训练尽可能缩小回归器中相对秩输出值 与之间的误差，从而尽可能提高骨龄预测的准确度。

[0072] 步骤S3，输出预测年龄；

[0073] 采用步骤S1得到的初始值、步骤S2输出的相对秩 进行迭代计算，迭代停止后，输出此时的绝对秩 作为输入图像 的预测年龄。

[0074] 滑动窗口算法的本质是通过相对秩回归器输出的相对秩 来描述患者的输入图像与两个参考图像 、的相近程度，根据相对秩 的大小向左或向右进行一定程度的移动，并获取当前迭代状态下患者输入图像 的绝对秩 ，即对应的年龄。然后再根据滑动窗口大小的长度选取此刻对应的两张参考图像，重复上述输出相对秩，根据相对秩计算绝对秩的过程，当且仅当达到迭代次数上限或当前时刻的绝对秩与上一迭代时刻的绝对秩 相同时，输出对应的绝对秩 作为当前患者的预测年龄。

[0075] 首先，通过knn算法获取到输入图像 第一次迭代的初始值 ，其中上标对应的是迭代次数。然后，根据相对秩回归器输出的相对秩 进行绝对秩 到 迭代，具体操作过程如图4所示。在每次迭代的过程中，都将以第t‑1次迭代的结果作为第t次迭代的中心，根据滑动窗口的长度选取此次迭代的参考图像，通过相对秩回归器输出的相对秩进行窗口滑动。迭代过程中，相对秩和绝对秩的关系（即迭代计算公式）表示为：

[0076]

[0077] 上述公式之所以可以简化，是因为该滑动窗口长度大小是固定的，所以，第t次迭代将以第t‑1次的结果作为此次迭代的中心，即 。

[0078] 当且仅当 或者迭代次数达到预设上限，则停止迭代；输出此时的绝对秩 作为输入图像 的预测年龄；

[0079] 其中， 、 分别表示在t时刻输入图像 对应的两张参考图像。

[0080] 实施例2

[0081] 本实施例提供一种基于手部X光图像的骨龄预测系统，通过将手部X光图像及其对应的关键点、中心线作为输入，最终输出预测的年龄。如图1所示，该骨龄预测系统，包括如下步骤：

[0082] 初始值预测模块，用于根据获取的X光图像、关键点和中心线得到对应该X光图像的特征向量，基于knn算法从所有带年龄标签的训练集中选取前k个与X光图像的特征向量最接近的特征向量，并根据k个特征向量对应的年龄取平均值，得到该X光图像的第一次迭代的初始值。

[0083] 获取患者对应的X光图像、关键点和中心线，并将X光图像、关键点和中心线输入编码器中进行特征提取，得到对应该X光图像的特征向量；该编码器的主干网络为ResNet‑50网络。如图2所示，然后使用knn算法在所有带年龄标签的训练集（本实施例中，训练集采用现有的公开数据集，即RSNA数据集）所对应的特征空间中选取前k（本实施例中，k=5）个与X光图像的特征向量最接近的特征向量，并将这k个特征向量对应的年龄取平均值，得到该X光图像的第一次迭代的初始值。

[0084] 相对秩输出模块，用于将X光图像作为相对秩回归器的输入图像 ，并根据滑动窗口的大小选取出与输入图像 对应的参考图像 、参考图像 ；将输入图像 、参考图像 、参考图像 、输入图像 的关键点和中心线、参考图像 的关键点和中心线、参考图像 的关键点和中心线以及输入图像 的性别 和实际年龄 均输入相对秩回归器，相对秩回归器输出输入图像 的相对秩 。

[0085] 首先，本实施例设计了一种相对秩回归器来输出相对秩，相对秩回归器如图3所示，其由特征提取器和回归模块两部分组成，其中特征提取器也采用ResNet‑50网络，采用ResNet‑50网络最后一层池化层的输出作为输入图像 的特征向量 ；回归器包含三个全连接层，前两个全连接层采用ReLU激活层，最后一层采用tanh激活层输出一个[‑1,1]之间的数，作为输入图像 的相对秩 。因为相对秩描述的是输入图像 与两个参考图像间年龄的相对大小之间的关系，因而参考图像 、参考图像 也需要通过特征提取器来获取对应的特征向量 、特征向量 ，并且三者之间的权重是共享的。

[0086] 为了充分利用患者身份信息来提高最终的预测准确度，本实施例还引入了患者的性别 和年龄 ，且没有通过手工嵌入的方式增加维度，而是采用学习乘数 、 来平衡每个输入的重要性。最后，相对秩 的计算方式为：

[0087]

[0088]

[0089]

[0090] 其中， 表示输入图像 对应的特征向量， 表示参考图像 对应的特征向量， 表示参考图像 对应的特征向量，、分别表示性别、年龄， 、 分别表示性别的学习乘数、年龄 的学习乘数； 表示回归计算，输出一个[‑1,1]之间的数。

[0091] 由于回归器是通过端到端的方式进行训练，因而需要根据滑动窗口的大小 来选取输入图像 对应的参考图像 、参考图像 。该 固定为一个常量，这也将减小相对秩回归器的训练难度。

[0092] 相对秩回归器将带年龄标签的训练集中图像作为训练时 的ground‑truth，并通过计算得到对应的相对秩的ground‑truth，记作 。该相对秩回归器训练时，采用的损失函数为平方误差，具体为：

[0093]

[0094]

[0095]

[0096]

[0097] 其中， 表示根据输入图像 计算得到的相对秩，表示根据带年龄标签的训练集中图像计算得到的相对秩； 表示输入图像 当前迭代次数对应的绝对秩。

[0098] 该相对秩回归器训练的本质，是通过训练尽可能缩小回归器中相对秩输出值 与之间的误差，从而尽可能提高骨龄预测的准确度。

[0099] 预测年龄输出模块，用于采用初始值预测模块得到的初始值、相对秩输出模块输出的相对秩 进行迭代计算，迭代停止后，输出此时的绝对秩 作为输入图像 的预测年龄。

[0100] 滑动窗口算法的本质是通过相对秩回归器输出的相对秩 来描述患者的输入图像与两个参考图像 、的相近程度，根据相对秩 的大小向左或向右进行一定程度的移动，并获取当前迭代状态下患者输入图像 的绝对秩 ，即对应的年龄。然后再根据滑动窗口大小的长度选取此刻对应的两张参考图像，重复上述输出相对秩，根据相对秩计算绝对秩的过程，当且仅当达到迭代次数上限或当前时刻的绝对秩与上一迭代时刻的绝对秩 相同时，输出对应的绝对秩 作为当前患者的预测年龄。

[0101] 首先，通过knn算法获取到输入图像 第一次迭代的初始值 ，其中上标对应的是迭代次数。然后，根据相对秩回归器输出的相对秩 进行绝对秩 到 迭代，具体操作过程如图4所示。在每次迭代的过程中，都将以第t‑1次迭代的结果作为第t次迭代的中心，根据滑动窗口的长度选取此次迭代的参考图像，通过相对秩回归器输出的相对秩进行窗口滑动。迭代过程中，相对秩和绝对秩的关系（即迭代计算公式）表示为：

[0102]

[0103] 上述公式之所以可以简化，是因为该滑动窗口长度大小是固定的，所以，第t次迭代将以第t‑1次的结果作为此次迭代的中心，即 。

[0104] 当且仅当 或者迭代次数达到预设上限，则停止迭代；输出此时的绝对秩 作为输入图像 的预测年龄；

[0105] 其中， 、 分别表示在t时刻输入图像 对应的两张参考图像。

[0106] 实施例3

[0107] 一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行基于手部X光图像的骨龄预测方法的步骤。

[0108] 其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

[0109] 所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述基于手部X光图像的骨龄预测方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

[0110] 所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述基于手部X光图像的骨龄预测方法的程序代码。

[0111] 实施例4

[0112] 一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行基于手部X光图像的骨龄预测方法的步骤。

[0113] 其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于手部X光图像的骨龄预测方法的步骤。

[0114] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请实施例所述基于手部X光图像的骨龄预测方法。