本发明公开了一种下肢X光影像中关键点提取方法，通过关键点定位神经网络模型来自动分析下肢X光影像，通过骨骼的全局空间结构以及多尺度信息得到各关键点的位置信息；不仅加快了关键点提取速度与效率，还可以确保结果的准确性。实验表明关键点定位的误差仅有3.042像素，角度计算误差仅有1.096°。
1.一种下肢X光影像中关键点提取方法，其特征在于，包括：获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；
构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；
训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；
测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置；
其中，通过全局依赖捕捉模块提取骨骼的全局空间结构信息；所述全局依赖捕捉模块输入为蕴含多尺度信息的特征图X，大小记为H×W，H、W分别为特征图的高、宽；特征图X中每个点都是一个C维向量，循环计算出每个点与所有点的相关，点i和点j之间的相关计算结果为：
其中，Xi,k、Xj,k表示特征图X中i、j位置处，第k维元素的像素值，0≤i,j≤HW‑1；
最终得到大小为H×W的相关图R，相关图R中每个点通道维度都为HW；利用图R来改进特征图X得到输出Y：
其中，Ri,s表示相关图R的位置为i、第s维元素的像素值，Xs,k表示特征图X中位置为s、第k维元素的像素值，0≤i≤HW‑1,0≤k≤C‑1。
2.根据权利要求1所述的一种下肢X光影像中关键点提取方法，其特征在于，所述关键点定位神经网络模型其包含预处理部分与沙漏型结构部分；所述预处理部分用于对输入的训练影像进行预处理，初步提取特征；所述沙漏型结构部分由一系列具有相同结构的沙漏型子网络级联而成；所述沙漏型子网络对输入特征先进行下采样，再提取多尺度信息及骨骼的全局空间结构信息，最后通过上采样恢复到与输入特征相同大小。
3.根据权利要求1或2所述的一种下肢X光影像中关键点提取方法，其特征在于，通过尺度特征捕捉模块提取输入特征的多尺度信息；所述尺度特征捕捉模块包括四个并行分支：卷积核大小为1×1且扩张率为1的卷积、卷积核大小为3×3且扩张率为1的卷积、卷积核大小为3×3且扩张率为3的空洞卷积、以及卷积核大小为3×3且扩张率为5的空洞卷积；
再通过逐点相加的策略将四个并行分支的结果结合在一起，输出蕴含多尺度信息的特征图。
4.根据权利要求1所述的一种下肢X光影像中关键点提取方法，其特征在于，通过N通道标签图与N通道预测图的均方误差构建损失函数，表示为：其中，tk,n表示标签图中位置为k、第n维元素的像素值，pk,n表示预测图中对应元素的像素值，标签图与预测图尺寸相同，高、宽分别为H、W。
下肢X光影像中关键点提取方法
技术领域
[0001] 本发明涉及智能医学影像分析技术领域，尤其涉及一种下肢X光影像中关键点提取方法。
背景技术
[0002] 下肢X光影像是常规医学影像中的一种，目前对于下肢X光影像的分析(例如，关键点提取等)大多由人工方式实现，还没有较为有效的自动分析方案。
[0003] 但是，人工方式的缺陷在于：一方面，分析耗时较长，效率较低；另一方面，分析结果的准确性依赖于分析者的专业水平，因此，也难以保证分析结果的准确性。
发明内容
[0004] 本发明的目的是提供一种下肢X光影像中关键点提取方法，可以提取全局骨骼空间信息，并且具有尺度不变的优势，提高了定位的精度。
[0005] 本发明的目的是通过以下技术方案实现的：
[0006] 一种下肢X光影像中关键点提取方法，包括：
[0007] 获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；
[0008] 构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；
[0009] 训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N
通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通
道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；
[0010] 测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置。
[0011] 由上述本发明提供的技术方案可以看出，通过关键点定位神经网络模型来自动分析下肢X光影像，通过骨骼的全局空间结构以及多尺度信息得到各关键点的位置信息；不仅
加快了关键点提取速度与效率，还可以确保结果的准确性。实验表明关键点定位的误差仅
有3.042像素，角度计算误差仅有1.096°。
附图说明
[0012] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本
领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
附图。
[0013] 图1为本发明实施例提供的一种下肢X光影像中关键点提取方法中的关键点定位神经网络模型的结构示意图；
[0014] 图2为本发明实施例提供的尺度特征捕捉模块与全局依赖捕捉模块的结构示意图；
[0015] 图3为本发明实施例提供的关键点位置及角度计算示意图。
具体实施方式
[0016] 下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本
发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本发明的保护范围。
[0017] 本发明实施例提供一种下肢X光影像中关键点提取方法，包括：
[0018] 获取预先进行了N个关键点标注的下肢X光影像，并以此构建训练集；
[0019] 构建关键点定位神经网络模型，通过关键点定位神经网络模型提取多尺度信息进而提取骨骼的全局空间结构信息，从而预测关键点位置；
[0020] 训练阶段，训练集中每一训练影像的每一关键点位置数据都被转化为一个通道的高斯图，并且每个通道高斯图的顶点设置为相应关键点的位置，从而得到每一训练影像的N
通道标签图；每一训练影像经过关键点定位神经网络模型都会输出包含关键点位置的N通
道预测图；通过N通道标签图与N通道预测图的误差构建损失函数并进行网络训练；
[0021] 测试阶段，将下肢X光影像输入至训练后的关键点定位神经网络模型，获得NN通道的预测图，每一通道的预测图对应一个关键点位置。
[0022] 为了便于理解，下面针对网络模型的结构与原理、及训练与测试过程做详细的介绍。
[0023] 一、网络模型的结构与原理。
[0024] 如图1所示，关键点定位神经网络模型包含预处理部分与沙漏型结构部分。
[0025] 所述预处理部分用于对输入的训练影像进行预处理，初步提取特征。
[0026] 所述沙漏型结构部分由一系列具有相同结构的沙漏型子网络级联而成；所述沙漏型子网络对输入特征先进行下采样，再提取多尺度信息及骨骼的全局空间结构信息，最后
通过上采样恢复到与输入特征相同大小。
[0027] 示例性的，下采样可通过最大池化实现，上采样通过双线性插值实现。
[0028] 具体来说，通过下采样得到高层语义特征，再依次送入尺度特征捕捉模块(SFEM)与全局依赖捕捉模块(GDCM)提取输入特征的多尺度信息、骨骼的全局空间结构信息
[0029] 如图2所示，给出了尺度特征捕捉模块与全局依赖捕捉模块的结构。
[0030] 右侧为尺度特征捕捉模块，通过尺度特征捕捉模块提取输入特征的多尺度信息。尺度特征捕捉模块借鉴了金字塔池化的思想来处理多尺度变化。与金字塔池化不同的是，
尺度特征捕捉模块并没有使用池化操作而是使用空洞卷积来得到不同感受野的特征从而
构成特征金字塔结构。所述尺度特征捕捉模块包括四个并行分支：卷积核大小为1×1的普
通卷积、卷积核大小为3×3的普通卷积(普通卷积的扩张率为1)、卷积核大小为3×3且扩张
率为3的空洞卷积、以及卷积核大小为3×3且扩张率为5的空洞卷积；再通过逐点相加的策
略将四个并行分支的结果结合在一起，输出蕴含多尺度信息的特征图。
[0031] 左侧为全局依赖捕捉模块，通过全局依赖捕捉模块通过计算点与点之间的相关来得到骨骼的全局空间结构信息。所述全局依赖捕捉模块输入为特征图X，大小记为H×W，H、W
分别为特征图的高、宽；特征图X中每个点都是一个C维向量，循环计算出每个点与所有点的
相关，点i和点j之间的相关计算结果为：
[0032]
[0033] 其中，Xi,k、Xj,k表示特征图X位置分别为i、j，第k维的元素的像素值，0≤i,j≤HW‑1。
[0034] 最终得到大小为H×W的相关图R，相关图R中每个点通道维度都为HW；利用图R来改进特征图X得到输出Y，其大小与输入X相同，高为H，宽为W，通道维度为C。位置为i第j维的元
素计算方式为：
[0035]
[0036] 其中，Ri,s表示相关图R的位置为i、第s维元素的像素值，Xs,k表示特征图X中位置为s、第k维元素的像素值，0≤i≤HW‑1,0≤k≤C‑1。
[0037] 上述公式各项参数的角标中，前一项表示位置，后一项表示通道维度。
[0038] GDCM的输出进行上采样得到一个沙漏型子网络的输出，如图1，n个结构相同的沙漏型子网络级联构成了完整的网络，各沙漏型子网络内部的卷积操作可以改变特征图的通
道数，上采样也是一系列卷积和池化的组合，最终由最后一个沙漏型子网络的输出即为网
络模型输出的关键点位置的预测图，即计算每个通道计算值最大的位置就可以得到N个关
键点的位置(N通道预测图)。
[0039] 二、网络训练。
[0040] 本发明实施例中，需要收集一些预先进行了N个关键点标注的下肢X光影像，并以此制作深度学习数据集。然后，随机将数据集分为两份作为训练集和测试集，例如，数量比
为五比一。通常标注工作由技术专家完成，使得标注的关键点足够准确。如图3所示，示出了
进行了N个关键点标注的下肢X光影像的示例，其中N＝16，也即标注了16个关键点。以左股
骨为例，C和D为左股骨的底部左右顶点，A和B为左股骨的近邻膝关节三分之一处左右边界
点，其他三块骨头上的关键点类似。
[0041] 训练时，每次取8张训练影像送入图1所示的网络模型中进行训练，对应训练影像的每一关键点位置数据都被转化为一个N通道的高斯图，并且每个通道高斯图的顶点设置
为相应关键点的位置，从而得到每一训练影像的N通道标签图；每一训练影像经过关键点定
位神经网络模型都会输出N通道预测图。
[0042] 通过N通道标签图与N通道预测图的均方误差构建损失函数，表示为：
[0043]
[0044] 其中，tk,n表示标签图中位置为k、第n维元素的像素值，pk,n表示预测图中对应元素的像素值，标签图与预测图尺寸相同，高、宽分别为H、W。
[0045] 循环更新网络参数，使得损失最小化，从而得到训练好的网络模型。
[0046] 三、测试阶段。
[0047] 测试阶段与训练阶段类似，直接将下肢X光影像输入至训练好的关键点定位神经网络模型，获得N通道的预测图，每一通道的预测图对应一个关键点位置。
[0048] 通过本发明实施例提供的上述方案获得关键点后，可以做一些科研分析、实验分析、相关操作人员培训等工作等，但是后续具体应用方式本发明不做限定。
[0049] 举例来说：如图3所示，关键点数目为16个，左右下肢各自为4组，其中两组位于股骨(Femur)，两组位于胫骨(Tibia)；股骨中两组关键点的中点连线即为股骨轴线，即图3中，
“AB”中点与“CD”中点的连线；同理，胫骨中两组关键点的中点连线即为胫骨轴线，通过胫骨
轴线与股骨轴线得到股胫角(aTFA)。由于本发明的定位精度较高，因此，上述结果可用于操
作人员的培训、考核，或者相关科研工作。
[0050] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，
上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易
失性存储介质(可以是CD‑ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设
备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0051] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，
都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范
围为准。
