一种基于深度学习和数字重建放射影像的股骨X线片生成系统及方法

摘要

本发明提供了一种基于深度学习和数字重建放射影像的股骨X线片生成系统及方法，通过三维卷积神经网络模型进行深度多任务回归，自动提取包含小转子和股骨内外侧髁的CT片层，使用条件生成式对抗神经网络进行股骨小转子内外侧髁图像分割，对这两个区域进行三维表面重建，通过计算高斯曲率求解小转子和股骨内外侧髁的顶点，计算过三点的平面与水平面的夹角得到最终需要旋转校正的角度，通过数字重建放射影像，得到最佳位置的X线片模拟图像，取代传统CT模拟定位机使用的胶片图像。本发明针对目前数字重建放射影像中股骨位置只能靠医生手工标定，智能化水平不高、标定稳定性差，无法满足实际需要的问题，使用计算机辅助方法进行股骨CT片校正和X线片模拟，能够促进医疗设备的智能化。

权利要求

1.基于深度学习和数字重建放射影像的股骨X线片生成系统，其特征在：包括模型训练样本模块，建立三维卷积神经网络模型模块、CT片层插值模块、基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割模块、小转子和股骨髁区域三维重建模块、小转子顶点和股骨内外侧髁顶点检测模块、图像进行旋转校正模型、股骨X线片生成模块；

其中：

模型训练样本模块，实现对训练数据的整理和标记，一方面为提取包含小转子和股骨内外侧髁的CT片层的三维卷积神经网络模型训练提供输入图像和目标片层标记信息，另一方面为分割股骨小转子段和股骨内外侧髁段图像的基于条件生成式对抗神经网络模型训练提供输入所需的手工分割样本及其对应的原始图像；

建立三维卷积神经网络模型模块，提取包含小转子和股骨内外侧髁的CT片层，根据模型训练样本模块提供的标记CT片层信息训练小转子和股骨内外侧髁的CT片层检测模型，最终得到包含小转子和股骨内外侧髁的CT片层起止编号；

CT片层插值模块，根据建立三维卷积神经网络模型模块得到的包含小转子和股骨内外侧髁的CT片层起止编号提取包含小转子和股骨内外侧髁的CT片层的两段CT图像，通过三次样条插值使小转子和股骨内外侧髁区域在CT矢状面和垂直方向上尺度一致，插值之后的图像作为分割模块的输入；

基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割模块，用于分割小转子和股骨内外侧髁区域，在模型训练阶段，模型训练样本模块为分割模型训练提供手工分割样本及其对应的原始图像，建立条件生成式对抗神经网络，经过训练之后用以实现股骨小转子段和股骨内外侧髁段图像分割；在分割阶段，CT片层插值模块为该分割模块提供分割数据输入，训练好的分割模型对CT片层插值后的数据进行分割，输出为分割好的股骨小转子段和股骨内外侧髁段图像；

小转子和股骨髁区域三维重建模块，用于实现三维小转子和股骨髁区域的重建，对图像分割模块得到的分割结果使用Marching cubes方法实现三维小转子和股骨髁区域的三维表面重建，重建出的三维小转子和股骨髁区域作为小转子顶点和股骨内外侧髁顶点检测模块的输入；

小转子顶点和股骨内外侧髁顶点检测模块，用于检测股骨的小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点，计算小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点附近曲面上所有点的高斯曲率，高斯曲率大于零的局部极值点即为小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点，该模块的输出是小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置；

图像进行旋转校正模块，用于对股骨进行三维空间的一致性旋转校正， 根据小转子顶点和股骨内外侧髁顶点检测模块输出的小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置确定一个空间平面，计算此平面与水平面之间的夹角，据此夹角对股骨进行相应角度的旋转，最终是小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标位置确定一个空间平面与水平面平行，输出校正后的三维股骨图像；

股骨X线片生成模块，用于生成标准统一的股骨X线片， 使用数字重建放射影像DRR方法对图像进行旋转校正模块输出的校正后的股骨CT图像进行X线片生成。

2.基于深度学习和数字重建放射影像的股骨X线片生成方法，其特征在于：包括步骤如下：

步骤(1)准备模型训练样本，模型训练中每个样本包括一个下肢CT片层；标记样本文件中包含CT片层的层号和所述CT片层是否是含有小转子和股骨内外侧髁的标记，0表示该层是检测目标片层，1表示该层不是目标片层；

步骤(2)建立三维卷积神经网络3D CNN模型，提取包含小转子和股骨内外侧髁的CT片层，在此使用多尺度卷积神经网络，提取包含小转子和股骨内外侧髁的CT片层的过程中，输入整个三维CT图像，通过回归分析由神经网络输出小转子所在层的层号；基于深度多任务回归学习，输入单一的CT图像，同时判断小转子所在层的上界、下界和股骨内外侧髁所在层的上界、下界， 对原始数据进行数据增强，使用不同的采样算法、随机旋转、镜像对称、随机高斯噪声的方法增加样本数量，数据输入时，对单一长方体CT图像进行正方体截取，截取过程中使用滑动窗口进行数据增强，进一步增加数据的样本，最终输出含有小转子的片层起止编号，含有股骨髁的片层起止编号；

步骤(3)CT片层插值，根据步骤(2)中的小转子和股骨髁所在区域的CT片层起止编号截取两段CT图像，根据图像序列层间距dslice和像素间距dpixel计算相邻两层CT图像之间的待插值图像的片数n，如式(1)所示：

n＝int(dslice/dpixel)‑1                            (1)x(i,j,k)为第k层上(i,j)处的像素，每次对1～k层上(i,j)处的k个像素进行三次样条插值，遍历i×j次后完成所有片层的插值，最终获得两段插值完成之后的小转子区域片层段和股骨髁区域片层段；

步骤(4)基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割，分割分为样本标注和模型训练两部分， 被标注的原始图像是步骤(3)中获得的包含小转子区域和股骨内外侧髁区域的片层图像， 图像标注采用阈值法和手工修订相结合的方法进行，首先通过阈值法对小转子区域和股骨内外侧髁部分进行批量分割，然后检查分割结果，对分割不准确的图像进行手工更正：过分割的图像将缺失部分补齐，欠分割图像将多余部分去除， 原图和标注图像为成对的样本，将样本进行‑10～10度不同角度的旋转，对图像进行增强，增加样本数量；在生成式对抗神经网络中，使用基于U‑net结构的分割网络作为生成器，将生成的图像和标记图像同时输入到判别器中进行判断，并基于判别结果优化生成器，直到最终达到判别器的要求，停止优化，此时的生成结果即为分割结果；

步骤(5)小转子和股骨髁区域三维重建；重建算法的输入是步骤(4)中分割出的两段片层中的小转子和股骨髁区域，使用基于移动立方体算法Marching cubes的三维表面重建，输出是小转子附近和股骨髁附近的两个曲面图像；

步骤(6)小转子顶点和股骨内外侧髁顶点检测，计算小转子顶点处曲面上所有点的高斯曲率，由于高斯曲率反映曲面局部的弯曲程度，基于高斯曲率求解小转子顶点，高斯曲率大于零的极值点即为小转子顶点；用同样的方法，即计算股骨内外侧髁顶点处曲面上所有点的高斯曲率，由于高斯曲率反映曲面局部的弯曲程度，基于高斯曲率求解股骨内外侧髁顶点，高斯曲率大于零的极值点即为股骨内外侧髁的顶点；在该步骤中最终得到小转子顶点和股骨内外侧髁顶点三个点的三维坐标(x,y,z)，其中x,y是点在片层上的坐标，z是层号；

步骤(7)基于小转子顶点、股骨内侧髁顶点、股骨外侧髁顶点这三点所形成的面与水平面夹角能够确定股骨的空间位置，以小转子顶点、股骨内侧髁顶点、股骨外侧髁顶点这三点所形成的面与水平面夹角对原始CT图像进行旋转校正，使用数字重建放射影像DRR中通过光线投射法从类似模拟定位机的X射线靶方向观视3D重建图像以生成二维X线片模拟图像，得到最佳位置的X线片模拟图像。

3.根据权利要求2所述的基于深度学习和数字重建放射影像的股骨X线片生成方法，其特征在于：步骤(1)中，输入数据是下肢CT图像，生成的是最佳位置的模拟X线片。

4.根据权利要求2所述的基于深度学习和数字重建放射影像的股骨X线片生成方法，其特征在于：所述方法能够嵌入到现有的PACS系统，直接用PACS系统调取下肢CT图像，将图像输入，输出对应的股骨最佳体位的X线片，所述X线片能够在PACS系统中进行保存和传输。

说明书

一种基于深度学习和数字重建放射影像的股骨X线片生成系

统及方法

技术领域

[0001] 本发明涉及计算机辅助骨科手术术前规划、骨科手术机器人等技术领域，尤其涉及CT片中股骨姿态校正、数字重建放射影像研究领域，具体涉及一种基于深度学习和数字
重建放射影像技术的股骨X线片生成系统及方法。

背景技术

[0002] 在日常拍摄下肢股骨CT片的过程中，患者可能会因疼痛、畸形等原因导致股骨姿态各异，难以达到姿态的统一和标准，在进行基于数字重建放射影像技术的X线片生成时，
难以确定模拟X光源发射穿过CT图像组的X射线的路径，因此得到的X线片无法达到理想效
果，在股骨骨折分析、股骨手术规划中就无法确定准确、一致的测量结果和手术路径。

[0003] 为了辅助骨科医生进行准确一致的股骨测量和手术规划，常用的方法是在进行CT片拍摄时放置一些定位标记，在拍摄完CT片之后根据标记通过几何变换将组织进行校正。
专利申请公布的“用于测量脊柱位移的系统和方法(201580050702.3)”，在每个椎骨设置具
有相关联的定位标记器，定位系统提供定位标记器的方位，检测定位标记器的初始方位、当
前方位，并对于每个椎骨根据相关联的定位标记器的当前方位和与椎骨相关联的几何变形
计算椎骨的椎骨平面的当前方位。该发明的校正需要使用专门的标记器，操作较为复杂，耗
时较长。

[0004] 专利申请公布的“一种校正术前三维图像的术中配准方法和装置(CN102147919A)”通过采集术前术中患者不同角度的X射线图像，完成术前、术中对应角度X
射线图像的配准操作，获取各分离骨块组织的变换矩阵，将多角度的变换矩阵作用于术前
已分割分离的骨块数据模型，获得各骨块模型在术中的真实方位。该发明中所涉及的分割
算法仅依靠阈值、形态学和种子点生长算法，算法的可靠性不确定，校正需要额外拍摄术前
术中的X线片，根据配准结果获得校正变换矩阵。

发明内容

[0005] 本发明的技术解决问题：针对目前数字重建放射影像中股骨位置只能靠医生手工标定，智能化水平不高、标定稳定性差，无法满足实际需要的问题，提供一种基于深度学习
和数字重建放射影像的股骨X线片生成系统及方法，使用计算机辅助方法进行股骨CT片校
正和X线片模拟，能够促进医疗设备的智能化。

[0006] 为实现上述目的，本发明通过三维卷积神经网络模型，自动提取包含小转子和股骨内外侧髁的CT片层，使用条件生成式对抗神经网络进行股骨小转子内外侧髁图像分割、
三维表面重建，计算高斯曲率求解小转子和股骨内外侧髁的顶点，计算股骨旋转校正的角
度，通过数字重建放射影像，得到最佳位置的X线片模拟图像，取代传统CT模拟定位机使用
的胶片图像。

[0007] 基于深度学习和数字重建放射影像的股骨X线片生成系统，包括：模型训练样本模块，建立三维卷积神经网络模型模块、CT片层插值模块、基于条件生成式对抗神经网络的股
骨小转子段和股骨内外侧髁段图像分割模块、小转子和股骨髁区域三维重建模块、小转子
顶点和股骨内外侧髁顶点检测模块、图像旋转校正模块；其中：

[0008] 模型训练样本模块，实现对训练数据的整理和标记，一方面为提取包含小转子和股骨内外侧髁的CT片层的三维卷积神经网络模型训练提供输入图像和目标片层标记信息，
另一方面为分割股骨小转子段和股骨内外侧髁段图像的基于条件生成式对抗神经网络模
型训练提供输入所需的手工分割样本及其对应的原始图像。

[0009] 建立三维卷积神经网络模型模块，提取包含小转子和股骨内外侧髁的CT片层，根据模型训练样本模块提供的标记CT片层信息训练小转子和股骨内外侧髁的CT片层检测模
型，最终得到包含小转子和股骨内外侧髁的CT片层起止编号。CT片层插值模块，根据建立三
维卷积神经网络模型模块得到的包含小转子和股骨内外侧髁的CT片层起止编号提取包含
小转子和股骨内外侧髁的CT片层的两段CT图像，通过三次样条插值使小转子和股骨内外侧
髁区域在CT矢状面和垂直方向上尺度一致。插值之后的图像作为分割模块的输入。

[0010] 基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割模块，用于分割小转子和股骨内外侧髁区域。在模型训练阶段，模型训练样本模块为分割模型训
练提供手工分割样本及其对应的原始图像，建立条件生成式对抗神经网络，经过训练之后
用以实现股骨小转子段和股骨内外侧髁段图像分割；在分割阶段，CT片层插值模块为该分
割模块提供分割数据输入，训练好的分割模型对CT片层插值后的数据进行分割，输出为分
割好的股骨小转子段和股骨内外侧髁段图像。

[0011] 小转子和股骨髁区域三维重建模块，用于实现三维小转子和股骨髁区域的重建。对图像分割模块得到的分割结果使用Marching cubes方法实现三维小转子和股骨髁区域
的三维表面重建。重建出的三维小转子和股骨髁区域作为小转子顶点和股骨内外侧髁顶点
检测模块的输入。

[0012] 小转子顶点和股骨内外侧髁顶点检测模块，用于检测股骨的小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点，计算小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点附近曲
面上所有点的高斯曲率，高斯曲率大于零的局部极值点即为小转子顶点、股骨内侧髁顶点
和股骨外侧髁顶点。该模块的输出是小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三
维坐标位置。

[0013] 图像进行旋转校正模块，用于对股骨进行三维空间的一致性旋转校正。根据小转子顶点和股骨内外侧髁顶点检测模块输出的小转子顶点、股骨内侧髁顶点和股骨外侧髁顶
点的三维坐标位置确定一个空间平面，计算此平面与水平面之间的夹角，据此夹角对股骨
进行相应角度的旋转，最终是小转子顶点、股骨内侧髁顶点和股骨外侧髁顶点的三维坐标
位置确定一个空间平面与水平面平行，输出校正后的三维股骨图像。

[0014] 股骨X线片生成模块，用于生成标准统一的股骨X线片。使用数字重建放射影像(DRR)方法对图像进行旋转校正模块输出的校正后的股骨CT图像进行X线片生成。

[0015] 本发明基于深度学习和数字重建放射影像的股骨X线片生成方法，包括以下步骤：

[0016] 步骤(1)准备模型训练样本，模型训练中每个样本包括一个下肢CT片层；标记样本文件中包含CT片层的层号和所述CT片层是否是含有小转子和股骨内外侧髁的标记，0表示
该层是检测目标片层，1表示该层不是目标片层；

[0017] 步骤(2)建立三维卷积神经网络(3D CNN)模型，提取包含小转子和股骨内外侧髁的CT片层，在此使用多尺度卷积神经网络，如Inception和Xception。提取包含小转子和股
骨内外侧髁的CT片层的过程中，输入整个三维CT图像，通过回归分析由神经网络输出小转
子所在层的层号。基于深度多任务回归学习，输入单一的CT图像，同时判断小转子所在层的
上界、下界和股骨内外侧髁所在层的上界、下界。对原始数据进行数据增强，使用不同的采
样算法、随机旋转、镜像对称、随机高斯噪声的方法增加样本数量。数据输入时，对单一长方
体CT图像进行正方体截取，截取过程中使用滑动窗口进行数据增强，进一步增加数据的样
本。最终输出含有小转子的片层起止编号，含有股骨髁的片层起止编号。

[0018] 步骤(3)CT片层插值，根据步骤(2)中的小转子和股骨髁所在区域的CT片层起止编号截取两段CT图像，根据图像序列层间距dslice和像素间距dpixel计算相邻两层CT图像之间
的待插值图像的片数n，如式(1)所示：

[0019] n＝int(dslice/dpixel)‑1(1)

[0020] x(i,j,k)为第k层上(i,j)处的像素，每次对1～k层上(i,j)处的k个像素进行三次样条插值，遍历i×j次后完成所有片层的插值。本步骤最终获得两段插值完成之后的小转
子区域片层段和股骨髁区域片层段。

[0021] 步骤(4)基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割。分割分为样本标注和模型训练两部分。被标注的原始图像是步骤(3)中获得的包含小转
子区域和股骨内外侧髁区域的片层图像。图像标注采用阈值法和手工修订相结合的方法进
行，首先通过阈值法对小转子区域和股骨内外侧髁部分进行批量分割，然后检查分割结果，
对分割不准确的图像进行手工更正：过分割的图像将缺失部分补齐，欠分割图像将多余部
分去除。原图和标注图像为成对的样本，将样本进行‑10～10度不同角度的旋转，对图像进
行增强，增加样本数量。在生成式对抗神经网络中，使用基于U‑net结构的分割网络作为生
成器，将生成的图像和标记图像同时输入到判别器中进行判断，并基于判别结果优化生成
器，直到最终达到判别器的要求，停止优化，此时的生成结果即为分割结果；

[0022] 步骤(5)小转子和股骨髁区域三维重建；重建算法的输入是步骤(4)中分割出的两段片层中的小转子和股骨髁区域，使用基于移动立方体算法(Marching cubes)的三维表面
重建，输出是小转子附近和股骨髁附近的两个曲面图像；

[0023] 步骤(6)小转子顶点和股骨内外侧髁顶点检测，计算小转子顶点处曲面上所有点的高斯曲率，由于高斯曲率反映曲面局部的弯曲程度，基于高斯曲率求解小转子顶点，高斯
曲率大于零的极值点即为小转子顶点；计算股骨内外侧髁顶点处曲面上所有点的高斯曲
率，由于高斯曲率反映曲面局部的弯曲程度，基于高斯曲率求解股骨内外侧髁顶点，高斯曲
率大于零的极值点即为股骨内外侧髁的顶点；在该步骤中最终得到小转子顶点和股骨内外
侧髁顶点三个点的三维坐标(x,y,z)，其中x,y是点在片层上的坐标，z是层号。

[0024] 步骤(7)基于小转子顶点、股骨内侧髁顶点、股骨外侧髁顶点这三点所形成的面与水平面夹角能够确定股骨的空间位置，以小转子顶点、股骨内侧髁顶点、股骨外侧髁顶点这
三点所形成的面与水平面夹角对原始CT图像进行旋转校正，使用数字重建放射影像(DRR)
中通过光线投射法从类似模拟定位机的X射线靶方向观视3D重建图像以生成二维X线片模
拟图像，得到最佳位置的X线片模拟图像。本发明与现有技术相比的优点在于：

[0025] 计算机技术的快速发展很大程度上推动了精准医疗的发展，通过深度学习方法和数字图像处理方法进行CT片的定位、校正和X线片的模拟，不需要借助额外的标记器，更加
方便快捷。

[0026] 使用三维卷积神经网络模型进行深度多任务回归，判断小转子所在层的上、下界和股骨内外侧髁所在层的上、下界，提取包含小转子和股骨内外侧髁的CT片层，仅对目标区
域即小转子区域和股骨髁区域进行三维表面重建而不是对整个股骨进行重建，大幅减少了
数据处理量，加快了整个任务的处理速度。

[0027] 使用条件生成式对抗神经网络进行股骨小转子段和股骨内外侧髁段骨组织图像分割，在生成式对抗神经网络中，使用基于U‑net结构的分割网络作为生成器，当对抗优化
达到迭代停止条件时，生成结果即为最终分割结果。

[0028] 使用计算高斯曲率的方法求解小转子顶点和股骨内外侧髁的顶点，有充分的数学依据，得到的顶点位置准确，通过计算过三点的平面与水平面的夹角得到最终需要旋转校
正的角度，计算精确。

[0029] 基于计算得到的旋转角度使用数字重建放射影像，更好的控制X射线发射源位置和X射线发射方向，能够得到最佳位置的X线片模拟图像，取代传统CT模拟定位机使用的胶
片图像。

[0030] 本发明与现有技术相比的优点在于：目前我国医患比例失衡，医生工作量巨大，使用这种基于深度学习和数字重建放射影像的股骨X线片生成方法，能够替代目前主要靠医
生手动进行小转子、股骨髁顶点标定的方法，减轻医务人员的工作量，提高医院效率；另外，
本发明使用计算机自动对CT片进行关键片层提取、三维重建和顶点自动定位，通过数字重
建放射影像得到最佳体位下的X线片。由于本发明不需要标记器，能够自动进行股骨关键点
定位和需要校正的角度计算，提高了X线片生成的速度和实用性，利于将该方法集成到现有
的PACS系统中。使用深度学习方法和数字重建放射影像进行X线片生成，能够促进医疗设备
的智能化，有利于精准医疗的进一步发展。

附图说明

[0031] 图1为本发明系统组成框图；

[0032] 图2为本发明的基于深度学习和数字重建放射影像的股骨X线片生成流程图；

[0033] 图3为本发明中建立三维卷积神经网络模型，提取包含小转子和股骨内外侧髁的CT片层的流程图；

[0034] 图4为本发明中股骨CT片层插值流程图；

[0035] 图5为本发明中基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割流程图；

[0036] 图6为本发明中检测小转子顶点和股骨内外侧髁顶点算法示意图；

[0037] 图7为本发明中基于数字重建放射影像生成股骨X线片的流程图。

具体实施方式

[0038] 为使本发明实施的目的，技术方案及优点更加清楚，以下将结合本发明实施例中的附图，对本发明实施中的技术方案进行详细、完整的描述。显然，所描述的实施例是本发
明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没
有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0039] 图1是基于深度学习和数字重建放射影像的股骨X线片生成系统组成框图；101是小转子和股骨髁区域的分割部分，主要包括模型训练样本准备模块、用于三维CT片层检测
的卷积神经网络模型模块、CT片层插值模块和基于条件生成式对抗神经网络的股骨小转子
段和股骨内外侧髁段图像分割模块；102是小转子顶点和股骨髁顶点检测模块，主要包括小
转子和股骨髁区域三维重建模块和小转子顶点和股骨内外侧髁顶点检测模块；103是X线片
生成部分，主要包括图像旋转校正模块和基于数字重建放射影像的股骨X线片生成模块；

[0040] 图2是基于深度学习和数字重建放射影像的股骨X线片生成流程图。如图1所示，本实施例的方法包括：

[0041] 步骤1：收集一批下肢CT图像，对每个CT图像中的片层进行标记，如果该片层包含小转子或股骨髁，则标记为1，否则标记为0。

[0042] 步骤2：构建3D CNN通过深度回归识别包含小转子或股骨髁的片层，将其他片层剔除。

[0043] 步骤3：CT片层插值。根据图像序列层间距和像素间距计算相邻两层CT图像之间的待插值图像的片数n，通过三次样条插值完成所有片层的插值。

[0044] 步骤4：基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割，当优化最终达到判别器的要求，停止优化，此时生成器的生成结果即为分割结果。

[0045] 步骤5：用基于移动立方体算法(Marching cubes)的三维表面重建，得到小转子附近和股骨髁附近曲面图像。

[0046] 步骤6：计算小转子顶点处曲面上所有点的高斯曲率，根据高斯曲率的极值点求解小转子顶点和股骨内外侧髁的顶点。

[0047] 步骤7：基于小转子顶点和股骨内外侧髁顶点这三点确定股骨的空间位置，使用数字重建放射影像生成二维X线片模拟图像。

[0048] 图3为建立三维卷积神经网络模型，提取包含小转子和股骨内外侧髁的CT片层的流程图。301是模型训练过程，302是关键片层的检测过程。模型训练主要包括以下步骤：

[0049] 步骤1：如图1步骤1所描述，每个CT图像有对应的一个csv格式的标记文件，文件中包括CT片层的层号和对应层是否是目标片层的标记，是则为1，不是为0；

[0050] 步骤2：进行图像增强，通过图像的上采样、下采样、不同角度的旋转、镜像操作、加高斯噪声等增加样本数量；

[0051] 步骤3：通过滑动窗口进行正方体样本截取；

[0052] 步骤4：设计如Inception和Xception的多尺度卷积神经网络，将增强之后的数据输入到网络中进行训练，得到小转子和股骨内外侧髁检测模型，对模型进行验证和优化。

[0053] 302所示的关键片层检测过程步骤如下：

[0054] 步骤1：将完整下肢CT片输入到训练好的小转子和股骨髁检测模型中；

[0055] 步骤2：模型输出含小转子和股骨髁的片层编号，检测完成。

[0056] 图4是为了进行股骨小转子和股骨髁区域表面重建而进行的CT图像插值计算。如图4所示，本实施例的方法包括：

[0057] 步骤1：根据图2中的方法和步骤读入编号对应的DICOM格式的CT图像片层，基于DICOM文件内容提取层间距和像素间距；

[0058] 步骤2：层间距除以像素间距的结果取整减1，即得到两层CT图像之间的待插值图像的片数；

[0059] 步骤3：x(i,j,k)为第k层上(i,j)处的像素，每次对1～k层上(i,j)处的k个像素进行三次样条插值，遍历i×j次后完成所有片层的插值。

[0060] 图5是基于条件生成式对抗神经网络的股骨小转子段和股骨内外侧髁段图像分割。501是分割网络的训练过程，502是用训练好的网络进行分割的流程。如图5所示，本实施
例的方法包括：

[0061] 501所示的训练过程包括：

[0062] 步骤1：样本标注。标注图像是小转子区域和股骨内外侧髁部分的分割图像。通过阈值法对小转子区域和股骨内外侧髁部分进行批量分割，人工检查分割结果，对分割不准
确的图像进行手工更正，过分割的图像将缺失部分补齐，欠分割图像将多余部分去除，原图
和标注图像为成对的样本。

[0063] 步骤2：将样本进行数据增强，主要进行‑10～10度不同角度的旋转，增加样本数量。

[0064] 步骤3：在生成式对抗神经网络中，使用基于U‑net结构的分割网络作为生成器，将成对的样本图像输入到U‑net分割网络中进行分割，输出是初步分割好的小转子和股骨髁
图像，即生成器生成的目标图像。

[0065] 步骤4：将生成的图像和标记图像同时输入到判别器中进行判断，如果生成图像和标记图像相似度不满足判定条件，则调节生成器权值继续进行优化；若生成图像和标记图
像较为相似，则模型训练结束，将生成图像作为最终的分割结果。

[0066] 并基于判别结果优化生成器，直到最终达到判别器的要求，停止优化，此时的生成结果即为分割结果。

[0067] 502的分割过程包括：

[0068] 步骤1：将含有小转子和股骨髁的CT片层图像输入到训练好的网络中；

[0069] 步骤2：输出小转子和股骨髁的分割结果。

[0070] 图5是检测小转子顶点和股骨内外侧髁顶点算法示意图。如图6所示，本实施例的方法包括：

[0071] 步骤1：将按照图4步骤分割出的含有小转子和股骨髁的图像作为重建算法的数据输入，使用Marching Cubes方法进行小转子和股骨髁周围的表面重建。

[0072] 步骤2：设计算法计算曲面各处的高斯曲率。

[0073] 步骤3：求解曲面上高斯曲率大于零的局部极值点，可能是潜在的目标点。

[0074] 步骤4：基于股骨形态学分析筛选小转子顶点和股骨内外侧髁顶点。

[0075] 图7是基于数字重建放射影像生成股骨X线片的流程图，如图7所示，本实施例的方法包括：

[0076] 步骤1：基于小转子顶点和股骨内外侧髁顶点这三点所形成的面与水平面夹角确定股骨的空间位置。

[0077] 步骤2：将这三点坐标信息输入数字重建放射影像程序，确定合适的模拟X射线光源和X射线方向。

[0078] 步骤3：获取每条投影线通过此体素矩阵的交点，插值后得到对应的CT值

[0079] 步骤4：将射线穿过体素矩阵的交点的CT值转换成电子密度值并累加，得到每条射线相应的有效射线长度。

[0080] 步骤5：将射线长度按灰度分级并显示，生成最终的数字重建股骨X线片。

[0081] 步骤6：由医生评估生成X线片的效果，并对算法进行优化改进。