本申请提供一种关键点的定位方法和装置，以提高关键点定位的鲁棒性和准确性。该方法为：获取待检测对象的目标检测部位的第一图像；获取与所述目标检测部位对应的距离回归器，所述距离回归器通过对第一图像集执行训练过程得到，所述第一图像集针对的检测部位与所述目标检测部位相同；针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
获取与所述目标检测部位对应的距离回归器，所述距离回归器通过对第一图像集执行训练过程得到，所述第一图像集针对的检测部位与所述目标检测部位相同；
针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
2.如权利要求1所述的方法，其特征在于，所述训练过程包括：
获取所述第一图像集，所述第一图像集包括标记有关键点的多张图像；
针对所述第一图像集中的每张图像分别执行：在该图像中选取像素点，并计算选取的像素点与该图像中的关键点之间的距离；
根据计算得到的像素点与关键点之间的距离以及在所述第一图像集中的每张图像上分别选取的像素点的位置信息，训练得到所述距离回归器，其中，所述距离回归器的输入为图像中的像素点的位置信息，所述距离回归器的输出为该像素点相对于该像素点所在图像中的关键点的距离。
3.如权利要求1所述的方法，其特征在于，所述训练过程包括：
获取所述第一图像集，所述第一图像集包括标记有关键点的多张图像；
通过对所述第一图像集进行至少一次降采样，得到降采样后的至少一个图像集；
将降采样前的图像集和降采样后的至少一个图像集作为待处理图像集，依次从所述待处理图像集中选择第二图像集进行处理，直至处理完所述待处理图像集；
其中，针对每次选择的第二图像集中的每张图像分别执行：
在以该图像中标记出的关键点为中心的第一设定范围内选取像素点，计算选取的像素点与该图像中的关键点之间的距离；所述第一设定范围与所述第二图像集的像素尺寸成正相关关系；
根据计算得到的像素点与关键点之间的距离以及在所述第二图像集中的每张图像上分别选取的像素点的位置信息，训练得到与所述第二图像集的像素尺寸对应的距离回归器。
4.如权利要求3所述的方法，其特征在于，所述定位过程包括：
通过对所述第一图像进行至少一次降采样，得到降采样后的至少一个图像；
将降采样前的所述第一图像和降采样后的至少一个图像作为待处理图像，按照像素尺寸从大到小的顺序依次从所述待处理图像中选择第二图像进行处理，直至处理完所述待处理图像；
获取与所述第二图像的像素尺寸对应的第一距离回归器，并判断所述第二图像是否为所述至少一个图像中像素尺寸最大的图像；
若是，则将所述第二图像中的每个像素点的位置信息分别输入所述第一距离回归器，得到所述第二图像中的每个像素点相对于所述第二图像中的关键点的距离；从得到的距离中筛选出最小值，将该最小值对应的像素点作为候选关键点；
否则，从已得到的候选关键点中筛选出像素尺寸最小的第一候选关键点，将所述第一候选关键点的位置映射到所述第二图像上；确定所述第二图像上被所述第一候选关键点映射到的位置，将以该位置为中心的第三设定范围内的每个像素点的位置信息分别输入所述第一距离回归器，预测所述第二图像中的所述第三设定范围内的每个像素点相对于所述第二图像中的关键点的距离；从预测得到的距离中筛选出最小值，将该最小值对应的像素点作为候选关键点；所述第三设定范围与所述第二图像中的像素点的像素尺寸成正相关关系；
在处理完所述待处理图像后，将得到的候选关键点中像素尺寸最小的候选关键点确定为所述第一图像中的关键点。
5.如权利要求4所述的方法，其特征在于，在所述训练过程中，所述距离回归器根据输入的像素点的位置信息，提取对应位置的像素点的三切面特征，其中，所述三切面特征包括像素点在冠状面、矢状面和横断面上的二维特征；
所述距离回归器根据计算得到的像素点与关键点之间的距离以及提取的像素点的三切面特征，训练得到像素点的三切面特征与该像素点相对于关键点的距离之间的函数关系。
6.如权利要求5所述的方法，其特征在于，在所述定位过程中，所述距离回归器根据输入的像素点的位置信息，提取对应位置的像素点的三切面特征；
所述距离回归器根据提取的像素点的三切面特征以及所述函数关系，计算该像素点相对于关键点的距离。
7.如权利要求5所述的方法，其特征在于，所述提取对应位置的像素点的三切面特征，包括：根据对应位置的像素点的像素尺寸，提取以该像素点的位置为中心的第二设定范围内的三切面特征；
所述第二设定范围与该像素点的像素尺寸成正相关关系。
8.如权利要求2-7中任一项所述的方法，其特征在于，在所述训练过程中，在图像上选取像素点时，像素点被选取到的概率与该像素点相对于关键点的距离成负相关关系。
第一获取单元，用于获取待检测对象的目标检测部位的第一图像；
第二获取单元，用于获取与所述目标检测部位对应的距离回归器，所述距离回归器通过对第一图像集执行训练过程得到，所述第一图像集针对的检测部位与所述目标检测部位相同；
定位单元，用于针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
10.如权利要求9所述的装置，其特征在于，所述训练过程包括：
获取所述第一图像集，所述第一图像集包括标记有关键点的多张图像；
针对所述第一图像集中的每张图像分别执行：在该图像中选取像素点，并计算选取的像素点与该图像中的关键点之间的距离；
根据计算得到的像素点与关键点之间的距离以及在所述第一图像集中的每张图像上分别选取的像素点的位置信息，训练得到所述距离回归器，其中，所述距离回归器的输入为图像中的像素点的位置信息，所述距离回归器的输出为该像素点相对于该像素点所在图像中的关键点的距离。
11.如权利要求9所述的装置，其特征在于，所述训练过程包括：
获取所述第一图像集，所述第一图像集包括标记有关键点的多张图像；
通过对所述第一图像集进行至少一次降采样，得到降采样后的至少一个图像集；
将降采样前的图像集和降采样后的至少一个图像集作为待处理图像集，依次从所述待处理图像集中选择第二图像集进行处理，直至处理完所述待处理图像集，所述第二图像集为所述待处理图像集中的任一个；
其中，针对每次选择的第二图像集中的每张图像分别执行：
在以该图像中标记出的关键点为中心的第一设定范围内选取像素点，计算选取的像素点与该图像中的关键点之间的距离；所述第一设定范围与所述第二图像集的像素尺寸成正相关关系；
根据计算得到的像素点与关键点之间的距离以及在所述第二图像集中的每张图像上分别选取的像素点的位置信息，训练得到与所述第二图像集的像素尺寸对应的距离回归器。
12.如权利要求11所述的装置，其特征在于，所述定位过程包括：
通过对所述第一图像进行至少一次降采样，得到降采样后的至少一个图像；
将降采样前的所述第一图像和降采样后的至少一个图像作为待处理图像，按照像素尺寸从大到小的顺序依次从所述待处理图像中选择第二图像进行处理，直至处理完所述待处理图像；
获取与所述第二图像的像素尺寸对应的第一距离回归器，并判断所述第二图像是否为所述至少一个图像中像素尺寸最大的图像；
若是，则将所述第二图像中的每个像素点的位置信息分别输入所述第一距离回归器，得到所述第二图像中的每个像素点相对于所述第二图像中的关键点的距离；从得到的距离中筛选出最小值，将该最小值对应的像素点作为候选关键点；
否则，从已得到的候选关键点中筛选出像素尺寸最小的第一候选关键点，将所述第一候选关键点的位置映射到所述第二图像上；确定所述第二图像上被所述第一候选关键点映射到的位置，将以该位置为中心的第三设定范围内的每个像素点的位置信息分别输入所述第一距离回归器，预测所述第二图像中的所述第三设定范围内的每个像素点相对于所述第二图像中的关键点的距离；从预测得到的距离中筛选出最小值，将该最小值对应的像素点作为候选关键点；所述第三设定范围与所述第二图像中的像素点的像素尺寸成正相关关系；
在处理完所述待处理图像后，将得到的候选关键点中像素尺寸最小的候选关键点确定为所述第一图像中的关键点。
13.如权利要求12所述的装置，其特征在于，在所述训练过程中，所述距离回归器根据输入的像素点的位置信息，提取对应位置的像素点的三切面特征，其中，所述三切面特征包括像素点在冠状面、矢状面和横断面上的二维特征；
所述距离回归器根据计算得到的像素点与关键点之间的距离以及提取的像素点的三切面特征，训练得到像素点的三切面特征与该像素点相对于关键点的距离之间的函数关系。
14.如权利要求13所述的装置，其特征在于，在所述定位过程中，所述距离回归器根据输入的像素点的位置信息，提取对应位置的像素点的三切面特征；
所述距离回归器根据提取的像素点的三切面特征以及所述函数关系，计算该像素点相对于关键点的距离。
15.如权利要求13所述的装置，其特征在于，所述提取对应位置的像素点的三切面特征，包括：根据对应位置的像素点的像素尺寸，提取以该像素点的位置为中心的第二设定范围内的三切面特征；
所述第二设定范围与该像素点的像素尺寸成正相关关系。
16.如权利要求10-15中任一项所述的装置，其特征在于，在所述训练过程中，在图像上选取像素点时，像素点被选取到的概率与该像素点相对于关键点的距离成负相关关系。
一种关键点的定位方法和装置
技术领域
[0001] 本申请涉及图像处理领域，尤其涉及一种关键点的定位方法和装置。
背景技术
[0002] 随着医学成像技术的不断发展，特别是高端医疗成像设备的出现，如电子计算机断层扫描(Computed Tomography，简称：CT)、磁共振成像(Magnetic Resonance Imaging，简称：MRI)、正电子发射及X射线计算机断层成像系统(Positron Emission Tomography/Computed Tomography，简称：PET/CT)等，为医生提供了更为客观而准确的诊疗工具，极大地提升了疾病的诊疗效率，并使得个性化精准医疗成为可能。
[0003] 在医生利用医学图像进行分析与诊断的过程中，对某些重要解剖结构关键点(Key Point)的定位是一项基础且常见的工作。例如，为了实现两个不同患者医学图像的配准(Registration)，需要在这两个患者的两幅图像中分别找到各自的关键点，作为对应的解剖结构关键点对(Key Point Pair)，利用这些关键点对实现医学图像的空间变换，从而完成图像配准，如图1所示，为两位不同患者的大脑MRI图像中对应的关键点对。
[0004] 目前，实现医学图像中关键点自动定位的方法有多种，比如基于图像配准(Image Registration)的关键点定位方法、基于点匹配(Point Matching)的关键点定位方法、基于机器学习(Machine Learning)中分类方法的关键点定位方法等。然而，目前的医学图像关键点的自动定位方法普遍存在鲁棒性不强、准确度不高的问题。
发明内容
[0005] 有鉴于此，本申请提供一种关键点的定位方法和装置，用以提高关键点定位的准确性和鲁棒性。
[0006] 具体地，本申请是通过如下技术方案实现的：
[0007] 本申请第一方面，提供了一种关键点的定位方法，包括：
[0008] 获取待检测对象的目标检测部位的第一图像；
[0009] 获取与所述目标检测部位对应的距离回归器，所述距离回归器通过对第一图像集执行训练过程得到，所述第一图像集针对的检测部位与所述目标检测部位相同；
[0010] 针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
[0011] 本申请第二方面，提供了一种关键点的定位装置，所述装置具有实现上述方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块或单元。
[0012] 一种可能的实现方式中，所述装置包括获取单元、训练单元和应用单元；
[0013] 第一获取单元，用于获取待检测对象的目标检测部位的第一图像；
[0014] 第二获取单元，用于获取与所述目标检测部位对应的距离回归器，所述距离回归器通过对第一图像集执行训练过程得到，所述第一图像集针对的检测部位与所述目标检测部位相同；
[0015] 定位单元，用于针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
[0016] 另一种可能的实现方式中，所述装置包括处理器和用于存储所述处理器可执行指令的存储器，所述存储器和所述处理器之间通过总线系统相互连接；所述处理器用于执行以下操作：
[0017] 获取待检测对象的目标检测部位的第一图像；
[0018] 获取与所述目标检测部位对应的距离回归器，所述距离回归器通过对第一图像集执行训练过程得到，所述第一图像集针对的检测部位与所述目标检测部位相同；
[0019] 针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
[0020] 本申请的技术方案基于机器学习技术中的回归方法实现，和传统的关键点定位方法相比，具有更好的准确性和鲁棒性。
附图说明
[0021] 图1是现有技术中两位不同患者的大脑MRI图像中对应的关键点对的示意图；
[0022] 图2是本申请一示例性实施例示出的一种关键点定位方法的流程图；
[0023] 图3是本申请一示例性实施例示出的一种像素点与关键点之间的距离的示意图；
[0024] 图4是本申请一示例性实施例示出的一种根据距离回归器的预测值确定关键点的示意图；
[0025] 图5是本申请一示例性实施例示出的一种距离回归器训练过程的流程图；
[0026] 图6是本申请一示例性实施例示出的一种距离回归器应用过程的流程图；
[0027] 图7A是本申请一示例性实施例示出的一种大脑MRI图像脑室关键点的定位结果的示意图；
[0028] 图7B是图7A所定位的脑室关键点在大脑MRI图像中的真实位置的示意图；
[0029] 图8是本申请一示例性实施例示出的一种关键点的定位装置的结构示意图；
[0030] 图9是本申请一示例性实施例示出的另一种关键点的定位装置的结构示意图。
具体实施方式
[0031] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0032] 在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0033] 应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0034] 以下，首先对本申请实施例中涉及的部分用语进行解释说明。
[0035] “关键点”，即感兴趣点。以医学图像为例，关键点通常是用来标记人体重要解剖结构的点，例如大脑海马体尖端、心脏冠脉根部等位置，这些关键点在医生对疾病的诊断过程中起着重要的指导作用。
[0036] “图像集”，指多张图像的集合，这多张图像针对的检测部位和像素尺寸均相同，且这多张图像上均标记有关键点。以医学图像为例，一个图像集中的多张图像可以是不同患者相同部位的医学图像，也可以是同一患者相同部位在不同期相(Stage)时的医学图像，该部位可以是大脑、人体胸部等。所谓期相，即人体某一生理活动的特定阶段，例如呼吸运动存在三个期相：吸气期、呼气期、屏息期。
[0037] “像素尺寸”，表示一个像素点所占用的空间大小。在图像占用的物理空间一定的情况下，像素尺寸越小，代表着分辨率越高，相应的图片也就越清晰。在对图像做降采样处理时，降采样后的图像的像素尺寸相比降采样前的图像的像素尺寸会有所提高，分辨率会有所降低。例如，若原始三维图像的分辨率为400×400×200，像素尺寸为1mm(毫米)×1mm×1mm，则经过1次二倍降采样后该三维图像的分辨率变为200×200×100，像素尺寸变为2mm×2mm×2mm，经过2次二倍降采样后该三维图像的分辨率变为100×100×50，像素尺寸变为4mm×4mm×4mm。本申请实施例中有时会使用“图像集的像素尺寸”来表示图像集中的每张图像的像素尺寸，使用“对图像集进行降采样”来表示对图像集包括的每张图像分别进行降采样处理。
[0038] “像素点”，是显示器显示画面的最小发光单位，由红、绿、蓝三个像素单元组成。
[0039] “回归器”，是机器学习技术中的一种模型，用于预测目标值。本申请实施例中的距离回归器便是根据图像中的某一像素点的位置信息，预测该像素点相对于该图像上的关键点的距离。在MRI图像中，像素点的位置信息可以通过三维坐标表示，如(1，2，5)，相应的预测得到的是该像素点相对于关键点的三维空间距离。
[0040] “三切面特征”，表示像素点分别在冠状面(Coronal)、矢状面(Sagittal)、横断面(Axial)上的二维特征。其中，冠状面表示沿左、右方向将物体纵切为前后两部分的断面，矢状面表示按前后方向将物体纵切为左、右两部分的断面。横断面表示从垂直于物体的轴心线的方向将物体横切为上、下两部分的断面。例如，可以将冠状面、矢状面和横断面理解为数学坐标系中的X、Y、Z平面。
[0041] 某个像素点的“邻域(neighbor)”，是指以该像素点为中心的、该像素点周围的一个区域。例如，在二维空间中，某个像素点的邻域可以是以该像素点为中心的一个正方形；在三维空间中，某个像素点的邻域可以是以该像素点为中心的一个立方体。邻域的大小是可设置的。
[0042] 下面结合说明书附图和各实施例对本申请技术方案进行说明。
[0043] 目前实现医学图像中关键点自动定位的方法有基于图像配准的方法、基于点匹配的方法、基于机器学习技术中的分类方法等。
[0044] 以基于点匹配的关键点定位方法为例，该方法需要选择一种图像点的特征提取器(Feature Extractor)，利用该特征提取器对模板图像中的关键点进行特征提取，形成一个标准特征向量(Standard Feature Vector)。当需要在一幅图像中定位关键点时，首先利用特征提取器对该图像中每个像素点进行特征提取，然后将提取的特征向量与标准特征向量进行比对，最相似的特征向量对应的像素点即是关键点。这种方法的不足之处在于，这种方法通常从像素点的一个小邻域中提取特征作为该像素点的表征(Representation)，通常而言，小邻域的局部特征(Local Feature)的区分能力较弱，无法唯一表征一个像素点，因此这种方法通常会识别出多个可能的关键点，需要后续进一步分析才能得到真正的关键点，因此鲁棒性和准确性均较差。
[0045] 为此，本申请提出了一种基于机器学习中的回归方法实现的关键点的定位方法和装置，以提高关键点定位的鲁棒性和准确性。
[0046] 本申请实施例可以应用于CT、MRI、PET/CT等医疗设备，也可以应用于其它具备关键点定位功能的设备，如人脸识别设备。
[0047] 本申请实施例主要包括距离回归器训练过程和距离回归器应用过程。请参考图2所示的一种关键点的定位方法，其中步骤201至步骤203即为距离回归器训练过程，步骤204至步骤206即为距离回归器应用过程。所述方法包括以下步骤：
[0048] 步骤201：获取第一图像集。
[0049] 其中，所述第一图像集包括标记有关键点的多张图像，该关键点可以通过人工方式标出。所述多张图像针对的检测部位相同，以及所述多张图像的像素尺寸相同。
[0050] 步骤202：针对所述第一图像集中的每张图像分别执行：在该图像中选取像素点，并计算选取的像素点与该图像中的关键点之间的距离。
[0051] 在图像中选取像素点的过程即为采样过程。
[0052] 根据应用领域的不同，像素点与关键点之间的距离可以是二维空间距离，也可以是三维空间距离。例如，在MRI图像中，像素点与关键点之间的距离指的是二者之间的三维空间距离，如图3中的d1和d2所示；在人脸图像中，像素点与关键点之间的距离指的是二者之间的二维空间距离。
[0053] 实际应用中，可以采用欧式距离作为上述距离的距离度量，如当像素点坐标为(X1，Y1，Z1)，关键点坐标为(X2，Y2，Z2)时，二者之间的距离d符合以下公式：
[0054]
[0055] 此外，也可以采用欧式距离的单调递增函数作为上述距离的距离度量，例如，仍以像素点坐标为(X1，Y1，Z1)，关键点坐标为(X2，Y2，Z2)为例，二者之间的距离可以是上述公式(1)结果的二次方，或是上述公式(1)结果的三次方等。
[0056] 步骤203：根据计算得到的像素点与关键点之间的距离以及在所述第一图像集中的每张图像上分别选取的像素点的位置信息，训练得到距离回归器，其中，所述距离回归器的输入为图像中的像素点的位置信息，所述距离回归器的输出为该像素点相对于该像素点所在图像中的关键点的距离。
[0057] 本申请实施例中，在训练得到所述距离回归器的过程中，所述距离回归器可以根据输入的像素点的位置信息，在对应的图像上提取对应位置的像素点的特征，所述像素点的特征可以是灰度、纹理、小波等特征中的一个或多个。然后，所述距离回归器将提取到的像素点的特征以及对应的像素点到关键点的距离值作为训练数据，利用已有的回归方法训练得到像素点的特征与像素点相对于关键点的距离之间的对应关系。可选的回归方法有多种，例如支持向量回归法(Support Vector Regression，简称：SVR)、神经网络等。
[0058] 特别的，对于CT、MRI等成像模态而言，其图像均为三维体数据，因此在提取某个像素点的特征时需要在该像素点的三维邻域内进行。考虑到三维特征提取的计算量通常要远大于二维特征提取，为了降低计算量以及提高运行效率，距离回归器可以在某个像素点的冠状面、矢状面、横断面三个方向上分别提取二维特征，从而得到像素点的三切面特征，并根据图像集中的每张图像上的像素点的三切面特征以及像素点与关键点之间的距离，训练得到像素点的三切面特征与该像素点相对于关键点的距离之间的函数关系，该函数关系一般是一种比较复杂的非线性函数关系。
[0059] 相应的，在后续的距离回归器应用过程中，所述距离回归器可以根据输入的像素点的位置信息，提取对应位置的像素点的三切面特征。然后根据提取的像素点的三切面特征以及所述函数关系，计算该像素点相对于关键点的距离。
[0060] 在本申请的另一实施例中，也可以直接根据像素点的三切面特征和像素点与关键点之间的距离来训练距离回归器，从而这种情况下得到的距离回归器以像素点的三切面特征为输入信息，以预测的像素点相对于关键点的距离为输出信息。
[0061] 理论上而言，训练距离回归器时选择的像素点越多，距离回归器的预测精度越高，但简单地增加像素点的数量会显著地降低距离回归器的训练效率。
[0062] 本申请实施例中，为了提高关键点的定位精度并将距离回归器的训练效率控制在合理水平，还提出了一种改进的采样策略，该策略为：在训练过程中，在图像上选取像素点时，像素点被选取到的概率与该像素点相对于关键点的距离成负相关关系。即，距离关键点越近的像素点，被采样到的概率越高，从而距离关键点越近，像素点越多，这样训练得到的距离回归器在预测距离值时，距离关键点越近，得到的预测结果会越准确。
[0063] 下面介绍距离回归器的应用过程。
[0064] 步骤204：获取待检测对象的目标检测部位的第一图像。
[0065] 步骤205：获取与所述目标检测部位对应的距离回归器。
[0066] 假设获取到的距离回归器是通过对上述所述第一图像集执行训练过程得到的，那么所述第一图像集针对的检测部位与所述目标检测部位相同。
[0067] 本申请实施例中，不同的检测部位对应着不同的距离回归器。利用某个特定部位的图像数据训练得到的距离回归器，只能用于该特定部位的图像的关键点定位。例如，利用大脑图像训练得到的距离回归器，只能用于大脑图像中的关键点定位，而无法用于人脸图像、胸部图像等其它图像中的关键点定位。
[0068] 另外，需要说明的是，前述步骤201至步骤203的距离回归器训练过程可以在步骤204之前执行，即预先训练得到对应多种检测部位的距离回归器，从而步骤205中可以直接从已准备好的距离回归器中筛选出需要的距离回归器。或者，步骤201至步骤203的距离回归器训练过程也可以在步骤204之后执行，从而步骤205中可以根据待定位关键点的图像，实时训练得到需要的距离回归器。
[0069] 步骤206：针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
[0070] 由于距离回归器输出的是每个像素点到关键点的距离预测值，因此可以认为在所有距离预测值中最小的距离值所对应的像素点的位置，即为预测的关键点的位置。如图4所示，如果通过灰度的深浅来表示像素点相对于关键点的距离预测值，像素点的颜色越深，表明该像素点距离关键点的距离越近，那么可以认为颜色最深的像素点就是关键点。
[0071] 由上述实施例可见，本申请实施例在距离回归器的训练过程和应用过程中，可以在图像像素点的一定邻域内提取特征。如果邻域选取得过大，则可能影响距离回归器的预测精度，如果邻域选择得过小，则可能无法获取足够多的信息来进行预测，从而预测出的关键点可能不唯一。
[0072] 基于此，本申请实施例可以采用多分辨率定位策略，即对应前述步骤201至步骤203的距离回归器训练过程，训练出多个对应不同像素尺寸的距离回归器；相应的，对应前述步骤204至步骤206的距离回归器应用过程，在利用训练好的距离回归器进行关键点定位时，首先在低分辨率(即大像素尺寸)图像上采用大邻域对每个像素点到关键点的距离进行预测，进而得到关键点在低分辨率图像上的大致位置P_L；接下来将P_L映射到高分辨率(即小像素尺寸)图像上，得到对应的位置P_H，然后采用小邻域仅对P_H周围的像素点进行预测，最终得到高分辨率图像上关键点的准确位置。由于在高分辨率图像上仅需对小范围像素点进行预测，因此使得关键点定位的效率也得到了提升。下面结合具体实施例进行描述。
[0073] 在一个可选的实施例中，上述步骤201至步骤203所描述的距离回归器训练过程可通过图5所示的方法实现：
[0074] 步骤501：获取第一图像集，所述第一图像集包括标记有关键点的多张图像，所述多张图像针对的检测部位相同。
[0075] 步骤502：通过对所述第一图像集进行至少一次降采样，得到降采样后的至少一个图像集。
[0076] 一种常见的方式是通过对原始图像集中的图像进行二倍降采样，来生成低分辨率的图像集。例如，若对分辨率为400×400×200的原始图像集进行两次二倍降采样，则可以得到分辨率分别为200×200×100和100×100×50的降采样后的图像集。
[0077] 步骤503：将降采样前的图像集和降采样后的至少一个图像集作为待处理图像集。
[0078] 步骤504：依次从所述待处理图像集中选择第二图像集进行处理。
[0079] 所述第二图像集为所述待处理图像集中还未被处理过的任一个图像集。
[0080] 步骤505：针对每次选择的第二图像集中的每张图像分别执行：在以该图像中标记出的关键点为中心的第一设定范围内选取像素点，计算选取的像素点与该图像中的关键点之间的距离。
[0081] 其中，所述第一设定范围与所述第一图像集的像素尺寸成正相关关系。即，所述第二图像集的像素尺寸越大(相当于分辨率越低)，采样范围越大。
[0082] 例如，对于所述待处理图像集中像素尺寸最大(即分辨率最低)的图像集，可以在整张图像上选取像素点；对于所述待处理图像集中像素尺寸最小(即分辨率最高)的图像集，可以在图像上覆盖标记出关键点的1cm(厘米)×1cm的范围内选取像素点。
[0083] 步骤506：根据计算得到的像素点与关键点之间的距离以及在所述第二图像集中的每张图像上分别选取的像素点的位置信息，训练得到与所述第二图像集的像素尺寸对应的距离回归器。
[0084] 可选的，所述距离回归器在根据输入的像素点的位置信息提取每张图像上对应位置的像素点的三切面特征时，可以根据对应位置的像素点的像素尺寸，提取以该像素点的位置为中心的第二设定范围内的三切面特征，所述第二设定范围与该像素点的像素尺寸成正相关关系。
[0085] 此处的所述第二设定范围可理解为上文所说的邻域。即，被采样的第二图像集的像素尺寸越大，则提取像素点特征时选取的邻域也就越大。
[0086] 步骤507：判断是否处理完所述待处理图像集，若是，则结束本流程，否则返回执行步骤504。
[0087] 最终当处理完所述待处理图像集时，将得到对应不同像素尺寸的多个距离回归器。例如，若对像素尺寸为1mm×1mm×1mm的原始图像集进行了两次二倍降采样，最终将得到分别对应像素尺寸1mm×1mm×1mm、2mm×2mm×2mm和4mm×4mm×4mm的三个距离回归器。
[0088] 在另一个可选的实施例中，上述步骤204至步骤206所描述的距离回归器应用过程可通过图6所示的方法实现：
[0089] 步骤601：通过对待检测对象的目标检测部位的第一图像进行至少一次降采样，得到降采样后的至少一个图像。
[0090] 步骤602：将降采样前的所述第一图像和降采样后的至少一个图像作为待处理图像。
[0091] 步骤603：按照像素尺寸从大到小的顺序依次从所述待处理图像中选择第二图像进行处理。
[0092] 步骤604：针对每次选择的第二图像执行如下处理：获取与所述第二图像的像素尺寸对应的第一距离回归器，并判断所述第二图像是否为所述至少一个图像中像素尺寸最大(即分辨率最低)的图像。若是，则执行步骤605，否则执行步骤606。
[0093] 只有降采样后像素尺寸最大的一个图像会执行步骤605，其余图像均会执行步骤606。
[0094] 步骤605：将所述第二图像中的每个像素点的位置信息分别输入所述第一距离回归器，得到所述第二图像中的每个像素点相对于所述第二图像中的关键点的距离；从得到的距离中筛选出最小值，将该最小值对应的像素点作为候选关键点；然后返回继续执行步骤603。
[0095] 步骤606：从已得到的候选关键点中筛选出像素尺寸最小的第一候选关键点，将所述第一候选关键点的位置映射到所述第二图像上；确定所述第二图像上被所述第一候选关键点映射到的位置，将以该位置为中心的第三设定范围内的每个像素点的位置信息分别输入所述第一距离回归器，预测所述第二图像中的所述第三设定范围内的每个像素点相对于所述第二图像中的关键点的距离；从预测得到的距离中筛选出最小值，将该最小值对应的像素点作为候选关键点。
[0096] 其中，所述第三设定范围与所述第二图像中的像素点的像素尺寸成正相关关系。
[0097] 可选的，步骤605和步骤606中，所述距离回归器在根据输入的像素点的位置信息提取每张图像上对应位置的像素点的三切面特征时，可以根据对应位置的像素点的像素尺寸，提取以该像素点的位置为中心的第四设定范围内的三切面特征，所述第四设定范围与该像素点的像素尺寸成正相关关系。
[0098] 此处的所述第四设定范围可理解为上文所说的邻域。所述第四设定范围的大小与上述图5所示的距离回归器训练过程中提及的所述第二设定范围的大小可以相同，也可以不同。
[0099] 步骤607：判断是否处理完所述待处理图像，若是，则执行步骤608；否则返回执行步骤603。
[0100] 另外，步骤607中确定是否返回继续执行步骤603的判断条件还可以是：判断当前处理的所述第二图像的像素尺寸是否等同于降采样前的所述第一图像的像素尺寸，若是，则执行步骤608，否则返回执行步骤603。
[0101] 步骤608：将得到的候选关键点中像素尺寸最小的候选关键点确定为所述第一图像中的关键点，并结束本流程。
[0102] 此外，为验证上述本申请实施例提供的关键点定位方法的实用性，本申请实施例还将上述方法应用于定位大脑MRI图像中的关键点。图7A显示了利用本申请提供的方法处理某张大脑图像后得到的脑室(ventricle)关键点的定位结果，图7B为该脑室关键点在该大脑图像中的真实位置，通过对比图7A和图7B可见，本申请实施例提供的方法在关键点定位结果上精度较高，具有良好的实用性。
[0103] 综上所述，本申请的技术方案基于机器学习中的回归方法实现了对关键点的定位。其中，在训练距离回归器以及利用训练得到的距离回归器进行关键点自动定位时，采用了多分辨率定位策略，在低分辨率图像上采用大邻域对每个像素点到关键点的距离进行预测，得到关键点在低分辨率图像上的大致位置，可以提高关键点定位的鲁棒性；再通过将低分辨率图像上的关键点的大致位置映射到高分辨率图像上，采用小邻域对高分辨率图像上被映射到的位置周围的像素点进行预测，最终得到高分辨率图像上关键点的准确位置，提高了定位结果的准确性和处理效率。在训练距离回归器的过程中，通过采用改进的图像像素点采样策略，即距离关键点越近，像素点被采样到的概率越大，使得训练得到的回归器在进行预测时，像素点距离关键点越近，得到的预测结果越准确，从而可以得到更加精确的定位结果。并且，为了解决三维医学图像在特征提取过程中计算量大的问题，本申请实施例通过将三维特征的提取转换为三个平面的二维特征的提取，在保证定位精度的基础上，显著地降低了定位过程所需的计算量，提高了定位方法的运行效率。
[0104] 与前述关键点的定位方法的实施例相对应，本申请实施例还提供了一种关键点的定位装置的实施例。
[0105] 请参考图8，图8为本申请一种示例性实施例中提供的一种关键点的定位装置的逻辑结构示意图，所述装置包括：
[0106] 第一获取单元801，用于获取待检测对象的目标检测部位的第一图像。
[0107] 第二获取单元802，用于获取与所述目标检测部位对应的距离回归器，所述距离回归器通过对第一图像集执行训练过程得到，所述第一图像集针对的检测部位与所述目标检测部位相同。
[0108] 定位单元803，用于针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
[0109] 可选的，所述训练过程可以通过如下方式实现：
[0110] 第一步，获取所述第一图像集，所述第一图像集包括标记有关键点的多张图像；
[0111] 第二步，针对所述第一图像集中的每张图像分别执行：在该图像中选取像素点，并计算选取的像素点与该图像中的关键点之间的距离；
[0112] 第三步，根据计算得到的像素点与关键点之间的距离以及在所述第一图像集中的每张图像上分别选取的像素点的位置信息，训练得到所述距离回归器，其中，所述距离回归器的输入为图像中的像素点的位置信息，所述距离回归器的输出为该输入的像素点相对于该像素点所在图像中的关键点的距离。
[0113] 可选的，所述训练过程还可以通过如下方式实现：
[0114] 第一步，获取所述第一图像集，所述第一图像集包括标记有关键点的多张图像；
[0115] 第二步，通过对所述第一图像集进行至少一次降采样，得到降采样后的至少一个图像集；
[0116] 第三步，将降采样前的图像集和降采样后的至少一个图像集作为待处理图像集，依次从所述待处理图像集中选择第二图像集进行处理，直至处理完所述待处理图像集，所述第二图像集为所述待处理图像集中的任一个；
[0117] 其中，针对每次选择的第二图像集中的每张图像分别执行：
[0118] 在以该图像中标记出的关键点为中心的第一设定范围内选取像素点，计算选取的像素点与该图像中的关键点之间的距离；所述第一设定范围与所述第二图像集的像素尺寸成正相关关系；根据计算得到的像素点与关键点之间的距离以及在所述第二图像集中的每张图像上分别选取的像素点的位置信息，训练得到与所述第二图像集的像素尺寸对应的距离回归器。
[0119] 可选的，所述定位过程可以通过如下方式实现：
[0120] 第一步，通过对所述第一图像进行至少一次降采样，得到降采样后的至少一个图像；
[0121] 第二步，将降采样前的所述第一图像和降采样后的至少一个图像作为待处理图像，按照像素尺寸从大到小的顺序依次从所述待处理图像中选择第二图像进行处理，直至处理完所述待处理图像；
[0122] 其中，针对每次选择的第二图像执行如下处理：
[0123] a、获取与所述第二图像的像素尺寸对应的第一距离回归器，并判断所述第二图像是否为所述至少一个图像中像素尺寸最大的图像；
[0124] b、若是，则将所述第二图像中的每个像素点的位置信息分别输入所述第一距离回归器，得到所述第二图像中的每个像素点相对于所述第二图像中的关键点的距离；从得到的距离中筛选出最小值，将该最小值对应的像素点作为候选关键点；
[0125] c、否则，从已得到的候选关键点中筛选出像素尺寸最小的第一候选关键点，将所述第一候选关键点的位置映射到所述第二图像上；确定所述第二图像上被所述第一候选关键点映射到的位置，将以该位置为中心的第三设定范围内的每个像素点的位置信息分别输入所述第一距离回归器，预测所述第二图像中的所述第三设定范围内的每个像素点相对于所述第二图像中的关键点的距离；从预测得到的距离中筛选出最小值，将该最小值对应的像素点作为候选关键点；所述第三设定范围与所述第二图像中的像素点的像素尺寸成正相关关系；
[0126] 最后，在处理完所述待处理图像后，将得到的候选关键点中像素尺寸最小的候选关键点确定为所述第一图像中的关键点。
[0127] 可选的，在所述训练过程中，所述距离回归器可以根据输入的像素点的位置信息，提取对应位置的像素点的三切面特征，其中，所述三切面特征包括像素点在冠状面、矢状面和横断面上的二维特征；
[0128] 所述距离回归器可以根据计算得到的像素点与关键点之间的距离以及提取的像素点的三切面特征，训练得到像素点的三切面特征与该像素点相对于关键点的距离之间的函数关系。
[0129] 可选的，在所述定位过程中，所述距离回归器可以根据输入的像素点的位置信息，提取对应位置的像素点的三切面特征；
[0130] 所述距离回归器可以根据提取的像素点的三切面特征以及所述函数关系，计算该像素点相对于关键点的距离。
[0131] 可选的，在提取对应位置的像素点的三切面特征时，可以根据对应位置的像素点的像素尺寸，提取以该像素点的位置为中心的第二设定范围内的三切面特征；所述第二设定范围与该像素点的像素尺寸成正相关关系。
[0132] 可选的，在所述训练过程中，在图像上选取像素点时，可以做如下设置：像素点被选取到的概率可以与该像素点相对于关键点的距离成负相关关系。
[0133] 上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0134] 需要说明的是，本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本申请的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0135] 其中，集成的单元采用硬件的形式实现时，所述第一获取单元801、第二获取单元802和定位单元803对应的实体的硬件可以是处理器，例如图9的处理器901。
[0136] 基于上述提供的关键点的定位方法，本申请还提供一种关键点的定位装置，如图9所示，包括处理器901和存储器902，例如，所述处理器901和所述存储器902通过总线903相互连接。
[0137] 所述存储器902用于存储所述处理器901的可执行指令。
[0138] 所述处理器901被配置为：
[0139] 获取待检测对象的目标检测部位的第一图像；
[0140] 获取与所述目标检测部位对应的距离回归器，所述距离回归器通过对第一图像集执行训练过程得到，所述第一图像集针对的检测部位与所述目标检测部位相同；
[0141] 针对所述第一图像执行以下定位过程：将所述第一图像中的每个像素点的位置信息分别输入所述距离回归器，预测所述第一图像中的每个像素点相对于所述第一图像中的关键点的距离；从预测的距离中筛选出最小值，并将所述最小值对应的像素点确定为所述第一图像中的关键点。
[0142] 其中，所述处理器的具体功能和作用的实现过程详见上述方法中对应步骤的实现过程。
[0143] 需要说明的是，本申请实施例优先适应于医学图像，比如对MRI图像的关键点定位。
[0144] 对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0145] 以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。
