术中影像的肋骨识别方法及系统

摘要

本申请提供了一种术中影像的肋骨识别方法及系统，该肋骨识别方法包括：将术中影像输入第一分割模型，以获得第一术中骨分割图像，术中影像包括在胸腔手术过程中拍摄的胸部的局部影像。将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像，其中术前影像包括在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前骨分割图像中的部分图像对应。将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像，其中第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分割图像中相同位置处的肋骨的分类结果。本申请通过将术中影像和术前影像相结合，有效的利用术前影像规划术中方案，在术中辅助医生进行穿刺点定位。

权利要求

1.一种术中影像的肋骨识别方法，其特征在于，包括：将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中所述术中影像包括在胸腔手术过程中拍摄的胸部的局部影像；

将术前影像输入第二分割模型，获得术前骨分割图像，其中所述术前影像包括在胸腔手术前拍摄的所述胸部的影像，所述第一术中骨分割图像与所述术前骨分割图像中的部分图像对应；

根据椎骨与肋骨的位置关系，对所述术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨分割图像；

基于所述第一术中骨分割图像和所述术前骨分割图像进行配准，获得单应性矩阵；

基于所述单应性矩阵将所述第一术中骨分割图像中的特征点映射到所述术前骨分割图像中的特征点上，以确定第二术中骨分割图像，其中所述第二术中骨分割图像包括所述第一术中骨分割图像以及与所述术前骨分割图像中相同位置处的肋骨的分类结果。

2.根据权利要求1所述的肋骨识别方法，其特征在于，在所述将术中影像输入第一分割模型，以获得第一术中骨分割图像之前，还包括：接收影像归档和通信系统PACS系统发送的所述术中影像；

基于所述术中影像，获取所述术前影像；

将所述术前影像发送至数据存储单元，用于向所述第二分割模型发送所述术前影像。

3.根据权利要求2所述的肋骨识别方法，其特征在于，所述基于所述术中影像，获取所述术前影像包括：

将所述术中影像进行分析，以获得所述术中影像的患者信息；

将所述患者信息发送至所述PACS系统，查询是否存在所述术前影像；

当存在所述术前影像时，在所述PACS系统中提取所述术前影像。

4.根据权利要求1所述的肋骨识别方法，其特征在于，在所述将所述第一术中骨分割图像映射到所述术前骨分割图像中，以获得第二术中骨分割图像之后，还包括：将所述第二术中骨分割图像发送至数据存储单元；

所述数据存储单元将所述第二术中骨分割图像发送至前端服务器。

5.一种术中影像的肋骨识别系统，其特征在于，包括：预测单元，所述预测单元包括第一分割模块、第二分割模块和映射模块，其中，所述第一分割模块，用于将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中所述术中影像包括在胸腔手术过程中拍摄的胸部的局部影像；

所述第二分割模块，用于将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋骨的位置关系，对所述术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨分割图像，其中所述术前影像包括在胸腔手术前拍摄的所述胸部的影像，所述第一术中骨分割图像与所述术前骨分割图像中的部分图像对应；

所述映射模块，用于基于所述第一术中骨分割图像和所述术前骨分割图像进行配准，获得单应性矩阵；基于所述单应性矩阵将所述第一术中骨分割图像中的特征点映射到所述术前骨分割图像中的特征点上，以确定第二术中骨分割图像，其中所述第二术中骨分割图像包括所述第一术中骨分割图像以及与所述术前骨分割图像中相同位置处的肋骨的分类结果。

6.根据权利要求5所述的肋骨识别系统，其特征在于，还包括数据获取单元和数据存储单元，其中所述数据获取单元包括信息拉取模块、预处理模块和数据发送模块，所述信息拉取模块，用于接收PACS系统发送的所述术中影像；

所述预处理模块，用于基于所述术中影像，获取所述术前影像；

所述数据发送模块，用于将所述术前影像发送至所述数据存储单元。

7.根据权利要求6所述的肋骨识别系统，其特征在于，所述预处理模块，还用于将所述术中影像进行分析，以获得所述术中影像的患者信息；将所述患者信息发送至所述PACS系统，查询是否存在所述术前影像；当存在所述术前影像时，在所述PACS系统中提取所述术前影像。

8.根据权利要求5所述的肋骨识别系统，其特征在于，数据存储单元，还用于接收所述预测单元发送的所述第二术中骨分割图像；

所述肋骨识别系统还包括前端服务器，所述前端服务器用于接收所述数据存储单元发送的所述第二术中骨分割图像。

9.一种电子设备，所述电子设备包括：处理器；

用于存储所述处理器可执行指令的存储器，其中，所述处理器用于执行上述权利要求1至4中任一项所述的肋骨识别方法。

说明书

术中影像的肋骨识别方法及系统

技术领域

[0001] 本申请涉及深度学习技术领域，具体涉及一种术中影像的肋骨识别方法及系统。

背景技术

[0002] 在经皮穿刺定位手术中，肋骨是非常重要器官，为了能够在穿刺过程中有效避开肋骨所在区域，因此需要对肋骨进行分割和分类。但在经皮穿刺定位过程中，为了保证对肋
骨的精准避让，一般情况下会针对靶区附近进行多次扫描，以获得靶区附近的图像。但多次
扫描不但会给患者带来多次辐射的影响，还会由于缺失完整的肺部区域影像，导致难以对
肋骨进行分类识别的问题。

发明内容

[0003] 有鉴于此，本申请实施例提供了一种术中影像的肋骨识别方法及系统，能够获得局部术中影像包含的骨头信息，从而辅助医生进行医学手术。

[0004] 第一方面，本申请的实施例提供了一种术中影像的肋骨识别方法，包括：将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中术中影像包括在胸腔手术过程中
拍摄的胸部的局部影像；将术前影像输入第二分割模型，以获得具有分类结果的术前骨分
割图像，其中术前影像包括在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前
骨分割图像中的部分图像对应；将第一术中骨分割图像映射到术前骨分割图像中，以获得
第二术中骨分割图像，其中第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分
割图像中相同位置处的肋骨的分类结果。

[0005] 在本申请某些实施例中，将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像包括：基于第一术中骨分割图像和术前骨分割图像进行配准，获得
单应性矩阵；基于单应性矩阵将第一术中骨分割图像中的特征点映射到术前骨分割图像中
的特征点上，以确定第二术中骨分割图像。

[0006] 在本申请某些实施例中，将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像包括：将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋
骨的位置关系，对术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前
骨分割图像。

[0007] 在本申请某些实施例中，在将术中影像输入第一分割模型，以获得第一术中骨分割图像之前，还包括：接收影像归档和通信系统PACS系统发送的术中影像；基于术中影像，
获取术前影像；将术前影像发送至数据存储单元，用于向第二分割模型发送术前影像。

[0008] 在本申请某些实施例中，基于术中影像，获取术前影像包括：将术中影像进行分析，以获得术中影像的患者信息；将患者信息发送至PACS系统，查询是否存在术前影像；当
存在术前影像时，在PACS系统中提取术前影像。

[0009] 在本申请某些实施例中，在将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像之后，还包括：将第二术中骨分割图像发送至数据存储单元；数据
存储单元将第二术中骨分割图像发送至前端服务器。

[0010] 第二方面，本申请的实施例提供了一种术中影像的肋骨识别系统，包括：预测单元，预测单元包括第一分割模块、第二分割模块和映射模块，其中，第一分割模块，用于将术
中影像输入第一分割模型，以获得第一术中骨分割图像，其中术中影像包括在胸腔手术过
程中拍摄的胸部的局部影像；第二分割模块，用于将术前影像输入第二分割模型，以获得具
有分类结果的术前骨分割图像，其中术前影像包括在胸腔手术前拍摄的胸部的影像，第一
术中骨分割图像与术前骨分割图像中的部分图像对应；映射模块，用于将第一术中骨分割
图像映射到术前骨分割图像中，以获得第二术中骨分割图像，其中第二术中骨分割图像包
括第一术中骨分割图像以及与术前骨分割图像中相同位置处的肋骨的分类结果。

[0011] 在本申请某些实施例中，映射模块，还用于基于第一术中骨分割图像和术前骨分割图像进行配准，获得单应性矩阵；基于单应性矩阵将第一术中骨分割图像中的特征点映
射到术前骨分割图像中的特征点上，以确定第二术中骨分割图像。

[0012] 在本申请某些实施例中，第二分割模块，还用于将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋骨的位置关系，对术前骨分割图像中的每一根骨头进行
分类，以获得具有分类结果的术前骨分割图像。

[0013] 在本申请某些实施例中，还包括数据获取单元和数据存储单元，其中数据获取单元包括信息拉取模块、预处理模块和数据发送模块，信息拉取模块，用于接收PACS系统发送
的术中影像；预处理模块，用于基于术中影像，获取术前影像；数据发送模块，用于将术前影
像发送至数据存储单元。

[0014] 在本申请某些实施例中，预处理模块，还用于将术中影像进行分析，以获得术中影像的患者信息；将患者信息发送至PACS系统，查询是否存在术前影像；当存在术前影像时，
在PACS系统中提取术前影像。

[0015] 在本申请某些实施例中，数据存储单元，还用于接收预测单元发送的第二术中骨分割图像；肋骨识别系统还包括前端服务器，前端服务器用于接收数据存储单元发送的第
二术中骨分割图像。

[0016] 第三方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的肋骨识别方法。

[0017] 本申请实施例提供了一种术中影像的肋骨识别方法及系统，通过将术前影像与术中影像相结合，利用术前影像中拍摄的完整胸部影像，分割得到完整的术前骨分割图像，并
将肋骨区域进行分割分类，然后将术中局部影像和术前全局影像进行配准，得到术中影像
中每根肋骨名称，使得术前影像被有效的利用，从而在术中更好的辅助医生进行穿刺工作。

附图说明

[0018] 图1是本申请一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。

[0019] 图2是本申请一示例性实施例提供的术中影像的示意图。

[0020] 图3是本申请一示例性实施例提供的术前影像的示意图。

[0021] 图4是本申请另一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。

[0022] 图5是本申请又一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。

[0023] 图6是本申请一示例性实施例提供的术中影像的肋骨识别系统的结构示意图。

[0024] 图7是本申请一示例性实施例提供的用于肋骨识别的电子设备的框图。

具体实施方式

[0025] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本
申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实
施例，都属于本申请保护的范围。

[0026] 目前在现有技术中，为了在经皮穿刺手术中，对靶区精准定位，往往需要在术中对患者进行多次术中影像的拍摄，即在术中对患者造成多次辐射。并且由于术中拍摄的影像
为局部的区域影像，因此，对术中拍摄的术中影像进行肋骨的分类识别难度较大。

[0027] 因此，本申请实施例将术中影像(局部影像)与术前影像(全局影像)相结合，在术中拍摄一次术中影像的情况下，实现对术中影像的肋骨进行分类，使得在穿刺过程中，能够
有效避开肋骨所在的区域，辅助医生对比术中影像和术前影像，有效利用术前影像规划方
案进行穿刺点定位。

[0028] 图1是本申请一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。图1的方法由计算设备，例如，服务器，来执行。如图1所示，该肋骨识别方法包括如下内容。

[0029] 110：将术中影像输入第一分割模型，以获得第一术中骨分割图像。

[0030] 在一实施例中，术中影像包括在胸腔手术过程中拍摄的胸部的局部影像。

[0031] 具体地，术中影像可以是在经皮穿刺定位过程中，拍摄的包含局部肋骨信息的医学图像(参见图2)，例如计算机断层扫描摄影(Computed Tomography,CT)图像、数字化X线
摄影(Digital Radiography,DR)图像或核磁共振成像(Magnetic Resonance Imaging,
MRI)图像。需要说明的是，基于第一分割模型分割后的第一术中骨分割图像也是包含局部
肋骨信息的医学图像。

[0032] 本申请实施例获得第一术中骨分割图像的方式可以是基于深度学习的分割算法获得的，也可以应用传统阈值法，分水岭法获得，本申请实施例对获得第一术中骨分割图像
的方式不作具体限定。

[0033] 在一实施例中，本申请实施例的第一术中骨分割图像是基于训练好的分割模型(即第一分割模型)获得的，示例性地，该分割模型可以是基于具有标签信息的样本数据反
复训练后获得的。

[0034] 120：将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像。

[0035] 在一实施例中，术前影像包括在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前骨分割图像中的部分图像对应。

[0036] 具体地，术前影像可以是在术前拍摄的包含肋骨信息的完整的肺部或胸部影像(参见图3)，例如计算机断层扫描摄影(Computed Tomography,CT)图像、数字化X线摄影
(Digital Radiography,DR)图像或核磁共振成像(Magnetic Resonance Imaging,MRI)图
像。需要说明的是，基于第二分割模型分割后的术前骨分割图像也是包含完整肋骨信息的
医学图像。

[0037] 术前影像的获取方式可以是首先基于对术中影像的分析，获得术中影像中包括的患者信息，其中该患者信息包括病人姓名、病人号、病人性别和出生日期，本申请实施例对
患者信息不作具体限定。而后将获得的患者信息发送至影像归档和通信系统(Picture 
Archiving and Communication Systems,PACS)，以便后续进行肋骨识别过程中提取PACS
系统中存储的术前影像。

[0038] 应当理解，术中影像可以是包含局部肋骨区域的医学影像，而术前影像可以是包含完整肋骨区域的医学影像，即术前影像可以包含术中影像。因此，分割后的第一术中骨分
割图像可以是包含完整肋骨区域的术前骨分割图像的一部分图像，即术前骨分割图像可以
包括第一术中骨分割图像。

[0039] 在一实施例中，将术前影像输入第二分割模型，以获得术前骨分割图像，其中可以将术前影像中的椎骨和肋骨分割出来。肋骨的分割可以是将术前影像中包括的肋骨，切割
成预设大小的面积进行分类识别，本申请实施例对预设大小的面积范围不作具体限定。椎
骨的分割可以是利用椎间将椎骨分成单节的形式，而后可以利用先验知识，根据肋骨的分
类结果，得到椎骨信息的分类结果，最终获得具有分类结果的术前骨分割图像，其中该先验
知识可以是每一根椎骨对应左右两根肋骨，根据解剖结构可知正常人体分别左右各有12根
肋骨。

[0040] 示例性地，分类结果可以是将术前影像中包含的每一根骨头进行分类编号，例如将左边锁骨下方的第一根肋骨标号为1，第二根肋骨标号为2等依次顺延。本申请实施例对
分类结果的形式不作具体限定，可以根据实际情况进行灵活设置。

[0041] 130：将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像。

[0042] 在一实施例中，第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分割图像中相同位置处的肋骨的分类结果。

[0043] 具体地，可以将第一术中骨分割图像在术前骨分割图像中匹配，从而将第一术中骨分割图像映射到术前骨分割图像中。利用术前骨分割图像中每一根肋骨的分类结果，获
得第二术中骨分割图像，其中该第二术中骨分割图像包括与术前骨分割图像中相同位置处
的肋骨的分类结果。需要说明的是，第一术中骨分割图像与第二术中骨分割图像的区别仅
在于第二术中骨分割图像包括肋骨的分类结果，例如第二术中骨分割图像包括每根骨头的
分类编号。

[0044] 例如，第一术中骨分割图像包括两根锁骨、锁骨下方的一节椎骨，以及一节椎骨连接的两条肋骨。术前骨分割图像中对应的锁骨分类编号为1、2，锁骨下方的一节椎骨编号为
3，与椎骨连接的两条肋骨编号为31和32。此时，第二术中骨分割图像中加入的分类结果与
术前骨分割图像相同。

[0045] 在一实施例中，将第一术中骨分割图像映射到术前骨分割图像中的配准操作，可以是通过HomographyNe回归网络，学习第一术中骨分割图像和术前骨分割图像的单应性，
获得单应性矩阵。基于该单应性矩阵与第一术中骨分割图像和术前骨分割图像中设定的特
征点，实现第一术中骨分割图像和术前骨分割图像的图像配准工作，进而获得第二术中骨
分割图像。需要说明的是，具体配准过程详情请参见下述实施例的记载，为避免重复在此不
再赘述。

[0046] 应当理解，本申请实施例还可以包括第三分割模型，该第三分割模型用于分割病灶信息，本申请实施例对分割模型的数量不作具体限定。

[0047] 需要说明的是，本申请实施例提供的肋骨识别方法可以对应一套肋骨识别系统，该系统可以是利用具有更多机器学习解决方案的starship训练平台开发的。

[0048] 由此可知，通过将术前影像与术中影像相结合，利用术前影像中拍摄的完整肺部影像，分割得到完整的术前骨分割图像，并将肋骨区域进行分割分类，然后将术中局部影像
和术前全局影像进行配准，得到术中影像中每根肋骨名称，使得本申请实施例有效的利用
术前影像规划方案，在穿刺手术中对医生起到更好的辅助作用。

[0049] 在本申请一实施例中，将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像包括：基于第一术中骨分割图像和术前骨分割图像进行配准，获得单
应性矩阵；基于单应性矩阵将第一术中骨分割图像中的特征点映射到术前骨分割图像中的
特征点上，以确定第二术中骨分割图像。

[0050] 具体地，利用HomographyNe回归网络，学习第一术中骨分割图像和术前骨分割图像的单应性，同时利用卷积神经网络模型参数的优点，输出单应性矩阵。基于单应性矩阵与
第一术中骨分割图像和术前骨分割图像中的特征点，即将第一术中骨分割图像中的特征点
映射到术前骨分割图像中的特征点上，以实现第一术中骨分割图像和术前骨分割图像的配
准。将第一术中骨分割图像的骨头区域与术前骨分割图像的骨头区域进行匹配，从而将第
一术中骨分割图像映射到术前骨分割图像中。最终利用术前骨分割图像的分类结果，得到
具有肋骨的分类结果的第二术中骨分割图像。

[0051] 由此可知，本申请实施例通过利用HomographyNe回归网络，以端到端的方式同时学习单应性和卷积神经网络模型参数的优点，增强配准的准确性。

[0052] 在本申请一实施例中，将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像包括：将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋骨
的位置关系，对术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨
分割图像。

[0053] 具体地，将术前影像输入第二分割模型，在第二分割模型中可以将术前影像中的椎骨和肋骨分割出来。

[0054] 在一示例中，肋骨的分割可以是将术前影像中包括的肋骨区域，切割成预设大小的面积进行分类识别，其中本申请实施例对预设大小的面积范围不作具体限定。

[0055] 在一示例中，椎骨的分割可以是将椎骨的椎间分割出来，利用椎间将椎骨分成单节的形式，例如将椎骨分成一节一节的形式。而后可以利用先验知识，根据肋骨的分类结
果，得到椎骨信息的分类结果，最终获得具有分类结果的术前骨分割图像，其中该先验知识
可以是每一根椎骨对应左右两根肋骨，根据解剖结构可知正常人体分别左右各有12根肋骨
等，本申请实施例对先验知识不作具体限定。

[0056] 由此可知，本申请实施例将术前影像中包括的骨头进行分割分类，以便于后续对术中影像内包含的肋骨进行分类，同时也有助于在术中辅助医生利用术前影像规划方案。

[0057] 图4是本申请另一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。图4为图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图4所示，该肋骨识
别方法包括如下内容。

[0058] 410：接收影像归档和通信系统PACS系统发送的术中影像。

[0059] 具体地，本申请实施例采用PACS系统，该系统是应用在医院影像科室的系统。PACS系统可以把日常产生的医学影像(例如CT图像)通过多种接口(例如DICOM)以数字化的方式
海量保存起来，以此实现对新拍摄影像的自动监测。

[0060] 在一实施例中，术中影像可以通过PACS系统获取。术中影像也可以通过CT直连的方式获取，本申请实施例对术中影像的获取方式不作具体限定。并且，获取的术中影像可以
是通用的医学影像格式数据，例如DICOM数据格式的影像，以便于后续对术中影像的处理和
保存。

[0061] 需要说明的是，为了提高计算速度，减少计算时间，本申请实施例获取的术中影像可以是获取一个影像中的一个序列，例如获取一个CT图像的一个序列。应当理解，该序列是
表征术中影像的一个最佳序列。并且本申请实施例获取的术前影像也可以是获取一个影像
中的一个序列，例如获取一个CT图像的一个序列。应当理解，该序列是表征术前影像的一个
最佳序列。

[0062] 420：基于术中影像，获取术前影像。

[0063] 具体地，针对术中影像进行分析，获得该术中影像包括的患者信息，例如病人姓名，病人号，病人性别以及出生日期，本申请实施例对患者信息不作具体限定。将解析出的
患者信息发送至PACS系统，查询是否存在术前影像。当存在术前影像时，在PACS系统中提取
该术前影像。

[0064] 430：将术前影像发送至数据存储单元，用于向第二分割模型发送术前影像。

[0065] 具体地，将提取的术前影像(即一个CT图像的一个序列)用超文本传输协议(Hypertext Transfer Protocol，HTTP)的POST请求发送至数据存储单元，该数据存储单元
用于存储该术前影像，同时还用于向第二分割模型发送该术前影像，以预测术前影像的分
割及分类结果。

[0066] 需要说明的是，本申请实施例还可以将获取的术中影像(即一个CT图像的一个序列)也同样应用HTTP的POST请求发送至数据存储单元，该数据存储单元可以用于存储该术
中影像，并向第一分割模型发送该术中影像，以预测术中影像的分割及分类结果。

[0067] 440：将术中影像输入第一分割模型，以获得第一术中骨分割图像。

[0068] 450：将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像。

[0069] 460：将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像。

[0070] 由此可知，本申请实施例通过PACS系统获取术前影像和术中影像，使得本申请实施例提供的肋骨识别方法与PACS系统自动连接，便于数据传输，同时能够辅助医生对比术
前影像和术中影像从而进行穿刺点定位。

[0071] 在本申请一实施例中，基于术中影像，获取术前影像包括：将术中影像进行分析，以获得术中影像的患者信息；将患者信息发送至PACS系统，查询是否存在术前影像；当存在
术前影像时，在PACS系统中提取术前影像。

[0072] 具体地，在对术中影像进行患者信息识别之前，需要对获取的术中影像以预设的配置规则进行数据过滤和筛选，其中该配置规则可以采用配置文件的形式。配置规则可以
包含有格式规定(即DICOM格式的影响)，例如当检测到获得的术中影像格式为nii时，将该
术中影像的数据格式转换为DICOM格式。该配置规则也可以包括影像大小的规定，其中当影
像的大小超出预设的配置规则时，可以对获取的术中影像进行裁剪。本申请实施例对配置
规则不作具体限定。

[0073] 当术中影像完成数据的筛选后，获得了DICOM格式的术中影像，并针对该DICOM格式的术中影像进行患者信息识别，其中进行患者信息识别的方法可以采用光学字符识别
(Optical Character Recognition,OCR)，本申请实施例对患者信息的识别方法不作具体
限定。采用OCR识别方法可以精准识别出术中影像展示的患者信息，该患者信息可以包括病
人姓名，病人号，病人性别，出生日期。

[0074] 进而将患者信息发送至PACS系统中，查询是否存在相关影像，即术前影像。当存在术前影像时，在PACS系统中提取术前影像。当不存在术前影像时，则不提取。

[0075] 由此可知，本申请实施例通过术中影像识别出患者信息，为在PACS系统中获取术前影像提供了支持。

[0076] 图5是本申请又一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。图5为图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图5所示，该肋骨识
别方法包括如下内容。

[0077] 510：将术中影像输入第一分割模型，以获得第一术中骨分割图像。

[0078] 520：将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像。

[0079] 530：将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像。

[0080] 540：将第二术中骨分割图像发送至数据存储单元。

[0081] 具体地，将配准后预测的具有肋骨的分类结果的第二术中骨分割图像发送至数据存储单元，存储该第二术中骨分割图像，以便于后续医生对该第二术中骨分割图像的调取
和应用。

[0082] 550：数据存储单元将第二术中骨分割图像发送至前端服务器。

[0083] 具体地，数据存储单元可以将第二术中骨分割图像发送至前端服务器，再由前端服务器将第二术中骨分割图像发送至用户终端，例如医生阅片客户端。

[0084] 用户终端可以包括影像显示区和信息列表。影像显示区可以用于显示多次随访影像，例如术中影像、术前影像。影像显示区具有控制PACS系统内的影像操作功能。该操作功
能可以包括但不限于窗宽、窗位的调整、测量、位置探针，以及多影像联动功能，其中多影像
联动可以显示上述实施例描述的图像配准输出的两个影像(即第一术中骨分割图像和术前
骨分割图像)的映射关系。信息列表可以用于显示肺结节等病灶信息，以及解剖结构是否显
示的控制相等。

[0085] 需要说明的是，在将第二术中骨分割图像发送至数据存储单元之后，该方法还可以包括数据存储单元向PACS系统发送所述第二术中骨分割图像，便于随时调取、应用第二
术中骨分割图像。

[0086] 由此可知，本申请实施例通过设置数据存储单元，便于对预测结果随时进行保存。同时通过设置前端服务器，便于将预测结果发送至用户终端，供医生查看。

[0087] 图6是本申请一示例性实施例提供的术中影像的肋骨识别系统600的结构示意图。如图6所示，该肋骨识别系统600包括：预测单元620，该预测单元620包括第一分割模块621、
第二分割模块622和映射模块623。

[0088] 第一分割模块621用于将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中术中影像包括在胸腔手术过程中拍摄的胸部的局部影像；第二分割模块622用于将
术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像，其中术前影像包括
在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前骨分割图像中的部分图像对
应；映射模块623用于将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨
分割图像，其中第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分割图像中相
同位置处的肋骨的分类结果。

[0089] 本申请实施例提供了一种肋骨识别系统，通过将术前影像与术中影像相结合，利用术前影像中拍摄的完整肺部影像，分割得到完整的术前骨分割图像，并将肋骨区域进行
分割分类，然后将术中局部影像和术前全局影像进行配准，得到术中影像中每根肋骨名称，
有效的利用术前影像规划方案，在术中更好的辅助医生进行穿刺工作。

[0090] 根据本申请一实施例，映射模块623还用于基于第一术中骨分割图像和术前骨分割图像进行配准，获得单应性矩阵；基于单应性矩阵将第一术中骨分割图像中的特征点映
射到术前骨分割图像中的特征点上，以确定第二术中骨分割图像。

[0091] 根据本申请一实施例，第二分割模块622还用于将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋骨的位置关系，对术前骨分割图像中的每一根骨头进行
分类，以获得具有分类结果的术前骨分割图像。

[0092] 根据本申请一实施例，还包括数据获取单元610和数据存储单元630，其中数据获取单元610包括信息拉取模块611、预处理模块612和数据发送模块613，信息拉取模块611用
于接收PACS系统发送的术中影像；预处理模块612用于基于术中影像，获取术前影像；数据
发送模块613用于将术前影像发送至数据存储单元。

[0093] 根据本申请一实施例，预处理模块612还用于将术中影像进行分析，以获得术中影像的患者信息；将患者信息发送至PACS系统，查询是否存在术前影像；当存在术前影像时，
在PACS系统中提取术前影像。

[0094] 根据本申请一实施例，数据存储单元630还用于接收预测单元620发送的第二术中骨分割图像；肋骨识别系统600还包括前端服务器640用于接收数据存储单元630发送的第
二术中骨分割图像。

[0095] 应当理解，上述实施例中的数据获取单元610、预测单元620、数据存储单元630和前端服务器640的具体工作过程和功能可以参考上述图1至图5实施例提供的肋骨识别方法
中的描述，为了避免重复，在此不再赘述。

[0096] 图7是本申请一示例性实施例提供的用于肋骨识别的电子设备700的框图。

[0097] 参照图7，电子设备700包括处理组件710，其进一步包括一个或多个处理器，以及由存储器720所代表的存储器资源，用于存储可由处理组件710的执行的指令，例如应用程
序。存储器720中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模
块。此外，处理组件710被配置为执行指令，以执行上述肋骨识别方法。

[0098] 电子设备700还可以包括一个电源组件被配置为执行电子设备700的电源管理，一个有线或无线网络接口被配置为将电子设备700连接到网络，和一个输入输出(I/O)接口。
TM
可以基于存储在存储器720的操作系统操作电子设备700，例如Windows Server ，Mac OS 
TM TM TM TM
X ，Unix ，Linux ，FreeBSD 或类似。

[0099] 一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备700的处理器执行时，使得上述电子设备700能够执行一种术中影像的肋骨识别方法，包括：将术
中影像输入第一分割模型，以获得第一术中骨分割图像；将术前影像输入第二分割模型，以
获得具有分类结果的术前骨分割图像；将第一术中骨分割图像映射到术前骨分割图像中，
以获得第二术中骨分割图像。

[0100] 上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。

[0101] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟
以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员
可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本申请的范围。

[0102] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0103] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的
划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件
可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或
讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦
合或通信连接，可以是电性，机械或其它的形式。

[0104] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。

[0105] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0106] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说
对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑Only Memory)、随机存取存
储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。

[0107] 需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”
的含义是两个或两个以上。

[0108] 以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。