超声扫查系统、方法及介质

摘要

本发明提供了一种超声扫查系统、方法及介质，包括：根据超声图像识别当前扫查部位，根据超声图像识别当前扫查切面，根据当前扫查部位和/或当前扫描切面以及方位信息，输出辅助操作超声换能器到预定方位的导航信息。本发明能够准确识别扫查部位与切面，从而使操作者操纵超声换能器快速、准确地定位目标部位和切面，获取相应的超声图像。

权利要求

1.一种超声扫查系统，其特征在于，包括：

超声换能器，配置为发射和接收超声成像信号，所述超声换能器配置有方位传感器，方位传感器实时获取所述超声换能器的方位信息；

波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号；

图像处理模块，配置为根据所述合成信号生成对应的超声图像；

部位识别模块，配置为根据所述超声图像识别当前扫查部位；

切面识别模块，配置为根据所述超声图像识别当前扫查切面；

识别信息输出模块，配置为输出所述当前扫查部位和所述当前扫描切面，并根据所述当前扫查部位和所述当前扫描切面以及所述方位信息，输出辅助操作所述超声换能器到预定方位的导航信息；

所述方位传感器包括：加速度计、陀螺仪或磁力计中的一种或多种；

所述部位识别模块包括部位识别神经网络模型，用于根据所述超声图像识别当前扫查部位，所述部位识别神经网络模型通过以下步骤训练得到：获得部位识别训练数据，所述部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；

使用所述部位识别训练数据训练一个卷积神经网络，得到所述部位识别神经网络模型；

所述切面识别模块包括切面识别神经网络模型，用于根据所述超声图像识别当前扫查切面，所述切面识别神经网络模型通过以下步骤训练得到：获得切面识别训练数据，所述切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；

使用所述切面识别训练数据训练一个卷积神经网络，得到所述切面识别神经网络模型；

其中，所述方位信息将各个方位的超声图像映射到三维空间中，重建出扫查部位的超声三维空间结构。

2.根据权利要求1所述的超声扫查系统，其特征在于，所述部位识别模块配置为根据所述超声图像识别当前扫查部位是目标部位的部位识别概率；所述切面识别模块配置为根据所述超声图像识别当前扫查切面是目标切面的切面识别概率。

3.根据权利要求1或2所述的超声扫查系统，其特征在于，所述识别信息输出模块配置为以柱状图或扇形图的方式显示所述部位识别概率或所述切面识别概率。

4.根据权利要求1所述的超声扫查系统，其特征在于，所述超声扫查系统还包括图像质控模块，所述图像质控模块包括图像评分神经网络模型，用于对所述超声图像的质量进行评分，所述图像评分神经网络模型通过以下步骤训练得到：获得图像评分训练数据，所述图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；

使用所述图像评分训练数据训练一个卷积神经网络，得到所述图像评分神经网络模型。

5.根据权利要求1所述的超声扫查系统，其特征在于，所述切面识别模块配置为根据所述超声图像识别到的当前扫查部位来识别当前扫查切面。

6.一种超声扫查方法，其特征在于，采用权利要求1所述的一种超声扫查系统实现，包括：对接收到的多个超声成像信号进行波束合成，得到合成信号；

根据所述合成信号生成对应的超声图像；

根据所述超声图像识别当前扫查部位；

根据所述超声图像识别当前扫查切面；

输出所述当前扫查部位和所述当前扫描切面，并根据所述当前扫查部位和/或所述当前扫描切面以及超声换能器的方位信息，输出辅助操作超声换能器到预定方位的导航信息。

7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求6所述的超声扫查方法。

说明书

超声扫查系统、方法及介质

技术领域

[0001] 本发明涉及超声波领域，具体地，涉及一种超声扫查系统、方法及介质。

背景技术

[0002] 专利文献CN 207768420U公开了一种医学超声成像装置，超声利用声波的反射来反映组织的纹理和解剖结构，并形成图像。超声经历数十年的发展，模态不断丰富，主要包括灰阶成像、多普勒成像、弹性成像、造影成像等。超声凭借其低成本、安全、实时性等优势逐渐成为应用最为普遍的医学影像技术，同时在产科、心脏等领域发挥着不可替代的重要作用。

[0003] 超声是医学影像设备便携化的先驱，既有传统的大型台车超声设备，也有中型的笔记本超声设备。近年来，还出现了小型的掌上超声设备。超声设备的便携性使得超声可以进入新的应用场景，同时被内/外科、麻醉科、急诊科等非超声医生所接受和使用。这些新场景和新用户为超声开辟新天地的同时，也对超声提出了新的需求和挑战。

[0004] 主流超声技术由操作者手持探头通过特定的声窗扫描人体内的二维结构切面，视角和视场都会受到一定的空间限制。因此，超声成像的空间定位和图像质量很大程度上依赖于操作者的经验与技巧，存在一定的主观性，标准化程度和可重复性较低。便携超声的逐渐普及使得更多的不具备超声使用经验和技巧的医护人员成为超声操作者。在这样的背景下，超声操作者快速、准确地定位目标解剖切面，获取可靠、标准的超声图像面临挑战。

发明内容

[0005] 针对现有技术中的缺陷，本发明的目的是提供一种超声扫查系统、方法及介质。

[0006] 根据本发明提供的一种超声扫查系统，包括：

[0007] 超声换能器，配置为发射和接收超声成像信号，所述超声换能器配置有方位传感器，方位传感器实时获取所述超声换能器的方位信息；

[0008] 波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号；

[0009] 图像处理模块，配置为根据所述合成信号生成对应的超声图像；

[0010] 部位识别模块，配置为根据所述超声图像识别当前扫查部位；

[0011] 切面识别模块，配置为根据所述超声图像识别当前扫查切面；

[0012] 识别信息输出模块，配置为输出所述当前扫查部位和/或所述当前扫描切面，并根据所述当前扫查部位和/或所述当前扫描切面以及所述方位信息，输出辅助操作所述超声换能器到预定方位的导航信息。

[0013] 优选地，所述方位传感器包括：加速度计、陀螺仪或磁力计中的一种或多种。

[0014] 优选地，所述部位识别模块包括部位识别神经网络模型，用于根据所述超声图像识别当前扫查部位，所述部位识别神经网络模型通过以下步骤训练得到：

[0015] 获得部位识别训练数据，所述部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；

[0016] 使用所述部位识别训练数据训练一个卷积神经网络，得到所述部位识别神经网络模型。

[0017] 优选地，所述切面识别模块包括切面识别神经网络模型，用于根据所述超声图像识别当前扫查切面，所述切面识别神经网络模型通过以下步骤训练得到：

[0018] 获得切面识别训练数据，所述切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；

[0019] 使用所述切面识别训练数据训练一个卷积神经网络模型，得到所述切面识别神经网络模型。

[0020] 优选地，所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：

[0021] 或

[0022]

[0023] 其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。

[0024] 优选地，所述部位识别模块配置为根据所述超声图像识别当前扫查部位是目标部位的部位识别概率；所述切面识别模块配置为根据所述超声图像识别当前扫查切面是目标切面的切面识别概率。

[0025] 优选地，所述识别信息输出模块配置为以柱状图或扇形图的方式显示所述部位识别概率或所述切面识别概率。

[0026] 优选地，所述超声扫查系统还包括图像质控模块，所述图像质控模块包括图像评分神经网络模型，用于对所述超声图像的质量进行评分，所述图像评分神经网络模型通过以下步骤训练得到：

[0027] 获得图像评分训练数据，所述图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；

[0028] 使用所述图像评分训练数据训练一个卷积神经网络，得到所述图像评分神经网络模型。

[0029] 优选地，所述切面识别模块配置为根据所述超声图像识别到的当前扫查部位来识别当前扫查切面。

[0030] 根据本发明提供的一种超声扫查方法，包括：

[0031] 对接收到的多个超声成像信号进行波束合成，得到合成信号；

[0032] 根据所述合成信号生成对应的超声图像；

[0033] 根据所述超声图像识别当前扫查部位；

[0034] 根据所述超声图像识别当前扫查切面；

[0035] 输出所述当前扫查部位和/或所述当前扫描切面，并根据所述当前扫查部位和/或所述当前扫描切面以及超声换能器的方位信息，输出辅助操作超声换能器到预定方位的导航信息。

[0036] 根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的超声扫查方法。

[0037] 与现有技术相比，本发明具有如下的有益效果：

[0038] 1、本发明提供的系统作为设备，能够准确识别扫查部位与切面，并引导操作者操纵超声换能器快速、准确地定位目标部位和切面，获取相应的超声图像；

[0039] 2、本发明提升超声扫查的准确性、可重复性和标准化程度；

[0040] 3、本发明降低超声的使用门槛，节约医疗人力资源。

附图说明

[0041] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

[0042] 图1为本发明超声扫查系统的结构示意图；

[0043] 图2为本发明实施例的部位识别示意图；

[0044] 图3为本发明实施例的切面识别示意图；

[0045] 图4为本发明的工作流程图。

具体实施方式

[0046] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

[0047] 如图1所示，本发明提供的一种超声扫查系统，包括：超声换能器1、处理系统2以及显示设备3。显示设备3可以包括手机、平板、显示器、VR/AR眼镜等等。

[0048] 超声换能器1可以是压电换能器或者CMUT换能器，超声换能器可以是一维换能器或者二维换能器，超声换能器可以是机械扫描或者电子扫描。超声换能器配置1为发射和接收超声成像信号，内部配置有方位传感器，能够实时获取所述超声换能器的方向、角度、旋转等方位信息。方位传感器包括：加速度计、陀螺仪或磁力计等等中的一种或多种。

[0049] 借助方位信息能够将各个方位的超声图像映射到三维空间中，从而重建出扫查部位的超声三维空间结构。

[0050] 当超声图像是三维图像时，超声三维空间结构重建通过多个三维超声图像的拼接来实现。运动补偿等图像处理算法用于优化拼接效果。运动补偿包括两个方面，一是补偿受试者呼吸、心跳等组织运动造成的图像错位，二是用于补偿超声换能器的运动造成的图像错位。当超声图像为二维图像时，不同方位的二维超声图像实现对超声三维空间结构的稀疏重建。

[0051] 处理系统2可以是各类具备数据处理功能的设备，如计算机等。具体的，处理系统2中包括：

[0052] 波束合成模块，配置为对接收到的多个超声成像信号进行波束合成，得到合成信号。

[0053] 图像处理模块，配置为根据所述合成信号生成对应的超声图像。

[0054] 部位识别模块，配置为根据所述超声图像识别当前扫查部位。

[0055] 切面识别模块，配置为根据所述超声图像识别当前扫查切面。

[0056] 三维重建模块，配置为根据同一部位的多个切面对应的超声图像进行图像重建得到三维图像。

[0057] 识别信息输出模块，配置为输出所述当前扫查部位和/或所述当前扫描切面，并根据所述当前扫查部位和/或所述当前扫描切面以及所述方位信息，输出辅助操作所述超声换能器到预定方位的导航信息。

[0058] 部位识别模块利用计算机视觉/机器学习等算法结合重建的超声三维空间结构能够较为准确地识别出扫查部位。部位识别算法的一个实例是基于神经网络模型构建部位分类器，部位分类器预先利用大量不同部位的超声三维空间结构与对应的部位标签进行训练，经训练的部位分类器预测出输入的超声三维空间结构属于特定部位的概率。部位识别算法的另一个实例是基于神经网络模型构建部位分类器，部位分类器预先利用大量不同部位的二维超声图像与对应的部位标签进行训练，经训练的部位分类器预测出输入的二维超声图像属于特定部位的概率。

[0059] 所述部位分类器为卷积神经网络模型，由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：

[0060] 或

[0061]

[0062] 其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。

[0063] 超声图像是实时获取的，因此部位识别概率也是实时更新的。如图2所示，以肝脏识别为例，操作者将超声换能器放置于人体的肝脏附近时，系统识别到是肝脏的概率为98.7％，是脾脏的概率为71.4％...。部位识别概率的计算不只是基于当前时刻获取的超声图像，也基于之前时刻获取的超声图像。所以，随着超声换能器在第一个位置停留时间的延长，部位识别的准确性和可信度将不断提升。在本实施例中，部位识别模块包括部位识别神经网络模型，用于根据超声图像识别当前扫查部位，部位识别神经网络模型通过以下步骤训练得到：获得部位识别训练数据，部位识别训练数据包括多种人体部位的超声图像及对应的部位标签；使用部位识别训练数据训练一个卷积神经网络模型，得到部位识别神经网络模型。

[0064] 所述卷积神经网络模型由卷积层、池化层、归一化层组成，训练所述卷积神经网络模型的损失函数为：

[0065] 或

[0066]

[0067] 其中：loss表示损失函数；weight表示权重；x表示预测概率；class表示对应的类别；j表示所有类别的序号。上述带权重的交叉熵，是由于不同病种对应的训练集所占的比例不同，使用带权重的交叉熵来作为训练的损失函数，使得训练后的神经网络模型分类的准确率更高。

[0068] 如果目标扫查部位的部位识别概率最大，并且高于95％，则认为别出来的扫查部位为实际扫查的部位。然后进入切面识别环节。

[0069] 上述扫查部位定位环节获取的重建的超声三维空间结构能够协助系统定位目标扫查平面。操作者倾斜、摆动或旋转超声换能器，用于采集多帧超声图像。辅助扫查模块处理超声图像，利用机器视觉、机器学习等算法识别出当前扫查的切面，并推断出识别到的切面是特定切面的概率，如图3所示，系统识别出是肋缘下斜切面的概率为98.7％，是剑下肝左叶斜切面的概率为71.4％...。因此，得到最终的切面结果为肋缘下斜切面。

[0070] 在本实施例中，切面识别模块同样包括切面识别神经网络模型，用于根据超声图像识别当前扫查切面，切面识别神经网络模型通过以下步骤训练得到：获得切面识别训练数据，切面识别训练数据包括人体同一部位多种切面的超声图像及对应的切面标签；使用切面识别训练数据训练一个卷积神经网络模型，得到切面识别神经网络模型。

[0071] 在本实施例中，部位识别模块配置为根据超声图像识别当前扫查部位是目标部位的部位识别概率；切面识别模块配置为根据超声图像识别当前扫查切面是目标切面的切面识别概率。识别信息输出模块配置为以柱状图或扇形图的方式显示部位识别概率或切面识别概率。

[0072] 超声换能器的方向、角度和旋转信息被其内部嵌入的加速度计、陀螺仪、磁力计等传感器检测并记录。超声换能器的空间方位与超声图像以及切面识别概率一一对应。

[0073] 识别信息输出模块综合分析超声换能器的空间方位、超声图像和切面识别概率信息，向操作者提供超声换能器的导航信息(操作指示)。操作指示包括倾斜、摆动、旋转、滑行、成角等。操作指示可以通过语音、灯光、VR/AR/MR等方式实现。操作者参照操作指示操作超声换能器，当目标扫查切面的识别概率大于特定阈值(如90％)时，手动获取和保存相应的超声图像。此外，也可以在目标扫查切面的识别概率大于特定阈值(如90％)时，自动获取和保存相应的超声图像。

[0074] 超声换能器被放置在受试者体表的某一个位置，操作者控制超声换能器进行倾斜、摆动、旋转、成角等非滑动操作。任意时刻的超声图像与该时刻的超声换能器的方位、角度信息为一一对应地记录和保存。每个时刻的二维超声图像都是对超声成像三维空间的一次二维采样。利用该时刻的超声换能器的方位、角度信息能够将二维超声图像唯一地映射到超声成像三维空间中。多帧带有超声换能器方位、角度的超声图像能够形成超声成像三维空间的稀疏重建。理论上，当这样的超声图像足够多，覆盖的方位、角度足够丰富时，超声成像三维空间能够被完整的重建。

[0075] 基于多帧超声图像对超声成像三维空间的稀疏重建，利用计算机视觉、机器学习等算法，识别出超声换能器正在扫查的部位。同时，利用计算机视觉、机器学习等算法还可以推断出已识别部位相应的若干目标标准超声扫查切面所在的大致方位。若干目标标准超声扫查切面与超声换能器的相对空间位置关系，可以通过显示屏或者VR/AR/MR的形式呈现给操作者作为参考。基于超声换能器当前的方位、角度信息，提供超声换能器定位到目标标准超声扫查切面的操作方案，包括倾斜、摆动、旋转、成角等。

[0076] 在其他实施例中，超声扫查系统还包括图像质控模块，图像质控模块包括图像评分神经网络模型，用于对超声图像的质量进行评分，图像评分神经网络模型通过以下步骤训练得到：获得图像评分训练数据，图像评分训练数据包括不同部位、不同切面的超声图像及对应的评分；使用图像评分训练数据训练一个卷积神经网络，得到图像评分神经网络模型。利用计算机视觉、机器学习等算法建立一个超声图像质量评估系统。当图像质量评分低于预定义阈值时，通过语音、灯光、图像、VR/AR/MR等形式提示操作者当前图像质量不佳。同时，结合超声图像、超声换能器内嵌的传感器、力反馈装置等信息，利用计算机视觉、机器学习等算法向操作者超声图像质量欠佳的潜在原因，包括耦合剂不足、肋骨遮挡、超声换能器位置偏离、超声成像参数不匹配、受试者成像条件较差等，与相应的解决方案。

[0077] 本发明记载的部位识别神经网络模型、切面识别神经网络模型、图像评分神经网络模型是使用训练数据训练一个卷积神经网络的到的。在一个实施例中，卷积神经网络包括：输入层，配置为将超声图像输入卷积神经网络；卷积层，配置为对超声图像进行特征提取；池化层，配置为对卷积层提取到的特征降采样；全连接层，配置为将池化层降采样得到的特征映射到样本标记空间；输出层，配置为输出结果。

[0078] 以部位识别神经网络模型为例，其训练过程如下：

[0079] (1)在获得超声图像之后，对得到的超声图像进行标注，根据不同的部位分为不同的类别，例如：肝脏、脾脏、肾脏...等。

[0080] (2)将70％的数据作为训练数据，输入到卷积神经网络中进行训练。

[0081] (3)将20％的数据用于计算训练中每一次参数迭代更新之后的损失值，来评估模型的质量，当损失值下降到较小的值并且不再继续下降时，模型训练完成。

[0082] (4)将10％的数据作为测试数据，用于测试训练好的模型，这些数据既不参与模型拟合，也不参与计算损失值，也就是完全没有参与到训练过程中，因此测试结果更加客观。测试结果的准确率就是模型在标注数据上预期可以达到的准确率。

[0083] 识别信息输出模块和图像质控模块可以以专用芯片的形式安装运行在本地的超声换能器，也可以以专用芯片或软件的形式安装运行在本地或远程的手机、平板/台式电脑、独立硬件或超声主机等设备中。识别信息输出模块和图像质控模块还可以以软件的形式安装运行在云端，同时辅助多个位于不同地理位置的操作者操纵超声换能器。

[0084] 如图4所示，在上述一种超声扫查系统的基础上，本发明还提供一种超声扫查方法，包括：

[0085] 对接收到的多个超声成像信号进行波束合成，得到合成信号。

[0086] 根据所述合成信号生成对应的超声图像。

[0087] 根据所述超声图像识别当前扫查部位。

[0088] 根据所述超声图像识别当前扫查切面。

[0089] 输出所述当前扫查部位和/或所述当前扫描切面，并根据所述当前扫查部位和/或所述当前扫描切面以及超声换能器的方位信息，输出辅助操作超声换能器到预定方位的导航信息。

[0090] 本发明还提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的超声扫查方法。

[0091] 本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统的一部分及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

[0092] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。