一种基于卷积神经网络的髋关节超声图像质量评估方法

摘要

本发明涉及图像处理技术领域，具体是涉及一种基于卷积神经网络的髋关节超声图像质量评估方法。本发明将被评估髋关节超声图像输入到卷积神经网络中，卷积神经网络分析被评估髋关节超声图像中的伪影信息和其所包括的各个髋关节结构信息，之后卷积神经网络根据分析结果，输出评估总分值，最后根据评估总分值判断被评估髋关节超声图像是否为标准超声切面图像。从上述分析可知，本发明采用卷积神经网络评估髋关节超声图像是否为标准超声切面图像以减少人工评估的干预，从而提高了评估结果的准确性。另外，采用卷积神经网络也能够提高评估效率。

权利要求

1.一种基于卷积神经网络的髋关节超声图像质量评估方法，其特征在于，包括：对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息；

依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度；

已训练的卷积神经网络的训练方式，包括：

确定构成所述卷积神经网络的全局特征提取模块、局部结构特征提取模块；

将样本髋关节超声图像输入至所述全局特征提取模块的卷积层结构，得到所述卷积层结构输出的针对所述样本髋关节超声图像的整体样本特征信息；

将所述整体样本特征信息输入至所述全局特征提取模块的反向卷积层，得到所述反向卷积层的输出结果；

将所述反向卷积层的输出结果与所述卷积层结构的第一卷积层输出的浅层特征相减，得到所述样本髋关节超声图像的样本伪影信息；

依据所述样本伪影信息与所述样本髋关节超声图像的真实伪影信息，得到图像质量损失函数；

依据所述图像质量损失函数，训练所述全局特征提取模块；

将所述整体样本特征信息输入至所述局部结构特征提取模块，得到所述局部结构特征提取模块输出的各个髋关节结构样本特征图；

依据各个所述髋关节结构样本特征图和所述样本髋关节超声图像的各个髋关节结构真实特征图，得到髋关节结构损失函数；

依据所述髋关节结构损失函数，训练所述局部结构特征提取模块。

2.如权利要求1所述的基于卷积神经网络的髋关节超声图像质量评估方法，其特征在于，所述对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息，包括：确定构成已训练的所述卷积神经网络的全局特征提取模块、局部结构特征提取模块、质量分析模块；

将所述被评估髋关节超声图像输入至所述全局特征提取模块，得到所述全局特征提取模块输出的针对所述被评估髋关节超声图像的整体特征信息，所述整体特征信息用于表征所述被评估髋关节超声图像的各个髋关节结构信息和伪影信息；

将所述整体特征信息输入至所述局部结构特征提取模块，得到所述局部结构特征提取模块输出的各个髋关节结构特征图；

将所述整体特征信息和各个所述髋关节结构特征图输入至所述质量分析模块，得到所述质量分析模块输出的评估总分值。

3.如权利要求1所述的基于卷积神经网络的髋关节超声图像质量评估方法，其特征在于，所述依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度，包括：确定所述标准超声切面图像所对应的标准分值；

依据所述评估总分值和所述标准分值，得到针对所述被评估髋关节超声图像的评估结果。

4.如权利要求1所述的基于卷积神经网络的髋关节超声图像质量评估方法，其特征在于，所述将所述整体样本特征信息输入至所述局部结构特征提取模块，得到所述局部结构特征提取模块输出的各个髋关节结构样本特征图，包括：将所述整体样本特征信息输入至所述局部结构特征提取模块的正向第一卷积层，得到所述正向第一卷积层输出的子特征；

将所述正向第一卷积层输出的子特征与所述卷积层结构的第二卷积层输出的浅层特征进行拼接，得到拼接结果；

对所述拼接结果应用正向卷积计算，得到各个髋关节结构样本特征图。

5.如权利要求1所述的基于卷积神经网络的髋关节超声图像质量评估方法，其特征在于，所述依据所述样本伪影信息与所述样本髋关节超声图像的真实伪影信息，得到图像质量损失函数，包括：确定所述样本髋关节超声图像宽度方向的所述样本伪影信息与所述真实伪影信息之差的平方值，记为宽度方向损失值；

确定所述样本髋关节超声图像长度方向的所述样本伪影信息与所述真实伪影信息之差的平方值，记为长度方向损失值；

依据所述宽度方向损失值和所述长度方向损失值，确定图像质量损失函数。

6.如权利要求1所述的基于卷积神经网络的髋关节超声图像质量评估方法，其特征在于，所述依据各个所述髋关节结构样本特征图和所述样本髋关节超声图像的各个髋关节结构真实特征图，得到髋关节结构损失函数，包括：确定所述髋关节结构真实特征图与所述髋关节结构样本特征图的比值，记为结构特征图比值；

确定所述结构特征图比值的对数值；

确定所述结构特征图比值的对数值与所述髋关节结构样本特征图之积，记为乘积结果；

依据所述髋关节结构真实特征图与所述乘积结果之差的绝对值，得到髋关节结构损失函数。

7.一种基于卷积神经网络的髋关节超声图像质量评估装置，其特征在于，所述装置包括如下组成部分：评分模块，用于对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息；

切面评估模块，用于依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度；

已训练的卷积神经网络的训练方式，包括：

确定构成所述卷积神经网络的全局特征提取模块、局部结构特征提取模块；

将样本髋关节超声图像输入至所述全局特征提取模块的卷积层结构，得到所述卷积层结构输出的针对所述样本髋关节超声图像的整体样本特征信息；

将所述整体样本特征信息输入至所述全局特征提取模块的反向卷积层，得到所述反向卷积层的输出结果；

将所述反向卷积层的输出结果与所述卷积层结构的第一卷积层输出的浅层特征相减，得到所述样本髋关节超声图像的样本伪影信息；

依据所述样本伪影信息与所述样本髋关节超声图像的真实伪影信息，得到图像质量损失函数；

依据所述图像质量损失函数，训练所述全局特征提取模块；

将所述整体样本特征信息输入至所述局部结构特征提取模块，得到所述局部结构特征提取模块输出的各个髋关节结构样本特征图；

依据各个所述髋关节结构样本特征图和所述样本髋关节超声图像的各个髋关节结构真实特征图，得到髋关节结构损失函数；

依据所述髋关节结构损失函数，训练所述局部结构特征提取模块。

8.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于卷积神经网络的髋关节超声图像质量评估程序，所述处理器执行所述基于卷积神经网络的髋关节超声图像质量评估程序时，实现如权利要求1‑6任一项所述的基于卷积神经网络的髋关节超声图像质量评估方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于卷积神经网络的髋关节超声图像质量评估程序，所述基于卷积神经网络的髋关节超声图像质量评估程序被处理器执行时，实现如权利要求1‑6任一项所述的基于卷积神经网络的髋关节超声图像质量评估方法的步骤。

说明书

一种基于卷积神经网络的髋关节超声图像质量评估方法

技术领域

[0001] 本发明涉及图像处理技术领域，具体是涉及一种基于卷积神经网络的髋关节超声图像质量评估方法。

背景技术

[0002] 由于婴儿髋关节未骨化的特性、且超声成像相比X线、CT等具有无辐射、低成本和便携性等特点，因此超声成为婴儿髋关节的首选检查方法，使用超声进行双侧髋关节检查，进而诊断DDH。超声检查时首先需要获取髋关节冠状切面图、横切面图和后外侧横切图(也就是用于做超声检查的髋关节超声图像要包括髋关节冠状切面图、横切面图和后外侧横切图这三个切面图才能用于做超声检查)。然而，由于髋关节解剖结构多样(包括平直的髂骨体、髂骨下缘点、盂唇、关节囊、滑膜皱襞、骨顶、股骨头、干骺端、盂唇、骨缘等结构)，且髋关节是一个可以多个方向运动的关节，因此难以获得统一的标准切面。临床上，一直由经验丰富的超声医生来评定新手医生扫描的超声切面质量，评定的结果比较主观，且非常耗时。如何减轻超声医生的工作压力，提高超声切面的质量，成为了临床检验的现实需求。

[0003] 根据临床的质量控制准则，髋关节超声切面能够清晰显示的解剖结构越多，表示图像质量越好，能够完全显示5个解剖结构的髋关节超声图像为标准切面。医生通过检查超声切面中关键解剖结构的个数来对切面质量进行评分，再根据评分结果判断该超声切面(髋关节超声图像)是否是标准超声切面。上述判断髋关节超声图像是否为标准超声切面这一图像质量均是通过人工主观判断，从而降低了评估髋关节超声图像质量的准确性。

[0004] 综上所述，现有技术评估髋关节超声图像质量的准确性较差。

[0005] 因此，现有技术还有待改进和提高。

发明内容

[0006] 为解决上述技术问题，本发明提供了一种基于卷积神经网络的髋关节超声图像质量评估方法，解决了现有技术评估髋关节超声图像质量准确性较差的问题。

[0007] 为实现上述目的，本发明采用了以下技术方案：

[0008] 第一方面，本发明提供一种基于卷积神经网络的髋关节超声图像质量评估方法，其中，包括：

[0009] 对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息；

[0010] 依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度。

[0011] 在一种实现方式中，所述对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息，包括：

[0012] 确定构成已训练的所述卷积神经网络的全局特征提取模块、局部结构特征提取模块、质量分析模块；

[0013] 将所述被评估髋关节超声图像输入至所述全局特征提取模块，得到所述全局特征提取模块输出的针对所述被评估髋关节超声图像的整体特征信息，所述整体特征信息用于表征所述被评估髋关节超声图像的各个髋关节结构信息和伪影信息；

[0014] 将所述整体特征信息输入至所述局部结构特征提取模块，得到所述局部结构特征提取模块输出的各个髋关节结构特征图；

[0015] 将所述整体特征信息和各个所述髋关节结构特征图输入至所述质量分析模块，得到所述质量分析模块输出的评估总分值。

[0016] 在一种实现方式中，所述依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度，包括：

[0017] 确定所述标准超声切面图像所对应的标准分值；

[0018] 依据所述评估总分值和所述标准分值，得到针对所述被评估髋关节超声图像的评估结果。

[0019] 在一种实现方式中，已训练的卷积神经网络的训练方式，包括：

[0020] 确定构成所述卷积神经网络的全局特征提取模块、局部结构特征提取模块；

[0021] 将样本髋关节超声图像输入至所述全局特征提取模块的卷积层结构，得到所述卷积层结构输出的针对所述样本髋关节超声图像的整体样本特征信息；

[0022] 将所述整体样本特征信息输入至所述全局特征提取模块的反向卷积层，得到所述反向卷积层的输出结果；

[0023] 将所述反向卷积层的输出结果与所述卷积层结构的第一卷积层输出的浅层特征相减，得到所述样本髋关节超声图像的样本伪影信息；

[0024] 依据所述样本伪影信息与所述样本髋关节超声图像的真实伪影信息，得到图像质量损失函数；

[0025] 依据所述图像质量损失函数，训练所述全局特征提取模块；

[0026] 将所述整体样本特征信息输入至所述局部结构特征提取模块，得到所述局部结构特征提取模块输出的各个髋关节结构样本特征图；

[0027] 依据各个所述髋关节结构样本特征图和所述样本髋关节超声图像的各个髋关节结构真实特征图，得到髋关节结构损失函数；

[0028] 依据所述髋关节结构损失函数，训练所述局部结构特征提取模块。

[0029] 在一种实现方式中，所述将所述整体样本特征信息输入至所述局部结构特征提取模块，得到所述局部结构特征提取模块输出的各个髋关节结构样本特征图，包括：

[0030] 将所述整体样本特征信息输入至所述局部结构特征提取模块的正向第一卷积层，得到所述正向第一卷积层输出的子特征；

[0031] 将所述正向第一卷积层输出的子特征与所述卷积层结构的第二卷积层输出的浅层特征进行拼接，得到拼接结果；

[0032] 对所述拼接结果应用正向卷积计算，得到各个髋关节结构样本特征图。

[0033] 在一种实现方式中，所述依据所述样本伪影信息与所述样本髋关节超声图像的真实伪影信息，得到图像质量损失函数，包括：

[0034] 确定所述样本髋关节超声图像宽度方向的所述样本伪影信息与所述真实伪影信息之差的平方值，记为宽度方向损失值；

[0035] 确定所述样本髋关节超声图像长度方向的所述样本伪影信息与所述真实伪影信息之差的平方值，记为长度方向损失值；

[0036] 依据所述宽度方向损失值和所述长度方向损失值，确定图像质量损失函数。

[0037] 在一种实现方式中，所述依据各个所述髋关节结构样本特征图和所述样本髋关节超声图像的各个髋关节结构真实特征图，得到髋关节结构损失函数，包括：

[0038] 确定所述髋关节结构真实特征图与所述髋关节结构样本特征图的比值，记为结构特征图比值；

[0039] 确定所述结构特征图比值的对数值；

[0040] 确定所述结构特征图比值的对数值与所述髋关节结构样本特征图之积，记为乘积结果；

[0041] 依据所述髋关节结构真实特征图与所述乘积结果之差的绝对值，得到髋关节结构损失函数。

[0042] 第二方面，本发明实施例还提供一种基于卷积神经网络的髋关节超声图像质量评估装置，其中，所述装置包括如下组成部分：

[0043] 评分模块，用于对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息；

[0044] 切面评估模块，用于依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度。

[0045] 第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于卷积神经网络的髋关节超声图像质量评估程序，所述处理器执行所述基于卷积神经网络的髋关节超声图像质量评估程序时，实现上述所述的基于卷积神经网络的髋关节超声图像质量评估方法的步骤。

[0046] 第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于卷积神经网络的髋关节超声图像质量评估程序，所述基于卷积神经网络的髋关节超声图像质量评估程序被处理器执行时，实现上述所述的基于卷积神经网络的髋关节超声图像质量评估方法的步骤。

[0047] 有益效果：本发明将被评估髋关节超声图像输入到卷积神经网络中，卷积神经网络分析被评估髋关节超声图像中的伪影信息和其所包括的各个髋关节结构信息，之后卷积神经网络根据分析结果，输出评估总分值，最后根据评估总分值判断被评估髋关节超声图像是否为标准超声切面图像。从上述分析可知，本发明采用卷积神经网络评估髋关节超声图像是否为标准超声切面图像以减少人工评估的干预，从而提高了评估结果的准确性。另外，采用卷积神经网络也能够提高评估效率。

附图说明

[0048] 图1为本发明的整体流程图；

[0049] 图2为本发明实施例中的卷积神经网络结构图；

[0050] 图3为本发明实施例中的全局特征提取模块和局部结构特征提取模块结构图；

[0051] 图4为本发明实施例中的损失函数结构图；

[0052] 图5为本发明实施例提供的终端设备的内部结构原理框图。

具体实施方式

[0053] 以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0054] 经研究发现，由于婴儿髋关节未骨化的特性、且超声成像相比X线，CT等具有无辐射、低成本和便携性等特点，因此超声成为婴儿髋关节的首选检查方法，使用超声进行双侧髋关节检查，进而诊断DDH。超声检查时首先需要获取髋关节冠状切面图、横切面图和后外侧横切图(也就是用于做超声检查的髋关节超声图像要包括髋关节冠状切面图、横切面图和后外侧横切图这三个切面图才能用于做超声检查)。然而，由于髋关节解剖结构多样(包括平直的髂骨体、髂骨下缘点、盂唇、关节囊、滑膜皱襞、骨顶、股骨头、干骺端、盂唇、骨缘等结构)，且髋关节是一个可以多个方向运动的关节，因此难以获得统一的标准切面。临床上，一直由经验丰富的超声医生来评定新手医生扫描的超声切面质量，评定的结果比较主观，且非常耗时。如何减轻超声医生的工作压力，提高超声切面的质量，成为了临床检验的现实需求。根据临床的质量控制准则，髋关节超声切面能够清晰显示的解剖结构越多，表示图像质量越好，能够完全显示5个解剖结构的髋关节超声图像为标准切面。医生通过检查超声切面中关键解剖结构的个数来对切面质量进行评分，再根据评分结果判断该超声切面(髋关节超声图像)是否是标准超声切面。上述判断髋关节超声图像是否为标准超声切面这一图像质量均是通过人工主观判断，从而降低了评估髋关节超声图像质量的准确性。

[0055] 为解决上述技术问题，本发明提供了一种基于卷积神经网络的髋关节超声图像质量评估方法，解决了现有技术评估髋关节超声图像质量准确性较差的问题。具体实施时，首先对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的卷积神经网络输出的评估总分值，最后依据评估总分值，得到针对被评估髋关节超声图像的评估结果。

[0056] 举例说明，将被评估髋关节超声图像A和B分别输入到卷积神经网络，卷积神经网络分别输出评估总分值a和b，如果a大于阈值(24分)，那么图像A就是可以辅助医生做超声检查的标准超声切面图像(也就是图像A包含了多余五个髋关节结构以及具有很少的伪影)；如果b小于阈值(24分)，那么图像B不适合辅助医生做超声检查(也就是图像B包含了很少的髋关节结构或者没有髋关节结构，甚至图像B包含了大量的伪影)。

[0057] 示例性方法

[0058] 本实施例的基于卷积神经网络的髋关节超声图像质量评估方法可应用于终端设备中，所述终端设备可为具有计算功能的终端产品，比如电脑等。在本实施例中，如图1中所示，所述基于卷积神经网络的髋关节超声图像质量评估方法具体包括如下步骤S100、S200、S300：

[0059] S100，训练卷积神经网络。

[0060] 如图2所示，本实施例中的卷积神经网络包括图像输入模块、全局特征提取模块、局部结构特征提取模块、质量分析模块、结果输出模块这五个模块，当通过图像输入模块向卷积神经网络输入一张超声图像时，图像经过整体特征信息提取模块(全局特征提取模块)后，会分为两部分进行，一部分将图像深层信息反映射至浅层，通过与原图像浅层信息对比，来获得该输入图像的伪影质量评分，另一部分将输入至局部特征提取模块(局部结构特征提取模块)，进行进一步的特征提取分析，以获得各解剖结构的质量评分。

[0061] 在训练卷积神经网络之前，需要对收集到的髋关节超声图像(样本髋关节超声图像)进行数据的标注，每张超声图像I都可以获得对应的标准评分S＝(a,b,c,d,e,f)，其中a、b、c、d、e、f分别对应6项子项评分(见表1)。需进行训练集、测试集及验证集的划分。在划分中，每张图像I及标注结果S作为一组数据，对所有的数据进行打乱随机划分，使所有数据有同等机会进行训练集、测试集或验证集。注意，其中验证集非必要子集，当存在数据较少等情况时，可以只保留训练集及测试集。

[0062] 表1

[0063]

[0064] 上述标准评分S采用如下方式获取：

[0065] 根据表1进行图像解剖结构评分，得到每张图像的解剖结构指标的评分矩阵：有图像1、2，…，m，指标1、2，…，n，Xij表示图像i的第j个指标的数值。

[0066] 计算第j项指标下图像i占该指标的比重：

[0067]

[0068] 计算第j项指标的熵值：

[0069]

[0070] 式中q＜0， ej＞0，n为图像张数。

[0071] 计算第j项指标的差异系数。对第j项指标，指标值的差异越大，对图像评价的左右就越大，熵值就越小，定义差异系数：

[0072] gj＝1‑ej(j＝1,2,…,m) (3)

[0073] 式中0≤gj≤1。

[0074] 求第j项指标的权值系数：

[0075]

[0076] 计算各图像的综合得分S：

[0077]

[0078] 在一个实施例中，步骤S100包括如下的步骤S101至S1015：

[0079] S101，确定构成所述卷积神经网络的全局特征提取模块、局部结构特征提取模块。

[0080] 在一个实施例中，卷积神经网络不仅包括全局特征提取模块、局部结构特征提取模块，还包括图像输入模块、质量分析模块、结果输出模块，但是卷积神经网络需要训练的部分只有全局特征提取模块、局部结构特征提取模块。其中，全局特征提取模块包括图3中的卷积层C1、C2、C3、C4、C5以及反向卷积层G3、G2、G1和卷积层S2、卷积层S1(S2和S1用于判断髋关节超声图像的风格以及图像质量)。局部结构特征提取模块包括图3中的正向卷积层P4、P3、P2、P1。

[0081] S102，将样本髋关节超声图像输入至所述全局特征提取模块的卷积层结构，得到所述卷积层结构输出的针对所述样本髋关节超声图像的整体样本特征信息。

[0082] 将样本髋关节超声图像输入至由卷积层C1、C2、C3、C4、C5构成的卷积层结构，卷积层C5输出整体样本特征信息(整体深度信息)，整体深度信息包含图像中各解剖结构及整体成像质量(伪影信息)的信息。该部分网络将从卷积层C5中的深度信息中获取特征因子。该部分特征因子将包含图像的大部分全局信息，借鉴于常见的卷积分割网络。

[0083] 在一个实施例中，样本髋关节超声图像在输入至卷积神经网络之前，需要对样本髋关节超声图像进行预处理和数据增强，以增强使用样本髋关节超声图像训练之后的卷积神经网络的适用性。

[0084] 图像预处理：对获得的髋关节超声进行所需的预处理，以方便后续网络对图像信息特征的提取，常用的方法有零均值化、归一化或直方图均衡化等。该实施例中，对髋关节图像的预处理包括但不仅限于上述方案；同时，预处理只是为了满足多机型多差异的图像数据，提高算法的适用性和鲁棒性，在实际应用中可以作为选配模块使用。

[0085] 数据增强：在进行卷积神经网络的训练之前，可以根据数据量及图像数据分布情况选择是否进行数据增强，比如数据量较少、标准图像在数据集中占比较少时，可以进行数据增强。在深度学习中，典型的数据增强方法包括图像的平移、旋转、缩放、裁剪、灰度变换等操作，上述方案都可以应用于本实施例中。同样的，该实施例中，数据增强模块为可选模块，方法也不仅限于上述提到的方法。

[0086] S103，将所述整体样本特征信息输入至所述全局特征提取模块的反向卷积层，得到所述反向卷积层的输出结果。

[0087] 卷积层C5输出整体样本特征信息之后，再将整体样本特征信息输入至由G3、G2、G1构成的反向卷积模块中，该模块的主要作用是基于提取后的特征因子，重新生成低噪声的浅层图像(全连接层的输出结果，也就是图3中G1输出的较清晰的浅层信息)。

[0088] S104，将所述反向卷积层的输出结果与所述卷积层结构的第一卷积层输出的浅层特征相减，得到所述样本髋关节超声图像的样本伪影信息。

[0089] 超声伪影指超声机器显示的断层图像与实际解剖的断层图像之间的差异。伪影类型有透射影、远端声影、混响声影、折射伪影、镜像伪影、接触伪影等。不好的伪影会令图像判读变复杂，且对临床判断分析产生一定的干扰。

[0090] 将图3中由图像直接获得的浅层信息C1与G1输出的较清晰的浅层信息进行相减操作，得到两者之间的距离信息。由于G1是由卷积生成网络根据低噪声的特征因子生成的，因此包含较少的运动伪影、杂波噪声等干扰，通过计算G1与C1之间的空间距离即可得到原始图像的信噪比大小。随后对该距离信息的进行卷积操作以进行特征提取，通过这样的方式，可以更好的判断输入图像中是否存在运动伪影、高噪声点等图像质量问题。

[0091] S105，确定所述样本髋关节超声图像宽度方向的所述样本伪影信息与所述真实伪影信息之差的平方值，记为宽度方向损失值。

[0092] S106，确定所述样本髋关节超声图像长度方向的所述样本伪影信息与所述真实伪影信息之差的平方值，记为长度方向损失值。

[0093] S107，依据所述宽度方向损失值和所述长度方向损失值，确定图像质量损失函数。

[0094] 在一个实施例中，将S105至S107中的图像质量损失函数LQ在添加在图3中的G1处，用于判断G1输出的关于样本髋关节超声图像的伪影信息与真实的伪影信息之间的差异性，将LQ添加在G1处是因为G1输出的图像尺寸与C1的尺寸相同，便于G1和C1相减得到LQ。另外LQ添加在G1处能够提高得到的浅层信息的图像质量，而LQ添加在G1之前或G1之后都不能提高浅层信息的图像质量。

[0095] 在一个实施例中，图像质量损失函数LQ：

[0096]

[0097]

[0098]

[0099] 其中，i,j分别为计算目标的长宽(样本髋关节超声图像的长和宽，即在长度方向的像素点总数量和在宽度方向的像素点总数量)；s,g分别为网络(卷积神经网络)生成的浅l l层信息(样本伪影信息)与无运动伪影的浅层信息(真实伪影信息)，w ,M为固定的权值，用l l
于保证损失函数LQ在合理的范围内收敛，M为一个固定的权值(常数)，M用于保证LQ的收敛性。 为图像I在第l层第(i,j,k)位置的激活项数值，其中i,j,k分别为图像的长、宽、通道； 为图像I在第l层第(i,j,k′)位置的激活项数值，k′为不同于k的通道。 和用不同的通道，可以描述图像不同通道间的相关性，从而判断图像风格G1与输入图像C1之间的相似程度。 为样本髋关节超声图像在长度i和宽度j方向上的样本伪影信息， 为样本髋关节超声图像在长度i和宽度j方向上的真实伪影信息。

[0100] S108，依据所述图像质量损失函数LQ，训练所述全局特征提取模块。

[0101] 当图像质量损失函数LQ大于设定值，就调整全局特征提取模块的各个参数，直至LQ小于设定值，以完成对全局特征提取模块的训练。

[0102] S109，将所述整体样本特征信息输入至所述局部结构特征提取模块的第一正向卷积层，得到所述第一正向卷积层输出的子特征。

[0103] 将整体样本特征信息输入至图3中的第一正向卷积层P3，P3输出子特征。

[0104] S1010，将所述第一正向卷积层输出的子特征与所述卷积层结构的第二卷积层输出的浅层特征进行拼接，得到拼接结果。

[0105] 将P3输出的子特征与图3中的第二卷积层C2输出的浅层特征相加。

[0106] S1011，对所述拼接结果应用卷积计算，得到各个髋关节结构样本特征图。

[0107] 在卷积计算的过程中，整个卷积神经网络可以获得样本髋关节超声图像更多细节信息，以形成各个髋关节结构样本特征图。在一个实施例中，髋关节结构包括髂骨、骨缘点、髂骨下缘点、盂唇、股骨头。

[0108] S1011，确定所述髋关节结构真实特征图与所述髋关节结构样本特征图的比值，记为结构特征图比值。

[0109] S1012，确定所述结构特征图比值的对数值。

[0110] S1013，确定所述结构特征图比值的对数值与所述髋关节结构样本特征图之积，记为乘积结果。

[0111] S1014，依据所述髋关节结构真实特征图与所述乘积结果之差的绝对值，得到髋关节结构损失函数。

[0112] 在一个实施例中，如图4所示，S1011至S1014是基于如下公式确定髋关节结构损失函数Lk(P,Q)：

[0113]

[0114] P(x)为髋关节结构真实特征图，Q(x)为髋关节结构样本特征图， 为结构特征图比值， 为结构特征图比值的对数值。

[0115] S1015，依据所述髋关节结构损失函数，训练所述局部结构特征提取模块。

[0116] S1011至S1014是针对图3中的其中一个髋关节结构对应的局部结构特征，髋关节结构共有髂骨、骨缘点、髂骨下缘点、盂唇、股骨头这五个，因此设计了五个并行的次级网络计算，分别处理所需的五个解剖结构，这样在分别的反向传播过程中，使得各自的网络关注不同的信息区域，从而有利于所有评分的准确性。

[0117] 在另一个实施例中，将髋关节结构损失函数Lk(P,Q)和图像质量损失函数LQ进行加权，以得到整体损失函数Lall，根据整体损失函数Lall调整整个卷积神经网络的参数，完成对卷积神经网络的训练。

[0118]

[0119] 其中，Lk为第k个子损失函数，在此共有6个自损失函数，所以K＝6,Q(x)为神经网络计算得到评分分布，P(x)为对应的目标结果评分分布，qk为各子损失函数的权值。也就是将整体损失函数Lall输入至图2中的质量分析模块中，其输出针对样本髋关节超声图像的评分，在将该评分与基于公式(1)、(2)、(3)、(4)、(5)得到的针对样本髋关节超声图像的真实评分进行比较，根据比较结果调整卷积神经网络的参数，以完成对卷积神经网络的训练。

[0120] 在训练结束后，将停止模型计算过程中的反向传播，即神经网络得到一个髋关节超声图像作为输入后，将通过前向计算，得到一个6*5的矩阵。此时的输出为one‑hot编码格式，通过获得每一行中最大值所在列数，即可得到一个6*1的矩阵，从而得到各解剖结构及运动伪影等6项的评分。

[0121] 通过构建具有很多隐藏层的深度学习模型和大量的训练数据，将超声图像和对应的标注结果输入到神经网络模型中，使得模型可以提取超声图像中的整体及局部结构特征，从而获得图像中的质量评分。由于网络模型参数较大，容易造成网络的过拟合，因此在网络层级中使用了残差网络模块来增加网络的深度，内部使用跳跃链接来防止过深的网络造成的梯度消失问题。最后，在网络中添加dropout操作，使得网路中的每一个神经元都有可能在训练过程中推出计算过程，通过这种方式减少参与每次训练的神经元个数，对于单独的神经元而言，当参与训练过程中时都得到较大的权值，而不对整体训练效果产生干扰，从而减小了网络过拟合的问题，提高了网络的处理多机型图像的泛化能力。同时在回归网络中加入多层次的损失函数，来避免超声图像数据中的结构对回归结果造成的干扰。

[0122] S200，对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息。

[0123] 在一个实施例中，步骤S200包括如下的步骤S201、S202、S203、S204：

[0124] S201，确定构成已训练的所述卷积神经网络的全局特征提取模块、局部结构特征提取模块、质量分析模块。

[0125] 在一个实施例中，卷积神经网络除全局特征提取模块、局部结构特征提取模块、质量分析模块，如图2所示，还包括图像输入模块和结果输出模块。

[0126] S202，将所述被评估髋关节超声图像输入至所述全局特征提取模块，得到所述全局特征提取模块输出的针对所述被评估髋关节超声图像的整体特征信息，所述整体特征信息用于表征所述被评估髋关节超声图像的各个髋关节结构信息和伪影信息。

[0127] 将被评估髋关节超声图像通过图像输入模块输入至全局特征提取模块，全局特征提取模块中由C1、C2、C3、C4、C5组成的卷积层提取出被评估髋关节超声图像的整体特征，其中包含图像中各解剖结构及整体成像质量的信息。

[0128] 全局特征提取模块中由G3、G2、G1组成的反向卷积对整体特征进一步处理，得到被评估髋关节超声图像的伪影信息。

[0129] S203，将所述整体特征信息输入至所述局部结构特征提取模块，得到所述局部结构特征提取模块输出的各个髋关节结构特征图。

[0130] 将步骤S202中的整体特征信息输入至局部结构特征提取模块(整体特征信息先进行反池化操作之后，结果再输入至由正向卷积构成的局部结构特征提取模块)，局部结构特征提取模块提取出被评估髋关节超声图像所包含的各个髋关节结构特征图。

[0131] S204，将所述整体特征信息和各个所述髋关节结构特征图输入至所述质量分析模块，得到所述质量分析模块输出的评估总分值。

[0132] 将步骤S202中的伪影信息和步骤S203的各个髋关节结构特征图输入到质量分析模块，其对伪影信息以及各个髋关节结构特征图分别进行评分。如表1所示，图像越清晰，评分越大；或伪影越少，评分越大；髋关节越清晰，评分也越大。将针对伪影的评分和针对髋关节的评分进行加权计算，得到评估总分值。

[0133] S300，依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度。

[0134] 在一个实施例中，将评估总分值与阈值(24进行比较)，阈值为图4中的髋关节标准切面图像的评分，评估总分值越接近阈值，表明被评估髋关节超声图像越接近标准超声切面图像。

[0135] 综上，本发明将被评估髋关节超声图像输入到卷积神经网络中，卷积神经网络分析被评估髋关节超声图像中的伪影信息和其所包括的各个髋关节结构信息，之后卷积神经网络根据分析结果，输出评估总分值，最后根据评估总分值判断被评估髋关节超声图像是否为标准超声切面图像。从上述分析可知，本发明采用卷积神经网络评估髋关节超声图像是否为标准超声切面图像以减少人工评估的干预，从而提高了评估结果的准确性。另外，采用卷积神经网络也能够提高评估效率。

[0136] 另外，本发明提出了一种通过深度学习的方法，可以对髋关节超声图像中5个解剖结构及整体图像质量进行评分，再根据评分结果判断该超声切面是否是标准超声切面，从而实现对髋关节图像的自动质量控制。该方法从临床技术要求出发，以临床检查标准为基础，规划的细化了各项检查要求，因而具有较高的临床应用价值。通过细化的质量标准，可以严格约束算法的准确性。同时可以获得更为详细的质量评分，自动化的完成质量控制。最后，基于细化的质量标准、优化的神经网络，确保了算法的稳定性与鲁棒性，可以更好的处理更多的临床检查问题，提高临床医生的检查效率，普及婴幼儿髋关节的检查范围。本发明对数据的预处理及数据增强可以提高算法的准确性与鲁棒性，比如在基层、偏于地区受经济或其他因素影响，进行超声检查的机器并不理想，且该部分图像中标准切面较少，因此对数据进行预处理及增强，可以很好解决这些问题。在神经网络模块中，本发明不限制其中的详细网络结构，其中特征提取模块可以使用Inception、SPP、PPM等模块，可以使用其中一种或者综合使用，更好的特征提取模块可以确保其具有较好的信息提取能力。同时，基于细化的结构质量评分机制，对网络进行了适应性构造，将结构特征与整体特征分开来，可以在减少模型资源占用、提高模型效率的同时，确保模型具有较高的准确性。

[0137] 示例性装置

[0138] 本实施例还提供一种基于卷积神经网络的髋关节超声图像质量评估装置，所述装置包括如下组成部分：

[0139] 评分模块，用于对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息；

[0140] 切面评估模块，用于依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度。

[0141] 基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图5所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于卷积神经网络的髋关节超声图像质量评估方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。

[0142] 本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0143] 在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的基于卷积神经网络的髋关节超声图像质量评估程序，处理器执行基于卷积神经网络的髋关节超声图像质量评估程序时，实现如下操作指令：

[0144] 对被评估髋关节超声图像应用已训练的卷积神经网络，得到已训练的所述卷积神经网络输出的评估总分值，所述评估总分值用于表征所述被评估髋关节超声图像中的各个髋关节结构信息和伪影信息；

[0145] 依据所述评估总分值，得到针对所述被评估髋关节超声图像的评估结果，所述评估结果用于表征所述被评估髋关节超声图像接近标准超声切面图像的程度。

[0146] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

[0147] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。