基于多源多尺度特征融合的眼底图像质量评价方法和装置

摘要

本发明公开了一种基于多源多尺度特征融合的眼底图像质量评价方法，包括：步骤1：获取多源域眼底图像，并对多源域眼底图像进行关于亮度、模糊程度、对比程度以及图像的总体质量四个评价维度的标签标注，将眼底图像与标注标签组成训练样本；步骤2：构建眼底图像质量评价网络，包括特征提取模块、融合模块、注意力模块以及评价模块；步骤3：利用训练样本对眼底图像质量评价网络进行训练，获得眼底图像质量评价模型；步骤4：将待测眼底图像输入到眼底图像质量评价模型中，经计算输出质量评价结果。本发明还提供了基于上述方法的眼底图像质量评价装置。通过本发明提供的方法，在考虑多种成像环境的条件下，对眼底图像进行全面客观的评价。

权利要求

1.一种基于多源多尺度特征融合的眼底图像质量评价方法，其特征在于，包括：

步骤1：获取多源域眼底图像包括由普通相机拍摄的普通彩色眼底照、由便携式眼底照相机拍摄的眼底照以及由激光广角相机拍摄的激光广角眼底照，并对多源域眼底图像进行关于亮度、模糊程度、对比程度以及图像的总体质量四个评价维度的标签标注，将眼底图像与标注标签组成训练样本；

步骤2：构建眼底图像质量评价网络，包括特征提取模块、融合模块、注意力模块以及评价模块，所述特征提取模块包括多尺度特征提取器，用于提取眼底图像的多尺度图像特征，所述融合模块用于融合多尺度图像特征得到融合特征，所述注意力模块用于对输入的融合特征进行注意力操作，并将注意力操作结果与输入的融合特征点乘后输入至评价模块，所述评价模块用于对输入的特征进行预测计算，以输出质量评价结果，所述质量评价结果包括亮度评价结果、模糊程度评价结果、对比度评价结果以及图像总体质量评价结果；

步骤3：利用训练样本对眼底图像质量评价网络进行训练，训练结束后，获得眼底图像质量评价模型；

步骤4：将待测眼底图像输入到眼底图像质量评价模型中，经计算输出质量评价结果。

2.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法，其特征在于，所述眼底图像输入眼底图像质量评价网络之前，进行眼底图像的预处理，包括裁剪、缩放以及获取眼部区域掩膜，预处理后的眼底图像输入至眼底图像质量评价网络。

3.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法，其特征在于，所述特征提取模块包括4个尺度的特征提取器，对应输入眼底图像的尺寸分别为原图像分辨率的1/4，1/8，1/16，1/32，每个特征提取器通过输入的眼底图像进行卷积操作，以得到图像特征，特征提取器输出的图像特征维度相同，尺寸相同。

4.根据权利要求3所述的基于多源多尺度特征融合的眼底图像质量评价方法，其特征在于，所述每个特征提取器输出的图像特征经过拼接后输入至融合模块，融合模块采用卷积层，通过对拼接后图像特征进行卷积操作，得到融合特征。

5.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法，其特征在于，所述评价模块为MLP分类器，采用MLP分类器对输入的特征进行预测计算，以输出质量评价结果。

6.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法，其特征在于，训练时，针对每个评价维度，以标注标签与评价结果的交叉熵作为单评价维度的损失函数，综合考虑四个评价维度损失函数更新眼底图像质量评价网络的参数。

7.根据权利要求1所述的基于多源多尺度特征融合的眼底图像质量评价方法，其特征在于，训练时，优化器选用Adam，初始学习率设置为0.001，每20个epoch衰减0.0005倍。

8.一种眼底图像质量评价装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中采用权利要求1‑7 任一项所述的眼底图像质量评价模型；所述计算机处理器执行所述计算机程序时实现以下步骤：将待检测的眼底图像输入至眼底图像质量评价模型中，经计算输出眼底图像质量的评价结果。

说明书

基于多源多尺度特征融合的眼底图像质量评价方法和装置

技术领域

[0001] 本发明属于医学图像处理技术领域，具体涉及一种基于多源多尺度特征融合的眼底图像质量评价方法和装置。

背景技术

[0002] 眼底照相(Fundus photography)是诊断糖尿病视网膜病变、青光眼、与年龄相关的黄斑变性和其他眼病的最重要成像方式。随着人工智能的发展，通过眼底图像进行自动疾病筛查已成为当前研究的热门话题。因此，眼底图像的质量对诊断模型的性能具有重大意义，图像质量评估对于自动化诊断系统非常必要。虽然通过专家手动评价质量是最可靠的方法，但它成本高昂且耗时，使自动诊断系统变得低效而失去意义。

[0003] 由于临床场景的复杂性，临床实践中有多种眼底成像方式，如彩色眼底摄影(Color fundus photography,CFP)、便携式数字眼底摄影(Portable digital fundus photography)和激光广角眼底成像(Ultra‑wide fundus photography,UWF)。彩色眼底摄影是最主要的成像方法，许多人工智能模型都基于彩色眼底照。尽管如此，彩色眼底摄影需要桌面式的成像仪器，从而限制了其在初级卫生保健的应用。便携式数字眼底摄影设备可以手持，因此更适用于低级别的卫生服务中心，尤其是在发展中国家的乡村地区较为实用。但便携式摄像机的图像可能缺乏病变的细节，且通常会出现伪影。激光广角眼底摄影是一项新技术，与标准眼底摄影相比，其单张图像可捕获多达200°的视野，且快速、高效、易于使用，不需要散瞳。激光广角眼底摄影图像也有潜在的预后意义，因为其可以检测外周病变。
然而，该类激光广角眼底摄影机器较为昂贵，其成本效益仍然是一个重要的考虑因素。考虑到上述方法的利弊，作为一个全面的眼底图像质量评价系统，应该能处理以上三种基本图像，以满足各种临床需求。

[0004] 先前的研究已经提出了几种方法来自动评估眼底图像的质量，可以分为基于整体相似性的方法和基于局部结构细分的方法，但仍存在一些问题需要解决。首先，每种质量评估方法的通用性是不确定的。许多研究在单中心数据集上训练他们的模型，忽略了成像设备的类型、眼睛状况和成像环境。其次，目前的图像质量评价方法侧重于局部或整体信息中的一个，但对医生来说这两者同样重要。第三，由于深度学习网络的"黑匣子"特征，最近的运用深度学习评估图像质量的算法不够可解释，而常用的解释方法，如热力图，可能不够有说服力。

发明内容

[0005] 为了解决上述问题，本发明提出了一种基于多源多尺度融合的眼底图像质量评价方法，该方法以人眼视觉系统，采用多个具有代表性的数据源，同时结合空间加权和自加权的眼底图像质量评价网络，对眼底图像进行全面客观的评价。

[0006] 一种基于多源多尺度特征融合的眼底图像质量评价方法，包括：

[0007] 步骤1：获取多源域眼底图像，并对多源域眼底图像进行关于亮度、模糊程度、对比程度以及图像的总体质量四个评价维度的标签标注，将眼底图像与标注标签组成训练样本；

[0008] 步骤2：构建眼底图像质量评价网络，包括特征提取模块、融合模块、注意力模块以及评价模块，所述特征提取模块包括多尺度特征提取器，用于提取眼底图像的多尺度图像特征，所述融合模块用于融合多尺度图像特征得到融合特征，所述注意力模块用于对输入的融合特征进行注意力操作，并将注意力操作结果与输入的融合特征点乘后输入至评价模块，所述评价模块用于对输入的特征进行预测计算，以输出质量评价结果，所述质量评价结果包括亮度评价结果、模糊程度评价结果、对比度评价结果以及图像总体质量评价结果；

[0009] 步骤3：利用训练样本对眼底图像质量评价网络进行训练，训练结束后，获得眼底图像质量评价模型；

[0010] 步骤4：将待测眼底图像输入到眼底图像质量评价模型中，经计算输出质量评价结果。

[0011] 具体的，所述多源域眼底图像包括由普通相机拍摄的普通彩色眼底照、由便携式眼底照相机拍摄的眼底照以及由激光广角相机拍摄的激光广角眼底照，所述多源域眼底图像来自于健康受试者、糖尿病性视网膜病变患者与青光眼患者的就诊数据。

[0012] 优选的，所述眼底图像输入眼底图像质量评价网络之前，进行眼底图像的预处理，包括裁剪、缩放以及获取眼部区域掩膜，预处理后的眼底图像输入至眼底图像质量评价网络，从而提高多尺度特征提取器对眼底图像特征提取的效果。

[0013] 优选的，所述特征提取模块包括4个尺度的特征提取器，对应输入眼底图像的尺寸分别为原图像分辨率的1/4，1/8，1/16，1/32，每个特征提取器通过输入的眼底图像进行卷积操作，以得到图像特征，特征提取器输出的图像特征维度相同，尺寸相同，便于后续的图像拼接与融合。

[0014] 优选的，所述每个特征提取器输出的图像特征经过拼接后输入至融合模块，融合模块采用卷积层，通过对拼接后图像特征进行卷积操作，得到融合特征。

[0015] 优选的，所述评价模块为MLP分类器，采用MLP分类器对输入的特征进行预测计算，以输出质量评价结果。

[0016] 优选的，训练时，针对每个评价维度，以标注标签与评价结果的交叉熵作为单评价维度的损失函数，综合考虑四个评价维度的损失函数更新眼底图像质量评价网络的参数。

[0017] 具体的，训练时，优化器选用Adam，初始学习率设置为0.001，每20个epoch衰减0.0005倍。

[0018] 本发明还提供了一种眼底图像质量评价装置，包括：

[0019] 计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中采用上述的眼底图像质量评价模型；所述计算机处理器执行所述计算机程序时实现以下步骤：将待检测的眼底图像输入至眼底图像质量评价模型中，经计算输出眼底图像质量的评价结果。

[0020] 与现有技术相比，本发明的有益效果：

[0021] (1)本发明提出了多源多尺度特征融合的图像质量评价方法，完成基于多类型眼底照数据库、不同成像设备以及成像环境下对图像质量评价的鲁棒性。

[0022] (2)本发明以人眼视觉系统为基础，输出亮度、模糊程度、对比度以及图像总质量作为评价指标，模仿医生识别眼底图像时的评价思路，从而使得评价结果更加符合实际情况。

附图说明

[0023] 图1为本发明提供的眼底图像质量评价方法的流程示意图；

[0024] 图2为多源异构眼底照数据库的空间散点分布示意图；

[0025] 图3为本发明提供的用于眼底图像质量评价的多源多尺度特征融合的DNN网络总体结构示意图。

具体实施方式

[0026] 为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

[0027] 在一个实施例中，如图1所示，提供了一种基于多源多尺度特征融合的眼底图像质量评价方法，该方法包括以下步骤：

[0028] 步骤1：获取多源域眼底图像，并对多源域眼底图像进行关于亮度、模糊程度、对比度以及图像的总体质量四个评价维度的标签标注，将眼底图像与标注标签组成训练样本；

[0029] 其中，所述多源域眼底图像包括由普通相机拍摄的普通彩色眼底照、由便携式眼底照相机拍摄的眼底照以及由激光广角相机拍摄的激光广角眼底照；

[0030] 普通彩色眼底照由三部分组成：第一部分来自于浙江大学医学院附属医院眼科中，包含医院PACS系统中的187张来自于糖尿病性视网膜病变患者(DR‑CFP)、52张来自青光眼患者(GLU)和26张来自正常受试者(NORMAL)的眼底照片，这些照片均由TRC‑NW8桌面式眼底相拍摄，视野为50°，分辨率为1924*1556；

[0031] 第二部分来自于西安交通大学附属第二医院眼科，包含235张来自糖尿病性视网膜病变患者的眼底图片(DR‑CFP)，由Kowa Nonmyd眼底相机拍摄，视野为45°，分辨率为1924*1556；

[0032] 第三部分来自于公共数据库，分别为DRIMD数据库的216张图片，视野60°，分辨率为570*760以及DRIVE数据库的40张图片，视野45°，分辨率565*584。

[0033] 便携照相机眼底照来自于浙江大学医学院附属第二医院眼科中心，由302张DEC200便携式相机拍摄的正常受试者眼底图像(LOCAL1&COCAL2)组成，视野为60°，分辨率为2560*1960.

[0034] 激光广角眼底照来自于浙江大学医学院附属第二医院眼科中心，由500张Optos激光广角相机拍摄的糖尿病性视网膜病变患者的眼底图像(DR‑UWF)组成，视野为200°，分辨率为1924*1556。

[0035] 如图2所示，将上述所有图片从RGB色彩空间转至Lab色彩空间，其中a通道代表红‑绿对立色强度，正值越高越偏红，负值越高越偏绿，b通道代表黄‑蓝对立色强度，正值越高越偏黄，负值越高越偏蓝；由图2可知，上述图像之间的差异是非常大。

[0036] 对训练样本中的眼底图像进行预处理，包括：1、裁剪待估计图像左右空白区域，使其宽、高相等；2、将裁剪后图像放缩至分辨率512x512；3、通过亮度信息和边缘信息获取眼部区域掩膜(即alpha通道，记为MASK)。

[0037] 步骤2：如图3所示，构建眼底图像质量评价网络，包括特征提取模块、融合模块、注意力模块以及评价模块：

[0038] 特征提取模块包括4个尺度的特征提取器，用于提取眼底图像的多尺度图像特征，对应输入眼底图像尺度分别为原图像分辨的1/4，1/8，1/16，1/32，每个特征提取器通过输入的眼底图像进行卷积操作，以得到图像特征维度相同，尺寸相同的图像特征，并将每个特征提取器输出的图像特征通过拼接后输入至融合模块。

[0039] 融合模块用于融合多尺度图像特征得到融合特征，采用卷积层对拼接后图像特征进行卷积操作，得到具有空间一致性、包含多尺度信息的融合特征，并将融合特征输入至注意力模块。

[0040] 注意力模块用于对输入的融合特征进行注意力操作，并将注意力操作结果与输入的融合特征点乘后输入至评价模块。

[0041] 评价模块采用MLP分类器，用于对注意力模块输入的特征进行预测计算，输出质量评价结果包括亮度评价结果、模糊程度评价结果、对比度评价结果以及图像总体质量评价结果。

[0042] 基于上述4个模块构建的眼底图像质量评价网络，眼底图像质量评价的具体步骤如下：

[0043] 步骤2.1：将原眼底图像尺寸[W,H,3]进行划分：

[0044] 尺度1的特征尺寸为[W/4,H/4,256]；

[0045] 尺度2的特征尺寸为[W/8,H/8,512]；

[0046] 尺度3的特征尺寸为[W/16,H/16,1024]；

[0047] 尺度4的特征尺寸为[W/32,H/32,2048]；

[0048] 步骤2.2：通过4个尺度的特征提取器对各尺度图像进行特征提取；

[0049] 步骤2.3：将尺度1信号的空间信息保留特征提取，在空域上将其不交叠地分割为64个[W/32,H/32,256]的特征块，并将64个特征块在第三维度上依次拼接得到尺寸为[W/
32,H/32,256*64]的特征，利用组别数量为64的分组卷积对得到的特征进行通道信息融合，最终得到尺寸为[W/32,H/32,128]的图像特征，其中该卷积层的卷积核大小为1，步长为1，输入通道数为256*64，输出特征通道数为128，卷积过程中第1～2个通道的输出特征仅和第
1～64个通道的输入特征有关，第3～4个通道的输出特征仅和第65～128个通道的输出特征有关，以此类推；

[0050] 将尺度2信号的空间信息保留特征提取，在空域上将其不交叠地分割为16个[W/32,H/32,512]的特征块，并将16个特征块在第三维度上依次拼接，得到尺寸为[W/32,H/32,
512*16]的特征，利用组别数量为16的分组卷积对得到的特征进行通道信息融合，最终得到尺寸为[W/32,H/32,128]的图像特征，其中该卷积层的卷积核大小为1，步长为1，输入通道数为512*16，输出特征通道数为128，卷积过程中第1～8个通道的输出特征仅和第1～512个通道的输入特征有关，第9～16个通道的输出特征仅和第513～1024个通道的输出特征有关，以此类推；

[0051] 将尺度3信号的空间信息保留特征提取，在空域上将其不交叠地分割为4个[W/32,H/32,1024]的特征块，并将4个特征块在第三维度上依次拼接，得到尺寸为[W/32,H/32,1024*4]的特征，利用组别数量为4的分组卷积对得到的特征进行通道信息融合，最终得到尺寸为[W/32,H/32,128]的图像特征，其中该卷积层的卷积核大小为1，步长为1，输入通道数为1024*4，输出特征通道数为128，卷积过程中第1～32个通道的输出特征仅和第1～1024个通道的输入特征有关，第33～64个通道的输出特征仅和第1025～2048个通道的输出特征有关，以此类推；

[0052] 步骤2.4：将尺度4信号的空间信息保留特征提取，利用1x1的卷积层对大小为[W/32,H/32,2048]的尺度4信号进行提取，得到尺寸为[W/32,H/32,128]的特征信号；其中该卷积层输入通道2048，输出通道128；

[0053] 步骤2.5：将步骤2.3与步骤2.4获得图像特征在第三维度进行拼接，得到具有空间一致性、包含多尺度信息的融合特征，其中特征尺寸为[W/32,H/32,512]；

[0054] 步骤2.6：基于上述特征尺寸为[W/32,H/32,512]的融合特征，放入输入通道数为512，输出通道数为2048，卷积核大小为3，步长为1的卷积层，通过分组卷积的方式控制其第
1～4个输出通道仅和第1输入通道信号决定，第5～8个输出通道仅和第2输入通道信号决定，以此类推，输出特征尺寸为[W/32,H/32,2048]的融合特征；

[0055] 步骤2.7：基于步骤2.6的输出结果，放入输入通道数为2048，输出通道数为2048，卷积核大小为3，步长为1的卷积层，通过分组卷积的方式控制其第1个输出通道仅和第1输入通道信号决定，第2个输出通道仅和第2输入通道信号决定，以此类推，输出特征尺寸为[W/32,H/32,2048]的融合特征；

[0056] 步骤2.8：基于步骤2.7的输出结果，放入输入通道数为2048，输出通道数为512，卷积核大小为3，步长为1的卷积层，通过分组卷积的方式控制其第1个输出通道仅和第1～4输入通道信号决定，第2个输出通道仅和第5～8输入通道信号决定，以此类推，最终输出各空间位置权重信息；

[0057] 步骤2.9：基于步骤2.5与步骤2.8，将融合特征与其对应的空间位置权重信息逐点相乘，并对各通道取平局值，得到维度为512的特征向量。

[0058] 步骤2.10：将步骤2.9获得的特征向量放入维度为512‑128‑1的全连接层，通过Sigmoid激活函数将结果映射到0与1之间，具体的预测图像质量公式如下：

[0059]

[0060] 其中，X为输入图像，f(X；θ)为多尺度特征提取器，att(·；γ)为注意力模块，g(·；δ)为评价模块；

[0061] 由于亮度评价结果，模糊程度评价结果、对比度评价结果以及图像总质量评价结果的输出值均为二元值，因此当输出结果 大于等于阈值0.5时图像质量好，反之则图像质量不好。

[0062] 步骤3：利用训练样本对眼底图像质量评价网络进行训练，训练结束后，获得眼底图像质量评价模型：

[0063] 训练时，针对每个评价维度，以标注标签与评价结果的交叉熵作为单评价维度的损失函数，综合考虑四个评价维度的损失函数更新眼底图像质量评价网路的参数，其中，优化器选用Adam，初始学习率设置为0.001，每20个epoch衰减0.0005。

[0064] 步骤4：将待测眼底图像输入到眼底图像质量评价模型中，经计算输出值质量进行评价。

[0065] 根据本实施例的眼底图像质量评价模型，还提供了一种眼底图像质量评价装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机处理器执行所述计算机程序时实现以下步骤：将待检测的眼底图像输入至眼底图像质量评价模型中，经计算输出眼底图像质量的评价结果。

[0066] 在测试中，本方法使用了多源域眼底照数据集，包括由普通相机拍摄的普通眼底照756张，由便携式眼底照相机拍摄眼底照202张，由激光广角相机拍摄的激光广角眼底照500张，其评价效果在亮度、模糊程度、对比度三个维度的准确性都超过92％，AUC均大于
0.95，为人工智能辅助诊断的前置性工作提供了巨大的帮助，具有临床应用推广的潜力。