用于对眼底疾病的演进进行预测的装置、方法和存储介质

摘要

本申请公开了一种用于对眼底疾病的演进进行预测的装置、方法和存储介质。所述装置包括：处理器；以及存储器，其存储有用于对眼底疾病的演进进行预测的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：获取至少包含待预测的患者的眼底图像和多模态信息的数据集；基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。利用本申请的方案，可以获得准确的对眼底疾病的演进进行预测的预测结果。

权利要求

1. 一种用于对眼底疾病的演进进行预测的装置，其特征在于，包括：处理器；以及

存储器，其存储有用于对眼底疾病的演进进行预测的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：获取至少包含待预测的患者的眼底图像和多模态信息的数据集；

基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；

对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；其中，使用训练好的嵌入模型的编码器获取所述各阶段的子数据集中的眼底图像的嵌入向量；

根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测，其中计算所述演进阶段中的群体方向向量包括：

根据所述对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵；

基于所述当前阶段的聚类演进至所述下一阶段的聚类的子方向向量的加权和确定所述群体方向向量，其中所述迁移概率矩阵为加权系数，所述当前阶段的聚类演进至所述下一阶段的聚类的子方向向量为下一阶段的聚类和当前阶段的聚类各自的中心嵌入向量的差值。

2.根据权利要求1所述的装置，其特征在于，所述多模态信息包括所述患者的基础信息、生化指标信息或者疾病史信息中的一种或者多种，其中所述基础信息包括年龄、性别、教育或者职业中的一种或者多种；所述生化指标信息包括肝功能、肾功能或者血脂类中的一种或者多种；所述疾病史信息包括基础疾病信息、药史信息或者家族疾病史信息中的一种或者多种。

3.根据权利要求1所述的装置，其特征在于，所述演进阶段至少包括时间维度或者病程维度。

4. 根据权利要求2所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段对应的聚类结果：将所述各阶段的子数据集中的眼底图像和多模态信息进行合并，以获得各阶段的合并数据；以及使用训练完成的模型对所述各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。

5. 根据权利要求4所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段的合并数据：分别对所述嵌入向量和所述各阶段的子数据集中的多模态信息执行归一化操作，以获得各自的归一化结果；以及将所述各自的归一化结果进行合并，以获得各阶段的合并数据。

6. 根据权利要求5所述的装置，其特征在于，所述训练完成的模型包括特征提取子模型和聚类子模型，并且当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段对应的聚类结果：使用所述特征提取子模型对所述各阶段的合并数据执行特征提取操作，以获得对应的特征并各自形成统一表示的特征空间；以及使用所述聚类子模型在所述各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。

7. 根据权利要求1所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的子方向向量：根据所述对应的聚类结果计算各阶段的聚类中眼底图像的嵌入向量的平均值，以获得各聚类的中心嵌入向量；以及基于所述下一阶段的聚类和所述当前阶段的聚类各自的中心嵌入向量的差值确定所述当前阶段的聚类演进至所述下一阶段的聚类的子方向向量。

8.根据权利要求1所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵：根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至下一阶段的样本总集合；

根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至所述下一阶段的各聚类的样本子集合；以及基于所述样本子集合和所述样本总集合的比值确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵。

9.根据权利要求1所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作：设置修正概率，并且使用所述修正概率对所述迁移概率矩阵进行修正。

10. 根据权利要求9所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作生成所述待预测的患者的预测眼底图像：基于所述群体方向向量确定所述患者在下一阶段的眼底图像的嵌入向量；以及基于所述下一阶段的眼底图像的嵌入向量，使用生成网络生成所述待预测的患者的预测眼底图像。

11. 根据权利要求10所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定所述患者在下一阶段的眼底图像的嵌入向量：响应于所述患者在数据库中无记录，将所述当前阶段的眼底图像的嵌入向量和所述群体方向向量之和确定为所述下一阶段的眼底图像的嵌入向量；或者响应于所述患者在数据库中有历史记录，基于所述患者的历史记录设置个体历史趋势贡献和群体趋势贡献，将所述当前阶段的眼底图像的嵌入向量、所述个体历史趋势贡献和所述群体趋势贡献之和确定为所述患者在下一阶段的眼底图像的嵌入向量。

12.根据权利要求11所述的装置，其特征在于，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作设置个体历史趋势贡献和群体趋势贡献：基于所述历史记录确定演进至所述当前阶段的方向向量的加权平均值；

设置个体趋势动量和群体趋势动量；

将所述个体趋势动量和所述加权平均值的乘积设置为所述个体历史趋势贡献；以及将所述群体趋势动量和所述群体方向向量的乘积设置为所述群体趋势贡献。

13.一种计算机可读存储介质，其上存储有用于对眼底疾病的演进进行预测的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现如下方法：获取至少包含待预测的患者的眼底图像和多模态信息的数据集；

基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；

对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；其中，使用训练好的嵌入模型的编码器获取所述各阶段的子数据集中的眼底图像的嵌入向量；

根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测；

其中计算所述演进阶段中的群体方向向量包括：

根据所述对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵；

基于所述当前阶段的聚类演进至所述下一阶段的聚类的子方向向量的加权和确定所述群体方向向量，其中所述迁移概率矩阵为加权系数，所述当前阶段的聚类演进至所述下一阶段的聚类的子方向向量为下一阶段的聚类和当前阶段的聚类各自的中心嵌入向量的差值。

说明书

用于对眼底疾病的演进进行预测的装置、方法和存储介质

技术领域

[0001] 本申请一般涉及疾病演进预测技术领域。更具体地，本申请涉及一种用于对眼底疾病的演进进行预测的装置、方法和计算机可读存储介质。

背景技术

[0002] 在医疗人工智能应用中，最基础功能的是识别疾病，包括预测患者患病的可能性及风险。其中，更有价值的是让患者或者医护人员了解疾病的演进或者让患者或者医护人员了解采取了干预措施或治疗手段后疾病演进的趋势是否会发生变化，以便医护人员辅助患者或者促进患者更有效地管理和改善健康状况。目前预测疾病演进的方式，是通过将全人群作为整体来计算其演进方向，忽略了患者各阶段的演进变化，从而使得预测结果不准确。

发明内容

[0003] 为了至少部分地解决背景技术中提到的技术问题，本申请提供了对眼底疾病的演进进行预测的方案。利用本申请的方案，可以更准确地预测眼底疾病的演进。为此，本申请在如下的多个方面提供解决方案。

[0004] 在第一方面中，本申请提供一种用于对眼底疾病的演进进行预测的装置，包括：处理器；以及存储器，其存储有用于对眼底疾病的演进进行预测的程序指令，当所述程序指令由所述处理器执行时，使得所述装置执行以下操作：获取至少包含待预测的患者的眼底图像和多模态信息的数据集；基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。

[0005] 在一个实施例中，其中所述多模态信息包括所述患者的基础信息、生化指标信息或者疾病史信息中的一种或者多种，其中所述基础信息包括年龄、性别、教育或者职业中的一种或者多种；所述生化指标包括肝功能、肾功能或者血脂类中的一种或者多种；所述疾病史信息包括基础疾病信息、药史信息或者家族疾病史信息中的一种或者多种。

[0006] 在另一个实施例中，其中所述演进阶段至少包括时间维度或者病程维度。

[0007] 在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段对应的聚类结果：将所述各阶段的子数据集中的眼底图像和多模态信息进行合并，以获得各阶段的合并数据；以及使用训练完成的模型对所述各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。

[0008] 在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段的合并数据：使用训练好的嵌入模型获取所述各阶段的子数据集中的眼底图像的嵌入向量；分别对所述嵌入向量和所述各阶段的子数据集中的多模态信息执行归一化操作，以获得各自的归一化结果；以及将所述各自的归一化结果进行合并，以获得各阶段的合并数据。

[0009] 在又一个实施例中，其中所述训练完成的模型包括特征提取子模型和聚类子模型，并且当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作获得各阶段对应的聚类结果：使用所述特征提取子模型对所述各阶段的合并数据执行特征提取操作，以获得对应的特征并各自形成统一表示的特征空间；以及使用所述聚类子模型在所述各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。

[0010] 在又一个实施例中，其中当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作计算所述演进阶段中的群体方向向量：根据所述对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵；以及基于所述子方向向量和所述迁移概率矩阵计算所述演进阶段中的群体方向向量。

[0011] 在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的子方向向量：根据所述对应的聚类结果计算各阶段的聚类中眼底图像的嵌入向量的平均值，以获得各聚类的中心嵌入向量；以及基于所述下一阶段的聚类和所述当前阶段的聚类各自的中心嵌入向量的差值确定所述当前阶段的聚类演进至所述下一阶段的聚类的子方向向量。

[0012] 在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵：根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至下一阶段的样本总集合；根据所述对应的聚类结果确定属于所述当前阶段的聚类的样本迁移至所述下一阶段的各聚类的样本子集合；以及基于所述样本子集合和所述样本总集合的比值确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵。

[0013] 在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作：设置修正概率，并且使用所述修正概率对所述迁移概率矩阵进行修正。

[0014] 在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作生成所述待预测的患者的预测眼底图像：基于所述迁移概率矩阵确定所述患者在下一阶段的眼底图像的嵌入向量；以及基于所述下一阶段的眼底图像的嵌入向量，使用生成网络生成所述待预测的患者的预测眼底图像。

[0015] 在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作确定所述患者在下一阶段的眼底图像的嵌入向量：响应于所述患者在数据库中无记录，将所述当前阶段的眼底图像的嵌入向量和所述群体方向向量之和确定为所述下一阶段的眼底图像的嵌入向量；或者响应于所述患者在数据库中有历史记录，基于所述患者的历史记录设置个体历史趋势贡献和群体趋势贡献，将所述当前阶段的眼底图像的嵌入向量、所述个体历史趋势贡献和所述群体趋势贡献之和确定为所述患者在下一阶段的眼底图像的嵌入向量。

[0016] 在又一个实施例中，当所述程序指令由所述处理器进一步执行时，使得所述装置执行以下操作设置个体历史趋势贡献和群体趋势贡献：基于所述历史记录确定演进至所述当前阶段的方向向量的加权平均值；设置个体趋势动量和群体趋势动量；将所述个体趋势动量和所述加权平均值的乘积设置为所述个体历史趋势贡献；以及将所述群体趋势动量和所述群体方向向量的乘积设置为所述群体趋势贡献。

[0017] 在第二方面中，本申请还提供一种用于对眼底疾病的演进进行预测的方法，包括：获取至少包含待预测的患者的眼底图像和多模态信息的数据集；基于演进阶段对所述数据集进行划分，以获得各阶段的子数据集；对所述各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果；根据所述对应的聚类结果计算所述演进阶段中的群体方向向量；以及基于所述群体方向向量生成所述待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。

[0018] 在第三方面中，本申请还提供一种计算机可读存储介质，其上存储有用于对眼底疾病的演进进行预测的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第二方面中的实施例。

[0019] 通过本申请的上述方案，通过将待进行预测的患者的眼底图像和多模态信息的数据集根据演进阶段进行划分并且聚类，以获得各阶段的聚类结果。接着，通过各阶段的聚类结果获取演进阶段中的群体方向向量，进而获得预测眼底图像。基于此，可以获取各阶段下的演进变化，并且通过聚类的方法获得与待进行预测的患者相似的类，将该类的迁移概率矩阵作为演进的依据，以获得准确的预测眼底疾病的演进的预测结果。进一步地，本申请实施例生成演进后的预测眼底图像，以便为患者和医护工作者提供直观的、可视化的参考。此外，本申请实施例还将有历史记录的患者的个体趋势与群体趋势相结合，以获得更精确的预测眼底疾病的演进的预测结果。

附图说明

[0020] 通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

[0021] 图1是示出根据本申请实施例的用于对眼底疾病的演进进行预测的装置的示例性结构框图；

[0022] 图2是示出根据本申请实施例的嵌入模型的示例性示意图；

[0023] 图3是示出根据本申请实施例的特征提取子模型的示例性示意图；

[0024] 图4是示出根据本申请实施例的两个聚类结果的方向向量的示例性示意图；

[0025] 图5是示出根据本申请实施例的各阶段的聚类结果的示例性示意图；

[0026] 图6是示出根据本申请实施例的使用生成网络模型生成预测眼底图像的示例性示意图；

[0027] 图7是示出根据本申请实施例的预测眼底豹纹密度演进的预测眼底图像；

[0028] 图8是示出根据本申请实施例的用于对眼底疾病的演进进行预测的方法的示例性流程框图；以及

[0029] 图9是示出根据本申请实施例的用于对眼底疾病的演进进行预测的设备的示例性结构框图。

具体实施方式

[0030] 下面将结合附图对本申请实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本申请为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本申请的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0031] 图1是示出根据本申请实施例的用于对眼底疾病的演进进行预测的装置100的示例性结构框图。如图1中所示，该装置100可以包括处理器101和存储器102。其中，前述处理器101可以包括例如通用处理器(“CPU”)或专用图形处理器(“GPU”)，前述存储器102中存储有可在所述处理器上执行的程序指令。在一些实施例中，前述存储器102可以包括但不仅限于阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic Random Access Memory）、静态随机存取存储器SRAM（Static Random‑Access Memory）、增强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）。

[0032] 进一步地，上述存储器102存储有用于对眼底疾病的演进进行预测的程序指令，当程序指令由处理器执行时，使得装置100执行以下操作：获取至少包含待预测的患者的眼底图像和多模态信息的数据集，基于演进阶段对数据集进行划分，以获得各阶段的子数据集。接着，对各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果，根据对应的聚类结果计算演进阶段中的群体方向向量，以基于群体方向向量生成待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。

[0033] 在一个实施例中，上述患者的眼底图像可以通过例如眼底相机拍摄获得，上述多模态信息可以从医疗数据库中获得。其中，前述多模态信息可以包括患者的基础信息、生化指标信息或者疾病史信息中的一种或者多种。其中，基础信息可以包括但不仅限于是年龄、性别、教育或者职业中的一种或者多种，例如还可以包括患者的婚姻状况等。生化指标可以包括但不仅限于是肝功能、肾功能或者血脂类中的一种或者多种，而疾病史信息可以包括但不仅限于是基础疾病信息、药史信息或者家族疾病史信息中的一种或者多种。此外，还可以从医疗数据库中获得患者的身份标识信息和检查时间戳信息，以形成数据集。在实现场景中，可以采用元组描述前述数据集，例如 ，其中id表示患者唯一身份标识，m表示患者的眼底图像，X表示患者的多模态信息，ts表示检查时间戳。

[0034] 在获得上述数据集后，装置100进一步可以基于演进阶段对数据集进行划分，以获得各阶段的子数据集。在一个实施例中，前述演进阶段可以包括但不仅限于是时间维度或者病程维度。其中，前述时间维度可以基于患者的年龄或者患者做检查的时间间隔设置的。在一些实施例中，前述患者的年龄可以通过患者的生日确定，也可以通过检查时间戳计算患者做检查时的年龄。前述病程维度例如是病程的严重性等级。在实现场景中，基于时间维度或者病程维度可以获得各阶段的子数据集。例如以时间维度为例，假设时间的总刻度为T，则根据时间维度对数据集进行划分，可以将数据集划分为若干子数据集
，并且每组的子数据集的元组可以描述为 。其中， 表示阶段t患者的眼
底图像， 表示阶段t患者的多模态数据。

[0035] 基于划分后的各阶段的子数据集，装置100进一步对各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果。在一个实施例中，首先可以将各阶段的子数据集中的眼底图像和多模态信息进行合并，以获得各阶段的合并数据，接着使用训练完成的模型对各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。其中，在获取各阶段的合并数据时，可以使用训练好的嵌入模型获取各阶段的子数据集中的眼底图像的嵌入向量，接着分别对嵌入向量和各阶段的子数据集中的多模态信息执行归一化操作，以获得各自的归一化结果，通过将各自的归一化结果进行合并，以获得各阶段的合并数据。其中，前述嵌入模型可以例如是Pixel2Style2Pixel网络（数学符号记为ME）模型，通过将眼底图像输入至训练好的Pixel2Style2Pixel网络模型中，可以输出眼底图像的嵌入向量。在获得眼底图像的嵌入向量后，分别对嵌入向量和多模态信息执行归一化操作，以获得对应的归一化结果。

[0036] 具体地，在一个实施例中，可以通过如下式子来对嵌入向量执行归一化操作，即：

[0037]   （1）

[0038] 其中， 表示嵌入向量对应的归一化结果， 表示所有眼底图像的嵌入向量，表示所有嵌入向量的集合，mean和std分别表示计算集合的均值和方差。在一些实施例中，由于存在标准差极微小的异常情况，由此可以在分母加上缺省值 做修正，并且该缺省值可以约为1e‑7。

[0039] 在对上述多模态信息执行归一化操作时，可以根据多模态信息的数据类型分别进行归一化操作，以获得归一化结果。在应用场景中，多模态信息的数据类型可以分为类别数据或者实数值的数据。其中，对于类别数据而言，可以按照one‑hot encoding的方式执行归一化操作。例如，假设特征x一共有C个类别，x属于某单类或同时属于多个类别，可以将x转换为C维的特征向量，其属于某个类别对应下标的元素为1，其它均为0。由此，可以获得针对类别数据的归一化结果，其对应的数学表示式为 。以患者的教育程度为例，教育程度可以划分为初中、高中、大学等，当患者为初中教育时，其归一化结果可对应为（1,0,…,0）。相应地，当教育程度为高中或者大学时，其归一化结果可分别对应为（0,
1,…,0）或者（0,0,1,…,0）。

[0040] 对于实数值的数据来说，可以通过如下式子来执行归一化操作，即：

[0041]   （2）

[0042] 其中， 表示实数值的数据的归一化结果， 表示单个特征， 表示特征 对应的所有值构成的集合，mean和std分别表示计算集合的均值和方差。类似地，可以在分母加上缺省值 做修正，并且该缺省值可以约为1e‑7。例如对于患者的年龄（例如18，25，30，25）而言，可以采用上述公式（2）来执行归一化操作。

[0043] 基于上述各阶段的嵌入向量和多模态信息各自对应的归一化结果，可以将其各自对应的归一化结果进行合并，以获得各阶段的合并数据，例如通过如下式子表示合并数据：

[0044]   （3）

[0045] 其中， 表示合并数据， 表示嵌入向量对应的归一化结果， 表示多模态信息对应的归一化结果， ， 表示眼底图像的嵌入向量的维
数， 表示多模态信息的维数。在该场景下，眼底图像和多模态信息合并后的合并数据为维。

[0046] 在一些实施例中，响应于对应的归一化结果之间的维度差异，对合并数据增加维度惩罚因子。可以理解，嵌入向量和多模态信息的维数的维度差异过大（例如嵌入向量为512维，而多模态信息为18维），会导致某部分特征的贡献过大，从而影响模型的训练结果。
由此，在本申请实施例中，可以通过对合并数据增加维度惩罚因子来避免前述问题。具体地，通过将嵌入向量和多模态信息对应的归一化结果除以其维度的平方根来增加维度惩罚因子，例如如下式子表示：

[0047]   （4）

[0048] 其中， 表示合并数据， 表示嵌入向量对应的归一化结果， 表示多模态信息对应的归一化结果， 表示眼底图像的嵌入向量的维数， 表示多模态信息的维数。

[0049] 在获得上述各阶段的合并数据后，可以使用训练完成的模型对各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。在一个实施例中，上述训练完成的模型可以包括特征提取子模型和聚类子模型，通过使用特征提取子模型对各阶段的合并数据执行特征提取操作，以获得对应的特征并各自形成统一表示的特征空间，接着使用聚类子模型在各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。

[0050] 在一个实施场景中，上述特征提取子模型可以例如是栈式降噪自编码器（Stacked Denoising Autoencoder，“SDAE”）模型，该SDAE模型可以括编码器和解码器，并且编码器和解码器均包含多层。经训练完成的SDAE模型，通过将各阶段的合并数据输入至前述SDAE模型，经其编码器可以获取各阶段的合并数据的特征，并形成统一表示的特征空间。可以理解，经训练完成的聚类子模型可以获得最优的聚类质点（或者说聚类中心），由此在前述特征空间下，使用经训练完成的聚类子模型进行聚类，能够获得各阶段对应的聚类结果。例如，假设阶段t最优的聚类类别记为 ，则其各个阶段对应的聚类结果可以表示如下：

[0051]

[0052] 接着，装置100进一步根据对应的聚类结果计算演进阶段中的群体方向向量。在一个实施例中，首先根据对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵，以基于子方向向量和迁移概率矩阵计算演进阶段中的群体方向向量。可以理解，经上述对各阶段的数据进行聚类后，其在每个阶段会存在多个相似的类（即多个聚类），即每个阶段对应有多个子聚类，并且其每个聚类演进至下一阶段的多个聚类时会存在多个子方向向量。由此，前述群体方向向量为当前阶段的各聚类演进至下一阶段的各聚类的多个子方向向量的加权和，其中迁移概率矩阵为加权系数。

[0053] 在实现场景中，可以根据对应的聚类结果计算各阶段的聚类中眼底图像的嵌入向量的平均值，以获得各聚类的中心嵌入向量，接着基于下一阶段的聚类和当前阶段的聚类各自的中心嵌入向量的差值确定当前阶段的聚类演进至下一阶段的聚类的子方向向量。在一个示例性场景中，各阶段的各聚类中眼底图像的嵌入向量的平均值记为：

[0054]

[0055] 基于各平均值获得各聚类的中心嵌入向量 ，假设将当前阶段i的各聚类的中心嵌入向量记为 ，下一阶段j的各聚类的中心嵌入向量记为 ,则可以获得前阶段的各聚类演进至下一阶段的各聚类的子方向向量 。

[0056] 在一个实施例中，还可以根据对应的聚类结果确定属于当前阶段的聚类的样本迁移至下一阶段的样本总集合，接着根据对应的聚类结果确定属于当前阶段的聚类的样本迁移至下一阶段的各聚类的样本子集合，进而基于样本子集合和样本总集合的比值确定当前阶段的聚类演进至下一阶段的聚类的迁移概率矩阵。也就是说，对于当前阶段中属于一个类的患者，在下一阶段也进行了检查（或者复诊），则这部分患者构成样本总集合。进一步地，这部分患者会迁移到下一阶段的各聚类中（或者说分散至下一阶段的各个聚类中），每个聚类中的包含的患者构成样本子集合。通过计算相应样本子集合的样本数与样本总集合的总样本数的比值，可以获得当前阶段的各聚类演进至下一阶段的各聚类的迁移概率矩阵。

[0057] 例如，假设当前阶段t属于聚类 中的患者，在下一阶段t+1也进行了检查，并且将这部分患者集合记为 。接着，此集合会迁移到下一阶段t+1的各个聚类 中，并将各聚类对应的患者集合记为 ，则：

[0058]

[0059] 由此，当前阶段t的各聚类演进至下一阶段t+1的各聚类的迁移概率矩阵 可以通过如下式子表示：

[0060]   （5）

[0061] 其中， 表示集合中元素的个数（也即样本数）。在一些实施例中，还可以通过设置修正概率，并且使用修正概率对迁移概率矩阵进行修正。这是由于考虑到并非每个都存在迁移的患者，也即存在 。因此，为了避免统计偏差，本申请实施例提出设置一个修正概率，并将其平均分配至下一阶段的各聚类，以对迁移概率矩阵进行修正。作为示例，假定义设修正概率（例如0.05），则修正后的迁移概率矩阵为：

[0062]   （6）

[0063] 根据上述获得的子方向向量和迁移概率矩阵，可以获得群体方向向量。稍后将结合图5详细描述前述迁移概率矩阵的计算。在一个实施例中，假设群体方向向量记为，则其可以通过如下公式表示：

[0064]   （7）

[0065] 进一步地，装置100进一步基于群体方向向量生成待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。在一个实施例中，首先可以基于群体方向向量确定患者在下一阶段的眼底图像的嵌入向量，接着基于下一阶段的眼底图像的嵌入向量，使用生成网络生成待预测的患者的预测眼底图像。具体地，响应于患者在数据库中无记录，将当前阶段的眼底图像的嵌入向量和群体方向向量之和确定为下一阶段的眼底图像的嵌入向量；或者响应于患者在数据库中有历史记录，基于患者的历史记录设置个体历史趋势贡献和群体趋势贡献，将当前阶段的眼底图像的嵌入向量、个体历史趋势贡献和群体趋势贡献之和确定为患者在下一阶段的眼底图像的嵌入向量。更为具体地，首先可以基于历史记录确定演进至当前阶段的方向向量的加权平均值，接着设置个体趋势动量和群体趋势动量，进而将个体趋势动量和加权平均值的乘积设置为个体历史趋势贡献，以及将群体趋势动量和群体方向向量的乘积设置为群体趋势贡献。

[0066] 换言之，在确定患者的下一阶段的嵌入向量时，首先判断该患者是否有历史检查数据。当该患者首次检查，即无历史检查数据时，其下一阶段的嵌入向量为当前阶段的眼底图像的嵌入向量和群体方向向量之和。当该患者有历史检查数据时，其可以形成其个体的演进趋势，由此还需考虑其历史记录中各阶段的演进的方向向量。即，通过联合该患者的个体趋势和群体趋势来对眼底疾病的演进进行预测，其下一阶段的嵌入向量为当前阶段的眼底图像的嵌入向量、个体历史趋势贡献以及群体趋势贡献之和。

[0067] 在一个示例性场景中，假设当前阶段的眼底图像的嵌入向量记为 ，对于患者在数据库中无记录的情形，其下一阶段的嵌入向量 表示成如下式子：

[0068]   （8）

[0069] 其中， 表示群体方向向量，可以经由上述公式（7）获得。

[0070] 对于患者在数据库中有记录的情形，假设当前阶段的眼底图像的嵌入向量记为，对于患者在数据库中无记录的情形，其下一阶段的嵌入向量 表示成如下式子：

[0071]     （9）

[0072] 其中， 表示当前阶段t与历史记录中按一定时间间隔对应的方向向量的加权平均形成的个体历史趋势贡献， 表示群体方向向量的加权平
均形成的群体趋势贡献， 表示患者历史记录中的眼底图像的嵌入向量，表示个体趋势动量， 表示群体趋势动量。优先地，可以为0.7。

[0073] 基于上述获得的下一阶段的眼底图像的嵌入向量，可以使用生成网络生成待预测的患者的预测眼底图像。在应用场景中，该生成网络可以例如是训练完成的生成对抗网络（Generative Adversarial Network，“GAN”），该GAN网络可以包括映射网络（Mapping Network，简写为“MP”）和生成器（“Generator”，简写为“MG”）。其中，前述映射网络可以将高维空间中的随机点映射成风格空间，以得到风格编码，该风格编码经由前述生成器可以生成眼底图像。例如，假设患者的预测眼底图像记为 ，则可以表示成如下式子：

[0074]   （10）

[0075] 结合上述描述可知，本申请实施例通过基于演进阶段将包含患者的眼底图像和多模态信息的数据集划分为若干组并对每一组分别进行聚类。基于聚类结果找出相似的一类中的患者在不同阶段的数据，计算当前阶段的每个类演进到下一阶段的群体方向向量，以获取下一阶段的眼底图像的嵌入向量，并且通过将下一阶段的眼底图像的嵌入向量输入生成网络中，以获得预测眼底疾病的演进的预测结果。基于本申请实施例，可以获取各阶段的演进方向，从而获得准确的预测眼底疾病的演进的预测结果，并且通过生成的预测图像，可以为患者和医护工作者提供直观的、可视化的参考。进一步地，本申请实施例还考虑了患者的个体趋势，通过联合个体趋势与群体趋势进行预测，能够获得更精确的预测眼底疾病的演进的预测结果。

[0076] 图2是示出根据本申请实施例的嵌入模型200的示例性示意图。如前所述，该嵌入模型200可以例如是Pixel2Style2Pixel网络模型。如图2中所示，该Pixel2Style2Pixel网络模型（也即ME模型）200可以包括编码器201和生成器（例如生成器MG）202，其中编码器201可以包括残差模块203和map2style模块204，生成器202可以是styleGAN网络。在应用场景中，当将图像输入至Pixel2Style2Pixel网络模型200后，首先经编码器201中的残差模块203提取图像中的特征，接着经map2style模块204对前述特征进行编码后获得图像的嵌入向量。图中进一步示出，前述提取的嵌入向量可以输入至生成器202，经生成器202中的多级结构由粗到细逐渐生成逼真的图像，以获得重建图像。在本申请实施例中，前述图像m为眼底图像，通过Pixel2Style2Pixel网络模型中的编码器可以获得眼底图像的嵌入向量 。

[0077] 根据前文知，在获得上述眼底图像的嵌入向量后，可以基于上述公式（1）对其执行归一化操作获得对应的归一化结果。进一步地，还可以基于 或者上述公式（2）对患者的多模态信息执行归一化操作获得对应的归一化结果，通过将其各自对应的归一化结果进行合并，进而获得各阶段的合并数据（例如上述公式（3）所示）。其中，关于获得合并数据的更多细节，可以参考上述图1的描述，本申请在此不再赘述。进一步地，基于各阶段的合并数据，使用训练完成的特征提取子模型（例如SDAE模型）对各阶段的合并数据执行特征提取操作，以获得对应的特征并各自形成统一表示的特征空间，并且使用聚类子模型在各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。

[0078] 图3是示出根据本申请实施例的特征提取子模型300的示例性示意图。在一个实施例中，该特征提取子模型300可以例如是SDAE模型。如图3中所示，该SDAE模型300可以包括编码器301和解码器302，并且编码器301和解码器302均包含多层。在实现场景中，其原始输入数据 经由编码器301的非线性变换，得到多个隐含层303的表示(也称为隐含编码)，接着前述表示（隐含编码）再经由解码器302可以重构出与原始输入数据相似的输出数据 。在本申请实施例中，可以使用训练完成的SDAE模型中的编码器对各阶段的合并数据进行编码获得对应的特征，并形成统一表示的特征空间 。基于该特征空间，使用训练完成的聚类子模型对各阶段的合并数据进行聚类，从而获得各阶段对应的聚类结果。

[0079] 根据各阶段对应的聚类结果，可以计算当前阶段的各聚类演进至下一阶段的各聚类的子方向向量和迁移概率矩阵，进而获得演进阶段中的群体方向向量。其中，前述当前阶段的聚类演进至下一阶段的聚类的子方向向量为下一阶段的聚类和当前阶段的聚类各自的中心嵌入向量的差值。前述迁移概率矩阵为当前阶段中属于一个类的患者也在下一阶段进行检查的患者迁移至下一阶段各聚类的样本数与当前阶段中属于一个类的患者也在下一阶段进行检查的样本总数的比值。下面将结合图4‑图5详细描述前述子方向向量和迁移概率矩阵。

[0080] 图4是示出根据本申请实施例的两个聚类结果的方向向量的示例性示意图。如图4中示例性示出两个聚类结果，即聚类A和聚类B。假设聚类A为当前阶段的一个聚类，聚类B为下一阶段的一个聚类。在计算当前阶段的聚类演进至下一阶段的聚类的子方向向量时，首先可以分别计算各聚类中嵌入向量的平均值，以确定各聚类的中心嵌入向量，接着计算两个中心嵌入向量的差值即为两个聚类的子方向向量。例如，假设图中a所示为当前阶段的一个聚类A的中心嵌入向量，b所示为下一阶段的一个聚类B的中心嵌入向量，则b‑a即为聚类A和聚类B之间的子方向向量（例如图中两个聚类之间的箭头所示）。

[0081] 图5是示出根据本申请实施例的各阶段的聚类结果的示例性示意图。如图5中所示， 分别表示阶段1至阶段T各自对应的聚类结果，并且每个聚类结果中包括多个子聚类。以当前阶段t和下一阶段t+1为例，以各自包括子聚类 、 、等和子聚类 、 、 等。图中还进一步示出，属于当前阶段t的 的患者在下一
阶段t+1也进行检查的患者的总集合 ， 、  以及  表示前述总集合
迁移至下一阶段t+1各聚类的子集合。基于各子集合的样本数与总集合的样本总数可以获得迁移概率矩阵，即 、 以及 。进一步地，假设当前阶段t的子聚类
的中心嵌入向量为 ，并且下一阶段t+1的子聚类的中心嵌入向量为 ，可以获得子方向向量 。根据获得的子方向向量和迁移概率矩阵，基于上述公式（7）可以获
得群体方向向量。

[0082] 基于获得群体方向向量，基于上述公式（8）或者公式（9）可以获得下一阶段的嵌入向量。其中，当患者在数据库中无历史记录时，可以采用上述公式（8）计算下一阶段的嵌入向量，即通过群体趋势来获得预测结果。当患者在数据库中有历史记录时，可以采用上述公式（9）计算下一阶段的嵌入向量。在该情形下，考虑了个体趋势和群体趋势进行预测，以获得更精确的预测结果。在获得下一阶段的嵌入向量时，可以将下一阶段的嵌入向量的输入至训练好的生成网络中，以获得预测眼底图像。

[0083] 图6是示出根据本申请实施例的使用生成网络模型生成预测眼底图像的示例性示意图。其中，生成网络可以例如是训练完成的GAN网络。如图6中所示，该GAN网络可以包括MP模型601和MG模型602。在实现场景中，MP模型601可以将高维空间 中的随机点映射成风格空间 ，以得到风格编码（“style code”） 。接着，通过将前述风格编码 输入至MG模型602中，以输出生成眼底照片 ，对应的数学表示方式为：

[0084]

[0085] [86]在本申请实施例中，可以通过将上述获得的下一阶段的嵌入向量输入至MG模型602中，经由MG模型602重建获得预测眼底图像603。基于预测的眼底图像可以直观地、可视化地观察患者眼底疾病的演进过程。作为示例，可以基于预测的眼底图像观察观察无病或无症状的眼底图像到具有某种疾病或症状的眼底图像的演进过程。

[0086] 图7是示出根据本申请实施例的预测眼底豹纹密度演进的预测眼底图像。如图7中所示，其从左向右从上至下依次示出待进行预测患者的眼底豹纹密度的初始状态（第一幅图，为“轻度”水平）、中间状态（第二和第三幅图，为“中度”水平）和最终状态（第四幅图，为“重度水平”），也即可视化的展示了眼底豹纹密度从“轻度”发展到“中度”，并且接着从“中度”发展到“重度”的演进变化过程。

[0087] 图8是示出根据本申请实施例的用于对眼底疾病的演进进行预测的方法800的示例性流程框图。如图8中所示，在步骤802处，获取至少包含待预测的患者的眼底图像和多模态信息的数据集。在一个实施例中，该数据集中的待进行聚类的患者的眼底图像可以通过例如眼底相机拍摄获得。待进行聚类的患者的多模态信息可以从医疗数据库中获取，并且该多模态信息可以包括但不仅限于是患者的年龄、性别、教育、职业、肝功能、肾功能或者血脂类或者基础疾病信息、药史信息或者家族疾病史信息中的一种或者多种。此外，前述数据集还可以包括例如患者的身份标识信息和检查时间戳信息。

[0088] 接着，在步骤804处，基于演进阶段对数据集进行划分，以获得各阶段的子数据集。其中，该演进阶段可以包括时间维度或者病程维度。由此，基于时间维度或者病程维度可以将数据集划分为若干子数据集。基于各阶段的子数据集，在步骤806处，对各阶段的子数据集进行聚类，以获得各阶段对应的聚类结果。具体地，可以对各阶段的子数据集中的眼底图像和多模态信息进行合并，以获得各阶段的合并数据，接着使用训练完成的模型对各阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。其中，关于合并的更多细节，可以参考上述图1的描述，本申请在此不再赘述。

[0089] 在实现场景中，上述训练完成的模型可以包括特征提取子模型（例如SDAE模型）和聚类子模型，通过特征提取子模型对各阶段的合并数据执行特征提取操作，以获得对应的特征并统一表示成各自的特征空间，接着使用聚类子模型在各自的特征空间内对相应阶段的合并数据进行聚类，以获得各阶段对应的聚类结果。

[0090] 进一步地，在步骤808处，根据对应的聚类结果计算演进阶段中的群体方向向量。在一个实施例中，首先可以根据对应的聚类结果确定当前阶段的聚类演进至下一阶段的聚类的子方向向量和迁移概率矩阵，以基于子方向向量和迁移概率矩阵计算演进阶段中的群体方向向量。其中，前述子方向向量为两个子聚类的中心嵌入向量的差值，前述迁移概率矩阵可以基于上述公式（5）获得，进而通过上述公式（7）获得群体方向向量。

[0091] 在获得群体方向向量后，在步骤810处，基于群体方向向量生成待预测的患者的预测眼底图像，以对眼底疾病的演进进行预测。在实现场景中，首先可以基于群体方向向量确定患者在下一阶段的眼底图像的嵌入向量，接着基于下一阶段的眼底图像的嵌入向量，使用生成网络生成待预测的患者的预测眼底图像。具体地，可以基于上述公式（8）或者公式（9）获得下一阶段的眼底图像的嵌入向量，通过将下一阶段的眼底图像的嵌入向量输入至生成网络（例如GAN网络）中，能够输出预测眼底图像，从而能够直观地、可视化的观察眼底疾病的演进过程。

[0092] 图9是示出根据本申请实施例的用于对眼底疾病的演进进行预测的设备900的示例性结构框图。可以理解的是，实现本申请方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。

[0093] 如图9中所示，本申请的设备可以包括中央处理器或中央处理单元（“CPU”）911，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备900还可以包括大容量存储器912和只读存储器（“ROM”）913，其中大容量存储器912可以配置用于存储各类数据，包括各种与患者的眼底图像和多模态信息、算法数据、中间结果和运行设备900所需要的各种程序。ROM 913可以配置成存储对于设备900的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

[0094] 可选地，设备900还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）914、图形处理单元（“GPU”）915、现场可编程门阵列（“FPGA”）916和机器学习单元（“MLU”）917。可以理解的是，尽管在设备900中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备900可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于对眼底疾病的演进进行预测的方法。

[0095] 在一些实施例中，为了便于数据与外部网络的传递和交互，本申请的设备900还包括通信接口918，从而可以通过该通信接口918连接到局域网/无线局域网（“LAN/WLAN”）905，进而可以通过该LAN/WLAN连接到本地服务器906或连接到因特网（“Internet”）907。替代地或附加地，本申请的设备900还可以通过通信接口918基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本申请的设备900还可以根据需要访问外部网络的服务器908和数据库
909，以便获得各种已知的算法、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如患者的眼底图像、多模态信息、嵌入向量或者聚类结果等的各类数据或指令。

[0096] 设备900的外围设备可以包括显示装置902、输入装置903和数据传输接口904。在一个实施例中，显示装置902可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本申请的预测眼底疾病的演进进行语音提示和/或图像视频显示。输入装置903可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收音频数据的输入和/或用户指令。数据传输接口904可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案，该数据传输接口904可以接收来自于眼底相机拍摄的眼底图像和医疗数据库记录的患者的多模态信息，并且向设备900传送包括眼底图像和多模态信息或各种其他类型的数据或结果。

[0097] 本申请的设备900的上述CPU 911、大容量存储器912、ROM 913、TPU 914、GPU 915、FPGA 916、MLU 917和通信接口918可以通过总线919相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线919，CPU 911可以控制设备900中的其他硬件组件及其外围设备。

[0098] 以上结合图9描述了可以用于执行本申请的用于对眼底疾病的演进进行预测的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本申请的实现方式和实现实体并不受其限制，而是可以在不偏离本申请的精神下做出改变。

[0099] 根据上述结合附图的描述，本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机程序产品。该计算机程序产品可以用于实现本申请结合附图8所描述的用于对眼底疾病的演进进行预测的方法。

[0100] 应当注意，尽管在附图中以特定顺序描述了本申请方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

[0101] 应当理解，当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

[0102] 还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0103] 虽然本申请的实施方式如上，但所述内容只是为便于理解本申请而采用的实施例，并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。