用于基于眼底图像的疾病演进的图像生成方法及其相关产品

摘要

本发明提供一种用于基于眼底图像的疾病演进的图像生成方法及其相关产品。该图像生成方法包括基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的方向向量；获取目标眼底图像的广义嵌入向量；对所述广义嵌入向量和所述方向向量执行向量操作，以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像。利用本发明的图像生成方案，可以向医护人员或患者提供直观的疾病演进预测，由此方便医护人员或患者及早做出人为干预。

权利要求

1.一种用于基于眼底图像的疾病演进的图像生成方法，包括：基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的单位方向向量；

根据所述单位方向向量和预设演进强度确定从第一类别疾病演进到第二类别疾病的方向向量；

利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为广义嵌入向量；

对所述广义嵌入向量和所述方向向量执行向量操作，以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像，其中确定从所述第一类别疾病到第二类别疾病的单位方向向量包括：获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别疾病关联的第二类风格编码集；

计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量；以及

计算第一类中心向量和第二类中心向量之间的向量差，以确定其为所述单位方向向量。

2.根据权利要求1所述的图像生成方法，其中获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。

3.根据权利要求2所述的图像生成方法，其中所述图像生成模型具有多级的网络结构，所述方法包括：

使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成关于所述目标眼底图像演进的图像。

4.根据权利要求2所述的图像生成方法，还包括：将所述方向向量划分成预定的多个段；

计算与每段的方向向量关联的结果向量，以得到对应于多个段的多个结果向量；以及将所述多个结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的多个图像。

5.根据权利要求4所述的图像生成方法，还包括：利用生成对抗网络来采集多个眼底图像；以及利用筛选模型对所述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。

6.一种用于基于眼底图像的疾病演进的图像生成方法，包括：针对于多个病种的每个病种，基于眼底图像的样本数据确定从所述病种的第一类别疾病到其第二类别疾病的单位方向向量；

根据所述单位方向向量及其关联的预设演进强度，确定每个所述病种从第一类别疾病演进到其第二类别疾病的方向向量，以得到对应于多个病种的多个方向向量；

对所述多个方向向量执行第一向量操作，以得到关于多个病种的复合方向向量；

利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为广义嵌入向量；

对所述广义嵌入向量和所述复合方向向量执行第二向量操作，以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像，其中确定从所述病种的第一类别疾病到其第二类别疾病的单位方向向量包括：获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别疾病关联的第二类风格编码集；

计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量；以及

计算第一类中心向量和第二类中心向量之间的向量差，以确定其为所述单位方向向量。

7.根据权利要求6所述的图像生成方法，其中获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。

8.根据权利要求7所述的图像生成方法，其中所述图像生成模型具有多级的网络结构，所述方法包括：

使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。

9.根据权利要求8所述的图像生成方法，还包括：将所述复合方向向量划分成预定的多个段；

计算与每段的复合方向向量关联的结果向量，以得到对应于多个段的多个结果向量；

以及

将所述多个结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的多个复合图像。

10.根据权利要求9所述的图像生成方法，还包括针对于每个病种，执行以下操作：利用生成对抗网络来采集多个眼底图像；以及利用筛选模型对所述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。

11.一种用于基于眼底图像的疾病演进生成图像的设备，包括：处理器；以及

存储器，其存储有用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现根据权利要求1‑10的任意一项所述的方法。

12.一种计算机可读存储介质，其存储有用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现根据权利要求1‑10的任意一项所述的方法。

说明书

用于基于眼底图像的疾病演进的图像生成方法及其相关产品

技术领域

[0001] 本发明总体上涉及图像处理领域。更具体地，本发明涉及用于基于眼底图像的疾病演进的图像生成方法、设备、计算机程序产品和计算机可读存储介质。

背景技术

[0002] 在人工智能领域，除了利用诊断模型来根据医学图像和相关信息给出诊断预测，利用可视化的方案对疾病进行监控和预防也十分必要。例如，在眼底图像中，豹纹的演变对
近视的预防具有很强的警示作用。再如，视网膜的很多疾病与年龄相关，从而年龄维度的可
视化演进将帮助患者及时建立健康的生活习惯并减低患病风险。为此，如何基于患者当前
的状况给出其疾病演化的可视化呈现和预测，从而引起患者的重视并达到持续监测和疾病
预防的目的是当前需要解决的一项技术问题。

发明内容

[0003] 鉴于上文背景部分所描述的技术问题，本发明提出了一种全新的关于疾病演进的可视化方案。具体地，对任意具有全局图像风格特征的眼底疾病，计算出其所嵌入空间的方
向向量。此后，对于给定任一真实的眼底图像，计算出其广义嵌入向量并且与前述方向向量
执行向量操作。最后，将向量操作后得到的结果向量输入至图像生成模型，从而生成展示疾
病演进过程的图像。由此，可以实现对疾病演进的可视化显示并从而起到警示医护人员和
患者的作用。鉴于此，本发明在下面的多个方面和实施例中提供解决方案。

[0004] 在第一方面中，本发明提供了一种用于基于眼底图像的疾病演进的图像生成方法，包括：基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的方向向量；
获取目标眼底图像的广义嵌入向量；对所述广义嵌入向量和所述方向向量执行向量操作，
以得到结果向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底
图像从第一类别疾病演进至第二类别疾病的图像。

[0005] 在一个实施例中，基于样本数据确定从第一类别疾病到第二类别疾病的方向向量包括确定从所述第一类别疾病到第二类别疾病的单位方向向量；以及根据所述单位方向向
量和预设演进强度来确定所述方向向量。

[0006] 在一个实施例中，确定从所述第一类别疾病到第二类别疾病的单位方向向量包括：获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别疾病关联的
第二类风格编码集；计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二
类中心向量；以及计算第一类中心向量和第二类中心向量之间的向量差，以确定其为所述
单位方向向量。

[0007] 在一个实施例中，获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。

[0008] 在一个实施例中，获取目标眼底图像的广义嵌入向量包括利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为所述广义嵌入向量。

[0009] 在一个实施例中，所述图像生成模型具有多级的网络结构，所述方法包括使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成关于
所述目标眼底图像演进的图像。

[0010] 在一个实施例中，还包括：将所述方向向量划分成预定的多个段；计算与每段的方向向量关联的结果向量，以得到对应于多个段的多个结果向量；以及将所述多个结果向量
输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾
病的多个图像。

[0011] 在一个实施例中，该图像生成方法还包括利用生成对抗网络来采集多个眼底图像；以及利用筛选模型对所述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别
疾病的眼底图像筛选作为样本数据。

[0012] 在第二方面中，本发明提供一种用于基于眼底图像的疾病演进的图像生成方法，包括：针对于多个病种的每个病种，基于眼底图像的样本确定从所述病种的第一类别疾病
演进到其第二类别疾病的方向向量，以得到对应于多个病种的多个方向向量；对所述多个
方向向量执行第一向量操作，以得到关于多个病种的复合方向向量；获取目标眼底图像的
广义嵌入向量；对所述广义嵌入向量和所述复合方向向量执行第二向量操作，以得到结果
向量；以及将所述结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从多个
病种的第一类别疾病演进至第二类别疾病的复合图像。

[0013] 在一个实施例中，基于眼底图像的样本确定从所述病种的第一类别疾病演进到其第二类别疾病的方向向量，以得到对应于多个病种的多个方向向量包括：确定每个病种从
其所述第一类别疾病到其第二类别疾病的单位方向向量；以及根据所述单位方向向量及其
关联的预设演进强度，确定每个所述病种所对应的方向向量。

[0014] 在一个实施例中，确定每个病种从其所述第一类别疾病到其第二类别疾病的单位方向向量包括：获取样本数据与第一类别疾病关联的第一类风格编码集和与所述第二类别
疾病关联的第二类风格编码集；计算第一类风格编码集的第一类中心向量和第二类风格编
码集的第二类中心向量；以及计算第一类中心向量和第二类中心向量之间的向量差，以确
定其为所述单位方向向量。

[0015] 在一个实施例中，获取第一类风格编码集和第二类风格编码集包括利用映射网络模型来生成所述第一类风格编码集和第二类风格编码集。

[0016] 在一个实施例中，获取目标眼底图像的广义嵌入向量包括：利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为所述广义嵌入向量。

[0017] 在一个实施例中，其中所述图像生成模型具有多级的网络结构，所述方法包括使用所述多级的网络结构来接收所述多级编码器的不同编码风格的广义嵌入向量，以便生成
关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复合图像。

[0018] 在一个实施例中，还包括将所述复合方向向量划分成预定的多个段；计算与每段的复合方向向量关联的结果向量，以得到对应于多个段的多个结果向量；以及将所述多个
结果向量输入至图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾
病演进至第二类别疾病的多个复合图像。

[0019] 在一个实施例中，针对于每个病种，该图像生成方法执行以下操作：利用生成对抗网络来采集多个眼底图像；以及利用筛选模型对所述多个眼底图像进行筛选，以将符合第
一类别疾病和第二类别疾病的眼底图像筛选作为样本数据。

[0020] 在第三方面中，本发明提供一种用于基于眼底图像的疾病演进生成图像的设备，包括：处理器；存储器，其存储有用于生成基于眼底图像的疾病演进的图像的计算机程序指
令，当所述计算机程序指令由处理器执行时，实现上述第一和第二方面及其多个实施例中
所述的方法。

[0021] 在第四方面中，本发明提供一种计算机可读存储介质，其存储有用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实
现上述第一和第二及其多个实施例中所述的方法。

[0022] 在第五方面中，本发明提供一种计算机程序产品，其包括用于生成基于眼底图像的疾病演进的图像的计算机程序指令，当所述计算机程序指令由处理器执行时，实现上述
第一和第二及其多个实施例中所述的方法。

[0023] 利用上文所描述的方法、设备、计算机可读存储介质和计算机程序产品，本发明的方案可以实现针对任一真实眼底图像，通过呈现多个图像来可视化地显示其疾病演进（也
称演化或进展）的过程。通过这样的可视化显示过程，可以向医护人员或患者提供直观的疾
病演进预测，由此方便医护人员或患者及早做出人为干预，从而防止疾病的进一步发展和
恶化。另外，借助于本发明针对多个病种演进的复合显示方案，可以实现可视化的显示多个
病种在同一图像上的演进阶段，从而提供更为综合性的疾病预测和观察。

附图说明

[0024] 通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若
干实施方式，并且相同或对应的标号表示相同或对应的部分其中：

[0025] 图1是示意性示出用于生成眼底图像的网络结构框图；

[0026] 图2是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的图像生成方法的简化流程图；

[0027] 图3是示意性示出本发明实施例的用于基于眼底图像的疾病演进的图像生成方法的详细流程图；

[0028] 图4是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的另一图像生成方法的简化流程图；

[0029] 图5是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的另一图像生成方法的详细流程图；

[0030] 图6是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的网络结构框图；

[0031] 图7a、图7b和图7c是分别示意性示出根据本发明实施例的方向向量和两个复合方向向量的示图；

[0032] 图8a是示意性示出根据本发明实施例获得的眼底豹纹密度演进的图像；

[0033] 图8b是示意性示出根据本发明实施例获得的眼底年龄演进的图像；

[0034] 图8c是示意性示出根据本发明实施例获得的眼底年龄与豹纹密度复合演进的复合图像；以及

[0035] 图9是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的图像生成系统的框图。

具体实施方式

[0036] 现在通过参考附图描述实施例。应当理解，为了说明的简单和清楚，在认为合适的情况下，可以在附图中重复附图标记以指示对应或类似的元件。另外，本申请阐述了许多具
体细节以便提供对本文所述实施例的透彻理解。然而，本领域普通技术人员将理解，可以在
没有这些具体细节的情况下实践本文描述的实施例。在其他情况下，没有详细描述公知的
方法、过程和组件，以免模糊本文描述的实施例。而且，该描述不应被视为限制本文描述的
实施例的范围。

[0037] 如前所述，为了实现基于眼底图像的疾病演进的可视化，本发明的方案提出基于例如分类/分级/回归模型来获得关于多个类别之间的方向向量，并且对方向向量与目标眼
底图像的广义嵌入向量进行向量操作，以得到待输入至图像生成模型的结果向量。由此，基
于图像生成模型（“Generator”）可以生成用于展示与目标眼底图像相关的疾病演进的多个
图像。

[0038] 根据不同的实施场景，本发明所得到的多个图像可以是不同年龄段的眼底图像（例如20、30、40和50岁）或显示疾病发展的不同程度（例如初始状态、轻度、中度和重度）或
显示眼底特征属性的渐进变化。在一些应用场景中，本发明的结果向量可以是关于多个病
种的复合方向向量，从而可以获得演示实际的目标眼底图像从多个病种的第一类别疾病演
进至第二类别疾病的复合图像。在一些场景中，本发明的第一类别疾病也可以包括无病或
无症状的状态，由此第一类别疾病到第二类别疾病的演进可以涉及从无病或无症状的眼底
图像到具有某种疾病或症状的眼底图像的演进过程。

[0039] 根据不同的应用场景，本发明的眼底图像（也即“视网膜眼底图像”）所涉及的疾病或潜在疾病的特征可以包括例如眼底的老化程度、黄斑变性、视网膜肿瘤、糖尿病性视网膜
病变、眼底豹纹等。如本领域技术人员所知，眼底图像是观察视网膜和诊断相关疾病的一种
重要影像手段。鉴于此，本发明在眼底图像的基础上结合向量操作和图像生成模型来生成
可以可视化显示疾病演进（或称演化）过程的多个图像，从而为疾病的发展、预测或进一步
研究提供良好的基础。

[0040] 下面将结合附图对本发明的方案及其多个实施例进行详细地描述。

[0041] 图1是示意性示出用于生成眼底图像的网络结构框图。如图1所示，该网络结构100可以视为生成对抗网络（“Generative Adversarial Network”，简写为“GAN”）并且包括映
射网络（“Mapping Network”，简写为“MP”）102和图像生成模型（“Generator”，简写为“MG”，
或称生成器）104。在操作中，生成对抗网络可以利用其映射网络MP将高维空间 中的随机
点 z映射到风格空间 ，从而得到风格编码(“style code”，也称为嵌入向量) w。接着，通
过图像生成模型MG生成眼底照片106，也即图中示例性眼底图像x。前述的操作可以结合下
面的数学公式来表达：

[0042]

[0043] 在一些应用场景中，生成对抗网络作为生成式模型，其可以借助血管掩码引导的改进方案以及StyleGAN的网络架构。由此，在经过大量的样本（例如已获得的眼底图像）训
练后，生成对抗网络就可以生成逼真的眼底图像。

[0044] 图2是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的图像生成方法200的简化流程图。可以理解的是，本发明的眼底图像可以是通过各种类型的眼底相机
所获得的眼底图片。进一步，此处的图像生成方法可以由各种设备，例如计算机、服务器或
具有人工智能处理芯片的通用或专用设备来执行。

[0045] 如图2中所示，在步骤S202处，基于眼底图像的样本数据确定从第一类别疾病演进到第二类别疾病的方向向量。关于样本数据，以二分类的疾病为例，可以在生成对抗网络的
空间随机取样以生成大量的眼底图像（也即利用生成的眼底图像来确定方向向量）。在一
个应用场景中，可以例如利用鉴别式模型MD、分类、分级或回归模型对前述获得的大量眼底
图像进行分类或分级后，从而获得样本数据。以鉴别式模型MD为例，根据其可以确定生成样
本集C的个数及其判定函数f，由此得到下式：

[0046]

[0047] 其中x为输入的样本图像，经由模型MD计算获得推理值。接着，可以通过判定函数确定只有属于某类（也即本发明上下文所提到的第一类别疾病或第二类别疾病）的典型样
本才会被选取。当样本不典型，即不属于所有类别时，则其会被丢弃不用。

[0048] 为了便于理解本发明并且仅为了示例的目的，下文列出一些可以应用于本发明方案的模型的判定函数的常用策略：

[0049]  模型 输出 判定条件 举例分类/分级模型 标签 以标签所在集合 年龄预测
分类/分级模型 概率 确定每类/每级的阈值 糖网病(即糖尿病性视网膜病变)分级
回归模型 实数值 确定区间 眼底图像中豹纹分级的豹纹密度

[0050] 通过上文的描述，本领域技术人员可以理解的是关于样本数据，本发明可以利用生成对抗网络（如图1所示的网络）来采集多个眼底图像，并且接着利用筛选模型（如上面所
提到的各种模型）对前述多个眼底图像进行筛选，以将符合第一类别疾病和第二类别疾病
的眼底图像筛选作为样本数据。

[0051] 在一个实施场景中，基于上述所获得的样本数据确定从第一类别疾病到第二类别疾病的方向向量（例如图7a所示出的）可以包括确定从第一类别疾病到第二类别疾病的单
位方向向量，以及根据该单位方向向量和预设演进强度来确定方向向量。

[0052] 在确定了上述的方向向量后，流程前进到步骤S204。在该步骤处，可以获取目标眼底图像的广义嵌入向量。在本发明的上下文中，目标眼底图像也即是例如经由眼底相机实
际拍摄所获得的、待生成多个疾病演进图像的眼底图像，其根据眼底相机的性能可以具有
不同分辨率。进一步，这里的广义嵌入向量“ ”可以视为前文结合图1所描述的风格编码
“w”的演进版本。作为示例，可以利用多级编码器（也即多级的映射网络）对目标眼底图像进
行风格编码，从而生成具有多级属性的嵌入向量作为前述的广义嵌入向量。例如，当结合图
1所描述的映射网络的原始风格空间为 ，则当编码器的每级输出的风格编码不同时，则
将得到比原始风格空间 更大的风格空间 。例如，当 为512维时，则多级编码器和对
应的图像生成模型将有对应的18级，则此时的风格编码维度可以扩展到[18,512]，例如图6
中所示出的    所示。
~

[0053] 经研究发现，风格编码所在的风格空间 具备线性可分性。这里，线性可分性是指图像的语义操作可以转换为向量空间的加减操作，并且将高维空间 中的随机点z映射
到语义线性可分的空间 称为嵌入(Embedding)。基于这样的线性可分性，在步骤S206，
对上述的广义嵌入向量和在步骤S202处所获得的方向向量执行向量操作（例如向量的加法
操作），以得到结果向量。

[0054] 最后，在步骤S208处，将得到的结果向量输入至图像生成模型中（如图1所示的图像生成模型106或如图6中所示出的图像生成模型604），以生成关于目标眼底图像从第一类
别疾病演进至第二类别疾病的图像。

[0055] 为了灵活实现预定数目的多个图像的演进效果，在一个实施例中，本发明提出将前述的方向向量划分成预定的多个段，例如平均划分成四段。接着，可以计算与每段的方向
向量关联的结果向量，以得到对应于多个段的多个结果向量。此后，可以将多个结果向量分
别输入至图像生成模型中，以生成关于所述目标眼底图像从第一类别疾病演进至第二类别
疾病的多个图像，其中每段方向向量对应于一个图像。

[0056] 以图8a所示内容为例来说明，其从左向右从上至下依次示出眼底豹纹密度的初始状态（第一幅图，为“轻度”水平）、中间状态（第二和第三幅图，为“中度”水平）和最终状态
（第四幅图，为“重度水平”），也即可视化的展示了眼底豹纹密度从“轻度”发展到“中度”，并
且接着从“中度”发展到“重度”的演进变化过程。以图8b所示内容为例进一步来说明，其从
左向右从上至下依次示出眼底的年龄从31岁开始，经由35和45岁而演化到60岁的演进变化
过程。

[0057] 图3是示意性示出本发明实施例的用于基于眼底图像的疾病演进的图像生成方法300的详细流程图。可以理解的，这里图3所示方法流程步骤可以视为结合图2所描述的图像
生成方法的一种可能实现方式，因此前文结合图2所做的描述也同样适用于下文结合图3所
进行的讨论。

[0058] 如图3所示，在步骤S302处，获取样本数据与第一类别疾病关联的第一类风格编码集和与第二类别疾病关联的第二类风格编码集。关于第一类风格编码集或第二类风格编码
集，在一个实施场景中，其可以从先前生成对抗网络在 空间采集多个眼底图像期间，映射
网络所计算出的风格编码中进行选取。具体地，对于经由筛选模型从前述多个眼底图像中
筛选出的、符合第一类别疾病或第二类别疾病的眼底图像，其将作为样本数据并且在采集
期间利用映射网格对应生成的嵌入向量w（也即前文所述的风格编码）将用作与第一类别疾
病或第二类别疾病关联的第一类风格编码集或第二类风格编码集。可以看出，本发明利用
了输入映射网络模型（如图1所示出的映射网络102）来生成第一类风格编码集和第二类风
格编码集。作为示例，该第一类风格编码集和第二类风格编码集在风格空间 中可以表达
为如图7a中702处所示出的灰色点集合和704处所示出的黑色点集合。

[0059] 接着，在步骤S304处，计算第一类风格编码集的第一类中心向量和第二类风格编码集的第二类中心向量。在一个实施场景中，鉴于风格空间 具有线性可分性，此处的中
心向量可以通过对风格编码集在风格空间 空间中的坐标求取平均值来获得。由此，可以
确定如图7a中的706和708所示出的中心向量，也即第一类中心向量和第二类中心向量。此
后，在步骤S306处，计算第一类中心向量和第二类中心向量之间的向量差，以确定其为单位
方向向量。仍以图7为例，其中710处所示出的粗箭头表示第一类中心向量和第二类中心向
量之间的向量差，也即确定的单位方向向量。

[0060] 在如上确定单位方向向量后，流程前进到步骤S308处。此处，根据前述的单位方向向量和预设演进强度来确定方向向量。根据不同的应用场景，此处的预设演进强度可以是
人为设定的预期值。当预设演进强度设置为大于1的数时，则此时得到的方向向量将大于单
位方向向量。在该情形下，所获得的关于疾病演进的图像将更为明显或显著地示出从第一
类别疾病进展到第二类别疾病的区别或者变化。例如，当第一类别疾病是轻度的眼底豹纹
密度而第二类别疾病是重度的眼底豹纹密度，则针对于输入的、具有轻度眼底豹纹密度的
目标眼底图像而言，更大的预设演进强度将会得到与目标眼底图像相比，演化跨度更大的
重度眼底豹纹密度的图像。

[0061] 返回到流程图，在步骤S310中，利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌入向量作为广义嵌入向量。在一个实施场景中，此处的多级编码器可
以实现为具有类似于多尺度、多层级的金字塔结构的深度卷积神经网络。如前所述，通过将
原始风格空间 扩展到更大的风格空间 ，可以获得更高维度的风格编码，从而为图像
生成模型生成更为逼真的图像提供可能。在一个应用场景中，当 为512维并且多级编码
器的输出和图像生成模型的输入分别为18级时（如图6中所示出的），则 的维度可以扩
展到[18,512]。

[0062] 在得到关于目标眼底图像的广义嵌入向量后，在步骤S312处，可以对广义嵌入向量和方向向量执行向量操作，以得到结果向量。作为示例，此处的向量操作可以是向量加。
最后，在步骤S314处，将前述结果向量输入至图像生成模型（如图6中的604处所示出的）中，
以生成关于目标眼底图像从第一类别疾病演进至第二类别疾病的图像。

[0063] 下面以符号和公式来表达上述的相关操作。首先，在 空间大量采样（包括映射网络和图像生成模型的操作），并且对于被例如筛选模型筛选中属于某类别（如本发明上下文
的第一类别疾病或第二类别疾病）的样本，获取其嵌入向量（即风格编码）。接着，计算每个
类别集合（即前文所述的风格编码集）的中心向量。对于第i类别集合，其中心向量表示为
。类似于，对于第j类别集合，其中心向量表示为 。由此，从类别i到类别j的单位方向
向量可以通过下式确定：

[0064]     （1）

[0065] 针对于预设演化强度 ，从类别i到j的方向向量可以通过下式确定：

[0066]     （2）

[0067] 接着，对于给定的目标眼底图像x，计算其广义嵌入向量 。基于此，目标眼底图像从当前图像所展示的眼底状态（如从类别i）演化到类别j的图像可以通过下式确定：

[0068]     （3）

[0069] 其中MG（）表示图像生成模型所执行的操作，并且 也即广义嵌入向量和方向向量的向量加操作，并且其结果也即是本发明上下文所称的结果向量。

[0070] 如前文所述，为了产生渐进平滑的图像展示效果，在一些实施例中，本发明的方案还提出将方向向量划分成多个段，例如等间距的划分成N段。接着，可以通过下式计算出每
段的图像 ，从而实现渐进平滑的疾病演进并且还可以转化为视频来进行播放。

[0071]  （4）

[0072] 图4是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的另一图像生成方法400的简化流程图。将要理解的是，此处的图像显法方法400是基于前述方法200或
300的拓展方案，因此前述关于方向向量和广义嵌入向量的获取同样适用于下文的描述。

[0073] 如图4所示，在步骤S402，针对于多个病种的每个病种，基于眼底图像的样本数据确定从所述病种的第一类别疾病演进到其第二类别疾病的方向向量，以得到对应于多个病
种的多个方向向量。根据本发明的方案，此处的多个病种可以是例如关于年龄预测、糖网
病、豹纹密度中的两种或多种的组合。关于每个病种的第一类别疾病到第二类别疾病的方
向向量，其具体实现方式在前已经结合图2和图3进行了详细地描述，此处将不再赘述。

[0074] 接着，在步骤S404处，对所述多个方向向量执行第一向量操作，以得到关于多个病种的复合方向向量。作为示例，图7b和图7c分别 示出了两个病种和三个病种的复合方向向
量。以图7c的三个病种的复合方向向量为例，鉴于嵌入向量空间 的线性可分性，假设有
三个病种a，b和c，其从阴性(无病症)到阳性(有病症)的单位方向向量分别为 ， 和
，则复合演化的向量（即复合方向向量）是三个单位方向向量的线性组合并且可以通过
下式来表达（其中的系数 、 和 是各自的演进强度）：

[0075]                   （5）

[0076] 此后，在步骤S406处，获取目标眼底图像的广义嵌入向量 。关于获取广义嵌入向量的细节，前文已经结合图2和图3进行了详细的描述，此处不再赘述。接着，在步骤S408
处，对前述广义嵌入向量和复合方向向量执行第二向量操作，以得到结果向量。仍以上文式
（5）所示的复合方向向量 为例，此处的第二向量操作也即（ + ）的向量加操
作，并且得到的结果也即前述的结果向量。最后，在步骤S410处，将上述的结果向量输入至
图像生成模型中，以生成关于所述目标眼底图像从多个病种的第一类别疾病演进至第二类
别疾病的复合图像。

[0077] 图5是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的另一图像生成方法500的详细流程图。可以理解的是，此处的图像生成方法500可以是上文结合图4所
描述的图像生成方法400的一种可能实现方式。因此，上文结合图4所做的描述同样适用于
下文的描述并且相同的内容将不再赘述。

[0078] 如图5所示，在步骤S502处，针对于每一个病种，获取其第一类风格编码集和第二类风格编码集。这里的获取操作与前文结合图3描述步骤S302的操作类似，因此此处不再赘
述。接着，在步骤S504处，计算每个病种的第一类风格编码集的第一类中心向量和第二类风
格编码集的第二类中心向量。此后，在步骤S506处，计算每个病种的前述第一类中心向量和
第二类中心向量之间的向量差，以确定其为该病种的单位方向向量。接着，在步骤S508处，
根据单位方向向量及其关联的预设演进强度，确定每个病种所对应的方向向量。可以理解
的是，就每个病种而言，此处的步骤S502 S508的操作类似于图3所示方法300的步骤S302
~ ~
S308。鉴于此，为了简明的目的，相同或类似的内容将不再重复描述。

[0079] 在获得每个病种的方向向量后，在步骤S510处，对多个方向向量执行第一向量操作，以得到关于多个病种的复合方向向量，也即图4中方法400的步骤S404所执行的操作。接
着，在步骤S512处，利用多级编码器来对目标眼底图像进行编码，以生成具有多级属性的嵌
入向量作为广义嵌入向量，也即方法400中步骤S406的操作。此后，在步骤S514处，对广义嵌
入向量和复合方向向量执行第二向量操作，以得到结果向量，其具体操作例如上文结合图
7b和图7c所做的示例性描述。最后，在步骤S516处，将前述得到的结果向量输入至图像生成
模模型中，以生成关于目标眼底图像从多个病种的第一类别疾病演进至第二类别疾病的复
合图像。

[0080] 如前文所述，为了产生渐进平滑的图像展示效果，在一些实施例中，本发明的方案还提出将得到的复合方向向量划分成多个段，例如等间距的划分成N段。接着，可以通过类
似于式（4）的操作来生成每段的复合图像，从而实现渐进平滑的疾病演进并且还可以转化
为视频来进行播放。

[0081] 作为示例，图8c示出了作为第一病种的年龄（其从30、35、40和60渐进演化）和作为第二病种的眼底豹纹密度（其从初始状态到中度和重度渐进演化）的多个复合图像。具体
地，图8c从左到右并从上至下依次示出30岁时的眼底豹纹密度、35岁时的眼底豹纹密度、40
岁时的眼底豹纹密度和60岁时的眼底豹纹密度的渐进变化，由此实现多维度的眼底疾病演
进的可视化效果。

[0082] 图6是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的网络600的结构框图。可以理解的是，该网络可以是图1所示的生成对抗网络的演进版本，并且可以
通过计算机程序代码来实现。

[0083] 如图6所示，该网络600可以包括映射网络602和图像生成模型604。作为示例，所示出的映射网络602具有多尺度、多级输出的金字塔网络结构，并且借助于例如18个风格空间
映射模块606 (即图中的“map2style”)，可以输出   的18个不同风格编码。为了便
~
于理解本发明的方案，图6中还示出了风格空间映射模块的一种示例性实施方式。可以看
出，其可以是具有四层的神经网络结构，从而将例如“8×8×512”的特征图通过下采样的操
作（包括例如池化操作）而最终转换成“1×1×512”的嵌入向量。最终，18个不同风格的嵌入
向量就可以构成本发明的广义嵌入向量。

[0084] 接着，可以在图中所示模块“A”处执行向量操作，也即将得到的广义嵌入向量与对应的方向向量（例如通过图2方法200的步骤S202或图3方法300的步骤S308所获得）进行向
量操作，从而得到结果向量。此后，可以将结果向量作为输入参数输入至图像生成模型，以
生成关于所述目标眼底图像从第一类别疾病演进至第二类别疾病的图像（例如尺寸为1024
×1024的输出图像）。可以理解的是，对于多病种的复合方向向量的场景，模块“A”相应地执
行广义嵌入向量与复合方向向量的向量操作，以得到复合的结果向量。此后，可以将复合的
结果向量作为输入参数输入至图像生成模型，从而可以生成关于所述目标眼底图像从多个
病种的第一类别疾病演进至第二类别疾病的复合图像。

[0085] 图9是示意性示出根据本发明实施例的用于基于眼底图像的疾病演进的图像生成系统900的框图。如图9中所示，该系统900可以包括根据本发明实施例的用于生成基于眼底
图像的疾病演进的图像的设备901以及其外围设备和外部网络。

[0086] 如图9中所示，设备901可以包括CPU 9011，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备901还可以包括大容量存储器9012和只读存
储器ROM 9013，其中大容量存储器9012可以配置用于存储各类数据，包括本公开的用于对
映射网络和图像生成模型进行训练的训练集、验证集和测试集的数据和运行本发明的设备
901所需要的各种程序（例如用于实现图6所示网络的各种代码），ROM 9013可以配置成存储
对于设备901的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序
以及引导操作系统所需的数据。

[0087] 进一步，设备901还包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）9014、图形处理单元（“GPU”）9015、现场可编程门阵列（“FPGA”）9016和机器学习单
元（“MLU”）9017。可以理解的是，尽管在设备901中示出了多种硬件平台或组件，但这里仅仅
是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例
如，设备901可以仅包括CPU作为硬件平台来执行本发明的生成可视化图像的方案。

[0088] 本发明的设备901还可以包括通信接口9018，从而可以通过该通信接口9018连接到局域网/无线局域网（LAN/WLAN）905，进而可以通过LAN/WLAN连接到本地服务器906或连
接到因特网（“Internet”）907。替代地或附加地，本发明的设备901还可以通过通信接口
9018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代
（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本发明的设备901还可以根据
需要访问外部网络的服务器908以及可能的数据库909，以便获得各种已知的神经网络模
型、数据和模块，并且可以远程地存储各种数据，包括本发明所涉及的样本数据、分类结果、
方向向量和嵌入向量等。

[0089] 在一些应用场景中，本发明设备901的外围设备可以包括显示装置902、输入装置903以及数据传输接口904。在一个实施例中，显示装置902可以例如包括一个或多个扬声器
和/或一个或多个视觉显示器，其配置用于对本发明设备的运算过程或者最终图像显示结
果进行语音提示和/或图像视频显示。输入装置903可以包括例如键盘、鼠标、麦克风、姿势
捕捉相机，眼底相机，或其他输入按钮或控件，其配置用于接收图像数据的输入或用户指
令。数据传输接口904可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型
计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口
（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本发明的方案，该数据
传输接口904也可以接收来自于图像采集设备的各类图像数据，并且向图像采集设备发送
执行向量操作和图像生成操作后所获得的疾病演进图像。

[0090] 本发明的设备901的上述CPU 9011、大容量存储器9012、只读存储器ROM 9013、TPU 9014、GPU 9015、FPGA 9016、MLU 9017和通信接口9018可以通过总线9019相互连接，并且通
过该总线与外围设备实现数据交互。在一个实施例中，通过该总线9019，CPU 9011可以控制
设备901中的其他硬件组件及其外围设备。

[0091] 在一个工作场景中，本发明的设备901的处理器CPU 9011可以通过输入装置903或数据传输接口904接收训练数据和/或待生成预测图像的目标图像数据，并调取存储于存储
器9012中的计算机程序指令或代码（例如本发明代码化的网络模型）对接收到的目标图像
数据进行向量操作和图像生成。另外，设备901还可以通过通信接口9018将训练后得到的代
码化的网络模型或生成的多个图像上传至网络，例如远程的数据库909。

[0092] 还应当理解，本发明示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或
数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以
包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介
质，例如计算机可读指令、数据结构、程序模块或其他数据。

[0093] 基于上文，本发明还公开了一种计算机可读存储介质和/或计算机程序产品，其中存储有程序指令，所述程序指令适于由处理器加载并执行本发明结合附图所描述的方法及
其多个实施例。

[0094] 计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM（Resistive Random Access Memory）、动态随机存取存储器DRAM（Dynamic 
Random Access Memory）、静态随机存取存储器SRAM（Static Random‑Access Memory）、增
强动态随机存取存储器EDRAM（Enhanced Dynamic Random Access Memory）、高带宽内存
HBM（High‑Bandwidth Memory）、混合存储立方HMC（Hybrid Memory Cube）等等，或者可以用
于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算
机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块
可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令
来实现。

[0095] 应当理解，本发明披露的说明书和权利要求书中使用的术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、
整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本发明披露说明
书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本发明披露。如在
本发明披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则
单数形式的“一”、“一个”及“该”意在包括复数形式。在本发明披露说明书和权利要求书中
使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，
并且包括这些组合。

[0096] 虽然本发明的实施方式如上，但所述内容只是为便于理解本发明而采用的实施例，并非用以限定本发明的范围和应用场景。任何本发明所述技术领域内的技术人员，在不
脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与
变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。