基于视网膜特征点的眼底彩色照相图像拼接方法及系统转让专利

申请号 : CN202310372060.5

文献号 : CN116228545B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 杨卫华张国明姚雪谢翠娟李王婷李坤珂

申请人 : 深圳市眼科医院(深圳市眼病防治研究所)

摘要 :

本发明公开了一种基于视网膜特征点的眼底彩色照相图像拼接方法及系统,涉及图像拼接技术领域,首先获取若干张不同方位的眼底彩色照相图像,按照区域进行分类筛选和排序,得到待拼接眼底彩色照相图像序列,对其中两两相邻的待拼接眼底彩色照相图像进行拼接,将拼接后的图像替换所述两两相邻的待拼接眼底彩色照相图像,构成新的待拼接眼底彩色照相图像序列,重复该步骤直到序列中仅剩最后一张图像,即为最终眼底拼接图。本发明能够使每一次循环过程中两两相邻的带拼接眼底彩色照相图像的重叠区域是规则图像,提高了图像的融合效果,使得到的眼底拼接图像的拼接区域更加自然流畅。

权利要求 :

1.一种基于视网膜特征点的眼底彩色照相图像拼接方法,其特征在于,包括以下步骤:步骤1、获取若干张不同方位的眼底彩色照相图像,对若干张不同方位的眼底彩色照相图像按照区域进行分类筛选,并将分类筛选得到的眼底彩色照相图像按照图像之间的区域关系进行排序,得到待拼接眼底彩色照相图像序列;

步骤2、判断待拼接眼底彩色照相图像序列中的图像个数是否大于等于2,若是,则进入步骤3,否则进入步骤4;

步骤3、对待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像进行拼接,得到拼接后的眼底彩色照相图像;将拼接后的眼底彩色照相图像替换待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像,构成新的待拼接眼底彩色照相图像序列,并返回步骤2;

其中,两两相邻的待拼接眼底彩色照相图像进行拼接的方法为:

通过相位相关法,确定两张待拼接眼底彩色照相图像的重叠区域;

在两张待拼接眼底彩色照相图像的重叠区域内,用Hessian矩阵提取图像的特征点,作为视网膜特征点;

基于所述视网膜特征点确定两张待拼接眼底彩色照相图像之间的相对位移量,基于所述相对位移量对两张待拼接眼底彩色照相图像进行配准;确定两张待拼接眼底彩色照相图像之间的相对位移量的方法为:构建坐标系,分别确定两张待拼接眼底彩色照相图像视网膜特征点的坐标,将每一对视网膜特征点对应的横坐标和纵坐标相减,得到多组位置偏移量,将多组位置偏移量进行异常值排除后求均值,得到两张待拼接眼底彩色照相图像之间的相对位移量;

对配准后的两张待拼接眼底彩色照相图像进行加权融合,得到拼接后的眼底彩色照相图像;

步骤4、将步骤2和步骤3得到的待拼接眼底彩色照相图像序列中拼接后的眼底彩色照相图像作为最终眼底拼接图。

2.根据权利要求1所述的一种基于视网膜特征点的眼底彩色照相图像拼接方法,其特征在于,所述步骤1中,对若干张不同方位的眼底彩色照相图像按照区域进行分类筛选的方法为:对若干张不同方位的眼底彩色照相图像进行相似度评价,将相似度超过预设阈值的眼底彩色照相图像划分为同一类眼底彩色照相图像;

对同一类眼底彩色照相图像中的每张眼底彩色照相图像进行清晰度评价,依据清晰度评价结果,选取每一类眼底彩色照相图像中最清晰的眼底彩色照相图像。

3.根据权利要求2所述的一种基于视网膜特征点的眼底彩色照相图像拼接方法,其特征在于,对若干张不同方位的眼底彩色照相图像进行相似度评价的方法为:对每两张眼底彩色照相图像进行灰度化处理;

将所述两张眼底彩色照相图像的所有像素值沿纵向进行求和得到像素值集合;

根据所述像素值集合计算皮尔森相关系数,作为相似度两张图像之间的相似度。

4.根据权利要求2所述的一种基于视网膜特征点的眼底彩色照相图像拼接方法,其特征在于,对同一类眼底彩色照相图像中的每张眼底彩色照相图像进行清晰度评价的方法为:采用边缘检测算子计算每张眼底彩色照相图像的所有像素点的梯度值;

将每张眼底彩色照相图像的所有像素点的梯度值归一化;

计算每张眼底彩色照相图像的所有像素点归一化后的梯度值的平均值,作为清晰度评价结果。

5.一种基于视网膜特征点的眼底彩色照相图像拼接系统,其特征在于,包括:图像预处理模块,用于获取若干张不同方位的眼底彩色照相图像,对若干张不同方位的眼底彩色照相图像按照区域进行分类筛选,并将分类筛选得到的眼底彩色照相图像按照图像之间的区域关系进行排序,得到待拼接眼底彩色照相图像序列;

判断模块,用于判断待拼接眼底彩色照相图像序列中的图像个数是否大于等于2,若是,则执行拼接模块,否则执行最终图像确定模块;

拼接模块,用于对待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像进行拼接,得到拼接后的眼底彩色照相图像;将拼接后的眼底彩色照相图像替换待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像,构成新的待拼接眼底彩色照相图像序列,并返回判断模块;

其中,两两相邻的待拼接眼底彩色照相图像进行拼接的方法为:

通过相位相关法,确定两张待拼接眼底彩色照相图像的重叠区域;

在两张待拼接眼底彩色照相图像的重叠区域内,用Hessian矩阵提取图像的特征点,作为视网膜特征点;

基于所述视网膜特征点确定两张待拼接眼底彩色照相图像之间的相对位移量,基于所述相对位移量对两张待拼接眼底彩色照相图像进行配准;确定两张待拼接眼底彩色照相图像之间的相对位移量的方法为:构建坐标系,分别确定两张待拼接眼底彩色照相图像视网膜特征点的坐标,将每一对视网膜特征点对应的横坐标和纵坐标相减,得到多组位置偏移量,将多组位置偏移量进行异常值排除后求均值,得到两张待拼接眼底彩色照相图像之间的相对位移量;

对配准后的两张待拼接眼底彩色照相图像进行加权融合,得到拼接后的眼底彩色照相图像;

最终图像确定模块,用于将判断模块和拼接模块得到的待拼接眼底彩色照相图像序列中拼接后的眼底彩色照相图像作为最终眼底拼接图。

说明书 :

基于视网膜特征点的眼底彩色照相图像拼接方法及系统

技术领域

[0001] 本发明涉及图像拼接技术领域,更具体的说是涉及一种基于视网膜特征点的眼底彩色照相图像拼接方法及系统。

背景技术

[0002] 眼睛是人的视觉器官,在眼科的临床诊断和治疗中,眼底彩色照相图像具有重要的参考价值。临床上,眼底指的是由视网膜、脉络膜、巩膜和视神经球内段所组成的眼球壁以及与之联系密切的玻璃体的总称。
[0003] 眼底彩色照相图像拼接技术主要包括图像配准和图像融合两部分。其中眼底彩色照相图像配准又主要分为两类:基于灰度信息的图像配准和基于特征的图像配准。在眼底彩色照相图像融合方面,眼底彩色照相图像融合的主要目的是完成图像间平滑过渡的同时保留眼底彩色照相图像信息。目前,如何更好地对多幅眼底彩色照相图像进行融合处理一直是眼底彩色照相图像融合的重点和难点。
[0004] 现有的图像拼接方式大多是选取一种具有代表性的基准图,并在基础上将其他待拼接图像与该基准图像进行拼接,而该方式容易导致重叠区域并非完全性的规则矩形区域,可能是复杂的不规则多区域、多边形背景,限制了待拼接图像拼入的位置以及拼接效果,容易产生拼缝,融合性能不佳等问题。因此,如何解决眼底彩色照相图像拼接时重叠区域不规则、融合效果不佳的情况,是本领域技术人员亟需解决的问题。

发明内容

[0005] 有鉴于此,本发明提供了一种基于视网膜特征点的眼底彩色照相图像拼接方法及系统。
[0006] 为了实现上述目的,本发明提供如下技术方案:
[0007] 一种基于视网膜特征点的眼底彩色照相图像拼接方法,包括以下步骤:
[0008] 步骤1、获取若干张不同方位的眼底彩色照相图像,对若干张不同方位的眼底彩色照相图像按照区域进行分类筛选,并将分类筛选得到的眼底彩色照相图像按照图像之间的区域关系进行排序,得到待拼接眼底彩色照相图像序列;
[0009] 步骤2、判断待拼接眼底彩色照相图像序列中的图像个数是否大于等于2,若是,则进入步骤3,否则进入步骤4;
[0010] 步骤3、对待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像进行拼接,得到拼接后的眼底彩色照相图像;将拼接后的眼底彩色照相图像替换待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像,构成新的待拼接眼底彩色照相图像序列,并返回步骤2;
[0011] 步骤4、将步骤2和步骤3得到的待拼接眼底彩色照相图像序列中拼接后的眼底彩色照相图像作为最终眼底拼接图。
[0012] 可选的,所述步骤1中,对若干张不同方位的眼底彩色照相图像按照区域进行分类筛选的方法为:
[0013] 对若干张不同方位的眼底彩色照相图像进行相似度评价,将相似度超过预设阈值的眼底彩色照相图像划分为同一类眼底彩色照相图像;
[0014] 对同一类眼底彩色照相图像中的每张眼底彩色照相图像进行清晰度评价,依据清晰度评价结果,选取每一类眼底彩色照相图像中最清晰的眼底彩色照相图像。
[0015] 可选的,对若干张不同方位的眼底彩色照相图像进行相似度评价的方法为:
[0016] 对每两张眼底彩色照相图像进行灰度化处理;
[0017] 将所述两张眼底彩色照相图像的所有像素值沿纵向进行求和得到像素值集合;
[0018] 根据所述像素值集合计算皮尔森相关系数,作为相似度两张图像之间的相似度。
[0019] 可选的,对同一类眼底彩色照相图像中的每张眼底彩色照相图像进行清晰度评价的方法为:
[0020] 采用边缘检测算子计算每张眼底彩色照相图像的所有像素点的梯度值;
[0021] 将每张眼底彩色照相图像的所有像素点的梯度值归一化;
[0022] 计算每张眼底彩色照相图像的所有像素点归一化后的梯度值的平均值,作为清晰度评价结果。
[0023] 可选的,所述步骤3中,两两相邻的待拼接眼底彩色照相图像进行拼接的方法为:
[0024] 确定两张待拼接眼底彩色照相图像的重叠区域;
[0025] 在两张待拼接眼底彩色照相图像的重叠区域内提取视网膜特征点;
[0026] 基于所述视网膜特征点确定两张待拼接眼底彩色照相图像之间的相对位移量,基于所述相对位移量对两张待拼接眼底彩色照相图像进行配准;
[0027] 对配准后的两张待拼接眼底彩色照相图像进行加权融合,得到拼接后的眼底彩色照相图像。
[0028] 可选的,确定两张待拼接眼底彩色照相图像的重叠区域的方法为:通过相位相关法,确定两张待拼接眼底彩色照相图像的重叠区域。
[0029] 可选的,提取视网膜特征点的方法为:用Hessian矩阵提取图像的特征点,作为视网膜特征点。
[0030] 可选的,确定两张待拼接眼底彩色照相图像之间的相对位移量的方法为:构建坐标系,分别确定两张待拼接眼底彩色照相图像视网膜特征点的坐标,将每一对视网膜特征点对应的横坐标和纵坐标相减,得到多组位置偏移量,将多组位置偏移量进行异常值排除后求均值,得到两张待拼接眼底彩色照相图像之间的相对位移量。
[0031] 一种基于视网膜特征点的眼底彩色照相图像拼接系统,包括:
[0032] 图像预处理模块,用于获取若干张不同方位的眼底彩色照相图像,对若干张不同方位的眼底彩色照相图像按照区域进行分类筛选,并将分类筛选得到的眼底彩色照相图像按照图像之间的区域关系进行排序,得到待拼接眼底彩色照相图像序列;
[0033] 判断模块,用于判断待拼接眼底彩色照相图像序列中的图像个数是否大于等于2,若是,则执行拼接模块,否则执行最终图像确定模块;
[0034] 拼接模块,用于对待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像进行拼接,得到拼接后的眼底彩色照相图像;将拼接后的眼底彩色照相图像替换待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像,构成新的待拼接眼底彩色照相图像序列,并返回判断模块;
[0035] 最终图像确定模块,用于将判断模块和拼接模块得到的待拼接眼底彩色照相图像序列中拼接后的眼底彩色照相图像作为最终眼底拼接图。
[0036] 经由上述的技术方案可知,本发明提供了一种基于视网膜特征点的眼底彩色照相图像拼接方法及系统,与现有技术相比,具有以下有益效果:
[0037] 本发明选取各区域的图像中具有代表性的清晰图像作为待拼接眼底彩色照相图像,一方面减少了数据处理量,提高了处理速度,另一方面避免了低质量眼底彩色照相图像对最终眼底拼接图产生负面影响,提高了成像质量。
[0038] 本发明通过上述方式筛选出各个区域的代表性图像构建待拼接眼底彩色照相图像序列,之后通过循环方式将两两相邻图像进行拼接,而不是直接将所有的图像同时进行融合。本发明通过该方式进行图像拼接,能够使每一次循环过程中两两相邻的带拼接眼底彩色照相图像的重叠区域是规则图像,有利于提高图像的融合效果。
[0039] 本发明按照上述方式直到所有图像拼接完毕,即待拼接眼底彩色照相图像序列只剩下一个图像,此时得到的图像即为最终眼底拼接图。其中本发明对图像进行拼接的方法是基于图像重叠区域中的视网膜特征点进行图像配准,并在此基础上进行加权融合,使得到的眼底拼接图像的拼接区域更加自然流畅。

附图说明

[0040] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
[0041] 图1为本发明的方法步骤示意图;
[0042] 图2为本发明的系统模块示意图。

具体实施方式

[0043] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0044] 本发明实施例公开了一种基于视网膜特征点的眼底彩色照相图像拼接方法,参见图1,包括以下步骤:
[0045] 步骤1、获取若干张不同方位的眼底彩色照相图像,对若干张不同方位的眼底彩色照相图像按照区域进行分类筛选,并将分类筛选得到的眼底彩色照相图像按照图像之间的区域关系进行排序,得到待拼接眼底彩色照相图像序列。
[0046] 其中,所获取的若干张不同方位的眼底彩色照相图像至少包括拍摄的眼底各个区域的图像,且每个区域的图像至少2张。具体的,所述步骤1包括以下内容:
[0047] 步骤1.1、对所述若干张不同方位的眼底彩色照相图像进行相似度评价,将相似度超过预设阈值的眼底彩色照相图像划分为同一类眼底彩色照相图像,即将同一区域的眼底彩色照相图像划分为同一类眼底彩色照相图像。
[0048] 对若干张不同方位的眼底彩色照相图像进行相似度评价的方法可以为:对每两张眼底彩色照相图像进行灰度化处理;将所述两张眼底彩色照相图像的所有像素值沿纵向进行求和得到像素值集合;根据所述像素值集合计算皮尔森相关系数,作为相似度两张图像之间的相似度。
[0049] 在具体实施过程中,除了上述皮尔森相关系数法之外,还可通过欧几里德距离、余弦相似度等进行相似度评价,本发明对此不做限制。
[0050] 步骤1.2、对同一类眼底彩色照相图像中的每张眼底彩色照相图像进行清晰度评价,依据清晰度评价结果,选取每一类眼底彩色照相图像中最清晰的眼底彩色照相图像。
[0051] 对同一类眼底彩色照相图像中的每张眼底彩色照相图像进行清晰度评价的方法可以为:采用边缘检测算子计算每张眼底彩色照相图像的所有像素点的梯度值;将每张眼底彩色照相图像的所有像素点的梯度值归一化;计算每张眼底彩色照相图像的所有像素点归一化后的梯度值的平均值,作为清晰度评价结果。
[0052] 同时还可选用其他算法评价图像的清晰度。
[0053] 步骤1.3、将分类筛选得到的眼底彩色照相图像按照图像之间的区域关系进行排序,得到待拼接眼底彩色照相图像序列。
[0054] 在具体拼接过程中,优选按照先拼接后极部眼底彩色照相图像,后拼接周边部眼底彩色照相图像的顺序进行图像的排序,得到待拼接眼底彩色照相图像序列。
[0055] 步骤2、判断待拼接眼底彩色照相图像序列中的图像个数是否大于等于2,若是,则进入步骤3,否则进入步骤4。本步骤的目的在于通过循环方式对序列中的图像进行两两拼接,每次得到的新序列中图像数量必定少于原序列中的数量,按照该方式进行循环,知道序列中仅剩一张图像时,即结束循环,进入步骤4。
[0056] 步骤3、对待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像进行拼接,得到拼接后的眼底彩色照相图像;将拼接后的眼底彩色照相图像替换待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像,构成新的待拼接眼底彩色照相图像序列,并返回步骤2。
[0057] 其中,两两相邻的待拼接眼底彩色照相图像进行拼接的方法为:
[0058] 步骤3.1、通过相位相关法,确定两张待拼接眼底彩色照相图像的重叠区域;
[0059] 步骤3.2、用Hessian矩阵在两张待拼接眼底彩色照相图像的重叠区域内提取视网膜特征点;
[0060] 步骤3.3、基于所述视网膜特征点确定两张待拼接眼底彩色照相图像之间的相对位移量,基于所述相对位移量对两张待拼接眼底彩色照相图像进行配准;
[0061] 确定两张待拼接眼底彩色照相图像之间的相对位移量的方法可以为:构建坐标系,分别确定两张待拼接眼底彩色照相图像视网膜特征点的坐标,将每一对视网膜特征点对应的横坐标和纵坐标相减,得到多组位置偏移量,将多组位置偏移量进行异常值排除后求均值,得到两张待拼接眼底彩色照相图像之间的相对位移量;
[0062] 步骤3.4、对配准后的两张待拼接眼底彩色照相图像进行加权融合,得到拼接后的眼底彩色照相图像。
[0063] 步骤4、将步骤2和步骤3得到的待拼接眼底彩色照相图像序列中仅剩的一张拼接后的眼底彩色照相图像作为最终眼底拼接图,并进行输出显示。
[0064] 一种基于视网膜特征点的眼底彩色照相图像拼接系统,参见图2,包括:
[0065] 图像预处理模块,用于获取若干张不同方位的眼底彩色照相图像,对若干张不同方位的眼底彩色照相图像按照区域进行分类筛选,并将分类筛选得到的眼底彩色照相图像按照图像之间的区域关系进行排序,得到待拼接眼底彩色照相图像序列;
[0066] 判断模块,用于判断待拼接眼底彩色照相图像序列中的图像个数是否大于等于2,若是,则执行拼接模块,否则执行最终图像确定模块;
[0067] 拼接模块,用于对待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像进行拼接,得到拼接后的眼底彩色照相图像;将拼接后的眼底彩色照相图像替换待拼接眼底彩色照相图像序列中两两相邻的待拼接眼底彩色照相图像,构成新的待拼接眼底彩色照相图像序列,并返回判断模块;
[0068] 最终图像确定模块,用于将判断模块和拼接模块得到的待拼接眼底彩色照相图像序列中拼接后的眼底彩色照相图像作为最终眼底拼接图。
[0069] 对于实施例公开的系统模块而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0070] 本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
[0071] 对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。