胶囊内窥镜无参考图像评价方法、电子设备及介质转让专利

申请号 : CN202010992105.5

文献号 : CN111932532B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘慧张行袁文金黄志威张皓

申请人 : 安翰科技(武汉)股份有限公司

摘要 :

本发明提供了一种胶囊内窥镜无参考图像评价方法、电子设备及介质,所述方法包括:获取对应原始图像的图像质量评价分值和图像内容评价分值;根据图像内容评价分值和图像质量评价分值的加权值确定当前待评价图像的综合分值。本发明的胶囊内窥镜无参考图像评价方法、电子设备及可读存储介质,采用不同的评价模型对同一检测部位的多张原始图像分别进行图像质量评价和图像内容评价;进一步的,综合图像质量评价和图像内容评价的分值分别对同一部位的多张原始图像进行综合评分;进而通过图像的综合评分可以快速筛选出较佳的图像,如此,可对原始图像进行快速筛选,提升识别精度。

权利要求 :

1.一种胶囊内窥镜无参考图像评价方法,其特征在于,所述方法包括:将原始图像分别输入预设的图像质量评价模型和预设的图像内容评价模型,以获取对应原始图像的图像质量评价分值和图像内容评价分值;

根据所述图像内容评价分值和图像质量评价分值的加权值确定当前待评价图像的综合分值,所述加权值对应的加权系数根据图像质量评价分值的比重确定;

所述图像内容评价模型的构建方法包括:分别解析每幅原始图像以提取其所对应的图像内容评价特征值,所述图像内容评价特征值包括:点状杂质数量fc4;

将原始图像按照预定比例分为第二训练集和第二测试集,使用支持向量机对第二训练集的数据进行训练,以所述第二测试集的数据进行验证,得到图像内容评价模型;所述第二训练集的数据和所述第二测试集的数据均包括原始图像对应的图像内容计算分值和图像内容评价特征值;

点状杂质数量fc4的提取方式包括:

对彩色的预处理内容图像做灰度化处理形成第二灰度图像;

以预设滤波模板为滤波窗口滑动处理所述第二灰度图像形成窗图像;

对所述窗图像做二值化处理得到二值化图像,所述二值化图像中点状杂质被赋值为1,其他区域赋值为0;

统计数值1的像素点的数量作为点状杂质数量fc4;

其中,若所述点状杂质数量fc4大于预设第九数值,则将点状杂质数量fc4的值调整为N,N取值范围是[0,30];根据彩色的预处理内容图像中R通道和G通道各像素点的值计算第九数值;第九数值thre=mean(Ir)-mean(Ig),mean表示求均值,Ir为R通道中各个像素点的值,Ig为G通道中各个像素点的值。

2.根据权利要求1所述的胶囊内窥镜无参考图像评价方法,其特征在于,所述图像质量评价模型的构建方法包括:分别解析每幅原始图像以提取其所对应的图像质量评价特征值,所述图像质量评价特征值包括:第一过度曝光像素点的占比fb1,第一暗像素的占比fb2,高频系数的占比fb3,通过无参考的空间域图像质量评估算法BRISQUE获得的特征值fbri至少其中之一;

将原始图像按照预定比例分为第一训练集和第一测试集,使用支持向量机对第一训练集的数据进行训练,以所述第一测试集的数据进行验证,得到图像质量评价模型;

其中,所述第一训练集的数据和所述第一测试集的数据均包括原始图像对应的图像质量计算分值和图像质量评价特征值。

3.根据权利要求2所述的胶囊内窥镜无参考图像评价方法,其特征在于, 分别解析每幅原始图像以提取其所对应的图像质量评价特征值之前,所述方法还包括:以原始图像的中心为中心点,预设尺寸[W,H]对原始图像进行裁剪,获取用于提取图像质量评价特征值的预处理质量图像;其中,W [1/4*M,5/6*M],H [1/4*N,5/6*N],[M,N]表示原始图像的尺寸;

分别解析每幅预处理质量图像以提取其所对应的图像质量评价特征值之后,所述方法还包括:将每一图像质量评价特征值归一化至其所对应的预设归一化区间内。

4.根据权利要求3所述的胶囊内窥镜无参考图像评价方法,其特征在于,第一过度曝光像素点的占比fb1的提取方式包括:对彩色的预处理质量图像做灰度化处理形成第一灰度图像;

若第一灰度图像上的像素点的灰度值处于预设第一曝光灰度值范围内,则将当前像素点作为过度曝光像素点;

将过度曝光像素点的数量总和与第一灰度图像上像素点的数量总和的比值作为第一过度曝光像素点的占比fb1。

5.根据权利要求4所述的胶囊内窥镜无参考图像评价方法,其特征在于,所述方法还包括:若所述第一过度曝光像素点的占比fb1小于预设第四数值,则将第一过度曝光像素点的占比fb1的值调整为0。

6.根据权利要求3所述的胶囊内窥镜无参考图像评价方法,其特征在于,第一暗像素的占比fb2的提取方式包括:对彩色的预处理质量图像做灰度化处理形成第一灰度图像;

若第一灰度图像上的像素点的灰度值处于预设第一暗像素范围内,则将当前像素点作为暗像素点;

将暗像素点的数量总和与第一灰度图像上像素点的数量总和的比值作为第一暗像素的占比fb2。

7.根据权利要求6所述的胶囊内窥镜无参考图像评价方法,其特征在于,所述方法还包括:若所述第一暗像素的占比fb2不大于预设第五数值,则将第一暗像素的占比fb2的值调整为0。

8.根据权利要求3所述的胶囊内窥镜无参考图像评价方法,其特征在于,高频系数的占比fb3的提取方式包括:对彩色的预处理质量图像做灰度化处理形成第一灰度图像;

对第一灰度图像进行分块DCT变换,以获取高频系数的占比fb3;

即:fb3=length(Y

I_gray表示第一灰度图像;

dct(I_gray,block)代表对第一灰度图像I_gray以大小block做二维DCT变换;

block=[WD,HD],表示第一灰度图像的分块大小,在不超过第一灰度图像大小的前提下,WD,HDϵ[2,2^2,2^3,…,2^n];

ln代表以e为底的自然对数变换;

length(Y

9.根据权利要求1所述的胶囊内窥镜无参考图像评价方法,其特征在于,所述图像内容评价特征值还包括:非红色像素占比fc1,第二过度曝光像素点的占比fc2,第二暗像素的占比fc3,颜色特征至少其中之一;所述颜色特征包括:第一颜色特征fc5,第二颜色特征fc6,第三颜色特征fc7至少其中之一。

10.根据权利要求9所述的胶囊内窥镜无参考图像评价方法,其特征在于, 分别解析每幅原始图像以提取其所对应的图像内容评价特征值之前,所述方法还包括:以预处理内容图像的中心为中心点,预设尺寸[W,H]对原始图像进行裁剪,获取用于提取图像内容评价特征值的预处理内容图像;其中,W [1/4*M,5/6*M],H [1/4*N,5/6*N],[M,N]表示原始图像的尺寸;

分别解析每幅预处理内容图像以提取其所对应的图像内容评价特征值之后,所述方法还包括:将每一图像内容评价特征值归一化至其所对应的预设归一化区间内。

11.根据权利要求10所述的胶囊内窥镜无参考图像评价方法,其特征在于,非红色像素占比fc1的提取方式包括:将彩色的预处理内容图像从RGB空间转换至HSV空间形成HSV图像;

取HSV图像中每一像素点所对应的H通道的角度度量值做归一化处理后,判断当前像素点对应的、归一化处理后的H通道的角度度量值是否处于预设红色区间内,若是,将当前像素点标识为1,若否,将当前像素点标识为0;

将标识为0的像素点的数量总和与HSV图像上像素点数量总和的比值作为非红色像素占比fc1。

12.根据权利要求11所述的胶囊内窥镜无参考图像评价方法,其特征在于,所述方法还包括:若所述非红色像素占比fc1小于预设第六数值,则将非红色像素占比fc1的值调整为0。

13.根据权利要求10所述的胶囊内窥镜无参考图像评价方法,其特征在于,第二过度曝光像素点的占比fc2的提取方式包括:对彩色的预处理内容图像做灰度化处理形成第二灰度图像;

若第二灰度图像上的像素点的灰度值处于预设第二曝光灰度值范围内,则将当前像素点作为过度曝光像素点;

将过度曝光像素点的数量总和与第二灰度图像上像素点数量总和的比值作为第二过度曝光像素点的占比fc2。

14.根据权利要求13所述的胶囊内窥镜无参考图像评价方法,其特征在于,所述方法还包括:若经过统计获取的第二过度曝光像素点的占比fc2小于预设第七数值,则将第二过度曝光像素点的占比fc2的值调整为0。

15.根据权利要求10所述的胶囊内窥镜无参考图像评价方法,其特征在于,第二暗像素的占比fc3的提取方式包括:对彩色的预处理内容图像做灰度化处理形成第二灰度图像;

若第二灰度图像上的像素点的灰度值处于预设第二暗像素范围内,则将当前像素点作为暗像素点;

将暗像素点的数量总和与第二灰度图像上像素点数量总和的比值作为第二暗像素的占比fc3。

16.根据权利要求15所述的胶囊内窥镜无参考图像评价方法,其特征在于,所述方法还包括:若所述第二暗像素的占比fc3不大于预设第八数值,则将第二暗像素的占比fc3的值调整为0。

17.根据权利要求10所述的胶囊内窥镜无参考图像评价方法,其特征在于,颜色特征的提取方式包括:将彩色的预处理内容图像从RGB空间转换至HSV空间形成HSV图像;

分别获取彩色的预处理内容图像中R通道和G通道的值,以及获取HSV图像中S通道的值;则fc5=mean(Ir)-mean(Ig),

fc6=(mean(Ir))/(mean(Ig)),

fc7=(mean(Ir))/(mean(Is));

其中,mean表示求均值,Ir为R通道中各个像素点的值,Ig为G通道中各个像素点的值,Is为S通道中各个像素点的值。

18.根据权利要求2至17任一项所述的胶囊内窥镜无参考图像评价方法,其特征在于,图像质量评价模型、图像内容评价模型建立之前,所述方法还包括:对m幅原始图像分别采用n组规则进行初次评分,形成m*n组评价分值数据;

对m*n组评价分值数据做标准化处理,以获取m*n组标准分值xmn';

xmn'=(xmn-μm)/σm,xmn表示采用任一规则对任一原始图像的初次评分;μm代表基于形成xmn的规则对应m组原始图像分别获得的m次初次评分的均值;

σm代表基于形成xmn的规则对应m组原始图像分别获得的m次初次评分的方差;

剔除m*n组评价分值数据中标准分值为异常值的数据,保留标准分值为有效值的数据;

若(xmn'-μn)/σn>score,score≥μn-3×σn,则确认当前标准分值为异常值;若(xmn'-μn)/σn≤score,则确认当前标准分值为有效值;μn代表基于形成xmn'的原始图像采用n组规则分别获得的n次初次评分的均值;σn代表基于形成xmn'的原始图像采用n组规则分别获得的n次初次评分的方差;

对应每一原始图像,将其所对应、且为有效值的标准分值取平均值、中值、加权值中其中之一,作为当前原始图像所对应的评价分值,所述评价分值包括:图像质量计算分值或图像内容计算分值。

19.一种电子设备,包括存储器和处理器,所述存储器存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-18任意一项所述胶囊内窥镜无参考图像评价方法中的步骤。

20.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-18任意一项所述胶囊内窥镜无参考图像评价方法中的步骤。

说明书 :

胶囊内窥镜无参考图像评价方法、电子设备及介质

技术领域

[0001] 本发明涉及医疗设备成像领域,尤其涉及一种胶囊内窥镜无参考图像评价方法、电子设备及介质。

背景技术

[0002] 胶囊内窥镜是一种医疗设备,胶囊内窥镜将摄像头、无线传输天线等核心器件集成于一个可被人体吞咽的胶囊内,在进行检查过程中,将胶囊内窥镜吞入体内,内窥镜在体内采集消化道图像并同步传送到体外,以根据获得的图像数据进行医疗检查。
[0003] 胶囊内窥镜针对同一检测部位通常会瞬时获取多张图像,现有技术中,需要医护人员对所有图像的图像质量进行主观评价并且给出一个分值,用于标识该图像的质量;医护人员辅助评价,通常是对图像的清洁度、清晰度进行综合评分。
[0004] 然而,在上述图像拍摄过程中,其自动化的拍摄方式禁止在拍摄过程中由人工干预调焦曝光等操作,如此,导致采集到的图像质量参差不齐,同时,胶囊图像的拍摄环境复杂,常常伴随着粘液胆汁等杂质,且因人而异,如此,仅对图像质量进行主观评价难以筛选出质量最佳的图像。

发明内容

[0005] 为解决上述技术问题,本发明的目的在于提供一种胶囊内窥镜无参考图像评价方法、电子设备及介质。
[0006] 为了实现上述发明目的之一,本发明一实施方式提供一种胶囊内窥镜无参考图像评价方法,所述方法包括: 将原始图像分别输入预设的图像质量评价模型和预设的图像内容评价模型,以获取对应原始图像的图像质量评价分值和图像内容评价分值;
[0007] 根据所述图像内容评价分值和图像质量评价分值的加权值确定当前待评价图像的综合分值,所述加权值对应的加权系数根据图像质量评价分值的比重确定。
[0008] 作为本发明一实施方式的进一步改进,所述图像质量评价模型的构建方法包括:
[0009] 分别解析每幅原始图像以提取其所对应的图像质量评价特征值,所述图像质量评价特征值包括:第一过度曝光像素点的占比fb1,第一暗像素的占比fb2,高频系数的占比fb3,通过无参考的空间域图像质量评估算法BRISQUE获得的特征值fbri至少其中之一;
[0010] 将原始图像按照预定比例分为第一训练集和第一测试集,使用支持向量机对第一训练集的数据进行训练,以所述第一测试集的数据进行验证,得到图像质量评价模型;
[0011] 其中,所述第一训练集的数据和所述第一测试集的数据均包括原始图像对应的图像质量计算分值和图像质量评价特征值。
[0012] 作为本发明一实施方式的进一步改进,分别解析每幅预处理质量图像以提取其所对应的图像质量评价特征值之前,所述方法还包括:
[0013] 以原始图像的中心为中心点,预设尺寸[W,H]对预处理质量图像进行裁剪,获取用于提取图像质量评价特征值的新的预处理质量图像;
[0014] 其中,W [1/4*M,5/6*M],H [1/4*N,5/6*N],[M,N]表示原始的预处理质量图像的尺寸;
[0015] 分别解析每幅预处理质量图像以提取其所对应的图像质量评价特征值之后,所述方法还包括:
[0016] 将每一图像质量评价特征值归一化至其所对应的预设归一化区间内。
[0017] 作为本发明一实施方式的进一步改进,第一过度曝光像素点的占比fb1的提取方式包括:
[0018] 对彩色的预处理质量图像做灰度化处理形成第一灰度图像;
[0019] 若第一灰度图像上的像素点的灰度值处于预设第一曝光灰度值范围内,则将当前像素点作为过度曝光像素点;
[0020] 将过度曝光像素点的数量总和与第一灰度图像上像素点的数量总和的比值作为第一过度曝光像素点的占比fb1。
[0021] 作为本发明一实施方式的进一步改进,所述方法还包括:
[0022] 若所述第一过度曝光像素点的占比fb1小于预设第四数值,则将第一过度曝光像素点的占比fb1的值调整为0。
[0023] 作为本发明一实施方式的进一步改进,第一暗像素的占比fb2的提取方式包括:
[0024] 对彩色的预处理质量图像做灰度化处理形成第一灰度图像;
[0025] 若第一灰度图像上的像素点的灰度值处于预设第一暗像素范围内,则将当前像素点作为暗像素点;
[0026] 将暗像素点的数量总和与第一灰度图像上像素点的数量总和的比值作为第一暗像素的占比fb2。
[0027] 作为本发明一实施方式的进一步改进,所述方法还包括:
[0028] 若所述第一暗像素的占比fb2不大于预设第五数值,则将第一暗像素的占比fb2的值调整为0。
[0029] 作为本发明一实施方式的进一步改进,高频系数的占比fb3的提取方式包括:
[0030] 对彩色的预处理质量图像做灰度化处理形成第一灰度图像;
[0031] 对第一灰度图像进行分块DCT变换,以获取高频系数的占比fb3;
[0032] 即:fb3=length(Y
[0033] I_gray表示第一灰度图像;
[0034] dct(I_gray,block)代表对第一灰度图像I_gray以大小block做二维DCT变换;
[0035] block=[WD,HD],表示第一灰度图像的分块大小,在不超过第一灰度图像大小的前提下,WD,HDϵ[2,2^2,2^3,…,2^n];
[0036] ln代表以e为底的自然对数变换;
[0037] length(Y
[0038] 作为本发明一实施方式的进一步改进,所述图像内容评价模型的构建方法包括:
[0039] 分别解析每幅原始图像以提取其所对应的图像内容评价特征值,所述图像内容评价特征值包括:非红色像素占比fc1,第二过度曝光像素点的占比fc2,第二暗像素的占比fc3,点状杂质数量fc4,颜色特征至少其中之一;所述颜色特征包括:第一颜色特征fc5,第二颜色特征fc6,第三颜色特征fc7至少其中之一;
[0040] 将原始图像按照预定比例分为第二训练集和第二测试集,使用支持向量机对第二训练集的数据进行训练,以所述第二测试集的数据进行验证,得到图像内容评价模型;
[0041] 其中,所述第二训练集的数据和所述第二测试集的数据均包括原始图像对应的图像质量计算分值和图像内容评价特征值。
[0042] 作为本发明一实施方式的进一步改进,分别解析每幅原始图像以提取其所对应的图像内容评价特征值之前,所述方法还包括:
[0043] 以预处理内容图像的中心为中心点,预设尺寸[W,H]对预处理质量图像进行裁剪,获取用于提取图像内容评价特征值的预处理内容图像;
[0044] 其中,W [1/4*M,5/6*M],H [1/4*N,5/6*N],[M,N]表示原始图像的尺寸;
[0045] 分别解析每幅预处理内容图像以提取其所对应的图像内容评价特征值之后,所述方法还包括:
[0046] 将每一图像内容评价特征值归一化至其所对应的预设归一化区间内。
[0047] 作为本发明一实施方式的进一步改进,非红色像素占比fc1的提取方式包括:
[0048] 将彩色的预处理内容图像从RGB空间转换至HSV空间形成HSV图像;
[0049] 取HSV图像中每一像素点所对应的H通道的角度度量值做归一化处理后,判断当前像素点对应的、归一化处理后的H通道的角度度量值是否处于预设红色区间内,若是,将当前像素点标识为1,若否,将当前像素点标识为0;
[0050] 将标识为0的像素点的数量总和与HSV图像上像素点数量总和的比值作为非红色像素占比fc1。
[0051] 作为本发明一实施方式的进一步改进,所述方法还包括:
[0052] 若所述非红色像素占比fc1小于预设第六数值,则将非红色像素占比fc1的值调整为0。
[0053] 作为本发明一实施方式的进一步改进,第二过度曝光像素点的占比fc2的提取方式包括:
[0054] 对彩色的预处理内容图像做灰度化处理形成第二灰度图像;
[0055] 若第二灰度图像上的像素点的灰度值处于预设第二曝光灰度值范围内,则将当前像素点作为过度曝光像素点;
[0056] 将过度曝光像素点的数量总和与第二灰度图像上像素点数量总和的比值作为第二过度曝光像素点的占比fc2。
[0057] 作为本发明一实施方式的进一步改进,所述方法还包括:
[0058] 若经过统计获取的第二过度曝光像素点的占比fc2小于预设第七数值,则将第二过度曝光像素点的占比fc2的值调整为0。
[0059] 作为本发明一实施方式的进一步改进,第二暗像素的占比fc3的提取方式包括:
[0060] 对彩色的预处理内容图像做灰度化处理形成第二灰度图像;
[0061] 若第二灰度图像上的像素点的灰度值处于预设第二暗像素范围内,则将当前像素点作为暗像素点;
[0062] 将暗像素点的数量总和与第二灰度图像上像素点数量总和的比值作为第二暗像素的占比fc3。
[0063] 作为本发明一实施方式的进一步改进,所述方法还包括:
[0064] 若所述第二暗像素的占比fc3不大于预设第八数值,则将第二暗像素的占比fc3的值调整为0。
[0065] 作为本发明一实施方式的进一步改进,点状杂质数量fc4的提取方式包括:
[0066] 对彩色的预处理内容图像做灰度化处理形成第二灰度图像;
[0067] 以预设滤波模板为滤波窗口滑动处理所述第二灰度图像形成窗图像;
[0068] 对所述窗图像做二值化处理得到二值化图像,所述二值化图像中点状杂质被赋值为1,其他区域赋值为0;
[0069] 统计数值1的像素点的数量作为点状杂质数量fc4。
[0070] 作为本发明一实施方式的进一步改进,所述方法还包括:
[0071] 若所述点状杂质数量fc4大于预设第九数值,则将点状杂质数量fc4的值调整为N,N取值范围是[0,30];
[0072] 其中,根据彩色的预处理内容图像中R通道和G通道各像素点的值计算第九数值;
[0073] 第九数值thre=mean(Ir)-mean(Ig),mean表示求均值,Ir为R通道中各个像素点的值,Ig为G通道中各个像素点的值。
[0074] 作为本发明一实施方式的进一步改进,颜色特征的提取方式包括:
[0075] 将彩色的预处理内容图像从RGB空间转换至HSV空间形成HSV图像;
[0076] 分别获取彩色的预处理内容图像中R通道和G通道的值,以及获取HSV图像中S通道的值;
[0077] 则fc5=mean(Ir)-mean(Ig),
[0078] fc6=(mean(Ir))/(mean(Ig)),
[0079] fc7=(mean(Ir))/(mean(Is));
[0080] 其中,mean表示求均值,Ir为R通道中各个像素点的值,Ig为G通道中各个像素点的值,Is为S通道中各个像素点的值。
[0081] 作为本发明一实施方式的进一步改进,图像质量评价模型、图像内容评价模型建立之前,所述方法还包括:
[0082] 对m幅原始图像分别采用n组规则进行初次评分,形成m*n组评价分值数据;
[0083] 对m*n组评价分值数据做标准化处理,以获取m*n组标准分值xmn';
[0084] xmn'=(xmn-μm)/σm,xmn表示采用任一规则对任一原始图像的初次评分;μm代表基于形成xmn的规则对应m组原始图像分别获得的m次初次评分的均值;
[0085] σm代表基于形成xmn的规则对应m组原始图像分别获得的m次初次评分的方差;
[0086] 剔除m*n组评价分值数据中标准分值为异常值的数据,保留标准分值为有效值的数据;
[0087] 若(xmn'-μn)/σn>score,score≥μn-3×σn,则确认当前标准分值为异常值;若(xmn'-μn)/σn≤score,则确认当前标准分值为有效值;
[0088] μn代表基于形成xmn'的原始图像采用n组规则分别获得的n次初次评分的均值;σn代表基于形成xmn'的原始图像采用n组规则分别获得的n次初次评分的方差;
[0089] 对应每一原始图像,将其所对应、且为有效值的标准分值取平均值、中值、加权值中其中之一,作为当前原始图像所对应的评价分值,所述评价分值包括:图像质量计算分值或图像内容计算分值。
[0090] 为了解决上述发明目的之一,本发明一实施方式提供一种电子设备,包括存储器和处理器,所述存储器存储有可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述胶囊内窥镜无参考图像评价方法中的步骤。
[0091] 为了解决上述发明目的之一,本发明一实施方式提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述胶囊内窥镜无参考图像评价方法中的步骤。
[0092] 与现有技术相比,本发明的有益效果是:本发明的胶囊内窥镜无参考图像评价方法、电子设备及可读存储介质,采用不同的评价模型对同一检测部位的多张原始图像分别进行图像质量评价和图像内容评价;进一步的,综合图像质量评价和图像内容评价的分值分别对同一部位的多张原始图像进行综合评分;进而通过图像的综合评分可以快速筛选出较佳的图像,如此,可对原始图像进行快速筛选,提升识别精度。

附图说明

[0093] 图1是本发明第一实施方式胶囊内窥镜无参考图像评价方法的流程示意图;
[0094] 图2是用于生成图1中综合评分的模型基础数据的选取过程的流程示意图;
[0095] 图3是图1中采用的图像质量评价模型的构建方法的流程示意图;
[0096] 图4、图5、图6分别是实现图3中其中一个步骤的较佳实施方式的流程示意图;
[0097] 图7是图1中采用的图像内容评价模型的构建方法的流程示意图;
[0098] 图8、图9、图10、图11分别是实现图7中其中一个步骤的较佳实施方式的流程示意图。

具体实施方式

[0099] 以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明,本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
[0100] 如图1所示,本发明第一实施方式中提供一种胶囊内窥镜无参考图像评价方法,所述方法包括:
[0101] 将原始图像分别输入预设的图像质量评价模型和预设的图像内容评价模型,以获取对应原始图像的图像质量评价分值和图像内容评价分值;根据所述图像内容评价分值和图像质量评价分值的加权值确定当前待评价图像的综合分值,所述加权值对应的加权系数根据图像质量评价分值的比重确定;
[0102] 本发明具体实施方式中,对于原始图像的综合分值,综合采用两种图像分值进行计算,该两种图像的分值分别为图像质量评价分值和图像内容评价分值;在本发明中,所述图像质量评价分值客观评价消化道图像的失真程度,包括噪声、模糊等,针对不同程度的失真客观给出不同的分值;所述图像内容评价分值客观评价消化道图像的有效内容信息,辅助筛除一些清洁度较差的图像。
[0103] 本发明一较佳实施方式中,若图像内容评价分值不大于预设第一数值,或图像内容评价分值不小于预设第三数值、同时图像质量评价分值不大于预设第二数值,则将所述图像内容评价分值作为当前原始图像的综合分值,即所述图像内容评价分值的加权系数值为1,图像质量评价分值的加权系数值为0;若图像内容评价分值大于预设第三数值,同时,图像质量评价分值大于预设第二数值,则将所述图像质量评价分值作为当前原始图像的综合分值;即所述图像内容评价分值的加权系数值为0,图像质量评价分值的加权系数值为1;若图像内容评价分值介于预设第一数值和第三数值之间,则加权值根据实际情况具体设定,其中,预设第一数值<预设第二数值<预设第三数值。
[0104] 本发明一具体示例中,所述图像质量评价分值和所述图像内容评价分值对应的总分均设置为5分,设置预设第一数值的取值为2.2分,预设第二数值为3分,预设第三数值为3.8分; 表示综合分值, 表示图像内容评价分值,
表示图像质量评价分值,表示加权值,在该具体实例中, 具体为图像质
量评价分值的加权系数值, 表示图像内容评价分值的加权系数值;例如 的取值为0.4,则综合分值以公式表示如下:
[0105] 。
[0106] 本发明具体实现方式中,将原始图像输入到预设的图像质量评价模型和预设的图像内容评价模型后,自动生成图像质量评价分值和图像内容评价分值。
[0107] 较佳的,在图像质量评价模型、图像内容评价模型之前,所述方法还包括:选取构建图像质量评价模型、图像内容评价模型的基础数据。
[0108] 结合图2所示,本发明一较佳实现方式中,该基础数据的选取具体包括:S1、对m幅原始图像分别采用n组规则进行初次评分,形成m*n组评价分值数据;
[0109] S2、对m*n组评价分值数据做标准化处理,以获取m*n组标准分值xmn';
[0110] xmn'=(xmn-μm)/σm,xmn表示采用任一规则对任一原始图像的初次评分;μm代表基于形成xmn的规则对应m组原始图像分别获得的m次初次评分的均值;
[0111] σm代表基于形成xmn的规则对应m组原始图像分别获得的m次初次评分的方差;
[0112] S3、剔除m*n组评价分值数据中标准分值为异常值的数据,保留标准分值为有效值的数据;
[0113] 若(xmn'-μn)/σn>score,score≥μn-3×σn,则确认当前标准分值为异常值;若(xmn'-μn)/σn≤score,则确认当前标准分值为有效值;μn代表基于形成xmn'的原始图像采用n组规则分别获得的n次初次评分的均值;σn代表基于形成xmn'的原始图像采用n组规则分别获得的n次初次评分的方差;
[0114] S4、对应每一原始图像,将其所对应、且为有效值的标准分值取平均值、中值、加权值中其中之一,作为当前原始图像所对应的评价分值,所述评价分值包括:图像质量计算分值或图像内容计算分值。本发明可实现方式中,对于步骤S1,可通过人工辅助对m幅原始图像进行初次评分,即n组规则由n个观察者通过主观观察实现;相应的,n个用户分别为m幅原始图像进行图像质量计算分值以及图像质量计算分值的打分操作,n个用户对应原始图像辅助形成的分值即为原始图像的初评分。
[0115] 需要说明的是,所述图像质量计算分值和图像质量评价分值为同一类数值,图像内容计算分值和图像内容评价分值也为同一类数值,其区别在于,前者是在构建模型之前,通过所述规则辅助对原始图像进行打分后,对该分值进行步骤S1-S4处理后所形成;而后者是在构建模型之后,将原始图像输入模型,直接由模型进行打分所形成;在这里,将其以两种命名形式进行区分,以便于理解本发明,在此不做进一步的赘述。
[0116] 对于步骤S2,该具体示例中,标准化处理是对每位观察者给出的分值做标准化处理;在这里,对于步骤S2的公式,每一个观察者分别观察m幅原始图像,以对应m幅原始图像给出m次初次评分,μm表示该组初评分的均值,σm表示该组初评分的方差。
[0117] 对于步骤S3, 该具体示例中,其目的是去除观察者通过主观观察给出的异常值;在这里,对于步骤S3的公式,对应任一原始图像n个观察者分别给出一个初次评分;μn表示该组初评分的均值;σn表示该组初评分的方差。
[0118] 进一步的,胶囊内窥镜图像成像方式特殊,镜头自身凸透镜的特性容易造成该种方式获取的图像桶形畸变;本发明较佳实施方式中,在图像质量评价模型、图像内容评价模型构建之前,为减小畸变对图像拼接带来的影响,所述方法还包括:以原始图像的中心为中心点,预设尺寸[W,H]对原始图像进行裁剪,获取预处理图像;其中,W [1/4*M,5/6*M],H[1/4*N,5/6*N],[M,N]表示原始图像的尺寸;[W,H]为预处理图像的尺寸;所述预处理图像包括:预处理质量图像和预处理内容图像。
[0119] 较佳的,在构建图像质量评价模型和图像内容评价模型时,其采用的图像为预处理图像,其采用的评分数据为对原始分值进行处理后步骤S4获得的分值。
[0120] 需要说明的,本发明下述描述中,所述图像质量评价模型和所述图像内容评价模型均根据获取的预处理图像和其所对应的分值构建,当然,在本发明的其他实施方式中,所述图像质量评价模型和所述图像内容评价模型也均可以根据原始图像和其所对用的分值构建。
[0121] 结合图3所示,较佳的,本发明具体实现方式中,所述图像质量评价模型的构建方法包括:
[0122] M1、分别解析每幅预处理质量图像以提取其所对应的图像质量评价特征值,所述图像质量评价特征值包括:第一过度曝光像素点的占比fb1,第一暗像素的占比fb2,高频系数的占比fb3,通过无参考的空间域图像质量评估算法BRISQUE获得的特征值fbri至少其中之一;M2、将预处理质量图像按照预定比例分为第一训练集和第一测试集,使用支持向量机对第一训练集的数据进行训练,以所述第一测试集的数据进行验证,得到图像质量评价模型;其中,所述第一训练集的数据和所述第一测试集的数据均包括预处理质量图像对应的图像质量计算分值和图像质量评价特征值。
[0123] 较佳的,结合图4所示,对于步骤M1,第一过度曝光像素点的占比fb1的提取方式包括:M111,对彩色的预处理质量图像做灰度化处理形成第一灰度图像;M112,若第一灰度图像上的像素点的灰度值处于预设第一曝光灰度值范围内,则将当前像素点作为过度曝光像素点;M113,将过度曝光像素点的数量总和与第一灰度图像上像素点的数量总和的比值作为第一过度曝光像素点的占比fb1。
[0124] 本发明一具体示例中,所述第一曝光灰度值范围的大小可以根据需要具体调整,例如:其范围设置为[200,255],优选设置为[210,255],本发明一具体示例中,第一曝光灰度值范围设置为[235,254]。
[0125] 进一步的,在步骤M13后,所述方法还包括:若所述第一过度曝光像素点的占比fb1小于预设第四数值,则将第一过度曝光像素点的占比fb1的值调整为0;如此,以排除少量像素点对计算结果的影响,提升计算精确度。
[0126] 本发明可实现方式中,所述第四数值的大小可以根据需要进行设定,在本发明一具体示例中,所述第四数值设置为0.01;
[0127] 以公式表示,fb1的取值可以表示为: 。
[0128] 较佳的,结合图5所示,对于步骤M1,第一暗像素的占比fb2的提取方式包括:M121、对彩色的预处理质量图像做灰度化处理形成第一灰度图像;M122、若第一灰度图像上的像素点的灰度值处于预设第一暗像素范围内,则将当前像素点作为暗像素点;M123、将暗像素点的数量总和与第一灰度图像上像素点的数量总和的比值作为第一暗像素的占比fb2。
[0129] 本发明一具体示例中,所述第一暗像素范围的大小可以根据需要具体调整,例如:其范围设置为[0,120],优选设置为[60,120],本发明一具体示例中,第一暗像素范围设置为[60,77]。
[0130] 进一步的,在步骤M123后,所述方法还包括:若所述第一暗像素的占比fb2不大于预设第五数值,则将第一暗像素的占比fb2的值调整为0;如此,以排除少量像素点对计算结果的影响,提升计算精确度。
[0131] 本发明可实现方式中,所述第五数值的大小可以根据需要进行设定,在本发明一具体示例中,所述第五数值设置为0.2;
[0132] 以公式表示,fb2的取值可以表示为: 。
[0133] 较佳的,结合图6所示,对于步骤M1,高频系数的占比fb3的提取方式包括:M131、对彩色的预处理质量图像做灰度化处理形成第一灰度图像;M132、对第一灰度图像进行分块DCT变换,以获取高频系数的占比fb3;
[0134] 即:fb3=length(Y
[0135] I_gray表示第一灰度图像;
[0136] dct(I_gray,block)代表对第一灰度图像I_gray以大小block做二维DCT变换;
[0137] block=[WD,HD],表示第一灰度图像的分块大小,在不超过第一灰度图像大小的前提下,WD,HDϵ[2,2^2,2^3,…,2^n];
[0138] ln代表以e为底的自然对数变换;
[0139] length(Y
[0140] 本发明一具体示例中,第一灰度图像的分块大小为64*64,即WD=HD=64;m的取值为-4。
[0141] 需要说明的是,DCT变换,英文全称Discrete Cosine Transform,中文译文离散余弦变换,是与傅里叶变换相关的一种变换;其用于区分图像中的高低频分量,图像经过DCT变换后,系数较大的集中在左上角,表征了图像的低频分量,而右下角几乎是0,代表了图像的高频分量;低频系数体现的是图像中目标的轮廓和灰度分布特性,高频系数体现的是图像的边缘、细节、噪声等信息;本发明具体实施方式中,为了表示图像的噪声大小,对图像进行分块DCT变换,变换后的系数越接近于0,表示该像素点位置的噪声越小,fb3越大,表示图像受噪声干扰的程度越小。
[0142] 较佳的,对于步骤M1,通过无参考的空间域图像质量评估算法BRISQUE(Blind/referenceless image spatial quality evaluator)获得的特征值fbri的方式包括:M141、对彩色的预处理质量图像做灰度化处理形成第一灰度图像;M142、计算第一灰度图像的均值对比度归一化系数MSCN;M143、将得到的MSCN系数拟合成广义高斯分布GGD;M144、将MSCN相邻系数的乘积在4个方向上拟合成非对称广义高斯分布AGGD,每个方向上可得到非对称广义高斯分布参数 ,组合4个方向的AGGD参数,可得到BRISQUE的16维特征;M145、对第一灰度图像进行2倍的降采样,在降采样的图像上再次提取2维的 和16维的 ,最终得到 ,共36维。
[0143] 对于步骤M142,其计算过程以公式表示如下:
[0144] ,
[0145] ,
[0146] ,其中, 表示MSCN系数,MSCN系数具体为 展开后得到的1维向量;I(i,j)表示第一灰度图像的像素值,(i,j)表示第一灰度图像的像素点坐标值;C为大于0的常数,设置其的目的是防止分母为0;
代表窗口内的局部均值, 代表窗口内的局部方差;
是一个二维高斯窗口,K和L分别是高斯窗口的长
和宽, 代表窗口内灰度图像的像素值。
[0147] 本发明可实现示例中,K=L={2,3,4,5},本发明较佳示例中,K=L=3,C=1。
[0148] 对于步骤M143,其计算过程以公式表示如下:
[0149] ,
[0150] ,
[0151] ,
[0152] x表示要拟合的MSCN系数,即代表步骤M142中的 ; 代表根据模型拟合得到的参数;代表Gamma函数;
[0153] 对于步骤M144,其计算过程以公式表示如下:
[0154] , , ,
[0155] 其中,y表示对应于每一方向要拟合的相邻两个MSCN系数的乘积,其具体表示如下4个方向所分别对应的等式, 表示非对称广义高斯分布参数;
[0156] 进一步的,4个方向分别指水平方向H(i,j),垂直方向V(i,j),主对角线方向D1(i,j),次对角线方向D2(i,j):
[0157] ,
[0158] ,
[0159] ,
[0160] 。
[0161] 对于步骤M145,降采样可以采用最近邻插值的方法。
[0162] 较佳的,为了突出训练集中各样本(预处理质量图像)所对应的图像质量评价特征值的占比,在步骤M1和步骤M2之间,所述方法还包括:将每一图像质量评价特征值归一化至其所对应的预设归一化区间内,所述归一化区间例如为[-1,1]; 较佳的,归一化方法可以采用最大最小归一化算法。
[0163] 对于步骤M2,所述训练集和测试集的比例可以根据需要具体设定,本发明一具体示例中,例如:训练过程将原始数据集的80%作为训练集,剩余作为测试集,并基于libSVM库对训练集中的数据进行训练得图像质量评价模型。
[0164] 较佳的,结合图7所示,本发明具体实现方式中,所述图像内容评价模型的构建方法包括:N1、分别解析每幅预处理内容图像以提取其所对应的图像内容评价特征值,所述图像内容评价特征值包括:非红色像素占比fc1,第二过度曝光像素点的占比fc2,第二暗像素的占比fc3,点状杂质数量fc4,颜色特征至少其中之一;所述颜色特征包括:第一颜色特征fc5,第二颜色特征fc6,第三颜色特征fc7至少其中之一;N2、将预处理内容图像按照预定比例分为第二训练集和第二测试集,使用支持向量机对第二训练集的数据进行训练,以所述第二测试集的数据进行验证,得到图像内容评价模型;其中,所述第二训练集的数据和所述第二测试集的数据均包括预处理内容图像对应的图像质量计算分值和图像内容评价特征值。
[0165] 较佳的,结合图8所示,对于步骤 N1,过度曝光像素点的占比fc1的提取方式包括:N111,将彩色的预处理内容图像从RGB空间转换至HSV空间形成HSV图像;N112,取HSV图像中每一像素点所对应的H通道的角度度量值做归一化处理后,判断当前像素点对应的、归一化处理后的H通道的角度度量值是否处于预设红色区间内,若是,将当前像素点标识为1,若否,将当前像素点标识为0;N113,将标识为0的像素点的数量总和与HSV图像上像素点数量总和的比值作为非红色像素占比fc1。
[0166] 本发明一具体示例中,所述预设红色区间范围的大小可以根据需要具体调整,例如:其范围设置为[0,fc11]和[fc22,1], ;本发明一具体示例中,fc11的值设置为0.975,fc22的值设置为0.06。
[0167] 进一步的,在步骤N113后,所述方法还包括:若所述非红色像素占比fc1小于预设第六数值,则将非红色像素占比fc1的值调整为0;如此,以排除少量像素点对计算结果的影响,同时允许一定的非红色像素点存在,以利于提升计算精确度。
[0168] 本发明可实现方式中,所述第六数值的大小可以根据需要进行设定,在本发明一具体示例中,所述第六数值设置为0.05;
[0169] 以公式表示,fc1的取值可以表示为: 。
[0170] 较佳的,结合图9所示,对于步骤 N2,第二过度曝光像素点的占比fc2的提取方式包括:N121,对彩色的预处理内容图像做灰度化处理形成第二灰度图像;N122,若第二灰度图像上的像素点的灰度值处于预设第二曝光灰度值范围内,则将当前像素点作为过度曝光像素点;N123,将过度曝光像素点的数量总和与第二灰度图像上像素点数量总和的比值作为第二过度曝光像素点的占比fc2。
[0171] 本发明一具体示例中,所述第二曝光灰度值范围的大小可以根据需要具体调整,例如:其范围设置为[200,255],优选设置为[210,255],本发明一具体示例中,第二曝光灰度值范围设置为[235,254]。
[0172] 进一步的,在步骤N123后,所述方法还包括:若经过统计获取的第二过度曝光像素点的占比fc2小于预设第七数值,则将第二过度曝光像素点的占比fc2的值调整为0; 如此,以排除少量像素点对计算结果的影响,提升计算精确度。
[0173] 本发明可实现方式中,所述第七数值的大小可以根据需要进行设定,在本发明一具体示例中,所述第七数值设置为0.01;
[0174] 以公式表示,fc1的取值可以表示为: 。
[0175] 较佳的,结合图10所示,对于步骤N1,第二暗像素的占比fc3的提取方式包括:N131、对彩色的预处理内容图像做灰度化处理形成第二灰度图像;N132、若第二灰度图像上的像素点的灰度值处于预设第二暗像素范围内,则将当前像素点作为暗像素点;N133、将暗像素点的数量总和与第二灰度图像上像素点数量总和的比值作为第二暗像素的占比fc3。
[0176] 本发明一具体示例中,所述第二暗像素范围的大小可以根据需要具体调整,例如:其范围设置为[0,120],优选设置为[60,120],本发明一具体示例中,第二暗像素范围设置为[60,100]。
[0177] 进一步的,在步骤N133后,所述方法还包括:若所述第二暗像素的占比fc3不大于预设第八数值,则将第二暗像素的占比fc3的值调整为0;如此,以排除少量像素点对计算结果的影响,提升计算精确度。
[0178] 本发明可实现方式中,所述第八数值的大小可以根据需要进行设定,在本发明一具体示例中,所述第八数值设置为0.3;
[0179] 以公式表示,fc3的取值可以表示为: 。
[0180] 较佳的,结合图11所示,对于步骤N1,在消化道图像中,经常会有粘液等杂质呈放射状分布在视野中,与拍摄质量无关,但会有效内容信息的获取,通过点状杂质数量的提取,可以衡量点状杂质对图像内容的影响;具体的,点状杂质数量fc4的提取方式包括:N141、对彩色的预处理内容图像做灰度化处理形成第二灰度图像;N142、以预设滤波模板为滤波窗口滑动处理所述第二灰度图像形成窗图像;N143、对所述窗图像做二值化处理得到二值化图像,所述二值化图像中点状杂质被赋值为1,其他区域赋值为0;N144、统计数值1的像素点的数量作为点状杂质数量fc4。
[0181] 需要说明的,对于步骤N142,所述滤波模板可以自定义,其窗口大小和数值可根据具 体应 用范 围自 行 定 义 ;本发 明 具 体 示 例中 ,例 如 :定义 滤 波 模 板。
[0182] 进一步的,在步骤N142后,所述方法还包括:若所述点状杂质数量fc4大于预设第九数值,则将点状杂质数量fc4的值调整为N,N取值范围是[0,30]; 如此,以避免水上图像(胶囊胃镜在水上拍摄的图像)中的气泡或反光点被当成杂质。
[0183] 较佳的,根据彩色的预处理内容图像中R通道和G通道各像素点的值计算第九数值;第九数值thre=mean(Ir)-mean(Ig),mean表示求均值,Ir为R通道中各个像素点的值,Ig为G通道中各个像素点的值。
[0184] 以公式表示,fc4的取值可以表示为: 。
[0185] 较佳的,对于步骤N1,颜色特征的提取方式包括:N151、将彩色的预处理内容图像从RGB空间转换至HSV空间形成HSV图像;N152、分别获取彩色的预处理内容图像中R通道和G通道的值,以及获取HSV图像中S通道的值;
[0186] 则fc5=mean(Ir)-mean(Ig),
[0187] fc6=(mean(Ir))/(mean(Ig)),
[0188] fc7=(mean(Ir))/(mean(Is));
[0189] 其中,mean表示求均值,Ir为R通道中各个像素点的值,Ig为G通道中各个像素点的值,Is为S通道中各个像素点的值。
[0190] 较佳的,为了突出训练集中各样本(预处理质量图像)所对应的图像内容评价特征值的占比,在步骤N1和步骤N2之间,所述方法还包括:将每一图像内容评价特征值归一化至其所对应的预设归一化区间内,所述归一化区间例如为[-1,1];较佳的,归一化方法可以采用最大最小归一化算法。
[0191] 对于步骤N2,所述训练集和测试集的比例可以根据需要具体设定,本发明一具体示例中,例如:训练过程将原始数据集的80%作为训练集,剩余作为测试集,并基于libSVM库对训练集中的数据进行训练得图像内容评价模型。
[0192] 进一步的,本发明一实施方式提供一种电子设备,包括存储器和处理器,所述存储器存储有可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述胶囊内窥镜无参考图像评价方法中的步骤。
[0193] 进一步的,本发明一实施方式提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述胶囊内窥镜无参考图像评价方法中的步骤。
[0194] 综上所述,本发明的胶囊内窥镜无参考图像评价方法、电子设备及介质,采用不同的评价模型对同一检测部位的多张原始图像分别进行图像质量评价和图像内容评价;进一步的,综合图像质量评价和图像内容评价的分值分别对同一部位的多张原始图像进行综合评分;进而通过图像的综合评分可以快速筛选出较佳的图像,如此,可对原始图像进行快速筛选,提升识别精度。
[0195] 应当理解,虽然本说明书按照实施方式加以描述,但并非每个实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,各实施方式中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
[0196] 上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。