一种荧光内窥镜荧光强度自适应调整方法及系统转让专利

申请号 : CN202211389248.2

文献号 : CN115700102A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 汪彦刚彭一忠

申请人 : 南京图格医疗科技有限公司

摘要 :

本发明公开一种荧光内窥镜荧光强度自适应调整方法及系统,涉及光学成像技术领域,方法包括:根据当前可见光图像的曝光参数和可见光相机的最小曝光参数计算可见光相机的曝光总增益,计算荧光相机的曝光总增益;根据当前可见光图像计算可见光测光值;根据荧光内窥镜确定光路传输反射透射参数;根据可见光黑电平、荧光黑电平、可见光相机的曝光总增益、荧光相机的曝光总增益、光路传输反射透射参数、可见光测光值和预设荧光测光值,确定荧光光源的光功率值;根据荧光光源的光功率值和荧光内窥镜的光源控制信号‑光功率关系曲线,确定荧光光源的光源控制信号。本发明实现对于荧光内窥镜中荧光强度的自适应调整,保证荧光内窥镜成像精确性。

权利要求 :

1.一种荧光内窥镜荧光强度自适应调整方法,荧光内窥镜包括可见光相机和荧光相机,其特征在于,所述方法包括:计算可见光黑电平和荧光黑电平;所述可见光黑电平为全黑环境下所述可见光相机的黑电平,所述荧光黑电平为全黑环境下所述荧光相机的黑电平;

获取当前可见光图像、所述当前可见光图像的曝光参数、所述当前荧光图像的曝光参数、所述可见光相机的最小曝光参数、所述荧光相机的最小曝光参数和所述荧光内窥镜的光源控制信号‑光功率关系曲线;所述当前可见光图像的曝光参数和所述当前荧光图像的曝光参数均包括曝光时间和模拟增益;所述可见光相机的最小曝光参数和所述荧光相机的最小曝光参数均包括最小曝光时间和最小模拟增益;

根据所述当前可见光图像的曝光参数和所述可见光相机的最小曝光参数计算所述可见光相机的曝光总增益,根据所述当前荧光图像的曝光参数和所述荧光相机的最小曝光参数计算所述荧光相机的曝光总增益;

根据所述当前可见光图像计算可见光测光值;

根据所述荧光内窥镜确定光路传输反射透射参数;

根据所述可见光黑电平、所述荧光黑电平、所述可见光相机的曝光总增益、所述荧光相机的曝光总增益、所述光路传输反射透射参数、所述可见光测光值和预设荧光测光值,确定荧光光源的光功率值;

根据所述荧光光源的光功率值和所述荧光内窥镜的光源控制信号‑光功率关系曲线,确定所述荧光光源的光源控制信号;所述光源控制信号用于对所述荧光光源的亮度进行实时调整。

2.根据权利要求1所述的荧光内窥镜荧光强度自适应调整方法,其特征在于,根据所述可见光黑电平、所述荧光黑电平、所述可见光相机的曝光总增益、所述荧光相机的曝光总增益、所述光路传输反射透射参数、所述可见光测光值和预设荧光测光值,确定荧光光源的光功率值,具体包括:根据公式

确定荧光光源的光功率值;

其中, 表示荧光光源的光功率值,LIR表示预设荧光测光值,Lwhite表示可见光测光值,BIR表示荧光黑电平,Bwhite表示可见光黑电平,ToGainwhite表示可见光相机的曝光总增益,ToGainIR表示荧光相机的曝光总增益,α和β均为光路传输反射透射参数。

3.根据权利要求1所述的荧光内窥镜荧光强度自适应调整方法,其特征在于,所述荧光内窥镜还包括光源、分光棱镜和滤光片,所述光路传输反射透射参数包括第一参数和第二参数;

根据所述荧光内窥镜确定光路传输反射透射参数,具体包括:

根据公式

计算第一参数;

根据公式

计算第二参数;

其中,α表示第一参数,β均表示第二参数,Kwhite表示可见光相机的光电转换曲线中的系数,KIR表示荧光相机的光电转换曲线中的系数, 表示光源发射的白光的总光功率,wwhite表示光源发射的白光中可见光功率占比, 表示所述荧光内窥镜照射的人体组织对可见光的反射率, 表示滤光片对可见光的透过率, 表示可见光透过分光棱镜进入可见光相机的透过率,w805表示光源发射的荧光中805nm波长荧光的光功率占比, 表示所述荧光内窥镜照射的人体组织对805nm波长荧光的反射率, 表示滤光片对805nm波长荧光的透过率, 表示分光棱镜将805nm波长荧光分光至荧光相机的透过率, 表示所述荧光内窥镜照射的人体组织对835nm波长近红外光的激发率, 表示滤光片对835nm波长近红外光的透过率, 表示分光棱镜将

835nm波长近红外光分光至荧光相机的透过率, 表示分光棱镜将可见光分光至荧光相机的透过率。

4.根据权利要求1所述的荧光内窥镜荧光强度自适应调整方法,其特征在于,根据所述当前可见光图像的曝光参数和所述可见光相机的最小曝光参数计算所述可见光相机的曝光总增益,具体包括:根据公式

计算所述可见光相机的曝光总增益;

其中,ToGainwhite表示可见光相机的曝光总增益;Twhite表示当前可见光图像的曝光时间;AGainwhite表示当前可见光图像的模拟增益, 表示可见光相机的最小曝光时间;

表示可见光相机的最小模拟增益。

5.根据权利要求1所述的荧光内窥镜荧光强度自适应调整方法,其特征在于,所述计算可见光黑电平,具体包括:获取全黑环境下所述可见光相机拍摄得到的灰场图像;

根据所述灰场图像中每个像素点的明度值,计算所述灰场图像中所有像素点的明度均值;所述灰场图像中所有像素点的明度均值为可见光黑电平。

6.根据权利要求1所述的荧光内窥镜荧光强度自适应调整方法,其特征在于,根据所述当前可见光图像计算可见光测光值,具体包括:根据所述当前可见光图像中每个像素点的明度值,计算所述当前可见光图像中所有像素点的明度均值;所述当前可见光图像中所有像素点的明度均值为可见光测光值。

7.根据权利要求6所述的荧光内窥镜荧光强度自适应调整方法,其特征在于,所述计算所述当前可见光图像中所有像素点的明度均值,包括:根据公式

计算当前可见光图像中所有像素点的明度均值;

其中,Lwhite表示当前可见光图像中所有像素点的明度均值,H表示当前可见光图像的高度值,W表示当前可见光图像的宽度值,i表示当前可见光图像中像素点的行数,Y(i,j)=

0.2125R(i,j)+0.7154G(i,j)+0.072B(i,j),j表示当前可见光图像中像素点的列数,Y(i,j)表示当前可见光图像中第i行第j列的像素点的明度值,R(i,j)表示当前可见光图像中第i行第j列的像素点的红色分量,G(i,j)表示当前可见光图像中第i行第j列的像素点的绿色分量,B(i,j)表示当前可见图像光中第i行第j列的像素点的蓝色分量。

8.一种荧光内窥镜荧光强度自适应调整系统,荧光内窥镜包括可见光相机和荧光相机,其特征在于,所述系统包括:黑电平计算模块,用于计算可见光黑电平和荧光黑电平;所述可见光黑电平为全黑环境下所述可见光相机的黑电平,所述荧光黑电平为全黑环境下所述荧光相机的黑电平;

曝光参数功率曲线获取模块,用于获取当前可见光图像、所述当前可见光图像的曝光参数、所述当前荧光图像的曝光参数、所述可见光相机的最小曝光参数、所述荧光相机的最小曝光参数和所述荧光内窥镜的光源控制信号‑光功率关系曲线;所述当前可见光图像的曝光参数和所述当前荧光图像的曝光参数均包括曝光时间和模拟增益;所述可见光相机的最小曝光参数和所述荧光相机的最小曝光参数均包括最小曝光时间和最小模拟增益;

曝光总增益计算模块,用于根据所述当前可见光图像的曝光参数和所述可见光相机的最小曝光参数计算所述可见光相机的曝光总增益,根据所述当前荧光图像的曝光参数和所述荧光相机的最小曝光参数计算所述荧光相机的曝光总增益;

测光值计算模块,用于根据所述当前可见光图像计算可见光测光值;

光路参数计算模块,用于根据所述荧光内窥镜确定光路传输反射透射参数;

荧光功率计算模块,用于根据所述可见光黑电平、所述荧光黑电平、所述可见光相机的曝光总增益、所述荧光相机的曝光总增益、所述光路传输反射透射参数、所述可见光测光值和预设荧光测光值,确定荧光光源的光功率值;

荧光光源控制模块,用于根据所述荧光光源的光功率值和所述荧光内窥镜的光源控制信号‑光功率关系曲线,确定所述荧光光源的光源控制信号;所述光源控制信号用于对所述荧光光源的亮度进行实时调整。

说明书 :

一种荧光内窥镜荧光强度自适应调整方法及系统

技术领域

[0001] 本发明涉及光学成像技术领域,特别是涉及一种荧光内窥镜荧光强度自适应调整方法及系统。

背景技术

[0002] 吲哚菁绿(ICG)荧光造影剂是一种安全、便捷、可靠的术中血管成像技术,目前已广泛应用于肝胆外科、胃肠外科、胸外科等的肿瘤、淋巴结、结节、血管的造影,其原理是ICG与人体α1球蛋白结合,可将吸收到的805nm峰值波段的红外光激发出835nm峰值波段的红外光。荧光内窥镜通过向人体组织发射805nm波段红外窄带光激发出835nm波段红外光被荧光摄像系统接收并成像。由于荧光内窥镜在不同拍摄距离下接收到的荧光激发光强度不一致,导致成像的亮度有差异,不利于术中医生对于造影边界的判断。
[0003] 目前主要通过荧光通路成像的自动曝光,来保证荧光图像亮度的一致性。但当距离太近时,由于荧光内窥镜工艺不足,仍有部分其他光谱的光被荧光相机接收,即出现伪像的情况;当距离较远时,由于荧光接受到荧光强度较弱,导致荧光亮度较弱,影响手术医生的判断。
[0004] 现有技术中,通过调整中性密度渐变滤光片的透光密度的衰减值达到荧光亮度的一致性。但该方法需要类似电机对滤光片进行旋转控制,并且需要标定不同拍摄距离与滤光片旋转角度的关系以及荧光测光信息与拍摄距离的关系,最后通过滤光片旋转控制达到测光值的一致。该方法需要类似电机对滤光片进行精确的旋转驱动,技术上较为困难,并且需要繁杂的标定操作,操作较为繁琐,另外该方法对于较远距离荧光亮度提升作用不大。

发明内容

[0005] 本发明的目的是提供一种荧光内窥镜荧光强度自适应调整方法及系统,实现对于荧光内窥镜中荧光强度的自适应调整,保证荧光内窥镜成像精确性。
[0006] 为实现上述目的,本发明提供了如下方案:
[0007] 本发明提供一种荧光内窥镜荧光强度自适应调整方法,荧光内窥镜包括可见光相机和荧光相机,所述方法包括:
[0008] 计算可见光黑电平和荧光黑电平;所述可见光黑电平为全黑环境下所述可见光相机的黑电平,所述荧光黑电平为全黑环境下所述荧光相机的黑电平;
[0009] 获取当前可见光图像、所述当前可见光图像的曝光参数、所述当前荧光图像的曝光参数、所述可见光相机的最小曝光参数、所述荧光相机的最小曝光参数和所述荧光内窥镜的光源控制信号‑光功率关系曲线;所述当前可见光图像的曝光参数和所述当前荧光图像的曝光参数均包括曝光时间和模拟增益;所述可见光相机的最小曝光参数和所述荧光相机的最小曝光参数均包括最小曝光时间和最小模拟增益;
[0010] 根据所述当前可见光图像的曝光参数和所述可见光相机的最小曝光参数计算所述可见光相机的曝光总增益,根据所述当前荧光图像的曝光参数和所述荧光相机的最小曝光参数计算所述荧光相机的曝光总增益;
[0011] 根据所述当前可见光图像计算可见光测光值;
[0012] 根据所述荧光内窥镜确定光路传输反射透射参数;
[0013] 根据所述可见光黑电平、所述荧光黑电平、所述可见光相机的曝光总增益、所述荧光相机的曝光总增益、所述光路传输反射透射参数、所述可见光测光值和预设荧光测光值,确定荧光光源的光功率值;
[0014] 根据所述荧光光源的光功率值和所述荧光内窥镜的光源控制信号‑光功率关系曲线,确定所述荧光光源的光源控制信号;所述光源控制信号用于对所述荧光光源的亮度进行实时调整。
[0015] 可选地,根据所述可见光黑电平、所述荧光黑电平、所述可见光相机的曝光总增益、所述荧光相机的曝光总增益、所述光路传输反射透射参数、所述可见光测光值和预设荧光测光值,确定荧光光源的光功率值,具体包括:
[0016] 根据公式
[0017]
[0018] 确定荧光光源的光功率值;
[0019] 其中, 表示荧光光源的光功率值,LIR表示预设荧光测光值,Lwhite表示可见光测光值,BIR表示荧光黑电平,Bwhite表示可见光黑电平,ToGainwhite表示可见光相机的曝光总增益,ToGainIR表示荧光相机的曝光总增益,α和β均为光路传输反射透射参数。
[0020] 可选地,所述荧光内窥镜还包括光源、分光棱镜和滤光片,所述光路传输反射透射参数包括第一参数和第二参数;
[0021] 根据所述荧光内窥镜确定光路传输反射透射参数,具体包括:
[0022] 根据公式
[0023]
[0024] 计算第一参数;
[0025] 根据公式
[0026]
[0027] 计算第二参数;
[0028] 其中,α表示第一参数,β均表示第二参数,Kwhite表示可见光相机的光电转换曲线中的系数,KIR表示荧光相机的光电转换曲线中的系数, 表示光源发射的白光的总光功率,wwhite表示光源发射的白光中可见光功率占比, 表示所述荧光内窥镜照射的人体组织对可见光的反射率, 表示滤光片对可见光的透过率, 表示可见光透过分光棱镜进入可见光相机的透过率,w805表示光源发射的荧光中805nm波长荧光的光功率占比, 表示所述荧光内窥镜照射的人体组织对805nm波长荧光的反射率, 表示滤光片对805nm波长荧光的透过率, 表示分光棱镜将805nm波长荧光分光至荧光相机的透过率, 表示所述荧光内窥镜照射的人体组织对835nm波长近红外光的激发率, 表示滤光片对835nm波长近红外光的透过率, 表示分光棱镜
将835nm波长近红外光分光至荧光相机的透过率, 表示分光棱镜将可见光分光至荧光相机的透过率。
[0029] 可选地,根据所述当前可见光图像的曝光参数和所述可见光相机的最小曝光参数计算所述可见光相机的曝光总增益,具体包括:
[0030] 根据公式
[0031]
[0032] 计算所述可见光相机的曝光总增益;
[0033] 其中,ToGainwhite表示可见光相机的曝光总增益;Twhite表示当前可见光图像的曝光时间;AGainwhite表示当前可见光图像的模拟增益, 表示可见光相机的最小曝光时间; 表示可见光相机的最小模拟增益。
[0034] 可选地,所述计算可见光黑电平,具体包括:
[0035] 获取全黑环境下所述可见光相机拍摄得到的灰场图像;
[0036] 根据所述灰场图像中每个像素点的明度值,计算所述灰场图像中所有像素点的明度均值;所述灰场图像中所有像素点的明度均值为可见光黑电平。
[0037] 可选地,根据所述当前可见光图像计算可见光测光值,具体包括:
[0038] 根据所述当前可见光图像中每个像素点的明度值,计算所述当前可见光图像中所有像素点的明度均值;所述当前可见光图像中所有像素点的明度均值为可见光测光值。
[0039] 可选地,所述计算所述当前可见光图像中所有像素点的明度均值,包括:
[0040] 根据公式
[0041]
[0042] 计算当前可见光图像中所有像素点的明度均值;
[0043] 其中,Lwhite表示当前可见光图像中所有像素点的明度均值,H表示当前可见光图像的高度值,W表示当前可见光图像的宽度值,i表示当前可见光图像中像素点的行数,Y(i,j)=0.2125R(i,j)+0.7154G(i,j)+0.072B(i,j),j表示当前可见光图像中像素点的列数,Y(i,j)表示当前可见光图像中第i行第j列的像素点的明度值,R(i,j)表示当前可见光图像中第i行第j列的像素点的红色分量,G(i,j)表示当前可见光图像中第i行第j列的像素点的绿色分量,B(i,j)表示当前可见光图像中第i行第j列的像素点的蓝色分量。
[0044] 为达上述目的,本发明还提供了如下技术方案:
[0045] 一种荧光内窥镜内荧光强度自适应调整系统,荧光内窥镜包括可见光相机和荧光相机,所述系统包括:
[0046] 黑电平计算模块,用于计算可见光黑电平和荧光黑电平;所述可见光黑电平为全黑环境下所述可见光相机的黑电平,所述荧光黑电平为全黑环境下所述荧光相机的黑电平;
[0047] 曝光参数功率曲线获取模块,用于获取当前可见光图像、所述当前可见光图像的曝光参数、所述当前荧光图像的曝光参数、所述可见光相机的最小曝光参数、所述荧光相机的最小曝光参数和所述荧光内窥镜的光源控制信号‑光功率关系曲线;所述当前可见光图像的曝光参数和所述当前荧光图像的曝光参数均包括曝光时间和模拟增益;所述可见光相机的最小曝光参数和所述荧光相机的最小曝光参数均包括最小曝光时间和最小模拟增益;
[0048] 曝光总增益计算模块,用于根据所述当前可见光图像的曝光参数和所述可见光相机的最小曝光参数计算所述可见光相机的曝光总增益,根据所述当前荧光图像的曝光参数和所述荧光相机的最小曝光参数计算所述荧光相机的曝光总增益;
[0049] 测光值计算模块,用于根据所述当前可见光图像计算可见光测光值;
[0050] 光路参数计算模块,用于根据所述荧光内窥镜确定光路传输反射透射参数;
[0051] 荧光功率计算模块,用于根据所述可见光黑电平、所述荧光黑电平、所述可见光相机的曝光总增益、所述荧光相机的曝光总增益、所述光路传输反射透射参数、所述可见光测光值和预设荧光测光值,确定荧光光源的光功率值;
[0052] 荧光光源控制模块,用于根据所述荧光光源的光功率值和所述荧光内窥镜的光源控制信号‑光功率关系曲线,确定所述荧光光源的光源控制信号;所述光源控制信号用于对所述荧光光源的亮度进行实时调整。
[0053] 根据本发明提供的具体实施例,本发明公开了以下技术效果:
[0054] 本发明提供了一种荧光内窥镜荧光强度自适应调整方法及系统,首先计算全黑环境下可见光相机和荧光相机的黑电平;然后根据当前可见光图像的曝光时间和模拟增益、可见光相机的最小曝光时间和最小模拟增益计算可见光相机的曝光总增益,同理计算荧光相机的曝光总增益;根据当前可见光图像计算可见光测光值,根据荧光内窥镜确定光路传输反射投射参数,最后综合上述多项参数,计算要达到预设荧光测光值,所需要荧光光源的光功率值;根据荧光光源的光功率值和荧光内窥镜的光源控制信号‑光功率关系曲线,确定出荧光的光源控制信号,以实时对荧光光源的强度进行调整,使得在荧光内窥镜与人体组织的距离太近(近距离有伪像)或者太远(远距离画面暗)时,面对荧光显影亮度不一致的情况,自动调整荧光光源的强度,不影响荧光内窥镜成像,保证了荧光内窥镜成像的精确性。
[0055] 相对于现有技术,本发明能够在荧光成像或者可见光成像时,在控制曝光参数的基础上,增加对荧光光源的强度的实时调整来达到调节荧光图像亮度的目的,距离近时减弱荧光光源亮度,距离远提高光源亮度,从而使得显影距离范围更大,且不需要对滤光片进行旋转调整,也无需进行较精确的标定过程,具有节约成本、减少技术难度优点。

附图说明

[0056] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0057] 图1为荧光内窥镜的硬件结构示意图;
[0058] 图2为本发明荧光内窥镜荧光强度自适应调整方法的流程示意图;
[0059] 图3为本发明荧光内窥镜荧光强度自适应调整系统的结构示意图。

具体实施方式

[0060] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0061] 如图1所示,荧光内窥镜包括可见光相机、荧光相机、分光棱镜、滤光片(带阻滤波,滤除峰值805nm的近红外光/荧光)、光源(由荧光和可见光合成)、荧光腹腔镜,其中荧光腹腔镜与光源之间通过导光束连接。
[0062] 所述荧光内窥镜的工作原理为:可见光和805nm(峰值)波长的荧光由光源发出,依次通过导光束、荧光腹腔镜,照射至注射了吲哚菁绿染色剂的人体组织。人体组织将一部分可见光、805nm波长的荧光反射至荧光腹腔镜,还会激发一部分835nm(峰值)波长的近红外光。可见光、805nm波长的荧光和835nm(峰值)波长的近红外光通过滤光片滤除805nm波长的荧光,再通过分光棱镜分成可见光和近红外光。可见光部分进入可见光sensor,即可见光相机,从而有可见光成像;近红外光(主要为835nm波长的近红外光)进入荧光sensor,,即荧光相机,从而得到近红外光成像。
[0063] 若荧光内窥镜拍摄的人体组织无染色剂,则不会激发835nm波长的近红外光,荧光sensor(荧光相机)不会有荧光成像,但由于工艺限制,滤光片的光谱截止不够干净,且分光棱镜分光不够彻底,导致近距离有部分可见光、805nm波长的近红外光进入到荧光sensor从而产生伪像。
[0064] 所述可见光相机和荧光相机均为独立曝光控制,控制参数包括但不限于曝光时间、模拟增益、数字增益、光圈大小。
[0065] 基于此,本发明提出一种荧光内窥镜荧光强度自适应调整方法及系统,根据场景调节曝光参数和荧光光源亮度,其实现难度比调节滤光片的旋转角度小。
[0066] 为使本发明的目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0067] 实施例一
[0068] 如图2所示,本实施例提供一种荧光内窥镜荧光强度自适应调整方法,所述方法包括:
[0069] 步骤100,计算可见光黑电平和荧光黑电平;所述可见光黑电平为全黑环境下所述可见光相机的黑电平,所述荧光黑电平为全黑环境下所述荧光相机的黑电平。
[0070] 黑电平是指在经过一定校准的显示装置上,没有一行光亮输出的视频信号电平。黑电平是事先设定的,也就是黑色的最低点。所述黑色的最低点指CRT显像管内射出的电子束能量,低于让磷质发光体(萤光物质)开始发光的基本能量时,屏幕上所显示的就是最低位置的黑。
[0071] 其中,计算可见光黑电平的具体步骤包括:
[0072] 1)获取全黑环境下所述可见光相机拍摄得到的灰场图像。具体地,将可见光相机的镜头用镜头盖盖住(无荧光腹腔镜),拍摄灰场图像。
[0073] 2)根据所述灰场图像中每个像素点的明度值,计算所述灰场图像中所有像素点的明度均值;所述灰场图像中所有像素点的明度均值为可见光黑电平。
[0074] 具体地,可见光相机拍摄得到的灰场图像为RGB的图像,则根据RGB图像对应的明度指Y进行计算,即根据公式
[0075]
[0076] 计算灰场图像中所有像素点的明度均值。而灰场图像中所有像素点的明度均值为可见光黑电平,即Bwhite=Yavg。
[0077] 其中,Havg表示灰场图像的高度值,Wavg表示灰场图像的宽度值,i表示灰场图像中像素点的行数,Yavg(i,j)=0.2125Ravg(i,j)+0.7154Gavg(i,j)+0.072Bavg(i,j),j表示灰场图像中像素点的列数,Yavg(i,j)表示灰场图像中第i行第j列的像素点的明度值,Ravg(i,j)表示灰场图像中第i行第j列的像素点的红色分量,Gavg(i,j)表示灰场图像中第i行第j列的像素点的绿色分量,Bavg(i,j)表示灰场图像中第i行第j列的像素点的蓝色分量。
[0078] 同理,将荧光相机的镜头用镜头盖盖住(无荧光腹腔镜),拍摄荧光灰度图像,进而根据公式 计算得到荧光黑电平,YIR(i,j)为荧光灰度图像中第i行第j列的像素点的灰度值,HIR表示荧光灰度图像的高度值,WIR表示荧光灰度图像的宽度值。在实际应用中,HIR=Havg,WIR=Wavg。
[0079] 步骤200,获取当前可见光图像、所述当前可见光图像的曝光参数、所述当前荧光图像的曝光参数、所述可见光相机的最小曝光参数、所述荧光相机的最小曝光参数和所述荧光内窥镜的光源控制信号‑光功率关系曲线;所述当前可见光图像的曝光参数和所述当前荧光图像的曝光参数均包括曝光时间和模拟增益;所述可见光相机的最小曝光参数和所述荧光相机的最小曝光参数均包括最小曝光时间和最小模拟增益。
[0080] 步骤300,根据所述当前可见光图像的曝光参数和所述可见光相机的最小曝光参数计算所述可见光相机的曝光总增益,根据所述当前荧光图像的曝光参数和所述荧光相机的最小曝光参数计算所述荧光相机的曝光总增益。
[0081] 具体的,步骤300中可见光相机的曝光总增益,具体包括:根据公式[0082]
[0083] 计算所述可见光相机的曝光总增益。
[0084] 其中,ToGainwhite表示可见光相机的曝光总增益;Twhite表示当前可见光图像的曝光时间;AGainwhite表示当前可见光图像的模拟增益, 表示可见光相机的最小曝光时间; 表示可见光相机的最小模拟增益。
[0085] 同理可计算荧光相机的曝光总增益。
[0086] 步骤400,根据所述当前可见光图像计算可见光测光值。步骤400,具体包括:根据所述当前可见光图像中每个像素点的明度值,计算所述当前可见光图像中所有像素点的明度均值;所述当前可见光图像中所有像素点的明度均值为可见光测光值。
[0087] 所述计算所述当前可见光图像中所有像素点的明度均值,包括:根据公式[0088]
[0089] 计算当前可见光图像中所有像素点的明度均值。
[0090] 其中,Lwhite表示当前可见光图像中所有像素点的明度均值,H表示当前可见光图像的高度值,W表示当前可见光图像的宽度值,i表示当前可见光图像中像素点的行数,Y(i,j)=0.2125R(i,j)+0.7154G(i,j)+0.072B(i,j),j表示当前可见光图像中像素点的列数,Y(i,j)表示当前可见光图像中第i行第j列的像素点的明度值,R(i,j)表示当前可见光图像中第i行第j列的像素点的红色分量,G(i,j)表示当前可见光图像中第i行第j列的像素点的绿色分量,B(i,j)表示当前可见光图像中第i行第j列的像素点的蓝色分量。
[0091] 在实际应用中,HIR=Havg=H,WIR=Wavg=W。
[0092] 步骤500,根据所述荧光内窥镜确定光路传输反射透射参数。荧光内窥镜在实际应用中,由于荧光内窥镜内光源、分光棱镜和滤光片对于光的折射、透射的影响,会导致光源发出的光在光路传输过程中产生损耗,进而影响最终成像时荧光的强度,因此需要考虑光路传输反射透射参数。
[0093] 所述光路传输反射透射参数包括第一参数和第二参数。根据公式
[0094]
[0095] 计算第一参数。根据公式
[0096]
[0097] 计算第二参数。
[0098] 其中,α表示第一参数,β均表示第二参数,Kwhite表示可见光相机的光电转换曲线中的系数,KIR表示荧光相机的光电转换曲线中的系数, 表示光源发射的白光的总光功率,wwhite表示光源发射的白光中可见光功率占比, 表示所述荧光内窥镜照射的人体组织对可见光的反射率, 表示滤光片对可见光的透过率, 表示可见光透过分光棱镜进入可见光相机的透过率,w805表示光源发射的荧光中805nm波长荧光的光功率占比, 表示所述荧光内窥镜照射的人体组织对805nm波长荧光的反射率, 表示滤光片对805nm波长荧光的透过率, 表示分光棱镜将805nm波长荧光分光至荧光相机的透过率, 表示所述荧光内窥镜照射的人体组织对835nm波长近红外光的激发率, 表示滤光片对835nm波长近红外光的透过率, 表示分光棱镜
将835nm波长近红外光分光至荧光相机的透过率, 表示分光棱镜将可见光分光至荧光相机的透过率。
[0099] 具体来说如下:
[0100] (一)做曝光参数假设:可见光相机的曝光总增益为ToGainwhite,当前可见光图像对应的可见光测光亮度值为Lwhite,可见光光源功率为Pwhite,荧光相机的曝光总增益为ToGainIR,当前帧荧光测光亮度值为LIR,荧光光源功率为PIR。由此得到:
[0101] 可见光sensor的可见光光电转换曲线为:
[0102] 荧光sensor的荧光的光电转换曲线为: 其中, 分别为可见光sensor和荧光相机sensor接收到的光功率,Kwhite、Bwhite、KIR、BIR为光电转换曲线中的系数。
[0103] (二)做光源、分光镜、滤光片以及荧光内窥镜的拍摄环境假设:假设光源发射的白光中可见光功率占比wwhite,光源发射的白光的总光功率为 拍摄距离为d(拍摄距离为荧光内窥镜出光口到目标人体组织的距离),光从内窥镜出光口打光,则可见光到达人体组织的光功率衰减为 其中k为系数。由于内窥镜手术拍摄距离较近,故忽略了空气对光的散射效应,则可见光到达人体组织时的光功率为
[0104] 再假设荧光内窥镜照射的人体组织对可见光的反射率为 再经过反射到达荧光内窥镜的荧光腹腔镜的可见光功率为 假设滤光片对可见光透过率为 可见光透过分光棱镜进入可见光相机(可见光sensor)的透过率为 则可见光sensor接收到的光功率为
[0105]
[0106] (三)先将(3)式带入(1)式得到可见光sensor的测光值和光源光功率的关系:
[0107]
[0108] 同理可得荧光sensor的测光值和光源光功率的关系为:
[0109]
[0110] 其中w805、的含义均已在上文中说明。其中,考虑到了荧光sensor接收到的除805nm波长反射光、835nm波长荧光激发光外还有部分可见光,这是由于分光棱镜分光能力不够导致。
[0111] 由(4)式得到: 带入(5)式得到:
[0112]
[0113]
[0114] 其中,α即为上文中的第一参数,β即为上文中的第二参数。当荧光内窥镜中分光棱镜、滤光片、荧光腹腔镜、光源以及拍摄的人体组织区域均固定时,参数α、β也为固定值。利用(6)式,结合可见光黑电平、荧光黑电平、可见光相机的曝光总增益、荧光相机的曝光总增益、光路传输反射透射参数和可见光测光值,即可根据预设荧光测光值LIR来计算要达到该测光值所要设定的荧光光源功率值。
[0115] 即步骤600,根据所述可见光黑电平、所述荧光黑电平、所述可见光相机的曝光总增益、所述荧光相机的曝光总增益、所述光路传输反射透射参数、所述可见光测光值和预设荧光测光值,确定荧光光源的光功率值。
[0116] 步骤600具体包括:根据公式
[0117]
[0118] 确定荧光光源的光功率值。
[0119] 其中, 表示荧光光源的光功率值,LIR表示预设荧光测光值,Lwhite表示可见光测光值,BIR表示荧光黑电平,Bwhite表示可见光黑电平,ToGainwhite表示可见光相机的曝光总增益,ToGainIR表示荧光相机的曝光总增益,α和β均为光路传输反射透射参数。其中,预设荧光测光值,对于8bit数据一般设置为128。
[0120] 参数α、β可通过采集两组曝光、测光数据并通过计算得到,步骤如下:
[0121] 用荧光内窥镜在两组不同距离下拍摄模拟的人体目标组织(注射有荧光剂)如猪肉、猪肝等,第一组近距离如1cm距离d1,并且从大到小调节荧光光源亮度,使得除目标组织外无荧光显影为止,记录该拍摄距离下的荧光光源功率 同时即将是曝光和测光参数:带入公 式 (6) 得到方程 (a) : 其中
第二组较远距离,比如8cm拍摄距离d2,操作同第一组,得到方
程(b): 联立方程(a)和方程(b)求解得到α、β,一般求解得:α>0,β<0。
[0122] 步骤700,根据所述荧光光源的光功率值和所述荧光内窥镜的光源控制信号‑光功率关系曲线,确定所述荧光光源的光源控制信号;所述光源控制信号用于对所述荧光光源的亮度进行实时调整。其中,荧光内窥镜的光源控制信号‑光功率关系曲线通过标定得到:
[0123] 在荧光内窥镜的一次应用中,确定荧光内窥镜与人体组织之间的距离之后,先确定其中的荧光相机和可见光相机分别对应的曝光参数,然后在此基础上,计算出要达到预设荧光测光值所需要的荧光光源的光源控制信号;根据得到的荧光光源的光源控制信号控制荧光光源的强度,从而得到精确的成像。
[0124] 实施例二
[0125] 如图3所示,本实施例提供一种荧光内窥镜荧光强度自适应调整系统,荧光内窥镜包括可见光相机和荧光相机,所述系统包括:
[0126] 黑电平计算模块101,用于计算可见光黑电平和荧光黑电平;所述可见光黑电平为全黑环境下所述可见光相机的黑电平,所述荧光黑电平为全黑环境下所述荧光相机的黑电平。
[0127] 曝光参数功率曲线获取模块201,用于获取当前可见光图像、所述当前可见光图像的曝光参数、所述当前荧光图像的曝光参数、所述可见光相机的最小曝光参数、所述荧光相机的最小曝光参数和所述荧光内窥镜的光源控制信号‑光功率关系曲线;所述当前可见光图像的曝光参数和所述当前荧光图像的曝光参数均包括曝光时间和模拟增益;所述可见光相机的最小曝光参数和所述荧光相机的最小曝光参数均包括最小曝光时间和最小模拟增益。
[0128] 曝光总增益计算模块301,用于根据所述当前可见光图像的曝光参数和所述可见光相机的最小曝光参数计算所述可见光相机的曝光总增益,根据所述当前荧光图像的曝光参数和所述荧光相机的最小曝光参数计算所述荧光相机的曝光总增益。
[0129] 测光值计算模块401,用于根据所述当前可见光图像计算可见光测光值。
[0130] 光路参数计算模块501,用于根据所述荧光内窥镜确定光路传输反射透射参数。
[0131] 荧光功率计算模块601,用于根据所述可见光黑电平、所述荧光黑电平、所述可见光相机的曝光总增益、所述荧光相机的曝光总增益、所述光路传输反射透射参数、所述可见光测光值和预设荧光测光值,确定荧光光源的光功率值。
[0132] 荧光光源控制模块701,用于根据所述荧光光源的光功率值和所述荧光内窥镜的光源控制信号‑光功率关系曲线,确定所述荧光光源的光源控制信号;所述光源控制信号用于对所述荧光光源的亮度进行实时调整。
[0133] 相对于现有技术,本发明还具有如下优点:
[0134] 本发明能够根据场景调节曝光参数和荧光光源的强度,其实现难度比调节滤光片的旋转角度小;且不受距离限制,荧光成像的距离范围更大,即便在近距离也能够抑制伪像。
[0135] 本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
[0136] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。