根部欠照明舌图像的自适应暗部细节复现方法

摘要

根部欠照明舌图像的自适应暗部细节复现方法属于医学图像处理领域，针对根部欠照明的舌图像提出。该方法是在同一光源条件下，固定拍摄仪器和拍摄对象的位置，通过改变曝光时间获取一组不同曝光量的舌图像。首先利用相机辐射标定算法对拍摄仪器进行响应曲线估计，然后根据得到的三通道响应曲线对不同曝光量的舌图像序列进行合成，得到合成舌图像每一个像素点的辐照度值，最后通过色调映射将合成的舌图像数据映射到普通的显示设备上进行显示，映射过程中完成舌图像的自适应性，实现欠照明舌根部细节的复现。该方法可以通过对合成舌图像的映射实现欠照明舌根部细节的复现，更好的再现真实舌体的亮区和暗区信息，有利于中医舌诊的客观性。

权利要求

1.根部欠照明舌图像的自适应暗部细节复现方法，其特征在于，依次包括下述步骤：

1) 首先在同一光源环境下，固定拍摄仪器和拍摄对象的位置，通过改变曝光时间获取P个不同曝光量的舌图像，并将其输入计算机，计算机读取P个舌图像，每个舌图像的像素点数均为m×n，将读取的所有像素点的R、G、B值分别存放在rm×n×P,gm×n×P,bm×n×P三个数组中，m×n×P是每个数组的维数；

2)相机辐射标定：在合成图像之前需要估计相机的响应曲线u,

首先利用光电转换函数测试卡，根据测试卡中的色块密度计算对应的反射率，所述的光电转换函数测试卡由M个不同密度的灰色块组成且色块密度density已知，由密度计算-desity -density反射率的公式为refl=10 ，进而得到相对曝光量的自然对数值lnrefl=ln(10 )；

然后拍摄光电转换函数测试卡的图像，由计算机读取图像并显示，从图像的M个色块中依次选取M个点并得到其像素值，以像素值为横坐标，以对应的相对曝光量的自然对数值lnrefl为纵坐标作图描点，拟合得到相机R、G、B三通道的响应曲线，分别记为R_g,G_g,B_g；

3)读取得到的P个舌图像并进行合成：根据成像过程表达式Zij,k=f(EijΔtk)，求-1 -1其反函数即f (Zij,k)=EijΔtk，将u定义为lnf ，即上面所求的响应曲线，上式变为u(Zij,k)=lnEij+lnΔtk，其中，Eij表示某一点的辐照度；Δtk为曝光时间其中1≤k≤P，辐照度Eij和曝光时间Δtk的乘积表示该点的曝光量；Zij,k表示第k个图像第i行j列对应的像素值，u(Zij,k)是像素值Zij,k对应的曝光量自然对数值；i，j是对应像素在图像中的位置标识，1≤i≤m,1≤j≤n； Zij,k和Δtk以及响应曲线u均已知，因此得到某一像素点辐照度自然对数值的计算公式为lnEij=u(Zij,k)-lnΔtk；

根据某一像素的不同曝光量，其辐照度自然对数值按加权平均计算公式如下：

将所求R、G、B三个通道的响应曲线R_g,G_g,B_g分别代入公式（1），逐像素计算得到图像R、G、B三个通道的辐照度自然对数值R_lE,G_lE,B_lE，P是不同曝光量舌图像的个数，w(Zij)是权重函数，针对一个图像其具体表达式为：其中，Zmin=0,Zmax=255，Zij是一个图像中第i行j列对应的像素值，由上述计算得到的图像的辐照度自然对数R_lE,G_lE,B_lE 取自然指数得到图像三个通道的辐照度值分别为R_E,G_E,B_E；

4)色调映射：将合成的舌图像复现到普通显示设备上进行显示，提高舌根部区域亮度，实现根部欠照明舌图像的自适应性，使其更多细节信息显露出来；

首先，基于场景的关键值设置输出舌图像的色调范围，把亮度的几何平均值作为场景关键值的近似，计算公式为：其中，E(i,j)是像素（i，j）的辐照度值；N是合成图像总的像素个数；δ是引入参数，δ取0.1~10；

其次，对图像整体亮度范围进行压缩，针对某一点其压缩后亮度值的计算公式为：

逐像素计算得到图像R、G、B三通道压缩后的的亮度分别为R_L,G_L,B_L；引入参数a，a取3.6~10.8；

最后，对舌图像高亮度区域的亮度进行压缩，而保持低亮度值基本不变，某一像素点显示亮度的计算公式为：逐像素计算得到图像三个通道的显示亮度分别为R_Ld,G_Ld,B_Ld；其中，Lwhite是场景中的最大亮度值，图像R、G、B三个通道最大值分别为R_Lwhite,G_Lwhite,B_Lwhite；高亮度值的压缩比例接近1/L，低亮度值压缩比例接近1；

5)对得到的显示亮度作归一化处理将其规范到0~255范围内：

逐像素计算依次得到图像R、G、B三个通道的显示亮度值R_Ld,G_Ld,B_Ld，将其作为图像三通道颜色值输出最后图像并保存。

说明书

根部欠照明舌图像的自适应暗部细节复现方法

技术领域

[0001] 本发明属于医学图像处理领域。是将一种利用计算机技术、图像摄取技术、数字图像处理技术等实现合成图像并复现的方法应用于中医舌象领域。人眼直接观察舌体时由于局部适应可看到各种亮度水平的区域，然而显示器上的舌图像在一个适应水平上，使得光照不足的舌根部区域所含信息无法显露。该方法能通过对输入不同曝光量的舌图像进行合成并映射再现，使欠照明舌根部区域的细节信息显露出来，实现根部欠照明舌图像的自适应性。

[0002] 以计算机图像分析技术为主要技术手段进行舌诊客观性研究，是20世纪80年代发展起来的一种新的舌象客观性研究方法。用得到的自适应舌图像进行分析和处理可以对舌象特征进行比较全面的研究。

背景技术

[0003] 传统的中医舌诊是由医生根据自己的知识和经验用眼睛观察，并作出判断，其诊断结果受医生知识水平、思维方式及诊断技巧的限制。因此，对中医舌诊的客观化、数字化，即对客观的舌象分析方法进行研究，对中医辨证规范化及中医舌诊临床、教学、科研手段的现代化具有重要的理论价值和实际意义。在获取舌象信息时，由于舌根部区域光照不足，采集的舌根部区域细节信息丢失。人眼观看舌象时由于局部适应能同时看到各种亮度水平的区域，对于根部欠照明舌图像要显示更多的细节信息需要实现其局部适应性。

[0004] 将相同场景不同曝光量的舌图像序列进行合成，然后再将其映射到显示设备上。在合成舌图像之前，需要估计成像系统的响应曲线，成像系统的光照响应曲线是相机曝光量与图像像素值之间的关系曲线，是合成舌图像的关键，其中曝光量X是辐照度E与曝光时间Δt的乘积。然后根据响应曲线对不同曝光量的舌图像序列进行合成，最后将其映射到一个普通的显示设备上进行复现，映射过程中实现舌图像的局部适应，更好的表现真实舌体的亮区和暗区信息，使观察者可以同时看到各种亮度水平的区域。

发明内容

[0005] 本发明是在中医舌象领域，针对根部欠照明的舌图像提出。获取P个不同曝光量的舌图像，首先估计相机RGB三通道的响应曲线，然后将P个舌图像合成为一个包含更多细节信息的舌图像；再通过色调映射将合成后的舌图像复现在普通显示设备上，实现舌图像的局部适应控制，使得舌图像根部细节信息的再现效果明显。

[0006] 对于彩色的舌图像，本方法对R、G、B三个通道分别进行响应曲线标定、合成和色调映射；并且对各个通道逐像素计算合成后的辐照度值及映射结果，最后完成整幅图像的合成及映射并输出结果。

[0007] 该方法首先要在同一光源环境且拍摄仪器和拍摄对象位置固定的条件下，用同一拍摄仪器通过改变曝光时间获得P个不同曝光量的舌图像；然后将图像传输至计算机，在计算机中完成舌图像的合成和色调映射，过程中实现舌图像根部的自适应性，计算机处理过程包括下述步骤：

[0008] (1)读取P个舌图像，每个舌图像的像素点数均为m×n，每个像素点对应一个R值、G值、B值，将读取的所有像素点的R、G、B值分别存放在rm×n×P，gm×n×P，bm×n×P三个数组中，其中m、n是一个图像的行数和列数，P是图像个数，m×n×P是每个数组的维数。对rm×n×P数组来说共包含m×n×P个R值；

[0009] (2)相机辐射标定：

[0010] 首先，利用现有的标准光电转换函数测试卡，测试卡一般由M个不同密度的灰色块组成且色块密度density已知，根据已知密度计算反射率，反射率的计算公式为refl＝-density10 ，进而得到相对曝光量的自然对数值即lnrefl。

[0011] 其次，拍摄光电转换函数测试卡图像并显示，从测试卡图像的M个色块中依次选取M个点并得到其RGB值，以像素值为横坐标，以对应的相对曝光量的自然对数值lnrefl为纵坐标作图，并对R、G、B三个通道分别描点。

[0012] 最后，通过拟合得到像素值0-255范围内的R、G、B三通道的响应曲线R_g，G_g，B_g，如图4所示。

[0013] (3)将不同曝光量的P个舌图像进行合成：根据成像过程表达式Zij，k＝f(EijΔtk)，其中i、j是对应像素在图像中的位置标识，其中1≤i≤m，1≤j≤n；f是未知函数，表示曝光量和像素值之间的关系；Zij，k表示第k个舌图像的第i行第j列所对应的像素值；Δtk是曝光时间，1≤k≤P；Eij表示某一点的辐照度；辐照度值Eij与曝光时间-1Δtk的乘积表示该点的曝光量。对上述函数求其反函数得到f (Zij，k)＝EijΔtk，两边取自-1 -1
然对数得到lnf (Zij，k)＝lnEij+lnΔtk，将u函数定义为lnf ，即第二步所求的响应曲线函数。上式变为u(Zij，k)＝lnEij+lnΔtk，u(Zij，k)表示第k个图像中像素值Zij，k对应的曝光量自然对数值；其中，Zij，k和Δtk以及响应曲线u均是已知的。因此得到未知量某一点辐照度的自然对数值lnEij的计算公式即为lnEij＝u(Zij，k)-lnΔtk。

[0014] 对P个不同曝光量的舌图像进行合成，合成后图像任一位置(i，j)像素对应的辐照度自然对数值lnE(i，j)，根据加权平均计算公式如下：

[0015]

[0016] 根据某一像素的不同曝光量，针对合成后图像的R通道，某一点像素对应的R通道辐照度的自然对数值R_lE(i，j)为：

[0017]

[0018] 同理逐像素计算得到整幅图像R通道辐照度自然对数值R_lE、G通道辐照度自然对数值G_lE和B通道辐照度自然对数值B_lE。

[0019] 其中，P是不同曝光量舌图像的个数；w(Zij，k)是权重函数；Zij，k是第k个舌图像的第i行第j列所对应的像素值，R_g(Zij，k)是第k个舌图像第i行j列像素值对应的R通道曝光量自然对数值。权重函数为三角形函数，针对一个图像其权重函数表达式为：

[0020]

[0021] 其中，Zmin＝0，Zmax＝255，Zij表示一个图像中第i行j列对应的像素值。将计算得到的图像R、G、B三通道的辐照度自然对数值R_lE，G_lE，B_lE取自然指数得到合成后图像的R、G、B三个通道辐照度值分别为R_E、G_E、B_E。

[0022] (4)色调映射：将合成的舌图像复现到普通显示设备上进行显示，提高舌根部区域亮度，实现舌图像根部区域的自适应性，使其更多细节信息显露出来。对合成后图像R、G、B三通道的辐照度值R_E，G_E，B_E分别进行如下计算：

[0023] 首先，利用亮度的几何平均值作为场景关键值，基于场景的关键值设置输出舌图像的色调范围，使之处于大多数亮度所在范围，场景关键值计算公式如下：

[0024]

[0025] 针对图像R通道场景关键值 的计算公式为

[0026]

[0027] 其中，E(i，j)是像素点(i，j)的辐照度值；R_E(i，j)表示像素点(i，j)的R通道对应的辐照度值；N是图像总的像素个数即m×n；δ是引入参数，目的是避免图像出现黑像素即(0，0，0)时引入奇异点。δ值相对图像亮度值比较小，一般取0.1～10。δ值增大可使场景关键值 增大，使图像最后显示亮度有减小的趋势，但变化微小且不可控，可用于微调图像的整体亮度。将图像R、G、B三通道的辐照度值R_E，G_E，B_E依次代入公式(2)得到R通道的场景关键值 G通道的场景关键值 B通道场景关键值

[0028] 其次，对亮度范围进行压缩，某一像素点压缩后的亮度值L(i，j)计算公式为：

[0029]

[0030] 引入参数a，其主要目的是在压缩过程中提高舌根部区域亮度。可根据所求关键值的大小上下调整a值完成映射，一般a的取值范围是3.6～10.8。a值增大，压缩后的整体亮度范围增大。根据后面的显示亮度公式，a值增大则亮度值升高，辐照度越小的像素点其亮度值变化越大，明显提高舌根部区域亮度；对于辐照度越大的像素点，a值增大其亮度值略有增大，亮区域亮度略有提高。因此a值的增大有利于提高舌根部区域亮度，并且可控，进而实现舌根部区域的自适应性。

[0031] 针对R通道某一像素点压缩后亮度的计算公式为：

[0032]

[0033] 其中 是R通道场景关键值，R_E(i，j)是某一像素对应R通道的辐照度。依次将R、G、B三个通道的关键值 和图像辐照度值R_E，G_E，B_E代入公式(3)，逐像素计算得到合成图像的R、G、B三个通道压缩后的亮度值分别为R_L，G_L，B_L。

[0034] 最后，对舌图像高亮度区域的亮度需要进行压缩，而保持低亮度值基本不变，对某一像素点的显示亮度Ld(i，j)计算公式为：

[0035]

[0036] 其中，Lwhite是场景中的最大亮度值，图像R、G、B三个通道对应的三个最大值分别为R_Lwhite，G_Lwhite，B_Lwhite。高亮度值的压缩比例接近1/L，低亮度值压缩比例接近1。

[0037] 对R通道某一像素点的显示亮度R_Ld(i，j)计算公式为：

[0038]

[0039] R_L(i，j)是某一像素点对应R通道压缩后亮度值，R_Lwhite是合成后图像R通道压缩亮度的最大值。依次将图像R、G、B三个通道压缩后的亮度R_L，G_L，B_L代入公式(4)，逐像素计算得到整个图像R、G、B三个通道的显示亮度分别为R_Ld，G_Ld，B_Ld。

[0040] 映射过程中增大a值，舌图像亮度提高，主要针对欠照明的舌根部区域亮度明显提高，更多细节信息可见；同时提高δ值，图像整体亮度有微小降低，可兼顾到舌图像亮区域的颜色信息，使得舌图像的整体颜色更柔和。因此，通过调整这两个参数，可在映射过程中达到明显提高舌根部区域亮度，实现根部欠照明舌图像的局部适应性，又兼顾亮区域颜色信息的整体效果。

[0041] (5)对图像三个通道的显示亮度

[0042] R_Ld，G_Ld，B_Ld分别进行标准

[0043] 化处理，某一像素点的最后显示亮度

[0044] Ld(i，j)计算公式如下：

[0045]

[0046] 将其规范到0～255范围内，其中分母是整个图像中显示亮度最大值，R、G、B三个通道对应三个最大值。R、G、B三个通道分别逐像素计算得到整幅图像R、G、B三个通道最后的显示亮度分别为R_Ld，G_Ld，B_Ld，将其作为图像三通道颜色值输出图像并保存。

[0047] 本方法是针对根部欠照明的舌图像，目的是实现舌图像根部区域的自适应性，使舌根部区域的细节信息显露出来。选取一幅直接拍摄的舌图像与处理后输出的舌图像作对比，从输出结果看，处理后舌图像的亮区显示亮度略有提高，其信息颜色基本保持不变；而舌根部区域显示亮度明显高于直接拍摄的舌图像，暗区包含的更多细节信息可见，可以同时看到舌图像亮区和暗区的信息。因此实现了根部欠照明舌图像的自适应性。鉴于输出的舌图像是彩色图像，附图中并未给出。

[0048] 有益效果

[0049] 本方法旨在实现根部欠照明舌图像的自适应性，即实现观察者可以同时看到各种亮度水平的区域。对不同曝光量的舌图像序列进行合成，通过三角形权重函数加大中间段动态范围的权重，使合成后的舌图像包含更多细节信息。然后将合成的舌图像复现到一个普通显示设备上，通过引入参数a对舌图像整体亮度进行宏观调整，主要是针对舌根部区域，实现舌图像根部区域的自适应性。增大a值，使舌根部区域亮度明显增大，高亮度区域变化微小；降低δ值可对整体亮度作微观调整，兼顾亮区域的颜色信息。从输出的舌图像中可以看出舌根部区域亮度明显提高，更多的细节信息显露出来，实现了根部欠照明舌图像的局部适应性，观察者可以在普通显示设备上同时看到舌图像各种亮度水平区域的信息。

附图说明

[0050] 图1是该算法的主程序流程图；

[0051] 图2是相机辐射标定过程的程序流程图；

[0052] 图3是色调映射过程的程序流程图；

[0053] 图4是相机三通道响应曲线；

具体实施方式

[0054] 本实施方法是在由机械平台和标准光源(D65光源)组成的中医舌象采集系统中，在数码相机和口腔舌体模型位置固定的条件下，通过软件操作相机获取8个不同曝光时间的舌图像，曝光时间为H＝[2，1，0.5，0.25，0.125，0.0667，0.0333，0.0167]；然后将图像传输至计算机，估计相机的响应函数u，读取8个舌图像进行合成，再完成色调映射实现舌图像根部区域的自适应性。具体实施过程如下：

[0055] 1.通过改变曝光时间获得8个不同曝光量的大小均为m×n的舌图像，曝光时间依次为

[0056] H＝[2，1，0.5，0.25，0.125，0.0667，0.0333，0.0167]，将其输入计算机；

[0057] 2.相机辐射标定，选用ISO-14524相机光电转换函数测试卡，

[0058] 该测试卡由12个不同密度的灰色块组成且色块密度已知，估计相机的响应曲线，流程见图2，具体步骤如下：

[0059] (1)给出测试卡中已知的12个色块对应密度

[0060] density＝[2.31.861.531.271.050.870.70.530.430.310.20.1]，计算相对曝光-density量的自然对数值即lnrefl＝ln(10 )；

[0061] (2)用相机拍摄测试卡图像传输到计算机，读取测试卡图像并显示，按照给出的密度顺序从12个色块中依次选取12个点，得到其相应的RGB值，以lnrefl为纵坐标，以像素值为横坐标作图，对R、G、B三通道分别用实点、正方形和叉号描点；

[0062] (3)添加横坐标两个端点[0；0；0]和[255；255；255]，在横坐标0～255，纵坐标-6.5～2.8范围内利用插值拟合得到相机RGB三通道的响应曲线R_g、G_g、B_g；

[0063] 3.对不同曝光量的舌图像进行合成，得到合成后的辐照度值，具体过程如下：

[0064] (1)定义图像个数为P＝8，依次读取8幅舌图像的像素值。将r、g、b分别定义为m×n×P的三维数组，依次用来存放读取的8个图像的R、G、B值；

[0065] (2)将R_lE、G_lE、B_lE分别定义为m×n的数组，并给出权函数：

[0066]

[0067] 以及曝光时间H＝[2，1，0.5，0.25，0.125，0.0667，0.0333，0.0167]；

[0068] (3)从r数组中抹去第三维P，由指定的行和列得到8个图像中该点对应的R值，根据R通道的响应曲线R_g逐像素计算其辐照度自然对数值。某一点辐照度自然对数计算公式如下：

[0069]

[0070] 同理分别获取g、b数组中的G、B值，根据响应曲线G_g、B_g计算得出整个图像三个通道辐照度自然对数值分别为R_lE、G_lE、B_lE；

[0071] (4)分别对图像三个通道的辐照度自然对数值R_lE、G_lE、B_lE取自然指数得到三个通道的辐照度值R_E、G_E、B_E；

[0072] 4.色调映射过程，提高舌根部区域的亮度实现其自适应性，具体流程见图3，步骤如下：

[0073] (1)给出参数的设置值，δ设为5，a设为9；

[0074] (2)用辐照度几何平均值估计场景关键值，R通道关键值为

[0075]

[0076] 对G、B通道的辐照度值分别作如上处理得到场景关键值为

[0077] (3)引入参数a对亮度范围进行压缩，使更接近场景关键值，

[0078] 对R通道某一点辐照度值R_E(i，j)进行压缩得到压缩后亮度值为：

[0079]

[0080] 逐像素计算得到图像R、G、B通道压缩后亮度值R_L，G_L，B_L；

[0081] (4)根据Lwhite＝max(max(L(i，j)))对R、G、B三个通道得到的压缩亮度值R_L，G_L，B_L分别求场景中的最大值，得到R_Lwhite，G_Lwhite，B_Lwhite；

[0082] (5)对舌图像的高亮度区域进行压缩，低亮度区域基本保持不变，由某一点压缩后亮度R_L(i，j)计算得到显示亮度R_Ld(i，j)公式为：

[0083]

[0084] 分别对G、B通道的压缩后亮度值G_L，B_L做同样处理得到显示亮度G_Ld，B_Ld；

[0085] 5.对计算出的R通道的显示亮度值R_Ld进行归一化处理：

[0086]

[0087] 逐像素对R、G、B三个通道的显示亮度分别作如上处理得到图像最后显示亮度值R_Ld，G_Ld，B_Ld，位于0～255范围内。

[0088] 6.将三通道显示亮度值R_Ld，G_Ld，B_Ld作为图像三通道颜色值，输出图像并保存。

[0089] 从输出的舌图像中选取舌根部的五个不同位置区域，在直接拍摄的舌图像中这五个位置R、G、B三通道显示亮度依次为(118，53，66)、(86，27，30)、(112，37，47)、(74，23，28)、(65，26，27)；该组位置在处理后舌图像R、G、B三通道的显示亮度依次为(135，78，86)、(105，48，50)、(138，68，77)、(112，55，58)、(115，44，46)，这些数据从一定程度上说明舌根部区域的显示亮度有了明显提高。从输出的舌图像中也可以看出舌根部区域亮度明显提高，细节信息更明显，而亮区亮度略有变化，颜色信息基本不变，即实现了舌图像的局部适应，使观察者可以同时看到各种亮度水平的区域。