摄像方法转让专利
申请号 : CN201510993744.2
文献号 : CN105744248B
文献日 : 2017-08-01
发明人 : 佐光靖史 , 奥野勉
申请人 : 安奇逻辑股份有限公司
摘要 :
摄像方法。根据被预备摄像的被摄体的摄像图像，取得表示基于环境光的光量和基于两个发光源的合计光量之间的关系的光量信息。划出通过x y色度坐标系上的与环境光的光源颜色对应的坐标的第1直线，使得该第1直线和连接x y色度坐标系上的与来自两个发光源的出射光的颜色对应的两个坐标的线段以规定的角度相交。根据此时的第1直线和线段的交点以及光量信息，以来自两个发光源的出射光的各光量对应于x y色度坐标系上的与交点一致或者接近交点的规定的点的方式，从两个发光源朝向被摄体射出光并拍摄被摄体。对与光量信息对应的一个点的坐标取得白平衡调整用的校正值，这一个点是在通过规定的点以及x y色度坐标系上的与光源颜色对应的坐标的第2直线上的一个点。
权利要求 :
1.一种摄像方法，从两个发光源朝向被摄体射出光并拍摄被摄体，这两个发光源的出射光的色温彼此不同且能够可变地控制彼此的出射光的光量比，其特征在于，该摄像方法包括：光源颜色取得步骤，取得与环境光对应的光源颜色；
预备摄像步骤，该预备摄像步骤包括在不从两个发光源发光的状态下拍摄被摄体的无发光步骤、和在从两个发光源发光的状态下拍摄被摄体的有发光步骤；
发光源光量取得步骤，根据在所述预备摄像步骤中拍摄的被摄体的摄像图像，取得来自所述两个发光源的光量与环境光和来自所述两个发光源的光的合成光的光量之比R，作为光量信息；
摄像步骤，划出通过xy色度坐标系上的与所述光源颜色取得步骤中取得的光源颜色对应的坐标的第1直线，使得该第1直线和连接xy色度坐标系上的与来自所述两个发光源的出射光的颜色对应的两个坐标的线段以规定的角度相交，根据此时的所述第1直线和所述线段的交点、以及在所述发光源光量取得步骤中取得的所述光量信息，以来自所述两个发光源的出射光的各光量对应于xy色度坐标系上的与所述交点一致或者接近所述交点的规定的点的方式，从所述两个发光源朝向被摄体射出光并拍摄被摄体；以及白平衡调整步骤，根据针对一个点的坐标而取得的白平衡调整用的校正值，对在所述摄像步骤中拍摄的图像实施白平衡调整，这一个点是通过所述规定的点以及xy色度坐标系上的与所述光源颜色对应的坐标的第2直线上的一个点，且所述规定的点与对应于所述坐标的点之间的距离：所述一个点与对应于所述坐标的点之间的距离＝1：R，用G信号将从所述无发光步骤的摄像图像得到的R信号、G信号及B信号归一化后的颜色成分比为P0＿r、P0＿g及P0＿b，用G信号将从所述有发光步骤的摄像图像得到的R信号、G信号及B信号与从所述无发光步骤的摄像图像得到的R信号、G信号及B信号之间的差分归一化后的颜色成分比为P1＿r、P1＿g及P1＿b，用G成分将基于所述两个发光源的出射光的混色的R成分、G成分及B成分归一化后的颜色成分比为P2＿r、P2＿g及P2＿b时，根据以下的数学式1计算用G成分将环境光的光源颜色的R成分、G成分及B成分归一化后的Pe＿r、Pe＿g及Pe＿b，Pe＿i＝P0＿i﹡P2＿i/P1＿i……(数学式1)
其中，所述数学式1分别适用于i＝r、i＝g和i＝b的情况。
2.一种摄像方法，从两个发光源朝向被摄体射出光并拍摄被摄体，这两个发光源的出射光的色温彼此不同且能够可变地控制彼此的出射光的光量比，其特征在于，该摄像方法包括：光源颜色取得步骤，取得与环境光对应的光源颜色；
预备摄像步骤，该预备摄像步骤包括在不从两个发光源发光的状态下拍摄被摄体的无发光步骤、和在从两个发光源发光的状态下拍摄被摄体的有发光步骤；
发光源光量取得步骤，根据在所述预备摄像步骤中拍摄的被摄体的摄像图像，取得来自所述两个发光源的光量与环境光和来自所述两个发光源的光的合成光的光量之比R，作为光量信息；
摄像步骤，划出通过xy色度坐标系上的与所述光源颜色取得步骤中取得的光源颜色对应的坐标的第1直线，使得该第1直线和连接xy色度坐标系上的与来自所述两个发光源的出射光的颜色对应的两个坐标的线段垂直，根据此时的所述第1直线和所述线段的交点、以及在所述发光源光量取得步骤中取得的所述光量信息，以来自所述两个发光源的出射光的各光量对应于xy色度坐标系上的与所述交点一致或者接近所述交点的规定的点的方式，从所述两个发光源朝向被摄体射出光并拍摄被摄体；以及白平衡调整步骤，根据针对一个点的坐标而取得的白平衡调整用的校正值，对在所述摄像步骤中拍摄的图像实施白平衡调整，这一个点是通过所述规定的点以及xy色度坐标系上的与所述光源颜色对应的坐标的第2直线上的一个点，且所述规定的点与对应于所述坐标的点之间的距离：所述一个点与对应于所述坐标的点之间的距离＝1：R。
3.一种摄像方法，从两个发光源朝向被摄体射出光并拍摄被摄体，这两个发光源的出射光的色温彼此不同且能够可变地控制彼此的出射光的光量比，其特征在于，该摄像方法包括：校正步骤，根据有关所述两个发光源的至少两个实测值，校正表示有关所述两个发光源的混色光的颜色信息的、由与所述实测值不同的值构成的数量多于所述实测值的值；
光源颜色取得步骤，取得与环境光对应的光源颜色；
预备摄像步骤，该预备摄像步骤包括在不从所述两个发光源发光的状态下拍摄被摄体的无发光步骤、和在从所述两个发光源发光的状态下拍摄被摄体的有发光步骤；
发光源光量取得步骤，根据在所述预备摄像步骤中拍摄的被摄体的摄像图像，取得来自两个发光源的光量与环境光和来自所述两个发光源的光的合成光的光量之比R，作为光量信息；
摄像步骤，划出通过xy色度坐标系上的与所述光源颜色取得步骤中取得的光源颜色对应的坐标的第1直线，使得该第1直线和连接xy色度坐标系上的与来自所述两个发光源的出射光的颜色对应的两个坐标的线段以规定的角度相交，根据此时的所述第1直线和所述线段的交点、在所述发光源光量取得步骤中取得的所述光量信息、以及在所述校正步骤中校正后的表示所述颜色信息的值，以来自所述两个发光源的出射光的各光量对应于xy色度坐标系上的与所述交点一致或者接近所述交点的规定的点的方式，从所述两个发光源朝向被摄体射出光并拍摄被摄体；以及白平衡调整步骤，根据针对一个点的坐标而取得的白平衡调整用的校正值，对在所述摄像步骤中拍摄的图像实施白平衡调整，这一个点是通过所述规定的点以及xy色度坐标系上的与所述光源颜色对应的坐标的第2直线上的一个点，且所述规定的点与对应于所述坐标的点之间的距离：所述一个点与对应于所述坐标的点之间的距离＝1：R。
4.根据权利要求3所述的摄像方法，其特征在于，
所述校正步骤包括坐标值校正步骤，在该坐标值校正步骤中，根据存储所述两个实测值和所述线段上的多个坐标值的存储单元的存储内容，按照所述两个实测值校正所述坐标值。
5.一种摄像方法，从两个发光二极管朝向被摄体射出光并拍摄被摄体，这两个发光二极管的出射光的色温彼此不同且能够可变地控制彼此的出射光的光量比，其特征在于，该摄像方法包括：光源颜色取得步骤，取得与环境光对应的光源颜色；
预备摄像步骤，该预备摄像步骤包括在不从两个发光二极管发光的状态下拍摄被摄体的无发光步骤、和在从两个发光二极管发光的状态下拍摄被摄体的有发光步骤；
发光源光量取得步骤，根据在所述预备摄像步骤中拍摄的被摄体的摄像图像，取得来自所述两个发光二极管的光量与环境光和来自所述两个发光二极管的光的合成光的光量之比R，作为光量信息；
摄像步骤，划出通过xy色度坐标系上的与所述光源颜色取得步骤中取得的光源颜色对应的坐标的第1直线，使得该第1直线和连接xy色度坐标系上的与来自所述两个发光二极管的出射光的颜色对应的两个坐标的线段以规定的角度相交，根据此时的所述第1直线和所述线段的交点、以及在所述发光源光量取得步骤中取得的所述光量信息，以来自所述两个发光二极管的出射光的各光量对应于xy色度坐标系上的与所述交点一致或者接近所述交点的规定的点的方式，从所述两个发光二极管朝向被摄体射出光并拍摄被摄体；以及白平衡调整步骤，根据针对一个点的坐标而取得的白平衡调整用的校正值，对在所述摄像步骤中拍摄的图像实施白平衡调整，这一个点是通过所述规定的点以及xy色度坐标系上的与所述光源颜色对应的坐标的第2直线上的一个点，且所述规定的点与对应于所述坐标的点之间的距离：所述一个点与对应于所述坐标的点之间的距离＝1：R，所述发光源光量取得步骤包括以下步骤：根据从所述预备摄像步骤中的摄像图像得到的图像信号，按照以下的数学式取得图像信号中的距离信息D(m，n)；
根据距离信息D(m，n)从所述摄像图像取得与主被摄体对应的区域；
对于与所述主被摄体对应的区域取得所述光量信息，
D(m，n)＝(LV0－LOG2(Y1(m，n)/Y0(m，n)－1))/2……(数学式)
其中，(m，n)表示摄像图像中的有关纵向及横向的位置，LV0是用APEX值表示的所述两个发光二极管的合计的闪光的光量，Y0(m，n)表示从无发光步骤中的摄像图像得到的(m，n)处的亮度值，Y1(m，n)表示从有发光步骤中的摄像图像得到的(m，n)处的亮度值，LOGx表示以x为底的对数。
说明书 :
摄像方法
技术领域
[0001] 本发明涉及摄像方法，尤其涉及对所拍摄的图像实施白平衡调整的摄像方法。
背景技术
[0002] 以往，在对所拍摄的图像实施白平衡调整时，由于闪光的颜色和环境光的颜色不同，有时产生应该根据摄像图像的哪个区域调整白平衡的问题。例如，对于距离较近的被摄体和距离较远的被摄体而言，闪光相对于照射到被摄体的环境光的比率不同。因此，与根据摄像图像中的哪个被摄体区域调整白平衡对应，白平衡的调整结果不同。因此，在这种情况下，按照哪个被摄体区域调整白平衡成为问题。
[0003] 作为针对这种问题的一种处理方法，可以考虑使闪光的颜色尽可能地接近环境光的颜色。因为如果闪光的颜色和环境光的颜色一致，则无论按照哪个被摄体区域，白平衡的结果都不会不同。并且，作为用于使闪光的颜色接近环境光的颜色的具体方法，不从一个发光源射出闪光，而是通过从多个发光源射出闪光，使基于从多个发光源射出的光的混色比从一个发光源射出光时更加接近环境光的颜色。在日本专利第5311963号中，使用两个发光源使闪光整体接近环境光。在日本特开2012-141445号公报及日本专利第5007523号中，使用三个发光源使闪光整体接近环境光。
[0004] 在使用多个发光源使闪光整体接近环境光的情况下，来自发光源的出射光的颜色在发光源彼此间越有差异，能够调整的范围越广。因此，能够应对各种各样的环境光。基于该观点，相比专利文献1那样使用两个发光源，如专利文献2及3那样使用三个发光源更容易应对各种各样的环境光。因为用两个发光源能够调整的范围一维地扩大，而用三个发光源能够调整的范围二维地扩大。
[0005] 但是，在将发光源从两个变为三个时，在通过混色使闪光的颜色接近环境光的颜色时，两个发光源彼此的调整变为三个发光源彼此的调整，因而发光源的微妙控制变困难。另外，例如在进行降低各个发光源的个体差异的调整的情况下，对三个发光源的调整将难于对两个发光源的调整。
[0006] 另一方面，在将发光源设为两个时，由于难以使闪光的颜色和环境光的颜色一致，因而如上所述有可能难以适当地调整白平衡。
发明内容
[0007] 本发明的目的在于提供摄像方法，使得容易进行发光源的控制和调整，而且使容易适当地调整白平衡。
[0008] 本发明的摄像方法从两个发光源朝向被摄体射出光并拍摄被摄体，这两个发光源的出射光的色温彼此不同且能够可变地控制彼此的出射光的光量比，该摄像方法包括：光源颜色取得步骤，取得与环境光对应的光源颜色；预备摄像步骤，该预备摄像步骤包括在不从两个发光源发光的状态下拍摄被摄体的无发光步骤、和在从两个发光源发光的状态下拍摄被摄体的有发光步骤；发光源光量取得步骤，根据在所述预备摄像步骤中拍摄的被摄体的摄像图像，取得表示基于环境光的光量和基于所述两个发光源的合计光量之间的关系的光量信息；摄像步骤，划出通过xy色度坐标系上的与所述光源颜色取得步骤中取得的光源颜色对应的坐标的第1直线，使得该第1直线和连接xy色度坐标系上的与来自所述两个发光源的出射光的颜色对应的两个坐标的线段以规定的角度相交，根据此时的所述第1直线和所述线段的交点、以及在所述发光源光量取得步骤中取得的所述光量信息，以来自所述两个发光源的出射光的各光量对应于xy色度坐标系上的与所述交点一致或者接近所述交点的规定的点的方式，从所述两个发光源朝向被摄体射出光并拍摄被摄体；以及白平衡调整步骤，根据针对与所述发光源光量取得步骤中取得的所述光量信息对应的一个点的坐标而取得的白平衡调整用的校正值，对在所述摄像步骤中拍摄的图像实施白平衡调整，这一个点是通过所述规定的点以及xy色度坐标系上的与所述光源颜色对应的坐标的第2直线上的一个点，设用G信号将从所述无发光步骤的摄像图像得到的R信号、G信号及B信号归一化后的颜色成分比为P0＿r、P0＿g及P0＿b，用G信号将从所述有发光步骤的摄像图像得到的R信号、G信号及B信号与从所述无发光步骤的摄像图像得到的R信号、G信号及B信号之间的差分归一化后的颜色成分比为P1＿r、P1＿g及P1＿b，用G成分将基于所述两个发光源的出射光的混色的R成分、G成分及B成分归一化后的颜色成分比为P2＿r、P2＿g及P2＿b时，根据以下的数学式1计算用G成分将环境光的光源颜色的R成分、G成分及B成分归一化后的Pe＿r、Pe＿g及Pe＿b，
[0009] Pe＿i＝P0＿i﹡P2＿i/P1＿i……(数学式1)
[0010] 其中，所述数学式1分别适用于i＝r、i＝g和i＝b的情况。
[0011] 根据另一个观点，本发明的摄像方法从两个发光源朝向被摄体射出光并拍摄被摄体，这两个发光源的出射光的色温彼此不同且能够可变地控制彼此的出射光的光量比，该摄像方法包括：光源颜色取得步骤，取得与环境光对应的光源颜色；预备摄像步骤，该预备摄像步骤包括在不从两个发光源发光的状态下拍摄被摄体的无发光步骤、和在从两个发光源发光的状态下拍摄被摄体的有发光步骤；发光源光量取得步骤，根据在所述预备摄像步骤中拍摄的被摄体的摄像图像，取得表示基于环境光的光量和基于所述两个发光源的合计光量之间的关系的光量信息；摄像步骤，划出通过xy色度坐标系上的与所述光源颜色取得步骤中取得的光源颜色对应的坐标的第1直线，使得该第1直线和连接xy色度坐标系上的与来自所述两个发光源的出射光的颜色对应的两个坐标的线段垂直，根据此时的所述第1直线和所述线段的交点、以及在所述发光源光量取得步骤中取得的所述光量信息，以来自所述两个发光源的出射光的各光量对应于xy色度坐标系上的与所述交点一致或者接近所述交点的规定的点的方式，从所述两个发光源朝向被摄体射出光并拍摄被摄体；以及白平衡调整步骤，根据针对与所述发光源光量取得步骤中取得的所述光量信息对应的一个点的坐标而取得的白平衡调整用的校正值，对在所述摄像步骤中拍摄的图像实施白平衡调整，这一个点是通过所述规定的点以及xy色度坐标系上的与所述光源颜色对应的坐标的第2直线上的一个点。
[0012] 根据又另一个观点，本发明的摄像方法从两个发光源朝向被摄体射出光并拍摄被摄体，这两个发光源的出射光的色温彼此不同且能够可变地控制彼此的出射光的光量比，该摄像方法包括：校正步骤，根据有关所述两个发光源的至少两个实测值，校正表示有关所述两个发光源的混色光的颜色信息的、由与所述实测值不同的值构成的数量多于所述实测值的值；光源颜色取得步骤，取得与环境光对应的光源颜色；预备摄像步骤，该预备摄像步骤包括在不从所述两个发光源发光的状态下拍摄被摄体的无发光步骤、和在从所述两个发光源发光的状态下拍摄被摄体的有发光步骤；发光源光量取得步骤，根据在所述预备摄像步骤中拍摄的被摄体的摄像图像，取得表示基于环境光的光量和基于所述两个发光源的合计光量之间的关系的光量信息；摄像步骤，划出通过xy色度坐标系上的与所述光源颜色取得步骤中取得的光源颜色对应的坐标的第1直线，使得该第1直线和连接xy色度坐标系上的与来自所述两个发光源的出射光的颜色对应的两个坐标的线段以规定的角度相交，根据此时的所述第1直线和所述线段的交点、在所述发光源光量取得步骤中取得的所述光量信息、以及在所述校正步骤中校正后的表示所述颜色信息的值，以来自所述两个发光源的出射光的各光量对应于xy色度坐标系上的与所述交点一致或者接近所述交点的规定的点的方式，从所述两个发光源朝向被摄体射出光并拍摄被摄体；以及白平衡调整步骤，根据针对与所述发光源光量取得步骤中取得的所述光量信息对应的一个点的坐标而取得的白平衡调整用的校正值，对在所述摄像步骤中拍摄的图像实施白平衡调整，这一个点是通过所述规定的点以及xy色度坐标系上的与所述光源颜色对应的坐标的第2直线上的一个点。
[0013] 在本发明中优选的是，所述校正步骤包括坐标值校正步骤，根据存储所述两个实测值和所述线段上的多个坐标值的存储单元的存储内容，按照所述两个实测值校正所述坐标值。
[0014] 根据又另一个观点，本发明的摄像方法从两个发光二极管朝向被摄体射出光并拍摄被摄体，这两个发光二极管的出射光的色温彼此不同且能够可变地控制彼此的出射光的光量比，该摄像方法包括：光源颜色取得步骤，取得与环境光对应的光源颜色；预备摄像步骤，该预备摄像步骤包括在不从两个发光二极管发光的状态下拍摄被摄体的无发光步骤、和在从两个发光二极管发光的状态下拍摄被摄体的有发光步骤；发光源光量取得步骤，根据在所述预备摄像步骤中拍摄的被摄体的摄像图像，取得表示基于环境光的光量和基于所述两个发光二极管的合计光量之间的关系的光量信息；摄像步骤，划出通过xy色度坐标系上的与所述光源颜色取得步骤中取得的光源颜色对应的坐标的第1直线，使得该第1直线和连接xy色度坐标系上的与来自所述两个发光二极管的出射光的颜色对应的两个坐标的线段以规定的角度相交，根据此时的所述第1直线和所述线段的交点、以及在所述发光源光量取得步骤中取得的所述光量信息，以来自所述两个发光二极管的出射光的各光量对应于xy色度坐标系上的与所述交点一致或者接近所述交点的规定的点的方式，从所述两个发光二极管朝向被摄体射出光并拍摄被摄体；以及白平衡调整步骤，根据针对与所述发光源光量取得步骤中取得的所述光量信息对应的一个点的坐标而取得的白平衡调整用的校正值，对在所述摄像步骤中拍摄的图像实施白平衡调整，这一个点是通过所述规定的点以及xy色度坐标系上的与所述光源颜色对应的坐标的第2直线上的一个点，所述发光源光量取得步骤包括以下步骤：根据从所述预备摄像步骤中的摄像图像得到的图像信号，按照以下的数学式2取得图像信号中的距离信息D(m，n)；根据距离信息D(m，n)从所述摄像图像取得与主被摄体对应的区域；对于与所述主被摄体对应的区域取得所述光量信息，
[0015] D(m，n)＝(LV0－LOG2(Y1(m，n)/Y0(m，n)－1))/2……(数学式2)
[0016] 其中，(m，n)表示摄像图像中的有关纵向及横向的位置，LV0是用APEX值表示的所述两个发光二极管的合计的闪光的光量，Y0(m，n)表示从无发光步骤中的摄像图像得到的(m，n)处的亮度值，Y1(m，n)表示从有发光步骤中的摄像图像得到的(m，n)处的亮度值，LOGx表示以x为底的对数。
[0017] 在本发明中，通过使用两个发光源，使来自发光源的发光颜色接近环境光的光源颜色。因此，与使用三个发光源的情况相比，容易进行发光源的可变控制和个体差异调整。
[0018] 另外，在本发明中，使用出射光的色温不同的两个发光源。并且，在x y色度坐标中，划出在与环境光对应的光源颜色的坐标通过的第1直线，使得该第1直线和连接与两个发光源对应的两个坐标的线段以规定的角度相交，根据此时的第1直线和所述线段的交点决定两个发光源的混色光量。因此，能够使两个发光源的混色在连接与两个发光源对应的两个坐标的线段上的范围内接近环境光的光源颜色。即，使闪光至少在色温上接近环境光。
[0019] 另外，在本发明中，根据被摄体的摄像图像，取得表示环境光的光量和基于两个发光源的合计光量之间的关系的光量信息。并且，根据该光量信息，取得与所述交点一致或者在接近交点的线段上的一点及对应光源颜色的坐标通过的第2直线上的一个点，使得与所述光量信息对应，并且对于所取得的一个点的图像实施白平衡调整。因此，能够限定为从被摄体区域将主被摄体和背景分开后的必要区域，调整该区域所需要的发光量，并且能够根据闪光和环境光的光量比调整白平衡。
[0020] 如上所述，本发明容易进行发光源的可变控制，使闪光的颜色接近环境光，即使是闪光的颜色和环境光的颜色不同的情况下，也能够着眼于所需的区域适当地调整白平衡。另外，光量信息例如也可以是两个发光源的合计光量与环境光的光量之比，也可以是两个发光源的合计光量与、环境光和两个发光源的合计光量之比。此外，也可以包含表示环境光的光量和两个发光源的合计光量中各个光量的信息，还可以包含表示环境光和两个发光源的合计光量、以及两个发光源的合计光量中各个光量的信息。这样，光量信息只要是表示基于环境光的光量和基于两个发光源的合计光量之间的关系的信息，则可以是任何信息。
[0021] 另外，在本发明中，在根据有关两个发光源的至少两个实测值校正了基于来自两个发光源的出射光的混色光的颜色信息的情况下，不需要预先实测所有的颜色信息。并且，在按照至少两个实测值校正坐标值的情况下，不需要预先实测所有的坐标值。
[0022] 另外，在本发明中，在根据上述数学式1计算用G成分将环境光的光源颜色的R成分、G成分及B成分归一化后的Pe＿r、Pe＿g及Pe＿b的情况下，如果来自发光源的出射光在被摄体反射后的反射光能够体现在摄像图像中，则能够取得与环境光对应的光源颜色。并且，例如在将该取得方法与光源颜色取得步骤中的其它计算方法组合使用的情况下，通过相辅地使用两种方法，能够实现精度更高的光源颜色估计。
[0023] 另外，在本发明中，在按照上述数学式2取得图像信号中的距离信息D(m，n)的情况下，能够从预备摄像步骤中的摄像结果适当取得各像素位置的距离信息，并且着眼于主被摄体而适当取得光量信息。因此，能够限定为从被摄体区域将主被摄体和背景分开后的所需区域，并调整对区域所需要的发光量。
[0024] 另外，根据又一个观点，本发明也可以实现为使计算机执行本发明的上述方法的程序。该程序能够记录在软盘等磁记录介质、DVD-ROM等光学记录介质、硬盘和USB存储器等计算机可读的记录装置等中进行发布，此外也能够通过经由因特网的下载等进行发布。
附图说明
[0025] 图1是示出本发明的一实施方式的摄像装置的结构的功能框图。
[0026] 图2是示出对两个LED发光部的供给电压和由此从两个发光部照射到被摄体的两种颜色的闪光的混色之间的关系的表。
[0027] 图3的(a)是图2所示的两种颜色的闪光的混色的CIE x y颜色坐标图，是对位于个体偏差的平均附近的LED个体的典型品实测所有的混色模式而得到的个体差异调整值的基准值。
[0028] 图3的(b)是CIE x y颜色坐标图，示出在使任意的两个LED个体分别单独发光时得到的两个实测值、和将图3的(a)所示的基准值的坐标转换至线段的两端的两点之间而得到的近似值，在图3的(b)中，线段的两端的两个坐标对应于两个实测值，线段上的混色模式的坐标对应于近似值。
[0029] 图4的(a)是拍摄场景的一例。
[0030] 图4的(b)是示出将图4的(a)所示的拍摄场景的摄像图像分割成多个块时、关于到被摄体的距离的块分布的曲线图。
[0031] 图5的(a)和图5的(b)是示出环境光的光源颜色(Pe)、基于来自LED发光部的发光的混色的CIE x y色度坐标图。
[0032] 图6是示出两个LED发光部各自的光量和正式拍摄所需要的合计的发光量之间的关系的曲线图。
[0033] 图7是示出摄像装置的拍摄动作中的一系列的动作流程的流程图。
具体实施方式
[0034] 参照附图说明本发明的一实施方式的摄像装置1。摄像装置1如图1所示具有摄像光学系统2、摄像元件3、摄像控制部10、LED发光部11及12、用户接口部20、拍摄条件存储部30、个体差异校正部40、以及图像处理部100。摄像光学系统2具有光圈、及包括对焦镜头的各种镜头，将来自被摄体的光向摄像元件3引导，使其在摄像元件3成像。摄像元件3是采用CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)方式的图像传感器。摄像元件3具有：滤色器，其按照规定的排列方式进行排列；光电转换元件，其输出与通过各滤色器接受的光的强度对应的模拟信号；增益转换部，其转换来自光电转换元件的模拟信号的增益；以及AD转换部，其将该模拟信号转换为数字信号。另外，摄像元件3也可以使用采用CCD(Charge Coupled Device：电荷耦合器件)方式的图像传感器。在这种情况下，只要另外设置以下部件即可：增益转换部，其转换来自摄像元件3的模拟信号的增益；以及AD转换部，其将该模拟信号转换为数字信号。滤色器的排列方式可以采用任何方式，例如可以采用拜耳(Bayer)排列方式。拜耳排列是将由R(红色)和G(绿色)沿横向交替排列而成的行、及由G(绿色)和B(蓝色)沿横向交替排列而成的行沿纵向交替排列而成的排列。摄像元件3输出表示按照滤色器的排列方式将各个像素排列而成的图像的图像信号。
[0035] LED发光部11及12分别由LED发光元件(发光二极管)构成。LED发光部11和LED发光部12朝向被摄体射出色温彼此不同的闪光。从电压供给部向在LED发光部11及12设置的各个LED发光元件提供发光量控制用的电压。通过变更该供给电压的大小，能够按照多个阶段离散地调整来自各个LED发光部11及12的发光量。例如，在将以最大的发光量发光时的供给电压设为100％时，通过将供给电压设为0％能够使LED发光元件不发光，通过将供给电压设为20％、40％、60％、80％或者100％，能够分阶段地增大发光量使得从LED发光元件发光。通过使从LED发光部11及12射出的光同时照射被摄体，被摄体被基于来自两个发光部的两种颜色的闪光的混色的光照射。图2示出对两个LED发光部的供给电压和据此从两个LED发光部照射到被摄体的两种颜色的闪光的混色之间的关系。根据图2的示例，能够在两个发光部分别按照6个阶段变更发光量，因而能够实现合计36种模式的混色。
[0036] 摄像光学系统2、摄像元件3、LED发光部11及12通过按照后面所述由摄像控制部10控制，由此执行拍摄被摄体的拍摄动作。拍摄动作的模式包括在不从LED发光部11及12发光的状态下(无闪光)拍摄被摄体的模式、和在从LED发光部11及12发光的状态下(有闪光)拍摄被摄体的模式。下面，主要说明关于后者的有闪光的摄像的结构。有闪光的拍摄动作包括用于取得最终输出用的摄像图像的正式拍摄动作、和用于取得正式拍摄的拍摄条件的预备拍摄动作。在预备拍摄动作中，在不从LED发光部11及12发光的状态下拍摄被摄体，然后照射来自LED发光部11及12的闪光并拍摄被摄体。以下，将预备拍摄动作中的闪光的发光称作“预备发光”。
[0037] 用户接口部20具有带触摸屏显示器和各种按钮开关等。用户按照显示于显示器的信息操作触摸屏和按钮开关等。将表示用户的操作内容的信号向摄像控制部10和图像处理部100发送。
[0038] 拍摄条件存储部30存储必要的控制信息，以便控制LED发光部11及12、摄像光学系统2和摄像元件3。下面，主要说明拍摄条件存储部30存储的用于控制LED发光部11及12的信息(以下称作“发光部控制信息”)。发光部控制信息包括预备拍摄动作中的控制信息A和正式拍摄动作中的控制信息B。预备拍摄动作中的控制信息A包括表示对各个LED发光部11及12的供给电流的信息，并且包括与对各个LED发光部11及12的供给电流相关联的、表示LED发光部11及12的合计的闪光的光量LV0(APEX值)、LED发光部11及12的合计的闪光的混色的CIE x y颜色坐标、以及LED发光部11及12的合计的闪光的混色的RGB颜色成分比的信息。正式拍摄动作中的控制信息B包括表示对各个LED发光部11及12的供给电流的信息，并且包括与对各个LED发光部11及12的供给电流相关联的、表示LED发光部11及12的合计的闪光的光量LV1(APEX值)、LED发光部11及12的合计的闪光的混色的CIE x y颜色坐标(以下简称为“色度坐标”)、以及LED发光部11及12的合计的闪光的混色的RGB颜色成分比的信息。
[0039] 另外，发光部控制信息的色度坐标是对作为LED发光元件的典型品的、位于偏差的平均位置的一个产品进行测定得到的。图3的(a)示出了这种典型品的色度坐标点p1～p5。点p1～p5大致分布在连接点p1和p5的线段L1上。图3的(a)的点p1在仅使LED发光部11发光时与照射被摄体的光的颜色对应。即，点p1表示LED发光部11的发光颜色自身。点p5在仅使LED发光部12发光时与照射被摄体的光的颜色对应。即，点p5表示LED发光部12的发光颜色自身。点p2～p4表示在使LED发光部11及12双方分别以多种状态变更从这些LED发光部射出的闪光量并发光时、基于照射被摄体的两种颜色的闪光的混色。来自LED发光部12的出射光的光量与来自LED发光部11的出射光的光量之比，在距离点p1越远的位置的点处越大。另外，在该图2的表中包含36种模式的混色。因此，在色度坐标上示出36个点。这些点大致全部分布在线段L1上。图3的(a)为了简化起见仅示出36个点中的点p1～p5这5个点。
[0040] 个体差异校正部40对在拍摄条件存储部30中存储的发光部控制信息的一部分信息实施校正，以抑制因LED发光部11及12的个体差异而引起的偏差。成为校正对象的信息如上所述是对一个典型品进行测定而得到的信息。与该一个典型品不同的LED发光元件有时具有与所述一个典型品的特性不同的特性(具有个体差异)。因此，个体差异校正部40具有：特性值存储部42，其存储表示在摄像装置1搭载的LED发光元件的特性的特性值；信息校正部41，其根据该特性值校正拍摄条件存储部30的存储信息。作为特性值被存储在特性值存储部42中的是表示LED发光部11的发光颜色的色度坐标上的坐标值、和表示LED发光部12的发光颜色的色度坐标上的坐标值。这些坐标值是在摄像装置1的制造工序中对每个产品进行实测而得到的，并被写入特性值存储部42(EEPROM等)中。因此，这些坐标值比校正前的发光部控制信息更加准确地反映出在该产品搭载的LED发光元件的特性值。图3的(b)的点q1和q2对应于被写入特性值存储部42(EEPROM等)中的特性值的一例。如图3的(b)所示，校正前的发光部控制信息所表示的点p1和点p5偏离通过实测取得的点q1和q2。因此，对于位于点p1和点p5之间的点p2～p4等其它的点，同样估计为是偏离实际的值的点。
[0041] 信息校正部41根据被写入特性值存储部42(EEPROM等)中的特性值，通过例如仿射转换等坐标转换处理，将包括与在拍摄条件存储部30中存储的坐标值对应的点p1～p5的36个点、转换为包括点p1’～p5’的新的36个点，使得转换后的点p1’和点p5’与点q1和q2大致一致。转换后的36个点大致分布在连接点p1’和点p5’的线段L1’上。例如，在仿射转换中进行坐标的放大/缩小、旋转、平行移动。将转换后的坐标值作为校正后的发光部控制信息存储在拍摄条件存储部30中。图像处理部100和摄像控制部10使用被存储在拍摄条件存储部30中的这些校正后的发光部控制信息。另外，个体差异校正部40的校正处理是在摄像装置1的电源接通时等先于拍摄动作进行的。
[0042] 图像处理部100通过对从摄像元件3输出的数字图像信号实施规定的信号处理，生成与被摄体像对应的图像数据。将图像处理部100生成的图像数据，作为与应该显示的图像相关的图像信号输出给显示图像的显示器，或向计算机可读的记录介质输出。
[0043] 摄像控制部10通过控制摄像光学系统2的快门和光圈的驱动来调整曝光，通过控制摄像光学系统2的对焦镜头的驱动来进行对焦，并控制摄像元件3的感光度和驱动。另外，摄像控制部10控制来自LED发光部11及12的闪光量。摄像控制部10根据在图像处理部100中运算的结果，运算这些控制所需要的光圈和快门速度、感光度、闪光指数等各种条件值。
[0044] 摄像控制部10通过适当组合上述的控制，使摄像光学系统2、摄像元件3、LED发光部11及12执行拍摄被摄体的拍摄动作。摄像控制部10根据图像处理部100运算出的预备拍摄动作用的拍摄条件值，使摄像光学系统2、摄像元件3、LED发光部11及12执行预备拍摄动作。在预备拍摄动作后，摄像控制部10使摄像光学系统2、摄像元件3、LED发光部11及12执行正式拍摄动作。摄像控制部10根据图像处理部100运算出的控制值等，使LED发光部11及12等执行正式拍摄动作。
[0045] 由CPU、存储器等存储用装置、各种接口等构成的硬件、和由在存储部中存储的程序数据等各种数据构成的软件相互协作，由此实现摄像控制部10、拍摄条件存储部30、个体差异校正部40、用户接口部20及图像处理部100的功能。另外，也可以通过将基于这些硬件和软件的协作的功能与ASIC等专用电路的功能进行组合，实现摄像控制部10、拍摄条件存储部30、个体差异校正部40、用户接口部20及图像处理部100的功能。
[0046] 下面，更加详细地说明图像处理部100。以下的说明主要涉及运算LED发光部11及12的控制值、对图像实施校正的处理。图像处理部100也可以运算其它的控制值，对图像实施其它的处理。图像处理部100具有发光量取得部101、光源取得部102、控制值取得部103、校正系数取得部104、图像校正部105。
[0047] 发光量取得部101计算在正式拍摄时所需要的LED发光部11及12的合计的发光量。发光量取得部101根据在无预备发光状态下拍摄被摄体时从摄像元件3输出的数字图像信号计算亮度信号，并根据在有预备发光状态下拍摄被摄体时从摄像元件3输出的数字图像信号计算亮度信号。并且，发光量取得部101分析无预备发光时的亮度信号和有预备发光时的亮度信号之差，根据该分析结果计算在正式拍摄时所需要的LED发光部11及12的合计的发光量。
[0048] 光源取得部102根据来自摄像元件3的数字图像信号估计计算第1环境光的光源颜色。在本实施方式中，在摄像装置1的电源被接通、装置起动时，装置的动作模式进入从摄像元件3输出与无闪光的被摄体的动态图像对应的数字图像信号的模式。在将对应静止图像的图像信号设为1帧时，与动态图像对应的数字图像信号包括以规定的时间间隔从摄像元件3连续输出的多个帧。光源取得部102对每1帧计算与被摄体中被估计为白色的区域有关的RGB像素信号的平均值，作为环境光的估计值。另外，光源取得部102也可以根据1帧的图像信号，将被摄体的反射光中镜面反射光的成分和扩散反射光分开，根据与镜面反射光对应的信号成分估计环境光的光源颜色。光源取得部102将这样估计计算出的第1环境光的光源颜色向控制值取得部103输出。另外，在无闪光地进行拍摄的情况下，在计算白平衡系数和颜色再现系数时使用第1环境光的光源颜色。对此省略说明。
[0049] 另外，光源取得部102根据预备拍摄动作中有预备发光时的数字图像信号和预备拍摄动作中无预备发光时的数字图像信号，按照以下所述计算第2环境光的光源颜色。
[0050] 光源取得部102首先根据在无预备发光状态下拍摄被摄体时从摄像元件3输出的数字图像信号，生成亮度分布信息Y0(m，n)。(m，n)表示在将图像内部分割成为在水平方向和垂直方向上分别由规定像素数构成的块时的、水平方向第m个、垂直方向第n个的块(以下称为“块(m，n)”)。这样，通过将图像分割成由多个像素构成的块，并对各个块进行运算，与对各个像素进行运算时相比，运算量减少。另外，也可以对每个像素进行运算。Y0(m，n)表示在无预备发光状态下拍摄被摄体时的块(m，n)的亮度值。并且，光源取得部102根据在无预备发光状态下拍摄被摄体时从摄像元件3输出的数字图像信号，生成颜色分布信息C0_r(m，n)、C0_g(m，n)及C0_b(m，n)。这些颜色分布信息与块(m，n)中包含的像素的R信号、G信号及B信号的各个平均值对应。另外，也可以不是平均值，而是块(m，n)中的像素值的累计值或这些像素值中的任意一个像素值。
[0051] 然后，光源取得部102在预备拍摄动作中，根据在有预备发光状态下拍摄被摄体时从摄像元件3输出的数字图像信号，生成亮度分布信息Y1(m，n)。Y1(m，n)表示在有预备发光状态下拍摄被摄体时的块(m，n)的亮度值。并且，光源取得部102根据在有预备发光状态下拍摄被摄体时从摄像元件3输出的数字图像信号，生成颜色分布信息C1_r(m，n)、C1_g(m，n)及C1_b(m，n)。这些颜色分布信息与块(m，n)中包含的像素的R信号、G信号及B信号的各个平均值对应。另外，也可以不是平均值，而是块(m，n)中的像素值的累计值或这些像素值中的任意一个像素值。
[0052] 然后，光源取得部102根据Y1和Y0的差分(＝Y1(m，n)-Y0(m，n))的大小，取得表示各个块的光源评价的可靠度的加权分布Wt(m，n)。Wt(m，n)被设定成根据Y1和Y0的差分的大小而单调递增的值。例如，Wt(m，n)也可以取根据Y1和Y0的差分的大小而分多个阶段增大的值，还可以根据Y1和Y0的差分与一个阈值的大小关系而取2值中的任意一个值。Y1和Y0的差分为与LED发光部11及12的闪光的反射量对应的大小。因此，Wt(m，n)取与闪光的反射量的大小对应的值。
[0053] 然后，光源取得部102对各个块进行与以下的数学式对应的运算，由此对颜色分布信息关于G信号进行归一化。由此，光源取得部102取得有关块(m，n)的颜色成分比P0_r(m，n)、P0_g(m，n)、P0_b(m，n)、以及颜色成分比P1_r(m，n)、P1_g(m，n)、P1_b(m，n)。
[0054] P0_i(m，n)＝C0_i(m，n)/C0_g(m，n)(分别适用于i＝r、i＝g和i＝b的情况)[0055] P1_i(m，n)＝(C1_i(m，n)-C0_i(m，n))/(C1_g(m，n)-C0_g(m，n))(分别适用于i＝r、i＝g和i＝b的情况)
[0056] 然后，光源取得部102通过进行与以下的数学式对应的运算，取得有关闪光的颜色成分比P2_r、P2_g及P2_b。另外，F_r、F_g及F_b是基于在预备发光时从LED发光部11及12射出的双方的闪光的混色的R成分、G成分及B成分。这些值是从在拍摄条件存储部30中存储的发光部控制信息A取得的。另外，预先关于G成分将F_r、F_g及F_b归一化。即F_g＝1。
[0057] P2_i＝F_i(分别适用于i＝r、i＝g和i＝b的情况)
[0058] 然后，光源取得部102根据如上所述取得的颜色成分比，对各个块进行与以下的数学式对应的运算，由此取得表示有关块(m，n)的环境光的颜色的颜色成分比Pe_r(m，n)、Pe_g(m，n)、Pe_b(m，n)。
[0059] Pe_i(m，n)＝P0_i(m，n)*P2_i/P1_i(m，n)(分别适用于i＝r、i＝g和i＝b的情况)[0060] 然后，光源取得部102使用权重Wt(m，n)，按照以下所述计算Pe_i(m，n)的加权平均值、及。另外，ΣX表示对所有的块(m，n)将X相加。
[0061] ＝Σ(Pe_r(m，n))*Wt(m，n))/ΣWt(m，n)
[0062] ＝Σ(Pe_g(m，n))*Wt(m，n))/ΣWt(m，n)
[0063] ＝Σ(Pe_b(m，n))*Wt(m，n))/ΣWt(m，n)
[0064] 另外，以上的运算是以G成分为基准进行归一化的。因此，P0_g、P1_g、P2_g及的值都是1。因此，也可以从开始就将这些G成分的要素都设定为1，仅对R成分和B成分进行运算。
[0065] 光源取得部102这样取得表示第2环境光的光源颜色的、及。这些值是通过使用了表示各个块的可靠度的权重Wt(m，n)的加权平均而取得的。因此，与闪光的反射量较小、可靠度较低的块的颜色成分比相比，闪光的反射量较大、可靠度较高的块的颜色成分比容易反映在计算结果中。因此，容易适当地计算出环境光的光源颜色。另外，关于能够如上所述计算第2环境光的光源颜色的理由在后面进行说明。光源取得部102向控制值取得部103输出、及。
[0066] 控制值取得部103根据在预备拍摄动作中从摄像元件3输出的数字图像信号，按照以下所述运算在正式拍摄动作中使用的各种条件值。
[0067] 首先，控制值取得部103根据在预备拍摄动作中拍摄被摄体时的数字图像信号，取得图像内的各个位置距摄像装置1的距离信息。例如，根据与图像内的各个位置的亮度相关的、有预备发光和无预备发光之间的差异，取得该距离信息。作为一例，控制值取得部103按照以下所述根据光源取得部102取得的Y0(m，n)和Y1(m，n)，运算块(m，n)的距离信息D(m，n)。LV0是从拍摄条件存储部30的发光部控制信息A取得的。logx是以x为底的对数。
[0068] D(m，n)＝(LV0-LOG2(Y1(m，n))/Y0(m，n)-1))/2
[0069] 然后，控制值取得部103根据D(m，n)和经由用户接口部20的用户输入，将图像区域划分为对应主被摄体的区域和除此以外的区域。控制值取得部103根据D(m，n)生成有关距离的块的分布信息。例如，关于图4的(a)的拍摄场景，生成图4的(b)的分布信息。如图4的(b)所示，在块的分布中呈现出多个峰值。在将这多个峰值中呈现于距离最大的位置的峰值与呈现于距离次之较大的位置的峰值之间的距离信息值d作为边界时，认为D(k1，l1)大于距离信息值d的块属于背景区域。并且，认为与D(k2，l2)为距离信息值d以下的峰值相当的块(k2，l2)属于图4的(a)的B1～B3所示的被摄体的区域。被摄体B1～B3中的任意一个是用户作为最重要的拍摄对象而关注的被摄体(以下称为“主被摄体”)。因此，控制值取得部103指示用户接口部20在显示器显示图4的(a)的图像，并且让用户选择主被摄体是哪个。此时，控制值取得部103根据D(m，n)和图4的(b)所示的分布信息，生成表示图像内的各个块属于被摄体B1～B3及背景中的哪个区域的信息。并且，控制值取得部103指示用户接口部20，以在显示器显示根据上述信息将被摄体的选择状况指示给用户的指示图像(例如，图4的(a)的箭头C)。用户参照显示于显示器的指示图像，通过按钮等从被摄体B1～B3中选择自己确定为主被摄体的被摄体。控制值取得部103根据用户的选择结果，将各个块划分为属于主被摄体的区域的块和属于主被摄体的区域以外的块。另外，控制值取得部103也可以不根据用户输入，而根据距离信息D(m，n)自动划分主被摄体区域。例如，也可以从被摄体B1～B3中选择最近的被摄体作为主被摄体。
[0070] 然后，控制值取得部103根据如上所述将主被摄体的区域与除此以外的区域分开的结果和有关块的亮度分布信息，按照以下所述运算闪光量与环境光和闪光整体的光量之比(以下称为“闪光量比”)。首先，控制值取得部103生成在主被摄体区域和除此以外的区域中分别取权重α、β的权重分布Wc(m，n)。按照是否对主被摄体区域以外的区域重视主被摄体区域中的环境光和闪光的平衡等基准，调整α和β的相对的大小关系，由此决定权重α和β。
[0071] Wc(m，n)＝α(块(m，n)∈主被摄体区域)
[0072] ＝β(块(m，n) 主被摄体区域)
[0073] 然后，控制值取得部103根据Y0(m，n)和Y1(m，n)，按照以下所述计算有关作为闪光量比的计算基准的块(m，n)的基准值r(m，n)。LV0和LV1是从拍摄条件存储部30取得的。
[0074] r(m，n)＝log2[Y1(m，n)-Y0(m，n)/Y0(m，n)]+(LV1-LV0)
[0075] 并且，控制值取得部103按照以下所述计算闪光量比R(光量信息)。闪光量比R表示闪光量与正式拍摄所需要的总体光量(环境光和闪光的合成光的光量)之比。
[0076] R＝(A/(A+1))
[0077] A＝2^(Σ(r(m，n)*Wc(m，n))/ΣWc(m，n))
[0078] 然后，控制值取得部103根据闪光量比R、光源取得部102取得的环境光的颜色、和拍摄条件存储部30的存储内容，按照以下所述计算正式拍摄动作时的环境光和闪光的合成光的颜色。此处所讲的拍摄条件存储部30的存储内容具体地讲是指与个体差异校正部40进行校正后的混色的坐标有关的信息(包括图3的(b)的点p1’～p5’的坐标的信息)。
[0079] 首先，控制值取得部103选择光源取得部102计算出的第1环境光的光源颜色和第2环境光的光源颜色中的任意一种光源颜色。根据上述的第1环境光的光源颜色的估计方法，当在被摄体中白色区域较小的情况下或来自被摄体的反射光中包含的镜面反射光的成分较小的情况下，有可能不能适当取得光源颜色。因此，当在被摄体中白色区域较小的情况下或来自被摄体的反射光中包含的镜面反射光的成分较小的情况下，控制值取得部103选择第2环境光的光源颜色。另一方面，当在被摄体中白色区域较大的情况下或来自被摄体的反射光中包含的镜面反射光的成分较大的情况下，控制值取得部103选择第1环境光的光源颜色。至于在被摄体中白色区域是否较小、来自被摄体的反射光中包含的镜面反射光的成分是否较小，也可以通过白色区域的面积或镜面反射光与规定的阈值的比较来判定。下面，将第1及第2环境光的光源颜色中被选择的光源颜色的颜色成分比设为Pr、Pg及Pb。在选择了第1环境光的光源颜色的情况下，Pr、Pg及Pb成为按照G成分将第1环境光的光源颜色中的R成分、G成分及B成分归一化后的值。在选择了第2环境光的光源颜色的情况下，成为Pr＝、Pg＝、Pb＝。
[0080] 控制值取得部103计算图5的(a)所示的色度坐标中的坐标q3。在划出连接与LED发光部11的发光颜色对应的坐标p1’和与LED发光部12的发光颜色对应的坐标p5’的线段L1’、以及与该线段L1’垂直且在与环境光的颜色对应的坐标Pe通过的直线L2时，坐标q3相当于线段L1’和直线L2的交点的坐标。因此，坐标q3属于线段L1’上的点中最接近坐标Pe的点。坐标Pe与Pr、Pg及Pb所表示的颜色对应。
[0081] 然后，控制值取得部103在与基于LED发光部11及12的发光颜色的混色对应的线段L1’上的36个点(由个体差异校正部40校正后的点)中、在色度坐标上与坐标q3较近的点中，提取接近正式拍摄时的闪光量的点。36个点离散地配置在线段L1’上，因而不一定与坐标q3一致。另外，如果36个点中有与坐标q3一致的点，也可以提取与坐标q3一致的这个点。在图5的(a)的示例中提取点ps’。点ps’的提取方法如下所述包括两个步骤。首先，作为第1提取步骤，根据发光量取得部101取得的正式拍摄时所需要的发光量，提取36个点中接近正式拍摄时的闪光量的多个点。图6表示一个提取例。图6的横轴X表示对LED发光部11的供给电压为0％、20％、40％、60％、80％及100％时的LED发光部11的发光量Fa、Fb、Fc、Fd及Fe。图6的纵轴Y表示对LED发光部12的供给电压为0％、20％、40％、60％、80％及100％时的LED发光部12的发光量Ff、Fg、Fh、Fi及Fj。虚线表示X＝Fa、X＝Fb、X＝Fc、X＝Fd、X＝Fe、X＝Ff、X＝Fg、X＝Fh、X＝Fi及X＝Fj的各条直线。图6的曲线表示正式拍摄所需要的合计的发光量、和LED发光部11及12各自的发光量的关系。此时，控制值取得部103对于X＝0、Fa、Fb、Fc、Fd及Fe，分别提取由虚线及坐标轴构成的网格上的网格点即位于比曲线靠+Y侧的点中最接近曲线的点。
图6所示的6个黑色的点表示所提取的点。作为第2提取步骤，在通过第1提取步骤所提取的多个点中，提取在色度坐标上与对应于坐标q3的发光量之比最近的点，作为表示对应于点ps’的发光量之比的点。例如，在图6所示的6个点中提取与对应于坐标q3的发光量之比最近的1个点。
图6所示的6个黑色的点表示所提取的点。作为第2提取步骤，在通过第1提取步骤所提取的多个点中，提取在色度坐标上与对应于坐标q3的发光量之比最近的点，作为表示对应于点ps’的发光量之比的点。例如，在图6所示的6个点中提取与对应于坐标q3的发光量之比最近的1个点。
[0082] 这样提取的点ps’表示图2所示的36个混色中的任意一种颜色。因此，决定为LED发光部11及12各自的发光量是对应于ps’的发光量。这样，提取用于决定LED发光部11及12各自的发光量的点ps’，对应于本发明中取得“与第1直线和线段的交点较近的x y色度坐标上的规定的点”。
[0083] 摄像控制部10在正式拍摄动作中控制LED发光部11及12，使得以与控制值取得部103取得的点ps’对应的发光量发光。具体而言，摄像控制部10控制电压供给部，使得向LED发光部11及12分别供给诸如达到与点ps’对应的发光量的电压。
[0084] 另外，控制值取得部103取得表示正式拍摄时的闪光和环境光的合成光(拍摄光)的颜色的坐标t。坐标t是在点ps’和点Pe双方通过的直线L2’上的坐标，是使P4’-Pe间的距离：t-Pe间的距离为1：R的坐标。
[0085] 校正系数取得部104根据控制值取得部103计算出的坐标t，按照以下所述取得用于校正在正式拍摄中取得的数字图像信号的白平衡系数和颜色再现矩阵。白平衡系数由3个实数值构成。3个实数值分别与图像数据的各个像素中的R信号、G信号及B信号相乘。颜色再现矩阵是由包括与图像数据的各个像素中的R信号、G信号及B信号这3个要素的向量相乘的3行3列构成的矩阵。校正系数取得部104与多种基准光源的光源颜色相关联地保存白平衡系数的基准值和颜色再现矩阵的基准值。校正系数取得部104提取多个和与坐标t对应的颜色接近的光源颜色的基准光源。并且，校正系数取得部104对与所提取的多个基准光源相关联地保存的多个基准值，实施与所提取的基准光源的光源颜色和对应于坐标t的颜色之差对应的插值运算，由此取得用于校正数字图像信号的白平衡系数和颜色再现矩阵。
[0086] 然后，图像校正部105根据校正系数取得部104取得的关于坐标t的白平衡系数和颜色再现矩阵，对在正式拍摄时从摄像元件3输出的数字图像信号实施白平衡校正处理和颜色再现处理。具体而言，将在正式拍摄时从摄像元件3输出的数字图像信号中包含的各个像素的R信号、G信号及B信号，与白平衡系数和颜色再现矩阵相乘。在正式拍摄动作中，如上所述，摄像控制部10使从LED发光部11及12以对应于点ps’的光量向被摄体照射闪光。即，利用闪光和环境光双方来照射被摄体的拍摄光成为关于主被摄体(图5的(a)的被摄体B2)的对应于坐标t的颜色。因此，根据校正系数取得部104取得的关于坐标t的白平衡系数和颜色再现矩阵，对在正式拍摄时从摄像元件3输出的数字图像信号实施白平衡校正处理和颜色再现处理，将该数字图像信号校正为示出与被摄体本来的颜色接近的颜色的信号。
[0087] 下面，按照图7说明摄像装置1的拍摄动作中的一系列的动作流程。在起动后，摄像装置1的动作模式成为在无闪光发光状态下从摄像元件3输出对应于动态图像的数字图像信号的模式(步骤S1)。然后，图像处理部100对从摄像元件3输出的动态图像的每1帧取得RGB像素信号(步骤S2)。然后，光源取得部102根据每1帧的RGB像素信号估计运算第1环境光的光源颜色(步骤S3)。然后，判定是否进行有闪光的拍摄(步骤S4)。在判定为不进行有闪光的拍摄的情况下(步骤S4：否)，执行步骤S1。在判定为进行有闪光的拍摄的情况下(步骤S4：是)，摄像控制部10使摄像光学系统2和摄像元件3执行无预备发光的预备拍摄动作(步骤S5)。图像处理部100根据此时从摄像元件3输出的数字图像信号，取得亮度分布信息Y0(m，n)等亮度信息和RGB像素信号(步骤S6)。然后，摄像控制部10使摄像光学系统2、摄像元件3以及LED发光部11及12执行有预备发光的预备拍摄动作(步骤S7)。图像处理部100根据此时从摄像元件3输出的数字图像信号，取得亮度分布信息Y1(m，n)等亮度信息和RGB像素信号(步骤S8)。然后，发光量取得部101根据在步骤S6及S8中取得的亮度信号，计算在正式拍摄时需要的LED发光部11及12的合计的发光量(步骤S9)。然后，光源取得部102根据在步骤S6及S8取得的亮度信息，计算第2环境光的光源颜色(步骤S10)。
[0088] 然后，控制值取得部103根据在步骤S6及S8取得的亮度分布信息Y0(m，n)和Y1(m，n)，取得距离信息D(m，n)(步骤S11)。然后，控制值取得部103根据在步骤S11取得的距离信息D(m，n)，取得闪光量比R(步骤S13)。然后，控制值取得部103取得表示闪光和环境光的合成光(拍摄光)的颜色的坐标t(步骤S13)。在步骤S13，首先根据在步骤S9取得的必要发光量和在拍摄条件存储部30中存储的发光部控制信息，取得与LED发光部11及12各自的发光量对应的色度坐标上的点ps’。并且，根据在步骤S12取得的闪光量比R、与在步骤S3及步骤S10取得的第1及第2环境光的光源颜色中任意一种光源颜色(Pr、Pg、Pb)对应的色度坐标Pe、以及点ps’，取得坐标t。然后，校正系数取得部104根据在步骤S13取得的坐标t，取得校正系数(白平衡系数和颜色再现矩阵)(步骤S14)。然后，摄像控制部10根据在步骤S13取得的点ps’和在拍摄条件存储部30中存储的发光部控制信息等，使摄像光学系统2、摄像元件3以及LED发光部11及12执行正式拍摄动作(步骤S15)。然后，图像校正部105根据在步骤S14取得的校正系数，对在步骤S15执行的正式拍摄动作时从摄像元件3输出的数字图像信号实施校正处理(白平衡调整处理和颜色再现处理)(步骤S16)。并且，在判定为处理全部结束时(步骤S17：是)，摄像装置1结束处理。在判定为处理尚未结束时(步骤S17：否)，摄像装置1返回到步骤S1的处理。
[0089] 根据以上说明的本实施方式，使用了LED发光部11及12这两个发光源。因此，与使用三个发光源的情况相比，容易进行发光源的控制和调整，而且通过两个发光部使闪光颜色接近环境光的颜色。
[0090] 另外，在本实施方式中，来自LED发光部11及12的出射光的色温不同。并且，在色度坐标中，在以与线段L1’垂直的方式划出在对应环境光的光源颜色的坐标通过的直线L2的情况下，根据线段L1’和直线L2的交点q3决定来自两个发光源的光量。由此，能够在线段L1’上的范围内调整两个发光源的混色。即，使闪光至少在色温上接近环境光。
[0091] 另外，在本实施方式中，取得与基于来自LED发光部11及12的发光的36种模式的混色中的任意一种混色对应的线段上的1点ps’，并且以与闪光量比R对应的方式取得在ps’以及与环境光的光源颜色对应的坐标Pe通过的直线L2’上的坐标t。并且，在所取得的坐标t对图像实施白平衡调整。因此，能够着眼于主被摄体区域，根据取得平衡的闪光与环境光的光量比调整白平衡。
[0092] 如上所述，本发明容易进行发光源的控制和调整，而且使闪光的颜色接近环境光，即使是闪光的颜色和环境光的颜色不同的情况下，也容易着眼于主被摄体区域适当地调整白平衡。
[0093] 另外，在本实施方式中，根据在特性值存储部42中存储的LED发光部11及12的发光颜色的实测值，校正基于这些发光部的发光的混色的坐标值。实测值是两个，而混色的坐标值是36个。即，根据数量少于坐标值的实测值校正所有的坐标值。因此，在制造摄像装置1时，不需要改变发光量来对所有的发光量实测基于LED发光部11及12的发光的混色。因此，能够简化制造工序。
[0094] 下面，说明在光源取得部102能够按照以上所述计算第2环境光的光源颜色的理由。在以下的说明中使用的各个变量如下所述。
[0095] AV：光圈值[APEX值]＝LOG2(FNo^2)
[0096] TV：曝光时间[APEX值]＝LOG2(1/时间[SEC])
[0097] SV：ISO感光度[APEX值]＝LOG2(ISO/3.125)
[0098] DV：与被摄体的距离[APEX值]＝LOG2(距离[m]/1[m])
[0099] RV：被摄体的反射率[APEX值]＝LOG2(反射率[％]/18[％])
[0100] BV：环境光的亮度值[APEX值]
[0101] LV：LED光的亮度值[APEX值]
[0102] Ytrg：适当曝光时的亮度目标值
[0103] Ynon：预备拍摄时的亮度评价值(无预备发光＝环境光)
[0104] Ypre：预备拍摄时的亮度评价值(有预备发光＝环境光+LED光)
[0105] AVa：在预备拍摄时使用的AV值
[0106] TVa：在预备拍摄时使用的TV值
[0107] SVa：在预备拍摄时使用的SV值
[0108] LVa：在预备拍摄时使用的LV值
[0109] BVa：预备拍摄时的环境光的亮度值[APEX值]
[0110] RVa：预备拍摄时的被摄体的反射率[APEX值]＝LOG2(反射率[％]/18[％])[0111] DVa：预备拍摄时的与被摄体的距离[APEX值]＝LOG2(距离[m]/1[m])
[0112] 已知适当曝光时的曝光的一般式用下式表示。环境光的亮度值BV、LED光的亮度值LV如下所述。
[0113] BV＝AV+TV-SV……(a0)
[0114] LV＝AV+2*DV+(TV-5)+(5-SV)……(a1)
[0115] 对式(a0)、(a1)适用与被摄体的反射率RV之间的关系而得到的式，用下面的式(a2)、(a3)表示。
[0116] BV+RV＝AV+TV-SV……(a2)
[0117] LV+RV＝AV+2*DV+(TV-5)+(5-SV)……(a3)
[0118] 在预备拍摄时取得的各亮度评价值根据以上的一般式能够表示如下。Ynon能够用环境光BV的式表示，因而能够表示如下。
[0119] Ynon＝Ytrg*2^((BVa+RVa)-(AVa+TVa-SVa))……(b0)
[0120] 在预备拍摄时的有预备发光时的亮度评价值Ypre能够用将环境光BV和LED光LV相加得到的式表示，因而能够表示如下。
[0121] Ypre＝Ytrg*2^((BVa+RVa)-(AVa+TVa-SVa))+
[0122] Ytrg*2^((LVa+RVa-2*DVa)-(AVa+TVa-SVa))……(b1)
[0123] 在预备拍摄时得到的颜色评价值能够用所述亮度式与RGB颜色成分比相加来表示。按照以下所述定义环境光、LED光、被摄体反射率的颜色成分比。另外，在基于两个LED发光部的发光时，以下的LED光是来自两个发光部的发光的合成光。
[0124] ·环境光颜色的RGB颜色成分比：(Penv_r、Penv_g、Penv_b)
[0125] ·LED光颜色的RGB颜色成分比：(Pled_r、Pled_g、Pled_b)
[0126] ·被摄体颜色的RGB颜色成分比：(Ptrg_r、Ptrg_g、Ptrg_b)
[0127] 在这种情况下，无预备发光时的颜色评价值Cnon_r、Cnon_g及Cnon_b能够根据式(b0)和RGB颜色成分比用下式表示。下面，假设如变量为“X_i”那样使用索引i表示的数学式表示关于i＝r、g、b分别成立。
[0128] Cnon_i＝Ptrg_i*Penv_i*Ytrg*2^((BVa+RVa)-(AVa+TVa-SVa))…(d0)
[0129] 有预备发光时的颜色评价值Cpre_r、Cpre_g及Cpre_b能够根据式(b1)和RGB颜色成分比用下式表示。
[0130] Cpre_i＝Ptrg_i*Penv_i*Ytrg*2^((BVa+RVa)-(AVa+TVa-SVa))+Ptrg_i*Pled_i*Ytrg*2^((LVa+RVa-2*DVa)-(AVa+TVa-SVa))…(d1)
[0131] 另外，从有预备发光的颜色评价值Cpre_i减去无预备发光的颜色评价值Cnon_i，从而从有预备发光的颜色评价值Cpre_i去除环境光的成分，由此能够得到基于LED光源的颜色评价值Cdif_i的式。
[0132] Cdif_i＝(Cpre_i-Cnon_i)＝Ptrg_i*Pled_i*Ytrg*2^((LVa+RVa-2*DVa)-[0133] (AVa+TVa-SVa))…(d2)
[0134] 按照以下所述以G为基准将在预备拍摄时得到的颜色评价值的式归一化，并转换为颜色成分比的式。无预备发光时的评价值的颜色成分比Pnon_r、Pnon_g、Pnon_b根据式(d0)能够用下式表示。另外，通过以G为基准的归一化，Ptrg_g＝Pevn_g＝Pled_g＝1。
[0135] Pnon_i＝Cnon_i/Cnon_g＝Ptrg_i*Pevn_i*A/((Ptrg_g*Pevn_g)*A)
[0136] ＝Ptrg_i*Pevn_i…(e0)
[0137] A＝Ytrg*2^((BVa+RVa)-(AVa+TVa-SVa))
[0138] 仅LED光时的评价值的颜色成分比Pdif_r、Pdif_g、Pdif_b根据式(d2)能够用下式表示。
[0139] Pdif_i＝Cdif_i/Cdif_g＝Ptrg_i*Pled_i*B/((Ptrg_g*Pled_g)*B)
[0140] ＝Ptrg_i*Pled_i…(e1)
[0141] B＝Ytrg*2^((LVa+RVa-2*DVa)-(AVa+TVa-SVa))
[0142] LED光颜色的RGB颜色成分比是已知的值。因此，能够按照以下所述根据光源颜色与被摄体颜色的混合比即评价值的颜色成分比Pnon_i、Pled_i，计算环境光的光源颜色。根据式(e1)能够计算被摄体颜色的RGB颜色成分比Ptrg_i。
[0143] Ptrg_i＝Pdif_i/Pled_i……(f0)
[0144] 由于能够计算被摄体颜色的RGB颜色成分比Ptrg_i，因而能够根据式(e0)计算环境光颜色的RGB颜色成分比Penv_i。根据该方法，在预备拍摄时如果来自LED发光部11及12的出射光在被摄体反射后的反射光体现在摄像图像中，则能够取得对应环境光的光源颜色。
[0145] Penv_i＝Pnon_i/Ptrg_i……(f1)
[0146] [变形例]
[0147] 下面说明上述的实施方式的变形例。在上述的实施方式中选择了第1及第2环境光的光源颜色中的任意一种光源颜色。但是，也可以按照被摄体的白色区域的大小、和与来自被摄体的反射光中包含的镜面反射光的成分的大小对应的权重，获取第1环境光的光源颜色和第2环境光的光源颜色的加权平均，将所得的值作为环境光的光源颜色使用。
[0148] 另外，在上述的实施方式中，根据LED发光部11及12的各发光颜色的实测值，校正了表示基于来自这些发光部的发光的混色的坐标值。由此，校正了基于LED发光元件的个体差异的设定值的偏差。作为与其相关的一变形例，也可以将基于LED发光元件的发光颜色的个体差异的偏差分类为多个组，预先在各摄像装置中存储表示组的识别值来取代特性值。并且，也可以根据该识别值，按照对应偏差的校正方法校正坐标值。在这种情况下，识别值的数量能够少于坐标值，因而在制造装置时不需要实测所有的坐标值。
[0149] 另外，在上述的实施方式中，根据与线段L1’垂直的直线L2决定LED发光部11及12的发光量等。但是，也可以根据以90度以外的角度与线段L1’相交的直线，决定LED发光部11及12的发光量等。例如，也可以根据与线段L1’成如下角度而划出的直线，决定LED发光部11及12的发光量等，该角度下色温与环境光的光源颜色相同。在这种情况下，该直线和线段L1’的交点达到与环境光的光源颜色相同的色温。并且，由于根据该交点决定闪光的混色，因而能够使基于LED发光部11及12的发光的混色在色温上最接近环境光的光源颜色。除这样根据使色温相同的观点设定线段L1’和直线的角度以外，也可以根据其它的观点设定角度。