图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置

摘要

一种图像处理装置，通过拍摄被摄体，进行所述被摄体的图像的分量分离，包括：投射部(101)，向被摄体投射从光源发出的光；彩色偏振获取部(102)，获取被摄体的彩色偏振图像；偏振信息处理部(104)，对于各个构成彩色偏振图像的单位像素，基于透过偏振主轴方向为3个以上的偏振片的光的亮度与偏振主轴方向的对应关系，生成彩色偏振信息；光源颜色信息获取部(105)，获取光源的颜色信息；和图像分量分离部(106)，基于偏振信息和光源的颜色信息，进行彩色图像的分量分离。

权利要求

1.一种图像处理装置，通过拍摄被摄体，进行所述被摄体的图像的分量分离，包括：投射部，其向所述被摄体投射从光源发出的直线偏振光；

彩色偏振获取部，其获取所述被摄体的彩色偏振图像；

偏振信息处理部，其对于各个构成所述彩色偏振图像的单位像素，基于透过偏振主轴方向为3个以上的偏振片的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息；

光源颜色信息获取部，其获取所述光源的颜色信息；和图像分量分离部，其基于所述彩色偏振信息和所述光源的颜色信息，进行所述图像的分量分离。

2.根据权利要求1所述的图像处理装置，其特征在于，具有彩色信息处理部，其根据所述彩色偏振图像来生成彩色图像；

所述图像分量分离部进行所述彩色图像的分量分离。

3.根据权利要求1所述的图像处理装置，其特征在于，所述彩色偏振获取部包括：

偏振片，其偏振主轴方向为不同的3个以上；

彩色滤镜，其配置于与所述偏振片相对的位置；和拍摄元件，其接收透过所述偏振片和彩色滤镜而来的光。

4.根据权利要求3所述的图像处理装置，其特征在于，所述偏振信息处理部至少生成偏振最小彩色分量和偏振振幅彩色分量的其中之一，作为所述彩色偏振信息。

5.根据权利要求4所述的图像处理装置，其特征在于，所述图像分量分离部将构成所述被摄体的图像的各像素的颜色矢量，分离为漫反射分量和镜面反射分量。

6.根据权利要求4所述的图像处理装置，其特征在于，所述图像分量分离部将构成所述被摄体的图像的各像素的颜色矢量，分离为漫反射非偏振分量、漫反射偏振分量和镜面反射偏振分量。

7.根据权利要求5或者权利要求6所述的图像处理装置，其特征在于，所述图像分量分离部将所述被摄体的图像的至少一部分，分离为阴影区域。

8.根据权利要求5或者权利要求6所述的图像处理装置，其特征在于，所述图像分量分离部将所述彩色偏振信息分离为所述光源颜色矢量和所述偏振最小彩色分量的颜色矢量。

9.根据权利要求8所述的图像处理装置，其特征在于，所述图像分量分离部将所述偏振振幅彩色分量分离为所述光源颜色矢量和所述偏振最小彩色分量的颜色矢量。

10.根据权利要求5或者权利要求6所述的图像处理装置，其特征在于，所述图像分量分离部将所述彩色图像分离为所述光源颜色矢量和所述偏振最小彩色分量的颜色矢量。

11.根据权利要求1所述的图像处理装置，其特征在于，所述彩色偏振获取部，与所述投射部进行同步处理。

12.根据权利要求3所述的图像处理装置，其特征在于，所述投射部从彩色偏振获取部分开而配置。

13.一种图像处理系统，具有投射装置和图像处理装置，通过拍摄被摄体，进行所述被摄体的图像的分量分离，所述投射装置具有：

投射部，其向所述被摄体投射从光源发出的直线偏振光；

所述图像处理装置具有：

彩色偏振获取部，其将透过偏振主轴方向不同的3个方向以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；

彩色信息处理部，其根据所述彩色偏振图像来生成彩色图像；

偏振信息处理部，其对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏振片的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息；

光源颜色信息获取部，其获取所述光源的颜色信息；和图像分量分离部，其基于所述彩色偏振信息和所述光源的颜色信息，进行所述彩色图像的分量分离。

14.一种图像处理系统，具有投射装置和图像处理装置，通过拍摄被摄体，进行所述被摄体的图像的分量分离，所述投射装置具有：

投射部，其向所述被摄体投射从光源发出的直线偏振光；和通信部，其向所述图像处理装置发送通知投射的信号；

所述图像处理装置具有：

通信部，其从所述投射装置的接收通知所述投射的信号；

彩色偏振获取部，其将透过偏振主轴方向不同的3个以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；

彩色信息处理部，其根据所述彩色偏振图像来生成彩色图像；

偏振信息处理部，对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏振片的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息；

光源颜色信息获取部，其获取光源的颜色信息光源颜色信息获取部，其获取所述光源的颜色信息；

图像分量分离部，其基于所述彩色偏振信息和所述光源的颜色信息，进行所述彩色图像的分量分离。

15.根据权利要求14所述的图像处理系统，其特征在于，所述通信部除了通知投射的信号之外，还收发所述光源的颜色信息；

所述光源颜色信息获取部从所述通信部获取所述光源的颜色信息。

16.一种图像处理方法，通过拍摄被摄体，进行所述被摄体的图像的分量分离，包括：投射步骤，向所述被摄体投射从光源发出的直线偏振光；

彩色偏振获取步骤，将透过偏振主轴方向不同的3个方向以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；

彩色信息处理步骤，根据所述彩色偏振图像生成彩色图像；

偏振信息处理步骤，对于各个构成所述彩色偏振图像的单位像素，使用透过所述偏振片的光的亮度与所述偏振主轴方向的对应关系，生成与接受的偏振相关的彩色信息即彩色偏振信息；

光源颜色信息获取步骤，获取光源的颜色信息；和图像分量分离步骤，利用所述彩色偏振信息和所述光源的颜色信息，进行所述彩色图像的分量分离。

17.一种程序，用于通过拍摄被摄体而对所述被摄体的图像进行分量分离的图像处理装置，该程序使计算机执行权利要求16中所述的图像处理方法中包括的步骤。

18.一种基于模型的图像合成装置，具有参数推定装置和图像合成装置，合成图像，所述参数推定装置具有：图像拍摄部，其拍摄被摄体；

图像分离部，其根据权利要求16所述的图像处理方法，对所述图像拍摄部所拍摄的图像进行分量分离；

光源信息推定部，其推定光源信息，该光源信息包括对被摄体照射的光源的方向、位置、亮度、颜色、光谱信息的至少一个；

形状信息获取部，其获取被摄体表面的法线信息或三维位置信息，作为形状信息；

参数推定部，对于由所述图像分离部从所拍摄的被摄体分割的各个分量，通过对由所述光源信息推定部所推定出的光源信息，和由所述形状信息获取部所获取的形状信息进行模型化，由此推定反射模型参数；和参数数据库，其保持所述参数推定部中推定的反射参数；

所述图像合成装置，具有：

视点/光源信息获取部，其获取合成的图像的视点和光源信息；和渲染部，其利用所述参数数据库中保持的反射参数，合成依据所述视点/光源信息获取部所获取的视点和光源信息的图像。

19.一种基于模型的图像合成方法，具有参数推定步骤和图像合成步骤，合成图像，所述参数推定步骤，具有：图像拍摄步骤，拍摄被摄体；

图像分离步骤，根据权利要求16所述的图像处理方法，对所述图像拍摄部所拍摄的图像进行分量分离；

光源信息推定步骤，推定光源的信息；

形状信息获取步骤，获取被摄体的表面的法线信息或三维位置信息作为形状信息；和参数推定步骤，对于由所述图像分离部从所拍摄的被摄体分割的各个分量，推定反射模型参数；

所述图像合成步骤，具有：

视点/光源信息获取步骤，获取合成的图像的视点和光源信息；和渲染步骤，利用由所述形状信息获取步骤所推定的反射参数，合成依据所述视点/光源信息获取步骤所获取的视点和光源信息的图像。

说明书

图像处理方法、图像处理装置、图像处理程序、图像合成方

法和图像合成装置

技术领域

[0001] 本发明涉及图像处理技术，尤其是涉及用于提高在被摄体的形状信息获取和图像合成时所需要的图像分割的精度的技术。

背景技术

[0002] 已知物体的“外观”是由被摄体的表面所反射的入射光作为“虚像”(gloss)而被观测的镜面反射分量，和由物体内部重复散射而被观测的漫反射分量等多种分量所构成。也就是，我们所观测的被摄体的像，是由来自被摄体的通过多种不同过程而达到眼睛的各种光分量的总和而形成的。这样的分量，例如“镜面反射分量”和“漫反射分量”。对于构成被摄体图像的各个像素，可以将亮度分为例如“镜面反射分量”和“漫反射分量”。这样的情况下，镜面反射分量占主导的像素作为构成“镜面反射区域”的像素而处理，漫反射分量占主导的像素作为构成“漫反射区域”的像素而处理。

[0003] 近年来，为了获取以数字归档为目的的信息压缩和被摄体的形状、表面材质，广泛进行着将图像分离为这样的各种分量的图像分量分离法(图像分离法)(例如，非专利文献1、非专利文献2、非专利文献3)。这是为了通过对各个分离的分量进行处理，可达到更高精度的处理。例如，在需要查明由被摄体的表面的反射所带来的影响的情况下，将从被摄体内部透过的光，和在被摄体表面反射的光分离，是非常重要的。对图像中各个像素的各分量的比例进行推定并分离的技术就是图像的分量分离法(图像分离法)。

[0004] 作为利用这样的图像分离的技术，尤其是所谓的将分离后的图像以个别的模型而表示的基于模型(モデルベ一ス)的图像处理技术广为所知。

[0005] 基于模型的图像合成，是指在CG(计算机图形，Computer Graphics)领域被广为使用的技术。该技术中，通过将物体的外观作为视点位置和光源位置、和被摄体的法线方向等的函数而模型化，从而可以实现用于获得与拍摄时不同的视点位置的图像(视点变换图像)、与拍摄时不同的光源位置的图像(光源环境变化图像)等的各种图像处理。另外，由于只用模型参数就可以表现图像，所以也可以进行高效的数据压缩。作为这样的一个例子，已知将图像分离为镜面反射分量和漫反射分量，镜面反射分量被以Cook-Torrance模型而使图像模型化、漫反射分量被以Lambertian模型而使图像模型化的方法。

[0006] 作为像这样的将图像分离为镜面反射分量和漫反射分量的方法，已知有各种方法。特别是由于利用偏振信息的方法和利用颜色信息的方法，能以简单的装置分离镜面反射和漫反射，因此广为研究。

[0007] 在利用偏振信息的分离法中，向被摄体投射直线偏振的光，通过使在照相机和被摄体之间设置的偏振滤镜在与光轴垂直的面内旋转，将被摄体所反射的光分离为镜面反射分量和漫反射分量(例如，专利文献1)。

[0008] 直线偏振滤镜的旋转角度(偏振主轴角度：规定偏振主轴方向的角度)设定为Φ时，可知被观测的各像素的亮度，相对于旋转角度Φ成sin函数形变化。通过将该sin函数的振幅分量作为“镜面反射分量”、偏离分量作为“漫反射分量”，就可以进行图像的分离。也就是说，可以对于构成图像的多个像素的各自，定量求出镜面反射分量和漫反射分量。

[0009] 然而该方法如后所述，有着在出射角的很大的(遮蔽边沿附近)区域中会检测出本来不该存在的镜面反射分量的问题。由此，利用偏振信息而分离漫反射分量和镜面反射分量的方法不能达到充分的精度。

[0010] 另一方面，利用颜色信息的方法，作为二色性反射模型而广为所知(例如，非专利文献4)。这是利用一方面镜面反射分量的颜色矢量是作为光源颜色矢量而被观测的，另一方面漫反射分量的颜色矢量是成为物体颜色矢量的，而分离镜面反射分量和漫反射分量。一般来说，光源颜色矢量由于是白色的，或是以其它方法可以观测，所以是已知的。然而，该方法除非被摄体的物体颜色矢量已知，否则不能将镜面反射分量和漫反射分量明确地分离。由此，对于正确分离镜面反射分量和漫反射分量是不能利用的。

[0011] 已知这样的镜面反射分量和漫反射分量的分离精度的不足，在数字归档和增强现实的领域中进行使用基于模型的图像合成时，会成为很大的问题。

[0012] 现有技术文献

[0013] 专利文献

[0014] 专利文献1：日本特开平11-41514号公报

[0015] 非专利文献

[0016] 非 专 利 文 献 1：Y.Sato，M.D.Wheeler，and K.Ikeuchi，“Object shapeand reflectance modeling from observation”，SIGGRAPH 97，pp.379-387，1997

[0017] 非专利文献2：宮崎大輔，柴田卓司，池内克史，“Wavelet-Txture法：Daubechiesウエ一ブレツトとパラメトリツク反射モデルと円偏振板によるBTF压缩，電子情報通信学会論文誌，Vol.J90-D，No.8，pp.2081-2093，2007

[0018] 非专利文献3：T.Shibata，T.Takahashi，D.Miyazaki，Y.Sato，and K.Ikeuchi，“Creating Photorealistic Virtual Model with Polarization Based VisionSystem”，in Proceedings of SPIE(Polarization Science and Remote Sensing II，Part of SPIE’s International Symposium on Optics and Photonics 2005)，Vol.5888，pp.25-35，2005[0019] 非专利文献4：S.K.Nayar，X.S.Fang，and T.Boult，“Separation ofReflection Components Using Color and Polarization”，International Journal ofComputer Vision，Vol.21，Iss.3，pp.163-186，1997

[0020] 例如，在专利文献1中所记载的利用偏振信息的方法中，存在着在本来不应该观测到镜面反射分量的遮蔽边沿附近，观测到镜面反射分量的技术问题。另外，非专利文献4中所记载的利用颜色信息的方法中，由于物体颜色矢量原本就未知，如后所述，利用二色性反射模型就无法明确分离镜面反射分量和漫反射分量。

[0021] 像这样的问题，随着近年来照相机的高动态范围化，今后其重要性会更加增大。由于过去的照相机，亮度的动态范围不是很宽，所以观测到漫反射的偏振度很少。然而，近年来由于照相机的高动态范围化在推进，所以造成了前面所述的分离精度的劣化。

发明内容

[0022] 本发明为解决上述技术问题，目的在于提供一种图像处理技术，考虑到了漫反射分量的偏振分量的存在，执行比利用光源的颜色信息精度更高的分量分离。

[0023] 本发明的图像处理装置为通过拍摄被摄体，进行所述被摄体的图像的分量分离的图像处理装置，包括：投射部，向所述被摄体投射从光源发出的直线偏振光；彩色偏振获取部，获取所述被摄体的彩色偏振图像；偏振信息处理部，对于各个构成所述彩色偏振图像的单位像素，基于透过偏振主轴方向为3个以上的偏振片的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息；光源颜色信息获取部，获取所述光源的颜色信息；和图像分量分离部，基于所述彩色偏振信息和所述光源的颜色信息，进行所述图像的分量分离。

[0024] 优选的实施方式中，彩色信息处理部根据所述彩色偏振图像而生成彩色图像；所述图像分量分离部，进行所述彩色图像的分量分离。

[0025] 优选的实施方式中，彩色偏振获取部包括：偏振片，偏振主轴方向为不同的3个方向以上；彩色滤镜，配置于与所述偏振片相对的位置；和拍摄元件，接收透过所述偏振片和彩色滤镜而来的光。

[0026] 优选的实施方式中，所述的偏振信息处理部，至少生成偏振最小彩色分量和偏振振幅彩色分量的其中之一，作为所述彩色偏振信息。

[0027] 优选的实施方式中，所述图像分量分离部，将构成所述被摄体的图像的各像素的颜色矢量，分离为漫反射分量和镜面反射分量。

[0028] 优选的实施方式中，所述图像分量分离部，将构成所述被摄体的图像的各像素的颜色矢量，分离为漫反射非偏振分量、漫反射偏振分量和镜面反射偏振分量。

[0029] 优选的实施方式中，所述图像分量分离部将所述被摄体的图像的至少一部分，分离为阴影区域。

[0030] 优选的实施方式中，所述图像分量分离部，将所述彩色偏振信息分离为所述光源颜色矢量和所述偏振最小彩色分量的颜色矢量。

[0031] 优选的实施方式中，所述图像分量分离部，将所述偏振振幅彩色分量分离为所述光源颜色矢量和所述偏振最小彩色分量的颜色矢量。

[0032] 优选的实施方式中，所述图像分量分离部，将述彩色图像分离为所述光源颜色矢量和所述偏振最小彩色分量的颜色矢量。

[0033] 优选的实施方式中，所述彩色偏振获取部与所述投射部进行同步处理。

[0034] 优选的实施方式中，其特征在于，投射部从彩色偏振获取部分开而配置。

[0035] 本发明的图像处理系统，为具有投射装置和图像处理装置的、通过拍摄被摄体，进行所述被摄体的图像的分量分离的图像处理系统。所述投射装置具有：投射部，向所述被摄体投射从光源发出的直线偏振光。所述图像处理装置具有：彩色偏振获取部，将透过偏振主轴方向不同的3个以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理部，根据所述彩色偏振图像生成彩色图像；偏振信息处理部，对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏振片的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息；光源颜色信息获取部，获取所述光源的颜色信息；和图像分量分离部，基于所述彩色偏振信息和所述光源颜色信息，进行所述彩色图像的分量分离。

[0036] 本发明的图像分离系统，为具有投射装置和图像处理装置的、通过拍摄被摄体，进行所述被摄体的图像的分量分离的图像分离系统。所述投射装置具有：投射部，向所述被摄体投射从光源发出的直线偏振光；和通信部，向所述图像处理装置发送通知投射的信号。所述图像处理装置具有：通信部，接收来自所述投射装置的通知所述投射的信号；彩色偏振获取部，将透过偏振主轴方向不同的3个以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理部，根据所述彩色偏振图像生成彩色图像；
偏振信息处理部，对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏振片的光的亮度与所述偏振主轴方向的对应关系，生成彩色偏振信息；光源颜色信息获取部，获取所述光源的颜色信息；和图像分量分离部，基于所述彩色偏振信息和所述光源颜色信息，进行所述彩色图像的分量分离。

[0037] 优选的实施方式中，所述通信部，除了通知投射的信号之外，还收发所述光源的颜色信息；所述光源颜色信息获取部，获取来自所述通信部的所述光源的颜色信息。

[0038] 本发明的图像处理方法，为通过拍摄被摄体，进行所述被摄体的图像的分量分离的图像处理方法。包括：投射步骤，向所述被摄体投射从光源发出的直线偏振光；彩色偏振获取步骤，将透过偏振主轴方向不同的3个方向以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理步骤，根据所述彩色偏振图像生成彩色图像；偏振信息处理步骤，对于各个构成所述彩色偏振图像的单位像素，基于透过所述偏振片的光的亮度与所述偏振主轴方向的对应关系，生成与接受的偏振相关的彩色信息即彩色偏振信息；光源颜色信息获取步骤，获取光源的颜色信息；和图像分量分离步骤，利用所述彩色偏振信息和所述光源的颜色信息，进行所述彩色图像的分量分离。

[0039] 本发明的程序，是用于通过拍摄被摄体，分离所述被摄体的图像的分量的图像处理装置的程序，使计算机执行上述图像处理方法中包括的步骤。

[0040] 本发明的基于模型的图像合成装置，为具有参数推定装置和图像合成装置的、合成图像的基于模型的图像合成装置。所述参数推定装置具有：图像拍摄部，拍摄被摄体；图像分离部，根据所述的图像处理方法，进行对所述图像拍摄部所拍摄的图像的分量分离；光源信息推定部，推定光源信息，该光源信息包括对被摄体照射的光源的方向、位置、亮度、颜色、光谱信息等的至少一个；形状信息获取部，获取被摄体表面的法线信息或三维位置信息作为形状信息；参数推定部，对由所述图像分离部从所拍摄的被摄体分割的各个分量，通过对由所述光源信息推定部所推定出的光源信息，和由所述形状信息获取部所获取的形状信息进行模型化，而推定反射模型参数；和参数数据库，保持所述参数推定部中推定的反射参数。所述图像合成装置，具有：视点/光源信息获取部，获取合成图像的视点和光源信息；和渲染部，利用所述参数数据库中保持的反射参数，合成依据所述视点/光源信息获取部所获取的视点和光源信息的图像。

[0041] 本发明的基于模型的图像合成方法，为具有参数推定步骤和图像合成步骤的、合成图像的基于模型的图像合成方法。所述参数推定步骤具有：图像拍摄步骤，拍摄被摄体；图像分离步骤，根据权利要求16所述的图像处理方法，进行对所述图像拍摄部所拍摄的图像的分量分离；光源信息推定步骤，推定光源信息；形状信息获取步骤，获取被摄体表面的法线信息或三维位置信息作为形状信息；和参数推定步骤，对由所述图像分离部从所拍摄的被摄体分割的各个分量，推定反射模型参数。所述图像合成步骤，具有：视点/光源信息获取步骤，获取合成图像的视点和光源信息；和渲染步骤，利用由所述形状信息获取步骤所推定的反射参数，合成依据所述视点/光源信息获取步骤所获取的视点和光源信息的图像。

[0042] 发明效果

[0043] 根据本发明的图像处理，通过利用偏振信息和颜色信息这两个信息，可以对各个像素正确分离并求出镜面反射分量和漫反射分量。另外，通过将利用偏振信息和颜色信息这两个信息的图像的分量分离利用于对基于模型的图像合成方法的参数推定，可合成忠实于被摄体的图像。

附图说明

[0044] 图1是本发明的第1实施方式所涉及的图像处理装置的模块图。

[0045] 图2是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的流程图。

[0046] 图3是搭载本发明的第1实施方式所涉及的图像处理装置的照相机的结构例。

[0047] 图4是表示本发明的第1实施方式所涉及的彩色偏振获取部、彩色信息处理部和偏振信息处理部Z的结构的模块图。

[0048] 图5是表示本发明的彩色偏振获取部的基本结构的示意图。

[0049] 图6是表示本发明的彩色偏振获取部的像素排列的例的示意图。

[0050] 图7是表示本发明的彩色偏振获取部的像素排列的其它的例的示意图。

[0051] 图8是示意性地表示本发明的B、G、R偏振像素的波长特性的示意图。

[0052] 图9是表示G色滤镜的透射范围和由偏振特性所决定的偏振分离范围之间波长相互偏差的情况的示意图。

[0053] 图10是用于说明本发明的透过具有方向不同的偏振主轴的4种偏振片的光的亮度的示意图。

[0054] 图11是表示根据本发明的第1实施方式所涉及的图像分离方法，进行了图像分量分离的结果的图。

[0055] 图12是表示根据本发明的第1实施方式所涉及的图像分离方法，进行了图像分量分离的结果的示意图。

[0056] 图13是将图11的图像根据亮度的高低分为多个区域的图。

[0057] 图14是表示本发明的彩色信息处理部103和偏振信息处理部104的处理的流程的流程图。

[0058] 图15是用于说明利用了镜面球的光源推定方法的示意图。

[0059] 图16是表示被摄体的折射率n＝1.1，n＝1.3，n＝1.5，n＝2.0的情况下的相对于镜面反射分量的入射角的偏振度的曲线图。

[0060] 图17是表示被摄体的折射率n＝1.1，n＝1.3，n＝1.5，n＝2.0的情况下的相对于漫反射分量的出射角的偏振度的曲线图。

[0061] 图18是表示特定像素的颜色矢量I(x，y)的数值例的图。

[0062] 图19是表示本发明的第1实施方式所涉及的图像分量分离部的分量分离基准的图。

[0063] 图20是表示本发明的第1实施方式所涉及的图像分量分离部的其它的分量分离基准的图。

[0064] 图21是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的其它的流程图。

[0065] 图22是表示本发明的第1实施方式所涉及的图像分量分离部的其它的分量分离基准的图。

[0066] 图23是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的其它的流程图。

[0067] 图24是表示本发明的第1实施方式所涉及的图像分量分离部的其它的分量分离基准的图。

[0068] 图25是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的其它的流程图。

[0069] 图26是本发明的第1实施方式所涉及的图像处理装置的其它的模块图。

[0070] 图27是表示本发明的第1实施方式所涉及的图像分离方法的处理的流程的其它的流程图。

[0071] 图28是搭载本实施方式所涉及的图像处理装置的照相机的结构例。

[0072] 图29是本发明的第2实施方式所涉及的图像处理装置的模块图。

[0073] 图30是表示本发明的第2实施方式所涉及的图像分离方法的处理的流程的流程图。

[0074] 图31是表示搭载本发明的第2实施方式所涉及的图像处理装置的照相机的结构例的图。

[0075] 图32是本发明的第2实施方式所涉及的图像处理装置的其它的模块图。

[0076] 图33是表示本发明的第2实施方式所涉及的图像分离方法的处理的流程的其它的流程图。

[0077] 图34是搭载本发明的第2实施方式所涉及的图像处理装置的照相机的其它的结构例。

[0078] 图35是表示本发明所涉及的图像合成装置的结构例的模块图。

[0079] 图36是表示本发明所涉及的图像合成方法的参数推定方法的处理的流程的例的流程图。

[0080] 图37是表示本发明所涉及的图像合成方法的图像合成推定方法的处理的流程的例的流程图。

[0081] 图38是表示搭载本发明的图像合成装置的照相机的结构例的图。

[0082] 图39是用于说明法线方向矢量、视线矢量、和光源方向矢量的关系的示意图。

[0083] 图40是用于说明用于表现漫反射分量和镜面反射分量的亮度的不同的常数Sr的示意图。

[0084] 图41是表示本发明的一个实施方式所涉及的图像合成处理的镜面反射图像的参数推定处理的流程的图。

[0085] 图42是用于说明表示入射照度的数学式的各参数的概念图。

[0086] 图43是表示根据单纯形(Simplex)法的参数推定处理的流程的流程图。

[0087] 图44是表示单纯形法的参数更新处理的流程的流程图。

[0088] 图45(a)是表示利用本发明的第1实施方式所涉及的图像处理装置所求出的镜面反射分量的亮度Is和中间矢量β的关系的曲线图；

[0089] (b)是表示被摄体图像的图。

[0090] 图46是为了说明现有方法的问题点，利用现有的图像处理装置来求取镜面反射分量的亮度Is和中间矢量β的关系的示意图。

[0091] 图47是利用利用了现有的偏振信息的图像分离方法而作成的合成图像。

[0092] 图48是表示本发明的一个实施方式所涉及的图像合成处理的参数数据库中保持的模型参数的示意图。

[0093] 符号说明

[0094] 101投射部

[0095] 102彩色偏振获取部

[0096] 103彩色信息处理部

[0097] 104偏振信息处理部

[0098] 105光源颜色信息获取部

[0099] 106图像分量分离部

[0100] 107投射装置

[0101] 108图像处理装置

[0102] 109通信部

[0103] 110通信部

具体实施方式

[0104] 以下参照附图说明本发明的实施方式。

[0105] (第1实施方式)

[0106] 首先说明本发明的第1实施方式的图像处理装置的概要。

[0107] 图1表示本实施方式的图像处理装置的模块图。该图像处理装置是通过拍摄被摄体，进行所述被摄体的图像的分量分离的装置，包括：投射部101，向所述被摄体投射直线偏振光；彩色偏振获取部102，将透过偏振主轴角度不同的3个方向以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理部103，从彩色偏振获取部102所获取的图像来生成彩色图像；偏振信息处理部104，从彩色偏振获取部102所获取的图像中，对于各个构成该偏振图像的单位像素，利用与透过所述3个方向以上的偏振片的光的亮度的对应关系，生成彩色偏振信息，该彩色偏振信息为与接收的偏振相关的彩色信息；光源颜色信息获取部105，获取向被摄体投射的光源的颜色信息；和图像分量分离部106，利用由偏振信息处理部104所生成的偏振信息和由光源颜色信息获取部105所获取的光源颜色信息，进行由彩色信息处理部103所获取的彩色图像的分量分离；和输出部，由输出图像分离部106所生成的信号。

[0108] 本说明书中，“偏振图像”是指透过具有特定的偏振主轴角度的偏振滤镜(偏振片)而来的光所形成的图像。对于多个偏振主轴角度的各自，可以得到不同的“偏振图像”。另外，“彩色偏振图像”是指透过具有特定的偏振主轴角度的偏振滤镜(偏振片)而来的光的当中的主波长不同的多个颜色的光所形成的图像。基于透过具有某个偏振主轴角度的偏振滤镜(偏振片)而来的光，典型地可以得到红(R)、绿(G)、蓝(B)的彩色偏振图像。得到了彩色偏振图像时，就确定了每个单位像素的由R、G、B的亮度所构成的颜色矢量。同样地，得到了未透过偏振滤镜的光所形成的彩色图像时，也就确定了其彩色图像的颜色矢量。本说明书的“分量分离”与将一个颜色矢量表现为为多个颜色矢量(分量)的和的情况相对应。

[0109] 接下来说明本实施方式的图像处理的动作。图2是表示本实施方式所涉及的图像处理的动作的流程图。图2的步骤S101中，投射部101向被摄体投射偏振光。步骤S102中，彩色偏振获取部102通过图案化偏振片和彩色滤镜，由拍摄元件接收被摄体的光，由此获取含有彩色偏振信息的彩色偏振图像。图案化偏振片具有如后所述的3个方向以上的偏振主轴角度(偏振透射轴的旋转角度)。

[0110] 步骤S103中，彩色信息处理部103利用从彩色偏振获取部102所输出的信息，获取彩色图像信息。偏振信息处理部104利用从彩色偏振获取部102所输出的信息，生成后述的偏振最小彩色分量Imin和偏振振幅彩色分量Iamp，作为偏振信息(步骤S104)。另外，光源颜色信息获取部105获取照射被摄体的光源的颜色矢量ILight(步骤S105)。步骤S103、步骤S104、步骤S105的顺序为任意的，可以并行执行，也可以依次执行。

[0111] 步骤S106中，图像分量分离部106将由偏振信息处理部104所生成的偏振振幅颜色分量Iamp分离为偏振振幅光源颜色矢量分量Iamp1和偏振振幅偏振最小彩色矢量分量Iamp2。进一步地，步骤S107中，图像分量分离部106进行分量分离，将偏振信息处理部104所生成的偏振振幅偏振最小彩色分量Imin作为漫反射非偏振分量，将偏振振幅偏振最小彩色矢量分量Iamp2作为漫反射偏振分量，将偏振振幅光源颜色矢量分量Iamp1作为镜面反射偏振分量。

[0112] 此处，彩色偏振获取部102、彩色信息处理部103、偏振信息处理部104、光源颜色信息获取部105和图像分量分离部106是由如图3所示的CPU205执行程序而实现的。然而，这些功能也可以全部或部分由硬件实现。另外，如图3所示的存储器204保持由彩色偏振获取部102所获取的信息、由彩色信息处理部103所获取的彩色图像信息、由偏振信息处理部104所获取的偏振信息和由光源颜色信息获取部105所获取的光源颜色矢量信息。

[0113] 接下来参照图3，说明搭载了本实施方式所涉及的图像处理装置的照相机的结构和动作。图3是表示这样的照相机的结构例的模块图。图3的照相机具有：图案化偏振片201、彩色拍摄装置208、存储器204、CPU205、发光装置206、和偏振片207。彩色拍摄装置
208具有彩色滤镜202和拍摄装置203。

[0114] 投射部101利用发光装置206和偏振片207，向被摄体投射偏振光。这在例如利用照相机的闪光灯作为发光装置206的情况下，可以通过在闪光灯前设置偏振滤镜(偏振片207)而实现。作为利用偏振光的手段，还可以利用液晶偏振片等。

[0115] 彩色偏振获取部102，透过图案化偏振片201和彩色滤镜202，由拍摄元件接收被摄体的光，由此获取彩色偏振图像，该彩色偏振图像为含有彩色偏振信息的彩色图像。另外，彩色信息处理部103利用从彩色偏振获取部102所输出的信息，计算彩色图像信息。进一步地，偏振信息处理部104利用从彩色偏振获取部102所输出的信息，计算偏振信息。对该处理进行详述。

[0116] 图4是表示彩色偏振获取部102、彩色信息处理部103和偏振信息处理部104的结构的模块图。从被摄体实时获取彩色图像信息和偏振图像信息，输出为非偏振分量的偏振最小彩色信息，作为偏振信息。通过了镜头220和光圈221的入射光向彩色偏振获取部102入射。彩色偏振获取部102能够从该入射光实时获取彩色图像信息和偏振图像信息两者。从彩色偏振获取部102输出表示彩色图像信息和偏振信息的信号，将其分别给予彩色信息处理部103和偏振信息处理部104。彩色信息处理部103和偏振信息处理部104对上述信号实施各种处理，输出彩色图像Im、偏振最小彩色信息Imin。

[0117] 图5是表示彩色偏振获取部102的基本结构的示意图。图示的例中，在拍摄元件像素203的前面，彩色滤镜202和图案化偏振片201重叠设置。另外，彩色滤镜和图案化偏振片的设置顺序是任意的。入射光透过彩色滤镜202和图案化偏振片201，到达拍摄元件，由拍摄元件像素203观测亮度。这样根据本实施方式，可以使用彩色马赛克型的单板彩色拍摄元件，获取彩色信息和偏振信息两者。

[0118] 图6(a)是从光轴方向的正上方所见的彩色偏振获取部102的拍摄面的一部分。图6(a)中，为简便起见，只图示了拍摄面当中的16个像素(4×4)。图示的4个矩形区域
301～304，分别是4个像素单元上所设置的拜尔(Bayer)型彩色马赛克滤波器的对应部分。矩形区域301是B(蓝色，Blue)滤波器区域，覆盖像素单元B1～B4。像素B1～B4上紧贴了具有各不相同的偏振主轴的B用图案化偏振片。此处，“偏振主轴”是指与穿过偏振片的光的偏振面(偏振透射面)平行的轴。本实施方式中，同一种颜色的像素内的具有不同角度的偏振透射面的偏振片单位(微小偏振板)被相邻地配置。更具体地，偏振透射面的方向互不相同的4种偏振片单位被配置于各同为R、G或是B的颜色的像素内。一个偏振片单位对应于一个细微的偏振像素。图6(a)中对每个偏振像素，给予一个G1等的符号。

[0119] 图6(b)表示了分配给B用图案化偏振片所紧贴的4个细微偏振像素的偏振主轴。图6(b)中，在各细微偏振像素上所画的直线，示意性地表示了微偏振板的偏振主轴方向。
图6(b)的例中，4个细微偏振像素分别具有角度Φi＝0°、45°、90°、135°的偏振主轴。

[0120] 分别在矩形区域302、304的像素，紧贴了4个G(绿色，Green)用图案化偏振片；在矩形区域303的像素，紧贴了4个R(红色，Red)用图案化偏振片。图中参照符号“305”所示位置表示统括了本拍摄系统的4个像素的假想的像素位置。各矩形区域302～304的图案化偏振片，也如图6(b)所示，分割为具有不同的4个偏振主轴的部分。

[0121] 图7(a)是表示彩色偏振获取部102的像素排列的其它的例子的图。本例中，45°倾斜的3×3的模块内G像素配置为十字型，G像素的周围的4个像素中，R、B交替配置。图7(b)表示各彩色像素的细微结构；各彩色像素由4种细微偏振像素所构成。

[0122] 这样，本实施方式中，具有如下特征：对于每个彩色像素，都包括具有不同的偏振主轴的多个细微偏振像素；而彩色马赛克排列自身是任意的。以下的说明中，将各个细微偏振像素称为“偏振像素”。

[0123] 图8(a)至图8(c)分别是示意性地表示B、G、R偏振像素的波长特性的曲线图。各曲线图的纵轴为透射光的强度，横轴为波长。B、G、R用的偏振像素，具有投射在B、G、R的各波段的TM(横向磁波，TransverseMagnetic Wave)波，而反射(不透过)TE(横向电波，Transverse ElectricWave)波的偏振特性。TM波是磁场分量相对于入射面为横向的波；TE波是电场分量相对于入射面为横向的波。

[0124] 图8(a)中表示了B偏振图像的偏振特性402、403，和B用彩色滤镜的透射特性401。偏振特性402和403分别表示TM波和TE波的透射率。

[0125] 图8(b)中表示了G偏振图像的偏振特性405、406，和G用彩色滤镜的透射特性404。偏振特性405和406分别表示TM波和TE波的透射率。

[0126] 图8(c)中表示了R偏振图像的偏振特性408、409，和R用彩色滤镜的透射特性407。偏振特性408和409分别表示TM波和TE波的透射率。

[0127] 从图8(a)至图8(c)所示的特性，可以通过例如“川嶋，佐藤，川上，長嶋，太田，青木，“パタ一ン化偏振子を用いた偏振イメ一ジングデバイスと利用技術の開発”，電子情報通信学会2006年総合全国大会，No.D-11-52，P52，2006”中所记载的光学晶体而实现。在光学晶体的情况下，具有与在其表面上所形成的沟平行的电场矢量振动面的光为TE波，具有垂直的电场矢量振动面的光为TM波。

[0128] 本实施方式的重点在于，使用如图8(a)至图8(c)所示的表示B、G、R的透射波段的各自的偏振分离特性的图案化偏振片。

[0129] 图9表示G的彩色滤镜的透射范围和由偏振特性410、411所决定的偏振分离范围之间波长偏差的情况。如果根据表示这样特性的偏振片，则不能进行作为本发明的目的的动作。

[0130] 使用单色亮度和偏振滤镜的情况下，表示偏振分离特性的波段的优化是不必要的；而对每个彩色像素获取偏振信息的情况下，需要对彩色的分离特性和偏振的分离特性作匹配。

[0131] 本说明书中，使用表示偏置像素的偏振主轴的方位的4个数字“1、2、3、4”，和用于区分颜色的三个符号“R、G、B”的组合(例如“R1”和“G1”等)，来表示偏振像素的特性。偏振像素R1和偏振像素G1，由于数字相同，所以偏振主轴方向一致；而由于RGB符号不同，相当于透射光的波段不同的偏振像素。本实施方式中，这样的偏振像素的排列，由如图5所示的彩色滤镜202和图案化偏振片201的组合而实现。

[0132] 为了可靠地获取被摄体的特别明亮的镜面反射部分所含的偏振分量，和被摄体的阴影区域中所含的偏振分量等，优选为拍摄元件的亮度动态范围和位数尽可能地大(例如16位)。

[0133] 另外，优选为彩色偏振获取部102进行与投射控制部101的同步处理。这是例如在利用照相机的闪光灯作为投射部101的情况下，紧接着投射部101的发光定时之后，彩色偏振获取部102就可以进行拍摄。

[0134] 由图5所示结构对每个偏振像素获取的亮度信息，由图4的偏振信息处理部104进行处理。以下说明该处理。

[0135] 图10表示透过具有方向不同的偏振主轴(φi＝0°、45°、90°、135°)的4种偏振片的光的亮度501～504。此处，偏振主轴的旋转角φ为φi时的观测亮度为I(φi)。然而，“i”为1以上N以下的整数，“N”为采样数。图10所示的例中，由于N＝4，所以成了i＝1、2、3、4。图10中表示了4个像素的采样(φi，I(φi))所对应的亮度501～504。

[0136] 偏振主轴的角度φi与亮度501～504的关系，由正弦函数曲线所表示。图10中，亮度501～504的4点画为置于一条正弦函数曲线上；而在基于更多的观测亮度而决定正弦曲线的情况下，也有可能得出观测亮度的一部分从正弦曲线上多少偏离的情况。

[0137] 此外，本说明书的“偏振信息”，是指表示对于亮度的偏振主轴角度的依存性的正弦函数曲线的振幅调制度和相位信息。

[0138] 实际的处理中，以如图6(a)所示的每个同一彩色区域301～304的内部的4个像素亮度为样本，如下近似相对于图案化偏振片的主轴角φ的反射光亮度I。

[0139] [数学式1]

[0140] I(φ)＝A·sin2(φ-B)+C (式1)

[0141] 此处如图8所示，A、B、C为常数，分别表示偏振亮度的变化曲线的振幅、相位、平均值。(式1)可展开如下：

[0142] [数学式2]

[0143] I(φ)＝a·sin 2φ+b·cos2φ+C (式2)

[0144] 其中，A和B分别由以下的(式3)和(式4)表示：

[0145] [数学式3]

[0146] (式3)

[0147] [数学式4]

[0148] (式4)

[0149] 如果求出使得以下的(式5)最小的A、B、C，则亮度I和偏振主轴角φ的关系可以由(式1)的正弦函数所近似。

[0150] [数学式5]

[0151] (式5)

[0152] 由以上的处理，对一个颜色确定了正弦函数近似的A、B、C的3个参数。

[0153] 这样，作为非偏振分量的偏振最小亮度Imin和作为偏振分量的偏振振幅亮度Iamp由以下的式6和式7求得。

[0154] ·偏振最小亮度Imin

[0155] [数学式6]

[0156] Imin＝C-A (式6)

[0157] ·偏振振幅亮度Iamp

[0158] [数学式7]

[0159] Iamp＝A (式7)

[0160] 此外，虽然本实施方式的图像处理装置输出偏振最小亮度Imin和偏振振幅亮度Iamp，但输出的偏振信息只要是从图10的正弦函数所得到的信息，也可以是其它的信息的组。例如，也可以将偏振度图像ρ、偏振相位图像φmax、偏振推定误差E、正弦函数的最高亮度Imax的值、和它们各自的组合，作为偏振信息而输出。

[0161] [数学式8]

[0162] (式8)

[0163] ·偏振相位φmax(0≤φmax≤π[rad])

[0164] [数学式9]

[0165] (式9)

[0166] ·偏振推定误差E

[0167] [数学式10]

[0168] (式10)

[0169] ·偏振最大亮度Imax

[0170] [数学式11]

[0171] Imax＝A+C (式11)

[0172] 此处，偏振度ρ表示该像素的光的偏振程度，偏振相位φmax表示该像素的光的部分偏振的主轴角度。另外，偏振推定误差，是指对于4个像素的样本所观测到的亮度，与由近似所得的上述正弦函数所确定的亮度之差的和。此外，偏振的主轴角度的0和180°(π)相同。

[0173] 彩色信息处理部103使用从彩色偏振获取部102输出的信息，计算彩色亮度。透过偏振片的光的亮度，与入射至偏振片之前的光所具有的本来的亮度是不同的。理论上说，在非偏振照明的情况下，偏振的全部偏振主轴上的观测亮度的平均值，相当于入射至偏振片之前的光所具有的本来的亮度。设偏振像素R1的观测亮度表示为IR1，基于以下的式12，可计算出彩色亮度。

[0174] [数学式12]

[0175]

[0176] (式12)

[0177]

[0178] 之后，由具有这样的彩色亮度的单位像素的集合所构成图像表现为彩色图像I。

[0179] 通过得到各偏振像素的亮度，可生成通常的彩色马赛克图像。基于马赛克图像，通过将其变换为彩色图像，可生成彩色图像I，彩色图像的各个像素中具有RGB像素值。这样的变换，用例如拜尔马赛克插值法等公知的插值技术来实现。

[0180] 通过使用该法，在作为偏振信息的偏振最小亮度Imin和偏振振幅亮度Iamp之外，可另行获得偏振最小彩色分量Imin和偏振振幅彩色分量Iamp，来作为由RGB三种的亮度所组成的颜色矢量所表现的“颜色信息”。另外，此时，彩色图像I和彩色信息之间，有以下关系成立。

[0181] [数学式13]

[0182] I(x，y)＝Iamp(x，y)+Imin(x，y) (式13)

[0183] 图11(a)是仅仅表示柚子(被摄体)的彩色图像I(x，y)的亮度的图。图11(b)和图11(c)分别表示与图11(a)的被摄体相关的偏振最小亮度Imin(x、y)和偏振振幅亮度Iamp(x、y)的图像的例子。本来这些图像是彩色图像，却被单色化了。另外，图12是示意性地表示图11的各图的图(将浓淡明晰化了的图)。该图中，各区域(A01～B06)与图13的各区域相对应。

[0184] 由于彩色图像I(x，y)、各像素的亮度和偏振信息，是利用图6(b)中所示4个偏振像素所得的，所以可以认为各自的亮度和偏振信息，是表示位于图6(b)所示的4个偏振像素的中心的假想像素点305的值。由此，彩色图像和偏振图像的分辨率都降至拍摄元件的分辨率的纵1/2×横1/2。

[0185] 然而本实施方式中，如图6和图7等所示，由于1个颜色的彩色马赛克像素内存在多个细微的偏振片，所以与在细微图像中使用了未四分割的彩色马赛克像素的情况下的分辨率相比，为相同的分辨率。

[0186] 接下来参照图14，说明图1的彩色信息处理部103和偏振信息处理部104的动作。

[0187] 首先在彩色偏振获取部102中实时获取彩色图像和偏振信息图像。步骤S201～S203中，获取彩色图像的R、G、B的各像素中的多个偏振亮度的观测值。步骤S201～S203的顺序是任意的，也可以是并行执行的。具体而言，是获取R、G、B的彩色马赛克像素内的4种偏振亮度。表示偏振亮度的信号送至偏振信息处理部104，在步骤S204～S208中如下地被处理。

[0188] 也就是说，步骤S204～S206的每个步骤中，基于从R像素、G像素、B像素的各自中所得的变动亮度，计算正弦函数参数。正弦函数参数由前述的式1的A、B、C所规定。由于步骤S204～S206的处理也是相互独立进行的，所以既可以以任意的顺序进行，也可以并行执行。接下来，步骤S207中，偏振信息处理部104，通过求出正弦函数的最小亮度和振幅分量，而生成作为非偏振分量的偏振最小亮度Imin和作为偏振分量的偏振振幅亮度Iamp。

[0189] 之后由彩色信息处理部103执行步骤S208的处理。具体而言，利用前述的式12，求出R、G、B的平均亮度，生成彩色亮度图像I(x，y)。

[0190] 此外，本实施方式中，对图案化偏振片使用的是光学晶体，而偏振元件也可以是薄膜型的偏振元件、线栅型、或根据其它原理的偏振元件。

[0191] 为获取彩色图像，也可以不用彩色滤镜，而利用弗文(Foveon)元件等。这样的情况下，搭载了图3的本实施方式所涉及的图像处理装置的照相机的结构例，会构成为以彩色滤镜202和拍摄装置203作为彩色拍摄装置208。

[0192] 光源颜色信息获取部105获取照射被摄体的光源的颜色信息。在照射被摄体的光源仅仅为投射部101的发光装置206的情况下，光源的颜色信息为已知的。这样的情况下，在图像处理装置的存储器204中保持发光装置206的颜色信息，只要光源颜色信息获取部105从存储器204得到光源颜色信息就可以了。另外，在投射部101的发光装置206以外的光源照射被摄体的情况下，光源颜色信息获取部105也可以例如在被摄体附近配置用于推定光源信息的形状、表面反射率已知的目标，从由彩色拍摄装置208所拍摄的图像推定颜色信息即可(例如：神原誠之，横矢直和，″光源環境の実時間推定による光学的整合性を考慮したビジヨンベ一ス拡張現実感″，電子情報通信学会技術研究報告，パタ一ン認識·メデイア理解，PRMU2002-190，pp.7-12，2003)。下面详述该处理。

[0193] 光源颜色信息的获取，是利用例如图15所示的能被视为镜面的球体601而进行的。在被摄体附近设置镜面球601，其位置和法线方向为已知。该镜面球601由彩色偏振获取部102拍摄，由彩色信息处理部103获取彩色图像。此时，拍摄环境被映在镜面球601。考虑到光源亮度高的情况，从拍摄的镜面球的图像中，检测出高亮度的像素作为镜面反射像素。由于镜面反射率为已知的，通过检测出镜面反射像素的颜色信息，可以获取光源的颜色矢量信息。

[0194] 也可以不用总是拍摄这样的目标，使用以前拍摄而求得的光源颜色信息即可。这在室内的监控照相机那样的光源环境不变的情况下有效。这样的情况下，可以在设置照相机时拍摄目标，而获取光源信息。可以假定光源为白色来进行处理。这在荧光灯照明下拍摄的情况、白天、室外拍摄的情况下有效。

[0195] 图像分量分离部106利用由偏振信息处理部104所生成的偏振信息和由光源颜色信息获取部105所获取的光源颜色矢量信息，对由彩色信息处理部103所获取的彩色图像进行分量分离。

[0196] 首先对现有的利用偏振信息的分离法(例如专利文献1)及其问题点进行说明。该方法将由偏振信息处理部104所获取的偏振最小亮度Imin分离为漫反射分量，将偏振振幅亮度Iamp分离为镜面反射分量。

[0197] 该方法依存于如下的镜面反射和漫反射的偏振特性的差异。

[0198] ·由于镜面反射分量由表面反射所产生，保持了入射光的偏振特性。所以被观测为由照相机所观测到的亮度的偏振分量。

[0199] ·由于漫反射重复散射，丢失了入射光的偏振特性。所以被观测为由照相机所观测到的亮度的非偏振分量。

[0200] 这些偏振特性以下面的2个条件作为前提。

[0201] (条件1)投射直线偏振光的情况下，镜面反射分量被观测为偏振分量。

[0202] (条件2)投射直线偏振光的情况下，漫反射分量被观测为非偏振分量。

[0203] 根据现有的分量分离法，图11(b)的图像作为表示漫反射分量的图像来处理，图11(c)的图像作为表示镜面反射分量的图像来处理。然而如图11(c)所示，在出射角充分大(遮蔽边沿附近)的区域中，检测出了本不该存在的镜面反射分量。由此可见利用偏振信息的漫反射分量/镜面反射分量分离法无法达到充分的精度。

[0204] 这样的问题是由于漫反射分量的一部分偏振、不满足(条件2)而引起的。以下对此详述。

[0205] 图16、图17是表示被摄体的折射率n＝1.1、n＝1.3、n＝1.5、n＝2.0的情况下的镜面反射分量和漫反射分量的偏振度的曲线图(例如，参照L.B.Wolff and T.E.Boult，“Constraining Object Features Using a PolarizationReflectance Model”，IEEE Transactions on Pattern Analysis and MachineIntelligence，Vol.13，No.7，pp.635-657，1991)。

[0206] 此处，图16的横轴表示入射角，纵轴表示镜面反射分量偏振度；另外，图17的横轴表示出射角，纵轴表示漫反射分量偏振度。此图表示向被摄体表面投射非偏振光的情况下，出射光和反射光有多大程度的偏振。也就是，偏振度越接近0，出射光(反射光)越成为非偏振光；偏振度越接近1，则越近于直线偏振光。从该图可见如下几点：

[0207] ·在出射角为充分大的区域之外，漫反射分量的偏振度很小。

[0208] ·在出射角为充分大的区域中，漫反射分量的偏振度与镜面反射分量的偏振度相比充分大。

[0209] 此处注意(条件2)。为了使(条件2)成立，至少在投射非偏振光的情况下，出射光必须成为非偏振光。也就是说，偏振度必须非常小。考虑到这些，推测出以下1点：

[0210] ·在出射角充分大的区域(遮蔽边沿附近)中，(条件2)不成立。

[0211] 这是在图11(b)和图11(c)中镜面反射分量和漫反射分量的无法正确分离的重大原因。

[0212] 本实施方式的图像分量分离部106通过利用颜色信息，解决了上述问题。以下对本实施方式的图像分量分离部106进行说明。

[0213] 首先对在基于颜色信息而分离镜面反射分量和漫反射分量中广为使用的二色性反射模型进行说明。

[0214] 二色性反射模型中，在像素(x，y)的观测的彩色图像的被摄体的颜色矢量I(x，y)可如下式分解。

[0215] [数学式14]

[0216] I(x，y)＝C′1(x，y)·ILight+C′2(x，y)·IObject(x，y) (式14)

[0217] 此处，ILight表示光源的颜色矢量，IObject(x，y)表示在像素(x，y)的物体颜色矢量。颜色矢量是指R、G、B的各色的亮度以矢量表示的三维矢量。另外，C’1(x，y)和C’2(x，y)表示光源颜色矢量和物体颜色矢量的权重。从该式中可见，在像素(x，y)的镜面反射分量Is(x，y)和漫反射分量Id(x，y)可按下式分离。

[0218] [数学式15]

[0219] Is(x，y)＝C′1(x，y)·ILight (式15)

[0220] [数学式16]

[0221] Id(x，y)＝C′2(x，y)·IObject(x，y) (式16)

[0222] 然而，由于现有的根据颜色信息的镜面反射分量/漫反射分量分离法中，物体颜色矢量是未知的，所以无法进行如式14的分量分离。对此，本实施方式的图像分量分离部106中，通过利用从偏振信息处理部104求出的偏振最小颜色信息Imin作为物体颜色矢量，解决了这个问题。

[0223] 如前所述，根据偏振信息的镜面反射分量/漫反射分量分离法中，即使在投射直线偏振光的情况下，在遮蔽边沿附近，漫反射分量也不仅仅被观测为非偏振分量，也被观测为偏振分量。然而，由于非偏振分量可以被认为是漫反射分量，所以由式6所求出的偏振最小颜色信息Imin可以被认为等于物体颜色矢量。对此，本实施方式的图像分量分离部106通过利用下式，分离镜面反射分量和漫反射分量。

[0224] [数学式17]

[0225] I(x，y)＝2·Iamp(x，y)+Imin(x，y)

[0226] ＝{C1(x，y)·ILight+C2(x，y)·Imin(x，y)}+Imin(x，y) (式17)

[0227] 此处，利用了彩色图像I(x，y)是偏振振幅颜色分量Iamp的2倍与偏振最小颜色信息Imin的和。也就是，图像分量分离部106将偏振振幅颜色分量Iamp分离为了光源颜色矢量分量和偏振最小彩色矢量分量。通过进行这样的处理，图像分量分离部106按照式17，将彩色图像I(x，y)分离为如下的偏振振幅光源颜色矢量分量Iamp1(x，y)和偏振振幅偏振最小彩色矢量分量Iamp2(x，y)和偏振最小颜色分量Imin(x，y)。

[0228] [数学式18]

[0229] Iamp1(x，y)＝C1(x，y)·ILight(x，y)

[0230] Iamp2(x，y)＝C2(x，y)·Imin(x，y)

[0231] Imin(x，y)＝Imin(x，y) (式18)

[0232] 图18(a)表示被摄体的位置(x，y)＝(514，432)、(780，330)、(528、394)的像素的颜色矢量I(x，y)的数值例。如图18(a)所示，位置(x，y)＝(514，432)、(780，330)的像素的颜色矢量I(x，y)由Iamp1(x，y)+Iamp2(x，y)+Imin(x，y)表示。

[0233] 另一方面，镜面反射区域内的位置(x，y)＝(528、394)的颜色矢量I(x，y)在图像内亮度最高。因此，如后述，(x，y)＝(528、394)的颜色矢量推定为光源的颜色矢量ILight。

[0234] 根据后述的方法进行图像的分量分离时，对每个像素，可将I(x，y)分离为Iamp1(x，y)、Iamp2(x，y)和Imin(x，y)。图18(b)中示例的位置(x，y)＝(514，432)的像素的Iamp1(x，y)、Iamp2(x，y)和Imin(x，y)分别为[7269，7132，6505]、[4151，1705，821]、和[11845，4865，2345]。此外，[]内的3个数值，如前所述为R、G、B各色的亮度。同样地，位置(x，y)＝(780，330)的像素的Iamp1(x，y)、Iamp2(x，y)和Imin(x，y)分别为[37，37，33]、[1455，530，
244]和[4207，1532，706]。

[0235] 此处，由于注意到颜色矢量为RGB的三维矢量，偏振振幅颜色分量Iamp(x，y)表示如下。

[0236] [数学式19]

[0237] (式19)

[0238] 然而，Ramp(x，y)、Gamp(x，y)、Bamp(x，y)为偏振振幅彩色分量Iamp(x，y)的R分量、G分量、B分量；RLight、GLight、BLight为光源颜色矢量ILight的R分量、G分量、B分量。另外，Rmin(x，y)、Gmin(x，y)、Bmin(x，y)为偏振最小彩色分量Imin(x，y)的R分量、G分量、B分量。

[0239] 式19中，被摄体的颜色矢量I(x，y)由彩色图像处理部103所求得。光源颜色矢量ILight已由光源颜色信息获取部105所求得。另外，偏振最小彩色信息Imin(x，y)已由偏振信息处理部104所求得。由此，式19中，与方程式的数目为3相对，未知数为C1(x，y)和C2(x，y)的2个。由此，式20通过利用最小二乘法，可由下式求出C1(x，y)和C2(x，y)。

[0240] [数学式20]

[0241]

[0242] (式20)

[0243] 图像分量分离部106将由偏振信息处理部104和图像分量分离部106所分离的各个分量，进一步按照图19的分量分离基准，进行各分量的分量分离。

[0244] 根据本实施方式的图像分离法所分离的“漫反射非偏振分量”、“漫反射偏振分量”和“镜面反射偏振分量”，分别如图11(b)、图11(d)和图11(e)所示。也就是说，图11(b)表示作为“漫反射非偏振分量”的偏振最小彩色图像Imin(x，y)，图11(d)表示作为“漫反射偏振分量”的偏振振幅偏振最小彩色矢量Iamp2(x，y)，图11(e)表示作为“镜面反射偏振分量”的偏振振幅光源颜色矢量分量Iamp1(x，y)。

[0245] 现有的利用偏振信息的镜面反射分量/漫反射分量分离法中，图11(c)的Iamp(x，y)分离为“镜面反射分量”，图11(b)的Imin(x，y)分离为“漫反射分量”。由此，如前所述，会发生在出射角充分大的(遮蔽边沿附近)区域中检测出本来不该存在的镜面反射分量的问题；而本实施方式的图像分离法中，不会发生这样的问题。

[0246] 此外，光源颜色信息获取部105也可以利用彩色信息处理部103和偏振信息处理部104所获取的被摄体的信息，而获取光源的颜色信息。如前所述，二色性反射模型中，被摄体的颜色矢量I(x，y)被分离为等同于光源的颜色矢量的镜面反射分量，和具有物体颜色矢量的漫反射分量。

[0247] 在镜面反射分量非常大的镜面反射区域，认为漫反射分量可忽视。另外，图像中亮度最高的像素假定位于镜面反射区域，则认为该像素的颜色矢量等于光源的颜色矢量。由此，光源颜色信息获取部105在彩色信息处理部103所获取的彩色图像信息中，检测出亮度最高的像素，推定该像素的颜色矢量为光源的颜色矢量。例如图18(a)所示例中，位置(x，y)＝(528、394)为亮度最高的像素。由此，可将该像素的I(x，y)推定为光源颜色矢量。

[0248] 光源颜色信息获取部105可以检测出彩色信息处理部103和偏振信息处理部104所获取的偏振最小亮度Imin，或者偏振振幅亮度Iamp中的亮度最高的像素，将该像素的偏振最小亮度Imin或者偏振振幅亮度Iamp的颜色矢量推定为光源的颜色矢量。

[0249] 图像分量分离部106也可以不将彩色图像分离为漫反射非偏振分量、漫反射偏振分量、和镜面反射偏振分量，而是例如分离为漫反射分量和镜面反射分量。对此可将式17作如下变形。

[0250] [数学式21]

[0251] I(x，y)＝C1(x，y)·ILight+{C2(x，y)+1}·Imin(x，y)

[0252] ＝C1(x，y)·ILight+C3(x，y)·Imin(x，y) (式21)

[0253] 为此，可以综合由式18所求出的偏振振幅偏振最小彩色矢量分量Iamp2(x，y)和偏振最小彩色分量Imin(x，y)。

[0254] 图20是表示这样的情况的分量分离基准的图。另外，图21是表示本实施方式所涉及的图像分离方法的处理流程的流程图。在图21中，与图2共同的步骤附上与图2相同的符号，此处省略其详细说明。此外，图21所示例中，检测亮度最高的像素，将该像素的颜色矢量推定为光源的颜色矢量。

[0255] 本例中，图像分量分离部106进行分量分离，将偏振信息处理部104所生成的偏振最小彩色分量Imin作为漫反射非偏振分量，而由偏振最小彩色分量Imin所生成的偏振振幅偏振最小彩色矢量分量Iamp2作为漫反射分量，偏振振幅光源颜色矢量分量Iamp1作为镜面反射分量(步骤S108)。

[0256] 根据本实施方式的图像分离方法，图11(e)表示“镜面反射分量”、图11(f)表示“漫反射分量”。图像分量分离部106也可以不将偏振振幅彩色分量Iamp分离为光源颜色矢量分量和偏振最小彩色矢量分量，而是将由彩色偏振获取部102所获取的彩色图像分离为光源颜色矢量分量和偏振最小彩色矢量分量。图22是表示这样的情况的分量分离基准的图。另外，图23是表示本实施方式所涉及的图像分离方法的处理流程的流程图。图23中，与图2共同的步骤附上与图2相同的符号，此处省略其详细说明。

[0257] 图23中，偏振信息处理部104，利用从彩色偏振获取部102所输出的信息，生成偏振最小彩色分量Imin作为偏振信息(步骤S113)。此处步骤S103和步骤S113的顺利是任意的，既可以并行执行，也可以顺序执行。光源颜色信息获取部105获取照射被摄体的光源的颜色矢量ILight(步骤S105)。光源的颜色矢量可以通过使用前述各种方法而获取。

[0258] 图像分量分离部106，将由彩色信息处理部103所获取的彩色图像I分离为彩色图像光源颜色矢量分量I1和彩色图像偏振最小彩色矢量分量I2(步骤S114)。进一步地，图像分量分离部106进行分量分离，将彩色图像偏振最小彩色矢量分量I2作为漫反射非偏振分量，彩色图像光源颜色矢量分量I1作为镜面反射分量(步骤S115)。

[0259] 图像分量分离部106也可以进行考虑了阴影的图像分离。这是因为考虑到阴影中由于多重反射等的影响，光线变得复杂，偏振信息的可信度丧失，于是阴影区域的图像分离精度降低。

[0260] 图24是表示这种情况下的分量分离基准的图。另外，图25是表示本实施方式所涉及的图像分离方法的处理的流程的流程图。图25中，与图2共同的步骤附上与图2相同的符号，此处省略其详细说明

[0261] 首先为了推定像素是否为阴影，图像分量分离部106判定像素的亮度是否在阈值以下(步骤S109)。由于阴影区域亮度低，所以可以将由彩色信息处理部103所求的彩色图像的亮度在阈值以下的像素判断为阴影。阈值大小可由实验决定，例如对于16位单色图像，可设定为256。另外，作为用于检测阴影的亮度，也可以利用由偏振信息处理部104所获取的偏振最大亮度Imax和偏振最小亮度Imin、或是偏振最大亮度Imax和偏振最小亮度Imin的平均值或加权和(例如，Imax+Imin或Imax+2×Imin)等。尤其是Imax+Imin是在直线偏振光源下，与未设置偏振片的情况下所拍摄的图像等价的图像。由此，通过利用Imax+Imin而进行图像处理，就可以进行与通常的不利用偏振的情况同样的处理。另外，在利用偏振最小亮度Imin的情况下，由于亮度变得非常高，可减小很可能发生曝光过度(白とび)的镜面反射分量的影响，所以非常有效。像素的亮度小于阈值的情况下(步骤S109：是)，判断像素为阴影分量(步骤S110)，处理结束。

[0262] 另一方面，在像素的亮度为阈值以上的情况下(步骤S109：否)，判断像素不是阴影，图像分量分离部106如前所述，进行分量分离，将偏振振幅彩色分量Iamp分离为偏振振幅光源颜色矢量分量Iamp1和偏振振幅偏振最小彩色矢量分量Iamp2(步骤S106)；进行分量分离，将由偏振信息处理部104所生成的偏振最小彩色分量Imin作为漫反射非偏振分量，偏振振幅偏振最小彩色矢量分量Iamp2作为漫反射偏振分量，偏振振幅光源颜色矢量分量Iamp1作为镜面反射偏振分量(步骤S107)。

[0263] 发光装置206优选为尽可能远离拍摄装置203。发光装置206存在于拍摄装置203的附近的情况下，观测到镜面反射分量的区域成为入射角为0度附近的区域。这是由于镜面反射分量是在镜面反射区域附近观测到的。然而，入射角为0度附近的区域中，根据图16，镜面反射分量几乎不偏振。所以，偏振最小亮度Imin(x，y)中会包括很多镜面反射分量，由图像生分量离部106进行的图像分量分离精度会降低。

[0264] 图26是表示本实施方式所涉及的图像处理装置的其它的结构例的模块图。这是利用彩色信息处理部103和偏振信息处理部104所获取的被摄体的信息，针对光源颜色信息获取部105获取光源的颜色信息的处理的模块图。图26中，与图1共同的构成要素附上与图1相同的符号，此处省略其详细说明。另外，图27是表示本实施方式所涉及的图像分离方法的处理的流程的流程图。图27中，与图2共同的步骤附上与图2相同的符号，此处省略其详细说明。与图2不同的是，图2中步骤S103、步骤S104和步骤S105的顺序为任意的，而图27中，只有步骤S103和步骤S104的顺序为任意的。步骤S103和步骤S104既可以并行执行，也可以顺序执行。

[0265] 此外，本实施方式中是对图案化的偏振片201使用光学晶体的，但也可以不利图案化的偏振片，而通过使拍摄装置的镜头前安装的偏振片旋转的同时拍摄，获取时间序列上的偏振主轴的不同的亮度。该方法如例如特开平11-211433号公报所公开的。这样的情况下，运动被摄体或照相机运动时，可以利用图像处理中广为使用的被摄体的追踪技术(例如，Jianbo Shiand Carlo Tomasi，“Good Features to Track”，IEEE Conference on ComputerVision and Pattern Recognition，pages 593-600，1994)。

[0266] 彩色偏振获取部102可以不在同一个拍摄装置203获取彩色图像信息和偏振信息，而是在两个不同的拍摄装置上获取。图28表示了搭载了本实施方式所述涉及的图像处理装置的照相机的结构例，这样的情况下，彩色偏振获取部102由两个拍摄元件203和203-2所构成，以分别获取彩色图像信息和偏振信息。这样的情况下，优选利用分光器使两个拍摄装置203和203-2的光轴相等。

[0267] 以上，通过利用本发明的图像分离方法，可以进行利用偏振信息和颜色信息的图像分离。这样的图像分离也可以进行将漫反射分量的偏振分量考虑在内的镜面反射分量和漫反射分量的分离。

[0268] (第2实施方式)

[0269] 图29表示本实施方式所涉及的图像分离系统的模块图。图29中，与图1共同的构成要素附上与图1相同的符号，此处省略其详细说明。与第1实施方式不同的是，使投射装置107与图像处理装置108分离。另外，图30为表示本实施方式所涉及的图像处理装置的图像分离方法的处理的流程的流程图。图30中，与图2共同的步骤附上与图2相同的符号，此处省略其详细说明。进一步地，图31表示搭载了本实施方式所涉及的图像处理装置108的照相机和投射装置107的构成例。图31中，与图3共同的构成要素附上与图3相同的符号，此处省略其详细说明。

[0270] 本实施方式的图像分离系统，为由投射装置107和图像处理装置108所组成的、通过拍摄被摄体，进行所述被摄体的图像的分量分离的图像分离系统。投射装置107具有投射部101，其向所述被摄体投射直线偏振光。另外，图像处理装置108具有：彩色偏振获取部102，其将透过偏振主轴为不同的3个方向以上的偏振片而来的光，通过彩色滤镜而接收，由此获取被摄体的彩色偏振图像；彩色信息处理部103，其根据彩色偏振获取部102所获取的图像，生成彩色图像；偏振信息处理部104，其根据彩色偏振获取部102所获取的图像，对于各个构成该偏振图像的单位像素，利用与透过所述3个方向以上的偏振片的光的亮度的对应关系，生成彩色偏振信息，即与接收的偏振相关的彩色信息；光源颜色信息获取部105，其获取对被摄体投射的光源的颜色信息；和图像分量分离部106，其利用由偏振信息处理部104所生成的偏振信息和由光源颜色信息获取部105所获取的光源颜色信息，进行由彩色信息处理部103所获取的彩色图像的分量分离。

[0271] 也可以投射装置107和图像处理装置108进行同步处理，图像处理装置108根据来自投射装置107的同步信号而进行拍摄。对此处理进行说明。

[0272] 图32表示本实施方式所涉及的图像分离系统的模块图。图32中，与图29共同的构成要素附上与图29相同的符号，此处省略其详细说明。与图29所不同的是，与投射装置107、图像处理装置108一起，还具有通信部109、110。另外，图33为表示本实施方式所涉及的投射装置107和图像处理装置108的图像分离方法的处理的流程的流程图。图33中，与图2共同的步骤附上与图2相同的符号，此处省略其详细说明。进一步地，图34表示搭载了本实施方式所涉及的图像处理装置的照相机和投射装置的构成例。图34中，与图31共同的构成要素附上与图31相同的符号，此处省略其详细说明。

[0273] 如前述，步骤S101中，投射装置107由投射部101向被摄体投射偏振光。之后，投射装置107由通信装置209向图像处理装置108发送通知投射的信号(步骤S111)。图像处理装置108在通信装置210接收到所述通知投射的信号时(步骤S112)，如前述，彩色偏振获取部102通过图案化偏振片201和彩色滤镜202由拍摄元件接收被摄体的光，而获取含有彩色偏振信息的彩色偏振图像(步骤S102)。如前述，由步骤S103～S107，获取了偏振信息、彩色图像和光源颜色矢量，最终实施图像分量分离。

[0274] 通信部109可以不仅向图像处理装置108发送通知投射的信号，还向图像处理装置108发送光源的颜色矢量信息。这样的情况下，光源颜色信息处理部105可以根据由通信部110接收的信号来获取光源颜色矢量信息。

[0275] 本实施方式的图像分离系统是通过使投射装置107和图像处理装置108分离、通过通信取得投射和拍摄的同步，从而使图像处理装置108更加小型化，同时还可以实现高精度的图像分量分离。

[0276] (利用图像分离的基于模型的图像合成)

[0277] 本发明的图像分量分离，对数字归档等使用的基于模型的图像合成处理尤其有效。基于模型的图像合成，由于可以使拍摄图像的光源方向和视线方向等任意改变，所以作为拍摄数据的交互提示方法是重要的。另外，对于提供现场感也非常有效。因此，基于模型的图像合成处理可利用于虚拟博物馆和AR(增强现实，Augmented Reality)等的应用。本来，这样的基于模型的图像合成中进行将拍摄图像分离为镜面反射分量和漫反射分量，分别对于每种分量利用不同的模型，但是如前述，由于镜面反射分量和漫反射分量的分离不充分，会有画质降低的问题。对此问题原因如下。在各自的模型的参数推定时，由于利用了与实际不同的镜面反射分量和漫反射分量，因此推定了与实际不同的参数。如此利用与实际不同的参数合成图像的情况下，如前述在生成视点变换图像或光源变化图像时所输出的图像会产生很大的误差。

[0278] 通过利用本发明的图像分量分离方法，可实现画质劣化降低的基于模型的图像合成。对此方法进行说明。

[0279] 首先说明该处理的概念。本发明的图像合成处理由参数推定装置800和图像合成装置801所实施。利用以下5个输入信息：

[0280] ○被摄体的漫反射图像

[0281] ○被摄体的镜面反射图像

[0282] ○被摄体的三维形状信息

[0283] ○光源位置/颜色/照度

[0284] ○合成图像的视点/光源信息

[0285] 图35是表示本发明的一实施方式所涉及的参数推定装置800和图像合成装置801的结构的模块图。图35的参数推定装置800，具有：图像拍摄部802，其利用拍摄装置进行拍摄；图像分离部803，其根据上述图像分离方法，将图像分离为镜面反射分量和漫反射分量；光源信息推定部804，其推定对被摄体进行照射的光源的方向、位置、亮度、颜色、光谱信息等的光源信息；形状信息获取部805，其获取被摄体的表面的法线信息或三维位置信息作为形状信息；参数推定部806，其对于每个来自被拍摄的被摄体的、由图像分离部803所分离的分量，通过使由所述光源信息推定部所推定的光源信息和所述形状信息获取部所获取的形状信息模型化，由此推定反射模型参数；和参数数据库(DB)807，其保持由参数推定部806所推定的反射参数。进一步地，图像合成装置801具有：视点/光源信息获取部808，其获取合成的图像的视点和光源信息等；和渲染部809，利用参数数据库807中保持的模型参数信息，根据视点/光源信息获取部808所获取的视点和光源信息而合成图像。

[0286] 另外，图36、图37是表示本实施方式所涉及的图像合成方法的参数推定方法和图像合成方法的处理流程的流程图。

[0287] 首先，对参数推定方法的处理的流程进行说明。图36中，图像拍摄部802利用前述的彩色信息处理部103，计算彩色亮度(步骤S301)。也可以利用偏振信息处理部104，获取偏振最大亮度Imax和偏振最小亮度Imin的加权和(例如，Imax+Imin或Imax+2×Imin)等。图像分离部803根据前述的图像分离方法，将由图像拍摄部802所拍摄的图像分离为漫反射分量和镜面反射分量(步骤S302)。光源信息推定部804获取光源的方向、并进一步获取颜色信息和照度信息等，作为光源信息(步骤S303)。形状信息获取部805获取作为被摄体的形状信息的表面的法线信息或被摄体的三维位置信息(步骤S304)。参数推定部806对于由图像分离部803所分量分离的漫反射图像和镜面反射图像，通过利用由所述光源信息推定部所推定的光源信息和所述形状信息获取部所获取的形状信息，用不同的方法推定各自的反射参数(步骤S305)。参数数据库807保持由参数推定部806所求出的漫反射分量的反射参数和镜面反射分量的反射参数，以及形状信息获取部在S305中获取的形状信息，作为模型参数(步骤S306)。

[0288] 接下来，对图像合成推定方法的处理流程进行说明。图37中，首先渲染部809获得参数数据库807中保持的模型参数信息(步骤S307)。视点/光源信息获取部808获取合成图像的视点、光源的方向，并进一步获取颜色信息和照度信息(步骤S308)。渲染部809利用参数数据库807中保持的模型参数信息，根据视点/光源信息获取部808所获取的视点和光源信息合成图像(步骤S309)。

[0289] 进一步地，图38表示搭载了本实施方式所涉及的图像合成装置的照相机的结构例。此外，此处图像分离部803、光源信息推定部804、形状信息获取部805、参数推定部806和渲染部809，通过由CPU205执行程序而实现。然而，这些功能的全部或是一部分，也可以通过硬件实现。另外，视点/光源信息获取部808由用户界面部212执行。另外，存储器204将由图像拍摄部802所拍摄的偏振图像、由图像分离部803所获取的镜面反射分量和漫反射分量、由光源信息推定部所推定的光源信息、由形状信息获取部805所获取的形状信息、由参数推定部807所推定的反射参数信息、和由视点/光源信息获取部所获取的视点/光源信息作为模型参数容纳。

[0290] 以下对各自的处理进行说明。

[0291] 首先对参数推定装置800进行说明。

[0292] 图像拍摄部802利用CCD或CMOS等的拍摄装置，由彩色偏振获取部102和彩色信息处理部103，获取被摄体的彩色图像。如此拍摄的图像希望在亮度很高的镜面反射分量和漫反射分量的同时不饱和，并以充分的分辨率来记录该拍摄的图像。因此，希望利用冷却CCD照相机或能够进行多重曝光拍摄等宽的动态范围的拍摄装置。这样的图像拍摄部也可以是前述的由偏振信息处理部103获取的偏振最大亮度Imax和偏振最小亮度Imin的加权和(例如，Imax+Imin或Imax+2×Imin)等。尤其是Imax+Imin是在直线偏振光源下，与未设置偏振片的情况下所拍摄的图像等价的图像。由此，通过利用Imax+Imin而进行图像处理，就可以进行与通常的不利用偏振的情况同样的处理。

[0293] 图像分离部803由前述的图像分离法，将由图像拍摄部802所拍摄的图像，分量分离为漫反射分量和镜面反射分量。

[0294] 光源信息推定部804获取光源的方向、并进一步获取颜色信息和照度信息作为光源信息。这可以例如在被摄体附近配置用于推定光源信息的形状已知的镜面等，从以由图像拍摄部802所拍摄的该镜面的图像而推定即可(例如，「神原誠之，横矢直和，″光源環境の実時間推定による光学的整合性を考慮したビジヨンベ一ス拡張現実感″，電子情報通信学会技術研究報告，パタ一ン認識·メデイア理解，PRMU2002-190，pp.7-12，2003」)。对该处理进行详述。

[0295] 光源推定部804利用如图15所示的视为镜面的球601而进行。镜面球601设置于被摄体附近，其位置和法线方向等为已知。由图像拍摄部802拍摄该镜面球601。此时，拍摄环境映入镜面球601。发生映入的位置，为视线方向和朝向映入对象的方向相对于该镜面球上的法线方向为镜面反射关系的位置。由此，如果镜面球的位置和其法线方向为已知，就可以根据镜面上映入的图像来检测映入对象的方向。另外，考虑到光源亮度高，根据拍摄的镜面球的图像，通过检测高亮度的像素，可以获取光源的方向。进一步地，如果镜面反射率为已知，如前所述，也可以获取光源的颜色信息和辐射亮度等光源照度信息。

[0296] 作为光源信息，不仅是光源的方向，也可以获取光源的位置信息而取代光源的方向。这可以利用图像处理领域广为所知的立体图像处理的技术，例如利用2个前述的镜面球，或者使用使拍摄装置的位置变化而拍摄的多个图像。

[0297] 也可以不是一直拍摄这样的镜面球，而是使用之前拍摄所求得的光源信息。这在如室内的监视照相机的光源环境不变的情况下有效。这样的情况下，可以在设置照相机时拍摄镜面球，获取光源信息。

[0298] 光源信息推定部804可以不是利用视为镜面的球601的参照物，而是利用被摄体而推定光源方向。说明该方法。首先，拍摄被摄体的图像区域中，选择亮度最高的像素。如后述，由于通过形状信息获取部805推定被摄体的形状信息也就是表面的法线信息，所以亮度最高的像素的法线方向为已知。此处，亮度最高的像素假定为镜面反射方向的光源映入，与前述的利用参照物体的方法同样，根据法线方向获取光源的方向。

[0299] 另外，也可以通过在拍摄装置701中设置照度计211，测定入射照度作为光源信息。对于入射照度信息的利用方法后述。

[0300] 形状信息获取部805获取作为被摄体形状信息的表面的法线信息或是被摄体的三维位置信息。作为获取被摄体的形状信息的方法，可以利用已知的例如狭缝光投影法、图案光投影法、激光雷达法等方法。

[0301] 形状信息的获取不限于这样的方法。还可以利用例如利用多个照相机的立体视、利用照相机的运动的运动立体法、利用使光源位置变化而拍摄的图像的照度差立体法、利用毫米波或超声波来测定与被摄体的距离的方法、进一步地利用反射光的偏振特性的方法(例如，美国专利5,028,138号，或者「宮崎大輔，池内克史，″偏光レイトレ一シング法による透明物体の表面形状の推定手法″，電子情報通信学会論文誌，J88-D-I1，No.8，pp.1432-1439，2005」，Vol.)。此处对照度差立体法和利用利用偏振特性的方法进行说明。

[0302] 照度差立体法是利用光源方向不同的3幅以上的图像，来推定被摄体的法线方向和反射率的方法。例如“H.Hayakawa，“Photometric Stereo undera light source with arbitrary motion”，Journal of the Optical Society ofAmerica A，Vol.11，pp.3079-89，1994”，是获取图像上的6点以上的反射率相等的点作为已知信息，作为约束条件而利用，虽然光源的位置信息也作为未知的，但推定以下的参数的方法。

[0303] ·被摄体信息：图像上的各点的法线方向和反射率

[0304] ·光源信息：被摄体的观察点的光源方向和照度

[0305] 此处，进行只利用前述的漫反射/镜面反射分离法所分离的漫反射图像的照度差立体法。本来，由于该方法假定被摄体进行完全漫反射，所以存在镜面反射的被摄体中发生大的误差。然而，通过只利用分离的漫反射分量，可以消除由镜面反射分量的存在而引起的推定误差。

[0306] 光源方向不同的漫反射图像由如下的亮度矩阵Id表示。

[0307] [数学式22]

[0308] (式22)

[0309] 其中，idf(p)表示光源方向f的漫反射图像的像素p的亮度。另外，图像的像素数目为P像素，在不同的光源方向所拍摄的图像幅数为F幅。而根据Lambertian模型，漫反射图像的亮度可表示如下。

[0310] [数学式23]

[0311] if(p)＝(ρdp·npT)·(tf·Lf) (式23)

[0312] 其中，ρdp表示像素p的反射率(Albedo漫反射系数)，np表示像素p的法线方向矢量，tf表示光源f的入射照度，Lf表示光源f的方向矢量。

[0313] 根据式22、式23导出以下式子。

[0314] [数学式24]

[0315] I＝R·N·L·T＝S·M (式24)

[0316] 其中，

[0317] [数学式25]

[0318]

[0319] [数学式26]

[0320]

[0321] [数学式27]

[0322]

[0323] [数学式28]

[0324]

[0325] [数学式29]

[0326] (式25)

[0327] [数学式30]

[0328]

[0329] 此处，R称为表面反射矩阵，N称为表面法线矩阵，L称为光源方向矩阵，T称为光源强度矩阵，S称为表面矩阵，M称为光源矩阵。

[0330] 此处利用奇异值分解，可将式24如下展开。

[0331] [数学式31]

[0332] I＝U·∑·V (式26)

[0333] [数学式32]

[0334] U＝[U′U″]

[0335]

[0336]

[0337] 其中，

[0338] [数学式33]T T T

[0339] U·U＝V·V＝V·V ＝E

[0340] E表示单位矩阵。另外，U’为P×3矩阵，U”为P×(F-3)矩阵，∑’为3×3矩阵，∑”为(F-3)×(F-3)矩阵，V’为3×F矩阵，V”为(F-3)×F矩阵。此处U”、V”被认为是信号分量U’、V’的正交基底，也就是说，噪声分量。此处利用奇异值分解，式26可变形为如下。

[0341] [数学式34]

[0342] (式27)

[0343] [数学式35]

[0344]

[0345]

[0346] 也就是说，虽然通过解式27，可同时获取形状信息和光源信息，但余下了以下3×3矩阵A的不确定性。

[0347] [数学式36]

[0348] (式28)

[0349] [数学式37]

[0350] (式29)

[0351] 此处，A为任意3×3矩阵。为了获取形状信息和光源信息，需要求得该矩阵A。这例如已知画面上6点以上的反射率相等即可。例如，任意6点k1～k6的反射率相等时，[0352] [数学式38]

[0353] (sk1)2 ＝ (sk2)2 ＝ (sk3)2 ＝ (sk4)2 ＝ (sk5)2 ＝ (sk6)2 ＝ 1(式30)

[0354] 根据式25、式28和式30，

[0355] [数学式39]

[0356]

[0357] (式31)

[0358] 进一步地，如果

[0359] [数学式40]

[0360] B＝A·AT (式32)

[0361] 式31变为如下：

[0362] [数学式41]

[0363] (式33)

[0364] 此处，由于根据式32矩阵B为对称矩阵，因而矩阵B的未知数为6个。也就是说，当已知图像上6个点以上反射率相等时，式33可解。

[0365] 另外，当矩阵B已知时，根据对式32利用奇异值分解，矩阵A可解。

[0366] 进一步地，根据式28和式29，获取形状信息和光源信息。

[0367] 根据以上，在反射率相等的6个点以上的像素已知的被摄体中，通过在变更光源方向的同时获取3幅以上的图像，可获取以下信息。

[0368] ·被摄体信息：图像上的各点的法线方向矢量和反射率

[0369] ·光源信息：被摄体的观察点中光源方向矢量和辐射亮度

[0370] 然而，由上述处理所求取的被摄体的反射率和光源的辐射亮度为相对的，为了求出绝对值，需要与上述不同的例如图像上6点以上的反射率已知等的已知信息。

[0371] 如上，在利用照度差立体法和偏振特性的方法中，获取表面的法线信息。另一方面，狭缝光投射法或立体视等方法中，获取被摄体的三维位置信息。被摄体表面的法线信息，是在被摄体的三维位置信息的微小空间的斜率信息，它们都是被摄体的形状信息。

[0372] 通过以上处理，形状信息获取部805获取作为被摄体的形状信息的表面的法线信息，或是被摄体的三维位置信息。

[0373] 根据以上处理，获取以下信息。

[0374] ○被摄体的漫反射图像

[0375] ○被摄体的镜面反射图像

[0376] ○被摄体的三维形状信息

[0377] ○光源位置、照度

[0378] 接下来，参数推定部806对于由图像分离部803所分量分离的漫反射分量和镜面反射分量，以不同的方法推定各自的反射参数。首先，对于漫反射分量的处理进行说明。

[0379] 参数推定部806，利用由图像分离部803所分量分离的漫反射分量，推定被摄体的漫反射系数。由于漫反射系数不受光源信息影响，通过利用漫反射系数图像来进行处理，可实现对光源变动的稳健处理。

[0380] 对此处理进行说明。首先，对于物体的反射特性进行说明。假定为二色性反射模型，物体亮度可由作为漫反射分量和镜面反射分量之和由下式而表示。

[0381] [数学式42]

[0382] I＝Ia+Id+Is (式34)

[0383] 此处，I为拍摄装置所拍摄的被摄体的亮度，Ia为环境光分量，Id为漫反射分量，Is为镜面反射分量。此处，环境光分量，是指光源的光由物体等而散射的间接光。该环境光散射至空间各处，对直接光无法到达的阴影部分也多少给与了亮度。为此，通常作为噪声处理居多。

[0384] 当认为环境光分量非常小，作为噪声可以无视时，图像可分离为漫反射分量和镜面反射分量。

[0385] 根据式23，漫反射分量中，以下关系成立。

[0386] [数学式43]

[0387] (式35)

[0388] 其中，θi表示被摄体的法线方向矢量与光源方向矢量所成角度。此处，根据光源信息推定部804和形状信息获取部805，角度θi为已知。另外，如后述，由于光源的入射照度tf也可以推定，因此被摄体的漫反射系数ρdp从式35可以求出。

[0389] 也可以不求被摄体的漫反射系数，而由下式求出漫反射系数乘以光源的辐射亮度的模拟漫反射系数，并利用之。

[0390] [数学式44]

[0391]

[0392] 接下来对镜面反射分量的反射参数推定进行说明。

[0393] 参数推定部806利用由形状信息获取部805所获取的被摄体的法线信息、图像分离部803所分离的漫反射图像和镜面反射图像，而推定表现该被摄体的参数。此处，对在计算机图形学领域中广为使用的利用Cook-Torrance模型的方法进行说明。

[0394] 在Cook-Torrance模型中，镜面反射图像如下式被模型化。

[0395] [数学式45]

[0396] Is＝Ksρs，λ (式36)

[0397] [数学式46]

[0398] (式37)

[0399] [数学式47]

[0400] (式38)

[0401] [数学式48]

[0402] (式39)

[0403] [数学式49]

[0404] c＝L·H (式40)

[0405] [数学式50]

[0406] (式41)

[0407] [数学式51]

[0408] (式42)

[0409] [数学式52]

[0410] (式43)

[0411] [数学式53]

[0412] (式44)

[0413] 此处，Ei表示入射照度，ρsλ表示波长λ的镜面反射分量的双向反射率，n表示被摄体的法线方向矢量，V表示视线矢量，L表示光源方向矢量，H表示视线矢量与照明方向矢量的中间矢量，β表示矢量H与法线方向矢量n的角度(参照图39)。另外，Fλ为从菲涅耳方程式所求出的来自电介质表面的反射光之比的菲涅耳系数，D为微面元分布函数，G为表示由物体表面的凹凸所引起的遮光的影响的几何衰减率。进一步地，nλ为被摄体的折射率，m为表示被摄体表面粗糙度的系数，Ij为入射光的辐射亮度。另外，ks为镜面反射分量的系数。

[0414] 进一步的，当利用式23的Lambertian模型时，式34如下展开。

[0415] [数学式54]

[0416] I＝Ia+Id+Is＝Ia+KD+Ksρs，λ (式45)

[0417] 其中，

[0418] [数学式55]

[0419] (式46)

[0420] [数学式56]

[0421] (式47)

[0422] 此处，ρd为漫反射分量的反射率(albedo漫反射系数)，dpx、pdy为拍摄装置的1个像素的x方向、y方向的长度，r表示拍摄装置的距观察点O的距离。另外，kd为满足以下关系式的系数。

[0423] [数学式57]

[0424] kd+ks＝1 (式48)

[0425] Sr是用于表示漫反射分量和镜面反射分量的亮度的差异的常数，漫反射分量表示从被摄体向所有方向反射能量。图40为用于说明该常数Sr的示意图。图40中，在观察点O所反射的漫反射分量能量向半球状扩散。此处，由于拍摄装置701距离观察点O只有r，所以到达拍摄装置的1个拍摄元件的能量，与在观测点O所反射的总能量之比Sr，以式47所示。

[0426] 根据以上，参数推定部806根据式36～式47，推定镜面反射分量的反射参数。

[0427] 总结以上的关系式，用于进行参数推定的已知参数和应推定参数如下。

[0428] (已知参数)

[0429] ○环境光分量Ia

[0430] ○漫反射分量Id

[0431] ○镜面反射分量Is

[0432] ○被摄体的法线方向矢量n

[0433] ○光源方向矢量L

[0434] ○视线矢量V

[0435] ○中间矢量H

[0436] ○中间矢量H与法线方向矢量n的角度β

[0437] ○拍摄装置701的1个像素的x方向、y方向的长度dpx、dpy

[0438] ○拍摄装置701与观察点O的距离r

[0439] (应推定参数)

[0440] ○入射照度Ei

[0441] ○镜面反射分量的系数ks

[0442] ○被摄体表面的粗糙度m

[0443] ○被摄体的折射率ηλ

[0444] 此处，漫反射分量的系数kd，和漫反射分量的反射率(albedo漫反射系数)ρd也是未知参数，但由于只推定镜面反射分量的参数，所以此处就不进行推定处理了。

[0445] 图41是表示参数推定部806的处理的流程的图。处理由以下两个阶段所组成。

[0446] 首先，使用光源信息，求出入射照度Ei(步骤S401)。此处利用光源信息推定部804所获取的光源的位置信息、形状信息获取部805所求出的拍摄装置与被摄体的距离信息、进而利用由光源信息推定部804所求出的光源照度。Ei由下式所求。

[0447] [数学式58]

[0448] (式49)

[0449] 拍摄装置701上如前所述，配有照度计211。此处，Ii表示由照度计211所测定的光源702的入射照度，R1表示拍摄装置701和光源702的距离，R2表示光源702与观察点O的距离，θ1表示观察点O的法线方向矢量n与光源方向矢量LC所成的角度，θ2表示拍摄装置701的光轴方向与光源方向矢量LA所成的角度(参照图42)。此处，当认为被摄体的大小与光源702和观察点O之间的距离R2相比充分小的情况下，则在被摄体上所有的观察点O上距离R2都是相等的。因此，式49中，(R1/R2)成为常数，不需要实际测量。另外θ1为已知。这是因为通过形状信息获取部805，观察点O的法线方向矢量n为已知；而通过光源信息推定部804，光源方向矢量LC为已知。进一步地，在由光源信息推定部804推定光源位置的情况下，θ2为已知。因此，式49右边均为已知。

[0450] 接下来，利用单纯形法推定未知参数m、ηλ、ks(步骤S402)。单纯形法是一种通过对被称为单纯形的图形的顶点分配变量，改变单纯形的大小和形状而进行函数的优化的方法(参见：大田登，“色再現光学の基礎”，pp.90-92，コ口ナ社)。单纯形是n维空间的(n+1)个点的集合。其中，n为推定的未知数，此处为“3”。由此，单纯形为四面体。单纯形的顶点以矢量xi表示，新的矢量如下而确定：

[0451] [数学式59]

[0452] (式50)

[0453] [数学式60]

[0454] i≠h

[0455] [数学式61]

[0456] i＝1，2，…，n+1

[0457] [数学式62]

[0458] i≠h，i＝1，2，…，n+1 (式51)

[0459] 其中，

[0460] [数学式63]

[0461]

[0462] [数学式64]

[0463]

[0464] 分别表示使函数f(xi)为最大和最小的xi。

[0465] 进一步地，该方法中所用的3种操作如下定义。

[0466] 镜像：

[0467] [数学式65]

[0468] xr＝(1+α)x0-αxh (式52)

[0469] 展开：

[0470] [数学式66]

[0471] xe＝βxr+(1-β)xh (式53)

[0472] 缩并：

[0473] [数学式67]

[0474] xc＝γxh+(1-γ)x0 (式54)

[0475] 此处α(＞0)、β(＞1)、γ(1＞γ＞0)为系数。

[0476] 单纯形法基于通过选择单纯形的顶点中函数值最大的函数值、而其镜像的函数值为最小的期望。如果该期望为正确的，则能够通过反复相同的处理，求出函数的最小值。也就是说，以3种操作来更新被给予初始值的参数，直到参数与评价函数所示目标的误差小于阈值为止都反复更新参数。此处，参数以m、ηλ、ks而表示，评价函数以式55而表示，利用由式36所计算出的镜面反射分量图像和由图像分离部803所求出的镜面反射分量图像的差ΔIs。

[0477] [数学式68]

[0478] (式55)

[0479] 其中，is(i，j)’、is(i，j)分别为计算出的镜面反射图像的推定值Is’和图像分离部803所求出的镜面反射分量图像Is的像素(i，j)的亮度，Ms(i，j)是在像素(i，j)具有镜面反射分量的情况下为1、不具有的情况下为0的函数。

[0480] 对该处理进行详细说明。图43为用于说明该处理的流程的流程图。

[0481] 首先对存储反复计算的更新次数的计数器n和k代入0，进行初始化(步骤S411)。此处，计数器n为存储初始值变更了几次的计算器，而k为存储对某个初始值进行过几次基于单纯形法的候选参数的更新的计数器。

[0482] 接下来利用随机数决定推定参数的候选参数m’、ηλ’、ks’的初始值(步骤S412)。此时根据各参数的物理约束条件，如以下决定初始值的产生范围。

[0483] [数学式69]

[0484] m≥0

[0485] ηλ≥1.0

[0486] 0≤ks≤1.0

[0487] 0≤Fλ≤1.0

[0488] 0≤D (式56)

[0489] 接下来，将如此求出的候选参数代入式36，求出镜面反射图像的推定值Is’(步骤S413)。进一步地，根据式55求出计算出的镜面反射图像的推定值Is’与由图像分离部803所求出的镜面反射分量图像之差ΔIs，以此作为单纯形法的评价函数(步骤S414)。在如此所求出的ΔIs充分小的情况下(步骤S415为是)，则参数推定视为成功，选择候选参数m’、ηλ’、ks’作为推定参数m、ηλ、ks，结束处理。另一方面，在ΔIs为大的情况下(步骤S415为否)，则进行根据单纯形法的候选参数的更新。

[0490] 在进行候选参数的更新之前，进行更新次数的评价。首先，当存储更新次数的计数器k增加1时(步骤S416)，则判断计数器k的大小(步骤S417)。在计数器k充分大的情况下(步骤S417为否)，则判断为由于虽然进行了多次迭代计算，但只落入了局部最小值，所以即使这样迭代更新下去，也无法达到最佳值；这样的情况下则试图变更初始值，以便从局部最小值中跳出。为此，使计数器n增加1，使计数器k置零(步骤S421)。此处，判断计数器n的值是否大于阈值，来决定是仍然继续处理，还是认为处理失败而使处理结束(步骤S422)。此处，在n大于阈值的情况下(步骤S422中为否)，则认为该图像推定失败而结束处理。另一方面，在n小于阈值的情况下(步骤S422中为是)，则再次从式56的范围内的随机数中重新选择初始值(步骤S412)，而重复处理。这样的对于k的阈值，可选择为例如100等。

[0491] 另一方面，步骤S417中，在计数器k在阈值以下的情况下(步骤S417为是)，利用式52～式54变更候选参数(步骤S418)。该处理后述。

[0492] 接下来，判定这样变形的候选参数是否具有解的意义(步骤S419)。也就是说，由于通过重复单纯形法，变形的参数可能落入没有物理意义的值(例如，粗糙度参数m为负值等)，故将其除去。为此，可以给定以下条件，当满足该条件的情况下判断为有意义的参数，而不满足条件的情况下则判断为无意义的参数。

[0493] [数学式70]

[0494] 0≤m

[0495] 1.0≤ηλ

[0496] 0.0≤ks≤1.0

[0497] 0.0≤D

[0498] 0.0≤Fλ≤1.0 (式57)

[0499] 这些值可从被摄体求出。例如，折射率ηλ为由被摄体的材质所决定的值。例如，由于已知塑料为1.5～1.7，而玻璃为1.5～1.9，所以利用这些值即可。也就是说，当被摄体为塑料的情况下，可以取折射率ηλ为1.5～1.7。

[0500] 当变形的参数满足式57的情况下(步骤S419为是)，由于认为该候选参数为有意义的值，所以设定为新的候选参数(步骤S420)，重复更新处理(步骤S413)。另一方面，当变形的参数不满足式57的情况下(步骤S419为否)，则中止对该初始值的更新处理，基于新的初始值来进行更新(步骤S421)。

[0501] 此处，对于步骤S418的变形处理进行详细说明。图44是表示该处理的流程的流程图。此处，候选参数m’、ηλ’、ks’表示为矢量，作为参数x。也就是说，

[0502] [数学式71]

[0503] x＝[m′ ηs，λ′ ks′]T

[0504] 首先，利用式50～式52，计算进行了镜像操作的参数xr，由式55计算与xr下的镜面反射分量图像的差ΔIs(xr)(步骤S431)。接下来，将这样求得的ΔIs(xr)与评价函数为第2差的ΔIs(xs)作比较(步骤S432)。此处，在ΔIs(xr)小于ΔIs(xs)的情况下(步骤S432为是)，将进行了镜像操作的评价值ΔIs(xr)与现在评价值最好的ΔIs(xl)作比较(步骤S433)。此处，当ΔIs(xr)为ΔIs(xl)以上的情况下(步骤S433为否)，将评价值最低的xh变更为xr(步骤S434)，结束处理。

[0505] 另一方面，在ΔIs(xr)小于ΔIs(xl)的情况下(步骤S433为是)，利用式54进行展开处理，计算参数xe与xe下的镜面反射分量图像的差ΔIs(xe)(步骤S435)。接下来，将这样求出的ΔIs(xe)与由镜像操作的ΔIs(xr)作比较(步骤S436)。此处，当ΔIs(xe)小于ΔIs(xr)的情况下(步骤S436为是)，将评价值最差的xh变更为xe(步骤S437)，结束处理。

[0506] 另一方面，当ΔIs(xe)为ΔIs(xr)以上的情况下(步骤S436为否)，将评价值最差的xh变更为xr(步骤S434)，结束处理。

[0507] 另外，步骤S432中，当ΔIs(xr)大于ΔIs(xs)的情况下(步骤S432为否)，将进行了镜像操作的评价值ΔIs(xr)与现在评价值最差的ΔIs(xh)作比较(步骤S438)。此处，当ΔIs(xr)小于ΔIs(xh)的情况下(步骤S438为是)，将评价值最差的xh变更为xr(步骤S439)，利用式53计算进行了缩并操作的参数xc与xc下的镜面反射分量图像的差ΔIs(xc)(步骤S440)。另一方面，当ΔIs(xr)为ΔIs(xh)以上的情况下(步骤S438为否)，对xh不作变更，而计算进行了缩并操作的参数xc与xc下的镜面反射分量图像的差ΔIs(xc)(步骤S440)。

[0508] 接下来，将这样求得的ΔIs(xc)与评价值最差的ΔIs(xh)作比较(步骤S441)。此处，当ΔIs(xc)小于ΔIs(xh)的情况下(步骤S441为是)，将评价值最差的xh变更为xc(步骤S442)，结束处理。

[0509] 另一方面，当ΔIs(xc)为ΔIs(xh)以上的情况下(步骤S441为否)，将所有的候选参数xi(i＝1，2，3，4)基于下式变更，结束处理。

[0510] [数学式72]

[0511]

[0512] 通过重复以上处理，推定了镜面反射图像的未知参数m、ηλ、ks。

[0513] 根据以上处理，可推定所有的未知参数。

[0514] 图45(a)是关于图45(b)的区域A的、横轴表示中间矢量β、纵轴表示镜面反射分量的亮度Is的曲线图。该图中，白色○绘制了关于区域A的观测到的亮度Is。另外，黑色■绘制了推定的Cook-Torrance模型的各参数。图46为利用了利用现有的偏振信息的图像分离法的曲线图。图47表示利用了利用现有的偏振信息的图像分离法而生成的合成图像。这样，在参数推定失败的情况下，合成图像的质感看上去与实物相差极大。从这些图中可见，现有的图像分离法中，伴随着镜面反射分量和漫反射分量的分离精度不佳，反射参数的推定会失败。因此，合成的图像与实际图像质感相差很大。另一方面，本专利的图像分离法中，不会产生这样的问题。

[0515] 此外，用于参数推定的模型，不一定得是Cook-Torrance模型，还可以是例如Torrance-Sparrow模型，或者Phong模型，或者简化Torrance-Sparrow模型(参见例如K.Ikeuchi and K.Sato，“DeterminingReflectance Properties of an Object Using Range and Brightness Images”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.13，No.11，pp.1139-1153，1991)。

[0516] 另外，参数推定方法不一定得是单纯形法，也可以利用例如梯度法或最小二乘法等的一般的参数推定方法。

[0517] 另外，以上处理既可以对各个像素进行，也可以进行图像分离，来对各个区域推定相等的参数组。在对各个像素进行处理的情况下，优选为通过移动光源、拍摄装置或者被摄体，而获取被摄体的法线方向矢量n、光源方向矢量L或是视线矢量V等已知参数改变了的样本。另外，在对各个区域进行处理的情况下，优选为通过变更图像分离以使各个区域中所求出的参数的偏差变小，由此进行最佳参数推定。

[0518] 参数数据库807将由参数推定部806所求出的漫反射分量的反射参数和镜面反射分量的反射参数、以及由形状信息获取部805所获取的形状信息作为模型参数而保持。图48为表示参数数据库307中所保持的模型参数的示意图。

[0519] 根据以上的处理，参数推定装置800推定漫反射分量的参数和镜面反射分量的参数，将推定的参数信息保持到参数数据库807。

[0520] 接下来对图35的图像合成装置801进行说明。

[0521] 视点/光源信息获取部808获取合成的图像的视点和光源信息。为此，只要用户可输入视点位置、光源位置、光源照度，以及环境光分量信息即可。另外，在增强现实感的对现实世界渲染CG图像的情况下，也可以利用光源信息推定部804推定光源信息。

[0522] 渲染部809利用参数数据库807中保持的模型参数信息，合成依据视点/光源信息获取部808所获取的视点和光源信息的图像。渲染部809对漫反射分量和镜面反射分量，分别进行各自的渲染，通过合成渲染的漫反射分量、镜面反射分量和环境光分量信息，而合成图像。

[0523] 首先对漫反射分量作说明。如前所述，漫反射系数图像是通过将漫反射分量图像除以光源矢量与被摄体的法线方向矢量的内积而获得的。因此，对参数数据库中保持的漫反射系数图像(由参数推定部806所推定)和形状信息(由形状信息获取部805所获取)，利用由视点/光源信息获取部808所获取的光源方向矢量信息，可以合成漫反射分量。具体而言，通过求出由视点/光源信息获取部808所获取的光源方向矢量和被摄体的法线方向矢量的内积，然后乘以漫反射系数图像，而合成漫反射分量图像。在由视点/光源信息获取部808输入多个光源的情况下，对于各个光源合成各自的漫反射分量图像，通过叠加该图像，而合成一幅漫反射分量图像。

[0524] 接下来，对镜面反射分量作说明。镜面反射分量，可以通过对参数数据库中保持的镜面反射参数(由参数推定部806而推定)和形状信息(形状信息获取部805所获得)，利用由视点/光源信息获取部808所获取的光源方向矢量信息而合成。具体而言，通过代入式36～式44所推定的参数，来合成镜面反射分量图像。

[0525] 通过合成这样求出的漫反射分量图像、镜面反射分量图像和视点/光源信息获取部808所获取的环境光分量信息，渲染部809合成依据由视点/光源信息获取部808所获取的视点和光源信息的图像。

[0526] 如上所述，通过利用本发明的图像处理技术，可以高精度地进行在数字归档等中使用的基于模型的图像合成。

[0527] (产业利用性)

[0528] 根据本发明所涉及的图像处理，通过利用偏振信息和颜色信息这两个信息，可更加正确地分离镜面反射分量和漫反射分量。由于可从以拍摄快照而拍摄的图像中实现图像分离处理，所以对各种数码照相机、数码摄像机、监控摄像机等有用。