生成法线信息的图像处理装置、方法及视点变换图像生成装置

摘要

本发明提供一种生成法线信息的图像处理装置、方法、计算机程序及视点变换图像生成装置，通过拍摄被摄体，在被摄体的表面生成高精度的法线信息。该法线信息生成装置，通过拍摄被摄体，被动地生成被摄体的表面的法线信息。法线信息生成装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，获取视点位置不同的多个偏振图像；和法线信息生成部，其根据视点位置不同的多个偏振图像，推定被摄体的法线方向向量。

权利要求

1.一种图像处理装置，通过拍摄被摄体，被动地生成所述被摄体的表面的法线信息，该图像处理装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像；和法线信息生成部，其根据视点位置不同的所述多个偏振图像，来推定被摄体的法线方向向量，该图像处理装置还具有：

偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振光的偏振角度及亮度的对应关系，生成偏振信息；

立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；

区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；和法线1自由度推定部，其针对所述多个偏振图像的各个偏振图像，根据所述偏振信息，分别推定与由所述区域分割部所分割的各区域对应的被摄体的表面的法线1自由度，所述法线信息生成部根据由所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定法线方向向量。

2.根据权利要求1所述的图像处理装置，其特征在于，

该图像处理装置还具有：

偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息；

立体对应获取部，其通过对视点位置不同的所述多个偏振图像的任一个中所包含的特征点进行确定，并根据所述特征点搜索其它所述多个偏振图像，从而确定在所述多个偏振图像的每个偏振图像之间已建立对应的特征点，并根据各特征点，推定所述多个偏振图像的每个像素的对应关系；

区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；和法线1自由度推定部，其针对所述多个偏振图像的各个偏振图像，根据所述偏振信息，分别推定与由所述区域分割部所分割的各区域对应的被摄体的表面的法线1自由度，所述法线信息生成部根据由所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定法线方向向量。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述偏振信息获取部，生成偏振度、偏振相位、偏振推定误差、偏振最大亮度值、偏振最小亮度值的至少一个作为偏振信息。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述区域分割部，将所述被摄体的表面分割为漫反射区域及镜面反射区域的任一个。

5.根据权利要求3所述的图像处理装置，其特征在于，

所述区域分割部，将所述被摄体的表面分割为漫反射区域、镜面反射区域及阴影区域的任一个。

6.根据权利要求3所述的图像处理装置，其特征在于，

所述区域分割部，将所述被摄体的表面分割为漫反射区域、镜面反射区域、附属阴影区域及投影阴影区域的任一个。

7.根据权利要求3所述的图像处理装置，其特征在于，

所述区域分割部，将所述被摄体的表面分割为漫反射区域、镜面反射区域、立体未对应区域及遮挡区域的任一个。

8.根据权利要求4～7的任一项所述的图像处理装置，其特征在于，所述法线1自由度推定部，针对所述漫反射区域，生成所述对应关系中亮度最大的偏振主轴角度，以作为与该区域对应的所述被摄体的出射面的法线信息。

9.根据权利要求7所述的图像处理装置，其特征在于，

所述法线1自由度推定部，针对所述立体未对应区域及遮挡区域，根据法线方向向量存在于与光轴正交的平面上的现象，生成法线方向向量。

10.根据权利要求4～7的任一项所述的图像处理装置，其特征在于，所述法线1自由度推定部，针对所述镜面反射区域及附属阴影区域，生成所述对应关系中亮度最小的偏振主轴角度，以作为与该区域对应的所述被摄体的入射面的法线信息。

11.根据权利要求8所述的图像处理装置，其特征在于，

所述法线信息生成部，在视点位置不同的多个偏振图像中，通过求出所述法线1自由度推定部所推定的入射面或出射面的交线，而生成法线方向向量。

12.根据权利要求10所述的图像处理装置，其特征在于，

所述法线信息生成部，在视点位置不同的多个偏振图像中，通过求出所述法线1自由度推定部所推定的入射面或出射面的交线，而生成法线方向向量。

13.根据权利要求11或12所述的图像处理装置，其特征在于，所述法线信息生成部，通过对所生成的法线方向向量与视线方向的相对关系进行评价，而去除所生成的法线方向向量的不确定性。

14.根据权利要求3所述的图像处理装置，其特征在于，

所述立体对应获取部，利用所述偏振信息获取部获取到的偏振最小亮度值来获取立体图像的对应。

15.根据权利要求7所述的图像处理装置，其特征在于，

所述法线信息生成部，针对遮挡区域，利用法线方向向量与视线向量的正交的现象，在所述法线1自由度推定部推定出的入射面或出射面上，生成与视线向量正交的向量，以作为法线方向向量。

16.一种图像处理装置，通过拍摄被摄体，生成所述被摄体的表面的法线信息，该图像处理装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像；

偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息；

立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；

法线1自由度推定部，其针对所述多个偏振图像的各个偏振图像，根据所述偏振信息，对假设了镜面反射分量的处理和假设了漫反射分量的处理进行切换，从而推定对应的被摄体的表面的多个法线1自由度候补；

法线信息生成部，其根据由所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，生成多个法线方向向量候补；和最佳法线选择部，其从由所述法线信息生成部生成的多个法线方向向量候补中，选择一个候补作为最佳法线方向向量。

17.根据权利要求16所述的图像处理装置，其特征在于，

所述法线信息生成部，根据法线方向向量的连续性、镜面反射分量与漫反射分量的空间连续性、偏振信息、遮挡边缘附近区域的法线方向向量、法线信息及纵深信息的至少一个，选择最佳法线方向向量。

18.根据权利要求2所述的图像处理装置，其特征在于，

还具有：

可靠性推定部，其推定所述法线信息生成部生成的所述法线方向向量的可靠性，并根据所述可靠性的低下程度，废弃所述法线方向向量。

19.根据权利要求18所述的图像处理装置，其特征在于，

所述法线信息生成部，根据可靠性的低下程度，将所述法线方向向量置换为基于纵深信息求出的法线方向向量。

20.根据权利要求18所述的图像处理装置，其特征在于，

所述法线信息生成部，根据可靠性的低下程度，将所述法线方向向量置换为通过根据附近的法线方向向量进行内插处理而求出的法线方向向量。

21.根据权利要求18所述的图像处理装置，其特征在于，

所述可靠性推定部，根据所述偏振信息获取部获取到的偏振信息、所述区域分割部的区域分割结果、所述法线1自由度推定部推定出的法线1自由度信息及所述法线信息生成部生成的法线方向向量的至少一个，来推定法线方向向量的可靠性。

22.根据权利要求21所述的图像处理装置，其特征在于，

所述可靠性推定部，在视点位置不同的多个偏振图像中，根据所述法线1自由度推定部推定出的法线1自由度信息，即入射面或出射面形成的角度的大小，来改变推定的法线方向向量的可靠性的大小。

23.根据权利要求21所述的图像处理装置，其特征在于，

所述区域分割部，将所述被摄体的表面作为阴影区域来进行区域分割，所述可靠性推定部，将在所述区域分割部区域分割为阴影区域的区域中的法线方向向量的可靠性推定得相对更低。

24.根据权利要求21所述的图像处理装置，其特征在于，

所述区域分割部，将所述被摄体的表面作为投影阴影区域来进行区域分割，所述可靠性推定部，将在所述区域分割部区域分割为投影阴影区域的区域中的法线方向向量的可靠性推定得相对更低。

25.根据权利要求21所述的图像处理装置，其特征在于，

所述可靠性推定部，根据所述偏振信息获取部获取到的偏振信息、及所述区域分割部的区域分割结果来计算法线信息，并对计算出的法线信息和所述法线信息生成部生成的法线方向向量进行比较，且根据作为比较结果的差值，改变法线方向向量的可靠性。

26.一种图像处理装置，通过拍摄被摄体，生成所述被摄体的表面的法线信息，该图像处理装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，并获取被摄体的视点位置不同的三个以上的多个偏振图像；

偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息；

立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；

区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；

法线1自由度推定部，其根据所述偏振信息，按照由所述区域分割部分割的每个区域来切换处理，从而推定对应的被摄体的表面的法线1自由度；

法线信息生成部，其根据所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定多个法线方向向量；和最佳法线选择部，其从由所述法线信息生成部生成的所述多个法线方向向量候补中，选择一个候补作为最佳法线方向向量。

27.根据权利要求26所述的图像处理装置，其特征在于，

所述法线信息生成部，根据视点位置不同的所述三个以上的多个偏振图像，按照每两个偏振图像生成多个法线方向向量候补。

28.根据权利要求27所述的图像处理装置，其特征在于，

所述最佳法线选择部，根据所述立体偏振图像摄像部拍摄到的偏振图像、所述偏振信息获取部获取到的偏振信息、所述区域分割部的区域分割结果、所述法线1自由度推定部推定出的法线1自由度信息、及所述法线信息生成部生成的法线方向向量的至少一个，从所述多个法线方向向量候补中，选择一个候补作为最佳法线方向向量。

29.根据权利要求28所述的图像处理装置，其特征在于，

所述最佳法线选择部，在视点位置不同的所述三个以上的多个偏振图像中，将所述法线1自由度推定部推定出的法线1自由度信息，即入射面或出射面形成的角度最大的法线方向向量候补，推定为最佳法线方向向量。

30.根据权利要求28所述的图像处理装置，其特征在于，

所述最佳法线选择部，根据所述偏振信息获取部所生成的偏振信息及所述区域分割部的区域分割结果来计算法线信息，并对计算出的法线信息和所述法线信息生成部生成的法线方向向量进行比较，将作为比较结果的差值最小的法线方向向量候补推定为最佳法线方向向量。

31.一种图像处理装置，通过拍摄被摄体，生成所述被摄体的表面的法线信息，该图像处理装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，并获取被摄体的视点位置不同的三个以上的多个偏振图像；

偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息；

立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；

区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；

法线1自由度推定部，其根据所述偏振信息，按照由所述区域分割部分割的每个区域来切换处理，从而推定对应的被摄体的表面的法线1自由度；

法线信息生成部，其根据所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定多个法线方向向量。

32.根据权利要求31所述的图像处理装置，其特征在于，

所述法线信息生成部，生成由所述法线1自由度推定部推定出的多个入射面或出射面形成的角度最大的方向向量，以作为法线信息向量。

33.根据权利要求32所述的图像处理装置，其特征在于，

所述法线信息生成部，通过利用法线方向向量的连续性、镜面反射分量与漫反射分量的空间连续性、偏振信息、遮挡边缘附近区域的法线方向向量、法线信息及纵深信息的至少一个信息作为约束条件，来选择法线方向向量。

34.根据权利要求1所述的图像处理装置，其特征在于，

所述立体偏振图像摄像部，接收来自透过偏振主轴角度不同的多个偏振片的所述被摄体的光，以作为在所述各视点位置处偏振方向不同的多个偏振光。

35.根据权利要求1所述的图像处理装置，其特征在于，

所述立体偏振图像摄像部，通过使能利用旋转来改变偏振主轴角度的偏振片旋转，从而接收透过所述偏振片的来自所述被摄体的光，作为在所述各视点位置处偏振方向不同的多个偏振光。

36.一种信息处理方法，是通过拍摄被摄体来生成所述被摄体的表面的法线信息的法线信息生成方法，该信息处理方法包括：在各视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像的步骤；

生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息的步骤；

对视点位置不同的所述多个偏振图像的每个像素的对应关系进行推定的步骤；

针对所述多个的各个偏振图像，根据所述偏振信息，通过对假设了镜面反射分量的处理和假设了漫反射分量的处理进行切换，来推定对应的被摄体的表面的多个法线1自由度候补的步骤；

根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割的步骤；

根据所述偏振信息，按照由所述区域分割部分割的每个区域来切换处理，从而推定对应的被摄体的表面的法线1自由度的步骤；

根据推定出的所述法线1自由度及所述多个偏振图像的每个像素的对应关系，来推定多个法线方向向量的步骤；和从生成的所述多个法线方向向量候补中，选择一个候补作为最佳法线方向向量的步骤。

37.一种视点变换图像生成装置，通过在多个不同的视点位置拍摄被摄体，来合成从与拍摄所述被摄体时不同的任意视点位置看到的图像，该视点变换图像生成装置具有：立体偏振图像摄像部，其在多个不同的视点位置的每个视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像；

法线信息生成部，其根据视点位置的不同的所述多个偏振图像，将被摄体的法线方向向量推定为法线信息；

形状复原部，其根据所述法线信息，复原所述被摄体的三维形状；和视点变换部，其根据所述三维形状，变换所拍摄的所述被摄体的图像的视点位置，该视点变换图像装置还具有：镜面反射图像生成部，其利用规定的反射模型，根据视点变换后的图像，生成镜面反射图像；

合成部，其合成多个图像来生成一个图像；和

提示部，其对图像进行提示，

所述视点变换部对从所述被摄体的图像中将漫反射分量和镜面反射分量进行分离后得到的漫反射图像、及从所述法线信息生成部得到的法线图像两者进行视点变换，所述镜面反射图像生成部根据视点变换后的所述法线图像，生成镜面反射图像，所述合成部对视点变换后的所述漫反射图像及生成的所述镜面反射图像进行合成，所述提示部对合成后的图像进行提示。

38.根据权利要求37所述的视点变换图像生成装置，其特征在于，该视点变换图像装置还具有立体对应获取部，该立体对应获取部用于推定视点位置不同的所述多个偏振图像的每个像素的对应关系，所述形状复原部利用由所述法线信息生成部得到的法线图像及与在由所述立体对应获取部得到的所述多个偏振图像之间所对应像素的特征点对应的三维位置，对所述被摄体的三维形状进行复原。

39.根据权利要求37所述的视点变换图像生成装置，其特征在于，还具有提示部，该提示部根据观察者的视点位置，依次在二维画面中显示视点变换后的二维图像。

40.根据权利要求37所述的视点变换图像生成装置，其特征在于，还具有提示部，该提示部通过生成观察者的视点位置处的两种视差图像，从而以多视点进行立体显示。

41.一种图像生成装置，通过拍摄被摄体来复原所述被摄体的形状，该图像生成装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像；

法线信息生成部，其根据视点位置不同的所述多个偏振图像，将被摄体的法线方向向量推定为法线信息；和形状复原部，其根据所述法线信息，对所述被摄体的三维形状进行复原，该图像处理装置还具有：偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振光的偏振角度及亮度的对应关系，生成偏振信息；

立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；

区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；和法线1自由度推定部，其针对所述多个偏振图像的各个偏振图像，根据所述偏振信息，分别推定与由所述区域分割部所分割的各区域对应的被摄体的表面的法线1自由度，所述法线信息生成部根据由所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定法线方向向量。

说明书

生成法线信息的图像处理装置、方法及视点变换图像生成

装置

技术领域

[0001] 本发明涉及通过拍摄被摄体而生成被摄体的表面的法线信息的技术，特别是涉及根据从多个视点拍摄的偏振图像而生成法线信息的技术。而且，本发明还涉及利用生成的法线信息，来生成从与拍摄被摄体时的视点位置不同的视点位置看到的图像的技术。 背景技术

[0002] 带有照相机的手机或数字照相机、数字摄像机等，被认为将来会与HDTV一起实现高精细化，且谋求附加价值而正不断地进行小型化。但是，若光学系统或摄像元件小型化，则会产生灵敏度或镜头衍射极限等基本图像摄像的极限的问题，就将来而言，认为高精细化也会达到极限。这种情况下，除了不足的获取到的被摄体的图像信息，还通过赋予与在计算机图形学中被利用于图像生成的各种物理特性相关的信息量，来提高画质，这是有效的。因此，超出现有的二维图像处理的范围，必须获取被摄体的三维形状信息或对被摄体进行照明的光源的信息等图像生成过程中的物理信息。

[0003] 在形状信息的输入中，需要对激光或LED光源进行照明的测距仪(range finder)，或双视野立体设备等的距离测量系统。但是，这样的距离测量系统除了规模大，还存在以下制约，例如，照相机与被摄体的距离最多直到数m左右才能获取数据的制约；或对象被摄体被限定为固体且明亮的漫物体等的制约。于是，在孩子的运动会等远距离的室外场景拍摄、或在头发或衣服为重要的人物摄像中不能利用。

[0004] 此外，这些方法会获取纵深信息作为三维形状信息。但是，作为在图像生成过程中的物理信息不是纵深信息，而是法线信息非常有效。当然，虽然根据由这些方法求出的纵深信息来获取法线信息被广泛运用(例如， 非专利文献1)，但是，公知如此求出的法线信息的精度不够(例如，非专利文献2)。

[0005] 总之，为了在室外场景或一般被摄体中达到上述目的，需要完全被动地对法线信息进行直接感测(测量)的方法。

[0006] 作为对法线信息进行直接测量的方法，公知有Photometric Stereo等的所谓Shape Form Shading法和利用偏振的方法。但是，前者是光源位置已知，或需要变动光源位置，所以为主动的感测方法，不能认为是被动的感测方法。

[0007] 作为利用偏振的方法，例如，在专利文献1中，公开了以下方法：通过不对被摄体照明进行特别的假定(随机偏振：非偏振照明)，一边使安装在照相机镜头前的偏振片旋转，一边观测镜面反射的方法来生成被摄体的局部的法线信息。虽然被摄体的表面法线具有两种自由度，但它们是通过求出包括光的入射和反射的光线在内的入射面与在入射面内的入射角这两个角度来决定法线的。镜面反射分量的入射面的信息，是根据使偏振片旋转而变化的亮度成为最小值的角度来求出的。

[0008] 此外，在非专利文献3中，通过不对被摄体照明进行特别的假定(随机偏振：非偏振照明)，一边旋转安装在照相机镜头前的偏振片，一边观测漫放射分量的方法，求出在被摄体的法线信息中包含光的入射和反射的光线在内的出射面的角度1自由度。漫反射分量的出射面的信息，是根据使偏振片旋转而形成的变化的亮度成为最大值的角度来求出的。 [0009] 此外，在非专利文献4中，与非专利文献3相同的方法求出角度1自由度，而且通过直接利用偏振度，求出法线方向向量。

[0010] 而且，在非专利文献5中，通过组合偏振信息与Shape From Shading法，针对没有纹理(texture)的被摄体，进行了法线信息的测量。

[0011] [专利文献1]USP5,028,138号公报

[0012] [非专利文献1]H.Hopper，T.DeRose，T.Duchamp，J.McDonald，and W.Stuetzle，“Surface reconstruction from unorganized points，”Computer Graphics(SIGGRAPH’92 Proceedings)，pp.71-78，1992.

[0013] [非专利文献2]肥后智昭，宫崎大辅，池内克史，“来自阴影的形状与反射参数的同时推定”，图像的识别·理解专题研讨会论文集 (MIRU2007)，pp.1093-1098，2007 [0014] [非专利文献3]Ondfej Drbohlav and Sara Radim，“Using polarizationto determine intrinsic surface properties”，Proc.SPIE Vol.3826，pp.253-263，1999 [0015] [非专利 文献4]G.A.Atkinson and E.R.Hancock，“Shape EstimationUsing Polarization and Shading from Two Views”，IEEE Transactions onPattern Analysis and Machine Intelligence，Vol.29，Iss.11，pp.2001-2017，2007

[0016] 然而，上述任一个文献，都存在有问题。具体而言，如以下所述。 [0017] 在上述专利文献1的技术中，由于仅将镜面反射分量作为对象，所以只有利用特殊光源，才能够获取被摄体整体的法线信息。

[0018] 此外，在非专利文献2的技术中，需要变动光源位置的非常多的图像，所以不是被动的方法。

[0019] 此外，在非专利文献3的技术中，仅将漫反射分量的法线1自由度作为对象，在与如镜面反射分量的反射特性不同的区域中，存在不能正确地求出法线信息的问题。此外，在非专利文献3的技术中，为了去除镜面反射分量的影响，而在照相机附近设置了光源。因此，仍然需要特殊光源，难以认为是被动的方法。

[0020] 而且，在非专利文献4中，根据偏振度来直接求出法线方向向量。但是，由于偏振度信息非常易于受到多重反射等的影响，所以能够适用的被摄体的材质或形状还有拍摄环境会被大幅度限定。

[0021] 此外，在非专利文献5中，由于在旋转桌(table)上设置被摄体来进行拍摄，所以，难以认为是被动的方法。

[0022] 此外，在近年的照相机中，高动态量程化正在不断发展。因此，由于要同时获取基于镜面反射分量的偏振和基于漫反射分量的偏振，所以需要针对两者的区域来获取法线信息的方法。

发明内容

[0023] 本发明的一种图像处理装置，通过拍摄被摄体，被动地生成所述被摄体的表面的法线信息，该图像处理装置具有：立体偏振图像摄像部，其在 各视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像；和法线信息生成部，其根据视点位置不同的所述多个偏振图像，来推定被摄体的法线方向向量。

[0024] 所述图像处理装置还具有：偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振光的偏振角度及亮度的对应关系，生成偏振信息；立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；和法线1自由度推定部，其针对所述多个偏振图像的各个偏振图像，根据所述偏振信息，分别推定与由所述区域分割部所分割的各区域对应的被摄体的表面的法线1自由度，所述法线信息生成部可以根据由所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定法线方向向量。

[0025] 所述图像处理装置还具有：偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息；立体对应获取部，其通过对视点位置不同的所述多个偏振图像的任一个中所包含的特征点进行确定，并根据所述特征点搜索其它所述多个偏振图像，从而确定在所述多个偏振图像的每个偏振图像之间已建立对应的特征点，并根据各特征点，推定所述多个偏振图像的每个像素的对应关系；区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；和法线1自由度推定部，其针对所述多个偏振图像的各个偏振图像，根据所述偏振信息，分别推定与由所述区域分割部所分割的各区域对应的被摄体的表面的法线1自由度，所述法线信息生成部可以根据由所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定法线方向向量。

[0026] 所述偏振信息获取部可以生成偏振度、偏振相位、偏振推定误差、偏振最大亮度值、偏振最小亮度值的至少一个作为偏振信息。

[0027] 所述区域分割部可以将所述被摄体的表面分割为漫反射区域及镜面反射区域的任一个。

[0028] 所述区域分割部，将所述被摄体的表面分割为漫反射区域、镜面反射区域及阴影区域的任一个。

[0029] 所述区域分割部可以将所述被摄体的表面分割为漫反射区域、镜面反射区域、附属阴影区域及投影阴影区域的任一个。

[0030] 所述区域分割部可以将所述被摄体的表面分割为漫反射区域、镜面反射区域、立体未对应区域及遮挡区域的任一个。

[0031] 所述法线1自由度推定部可以针对所述漫反射区域，生成所述对应关系中亮度最大的偏振主轴角度作为与该区域对应的所述被摄体的出射面的法线信息。

[0032] 所述法线1自由度推定部可以针对所述立体未对应区域及遮挡区域，根据法线方向向量存在于与光轴正交的平面上，生成法线方向向量。

[0033] 所述法线1自由度推定部可以针对所述镜面反射区域及附属阴影区域，生成所述对应关系中亮度最小的偏振主轴角度，以作为与该区域对应的所述被摄体的入射面的法线信息。

[0034] 所述法线信息生成部可以在视点位置不同的多个偏振图像中，通过求出所述法线1自由度推定部所推定的入射面或出射面的交线，生成法线方向向量。

[0035] 所述法线信息生成部可以通过对所生成的法线方向向量与视线方向的相对关系进行评价，去除所生成的法线方向向量的不确定性。

[0036] 所述立体对应获取部可以利用所述偏振信息获取部获取到的偏振最小亮度值来获取立体图像的对应。

[0037] 所述法线信息生成部可以针对遮挡区域，利用法线方向向量与视线向量的正交，在所述法线1自由度推定部推定出的入射面或出射面上，生成与视线向量正交的向量，以作为法线方向向量。

[0038] 本发明的另一种图像处理装置，通过拍摄被摄体，生成所述被摄体的表面的法线信息，该图像处理装置具有：立体偏振图像摄像部，其在各视 点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像；偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息；立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；法线1自由度推定部，其针对所述多个偏振图像的各个偏振图像，根据所述偏振信息，对假设了镜面反射分量的处理和假设了漫反射分量的处理进行切换，从而推定对应的被摄体的表面的多个法线1自由度候补；法线信息生成部，其根据由所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，生成多个法线方向向量候补；和最佳法线选择部，其从由所述法线信息生成部生成的多个法线方向向量候补中，选择一个候补作为最佳法线方向向量。

[0039] 所述法线信息生成部可以根据法线方向向量的连续性、镜面反射分量与漫反射分量的空间连续性、偏振信息、遮挡边缘附近区域的法线方向向量、法线信息及纵深信息的至少一个，选择最佳法线方向向量。

[0040] 所述图像处理装置还可以具有可靠性推定部，该可靠性推定部用于推定所述法线信息生成部生成的所述法线方向向量的可靠性，并根据所述可靠性的低下程度，废弃所述法线方向向量。

[0041] 所述法线信息生成部可以根据可靠性的低下程度，将所述法线方向向量置换为基于纵深信息求出的法线方向向量。

[0042] 所述法线信息生成部可以根据可靠性的低下程度，将所述法线方向向量置换为通过根据附近的法线方向向量进行内插处理而求出的法线方向向量。

[0043] 所述可靠性推定部可以根据所述偏振信息获取部获取到的偏振信息、所述区域分割部的区域分割结果、所述法线1自由度推定部推定出的法线1自由度信息及所述法线信息生成部生成的法线方向向量的至少一个，来推定法线方向向量的可靠性。 [0044] 所述可靠性推定部可以在视点位置不同的多个偏振图像中，根据所述法线1自由度推定部推定出的法线1自由度信息，即入射面或出射面形成 的角度的大小，来改变推定的法线方向向量的可靠性的大小。

[0045] 所述区域分割部可以将所述被摄体的表面作为阴影区域来进行区域分割，所述可靠性推定部可以将在所述区域分割部区域分割为阴影区域的区域中的法线方向向量的可靠性推定得相对更低。

[0046] 所述区域分割部可以将所述被摄体的表面作为投影阴影区域来进行区域分割，所述可靠性推定部可以将在所述区域分割部区域分割为投影阴影区域的区域中的法线方向向量的可靠性推定得相对更低。

[0047] 所述可靠性推定部可以根据所述偏振信息获取部获取到的偏振信息、及所述区域分割部的区域分割结果来计算法线信息，并对计算出的法线信息和所述法线信息生成部生成的法线方向向量进行比较，且根据该差值，改变法线方向向量的可靠性。 [0048] 本发明的又一种图像处理装置，通过拍摄被摄体，生成所述被摄体的表面的法线信息，该图像处理装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，并获取被摄体的视点位置不同的三个以上的多个偏振图像；偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息；立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；法线1自由度推定部，其根据所述偏振信息，按照由所述区域分割部分割的每个区域来切换处理，从而推定对应的被摄体的表面的法线1自由度；法线信息生成部，其根据所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定多个法线方向向量；和最佳法线选择部，其从由所述法线信息生成部生成的所述多个法线方向向量候补中，选择一个候补作为最佳法线方向向量。

[0049] 所述法线信息生成部可以根据视点位置不同的所述三个以上的多个偏振图像，按照每两个偏振图像生成多个法线方向向量候补。

[0050] 所述最佳法线选择部可以根据所述立体偏振图像摄像部拍摄到的偏 振图像、所述偏振信息获取部获取到的偏振信息、所述区域分割部的区域分割结果、所述法线1自由度推定部推定出的法线1自由度信息、及所述法线信息生成部生成的法线方向向量的至少一个，从所述多个法线方向向量候补中，选择一个候补作为最佳法线方向向量。 [0051] 所述最佳法线选择部可以在视点位置不同的所述三个以上的多个偏振图像中，将所述法线1自由度推定部推定出的法线1自由度信息，即入射面或出射面形成的角度最大的法线方向向量候补，推定为最佳法线方向向量。

[0052] 所述最佳法线选择部可以根据所述可靠性推定部推定出的偏振信息及所述区域分割部的区域分割结果来计算法线信息，并对计算出的法线信息和所述法线信息生成部生成的法线方向向量进行比较，将该差值最小的法线方向向量候补推定为最佳法线方向向量。

[0053] 本发明的又一种图像处理装置，通过拍摄被摄体，生成所述被摄体的表面的法线信息，该图像处理装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，并获取被摄体的视点位置不同的三个以上的多个偏振图像；偏振信息获取部，其生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息；立体对应获取部，其推定视点位置不同的所述多个偏振图像的每个像素的对应关系；区域分割部，其根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割；法线1自由度推定部，其根据所述偏振信息，按照由所述区域分割部分割的每个区域来切换处理，从而推定对应的被摄体的表面的法线1自由度；法线信息生成部，其根据所述法线1自由度推定部分别推定出的所述法线1自由度、及由所述立体对应获取部获取到的所述多个偏振图像的对应关系，来推定多个法线方向向量。

[0054] 所述法线信息生成部可以生成由所述法线1自由度推定部推定出的多个入射面或出射面形成的角度最大的方向向量作为法线信息向量。

[0055] 所述法线信息生成部可以通过利用法线方向向量的连续性、镜面反射分量与漫反射分量的空间连续性、偏振信息、遮挡边缘附近区域的法线方 向向量、法线信息及纵深信息的至少一个信息作为约束条件，来选择法线方向向量。

[0056] 所述立体偏振图像摄像部可以接收来自透过偏振主轴角度不同的多个偏振片的所述被摄体的光，以作为在所述各视点位置处偏振方向不同的多个偏振光。 [0057] 所述立体偏振图像摄像部可以通过使能利用旋转来改变偏振主轴角度的偏振片旋转，从而接收透过所述偏振片的来自所述被摄体的光，作为在所述各视点位置处偏振方向不同的多个偏振光。

[0058] 本发明的一种信息处理方法，是通过拍摄被摄体来生成所述被摄体的表面的法线信息的法线信息生成方法，该信息处理方法包括：在各视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像的步骤；生成与所述多个偏振光相关的偏振信息，且分别针对构成所述多个偏振图像的各个偏振图像的单位图像，根据所述多个偏振图像的偏振角度及亮度的对应关系，生成偏振信息的步骤；对视点位置不同的所述多个偏振图像的每个像素的对应关系进行推定的步骤；针对所述多个偏振图像的各个偏振图像，根据所述偏振信息，通过对假设了镜面反射分量的处理和假设了漫反射分量的处理进行切换，来推定对应的被摄体的表面的多个法线1自由度候补的步骤；根据针对所述偏振图像的亮度信息及与所述多个偏振光相关的偏振信息的至少一方信息的类似性，按照光学上共同的每个区域，对偏振图像进行分割的步骤；根据所述偏振信息，按照由所述区域分割部分割的每个区域来切换处理，从而推定对应的被摄体的表面的法线1自由度的步骤；根据推定出的所述法线1自由度及所述多个偏振图像的每个像素的对应关系，来推定多个法线方向向量的步骤；以及从生成的所述多个法线方向向量候补中，选择一个候补作为最佳法线方向向量的步骤。

[0059] 本发明的一种计算机程序是用于图像处理装置的计算机程序，该图像处理装置通过拍摄被摄体而生成所述被摄体的表面的法线信息，该计算机程序使所述图像处理装置的计算机执行所述方法中包括的各个步骤。

[0060] 本发明的一种视点变换图像生成装置，通过在多个不同的视点位置拍摄被摄体，来合成从与拍摄所述被摄体时不同的任意视点位置看到的图 像，该视点变换图像生成装置具有：立体偏振图像摄像部，其在多个不同的视点位置的每个视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像；法线信息生成部，其根据视点位置的不同的所述多个偏振图像，将被摄体的法线方向向量推定为法线信息；形状复原部，其根据所述法线信息，复原所述被摄体的三维形状；和视点变换部，其根据所述三维形状，变换所拍摄的所述被摄体的图像的视点位置。

[0061] 所述视点变换图像装置还具有：镜面反射图像生成部，其利用规定的反射模型，根据视点变换后的图像，生成镜面反射图像；合成部，其合成多个图像来生成一个图像；和提示部，其对图像进行提示，所述视点变换部可以对从所述被摄体的图像中将漫反射分量和镜面反射分量进行分离后得到的漫反射图像、及从所述法线信息生成部得到的法线图像两者进行视点变换，所述镜面反射图像生成部可以根据视点变换后的所述法线图像，生成镜面反射图像，所述合成部可以对视点变换后的所述漫反射图像及生成的所述镜面反射图像进行合成，所述提示部可以对合成后的图像进行提示。

[0062] 所述视点变换图像装置还具有立体对应获取部，该立体对应获取部用于推定视点位置不同的所述多个偏振图像的每个像素的对应关系，所述形状复原部可以利用由所述法线信息生成部得到的法线图像及与在由所述立体对应获取部得到的所述多个偏振图像之间所对应像素的特征点对应的三维位置，对所述被摄体的三维形状进行复原。 [0063] 所述视点变换图像装置还可以具有提示部，该提示部根据观察者的视点位置，依次在二维画面中显示视点变换后的二维图像。

[0064] 所述视点变换图像装置还可以具有提示部，该提示部通过生成观察者的视点位置处的两种视差图像，从而以多视点进行立体显示。

[0065] 本发明的一种图像生成装置，通过拍摄被摄体来复原所述被摄体的形状，该图像生成装置具有：立体偏振图像摄像部，其在各视点位置处接收偏振方向不同的多个偏振光，并获取视点位置不同的多个偏振图像；法线信息生成部，其根据视点位置不同的所述多个偏振图像，将被摄体的法线方向向量推定为法线信息；和形状复原部，其根据所述法线信息，对所述被摄体的三维形状进行复原。

[0066] (发明效果)

[0067] 根据本发明，通过利用被摄体的偏振信息，来进行镜面反射区域和漫反射区域的区域分割，并按每个区域生成法线信息。由此，能针对广阔的区域被动地生成(或推定)高精度的法线信息。

附图说明

[0068] 图1是表示图像处理装置500的结构的图。

[0069] 图2是对获取三维形状信息的方法进行比较的图。

[0070] 图3是表示图像处理装置500的处理的流程的流程图。

[0071] 图4是表示本发明的第一及第二实施方式的法线信息生成装置的结构的功能方框图。

[0072] 图5是表示搭载了本发明的第一及第二及第三及第四及第五实施方式的法线信息生成装置的照相机的结构例的图。

[0073] 图6是表示本发明的模式偏振片与摄像装置中的摄像元件的关系的示意图。 [0074] 图7是表示本发明的第一实施方式的法线信息生成装置的处理的流程的流程图。 [0075] 图8是用于说明本发明的模式偏振片的排列状态的示意图。

[0076] 图9是用于说明本发明的正弦函数亮度变化与观测亮度点的示意图。 [0077] 图10是表示由本申请发明人进行拍摄时的照相机200与被摄体的位置关系、及照相机200内的模式偏振片201和201-2的位置关系的图。

[0078] 图11(a)～(d)是拍摄球体即地球仪的被摄体而得到的图像、与根据该图像求出的偏振度ρ1和偏振相位φmax1、偏振推定误差E1的图。

[0079] 图12(a)～(d)是拍摄球体即地球仪的被摄体而得到的图像、与根据该图像求出的偏振度ρ1和偏振相位φmax1、偏振推定误差E1的图。

[0080] 图13(a)～(d)是表示图11(a)～(d)所示的图像与图12(a)～(d)所示的各区域的对应关系的图。

[0081] 图14是拍摄泡沫聚苯乙烯制的头部模型的被摄体而得到的图像与根据该图像求出的偏振度ρ1和偏振相位φmax1、偏振推定误差E1的图。

[0082] 图15是表示本发明的第一实施方式的立体对应获取部的处理的流程 的流程图。 [0083] 图16(a)及(b)是用于说明本发明的第一实施方式的立体对应获取部的对应点间的插值处理的示意图。

[0084] 图17是表示被摄体的折射率n＝1.1、1.3、1.5、2.0时相对于镜面反射分量的入射角的偏振度的图形。

[0085] 图18是表示被摄体的折射率n＝1.1、1.3、1.5、2.0时相对于漫反射分量的出射角的偏振度的图形。

[0086] 图19是用于说明法线方向向量、视线向量、光源方向向量的关系的示意图。 [0087] 图20是表示本发明的第一实施方式的区域分割部中的区域分割基准的示意图。 [0088] 图21是表示本发明的第一实施方式的区域分割部中的另一区域分割基准的示意图。

[0089] 图22是用于说明本发明的模型偏振片的其它排列状态的示意图。

[0090] 图23是用于说明本发明的第一实施方式的法线信息生成部的法线方向向量推定处理的示意图。

[0091] 图24(a)～(d)是用立体偏振图像摄像部拍摄球体即地球仪的被摄体而得到的图像、和根据该立体偏振图像而求出的偏振相位φmax的图。

[0092] 图25(a)～(d)是用立体偏振图像摄像部拍摄球体即地球仪的被摄体而得到的图像、和根据该立体偏振图像而求出的偏振相位φmax的示意图。

[0093] 图26(a)～(d)是表示图24(a)～(d)所示的图像与25(a)～(d)所示的各区域的对应关系的图。

[0094] 图27(a)～(c)是将由本发明的第一实施方式的法线信息生成装置所推定的法线方向向量、及由本发明的第六实施方式的法线信息生成装置所推定的法线方向向量候补进行可视化而得到的法线图像的图。

[0095] 图28(a)～(c)是将由本发明的第一实施方式的法线信息生成装置所推定的法线方向向量、及由本发明的第六实施方式的法线信息生成装置所推定的法线方向向量候补进行可视化而得到的法线图像的示意图。

[0096] 图29(a)～(c)分别表示图27(a)～(c)所示图像与图28(a)～(c)所示各区域的对应关系的图。

[0097] 图30是用于说明坐标系的x、y、z方向的示意图。

[0098] 图31是表示本发明的第二实施方式的法线信息生成装置的处理的流程的流程图。

[0099] 图32是表示本发明的第二实施方式的法线信息生成装置的处理的流程的流程图。

[0100] 图33是表示本发明的第二实施方式的区域分割部的处理的流程的流程图。 [0101] 图34是用于说明遮挡区域即未对应区域与法线方向的关系的示意图。 [0102] 图35是表示本发明的第三实施方式的法线信息生成装置的结构的功能方框图。 [0103] 图36是在本发明的第三实施方式的法线信息生成部中，用于将镜面反射分量或漫分量的空间的连续性用作约束条件的状态转移图。

[0104] 图37是表示本发明的第三实施方式的法线信息生成装置的处理的流程的流程图。

[0105] 图38是表示本发明的第四及第五实施方式的法线信息生成装置的结构的功能方框图。

[0106] 图39是用于说明法线方向向量推定的可靠性的示意图。

[0107] 图40是表示本发明的第四实施方式的法线信息生成装置的处理的流程的流程图。

[0108] 图41是表示本发明的第四实施方式的法线信息生成装置的处理的流程的流程图。

[0109] 图42是用于说明入射出射面角的计算方法的示意图。

[0110] 图43是表示本发明的第四实施方式的法线信息生成装置的结构的另一功能方框图。

[0111] 图44是表示本发明的第四实施方式的区域分割部的处理的流程的另一流程图。 [0112] 图45是表示本发明的第四实施方式的区域分割部的处理的流程的另 一流程图。 [0113] 图46是表示本发明的第五实施方式的法线信息生成装置的结构的另一功能方框图。

[0114] 图47是表示本发明的第五实施方式的区域分割部中的区域分割基准的示意图。 [0115] 图48是表示本发明的第五实施方式的法线信息生成装置的处理的流程的另一流程图。

[0116] 图49是表示本发明的第五实施方式的法线信息生成装置的处理的流程的另一流程图。

[0117] 图50是用于说明attached shadow和cast shadow这样阴影的分类的示意图。 [0118] 图51是用于说明attached shadow区域中的多重反射光的入射的示意图。 [0119] 图52是用于说明cast shadow区域中的多重反射光的入射的示意图。 [0120] 图53是表示本发明的第五实施方式的区域分割部中针对阴影区域和被分割区域的区域分割基准的示意图。

[0121] 图54是表示本发明的第五实施方式的区域分割部的处理的流程的流程图。 [0122] 图55是表示本发明的第五实施方式的区域分割部中针对阴影区域和被分割区域的另一区域分割基准的示意图。

[0123] 图56是表示本发明的第五实施方式的区域分割部的处理的流程的另一流程图。 [0124] 图57是表示本发明的第五实施方式的法线信息生成装置的处理的流程的另一流程图。

[0125] 图58是表示本发明的第六实施方式的法线信息生成装置的结构的功能方框图。 [0126] 图59是表示本发明的第六实施方式的法线信息生成装置的处理的流程的流程图。

[0127] 图60是表示本发明的第六实施方式的法线信息生成装置的处理的流程的流程图。

[0128] 图61是表示搭载有本发明的第六及第七实施方式的法线信息生成装置的照相机的结构例的图。

[0129] 图62是表示由本申请发明人进行拍摄时的照相机200与被摄体的位置关系、及照相机200内的模式偏振片201、201-2和201-3的位置关系的图。

[0130] 图63(a)～(d)是表示由立体偏振图像摄像部拍摄球体即地球仪的被摄体而得到的图像和根据该立体偏振图像求出的偏振相位φmax的图。

[0131] 图64(a)及(b)分别表示与图63(c)及(d)所示的图像对应的区域的图。 [0132] 图65(a)～(c)是将由本发明的第六实施方式的法线信息生成装置所推定的法线方向向量候补进行可视化而得到的法线图像的图。

[0133] 图66(a)～(c)是将由本发明的第六实施方式的法线信息生成装置所推定的法线方向向量候补进行可视化而得到的法线图像的示意图。

[0134] 图67(a)～(c)分别表示图65(a)～(c)所示的图像与图66(a)～(c)所示的各区域的对应关系的图。

[0135] 图68(a)～(d)是将由本发明的第六实施方式的最佳法线选择部所选择的法线方向向量及最佳法线选择结果进行可视化而得到的法线图像的图。

[0136] 图69(a)～(d)是将由本发明的第六实施方式的最佳法线选择部所选择的法线方向向量及最佳法线选择结果进行可视化而得到的法线图像的示意图。

[0137] 图70(a)～(d)分别表示图68(a)～(d)所示的图像与图69(a)～(d)所示的各区域的对应关系的图。

[0138] 图71是表示本发明的第六实施方式的法线信息生成装置的结构的另一功能方框图。

[0139] 图72是表示本发明的第六实施方式的最佳法线选择部及法线信息生成部的处理的流程的另一流程图。

[0140] 图73是表示本发明的第七实施方式的法线信息生成装置的结构的另一的功能方框图。

[0141] 图74是表示本发明的第七实施方式的法线信息生成装置的处理的流程的流程图。

[0142] 图75是表示本发明的第八实施方式的视点变换图像生成装置的方框图。 [0143] 图76是表示形状复原部的动作的流程图。

[0144] 图77是表示梯度与法线向量N的几何学的关系的图。

[0145] 图78是说明梯度(p，q)的具体的积分方法的图。

[0146] 图79是表示根据法线图像生成纵深图像的过程的图。

[0147] 图80是通过根据立体视野的控制点来控制纵深图像的复原的说明图。 [0148] 图81是表示形状复原部的各步骤的处理结果的图。

[0149] 图82是表示DS分离部的处理的图。

[0150] 图83是表示3D形状数据结构的图。

[0151] 图84是说明视点变换处理的流程图。

[0152] 图85是说明视点变换处理的示意图。

[0153] 图86是说明镜面反射模型的图。

[0154] 图87是表示所生成的视点变换图像的结果例的图。

[0155] 图88是表示所合成的视点的几何学的关系(2D显示器的情况)的图。 [0156] 图89是表示所合成的视点的几何学的关系(3D显示器的情况)的图。 [0157] 图中：

[0158] 101-立体偏振图像摄像部，

[0159] 102-偏振图像摄像部，

[0160] 103-偏振信息获取部，

[0161] 104-立体对应获取部，

[0162] 105-区域分割部，

[0163] 106-法线1自由度推定部，

[0164] 107-法线信息生成部，

[0165] 108-最佳法线选择部，

[0166] 109-可靠性推定部。

具体实施方式

[0167] 参考附图，对本发明的法线信息生成装置及具有法线信息生成装置的图像处理装置的实施方式进行说明。

[0168] 以下说明的各实施方式，主要涉及本发明的法线信息生成装置。在各实施方式的说明之前，首先对具有法线信息生成装置的图像处理装置的结构及动作进行说明。 [0169] 图1表示本发明的图像处理装置500的结构。图像处理装置500具有：法线信息生成装置501；图像摄像部502；DB503；图像处理部504和提示部505。

[0170] 法线信息生成装置501是后述的从第一至第七实施方式中的任一个涉及的法线信息生成装置。法线信息生成装置501，生成并输出被摄体的表面的法线信息。该信息表示通过法线信息生成装置501推定的图像内的法线方向向量。在本说明书中，有时将法线信息生成装置501生成法线信息(法线方向向量)称为“推定法线信息(法线方向向量)”。 [0171] 而且，法线信息生成装置501可以收容在一个壳体中，此外，也可以与图像摄像部502、DB503及图像处理部504一起收容在一个壳体中。前者的情况，也可以与后述的图像摄像部502(照相机)、提示部505(显示器)等其它结构要素一起，实现为一个图像处理系统。

[0172] 图像摄像部502例如是照相机且拍摄被摄体。后述的各实施方式的各法线信息生成装置由于具有图像摄像部，所以通过利用该图像摄像部，除了设置法线信息生成装置之外，不需要还另外设置图像摄像部502，可以省略。

[0173] DB503保持有被摄体信息等。提示部505例如是显示器、且向用户提示在图像处理部504制成的图像。

[0174] 图像处理部504，利用由图像摄像部502拍摄的图像信息、由法线信息生成装置501推定的法线方向向量信息、和在所述DB503中保持的被摄体信息，来进行图像处理。 [0175] 例如，图像处理部504，可以利用称为基于模型的图像合成的方法来进行图像处理。该方法是如下方法：获取被摄体的法线信息或纹理信息，而且，通过利用光源信息、照相机信息等，合成自由的视点位置的图像或 任意的光源环境的图像的方法。因此，在数字压缩或扩展的现实领域中，被利用为交互式的图像提示方法(例如，Y.Sato，M.D.Wheeler，and K.lkeuchi，“Object shape and reflectance modeling from observation”，SIGGRAPH
97，pp.379-387，1997)。作为法线信息生成装置501，通过利用本实施方式的法线信息生成装置，使高精度的基于模型的图像合成成为可能。

[0176] 此外，图像处理部504，可以进行基于模型的图像的高分辨率化处理。在利用学习的图像处理中，学习时与图像合成时的视点位置或光源环境的变化成为大问题。但是，通过导入基于模型的方法，从而解决该问题，并且使高精度的高分辨率化处理成为可能。这样的图像处理装置500，例如，可以利用专利第4082714号公报等。

[0177] 此外，图像处理部504，可以在FA(工厂自动化)中被广泛利用，也可以进行在被摄体的表面检查等中所利用的图像处理。这是通过对理想的表面法线方向和实际的表面法线方向进行比较，检测出被摄体表面的损伤等的技术。

[0178] 图2是对图像处理装置500获取三维形状信息的方法进行比较的图。法线信息生成装置501，被动地生成构成三维形状信息的信息之中的法线信息。以往的偏振法等是主动地求出法线信息的方法，与被动地生成的本发明不同。对于构成三维形状信息的纵深信息，由于不是本发明的对象，故省略其说明。

[0179] 图3是表示图像处理装置500的处理的流程的流程图。对包围各步骤S601～S605的虚线而赋予的参考符号501～505，与上述图像处理装置500的构成要素的参考符号对应，表示各构成要素执行的处理。

[0180] 首先，图像摄像部502，进行被摄体表面的摄像(步骤S601)。法线信息生成装置501，通过与各实施方式关联地利用后述任一方法，推定被摄体表面的法线方向向量ne(步骤S602)。

[0181] 图像处理部504，获取在DB503中保持的被摄体表面的理想法线方向向量ni(步骤S603)。被摄体表面的理想法线方向向量ni，例如，可以作为根据被摄体的CAD信息制成的形状信息来实现。其中，步骤S601、步骤S602、步骤S603的顺序是任意的，可以依次执行，当然，也可以并行 地执行。

[0182] 图像处理部504，通过比较由法线信息生成装置501推定的被摄体表面的法线方向向量ne和在DB503中保持的被摄体表面的理想法线方向向量ni，检测出异常法线(步骤S604)。

[0183] 若对该处理进行具体地说明，则首先，图像处理部504利用由图像摄像部502拍摄的图像信息，来进行理想法线方向向量ni的形状信息的位置对准。之后，图像处理部504对法线方向向量ne与理想法线方向向量ni的差分进行检测，并检测出差分值大的法线方向向量ne作为异常法线。利用图像信息的形状信息的位置对准，可以采用公知的技术。 [0184] 提示部505，针对由图像摄像部502拍摄的被摄体的图像，强调与由图像处理部504检测出的异常法线对应的像素，并向用户提示(步骤S605)。这样的像素的强调，例如，只要进行以红色表示与异常法线对应的像素等的处理即可。

[0185] 而且，利用法线信息来检测异常法线的上述的处理是一个示例。通过将得到的法线信息与被摄体的图像信息一起利用，能够进行与图像生成中利用的各种物理特性相关的信息量的赋予。由此，能够提供比仅利用被摄体的图像信息而显示的计算机图形更高品质的计算机图形。

[0186] 以下，对法线信息生成装置的各实施方式进行说明。

[0187] (第一实施方式)

[0188] 首先，对本发明的第一实施方式的法线信息生成装置的概要进行说明。 [0189] 图4是表示本实施方式的法线信息生成装置100的结构的功能方框图。该法线信息生成装置100，通过拍摄被摄体而生成被摄体的表面的法线信息。

[0190] 法线信息生成装置100具有：构成立体偏振图像摄像部101的偏振图像摄像部102及102-2；偏振信息获取部103及103-2；立体对应获取部104；区域分割部105及
105-2；法线1自由度推定部106及106-2；法线信息生成部107；和输出部120。 [0191] 其中，第二偏振图像摄像部102-2、第二偏振信息获取部103-2、第二区域分割部
105-2、第二法线1自由度推定部106-2的处理，与第一偏 振图像摄像部102、第一偏振信息获取部103、第一区域分割部105、第一法线1自由度推定部106的处理相同。因此，在以下的说明中，多数情况下，为了简化而仅采用后者来进行说明。

[0192] 立体偏振图像摄像部101由多个偏振图像摄像部102构成，且获取视点不同的多个偏振图像。

[0193] 偏振图像摄像部102，通过透过偏振主轴角度不同的多个偏振片而感光透过来的光，从而获取被摄体的偏振图像。

[0194] 偏振信息获取部103，根据由偏振图像摄像部102获取到的偏振图像，针对构成该偏振图像的各个图像区域，利用多个偏振片的偏振主轴角度与透过多个偏振片的光的亮度的对应关系，来生成与感光到的偏振相关的信息即偏振信息。

[0195] 立体对应获取部104，在立体偏振图像摄像部101获取到的多个偏振图像中，推定每个像素的对应关系。

[0196] 区域分割部105，利用立体偏振图像的亮度信息及由偏振信息获取部103生成的立体偏振图像中的偏振信息的至少一种信息中的类似性(共同性)，按照光学上共通的每个区域来分割偏振图像。具体而言，区域分割部105，利用图像的亮度或偏振信息，将该图像区域作为镜面反射区域或漫反射区域来进行区域分割。

[0197] 法线1自由度推定部106，通过利用在偏振信息获取部103生成的偏振信息，按照由区域分割部105分割的每个区域进行不同的处理，从而推定对应的被摄体表面的法线1自由度。

[0198] 法线信息生成部107，通过利用在立体对应获取部104获取到的图像的对应关系，统一由法线1自由度推定部106、106-2所推定的多个法线1自由度，从而生成法线方向向量。

[0199] 输出部120是输出法线信息的输出端子。或者，输出部120也可以是与后述的图11等所示的图像等一起输出以法线信息为基础的法线的图像的显示器。后者的情况下，输出部120与提示部505(图1)对应。

[0200] 图5是表示搭载有本实施方式的法线信息生成装置100的照相机200的硬件结构例。图6是表示图5所示的模式偏振片201与摄像元件202的关系的示意图。该照相机200是具有生成法线信息功能的摄像装置，且 具有：多个模式偏振片201及201-2；多个摄像元件202及202-2；存储器203；和CPU204。

[0201] 模式偏振片201、201-2，如图6所示，是将偏振主轴角度ψi＝0°、45°、90°、135°的四种偏振片作为一组而以二维形状配置的偏振片的集合。在图6中，虽然仅表示了模式偏振片201、摄像元件202，但这与模式偏振片201-2、摄像元件202-2的情况相同。因此，在以下的说明中为了简化，仅针对模式偏振片201、摄像元件202进行详述。 [0202] 摄像元件202，如图6所示，是接收透过构成模式偏振片201的各个偏振片的光的以二维形状配置的像素(感光元件)的集合。模式偏振片201优选与摄像元件202的摄像面平行设置。而且，由模式偏振片201中的四个(四种)偏振片和摄像元件202中对应的四个像素，来构成摄像单位205。通过该摄像单位205得到的图像是偏振信息获取部103、区域分割部105、法线1自由度推定部106、立体对应获取部104及法线信息生成部107中的各处理的单位(“单位图像”)。总之，法线信息生成装置100按照由摄像单位205得到的每个单位图像(以下，称为“像素”)，进行偏振信息的生成、区域分割及法线信息的生成。 [0203] 存储器203包括作为CPU204的作业区域的RAM及存储程序等的ROM。

[0204] CPU204是执行存储在存储器203中的程序，且对存储器203进行存取，或对摄像元件202及202-2进行控制的处理器。

[0205] 而且，图4所示的偏振图像摄像部102通过图5所示的模式偏振片201及摄像元件202来实现。同样地，图4所示的偏振图像摄像部102-2通过图5所示的模式偏振片201-2及摄像元件202-2来实现。

[0206] 图4所示的偏振信息获取部103及103-2、立体对应获取部104、区域分割部105及105-2、法线1自由度推定部106及106-2及法线信息生成部107，通过图5所示的CPU204执行存储在存储器203的程序来实现。

[0207] 例如，利用附图中的流程图来说明的控制处理，能通过在计算机中执行的程序来实现。这样的计算机程序，被记录在CD-ROM等的记录介质中作为产品在市场上流通，或者，通过互联网等电通信线来传输。法线信息生成装置及构成图像处理装置的全部或一部分的结构要素，作为执行计算机程序的通用处理器(半导体电路)来实现。或者，作为将这样的计算机 程序和处理器一体化的专用处理器来实现。

[0208] 此外，存储器203也作为存储由偏振图像摄像部102及102-2获取到的偏振图像、在偏振信息获取部103及103-2生成的偏振信息、在立体对应获取部104获取到的立体图像对应信息、由区域分割部105及105-2分割的区域分割信息、由法线1自由度推定部106及106-2推定的法线1自由度信息、由法线信息生成部107生成的法线信息及暂时发生的各种参数等的作业区域来使用。

[0209] 图7是表示本实施方式的法线信息生成装置100的处理的流程的流程图。 [0210] 首先，第一偏振图像摄像部102，通过第一模式偏振片201，由摄像元件接收来自被摄体的光，从而拍摄被摄体，并获取包括偏振信息的图像即第一偏振图像(步骤S101)。第一偏振信息获取部103，利用第一偏振图像摄像部102拍摄的第一偏振图像亮度变化，来生成(获取)第一偏振信息(步骤S102)。接着，第二偏振图像摄像部102-2，通过第二模式偏振片201-2用摄像元件接收来自被摄体的光，由此获取包括偏振信息的图像即第二偏振图像(步骤S103)。第二偏振信息获取部103-2，利用第二偏振图像摄像部102-2拍摄的第二偏振图像的亮度变化来生成(获取)第二偏振信息(步骤S104)。

[0211] 其中，步骤S101～步骤S102和步骤S103～步骤S104的顺序是任意的，可以并行执行。当然，也可以依次执行。

[0212] 立体对应获取部104，在立体偏振图像摄像部101所获取的第一偏振图像、第二偏振图像中推定每个像素的对应关系(步骤S105)。第一区域分割部105及第二区域分割部105-2，利用第一偏振信息获取部103及第二偏振信息获取部103-2生成的第一偏振信息及第二偏振信息、及/或第一偏振图像摄像部102及第二偏振图像摄像部102-2获取的第一亮度信息及第二亮度信息，对第一偏振图像及第二偏振图像进行区域分割，且区域分割成漫反射分量区域及镜面反射分量区域(步骤S106)。

[0213] 第一法线1自由度推定部106，通过利用在偏振信息获取部103生成的偏振信息，按照由第一区域分割部105分割的每个区域进行不同的处理，来推定在对应的被摄体的表面上的法线1自由度(步骤S107)。第二 法线1自由度推定部106-2，通过利用在偏振信息获取部103-2生成的偏振信息，按照由第二区域分割部105-2分割的每个区域进行不同的处理，来推定在对应的被摄体的表面上的法线1自由度(步骤S108)。其中，步骤S107和步骤S108的顺序是任意的，可以并行执行，当然，也可以依次执行。法线信息生成部107，通过利用在立体对应获取部104获取到的图像的对应关系来统一由法线1自由度推定部106、106-2推定的法线1自由度，由此推定法线方向向量(步骤S109)。

[0214] 接着，对本实施方式中的法线信息生成装置100的各构成要素的详细功能进行说明。

[0215] 立体偏振图像摄像部101由多个偏振图像摄像部102构成，获取视点不同的多个偏振图像。此外，第一摄像元件202与第二摄像元件202-2进行了校准处理，其内部参数或外部参数是已知的。这样的校准，例如，可以利用Tsai的方法(Roger Y.Tsai，“An Efficient and AccurateCamera Calibration Technique for 3D Machine Vision”，Proceedingsof IEEE Conference on Computer Vision and Pattern Recognition，Miami Beach，FL，1986，pp.364-374)等已知的方法。

[0216] 当然，这样的校准是在包括模式偏振片或镜头等的状态下进行的。 [0217] 接着，对偏振图像摄像部102及102-2的详细功能进行说明。偏振图像摄像部102，将来自被摄体的光通过模式偏振片201而由摄像元件202感光，从而获取包含偏振信息的偏振图像。图8是从入射光方向观察图6所示的摄像单位205的示意图。在该图中，各偏振片(各像素)内的直线，表示设置在各像素上的微小偏振片的偏振主轴方向。即，该摄像单位205包括具有偏振轴的旋转角(ψi＝0°、45°、90°、135°)这四种偏振方向的像素。模式偏振片，表示TM波透过、TE波反射(不透过)的偏振特性。因此，能够获取在摄像元件前方配置了偏振片并一边旋转该偏振片一边拍摄到的与专利文献1相同的图像。 [0218] 这样的特性，例如，能够采用『川嶋、佐藤、川上、长嶋、太田、青木、“采用模式化偏振片的偏振图像装置和利用技术的开发”，电子信息通信学协会2006年综合全国大会，No.D-11-52、P52、2006』中记载的光子结晶来制成。在光子结晶的情况下，具有与在表面形成的槽平行的振动面 的光成为TE波，具有与在表面形成的槽垂直振动面的光成为TM波。 [0219] 在拍摄该偏振图像时，优选亮度的动态范围和比特数尽量大(例如16比特)。 [0220] 接着，对偏振信息获取部103及103-2的详细功能进行说明。偏振信息获取部103，利用偏振图像摄像部102获取的偏振图像来生成偏振信息。

[0221] 公知：透过偏振片的光的亮度是根据偏振片的偏振主轴角而变化的。图9表示透过不同的偏振主轴角度ψi＝0°、45°、90°、135°的四种偏振片的光的亮度401～404形成一条正弦函数曲线的情形。即，该正弦函数曲线表示图8的点206处的偏振特性。而且，偏振主轴角度的0°与180°(π)相同。此外，在求取该正弦函数曲线时，优选使用摄影伽马＝1的照相机，或通过线性补正进行补正，以使摄影伽马＝1。该四个点，刚好被描画在一条正弦函数曲线上，但实际上，优选根据多个观测点将180度周期的正弦函数作为最佳值而决定一条。

[0222] 该偏振信息获取部103生成该曲线的振幅和相位信息作为偏振信息。具体而言，将与模式偏振片201的主轴角φ相对的反射光亮度I近似如下。

[0223] [式1]

[0224] I(φ)＝A·sin2(φ-B)+C

[0225] 其中，如图9所示，式1中的A、B、C是常数，分别表示偏振片的亮度的变动曲线的振幅、相位、平均值。

[0226] 然而，式1可展开如下。

[0227] [式2]

[0228] I(φ)＝a·sin2φ+b·cos2φ+C

[0229] 其中，

[0230] [式3]

[0231]

[0232] [式4]

[0233]

[0234] 总之，在四个像素的样品(φili)中，若求出使以下式5成为最小的A、B、C，则能够近似正弦函数式1。其中，li表示偏振片旋转角φi时的观测亮度。此外，N是样品数量，此处为4。

[0235] [式5]

[0236]

[0237] 通过以上的处理，正弦函数近似的A、B、C的三个参数将确定。利用这样求出的参数，偏振信息获取部103获取以下至少一个信息作为偏振信息。

[0238] 偏振度ρ

[0239] [式6]

[0240]

[0241] 偏振相位φmax(0≤φmax≤π[rad])

[0242] [式7]

[0243]

[0244] 偏振推定误差E

[0245] [式8]

[0246]

[0247] 偏振最大亮度值Imax

[0248] [式9]

[0249] Imax＝A+C

[0250] 偏振最小亮度值Imin

[0251] [式10]

[0252] Imin＝C-A

[0253] 上述各术语的定义如下。

[0254] ·偏振度ρ：表示光偏振了多少的指标；

[0255] ·偏振相位φmax：根据偏振主轴角度而变化的亮度成为最大的角度； [0256] ·偏振推定误差E：针对四个像素的样品观测到的亮度与根据通过近似得到的上述正弦函数而确定的亮度之差的合计；

[0257] ·偏振最大亮度值Imax：在使模式偏振片的主轴角φ变化时能取的最大亮度值； [0258] ·偏振最小亮度值Imin：在使模式偏振片的主轴角φ变化时能取的最小亮度值。非偏振分量。

[0259] 以下，根据上述偏振信息来说明法线信息生成装置100生成的图像例。在图像例中，将球体即地球仪作为被摄体。图10表示由本申请发明人进行拍摄时的照相机200与被摄体的位置关系、及照相机200内的模式偏振片201和201-2的位置关系的图。从照相机200至被摄体是160cm，模式偏振片201和201-2的间隔、或摄像元件202和202-2的间隔是50cm。

[0260] 图11是针对作为球体的地球仪而将根据第一偏振图像求出的偏振度ρ1、偏振相位φmax1及偏振推定误差E1作为图像来显示的图。在该图中，图11(a)表示被摄体即地球仪的图像，图11(b)表示针对图11(a)的被摄体的偏振度ρ1，图11(c)表示针对图11(a)的被摄体的偏振相位φmax1(0°为黑，180°为白)，图11(d)表示针对图11(a)的被摄体的偏振推定误差E1。

[0261] 此外，图12(a)～(d)是示意地分别表示图11(a)～(d)的图(将浓淡明确化后得到的图)。图13(a)～(d)表示图11(a)～(d) 所示的图像与图12(a)～(d)所示的各区域(例如，在(a)中是区域A01与B01)的对应关系。在图11(a)～(d)及图13(a)～(d)中，区域的颜色越白，亮度值越大。此外，图14表示针对泡沫聚苯乙烯制的头部模型进行同样处理而得到的结果。

[0262] 根据这些图像，可知：在遮挡边缘附近偏振度大，在未被被摄体的影子覆盖的区域，偏振相位以180°周期在球体的周围顺时针地单调增加。该偏振相位是使旋转而变化的亮度的成为最大值的角度，是被摄体为漫反射时的出射面的信息。

[0263] 接着，对立体对应获取部104进行说明。立体对应获取部104，在立体偏振图像摄像部101获取的多个偏振图像中对每个像素的对应关系进行确定。但是，所谓“进行确定”的意思，不是意味着决定性地确定，而是意味着就概率意义上的确定。因此，能够认为是对对应关系“进行推定”。例如，其能够通过利用亮度信息的图像处理进行检测。关于该“进行确定”的术语和“进行推定”的术语的关系，不仅针对立体对应获取部104，而且针对法线1自由度推定部106、106-2等也同样。

[0264] 图15表示本实施方式中的立体对应获取部104的处理的流程的流程图。该流程图，相当于步骤S105。首先，在多个图像中，进行特征点的提取(步骤S201)。利用求出的特征点，使多个图像间建立对应(步骤S202)。但是，仅这样进行，只会使检测出特征点的图像上的疏散像素建立对应。于是，通过进行在步骤S202中建立对应的特征点间的内插处理，从而在图像整体内密集地建立对应(步骤S203)。以下，对各个处理步骤进行详述。 [0265] 在步骤S201中，在多个图像中，进行特征点的提取。该处理是为了使多个图像间的像素建立对应，通过检测出称为特征点的“易于建立对应的点”，并在多个图像间搜索与该特征点的特征最一致的点，来进行使多个图像间的像素建立对应的处理。 [0266] 作为特征点检测法，虽然公知Harris操作员或KLT(Kanade-Lucas-Tomasi)Feature Tracker等各种方法，但在此是利用SIFT(Scale-Invariant Feature Transform)操作员(参考David G.Lowe，“Distinctive image features from scale-invariant keypoints，”International Journal of Computer Vision，Vol.60，N0.2，pp.91-110，2004)。

[0267] SIFT被公知为相对于尺寸及旋转是不变的特征量。该处理利用Difference-of-Gaussian处理来提取尺寸不变的关键点，而且根据图像的梯度方向柱状图计算出取向(orientation)，并提取在取向上进行正规化后得到的特征量(详细内容请参考藤吉弘渡，“基于Gradient的特征提取-SIFT与HOG-”，信息处理学会研究报告CVIM160，pp.211-224，2007)。其中，在由偏振图像摄像部102和102-2拍摄的第一偏振图像和第二偏振图像的每个中，提取关键点，并提取在取向上进行正规化后得到的特征量。 [0268] 在步骤S202中，在第一偏振图像与第二偏振图像中，使在步骤S201中求出的特征点建立对应。这是通过按照在步骤S201中求出的每个关键点，从其它图像检测出特征量的欧几里得距离为最小的关键点来实现的。如此建立对应的关键点成为对应点。当然，在建立对应时，也可以利用在立体图像的建立对应中广泛采用的极线(epipolar)约束。 [0269] 在步骤S203中，通过进行在步骤S202中建立对应的特征点间的内插处理，从而在图像整体内密集地建立对应。对该处理进行说明。首先，利用已建立对应的特征点及对应点，针对第一偏振图像和第二偏振图像，进行德洛内三角形分割。安装如此被分割的每个三角形，进行对应点的内插处理。

[0270] 图16是用于说明该处理的示意图。在图16(a)中，点P0、P1、P2是通过由SIFT检测出的第一图像中的特征点的图像上的坐标值来确定的点，此外，也是通过德洛内三角形分割后得到的三角形的三个顶点。此外，在图16(b)中，点P′0、P′1、P′2分别是与特征点P0、P1、P2对应的第二图像中的对应点。在此，通过内插处理而求出第一偏振图像中的三角形P0-P1-P2内的点Px处的对应点。首先，求出满足以下关系的变数a，b。 [0271] [式11]

[0272] Px＝a·(P1-P0)+b·(P2-P0)+P0

[0273] 其中，变数0≤a≤1，0≤b≤1。此时，Px中的对应点Px′由下式表示。 [0274] [式12]

[0275] P′x＝a·(P′1-P′0)+b·(P′2-P′0)+P′0

[0276] 针对需要的全部像素进行该处理。根据上述的式11及式12，能够对图16(a)及(b)所示的三角形的边上的点进行内插。而且，如果针对由内插后得到的一点与该三角形的两个顶点、内插后得到的两点与该三角形的一个顶点、或者内插后得到的三点形成的各个三角形，适用上述式11及式12，则通过内插，能够求出该三角形的内部的所有的点。于是，若针对通过德洛内三角形分割而得到的所有的三角形进行同样的处理，则能够通过内插求出第一图像及第二图像的所有的点。其结果是，在第一图像与第二图像间，能够在图像整体内密集地建立对应。而且，在步骤S203中，虽然内插处理是利用图像上的坐标来进行的，但也可以在根据对应点求出的三维坐标上进行处理。

[0277] 以上的处理，利用了偏振图像来建立对应，当然，也可以利用偏振信息获取部103及103-2获取的偏振最大亮度值Imax或偏振最小亮度值Imin、或者偏振最大亮度值Imax与偏振最小亮度值Imin的平均值或加权和(例如，Imax+2·Imin或Imax+Imin)等来进行。特别地，在利用了偏振最小亮度值Imin时，由于能够减小受视点移动的影响大的镜面反射分量的影响，所以非常有效。此外，Imax+Imin是与未设置偏振片时拍摄的图像等效的图像。因此，通过利用该值来进行图像处理，从而能够进行与不利用通常的偏振的情况相同的处理。当然，立体对应点获取部104可以不利用特征点，而利用在图像处理的立体对应点获取处理中广泛被利用的块匹配法或梯度法来进行。

[0278] 接着，对区域分割部105的详细功能进行说明。区域分割部105利用偏振信息获取部103生成的偏振信息及/或偏振图像摄像部102获取的亮度信息，将图像进行区域分割，且区域分割成漫反射区域、镜面反射区域。

[0279] 在此，对漫反射与镜面反射进行说明。公知：被摄体表面的反射特性表现为“发光”即镜面反射分量与不光滑(matte)的反射分量即漫反射分量之和。漫反射分量是照射被摄体的光源位于任一方向都可观测的分量，而镜面反射分量是针对被摄体的法线方向和视线方向、仅当光源位于 几乎正反射方向时才可观测的方向依存性强的分量。这个对于偏振特性也成立。

[0280] 图17及图18分别表示被摄体的折射率n＝1.1、1.3、1.5、2.0时的镜面反射分量及漫反射分量的偏振度的图形(例如，参考L.B.Wolff andT.E.Boult，“Constraining object features using a polarization reflectancemodel”，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.13，No.7，pp.635-657，1991)。图17的横轴表示入射角，纵轴表示镜面反射分量的偏振度。此外，图18的横轴表示出射角，纵轴表示漫反射分量的偏振度。根据这些图可见，镜面反射分量的偏振度不依存于出射角，但漫反射分量的偏振度依存于出射角。因此，可知在使照相机移动来改变出射角时，在镜面反射分量中偏振度不变，而在漫反射分量中偏振度发生变化。

[0281] 此外，公知：漫反射分量的亮度值Id符合以下的Lambertian模型。 [0282] [式13]

[0283] id＝(ρd·n)·(Ip·L)＝Ipρdcosθ

[0284] 其中，ρd表示参考点的漫反射率(反照率)，n表示参考点的法线方向向量，Ip表示点光源强度，L表示光源的方向向量，θ表示入射角(法线方向向量与光源方向向量形成的角)。向量的长度被正规化为1。

[0285] 根据该式可知，通过移动照相机来变更出射角时，漫反射分量中亮度值不发生变化。

[0286] 另一方面，公知：镜面反射分量的亮度值Is符合以下的式14～22所示的Cook-Torrance模型。

[0287] [式14]

[0288] Is＝Ksρs，λ

[0289] [式15]

[0290]

[0291] [式16]

[0292]

[0293] [式17]

[0294]

[0295] [式18]

[0296] c＝L·H

[0297] [式19]

[0298]

[0299] [式20]

[0300]

[0301] [式21]

[0302]

[0303] [式22]

[0304]

[0305] 其中，Ei是入射强度，ρs、λ是波长λ中的镜面反射分量的双向反射率，n是被摄体的法线方向向量，V是视线向量，L是光源方向向量， H是视线向量与照明方向向量的中间向量，β是中间向量H与法线方向向量n的角度(参考图19)。此外，Fλ是从菲涅尔方程式求出的来自电介质表面的反射光的比即菲涅尔系数，D是微元分布函数，G是表示由物体表面的凹凸对遮光的影响的几何衰减率。而且，nλ是被摄体的折射率，m是表示被摄体表面的粗糙的系数，Ij是入射光的放射亮度。此外，Ks是镜面反射分量的系数。根据这些式子可知，通过移动照相机来变更出射角时，在镜面反射分量中亮度值发生变化。 [0306] 然而，通过立体对应获取部104，已知所有像素的对应点。根据以上所述，立体图像(第一图像、第二图像)中的镜面反射分量与漫反射分量，能够按以下方式进行分割。 [0307] [式23]

[0308] if|Ic1-Ic2|≤Thd and Ic1≤ThI and Ic2≤ThI

[0309] then第一图像、第二图像都是漫反射分量；

[0310] if Ic1＞Ic2+Thd

[0311] then第一图像是镜面反射分量，第二图像是漫反射分量；

[0312] if Ic2＞Ic1+Thd

[0313] then第一图像是漫反射分量，第二图像是镜面反射分量；

[0314] if|Ic1-Ic2|≤Thd and(Ic1＞ThI or Ic2＞ThI

[0315] then第一图像、第二图像都是镜面反射分量。

[0316] 其中，Ic1表示在偏振信息获取部103中获取到的偏振最大亮度值Imax与偏振最小亮度值Imin之和Imax+Imin。此外，Ic2表示在偏振信息获取部103-2中获取到的偏振最大亮度值Imax与偏振最小亮度值Imin之和Imax+Imin。其中，Imax+Imin是当没有模式偏振片201时用摄像元件202观测的亮度值。此外，Thd是表示与本来的Lambertian模型已偏离多少的阈值，ThI是用亮度信息判断镜面反射分量和漫反射分量的阈值。这样的阈值，可以通过实验来决定。

[0317] 图20是表示上述区域分割基准的示意图。图20所示的四个区域，即DD、SD、DS、SS的各区域被分类为具有以下的分量的区域。

[0318] ·DD区域：第一图像、第二图像都是漫反射分量。

[0319] ·SD区域：第一图像是镜面反射分量，第二图像是漫反射分量。

[0320] ·DS区域：第一图像是漫反射分量，第二图像是镜面反射分量。

[0321] ·SS区域：第一图像、第二图像都是镜面反射分量。

[0322] 当然，这样的区域分割不局限于图20，例如，可以利用去除SS区域的图21那样的区域分割基准。这个如上釉后的陶器那样，被摄体的表面非常光滑，仅当镜面反射分量在正反射区域附近有限的区域被观测时才有效。此时，在第一图像和第二图像中的该对应点的两个图像中观测镜面反射的情况非常少。

[0323] 此时的立体图像(第一图像、第二图像)中的镜面反射分量与漫反射分量，可以按以下的方式进行分割。

[0324] [式24]

[0325] If|Ic1-Ic2|≤Thd

[0326] then第一图像、第二图像都是漫反射分量；

[0327] If Ic1＞Ic2+Thd

[0328] then第一图像是镜面反射分量，第二图像是漫反射分量；

[0329] If Ic2＞Ic1+Thd

[0330] then第一图像是漫反射分量，第二图像是镜面反射分量。

[0331] 当然，区域分割部105可以构成为将图像的所有像素分割为漫反射分量或镜面反射分量并进行处理。例如，当被摄体是石膏那样的被摄体时，所有像素是漫反射分量是妥当的。此外，例如，当被摄体是有光泽的金属时，所有的像素是镜面反射分量是妥当的。 [0332] 当然，区域分割部105也可以构成为不利用偏振最大亮度值Imax与偏振最小亮度值Imin的加权和Imax+Imin，而将偏振最大亮度值Imax或偏振最小亮度值Imin、或者偏振最大亮度值Imax与偏振最小亮度值Imin的平均值等作为Ic1、Ic2来利用。例如，当利用偏振最小亮度值Imin时，能够减少发光分量的影响。当然，也可以在偏振图像摄像部102中，在能够观测不含模式偏振片201的亮度值的情况下，利用该亮度值。这个如图22所示，在模式偏振片201中，能够通过设置不含偏振片的像素来实现。

[0333] 接着，对法线1自由度推定部106的详细功能进行说明。法线1自由度推定部106按照由区域分割部105分割的每个区域，采用在偏振信息获取部103中生成的偏振信息，推定在对应的被摄体的表面上的法线1自由 度。所谓法线1自由度是所述入射面或出射面的角度信息。

[0334] 如前所述，镜面反射分量的入射面的信息根据使偏振片旋转而变化的亮度的成为最小值的角度来求出。即，由下式提供。

[0335] [式25]

[0336] if then

[0337] if then

[0338] 其中，φmax是式7中求出的偏振相位。

[0339] 另一方面，漫反射分量的出射面的信息根据使偏振片旋转而变化的亮度的成为最大值的角度来求出。即，由下式提供法线1自由度信息。

[0340] [式26]

[0341] φn＝φmax

[0342] 如此求出的入射面或出射面的角度信息即法线1自由度信息φn，具有φn或(φn+π)这样的180度的不确定性。

[0343] 接着，对法线信息生成部107的详细功能进行说明。法线信息生成部107通过利用由立体对应获取部104获取到的图像的对应关系来统一由法线1自由度推定部106、106-2推定的法线1自由度φn1、φn2，从而生成法线方向向量。

[0344] 图23是用于说明该处理的示意图。在该图中，点P是参考点，由摄像元件202拍摄的与第一图像的点P对应的像素、和由摄像元件202-2拍摄的与第二图像的点P对应的像素，通过立体对应获取部104而成为已知。此外，在第一图像、第二图像分别对应的像素中，由法线1自由度推定部106、106-2求出的法线1自由度是φn1、φn2。

[0345] 摄像元件202、202-2由于是校准好的，所以相互的位置关系为已知。因此，入出射面S1、S2能够计算。在此，入出射面是参考点的入射面或出射面，入出射面S1是通过摄像元件202的焦点位置和由式25、式26求出的法线1自由度φn1的偏振主轴方向的平面，入出射面S2是通过摄像元件202-2的焦点位置和由式25、式26求出的法线1自由度φn2的偏 振主轴方向的平面。

[0346] 总之，参考点的法线方向向量n，入出射面S1、S2都包括。因此，参考点的法线方向向量n，作为它们两个平面的交线来求出。

[0347] 但是，法线1自由度信息φn，由于具有180度不确定性，如此求出的法线方向向量n具有n(nx，ny，nz)和n′(-nx，-ny，-nz)这样的180度的不确定性。为了去除该不确定性，会利用参考点P的法线方向向量n和视线向量V。具体而言，选择满足以下关系式的法线方向向量。

[0348] [式27]

[0349] n·V≥0

[0350] 在不满足式27时，参考点P面向与摄像元件202相反方向，参考点P应该不会被拍摄。因此，这样的法线方向向量能够排除，结果是法线信息生成部107能够排除不确定性。 [0351] 而且，也可以是通过对由上述方法求出的法线方向向量进行空间滤波处理来去除在法线信息生成部107中产生的噪声。这样的空间滤波处理，例如，只要对法线方向进行量子化，并制成各像素附近的法线方向向量的柱状图，且仅用其最频繁值附近的法线方向向量进行平均化处理即可。

[0352] 图24～图28表示推定本实施方式的法线信息生成装置100的法线方向向量的结果。图24(a)表示将地球仪作为被摄体，由偏振信息获取部103获取到的偏振最大亮度值Imax与偏振最小亮度值Imin之和(Imax+Imin)，图24(b)表示将地球仪作为被摄体，由偏振信息获取部103获取到的偏振相位φmax1(0°为黑、180°为白)，图24(c)表示将地球仪作为被摄体，由偏振信息获取部103-2获取到的偏振最大亮度值Imax与偏振最小亮度值Imin之和(Imax+Imin)，图24(d)表示将地球仪作为被摄体，由偏振信息获取部103-2获取到的偏振相位φmax2(0°为黑、180°为白)。此外，第二摄像元件202-2配置在第一摄像元件202的右侧。此外，图25(a)～(d)是示意地表示图24的各图的图(将浓淡进行明确化后得到的图)。图26(a)～(d)分别表示图24(a)～(d)所示的图像与图25(a)～(d)所示的各区域(例如在(a)中是区域A11与B11)的对应关系。在图24(a)～(d)及图26(a)～(d)中，区 域的颜色越白，亮度值越大。

[0353] 图27(a)～(c)表示利用图24(b)与图24(d)的偏振相位，将法线信息生成部107推定的法线方向向量进行可视化后得到的法线图像。法线方向向量的各分量为了具有从-1到1范围的值，在法线图像中，将法线方向向量的各分量的O设为灰色，表现为在负方向上变黑，在正方向上变白。此外，背景以黑色表示。

[0354] 图27(a)表示法线方向向量的x分量的法线图像。此外，图27(b)表示法线方向向量的y分量的法线图像。此外，图27(c)表示法线方向向量的z分量的法线图像。 [0355] 此外，图28(a)～(c)是示意地表示图27(a)～(c)的各图的图(将浓淡进行明确化后得到的图)。图29(a)～(c)分别表示图27(a)～(c)所示的图像与图28(a)～(c)所示的各区域的对应关系。

[0356] 法线方向向量的x、y、z分量，如图30所示，照相机右方向是x方向，照相机下方向是y方向，照相机光轴方向是z方向。根据图27(a)、图28(a)可知，在x分量法线图像中，除了图像中央部，左侧为黑，随着向右侧，颜色变白，定性地获取了正确的法线。此外，根据图27(b)、图28(b)可知，在y分量法线图像中，上侧为黑，随着向下，颜色变白，定性地获取了正确的法线。而且，根据图27(c)、图28(c)可知，在y分量法线图像中，中央部为黑，遮挡边缘附近为灰色，定性地获取了正确的法线。

[0357] 如以上，进行镜面反射区域与漫反射区域的区域分割，通过利用被摄体的偏振信息，并通过利用被摄体的偏振信息来按照每个分割的区域进行不同的处理，能够针对广泛区域被动地推定高精度的法线信息。

[0358] 而且，在本实施方式中，虽然在模式偏振片201中采用了光子结晶，但也可以是薄膜型的偏振元件、或线栅型、或基于其它原理的偏振元件。此外，也可以不利用模式偏振片，而构成为通过旋转安装在摄像元件202的前方的偏振片来进行拍摄，以获取时序上偏振主轴不同的亮度。该方法，例如，被公开在特开平11-211433号公报中。此时，只要在各个摄像元件202、202-2的前方分别配置偏振片即可。当然，也可以仅利用一个覆盖多个摄像元件202、202-2的偏振片。

[0359] 而且，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2，分别单独设置了偏振信息获取部103，但当然也可以作为同一模块来实现。 [0360] 此外，在本实施方式中，虽然针对第一偏振信息获取部103和第二偏振信息获取部103-2，分别单独设置了区域分割部105，但当然也可以作为同一模块来实现。 [0361] 此外，在本实施方式中，虽然针对第一偏振信息获取部103和第二偏振信息获取部103-2，分别单独设置了法线1自由度推定部106，但当然也可以作为同一模块来实现。 [0362] 此外，在区域分割部105中，为了将区域分割为镜面反射分量区域或漫反射分量区域而利用了立体图像间的亮度差，当然，也可以仅根据每个图像来进行。这样的处理，可以利用已知的方法，例如，对图像的颜色信息进行利用的方法(例如，参考S.K.Nayar，X.S.Fang，and T.Boult，“Separation of reflection components using color andpolarization”，International Journal of Computer Vision(IJCV)，Vol.21，No.3，pp.163-186，1997)。

[0363] 如上所述，进行镜面反射区域与漫反射区域的区域分割，通过利用被摄体的偏振信息，按照每个被分割的区域进行不同的处理，能够针对广泛区域被动地推定高精度的法线信息。

[0364] (第二实施方式)

[0365] 接着，对本发明的第二实施方式中的法线信息生成装置进行说明。本实施方式中的法线信息生成装置，是针对不求取立体对应的遮挡区域进行其它法线信息生成处理的装置。

[0366] 本实施方式中的法线信息生成装置，与实施方式1的法线信息生成装置100(图1)的结构相同。与第一实施方式不同的是：区域分割部105和法线信息生成部107。区域分割部105，对在立体对应获取部104中不求取对应的区域，作为未对应区域进行区域分割，法线信息生成部107仅对未对应区域进行其它法线信息生成处理。由于遮挡的影响在立体对应获取部104中不求取对应的区域被称为遮挡区域，在立体法中公知其作为不能获取三维形状信息的区域。但是，在本实施方式的法线获取方法中， 通过由区域分割部105检测出遮挡区域，并利用由法线1自由度推定部106求出的法线1自由度信息，从而即使在遮挡区域中也能够推定法线方向向量。对该处理进行说明。

[0367] 图31、32是表示本实施方式中的法线信息生成装置100的处理的流程的流程图。而且，在图31、32中，与图7共同的步骤被赋予与图7相同的符号，并省略其详细说明。 [0368] 首先，区域分割部105，针对在立体对应获取部104中不求取对应的区域，作为未对应区域进行区域分割(步骤S121)。

[0369] 图33是表示本实施方式中的区域分割部105的处理的流程的流程图。该流程图，相当于图31中的步骤S121。

[0370] 首先，区域分割部105，利用立体对应获取部104的结果，判断参考像素是否与其它像素建立了对应(步骤S301)。当参考像素与其它像素未建立对应时(步骤S301中“否”)，区域分割部105，判断为参考像素发生了遮挡，并作为未对应区域来进行区域分割(步骤S302)。另一方面，当参考像素与其它图像建立了对应时(步骤S301中“是”)，区域分割部105，如上所述，根据图20的区域分割基准，进行区域分割(步骤S303)。 [0371] 法线信息生成部107，根据区域分割部105的区域分割结果，来切换生成法线信息的处理(步骤S122)。区域不是未对应区域时(步骤S122中“否”)，法线信息生成部107，通过与第一实施例相同的方法，生成法线信息(步骤S107～109)。另一方面，区域是未对应区域时(步骤S122中“是”)，法线信息生成部107，利用未对应区域是遮挡边缘附近的区域，来获取法线信息。具体而言，首先通过法线1自由度推定部106推定法线1自由度信息(步骤S123)，利用如此求出的法线1自由度信息和是遮挡边缘附近的区域，从附近像素的法线信息中推定未对应区域的法线方向向量(步骤S124)。

[0372] 图34是用于说明遮挡区域即未对应区域与法线方向的关系的示意图。在该图中，摄像元件202与202-2拍摄了球体的被摄体301。此时，由各摄像元件而成为未对应的区域，是区域302及区域303。区域302从摄像元件202-2观测不到，区域303从摄像元件202观测不到。因此，区域302成为摄像元件202即第一图像中的未对应区域，区域303成为摄像 元件202-2即第二图像中的未对应区域。可见未对应区域302、303由于在任一个图像中都产生遮挡，所有是遮挡边缘附近的区域。

[0373] 在遮挡边缘的边界处，法线方向向量位于图30的x-y平面上，即与光轴正交的平面上。因此，法线信息生成部107，假设未对应区域的法线第二自由度是在x-y平面上，并获取法线方向向量。此时，法线1自由度信息φn，由于具有180度的不确定性，所以法线方向向量n具有n(nx、ny、o)和n′(-nx、-ny、o)这样的180度的不确定性。为了去除该不确定性，将利用未对应区域附近的法线方向向量的连续性。具体而言，只要分别对法线方向向量候补(nx、ny、o)和(-nx、-ny、o)计算与未对应区域附近的法线方向向量的连续性，并决定保持更好连续性的法线方向向量候补作为法线方向向量即可。具体而言，计算与附近的法线方向向量的内积值，并决定该值变大的法线方向向量候补作为法线方向向量。通过该处理，在图34中确定作为虚线的箭头所示的法线方向向量。

[0374] 此外，由于通过法线1自由度推定部106求出法线1自由度信息，所以需要作为漫反射分量或镜面反射分量的区域分割。这个可以利用附近区域的区域分割结果。当然，也可以假设在遮挡区域中不产生镜面反射，并作为漫反射分量来进行处理。

[0375] 搭载了本实施方式中的法线信息生成装置100的照相机，与实施方式1的照相机200(图5)相同。因此，省略详细的说明。

[0376] 如上所述，在本实施方式的法线获取方法中，通过区域分割部105检测出遮挡区域，并通过利用由法线1自由度推定部106求出的法线1自由度信息，即使在用现有方法有困难的遮挡区域中也能够推定法线方向向量。

[0377] 而且，在本实施方式中，虽然在模式偏振片201中使用了光子结晶，但也可以是薄膜型的偏振元件、或线栅型、或基于其它原理的偏振元件。此外，也可以不利用模式偏振片，而通过旋转安装在摄像元件202的前方的偏振片来进行拍摄，获取时序上偏振主轴不同的亮度。该方法，例如，被公开在特开平11-211433号公报中。此时，只要在每个摄像元件202、202-2的前方分别配置偏振片即可。当然，也可以仅利用一个覆盖多个摄像元件202、202-2的偏振片来进行。

[0378] 而且，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2，分别单独设置了偏振信息获取部103，但当然也可以作为同一模块来实现。 [0379] 此外，在本实施方式中，虽然针对第一偏振信息获取部103和第二偏振信息获取部103-2，分别单独设置了区域分割部105，但当然也可以作为同一模块来实现。 [0380] 此外，在本实施方式中，虽然针对第一偏振信息获取部103和第二偏振信息获取部103-2，分别单独设置了法线1自由度推定部106，但当然也可以作为同一模块来实现。 [0381] 此外，虽然在区域分割部105中，为了进行镜面反射分量区域和漫反射分量区域的区域分割，利用了立体图像间的亮度差，但当然，也可以仅根据每个图像来进行。这样的处理，可以利用已知的方法，例如，对图像的颜色信息进行利用的方法(例如，参考S.K.Nayar，X.S.Fang，andT.Boult，“Separation of reflection components using color andpolarization”，International Journal of Computer Vision(IJCV)，Vol.21，No.3，pp.163-186，1997)。

[0382] 如上所述，进行镜面反射区域和漫反射区域的区域分割，并利用被摄体的偏振信息，按照被分割的每个区域进行不同的处理，由此能够针对广泛区域被动地推定高精度的法线信息。

[0383] (第三实施方式)

[0384] 接着，对本发明的第三实施方式中的法线信息生成装置进行说明。 [0385] 图35是表示本实施方式中的法线信息生成装置100的结构的功能方框图。该法线信息生成装置100不具有区域分割部105，取而代之，通过法线信息生成部117，生成多个法线方向向量候补，并通过由最佳法线选择部108，对多个法线方向向量候补的妥当性进行评价，由此推定法线方向向量。而且，对与第一实施方式中的法线信息生成装置100相同的构成要素，赋予与图4相同的符号，并省略其说明。

[0386] 法线1自由度推定部116，按照每个像素，利用在偏振信息获取部103中生成的偏振信息，来推定在对应的被摄体的表面上的法线1自由度。此时，法线1自由度的求解方法如前述因像素根据是漫反射分量还是镜面反 射分量而不同。因此，法线1自由度推定部116，将像素为漫反射分量时的法线1自由度候补φnd和像素为镜面反射分量时的法线1自由度候补φns两者推定为法线1自由度候补。具体而言，如上所述，根据下式来推定法线1自由度候补φnd、φns。

[0387] [式28]

[0388] φnd＝φmax

[0389] [式29]

[0390] if then

[0391] if then

[0392] 其中，φmax是由式7求出的偏振相位。其中，式28所示的φnd是假设了式26所示的像素是漫反射分量时的出射面的信息，式29所示的φns是假设式25所示的像素是镜面反射分量时的入射面的信息。

[0393] 法线信息生成部117，通过利用在立体对应获取部104中获取到的图像的对应关系来统一由第一法线1自由度推定部116推定的法线1自由度候补φnd1、φns1和由第二法线1自由度推定部116-2推定的法线1自由度候补φnd2、φns2，从而推定法线方向向量。由于从各摄像元件202、202-2，各求出两个法线1自由度候补，所以，从四组(“φnd1-φnd2”“φbnd1-φbns2”“φns1-φnd2”“φns1-φns2”)组合中，求出四个法线方向向量候补nc1～nc4。

[0394] 最佳法线选择部108，从法线信息生成部117生成的四个法线方向向量候补中选择最佳的法线方向向量候补，推定为法线方向向量n。对该处理进行说明。

[0395] 最佳法线选择部108，为了从多个候补中作为图像整体推定最佳的法线方向向量，将利用法线方向向量的连续性。这个只要在图像整体中选择以下评价函数Ev(n)成为最小的法线方向向量候补即可。

[0396] [式30]

[0397]

[0398] 其中，n(x，y)是像素(x，y)的法线方向向量，wx，wy分别是图像的宽度和高度。当然，这样的最小化处理，通过利用约束条件，能够获取更正确的法线方向向量。 [0399] 对用于选择最佳的法线方向向量候补的约束条件进行说明。首先，对多个照相机间的镜面反射分量和漫反射分量的空间上的连续性进行说明。如上所述，镜面反射分量，容易受到摄像元件的位置(出射角)或被摄体的法线方向向量的影响。此外，根据图17及18所示的镜面反射分量和漫反射分量的偏振度、及式13、式14～式22所示的Lambertian模型、Cook-Torrance模型可知，镜面反射分量或漫反射分量的亮度信息或偏振信息，相对于摄像元件的移动或参考点的移动，而进行连续的变化。因此，认为：当相对于参考点P，第一偏振图像、第二偏振图像都是漫反射分量时，在其附近点P”处，第一偏振图像、第二偏振图像都是镜面反射分量的情况非常少。即，相对于参考点的空间的变动，各偏振图像的对应点的镜面反射分量、漫反射分量连续地变化。最佳法线选择部108将该见解利用为约束条件。
该约束条件，由于能够在被摄体的广泛区域中利用，所以非常有效。而且该约束条件在存在多个光源的情况下也有效。在本实施方式中，在相邻的像素之间适用上述约束条件。 [0400] 图36表示用于利用该连续性作为约束条件的状态转移图。在该图中，状态601表示：假设第一偏振图像是漫反射分量，且第二偏振图像也是漫反射分量，并生成法线方向向量。此外，状态602表示：假设第一偏振图像是漫反射分量，且第二偏振图像是镜面反射分量，并生成法线方向向量；状态603表示：假设第一偏振图像是镜面反射分量，且第二偏振图像是漫反射分量，并生成法线方向向量；状态604表示：假设第一偏振图像是镜面反射分量，且第二偏振图像也是镜面反射分量，并生成法线方向向量。

[0401] 由于各偏振图像的对应点的镜面反射分量、漫反射分量是连续地变化的，所以，在参考点为601的情况下，在其附近不可能是604，即：在假设第一偏振图像是漫反射分量，且第二偏振图像也是漫反射分量而生成法线方向向量的情况下，假设第一偏振图像是镜面反射分量，且第二偏振图像也是镜面反射分量而生成法线方向向量是不可能的。此外，在参考点为602的情况下，在其附近不可能是603，即：在假设第一偏振图像是漫反 射分量，且第二偏振图像是镜面反射分量而生成法线方向向量的情况下，假设第一偏振图像是镜面反射分量，且第二偏振图像是漫反射分量而生成法线方向向量是不可能的。因此，最佳法线选择部108通过在图像整体中选择以下的评价函数Ev2成为最小的法线方向向量候补，来选择法线方向向量n。

[0402] [式31]

[0403] Ev2(n)＝Ev(n)+C2Ev1

[0404] 其中，Ev1由下式提供的基于图36的状态转移图的约束条件，C2是约束条件的权重系数。

[0405] [式32]

[0406] if满足图36的状态转移图，

[0407] Then Ev1＝0；

[0408] else

[0409] then Ev1＝1。

[0410] 这样的权重系数，可以由实验决定，例如，可以设为C2＝2.0。当式31不遵循图36的状态转移图时，式30的评价函数成为值大的评价函数。

[0411] 如此，通过各偏振图像的对应点的镜面反射分量、漫反射分量利用连续性为约束条件，能够选择最佳的法线方向向量。

[0412] 此外，作为其它约束条件，也可以利用第一偏振信息获取部103及第二偏振信息获取部103-2获取的偏振信息。对该处理进行说明。

[0413] 根据图18，漫反射分量的偏振度，在出射角小时接近于0。因此，认为：在偏振度足够小的区域中，法线方向向量n与视线向量V足够接近。因此，在偏振度足够小的区域中，只要从四个法线方向向量候补nc1～nc4之中选择最接近视线向量的候补作为法线方向向量即可。这个只要例如进行阈值处理，例如针对偏振度小于0.05的区域进行即可。当然，法线信息生成部117，在偏振度足够小的区域中，也可以不利用法线1自由度推定部116获取到的法线1自由度信息，而以使法线方向向量n与视线向量V相等的方式进行。这是因为考虑到在偏振度足够小的区域中，基于式5的偏振信息的获取处理不稳定，而会导致法线1自由度推定部116获取到 的法线1自由度信息的推定精度变低。该约束条件对偏振度低的区域有效。

[0414] 当然，作为其它约束条件，也可以利用前述的遮挡边缘区域的法线方向向量。如上所述，在遮挡边缘附近，法线方向向量n接近图30的x-y平面。因此，最佳法线选择部108只要从四个法线方向向量候补nc1～nc4之中选择最接近x-y平面的候补作为法线方向向量即可。该约束条件在遮挡边缘区域中非常有效。

[0415] 此外，作为利用偏振信息的其它约束条件，也可以利用偏振度信息。如图18所示，在漫反射分量中，偏振度由出射角与折射率而唯一确定。于是，只要在被摄体的折射率是已知的情况下，将根据推定的法线方向向量和图18求出的推定的偏振度ρe与由偏振信息获取部103求出的测量的偏振度ρ进行比较，并利用其差值变小的约束即可。此外，如图30所示，若着眼于光轴为z方向的情况，则出射角θe能够利用法线方向向量n(nx，ny，nz)，而根据下式的关系进行计算。

[0416] [式33]

[0417]

[0418] 该约束条件仅能在通过法线1自由度推定部116推定出法线1自由度候补为φnd时利用。

[0419] 当然，在光源方向已知的情况下(例如，在法线信息生成装置100具有闪光机构，且一边进行闪光一边进行拍摄的情况下)，也可以利用如图17所示的镜面反射分量的偏振度。如图17所示，在镜面反射分量中，偏振度由入射角和折射率来唯一确定。因此，在被摄体的折射率和光源方向向量L已知的情况下，只要将根据推定的法线方向向量和图17求出的推定的偏振度与由偏振信息获取部103求出的测量的偏振度进行比较，并利用其差值变小的约束即可。此时，通过与假设所述漫反射分量的情况的约束条件组合，能够进行法线方向向量候补nc1～nc4的评价。利用了这样的偏振度信息的约束条件，在能正确地获取偏振度信息的情况下是有效的。这是指求出的偏振度较高的情况、或不发生多重反射且被摄体是凸形 状的情况。

[0420] 当然，也可以将法线方向向量候补nc1～nc4与根据测量出的偏振度ρ采用图17及18而求出的偏振度由来法线方向向量进行比较，并利用其差值变小的约束条件。此时，由于根据图17求出两个偏振度由来法线方向向量，所以在法线方向向量候补nc1～nc4与各偏振度由来法线方向向量的差分值中，只要利用使更小的差分值变小的约束条件即可。利用了这样的偏振度信息的约束条件，在能够正确地获取偏振度信息的情况下是有效的。
这是指求出的偏振度较高的情况、或不发生多重反射，且被摄体是凸形状的情况。 [0421] 当然，作为其它约束条件，也可以利用纵深信息。这样的纵深信息是利用立体对应获取部104求出的图像间的对应关系来求出的。如上所述，第一摄像元件202和第二摄像元件202-2进行了校准处理，其内部参数或外部参数是已知的。因此，能够根据立体对应获取部104获取到的立体对应信息，求出被摄体的纵深信息。而且，能够根据求出的纵深信息求出法线方向。这个例如可以利用非专利文献1的技术。具体而言，进行以下的处理。 [0422] 首先，将在参考点P附近存在的n点的附近点的三维位置坐标设为(Xi，Yi，Zi)。
其中，i是1≤i≤n。这些点通过利用立体对应获取部104求出的对应信息和第一摄像元件202、第二摄像元件202-2的内部参数和外部参数来获取。接着，由下式计算附近n点的协方差矩阵C。

[0423] [式34]

[0424]

[0425] 其中，(Xa，Ya，Za)是附近n点的重心位置坐标。此时，参考点P的纵深由来法线方向向量nd，被求出为与协方差矩阵C的最小固有值对应的固有向量。

[0426] 如上所述，如此求出的纵深由来法线方向向量nd不是高精度的。但是，作为概要的法线是能够利用的。因此，最佳法线选择部108，从四个法线方向向量候补nc1～nc4之中，将与纵深由来法线方向向量nd最接近 的候补选择为法线方向向量n。

[0427] 利用了这样的纵深信息的约束条件，由于能够在被摄体的广泛区域中利用，所以非常有效。

[0428] 最佳法线选择部108，通过利用以上的约束条件的至少一个，并利用图像整体的法线方向向量的连续性，来求出最佳法线方向向量。

[0429] 图37是表示本实施方式中的法线信息生成装置100的处理的流程的流程图。而且，在图37中，与图7共同的步骤被赋予与图7相同的符号，并省略其详细的说明。 [0430] 首先，第一偏振图像摄像部102，通过第一模式偏振片201由第一摄像元件202感光被摄体，由此获取包括偏振信息的图像即第一偏振图像(步骤S101)。第一偏振信息获取部103，利用第一偏振图像摄像部102所拍摄的第一偏振图像的亮度变化，来生成第一偏振信息(步骤S102)。第一法线1自由度推定部116，利用在偏振信息获取部103中生成的偏振信息，按照每个像素，推定对应的被摄体表面的法线1自由度候补φnd1、φns1(步骤S117)。接着，第二偏振图像摄像部102-2，通过第二模式偏振片201-2由第二摄像元件202-2感光被摄体，由此获取包括偏振信息的图像即第二偏振图像(步骤S103)。第二偏振信息获取部103-2，利用第二偏振图像摄像部102-2所拍摄的第二偏振图像的亮度变化来生成第二偏振信息(步骤S104)。第二法线1自由度推定部116-2，利用在偏振信息获取部103-2中生成的偏振信息，按照每个像素，推定在对应的被摄体表面上的法线1自由度候补φnd2、φns2(步骤S118)。在此，步骤S101～步骤S102及步骤117，和步骤S103～步骤S104及步骤118的顺序是任意的，可以并行执行，当然，也可以依次执行。立体对应获取部104，利用在偏振图像摄像部102(102-2)中求出的偏振图像、在偏振信息获取部
103(103-2)中求出的偏振信息中的至少一个，在立体偏振图像摄像部101获取到的多个偏振图像中，推定每个像素的对应关系(步骤S105)。通过利用立体对应获取部104获取到的图像的对应关系来统一第一法线自由度推定部116推定的法线1自由度候补φnd1、φns1和第二法线1自由度推定部116-2推定的法线1自由度候补φnd2、φns2，来推定法线方向向量候补nc1～nc4(步骤S119)。最佳法线选择部108，利用法线方向 向量的连续性等，从法线方向向量候补nc1～nc4中选择最佳的法线方向向量n(步骤S120)。

[0431] 本实施方式中的搭载了法线信息生成装置100的照相机，与实施方式1的照相机200(图5)相同。因此，省略详细的说明。

[0432] 而且，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2，分别单独设置了偏振信息获取部103，但当然也可以作为同一模块来实现。 [0433] 此外，在本实施方式中，虽然针对第一偏振信息获取部103和第二偏振信息获取部103-2，分别单独设置了法线1自由度推定部116，但当然也可以作为同一模块来实现。 [0434] 如上所述，通过利用被摄体的偏振信息，将假设了镜面反射分量和漫反射分量两者的法线1自由度候补进行最佳统一，从而按照每个像素生成法线信息，所以能够在广泛区域中被动地推定高精度的法线信息。

[0435] (第四实施方式)

[0436] 接着，对本发明的第四实施方式中的法线信息生成装置进行说明。 [0437] 图38是表示本实施方式中的法线信息生成装置100的结构的功能方框图。该法线信息生成装置100具有可靠性推定部109，并对法线信息生成部127能够正确地推定法线信息的区域和可靠性低的区域进行推定。法线信息生成部127，根据可靠性推定部109推定的可靠性结果来切换法线信息推定处理，由此推定法线方向向量。而且，对与第一实施方式中的法线信息生成装置100相同的结构要素赋予与图4相同的符号，并省略其说明。 [0438] 可靠性推定部109，对法线信息生成部127推定的法线方向向量的可靠性进行评价。这个可以根据第一法线1自由度推定部106和第二法线1自由度推定部106-2所推定的法线1自由度信息进行推定。

[0439] 图39是用于说明所推定的法线方向向量的可靠性的示意图。如图23所示，第一实施方式的法线信息生成部107，作为从各偏振图像求出的入出射面S1、S2的交线而求出法线方向向量n。但是，在满足以下条件时，入出射面S1、S2的交线不是唯一值，法线方向向量n不确定。

[0440] [法线方向向量n的推定成为不确定的条件]

[0441] 参考点P的法线方向向量存在于通过以下三点的平面上。

[0442] ·摄像元件202的焦点位置。

[0443] ·摄像元件202-2的焦点位置。

[0444] ·参考点P。

[0445] 在上述条件下，入出射面S1、S2成为同一平面S12，作为其交线不能唯一地求出法线方向向量。因此，可靠性推定部109对入出射面S1与入出射面S2形成的入出射面角进行计算，当入出射面角大时判断为具有可靠性，当入出射面角小时判断为没有可靠性。 [0446] 法线信息生成部127，根据可靠性推定部109推定的可靠性信息，切换法线方向向量推定处理。

[0447] 图40、图41是表示本实施方式中的法线信息生成装置100的处理的流程的流程图。而且，在图40、图41中，对与图7共同的步骤赋予相同的符号，并省略其详细的说明。 [0448] 可靠性推定部109，将入出射面角φs计算为第一法线1自由度推定部106推定的入出射面S1与第二法线1自由度推定部106-2推定的入出射面S2形成的角度(步骤S130)。其中，入出射面角φs的值域是[0，π]。

[0449] 对入出射面角的计算方法进行说明。图42是用于说明入出射面角的计算方法的示意图。将第一摄像元件202的照相机坐标系C1设为xc1-yc1-zc1，将第二摄像元件202-2的照相机坐标系C2设为xc2-yc2-zc2。此外，任一坐标系均与图30相同，照相机左右方向是x方向，照相机上下方向是y方向，照相机光轴方向是z方向。此外，将表示从照相机坐标系C2向照相机坐标系C1的变换的旋转矩阵设为Rc2-c1。而且，法线1自由度φn或偏振相位φmax设定为-yc方向为0(rad)、xc方向为π/2(rad)。此时，若将第一法线1自由度推定部106-2求出的法线1自由度设为φn1，将第二法线1自由度推定部106-2求出的法线1自由度设为φn2，则入出射面角φs由下式求出。

[0450] [式35]

[0451]

[0452] 其中，min[A，B]是选择A与B的最小值的运算符，如上所述，起 因于φn1、φn2-1具有180度的不确定性。此外，Cos (x)在-1≤x≤1时，取[0，π]的范围。此外，式35中，nφ1、nφ2是入出射面S1、S2的法线方向向量。其中，若注意到nφ1、nφ2是面的倾斜角，则nφ1、nφ2由下式表示。

[0453] [式36]

[0454]

[0455] [式37]

[0456]

[0457] 可靠性推定部109，对入出射面角φs的大小进行评价(步骤S131)。即，可靠性推定部109，将入出射面角φs的大小与阈值Thφs进行比较。其结果，当入出射面角φs的大小大于阈值Thφs时(步骤S131“是”)，如上所述，法线信息生成部127，利用立体对应获取部104获取到的图像的对应关系来统一法线1自由度推定部106、106-2推定的法线1自由度，由此推定法线方向向量(步骤S109)，结束处理。另一方面，当入出射面角φs的大小在阈值Thφs以下时(步骤S131“否”)，可靠性推定部109判断为法线1自由度信息没有可靠性，法线信息生成部127不进行基于统一法线1自由度推定部106、106-2的法线方向向量的推定。法线信息生成部127，在这样的区域中，利用附近的求出的法线方向向量，例如，通过进行内插处理，获取法线方向向量(步骤S132)。

[0458] 此外，入出射面角φs的阈值Thφs可以通过实验来决定，例如，可以设定为3(deg)。

[0459] 当然，法线信息生成部127，在步骤S132中，可以不利用附近的法线方向向量来获取法线方向向量，而例如，可以利用前述的纵深由来法线方向向量nd。

[0460] 当然，可靠性推定部129，例如，可以根据偏振信息获取部103推定的偏振信息来评价可靠性。在此，说明通过对偏振信息获取部103推定的偏振信息和法线信息生成部147生成的法线方向向量n进行比较来评价可靠性的处理。

[0461] 图43是表示本实施方式中的法线信息生成装置100的结构的功能方框图。对与第一实施方式中的法线信息生成装置100相同的结构要素，赋予与图4相同的符号，并省略其说明。

[0462] 本实施方式中的法线信息生成装置100中的法线信息生成部147，首先，进行与第一实施方式的法线信息生成部107相同的处理，来推定法线方向向量n。可靠性推定部129，通过将法线信息生成部147生成的法线方向向量n与偏振信息获取部103推定的偏振信息进行比较，对法线方向向量n的可靠性进行评价。法线信息生成部147，废弃由可靠性推定部129评价为没有可靠性的法线方向向量n，并通过利用附近求出的法线方向向量，例如，进行内插处理，来获取法线方向向量。

[0463] 其中，通过利用偏振度ρ作为偏振信息，对评价可靠性的方法进行说明。首先，如上所述，认为光源方向及被摄体的折射率已知。若着眼于通过区域分割部105对像素进行区域分割且区域分割为镜面反射分量或漫反射分量，则根据前述的图17、图18，能够根据法线方向向量n推定偏振度ρe。即，当像素为镜面反射分量时，根据参考点的法线方向向量方向n及光源方向，求出入射角。根据图17，若入射角与被摄体的折射率已知，则偏振度ρe能够推定。另一方面，像素为漫反射分量时，根据参考点的法线方向向量方向n及式33，求出出射角。根据图18，若出射角与被摄体的折射率已知，则偏振度ρe能够推定。在此，若区域分割部105的区域分割结果及法线信息生成部147的法线方向向量n推定结果正确，则偏振信息获取部103求出的偏振度ρ与所推定的偏振度ρe成为足够近似的值。
因此，可靠性推定部129，计算ρ与ρe的差分值，并在其差分值大时判断为可靠性低，在差分值小时判断为可靠性高。

[0464] 图44及45是表示本实施方式中的区域分割部105的处理的流程的流程图。而且，在图44及45中，与图7及图41共同的步骤被赋予与图7及图41相同的符号，并省略其详细的说明。

[0465] 首先，法线信息生成装置100，进行与第一实施方式相同的处理，推定法线方向向量n(步骤S101～S109)。可靠性推定部129，如上所述，通过利用所述法线方向向量n与图17及18，推定偏振度ρe(步骤S135)。可靠性推定部129，通过对偏振信息获取部103所求出的偏振度与所推定 的偏振度ρe进行比较，来评价可靠性(步骤S136)。在此，当偏振信息获取部103求出的偏振度ρ与所推定的偏振度ρe足够相近时(步骤S136“是”)，可靠性推定部129判断为法线方向向量n可靠性足够高，结束处理。另一方面，当偏振信息获取部103求出的偏振度ρ与所推定的偏振度ρe有很大不同时(步骤S136“否”)，可靠性推定部129判断为法线方向向量n没有可靠性，法线信息生成部147不进行基于统一法线1自由度推定部106、106-2的法线方向向量的推定。法线信息生成部147，在这样的区域中，通过利用附近的求出的法线方向向量，例如，进行内插处理，来获取法线方向向量(步骤S132)。

[0466] 搭载本实施方式中的法线信息生成装置100的照相机与实施方式1的照相机200(图5)相同，因此，省略详细的说明。

[0467] 如上所述，通过利用被摄体的偏振信息，将假设了镜面反射分量和漫反射分量两者的法线1自由度候补利用可靠性进行最佳统一，并按照每个像素生成法线信息，所以能够在广泛区域中被动地推定高精度的法线信息。

[0468] (第五实施方式)

[0469] 接着，对本发明的第五实施方式中的法线信息生成装置进行说明。 [0470] 与第四实施方式中的法线信息生成装置不同的是，不根据法线方向向量来评价可靠性，而根据区域分割部中的区域分割结果来评价可靠性。

[0471] 基于本实施方式的法线信息生成装置的处理，与图38所示的第四实施方式的法线信息生成装置的处理相同。本实施方式中的法线信息生成装置中的可靠性推定部109，不根据法线信息生成部127推定的法线方向向量来评价可靠性，而根据区域分割部105的区域分割结果来评价可靠性。在此，对利用阴影区域的处理进行说明。

[0472] 在阴影区域中，光线变得复杂，偏振信息的可靠性丧失。因此，在本实施方式的法线信息生成装置100中，通过区域分割部115，对阴影区域进行区域分割，可靠性推定部109将阴影区域判断为可靠性低的区域。

[0473] 图46是表示本实施方式中的法线信息生成装置100的结构的功能方框图。该法线信息生成装置100中的第一区域分割部115及第二区域分割部115-2，将图像分割成镜面反射分量区域、漫反射分量区域及阴影区域。 可靠性推定部119，根据通过第一区域分割部115及第二区域分割部115-2获取到的区域分割结果，来推定法线信息生成部137能够正确地推定法线信息的区域和可靠性低的区域。法线信息生成部137，通过由可靠性推定部119推定的可靠性结果来切换法线信息推定处理，由此推定法线方向向量。而且，对与第一实施方式中的法线信息生成装置100相同的结构要素，赋予与图4相同的符号，并省略其说明。 [0474] 区域分割部115，利用偏振信息获取部103生成的偏振信息及/或偏振图像摄像部
102获取到的亮度信息，对图像进行区域分割，并区域分割成漫反射区域、镜面反射区域及阴影区域。在此，着眼于阴影区域是亮度值低，且相对于照相机的移动，阴影是不变的。这样，立体照相机中的镜面反射分量区域、漫反射分量区域及阴影区域，能够以如下的方式进行分割。

[0475] [式38]

[0476] if Ic1＜Ths or Ic2＜Ths

[0477] then第一偏振图像、第二偏振图像都是阴影区域；

[0478] else if Ic1＞T·Ic2

[0479] then第一偏振图像是镜面反射分量、第二偏振图像是漫反射分量； [0480] else if Ic2＞T·Ic1

[0481] then第一偏振图像是漫反射分量、第二偏振图像是镜面反射分量； [0482] Else

[0483] then第一偏振图像、第二偏振图像都是漫反射分量。

[0484] 其中，T表示与原来的Lambertian模型偏离了多少的阈值，Ths是阴影的阈值。本来，阴影的亮度值应是0，但由于暗电流或环境光等的影响，不会成为0。这样的阈值，可以由实验决定。

[0485] 图47是表示上述区域分割基准的示意图。

[0486] 当然，区域分割部105也可以不利用图像的亮度值，而将由偏振信息获取部103及103-2获取到的偏振最大亮度值Imax或偏振最小亮度值Imin、或者偏振最大亮度值Imax与偏振最小亮度值Imin的平均值或加权和(例如，Imax+2·Imin或Imax+Imin)等作为Ic1、Ic2来利用。如上所述，在利用偏振最小亮度值Imin时，能够减小发光分量的影响。此外， Imax+Imin是与未设置偏振片时拍摄的图像等效的图像。因此，通过利用该平均值来进行图像处理，能够进行与不利用通常的偏振时同样的处理。

[0487] 可靠性推定部119对法线信息生成部137推定的法线方向向量的可靠性进行评价。这个只要对由区域分割部115分割的区域是阴影区域还是非阴影区域进行判断即可。 [0488] 法线信息生成部137，根据可靠性推定部119推定的可靠性信息，来切换法线方向向量的推定处理。

[0489] 图48及49，表示本实施方式中的法线信息生成装置100的处理的流程的流程图。而且，在图48及49中，对与图40及41共同的步骤赋予与图40及41相同的符号，并省略其详细的说明。

[0490] 区域分割部115，通过利用第一偏振信息获取部103及第二偏振信息获取部103-2生成的第一偏振信息、第二偏振信息、及/或第一偏振图像摄像部102及第二偏振图像摄像部102-2获取到的第一亮度信息、第二亮度信息，从而根据图47的区域分割基准，对第一图像、第二图像进行区域分割，并区域分割成漫反射区域、镜面反射区域及阴影区域(步骤S116)。

[0491] 可靠性推定部119，通过对区域分割部115所分割的区域分割结果是阴影区域或不是阴影区域进行判断，来判断推定的法线方向向量的可靠性(步骤S 133)。其结果，参考像素不是阴影区域时(步骤S133“否”)，如上所述，法线信息生成部137，通过利用立体对应获取部104获取到的图像的对应关系来统一法线1自由度推定部106、106-2推定的法线1自由度，从而推定法线方向向量(步骤S109)，结束处理。参考像素是阴影区域时(步骤S133“是”)，可靠性推定部119判断为法线1自由度信息中没有可靠性，法线信息生成部137不进行基于统一法线1自由度推定部106、106-2的法线方向向量的推定。法线信息生成部137，在这样的区域中，通过利用附近的求出的法线方向向量，例如，进行内插处理，从而获取法线方向向量(步骤S132)。

[0492] 此外，通过利用偏振信息，还可以将阴影区域分割为附属阴影(attached shadow)区域和投影阴影(cast shadow)区域。attached shadow区域被称为“阴区域”，cast shadow区域被称为“影区域”。在cast shadow 区域中，光线变得复杂，偏振信息的可靠性丧失。另一方面，在attachedshadow区域中，表示与镜面反射分量相近的偏振特性。 [0493] 因此，在本实施方式的法线信息生成装置100中，通过区域分割部，将阴影区域区域分割为attached shadow区域和cast shadow区域，可靠性推定部109将cast shadow区域判断为可靠性低的区域。对该处理进行详述。

[0494] 首先，对attached shadow和cast shadow进行说明。图50是用于说明attached shadow和cast shadow这样的阴影的分类的示意图。在此，光源304照射位于某面305上的被摄体301。在该图中，符号306和307都表示有阴影。符号306是由于被摄体301的法线未朝向光源304而产生的attached shadow，符号307是在305中由于光被遮挡物即被摄体301遮挡而产生的cast shadow。

[0495] 接着，对attached shadow和cast shadow的偏振特性的不同进行说明。首先，假设：在满足了在地上拍摄的几乎所有摄像场景中都成立的以下条件1的拍摄场景中进行拍摄。

[0496] 条件1：“在被摄体存在的拍摄场景中，在附近存在具有广阔面的物体，从某广阔面在与被摄体相反的方向上存在光源”。

[0497] 其例如在以下那样的拍摄场景中成立。

[0498] 1.在室内场景中，在桌子上放置有被摄体即球。

[0499] 此外，该球被设置在天花板上的荧光灯照射。

[0500] 2.在室内场景中，被摄体即人物坐在位于地面上的椅子上。此外，该人被从窗户射入的太阳光照射。

[0501] 3.在室外场景中，被摄体即汽车，在道路上行驶。该被摄体被太阳光照射。 [0502] 此外，由于壁或建筑物具有广阔面，所以，在地上拍摄的几乎所有拍摄场景中该条件成立。

[0503] 该条件1成立时，首先，考虑attached shadow。如图50所示，attachedshadow是由于被摄体的法线朝向与光源相反的方向而产生的阴影。在此，根据条件1，若考虑到与光源相反方向存在广阔面，并且在阴影区域中实际上存在多数绕回光(多重反射光)，则认为在attached shadow中，从各 个方向入射了多重反射光。即，认为存在相对于attached shadow产生的像素的法线成为正反射的多重反射光。图51是表示该情形的示意图。 [0504] 然而，被摄体表面的反射特性，公知是表现为发光即镜面反射分量与不光滑的反射分量即漫反射分量之和。漫反射分量是对被摄体照明的光源位于任何方向上都被观测到的分量，而镜面反射分量是仅当光源位于与被摄体的法线方向和视线方向几乎正反射方向上时才被观测到的分量，是方向依存性很强的分量。这个对于偏振特性也成立。 [0505] 公知：在被摄体是产生发光即镜面反射的物体的情况下，当从所有方向照射光时，被摄体会很强地受到由正反射分量即镜面反射产生的影响(例如，涉及透明物体，齐藤ぬぐみ，佐藤洋一，池内克史，柏木宽，“基于高亮度(highlight)的偏振分析的透明物体的表面形状测定”，电子信息通信学会论文杂志D-II，Vol.J82-D-II，No.9，pp.1383-1390，1999)。因此，attached shadow具有镜面反射的偏振特性。

[0506] 根据表示镜面反射分量和漫反射分量的偏振度的前述图17及18可知，当从所有的方向射入光时，与漫反射分量相比，镜面反射分量的偏振度变高。根据这个，作为偏振特性也推测为镜面反射分量成为支配性的。

[0507] 此外，在去除了出射角接近90°的遮挡边缘等时，由图17及18可知，镜面反射分量与漫反射分量相比，偏振度高。因此，表示镜面反射分量的反射特性的attached shadow，其偏振度会相对变高。

[0508] 接着，针对cast shadow来考虑。如图50所示，cast shadow是由于光被某一遮挡物遮挡而产生的阴影。在此，若考虑条件1，则cast shadow会变得易于发生在具有与广阔面接近的法线方向的面上。因此，多重反射光与attached shadow相比，仅从有限的方向射入。据此，认为在正反射方向上存在光源的可能性低。图52是表示该情形的示意图。 [0509] 而且，如图18所示，漫反射分量的偏振度相对较低。据此，可知cast shadow的偏振分量变得比较小。在阴影区域中，其亮度自身变小，所以对小的偏振分量进行推定是非常困难的。因此，cast shadow的偏振推定误差会变得非常大。

[0510] 综上所述，阴影区域的偏振特性被分类如下。

[0511] ○attached shadow

[0512] ·偏振度高、偏振推定误差小。

[0513] ·在多数情况下，表示镜面反射特性。

[0514] ○cast shadow

[0515] ·偏振度低、偏振推定误差大。

[0516] ·在多数情况下，表示漫反射特性。

[0517] 通过利用该分类基准，将阴影分割为attached shadow和cast shadow。 [0518] 图53表示在图47的图像分类基准下，针对阴影区域和被分割的区域的阴影区域分割基准。此外，图54是表示针对阴影区域和被分割的区域的区域分割部115的处理的流程的流程图。

[0519] 当判断为像素是阴影区域时，区域分割部115，对由偏振信息获取部103获取到的偏振度ρ的大小进行评价(步骤S141)。即，区域分割部115，对偏振度ρ的大小和阈值Thρ进行比较。其结果，当偏振度ρ的大小在阈值Thρ以上时(步骤S141“否”)，区域分割部115将像素判断为attached shadow(步骤S142)，结束处理。另一方面，当偏振度ρ的大小小于阈值Thρ时(步骤S141“是”)，区域分割部115将像素判断为castshadow(步骤S143)，结束处理。此时的偏振度的阈值Thρ，可以根据被摄体的折射率或被摄体的法线方向、光源方向、视线方向等进行设定。如图17及18所示，被摄体的镜面反射分量偏振度或漫反射分量偏振度若求出折射率和入射角、出射角，则能够唯一决定。因此，只要利用由图17及18求出的镜面反射分量偏振度或漫反射分量偏振度作为Thρ即可。此外，当不能获取被摄体的折射率或被摄体的法线方向、光源方向、视线方向等的信息时，也可以基于漫反射分量偏振度可取的最大值，决定为阈值Thρ。例如，若假设折射率2.0以上的被摄体不存在，则根据图18，漫反射分量偏振度的最大值可考虑为0.6左右，所以，作为阈值Thρ，只要设定0.8左右即可。

[0520] 当然，也可以通过实验来决定偏振度的阈值Thρ。

[0521] 如上所述，通过利用图47及53的区域分割基准，区域分割部115将图像分割为漫反射区域、镜面反射区域、attached shadow及cast shadow。

[0522] 当然，将阴影区域分割为attached shadow和cast shadow的基准，不局限于偏振推定误差信息，例如，也可以是偏振度信息。对该处理进行详 述。

[0523] 图55表示在图47的图像分类基准中，针对阴影区域和被分割的区域的阴影区域分割基准。此外，图56是表示针对阴影区域和被分割的区域的区域分割部115的处理的流程的流程图。

[0524] 当判断为像素是阴影区域时，区域分割部115对由偏振信息获取部103获取到的偏振推定误差E的大小进行评价(步骤S141)。即，区域分割部115，对偏振推定误差E的大小和阈值Th_Err进行比较。其结果，当偏振推定误差E的大小在阈值Th_Err以下时(步骤S144“否”)，区域分割部115将像素判断为attached shadow(步骤S142)，结束处理。另一方面，当偏振推定误差E的大小大于阈值Th_Err时(步骤S144“是”)，区域分割部115将像素判断为cast shadow(步骤S143)，结束处理。此时的阈值Th_Err只要将拍摄图像的亮度值或(式1)的振幅分量A、偏置分量C决定为基准即可。例如，当以振幅分量A为基准来决定阈值Th_Err时，可以按下式决定。

[0525] [式39]

[0526] Th_Err＝(Th_E)2·(2A)2·N

[0527] 此式表示偏振推定误差E相对于振幅分量A不同到何种程度。其中，Th_E是恰当的正的常数，可以由实验决定，例如，可以设定为0.3。此外，N是前述的样品数。 [0528] 如上所述，通过利用图47及55的区域分割基准，区域分割部115，将图像分割为漫反射区域、镜面反射区域、attached shadow及cast shadow。

[0529] 法线1自由度推定部106，如上所述，按照由区域分割部115分割的每个区域，利用在偏振信息获取部103生成的偏振信息，推定对应的被摄体表面的法线1自由度。此时，在区域分割部115中，attached shadow与被分割的像素，作为镜面反射分量，通过式25来计算法线1自由度信息φn。

[0530] 可靠性推定部119对法线信息生成部137推定的法线方向向量的可靠性进行评价。这个只要对由区域分割部115分割的区域是不是castshadow进行判断即可。 [0531] 法线信息生成部137根据可靠性推定部119所推定的可靠性信息，来切换对法线方向向量的推定处理。

[0532] 图48及57，表示本实施方式中的法线信息生成装置100的处理的流程的流程图。而且，在图57中，对与图49共同的步骤赋予与图49相同的符号，并省略其详细的说明。 [0533] 可靠性推定部119通过判断由区域分割部115分割的区域分割结果是不是cast shadow来判断所推定的法线方向向量的可靠性(步骤S134)。其结果，当参考像素不是cast shadow区域时(步骤S134“否”)，如上所述，法线信息生成部137，通过利用由立体对应获取部104获取到的图像的对应关系来统一由法线1自由度推定部106、106-2所推定的法线
1自由度，从而推定法线方向向量(步骤S109)，结束处理。当参考像素是castshadow时(步骤S134“是”)，可靠性推定部119，对法线1自由度信息判断为没有可靠性，法线信息生成部137不进行基于统一法线1自由度推定部106、106-2的法线方向向量的推定。法线信息生成部137，在这样的区域中，通过利用附近的求出的法线方向向量，例如，进行内插处理，来获取法线方向向量(步骤S132)。

[0534] 搭载本实施方式中的法线信息生成装置100的照相机，与实施方式1的照相机200(图5)相同。因此，省略详细的说明。

[0535] 当然，可靠性推定部109也可以不利用阴影区域，例如，可以利用多重反射区域。在多重反射区域中，光线变得复杂，偏振信息的可靠性丧失。于是，在本实施方式的法线信息生成装置100中，通过区域分割部115，对多重反射区域进行区域分割，且可靠性推定部
109将多重反射区域判断为可靠性低的区域。

[0536] 为了通过区域分割部115对多重反射区域进行区域分割，例如，可以利用颜色信息。一般而言，漫反射分量的颜色向量等于物体颜色，镜面反射分量的颜色向量等于光源颜色。在此，作为多重反射而考虑2次反射。所谓2次反射，表示来自光源的光在区域A反射，该反射光进一步照射区域B，而观测到该区域B的状态。这种情况下，当在区域A产生了漫反射，且在区域B产生了镜面反射时，在区域B观测的颜色向量变得与区域A的物体颜色向量相等。在此，假设：非偏振分量的颜色向量与区 域A的物体颜色向量几乎相等。此时，在区域B观测到的偏振分量的颜色向量也与区域B的非偏振分量的颜色向量不同，并且当与光源颜色向量也不同时，能够判断为在区域B中产生了多重反射。

[0537] 如上所述，由于通过利用被摄体的偏振信息，并利用可靠性最佳地统一假设了镜面反射分量与漫反射分量两者的法线1自由度候补，从而按照每个像素生成法线信息，所以能够针对广阔区域被动地推定高精度的法线信息。

[0538] (第六实施方式)

[0539] 接着，对本发明的第六实施方式中的法线信息生成装置进行说明。 [0540] 图58是表示本实施方式中的法线信息生成装置100的结构的功能方框图。该法线信息生成装置100具有3视野以上的立体偏振图像摄像部111，并获取视点不同的三张以上的偏振图像(第一偏振图像、第二偏振图像、第三偏振图像)。因此，法线信息生成部157，例如，根据第一偏振图像与第二偏振图像而生成法线方向向量候补n12，根据第一偏振图像与第三偏振图像而生成法线方向向量候补n13，根据第二偏振图像与第三偏振图像而生成法线方向向量候补n23。针对如此求出的多个法线方向向量候补，最佳法线选择部118通过评价其妥当性，来选择法线方向向量。当利用了仅两视野的立体偏振图像摄像部101时，如上所述，根据照相机与参考点的三维配置及参考点的法线方向向量的关系，存在法线方向向量n的推定不确定的情况。本实施方式的法线信息生成装置100，通过利用三视野以上的立体偏振图像摄像部111，会解决此问题。而且，对与第一实施方式中的法线信息生成装置100相同的结构要素，赋予与图4相同的符号，并省略其说明。

[0541] 立体对应获取部114，在三视野以上的立体偏振图像摄像部111所获取的三视点以上的第一偏振图像、第二偏振图像及第三偏振图像中，推定每个像素的对应关系。这个只要针对三视点以上的偏振图像进行前述的图15所示的处理即可。

[0542] 第一区域分割部105、第二区域分割部105-2及第三区域分割部105-3，利用第一偏振信息获取部103、第二偏振信息获取部103-2及第三偏振信息获取部103-3生成的第一偏振信息、第二偏振信息及第三偏振信 息，或第一偏振图像摄像部102、第二偏振图像摄像部102-2及第三偏振图像摄像部102-3获取的第一亮度信息、第二亮度信息及第三亮度信息，对第一图像、第二图像及第三图像进行区域分割，并区域分割成漫反射区域和镜面反射区域。这个只要针对第一图像与第二图像，及/或第一图像与第三图像，及/或第二图像与第三图像，依次或并行进行所述区域分割处理即可。

[0543] 法线信息生成部157，通过利用在立体对应获取部114获取到的图像的对应关系来统一法线1自由度推定部106、106-2及106-3所推定的法线1自由度，从而推定多个法线方向向量候补。本实施方式的法线信息生成装置100具有三视野以上的立体偏振图像摄像部111。因此，例如，根据第一偏振图像与第二偏振图像而生成法线方向向量候补n12，根据第一偏振图像与第三偏振图像而生成法线方向向量候补n13，根据第二偏振图像与第三偏振图像而生成法线方向向量候补n23。

[0544] 最佳法线选择部118，通过从三个法线方向向量候补n12、n13及n23中选择最佳者，来推定法线方向向量。最佳法线选择部118由于从多个法线方向向量候补中选择最佳者，所以利用由法线1自由度推定部106所推定的法线1自由度信息。对该处理进行说明。 [0545] 如上所述，当满足以下条件时，根据两视野的立体偏振图像求出的入出射面S1、S2的交线无法唯一地求出，法线方向向量n会不确定。

[0546] [法线方向向量n的推定成为不确定的条件]

[0547] 参考点P的法线方向向量存在于通过以下三点的平面上：

[0548] ·摄像元件202的焦点位置；

[0549] ·摄像元件202-2的焦点位置；

[0550] ·参考点P。

[0551] 在此，最佳法线选择部118，首先，按照前述的式35来计算根据第一偏振图像求出的入出射面S1与根据第二偏振图像求出的入出射面S2及根据第三偏振图像求出的入出射面S3分别形成的入出射面角。其中，将根据入出射面S1和入出射面S2求出的入出射面角设为φs12，将根据入出射面S1和入出射面S3求出的入出射面角设为φs13，将根据入出射面S2和入出射面S3求出的入出射面角设为φs23。在如此求出的入出射 面角φs12、φs13及φs23中，选择值最大的照相机组。从如此选择出的照相机组中，如上所述那样获取法线方向向量n。如此获取到的法线方向向量n，最不适合上述推定成为不确定的条件，即，能够判断为可靠性最高的法线方向向量。

[0552] 图59及60是表示本实施方式中的法线信息生成装置100的处理的流程的流程图。而且，在图59及60中，与图7共同的步骤被赋予与图7相同的符号，并省略其详细的说明。

[0553] 首先，第一偏振图像摄像部102，通过第一模式偏振片201由第一摄像元件202感光被摄体，获取包括偏振信息的图像即第一偏振图像(步骤S101)。第一偏振信息获取部103利用第一偏振图像摄像部102所拍摄的第一偏振图像的亮度变化来生成第一偏振信息(步骤S102)。第二偏振图像摄像部102-2，通过第二模式偏振片201-2由第二摄像元件
202-2感光被摄体，获取包括偏振信息的图像即第二偏振图像(步骤S103)。第二偏振信息获取部103-2，利用第二偏振图像摄像部102-2所拍摄的第二偏振图像的亮度变化来生成第二偏振信息(步骤S104)。第三偏振图像摄像部102-3，通过第三模式偏振片201-3由第三摄像元件202-3感光被摄体，获取包括偏振信息的图像即第三偏振图像(步骤S401)。
第三偏振信息获取部103-3，利用第三偏振图像摄像部102-3所拍摄的第三偏振图像的亮度变化来生成第三偏振信息(步骤S402)。其中，步骤S101～步骤S102、步骤S103～步骤S104、及步骤S401～步骤S402的顺序是任意的，可以并行执行，当然，也可以依次执行。立体对应获取部114，在立体偏振图像摄像部11获取到的第一偏振图像、第二偏振图像及第三偏振图像中，推定每个像素的对应关系(步骤S403)。第一区域分割部105、第二区域分割部105-2及第三区域分割部105-3，利用第一偏振信息获取部103、第二偏振信息获取部
103-2及第三偏振信息获取部103-3生成的第一偏振信息、第二偏振信息及第三偏振信息，及/或第一偏振图像摄像部102、第二偏振图像摄像部102-2及第三偏振图像摄像部102-3所获取的第一亮度信息、第二亮度信息及第三亮度信息，对第一图像、第二图像及第三图像进行区域分割，并区域分割成漫反射区域及镜面反射区域(步骤S404)。这个只要针对第一图像与第二图像，及/或第一图像与第三图像，及/或第 二图像与第三图像，依次或并行进行所述区域分割处理即可。第一法线1自由度推定部106，通过利用偏振信息获取部103生成的第一偏振信息，按照第一区域分割部105分割的每个区域进行不同的处理，从而推定入出射面S1作为对应的被摄体表面的法线1自由度信息(步骤S107)。第二法线1自由度推定部106-2，通过利用偏振信息获取部103-2生成的第二偏振信息，按照第二区域分割部
105-2分割的每个区域进行不同的处理，从而推定入出射面S2作为对应的被摄体表面的法线1自由度信息(步骤S108)。第三法线1自由度推定部106-3，通过利用偏振信息获取部
103-3生成的第三偏振信息，按照第一区域分割部105-3分割的每个区域进行不同的处理，从而推定入出射面S3作为对应的被摄体表面的法线1自由度信息(步骤S405)。其中，步骤S107、步骤S108、步骤S405的顺序是任意的，可以并行执行，当然，也可以依次执行。法线信息生成部157，通过利用立体对应获取部114获取到的图像的对应关系来统一由法线1自由度推定部106、106-2及106-3所推定的法线1自由度信息，从而推定三个法线方向向量候补n12、n13及n23(步骤S406)。最佳法线选择部118，从三个法线方向向量候补n12、n13及n23中，通过利用前述的入出射面角信息，从而选择最佳者，并选择被选择的法线方向向量候补作为法线方向向量n(步骤S407)。

[0554] 当然，法线信息生成部157也可以不推定三个法线方向向量候补n12、n13及n23，而可以仅推定两个法线方向向量候补n12及n13。

[0555] 此外，图61是表示搭载本实施方式中的法线信息生成装置100的照相机200的硬件结构例。该照相机200是具有生成法线信息的功能的摄像装置，其具有：三个以上的模式偏振片(第一模式偏振片201、第二模式偏振片201-2及第三模式偏振片201-3)；三个以上的摄像元件(第一摄像元件202、第二摄像元件202-2、第三摄像元件202-3)；存储器203；及CPU204。而且，在图61中，与图5共同的结构要素被赋予与图5相同的符号，不存在新的结构要素，所以省略其详细的说明。

[0556] 图27、65及68是表示通过本实施方式中的法线信息生成部157将所推定的法线方向向量进行可视化后得到的法线图像。如上所述，法线方向向量的各分量具有从-1到1的范围的值，所以在法线图像中，表现为： 法线方向向量的各分量的0为灰色，负方向为黑色，正方向为白色。此外，背景以黑色表示。图27表示在水平方向配置了摄像元件且利用图24(b)和图24(d)的偏振相位，将法线信息生成部157所推定的法线方向向量候补n12进行可视化后得到的法线图像。

[0557] 图27(a)表示法线方向向量候补n12的x分量的法线图像。此外，图27(b)表示法线方向向量候补n12的y分量的法线图像。图27(c)表示法线方向向量候补n12的z分量的法线图像。此外，图28是示意地表示了图27的各图的图(明确了浓淡的图)。 [0558] 以下，对利用本实施方式的法线信息生成装置100的图像生成例进行说明。在示例中，将球体即地球仪作为被摄体。图62表示本申请发明人的拍摄时的照相机200与被摄体的位置关系、及照相机200内的模式偏振片201、201-2及201-3的位置关系。从照相机200到被摄体是160cm，模式偏振片201及201-2的间隔，及模式偏振片201及201-3的间隔是50cm。模式偏振片间的间隔与摄像元件的间隔几乎相同。

[0559] 图63(a)表示将地球仪作为被摄体，通过偏振信息获取部103-3(通过偏振获取部103的上方拍摄)获取到的偏振最大亮度值Imax与偏振最小亮度值Imin之和(Imax+Imin)，图63(b)表示将地球仪作为被摄体，通过偏振信息获取部103-3获取到的偏振偏振相位φmax3(0°为黑，180°为白)。此外，图63(c)及图63(d)是示意地表示图63(a)及图63(b)的图(明确了浓淡的图)。图64(a)及(b)分别表示与图63(c)及(d)所示的图像对应的区域。

[0560] 图65(a)～(c)表示在垂直方向配置摄像元件，且利用图24(b)和图63(b)的偏振相位，将法线信息生成部157所推定的法线方向向量候补n13进行可视化后得到的法线图像。图65(a)表示法线方向向量候补n13的x分量的法线图像。此外，图65(b)表示法线方向向量候补n13的y分量的法线图像。此外，图65(c)表示法线方向向量候补n13的z分量的法线图像。

[0561] 此外，图66(a)～(c)是示意地表示图65(a)～(c)的各图的图(明确了浓淡的图)。图67(a)～(c)分别表示图65(a)～(c)所示的图像与图66(a)～(c)所示的各区域的对应关系。

[0562] 图68(a)～(d)表示将由本实施方式中的最佳法线选择部118选择的最佳法线方向向量n进行可视化后得到的法线图像。图68(a)表示法线方向向量n的x分量的法线图像。此外，图68(b)表示法线方向向量n的y分量的法线图像。图68(c)表示法线方向向量n的z分量的法线图像。图68(d)是按照每个像素表示最佳法线选择部118是否选择了法线方向向量候补n12与法线方向向量n13的其中之一的示意图。在该图中，选择了法线方向向量候补n12的像素表现为白色，选择了法线方向向量候补n13的像素表现为黑色。此外，背景以灰色表示。

[0563] 此外，图69(a)～(d)是示意地表示图68(a)～(d)的各图的图(明确了浓淡的图)。图70(a)～(d)分别表示图68(a)～(d)所示的图像与图69(a)～(d)所示的各区域的对应关系。

[0564] 由于被摄体是球体，所以在表示将摄像元件水平地排列的法线方向向量候补n12的图27中可见，在球体的画面中央部水平区域中，x分量法线图像混乱(图28(a)及图29(a)中的区域G31)。该区域是满足前述“法线方向向量n的推定成为不确定的条件”的区域。另一方面，在表示将摄像元件垂直地排列的法线方向向量候补n13的图65中可见，在球体的画面中央部垂直区域中，y分量法线图像混乱(图66(b)及图67(b)中的区域G42)。
该区域也是满足前述“法线方向向量n的推定成为不确定的条件”的区域。另一方面，根据图68(d)可知，最佳法线选择部118，由于在画面中央部水平区域中选择了法线方向向量候补n13，在画面中央部垂直区域中选择了法线方向向量候补n12，所以回避了“法线方向向量n的推定成为不确定的条件”。因此，可知所生成的法线方向向量n被稳定地推定(参考图68(a)～(c))。

[0565] 如上所述，通过进行镜面反射区域与漫反射区域的区域分割，并利用被摄体的偏振信息，从而通过利用被摄体的偏振信息，并按照每个被分割的区域进行不同的处理，能够针对广阔区域被动地推定高精度的法线信息。

[0566] 当然，最佳法线选择部118，为了从多个法线方向向量候补中选择最佳者，也可以利用在偏振信息获取部103获取到的偏振信息。这个只要利用偏振度ρ即可。这只要对从三个偏振图像(第一偏振图像、第二偏振 图像、及第三偏振图像)求出的偏振度ρ1、ρ2及ρ3的大小进行比较，并选择利用与它们前两位对应的图像而求出的法线方向向量候补作为法线方向向量n即可。这是因为在偏振度低的情况下，偏振信息变得没有可靠性。当偏振度低时，作为偏振信息来获取偏振相位φmax是非常困难的。通过进行利用偏振度的法线方向向量的选择，能够回避上述状态，解决问题是可能的。

[0567] 当然，最佳法线选择部118，为了从多个法线方向向量候补中选择最佳者，也可以利用在偏振信息获取部103获取到的偏振推定误差E。这只要对从三个偏振图像(第一偏振图像、第二偏振图像、及第三偏振图像)求出的偏振推定误差E1、E2及E3的大小进行比较，并选择利用与它们后两位对应的图像求出的法线方向向量候补作为法线方向向量n即可。这是因为在偏振推定误差E大的情况下，偏振信息变得没有可靠性。通过进行利用偏振推定误差的法线方向向量的选择，能够仅利用可靠性高地被推定的偏振相位信息，来生成法线方向向量。

[0568] 当然，最佳法线选择部118，为了从多个法线方向向量候补中选择最佳者，也可以利用在偏振图像摄像部102获取到的偏振图像。这只要对从三个偏振图像(第一偏振图像、第二偏振图像、及第三偏振图像)的参考像素的亮度值的大小进行比较，并选择利用与它们前两位对应的图像求出的法线方向向量候补作为法线方向向量n即可。这是因为考虑到在偏振图像的亮度值低的情况下，亮度分解能变小，偏振信息的可靠性变低。通过进行利用偏振图像的法线方向向量的选择，能够仅利用可靠性高地被推定的偏振相位信息，来生成法线方向向量。

[0569] 当然，法线信息生成部157，也可以不生成多个法线方向向量候补，而仅生成最佳法线选择部118所选择的最佳法线方向向量。

[0570] 图71是表示本实施方式中的法线信息生成装置100的结构的功能方框图。而且，由于所有的构成要素与图58相同，所以赋予与图58相同的符号，并省略其说明。 [0571] 图72是表示本实施方式中的最佳法线选择部118及法线信息生成部157的处理的流程的流程图。

[0572] 首先，最佳法线选择部118，从入出射面S1(由第一偏振图像获取) 与入出射面S2(由第二偏振图像获取)，通过式35计算出入出射面角φs12，并将其设为法线推定可靠度Co_1-2(步骤S501)。接着，最佳法线选择部118，从入出射面S1(由第一偏振图像获取)与入出射面S3(由第三偏振图像获取)，通过式35计算出入出射面角φs13，并将其设为法线推定可靠度Co_1-3(步骤S502)。此外，最佳法线选择部118，从入出射面S2(由第二偏振图像获取)与入出射面S3(由第三偏振图像获取)，通过式35计算出入出射面角φs23，并将其设为法线推定可靠度Co_2-3(步骤S503)。在此，最佳法线选择部118，对法线推定可靠度Co_1-2、Co_1-3及Co_2-3的大小进行比较(步骤S504)。首先，当Co_1-2在Co_1-3以上、并且Co_1-2在Co_2-3以上时(步骤S504“是”)，法线信息生成部157，根据入出射面S1(由第一偏振图像获取)和入出射面S2(由第二偏振图像获取)，来推定法线方向向量n(步骤S505)，结束处理。此外，当Co_1-2小于Co_1-3、或者Co_1-2小于Co_2-3时(步骤S504“否”)，最佳法线选择部118对Co_1-3及Co_2-3的大小进行比较(步骤S506)。当Co_1-3在Co_2-3以上时(步骤S506“是”)，法线信息生成部157根据入出射面S1(由第一偏振图像获取)和入出射面S3(由第三偏振图像获取)来推定法线方向向量n(步骤S507)，结束处理。此外，当Co_2-3大于Co_1-3时(步骤S506“否”)，法线信息生成部157根据入出射面S2(由第二偏振图像获取)和入出射面S3(由第三偏振图像获取)来推定法线方向向量n(步骤S508)，结束处理。

[0573] 以上的说明，虽然对摄像元件202是三个的情况进行了说明，当然也可以利用四个以上的摄像元件。

[0574] 而且，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2及第三偏振图像摄像部102-3，分别单独设置了偏振信息获取部103，当然也可以作为同一模块来实现。

[0575] 此外，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2及第三偏振图像摄像部102-3，分别单独设置了区域分割部105，当然也可以作为同一模块来实现。

[0576] 此外，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2及第三偏振图像摄像部102-3，分别单独设置了法 线1自由度推定部106，当然也可以作为同一模块来实现。

[0577] 如上所述，通过进行镜面反射与漫反射的区域分割，并利用被摄体的偏振信息，从而通过利用被摄体的偏振信息，来按照每个被分割的区域进行不同的处理，能够针对广阔区域被动地推定高精度的法线信息。

[0578] (第七实施方式)

[0579] 接着，对本发明的第七实施方式中的法线信息生成装置进行说明。 [0580] 图73是表示本实施方式中的法线信息生成装置100的结构的功能方框图。在该法线信息生成装置100中，法线信息生成部167，利用从三个以上的视点求出的法线1自由度信息，来推定法线方向向量。而且，对与第六实施方式中的法线信息生成装置100相同的结构要素，赋予与图71相同的符号，并省略其说明。

[0581] 法线信息生成部167，通过利用立体对应获取部114获取到的图像的对应关系来统一由法线1自由度推定部106、106-2及106-3所推定的法线1自由度，从而推定一个法线方向向量n。这个例如只要生成三个入出射面S1、S2及S3的法线方向与应推定的法线方向向量n形成的角为最大(90度)的法线方向向量n即可。对该处理进行说明。 [0582] 首先，将应生成的法线方向向量设为n，且设为它以第一摄像元件202的照相机坐标系C1来表现。此外，将第二摄像元件202-2的照相机坐标系C2中的法线方向向量设为n_C2，将第三摄像元件202-3的照相机坐标系C3中的法线方向向量设为n_C3。此时，各照相机坐标上的法线方向向量，由下式表示。

[0583] [式40]

[0584]

[0585] [式41]

[0586]

[0587] 其中，Rc1-c2是表示从照相机坐标系C1向照相机坐标系C2变换的 旋转矩阵，Rc1-c3表示从照相机坐标系C1向照相机坐标系C3变换的旋转矩阵。在此，若将各像素的法线1自由度设为φn1、φn2及φn3，法线方向向量n，则将法线方向向量n求解为将以下的评价函数Ev3最小化的法线方向向量n。

[0588] [式42]

[0589]

[0590] 图74是表示本实施方式中的法线信息生成装置100的处理的流程的流程图。而且，在图74中，对与图59共同的步骤赋予与图59相同的符号，并省略其详细说明。 [0591] 法线信息生成部157，通过根据入出射面S1(由第一偏振图像获取)与入出射面S2(由第二偏振图像获取)及入出射面S3(由第三偏振图像获取)，将前述的式42最小化，从而推定法线方向向量n(步骤S408)，结束处理。

[0592] 当然，法线信息生成部157，当通过对式42进行最小化来推定法线方向向量n时，还可以通过将前述的约束条件导入评价函数Ev3来求出大范围稳定的法线。作为这样的约束条件，如上所述，例如，只要将法线方向向量的连续性、镜面反射分量和漫反射分量的空间的连续性、偏振信息、遮挡边缘附近区域的法线方向向量、法线信息及纵深信息的至少一个信息利用为约束条件等即可。例如，当将法线方向向量的连续性和镜面反射分量与漫反射分量的空间连续性利用为约束条件时，将法线方向向量n求解为将以下的评价函数Ev4最小化的法线方向向量n。

[0593] [式43]

[0594] Ev4(n)＝Ev3(n)+C1Ev(n)+C2Ev1

[0595] 其中，C1及C2是约束条件的权重系数。

[0596] 以上的说明，虽然对摄像元件202是三个的情况进行了说明，当然 也可以利用四个以上的摄像元件。

[0597] 此外，式42、式43所示的评价函数，也可以不用于推定法线方向向量，而例如，也可以由立体对应获取部114或区域分割部105利用。当区域分割部105将参考点分割为镜面反射分量或漫反射分量时，只要进行以下的处理即可。首先，第一法线自由度推定部106、第二法线1自由度推定部106-2及第三法线1自由度推定部106-3，求出参考点及对应点的法线1自由度候补(φ1nd、φ1ns)、(φ2nd、φ2ns)及(φ3nd、φ3ns)。其中，φ1nd、φ1ns分别是针对由摄像元件202所拍摄的第一偏振图像，假设为漫反射分量时的法线1自由度候补、假设为镜面反射分量时的法线1自由度候补。在上述法线1自由度候补的所有八种组合(φ1nd-φ2nd-φ3nd、φ1nd-φ2nd-φ3ns、φ1nd-φ2ns-φ3nd、φ1nd-φ2ns-φ3ns、φ1ns-φ2nd-φ3nd、φ1ns-φ2nd-φ3ns、φ1ns-φ2ns-φ3nd、φ1ns-φ2ns-φ3ns、)中，计算分别使式42为最小的法线方向向量候补和此时的评价函数的值。区域分割部105只要将如此求出的评价函数为最小的组合选择为区域分割结果即可。当然，法线信息生成部157，只要生成使评价函数为最小的组合中的法线方向向量候补作为法线方向向量n即可。 [0598] 此外，例如，在立体对应点获取部114中，可以在求取多个像素间的对应点时，一边在极线上搜索，一边检测使式42或式43成为最小的对应点。

[0599] 搭载本实施方式中的法线信息生成装置100的照相机与实施方式1的照相机200(图61)相同。因此，省略详细的说明。

[0600] 而且，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2及第三偏振图像摄像部102-3，分别单独设置了偏振信息获取部103，当然也可以作为同一模块来实现。

[0601] 此外，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2及第三偏振图像摄像部102-3，分别单独设置了区域分割部105，当然也可以作为同一模块来实现。

[0602] 此外，在本实施方式中，虽然针对第一偏振图像摄像部102和第二偏振图像摄像部102-2及第三偏振图像摄像部102-3，分别单独设置了法线1自由度推定部106，当然也可以作为同一模块来实现。

[0603] 如上所述，通过利用被摄体的偏振信息，并最佳地统一假设了镜面反射分量和漫反射分量两者的法线1自由度候补，来按照每个像素生成法线信息，从而能够针对广阔区域被动地推定高精度的法线信息。

[0604] 而且，法线信息生成装置，就处理图像的观点而言，也可以称为图像处理装置。但是，要留意该图像处理装置具有与图1所示的图像处理装置不同的功能。

[0605] (第八实施方式)

[0606] 以下，对本发明的第八实施方式的视点变换图像生成装置进行说明。 [0607] 根据上述任一个实施方式的法线信息生成装置，能够得到被摄体的法线信息。本实施方式的视点变换图像生成装置，利用该法线信息来生成视点变换后的图像(以下称为“视点变换图像”)。在此，所谓“视点变换”是指生成从与拍摄被摄体时的视点位置不同的视点位置看到的图像的处理。通过进行视点变换，能够得到从不同方向看到相同被摄体的图像。

[0608] 作为视点变换的实现方法有：采用以往多视野照相机来拍摄多视点图像，并对其进行内插的基于图像的方法；及获取被摄体的三维几何模型并对其贴附纹理的基于模型的方法。但是，前者的方法有以下缺点：为了高精细化而会使所用的照相机数增加相当多的数量，由于要用于内插，所以没有照相机组的从任意视点的视点变换基本上是不可能的。此外，在后者的方法中存在难以获取被摄体的高品质的三维模型的缺点。

[0609] 另一方面，本发明的法线信息生成装置能够通过利用立体偏振图像，以基于像素的方式来获取被摄体法线。能这样基于像素来获取法线的优点在于，从阴影复元法线。除了所谓Shape From Shading的方法，利用偏振的方法可以称为是唯一的方法，通过将它复原为原始形状，并生成高精度的三维模型，能够实施基于模型的视点变换。 [0610] 根据本发明，通过仅以立体偏振拍摄的两视野照相机系统进行的拍摄，实质上生成与以多视野照相机拍摄到的相同的多视点图像，还能够生成立体视图像。其结果，能够在医疗内视镜领域或ITS区域、监视领域、而且3D电影或e-commerce等的领域应用范围广范的技术中应用。

[0611] 图75表示本实施方式中的视点变换图像生成装置700的方框图。视点变换图像生成装置700包括上述第一～第七的任一实施方式的法线信 息生成装置100。视点变换图像生成装置700从被摄体提取法线信息，基于该信息来复原被摄体形状，还对变换视点的图像或变换光源的图像进行合成并提示。

[0612] 法线信息生成装置100具有：立体偏振图像摄像部101；立体对应获取部104；及法线信息生成部107，且获取被摄体的法线信息。其详细处理已进行了说明，所以省略。而且，在以下的说明中，假设：通过实施方式二所说明的技术内容，以包含由于立体视的遮挡而不能取得法线的区域的方式来获取被摄体整个区域的法线信息。

[0613] 在光源信息获取部7501中，获取拍摄环境中的光源信息。光源信息能够在最简单的模型中假设光源向量L(2自由度)，其获取能使用利用镜面球的方法等。该方法，例如，记载于Mark W.Powell，Sudeep Sarker，and Dmity Goldgof：“A Simple Strategy for Calibratng the Geometry ofLight Sources”、IEEE Transaction on pattern analysis and machineintelligence，Vol.23，No.9，Septermber 2001，pp.1023-1026。 [0614] 光源信息变换部7502，使拍摄时的光源向量自由地变化，并利用不同的光源向量，来合成使光源变动后得到的图像。但本实施方式中光源变动不是主要功能，而是为了再现通过视点变换使光源相对变化的效果而进行的。

[0615] 视线信息获取部7503使用照相机参数来获取照相机视点向量。照相机参数，是指照相机的世界坐标中的位置与朝向的外部参数，及由焦点距离或镜头中心、镜头变形等内部参数构成。这些参数的获取是在立体偏振图像摄像部的校正时使用已有的Tsai方法等来实现的。因此，省略详细说明。

[0616] 亮度图像变换部7504将偏振图像变换为亮度图像。当以在如图8所示的各像素上设置的微小偏振片构成了偏振图像摄像部时，虽然使用由具有偏振轴的旋转角(ψi＝0°、45°、90°、135°)的四种偏振方向的像素获取到的各亮度值来获取偏振信息，但是将它们进行平均后得到的值会成为无偏振信息的亮度值。亮度图像变换部7504根据该平均处理来生成亮度图像。

[0617] 形状复原部7505，采用由法线信息生成部107获取到的被摄体的法 线信息和位于由立体对应获取部104获取到的立体对应的被摄体表面上的离散的特征点的三维坐标来复原被摄体形状。

[0618] 法线信息生成装置100输出的是法线图像。它是在(x，y)的二维平面上具有三个分量的向量的法线分布的图像，由于准确地表现了被摄体的3D形状的一部分，因此对于光源变化时的图像生成而言是足够的。但是，在进行视点变换时，由于被摄体形状自身发生变化，3D形状改变，所以需要根据法线图像进行形状复原。以下，列举复原在暗室内拍摄的地球仪的形状的示例来具体地说明。

[0619] 图76是表示形状复原部7505的处理的流程图。

[0620] 在步骤S7601中，形状复原部7505制成被摄体掩模图像。它是确定被摄体即地球仪的遮挡边缘并与背景进行分离的图像。在任意的场景中，进行背景与被摄体的分离是困难的。然而，通过设定恰当的阈值对图像的亮度进行2值化，就能够分离被摄体。在本实施方式中，采用如此得到的图像作为被摄体掩模图像。

[0621] 在步骤S7602中，形状复原部7505从遮挡边缘依次对梯度进行积分，生成初始表面。以后，法线的表现中采用2自由度的梯度(p，q)空间。

[0622] 图77表示假设梯度从法线向量N平行投影而得到的情形。若将照相机坐标系设为xyz，则当在画面内存在xy坐标系时，视点位于Z方向负方向。并且，若N通过改变切线向量rx、ry的外积的符号而面向了视点，则作为以下的关系式，根据法线得到梯度。 [0623] [式44]

[0624]

[0625]

[0626] N＝-rx×ry＝(p q-1)

[0627]

[0628] 利用图78，对梯度(p，q)的具体积分进行说明。尽管被摄体内部通过掩模图像来表现，但对其赋予顺序，以使随着遮挡边缘的距离变换，从遮挡边缘向中心部，数值逐渐变大。作为初始设定，将Z清零之后， 针对积分的像素，求出距离变大的方向(图78(A))。然后，根据该方向是周围的斜方向的情况(图78(B))和周围的上下左右的方向的情况(图78(C))进行情况区分，根据各个情况进行梯度(p，q)的依次运算。其结果，从地球仪的周围依次面向内侧进行形状复原。该形状以拍摄面上的像素坐标系下的纵深图像Z(y，x)来表现。

[0629] 图79表示输入法线图像(Nx，Ny、Nz)及掩模图像后进行上述积分，由此作为纵深图像而生成表面的过程的图。这样，生成初始表面。

[0630] 在步骤S7603中，在初始表面求出的表面的形状的精度与球的形状还差得很远，所以作为具有再次梯度(p，q)的表面而更新形状。在此方法中，大范围地评价以下的积分而求出最小化的Z。

[0631] [式45]

[0632] ∫∫D[(zx-p)2+(zy-q)2]dxdy

[0633] 该变分问题归结于Langrange-Eular方程式(Poisson方程式)。

[0634] [式46]

[0635]

[0636] 将该式离散化，并通过以下依次的处理求出最佳解。反复处理会针对130×130像素的法线图像实施1000次左右。

[0637] [式47]

[0638]

[0639] 在步骤S7604(图76)中。形状复原部7505将立体对应点导入为控制点。根据本发明，除了基于偏振的法线信息，还能够利用通过两视野或三视野立体视而求出的特征点(以下称为“控制点”)的三维位置信息来控制被摄体表面的形状。

[0640] 图80表示此情形，将Z值最小(接近照相机)的控制点考虑为基准点，通过进行使得与对应于其像素坐标点的纵深图像对应的变换，从而通过透视投影将所有控制点均匀地嵌入上述焦点面上的纵深图像中。

[0641] 在步骤S7605中，进行控制点赋予约束的最优化。在至此的处理中，由于在光滑但变形的表面上呈控制点不连续地被嵌入的状态，所以再次使用梯度的约束，依次更新表面。作为这样的控制点赋予约束的最优化处理，采用Weighted Least Squares(WLS)的方法。此方法记载于论文：ItsikHorovitz and Nahum Tel Aviv University：“Depth from Gradient Fieldsand Control Points：Bias Correction in Photometric Stereo”，Imageand Vision Computing vol.22.681-694，2004。

[0642] 在该方法中，将来自距离对象像素最近的控制点的影响设为距离的倒数的权重函数，当距离近时增大权重，距离远时减小权重。

[0643] 具体而言，将

[0644] [式48]

[0645]

[0646] 最小化。若以Zij对其进行微分，并采用置为零的最小2乘法，则成为 [0647] [式49]

[0648] wij(-zi+1j+zij+Pij)+wij(-zi+1j+zij+qij)+

[0649] Wi-1j(-zi-1j+zij-Pi-1j)+wij-1(-zij-1+zij-qij-1)＝0

[0650] 因此，以反复下式的方法求解。

[0651] [式50]

[0652]

[0653]

[0654] 权重函数的函数形是任意的，这次，采用

[0655] [式51]

[0656]

[0657] 其中，R是从对象像素至最近的控制点的图像上的距离。

[0658] 为了具体实现控制点的约束条件，按照每次反复，再次重新设定控制点。若不进行此处理，则在反复之后得到的表面几乎不反映控制点。

[0659] 在步骤S7606(图76)中，形状复原部7505进行“光滑度”优先形状复原。其理由如下：通过直至步骤S7605为止的处理，形状被复原。因此，漫反射分量的视点变换已大致实现。然而，若详细地研究表面，则存在以下问题：

[0660] ·整体上凹凸严重

[0661] ·尤其，将地球仪中央部的镜面反射的偏振状态视为漫反射的偏振的部分的再现非常不好。

[0662] 对漫反射分量再现而言，这样的形状误差除了遮挡边缘部分不会有多大影响。但是，公知在进行镜面反射的模型化时，需要极高精度且光滑的曲面，所以该形状误差成为问题。对此，采取以光滑度优先对复原的形状进行微分而获得光滑度的法线的方法，在采用梯度空间(p，q)的形状复原中，使用系数W来控制受法线影响的项的权重。具体而言，利用W＝0.5生成的表面，在镜面反射再现中采用了这些形状。

[0663] [式52]

[0664]

[0665] 在步骤S7607中，形状复原部7505根据复原后的纵深图像变换为在照相机坐标系下的三维空间内表现的表面形状。

[0666] 图81表示通过上述各处理，依次对形状进行再现的情形。该示例表示地球仪的纵深图像的多个水平方向的轮廓。

[0667] 图81的(1)是通过从周围对法线进行积分而制成初始表面的结果。在该结果中包括相当多的噪声。图81的(2)是采用梯度空间来最优化形状后的结果。此结果中也存在曲线交叉等变形。在图81的(3)中，导入立体控制点而对表面赋予约束条件。在图81的(4)中，对通过由(3)导入的立体控制点、且同时满足来自法线的梯度空间的条件的表面进行最优化，而生成表面形状。可见虽稍有变形但在正确的三维位置上形成了局 面。图81的(5)表示在光滑度优先的条件下生成的表面，且与正确的形状存在偏差。然而，可知光滑度在增加。

[0668] 在DS分离部7506(图75)中，将表面亮度分离为漫反射分量和镜面反射分量。这是因为要再现以下现象，即：若从不同的视点观察被摄体，则在表面的反射亮度之中，虽然漫反射分量(兰伯特反射)是不变的，但是镜面反射分量随着视点而移动或亮度发生大的变化的现象。在本发明中，采用使用立体视的2视点的方法。该原理如图82所示，成为如下。

[0669] (1)获取从Cam1与Cam2这2视点位置看到被摄体的图像8201、8202。 [0670] (2)将Cam2图像进行视点变换而生成图像8203。图像8203是从Cam1的视点位置看到的Cam2的图像(在图82中，记载为“Cam2图像@Cam1视点”)。

[0671] (3)将8201和8203的相同的拍摄像素坐标彼此进行比较，亮度小的一方作为漫反射分量而生成漫反射分量图像8204。

[0672] 在视点变换部7506中，利用照相机参数而仅对Cam1或Cam2的漫反射图像的分量进行自由视点变换。该处理将3D形状数据构造作为前提。以下，首先对3D形状数据构造进行说明。

[0673] 图83表示由形状复原部7505复原后的被摄体3D形状数据构造。形状复原部7505，以基于像素的3D位置坐标(照相机坐标系)的数据形式改进并存储3D形状数据构造。具体而言，在照相机1中，针对摄像坐标系(X，Y)的2D像素坐标系，以文本形式存储3D位置坐标(Xc1，Yc1，Zc1)。该构造只能对能从照相机视点看到的部分进行模型化。但是，能够实现以最简单的形式进行的视点变换。

[0674] 被摄体以外的背景部分中嵌入3D位置坐标(-1，-1，-1)。

[0675] 图84是说明利用该3D形状数据构造和照相机参数来进行视点变换的处理的流程图。而且，要注意：在该流程图中，是对进行视点变换的对象即Cam1图像的漫反射图像的情况和法线图像的情况这两者的说明。其表示向图75中的视点变换部7507中输入了漫反射图像和法线图像这两种图像的结构。

[0676] 首先，在步骤S8401中，视点变换部7507获取Cam1图像和Cam2 坐标系下的3D形状数据。

[0677] 在步骤S8402中，视点变换部7507将上述3D形状数据中所存储的3D位置坐标从Cam坐标系变换为世界坐标系(Xw，Yw，Zw)。该变换能够利用照相机参数。

[0678] 在步骤S8403中，视点变换部7507获取应求取的新视点的图像上的像素位置(Inew，Jnew)，并开始实际的处理。

[0679] 在步骤S8404中，视点变换部7507同样利用照相机参数来搜索与像素位置(Inew，Jnew)相当的照相机的视线和与世界坐标系的3D形状数据最近的点(X′w，Y′w，Z′w)的处理。

[0680] 在步骤S8405中，视点变换部7507求取与所求出的世界坐标对应的原始的Cam1图像的像素值。在步骤S8406中，视点变换部7507判定Cam1图像是漫反射图像、还是法线图像。当判定为图像是漫反射图像时，处理进入步骤S8407。当判定为图像是法线图像时，处理进入步骤S8408。

[0681] 在步骤S8407中，视点变换部7507将Cam1像素值即(RGB)值直接存储于新视点的图像的像素位置(Inew，Jnew)。这是基于在漫反射图像的视点变换中其亮度值不变的性质，在此不是彩色图像时，将存储黑白像素值。此后，处理进入步骤S8409。 [0682] 在步骤S8408中，视点变换部7507利用照相机参数对法线向量分量进行坐标系变换，并坐标系变换至新视点，同样存储于像素位置(Inew，Jnew)，生成新视点的法线图像。此后，处理进入步骤S8409。

[0683] 在步骤S8409中，调查是否生成了所有的像素。当未生成所有像素时，返回步骤S8403而反复处理。

[0684] 图85表示按照图84的流程图进行的处理的结果。在该图中，以与根据Cam1图像而生成CamN的新视点图像的处理的情形建立对应的方式进行了表示。对应关系8501说明了Cam1图像的坐标(I1，J1)与新视点图像即CamN图像的坐标(Inew，Jnew)在图像面上的关系。对应关系8502表示当Cam1图像是漫反射图像时，在上述两个像素位置处直接对(RGB)的彩色像素值进行存储。对应关系8503表示当Cam1图像是法线图像时，在两个图像位置处该像素值即法线向量的分量(N1x，N1y，N1z)被坐标变换为(Nnewx，Nnewy，Nnewz)而进行存储。

[0685] 在镜面反射图像生成部7508(图75)中，物理生成并合成与漫反射图像的视点变换图像同样地被视点变换后得到的镜面反射图像。若基于至此的处理，则针对已经从被摄体中去除了实际镜面反射分量的漫反射图像已实施了视点变换。进行本处理的目的在于：在此使用利用光源、视点、被摄体法线的几何关系和表面反射特性的物理反射模型来再现镜面反射。该处理可称为基本方法的基于模型的视点变换独自功能。

[0686] 为了对镜面反射实施视点变换，首先，需要在新视点的照相机坐标系中获取法线图像和光源向量。至于法线图像，已在视点变换部7507中进行了处理。因此，镜面反射图像生成部7508，此后只要利用照相机参数对光源向量进行坐标变换即可。

[0687] 接着，镜面反射图像生成部7508利用物理反射模型，根据法线向量、视线向量、光源向量和表面反射特性求出反射亮度值。

[0688] 所利用的模型是通过下式表现的Cook-Torrance模型。其若采用法线向量、视点向量、half向量与法线形成的角α，则按下式以Beckmann函数来表现分布函数。在该模型中，也可以使用Torrance-Sparrow模型等其他的镜面反射模型。

[0689] [式53]

[0690]

[0691] 图86是表示该几何学的关系。图86对光源向量L和视线向量V的2等分向量即H与法线向量N之间的角度α进行说明。在该α＝0的角度下，式53的D取最大值，且亮度成为最大。表现表面的反射特性的是粗糙系数m和亮度权重因数k，而它们既可以在实际拍摄时从被摄体获取，也可以使用在以前的实验中针对相同被摄体(地球仪)被最优化后的参数。在此，采用在以前的实验中针对相同被摄体而求出的值(m＝0.083，k＝6415.795)。而且，该参数被存储在反射参数数据库7509中。

[0692] 最后，DS合成部7510将通过以上处理所生成的视点变换的漫反射图像与同样被视点变换后的镜面反射图像进行加法运算，而完成视点变换图像。

[0693] 2D/3D提示部7511，例如是显示所生成的自由视点变换图像的显示器。显示器也可以是2D(平面)显示器，且有时是3D(立体)显示器。

[0694] 在2D显示器的情况下，若用户通过操作杆或视点输入装置等已知的接口来指示视点位置，则2D/3D提示部7511显示适合该视点位置的2D图像。

[0695] 3D(立体)显示器包括：有眼镜的立体视的固定视点显示器及不戴眼镜的多视点立体显示器两种。在前者的情况下，能够通过与2D显示器的情况相同的接口来观察自由地改变视点的立体图像。在后者的情况下，观察者能够自由地移动视点来观察立体像。于是，观察者以某视点进行观察时，通过对其左右眼的两个视点图像进行合成来提示其方向，从而能够成为自由视点的立体视。

[0696] 图87表示视点变换图像的显示例。图像8701、8702分别表示进行偏振拍摄后的左右的输入图像。图8703、8704、8705表示采用左输入图像8701对任意视点合成后的图像，分别表示输入图像的中间视点图像、向左45度的视点移动图像、向右45度的视点移动图像。可知，伴随观察者的视点移动，镜面反射部分的位置发生改变而进行再现，从而得到提高真实性的优点。

[0697] 图88表示2D显示器的情况下的实际照相机视点与合成后的虚拟视点的几何学的关系。针对以实际照相机的配置所拍摄的左图像和右图像的输入图像，根据该左图像，生成三点的虚拟视点8801、8802、8803的图像，它们与图87的图像对应。

[0698] 图89表示以3D显示器提示相同的视点变换时的视点的几何学的关系。在各虚拟视点8801、8802、8803下还生成相当于观察者的左眼和右眼的两种虚拟视点图像对。这些图像能够在已存的多视点3D(立体)显示器中进行显示。由此，观察者能够一边自由地移动视线，一边从多视点观察被摄体的立体像。

[0699] (产业上的可利用性)

[0700] 本发明的法线信息生成装置，作为通过拍摄被摄体而生成被摄体的表面的法线信息的法线信息生成装置，例如，作为生成被摄体的三维形状信息的装置、或利用该信息对图像进行高精细化的装置，具体而言，在数 码相机、数码摄像机、监视摄像机等中有用。尤其，在由于光学系统或摄像元件的小型化使图像的分辨率成为问题的带有照相机的手机、数码相机、数码摄像机等便携式摄像装置正不断普及的当前，其实用意义极高。 [0701] 此外，本发明的视点变换图像生成装置，由于能够采用上述法线信息生成装置的输出、即法线图像来复原被摄体的形状，并生成来自任意视点的合成图像，所以能够在医疗内视镜领域或ITS领域、监视领域、还有3D电影或e-commerce等领域应用范围广范的技术中应用。