法线信息生成装置以及法线信息生成方法

摘要

提供一种能够高精确度地对影子区域生成法线信息的法线信息生成装置。一种生成被摄物表面的法线信息的法线信息生成装置(100)，其中包括：图像信息取得部(110)，取得与被摄物图像有关的包含亮度信息和偏振光信息的信息，所述亮度信息是与来自被摄物的光的亮度有关的信息，所述偏振光信息是与来自被摄物的光的偏振光有关的信息；影子区域抽出部(120)，根据在图像信息取得部(110)取得的亮度信息和偏振光信息，从被摄物图像中抽出阴影区域和投影区域，所述阴影区域是因光的照射方式而在被摄物的表面产生的区域，所述投影区域是因被摄物本身将光遮住而在其他的物体上产生的区域；以及法线信息生成部(104)，针对影子区域抽出部(120)所抽出的阴影区域，利用图像信息取得部所取得的偏振光信息，生成用于确定对应的被摄物的表面的法线的法线信息。

权利要求

1.一种法线信息生成装置，生成被摄物表面的法线信息，其特征在于，包括：图像信息取得部，取得与被摄物图像有关的包含亮度信息以及偏振光信息的信息，所述亮度信息是指与来自所述被摄物的光的亮度有关的信息，所述偏振光信息是指与来自所述被摄物的光的偏振光有关的信息；

影子区域抽出部，根据在所述图像信息取得部取得的亮度信息以及偏振光信息，从所述被摄物图像中抽出阴影区域以及投影区域，所述阴影区域是指因光的照射方式而在被摄物的表面产生的区域，所述投影区域是指因被摄物本身将光遮住而在其他的物体上产生的区域；以及法线信息生成部，利用在所述图像信息取得部取得的偏振光信息，针对在所述影子区域抽出部抽出的阴影区域，生成确定对应的所述被摄物的表面的法线的法线信息。

2.如权利要求1所述的法线信息生成装置，其特征在于，

所述图像信息取得部具有：

偏振光图像摄像部，通过接受透过多个偏振器的光，来取得具有所述亮度信息的被摄物的偏振光图像，所述多个偏振器的偏振光主轴角度不同；以及偏振光信息生成部，利用所述多个偏振器的偏振光主轴角度和透过所述多个偏振器的光的亮度的对应关系，从取得的所述偏振光图像中生成针对构成该偏振光图像的各个单位图像的所述偏振光信息；

所述影子区域抽出部根据所述偏振光图像的亮度信息，按照每个所述单位图像，对该单位图像的亮度与预先规定的阈值进行比较，在所述亮度比所述阈值小的情况下，判断该单位图像属于包含阴影区域以及投影区域的低亮度区域，并针对属于所述低亮度区域的单位图像，根据所述偏振光信息生成部所生成的偏振光信息，来判断该单位图像是阴影区域还是投影区域，从而抽出所述阴影区域以及所述投影区域。

3.如权利要求2所述的法线信息生成装置，其特征在于，

所述偏振光图像摄像部由用于取得所述偏振光图像的多个摄像单位构成；

所述多个摄像单位分别具有：

多个偏振器，具有不同的偏振光主轴角度；

多个像素，接受通过所述多个偏振器的每一个偏振器的光；

所述偏振光信息生成部将由所述摄像单位得到的图像作为所述单位图像来生成偏振光信息。

4.如权利要求2所述的法线信息生成装置，其特征在于，

所述法线信息生成部针对所述阴影区域，生成在所述对应关系中亮度成为最小的所述偏振光主轴角度，以作为该区域所对应的所述被摄物的入射面的法线信息。

5.如权利要求2所述的法线信息生成装置，其特征在于，

所述法线信息生成部仅针对阴影区域以及投影区域中的阴影区域生成所述法线信息。

6.如权利要求2所述的法线信息生成装置，其特征在于，

所述影子区域抽出部针对属于所述低亮度区域的单位图像，判断所述偏振光信息是否表示镜面反射的偏振光特性，在所述偏振光信息表示镜面反射的偏振光特性的情况下，将该单位图像作为阴影区域抽出。

7.如权利要求2所述的法线信息生成装置，其特征在于，

所述偏振光信息生成部生成偏振度以作为所述偏振光信息，所述偏振度是示出光偏振了多少的指标；

所述影子区域抽出部对属于所述低亮度区域的单位图像中的偏振度与预先规定的阈值进行比较，在所述偏振度比所述阈值小的情况下，将该单位图像作为投影区域抽出，在所述偏振度在所述阈值以上的情况下，将该单位图像作为阴影区域抽出。

8.如权利要求2所述的法线信息生成装置，其特征在于，

所述偏振光信息生成部生成偏振光推定误差以作为所述偏振光信息，所述偏振光推定误差是指，在所述偏振光图像摄像部得到的亮度与根据近似了所述偏振光主轴角度和所述亮度的对应关系的正弦函数而决定的亮度的差；

所述影子区域抽出部对属于低亮度区域的单位图像中的偏振光推定误差和预先规定的阈值进行比较，在所述偏振光推定误差比所述阈值大的情况下，将该单位图像作为投影区域抽出，在所述偏振光推定误差在所述阈值以下的情况下，将该单位图像作为阴影区域抽出。

9.如权利要求2所述的法线信息生成装置，其特征在于，

所述偏振光图像摄像部取得第一偏振光图像和第二偏振光图像，所述第一偏振光图像是闪光设备针对所述被摄物发光的情况下的偏振光图像，所述第二偏振光图像是闪光设备针对被摄物没有发光的情况下的偏振光图像；

所述影子区域抽出部针对属于低亮度区域的单位图像算出所述第一偏振光图像以及所述第二偏振光图像中的亮度的差分，并将算出的差分与预先规定的阈值进行比较，在所述差分比所述阈值大的情况下，将该单位图像作为阴影区域或作为投影区域抽出。

10.如权利要求2所述的法线信息生成装置，其特征在于，

所述影子区域抽出部针对属于所述低亮度区域的单位图像，判断所述偏振光信息是否表示镜面反射的偏振光特性，在所述偏振光信息表示镜面反射的偏振光特性的情况下，将该单位图像作为“阴影区域或低反射率区域”抽出。

11.如权利要求10所述的法线信息生成装置，其特征在于，

所述法线信息生成部针对所述“阴影区域或低反射率区域”生成所述对应关系中亮度成为最小的所述偏振光主轴角度，以作为该区域所对应的所述被摄物的入射面的法线信息。

12.如权利要求10所述的法线信息生成装置，其特征在于，

所述法线信息生成部仅针对“阴影区域或低反射率区域”以及投影区域中的“阴影区域或低反射率区域”生成所述法线信息。

13.如权利要求10所述的法线信息生成装置，其特征在于，

所述偏振光信息生成部生成偏振度以作为所述偏振光信息，所述偏振度是示出光偏振了多少的指标；

所述影子区域抽出部对属于低亮度区域的单位图像中的偏振度和预先规定的阈值进行比较，在所述偏振度比所述阈值小的情况下，将该单位图像作为投影区域抽出，在所述偏振度在所述阈值以上的情况下，将该单位图像作为“阴影区域或低反射率区域”抽出。

14.如权利要求10所述的法线信息生成装置，其特征在于，

所述偏振光信息生成部生成偏振光推定误差以作为所述偏振光信息，所述偏振光推定误差是指，在所述偏振光图像摄像部得到的亮度与根据近似了所述偏振光主轴角度和所述亮度的对应关系的正弦函数而决定的亮度的差；

所述影子区域抽出部对属于低亮度区域的单位图像的偏振光推定误差和预先规定的阈值进行比较，在所述偏振光推定误差比所述阈值大的情况下，将该单位图像作为投影区域抽出，在所述偏振光推定误差在所述阈值以下的情况下，将该单位图像作为“阴影区域或低反射率区域”抽出。

15.如权利要求2所述的法线信息生成装置，其特征在于，

所述法线信息生成装置进一步具有摄像条件判定部，判定成为所述偏振光图像摄像部的摄像对象的摄像场面是否满足预先规定的摄像条件，该预先规定的摄像条件是指所述法线信息生成部能够生成正确的法线信息的摄像条件；

在由所述摄像条件判定部判定为不满足摄像条件的情况下，所述影子区域抽出部停止作为低亮度区域的区域抽出。

16.如权利要求15所述的法线信息生成装置，其特征在于，

预先规定的所述摄像条件是：在被摄物所在的摄像场面中，存在有物体，在该物体的近旁有宽广的面，且该宽广的面在该物体的一侧，在该物体的相反一侧存在有光源。

17.如权利要求15所述的法线信息生成装置，其特征在于，

所述摄像条件判定部具有检测所述偏振光图像摄像部的摄像方向的角度感应器，在由所述角度感应器检测出所述偏振光图像摄像部朝向水平面的上方的情况下，则判定所述摄像场面不满足所述摄像条件。

18.如权利要求15所述的法线信息生成装置，其特征在于，

所述摄像条件判定部具有声纳，该声纳通过发出声波并接收所述声波的反射波，来测定到周围的对象物的距离，所述摄像条件判定部通过所述声纳来判断该法线信息生成装置的近旁是否有物体存在，在判断为没有物体存在的情况下，判定所述摄像场面不满足所述摄像条件。

19.如权利要求2所述的法线信息生成装置，其特征在于，

所述法线信息生成装置进一步具有可靠性判定部，该可靠性判定部通过评价所述影子区域抽出部进行的区域抽出的结果，来判定区域抽出是否有可靠性，在判定为没有可靠性的情况下，废弃所述影子区域抽出部进行的区域抽出的结果以及所述法线信息生成部所生成的法线信息。

20.如权利要求19所述的法线信息生成装置，其特征在于，

可靠性判定部根据所述影子区域抽出部进行的区域抽出的结果，判断在低亮度区域是否存在阴影区域，在低亮度区域不存在阴影区域的情况下，判定所述区域抽出没有可靠性。

21.一种法线信息生成方法，生成被摄物表面的法线信息，其特征在于，包括：图像信息取得步骤，取得与被摄物图像有关的包含亮度信息以及偏振光信息的信息，所述亮度信息是指与来自所述被摄物的光的亮度有关的信息，所述偏振光信息是指与来自所述被摄物的光的偏振光有关的信息；

影子区域抽出步骤，根据在所述图像信息取得步骤取得的亮度信息以及偏振光信息，从所述被摄物图像中抽出阴影区域以及投影区域，所述阴影区域是指因光的照射方式而在被摄物的表面产生的区域，所述投影区域是指因被摄物本身将光遮住而在其他的物体上产生的区域；以及法线信息生成步骤，利用在所述图像信息取得步骤取得的偏振光信息，针对在所述影子区域抽出步骤抽出的阴影区域，生成确定对应的所述被摄物的表面的法线的法线信息。

说明书

法线信息生成装置以及法线信息生成方法

技术领域

[0001] 本发明涉及生成被摄物表面上的法线信息的装置，尤其涉及从偏振光图像中生成法线信息的装置。

背景技术

[0002] 未来的带相机的移动电话、数码相机、数字摄影机等将具有与HDTV同等程度的高精细性，并且追求附加价值的小型化也在不断地普及。但是，若光学系统和摄像元件步入小型化，则会发生灵敏度和透镜衍射界限等基本的图像摄像的界限问题，以后高精细化也会到达界限。在这种情况下，对于没能充分取得的被摄物的图像信息而言，能够通过附加与利用于以计算机绘图而生成图像的各种物理特性有关的信息量来达到提高画质的效果。为此，超出了以往的二维图像处理的范围，从而需要取得被摄物的三维形状信息和用于照明被摄物的光源等，在图像生成过程中的物理信息。在形状信息的输入中，需要发出激光或LED光源的主动传感器或双目立体视觉测距等系统，除需要大型的系统以外，例如受到只有在摄像机和被摄物之间的距离为几米之内才能拍摄，以及成为对象的被摄物必需是固体物质并且是明亮的漫反射物体的限制。这样，在像运动会等远距离的室外场面摄影或头发、衣服等重要的人物摄影中则不能利用。

[0003] 作为室外场面和一般被摄物中所使用的技术可以举出利用偏振光的技术，如完全被动式的被摄物形状测知方式。例如，在专利文献1中公开了这样一种方法，即：对于被摄物的照明不进行特殊的假定(随机偏振光：非偏振光照明)，以边回转摄像机的镜头前安装的起偏板边 观测镜面反射成分的方法，来生成被摄物的局部的法线信息。被摄物的表面法线有两个自由度，这两个自由度是通过求出包含光的入射和反射的光线的入射面的角度以及入射面内的入射角这两个角度来决定的。镜面反射的入射面的信息可以通过使起偏板回转而使亮度成为最小值的角度来求出。

[0004] 并且，在非专利文献1中还提出了，对于被摄物的照明不进行特殊的假定(随机偏振光：非偏振光照明)，以边回转摄像机的镜头前安装的起偏板边观测镜面反射成分的方法，来求被摄物的法线信息中的包含光的入射和反射的光线的射出面的一个自由角度。漫反射的射出面信息可以通过使起偏板回转而使亮度成为最大值的角度来求出。根据此方法，使摄像机和光源的位置发生变化并通过立体视觉处理，从而能够求出表现被摄物法线的两个自由度。

[0005] 专利文献1 美国专利第5,028,138号说明书

[0006] 非专利文献1 Ondfej Drbohlav and Sara Radim，″Usingpolarization to determine intrinsic surface properties″，Proc.SPIE Vol.3826，pp.253-263，1999 [0007] 然而，在上述的专利文献1的技术中出现的问题是，仅以镜面反射为对象，对于影子区域则不能生成法线信息。并且，在非专利文献1的技术中出现的问题是，仅以漫反射为对象，对于像投影和镜面反射这种反射特性不同的区域而言，就不能求出正确的法线信息。 [0008] 即，在上述的以往的技术中出现的问题是，不论哪个都是利用偏振光来生成法线信息的，而对于影子区域则不能生成法线信息。在不能针对影子区域生成法线信息的情况下，虽然可以提高法线信息的推定精确度，但能够推定法线信息的区域非常有限。或者，即使利用上述的以往的技术来针对影子区域生成法线信息，其精确度也会非常低。 发明内容

[0009] 于是，本发明的目的在于提供一种法线信息生成装置等，其能够 针对影子区域生成高精确度的法线信息。

[0010] 为了达成上述的目的，本发明所涉及的法线信息生成装置生成被摄物表面的法线信息，其中包括：图像信息取得部，取得与被摄物图像有关的包含亮度信息以及偏振光信息的信息，所述亮度信息是指与来自所述被摄物的光的亮度有关的信息，所述偏振光信息是指与来自所述被摄物的光的偏振光有关的信息；影子区域抽出部，根据在所述图像信息取得部取得的亮度信息以及偏振光信息，从所述被摄物图像中抽出阴影区域以及投影区域，所述阴影区域是指因光的照射方式而在被摄物的表面产生的区域，所述投影区域是指因被摄物本身将光遮住而在其他的物体上产生的区域；以及法线信息生成部，利用在所述图像信息取得部取得的偏振光信息，针对在所述影子区域抽出部抽出的阴影区域，生成确定对应的所述被摄物的表面的法线的法线信息。据此，利用偏振光信息针对阴影区域生成对应的所述被摄物表面的法线信息。

[0011] 也就是说，在本发明中是着眼于阴影(attached shadow)区域和投影(cast shadow)区域的偏振光特性的差异来生成法线信息的。此时，根据偏振光特性的不同将影子(shadow)区域划分为阴影区域和投影区域，关于阴影区域可以通过假定镜面反射来生成阴影区域的正确的法线信息。

[0012] 并且，关于偏振光信息误差大，且即使生成法线信息，精确度也非常低的投影区域，可以通过不进行法线信息的生成处理，从而可以在尽可能的广范围内生成高精确度的法线信息。

[0013] 在此，“影子”是指立体物体被光照射时产生的“影(shadow)”，包括“阴影(attached shadow)”和“投影(cast shadow)”。“阴影”是指因受光方式的不同，而立体的被摄物本身所产生的“影”，“投影”是指由于立体的被摄物本身将光遮住，而在其他的平面或其他的立体物体上产生的“影”。

[0014] 并且，本发明不仅可以作为法线信息生成装置来实现，也可以作 为法线信息生成方法来实现，还可以作为使计算机执行该方法中所包含的步骤的程序来实现，还可以作为记录这些程序的DVD等计算机可读取的记录介质来实现。

[0015] 根据本发明，可以通过利用被摄物的偏振光信息来抽出阴影区域以及投影区域，并针对阴影区域生成法线信息。因此，能够针对影子区域生成高精确度的法线信息。 [0016] 因此，通过本发明能够生成被摄物的三维形状信息，使图像高精细化，尤其在因光学系统或摄像元件的小型化而带来图像清晰度问题的带照相机的移动电话、数码相机、数码摄影机等移动型摄像装置普及的今天，具有非常高的实用意义。

附图说明

[0017] 图1是本发明的实施例1中的法线信息生成装置的功能构成方框图。 [0018] 图2是搭载了本发明的实施例1、2、4中的法线信息生成装置的摄像机的构成图。 [0019] 图3是示出图2所示的摄像机所具备的图案偏振器和摄像元件之间关系的模式图。

[0020] 图4是本发明的实施例1中的法线信息生成装置进行的处理的流程图。 [0021] 图5是用于说明图2所示的摄像机所具备的图案偏振器的排列状态的模式图。 [0022] 图6是用于说明正弦函数亮度变化和观测亮度点的模式图。

[0023] 图7(a)示出了球体的被摄物，即示出了塑料球，(b)～(d)分别示出了以偏振度ρ、偏振光相位φ、偏振光推定误差E拍摄该被摄物时的图像。

[0024] 图8(a)～(d)分别是对图7(a)～图7(d)的浓淡明了化后的模式图。

[0025] 图9中的图表示出了对于被摄物的折射率n＝1.1，1.3，1.5，2.0时的镜面反射成分的入射角的偏振度。

[0026] 图10中的图表示出了对于被摄物的折射率n＝1.1，1.3，1.5，2.0时的漫反射成分的射出角的偏振度。

[0027] 图11是用于说明被分类为阴影区域和投影区域的影子区域的模式图。 [0028] 图12是用于说明阴影区域中的多次反射光的入射的模式图。

[0029] 图13是用于说明投影区域中的多次反射光的入射的模式图。

[0030] 图14是本发明的实施例1中的区域划分部的详细构成的功能方框图。 [0031] 图15是本发明的实施例1中的区域划分部的处理流程图。

[0032] 图16(a)、(b)、(c)示出了通过本发明的实施例1中的区域划分部，在光学上的区域划分结果。

[0033] 图17是本发明的实施例1中的漫反射镜面反射分类处理的流程图。

[0034] 图18示出了通过本发明的实施例1中的区域划分部的区域划分的具体例子。 [0035] 图19示出了由区域划分部进行区域划分时的判断基准的具体例子。 [0036] 图20是本发明的实施例1中的法线信息生成部的详细构成的功能方框图。 [0037] 图21是本发明的实施例1中的法线信息生成部进行的处理的流程图。 [0038] 图22是本发明的实施例1的变形例所涉及的区域划分部的功能构成方框图。 [0039] 图23是图22所示的区域划分部进行漫反射镜面反射分类处理的流程图。 [0040] 图24是本发明的实施例1的变形例所涉及的区域划分部的功能构 成方框图。 [0041] 图25是图24所示的区域划分部进行的处理的流程图。

[0042] 图26是本发明的实施例1的变形例所涉及的区域划分部的功能构成方框图。 [0043] 图27是图26所示的区域划分部进行的处理的流程图。

[0044] 图28是利用了闪光设备的实施例1的变形例中的法线信息生成装置的功能构成方框图。

[0045] 图29是图28所示的法线信息生成装置进行影子检测处理的流程图。 [0046] 图30是本发明的实施例2所涉及的法线信息生成装置的功能构成方框图。 [0047] 图31是本发明的实施例2中的法线信息生成装置进行的处理流程图。 [0048] 图32是本发明的实施例2中的区域划分部的详细的功能构成方框图。 [0049] 图33是本发明的实施例2中的区域划分部进行的处理的流程图。

[0050] 图34是本发明的实施例2中的法线信息生成部进行的处理流程图。

[0051] 图35是本发明的实施例3中的法线信息生成装置的功能构成方框图。 [0052] 图36是本发明的实施例3中的摄像条件判定部的详细的功能构成方框图。 [0053] 图37示出了搭载了本发明的实施例3中的法线信息生成装置的摄像机的一个例子。

[0054] 图38是本发明的实施例3中的法线信息生成装置进行的处理流程图。 [0055] 图39是本发明的实施例3中的法线信息生成部进行的处理流程图。

[0056] 图40示出了搭载了利用了声纳的本发明实施例3的变形例中的法线信息生成装置的摄像机的构成例子。

[0057] 图41是本发明的实施例3中的摄像条件判定部的详细的功能构成方框图。 [0058] 图42是图40所示的法线信息生成装置进行的处理的流程图。

[0059] 图43是本发明的实施例4中的法线信息生成装置的功能构成方框图。 [0060] 图44是本发明的实施例4中的法线信息生成装置进行的处理的流程图。 [0061] 图45是本发明的实施例4中的摄像条件判定部的详细的功能构成方框图。 [0062] 图46(a)、(b)示出了内藏有本发明所涉及的法线信息生成装置的应用制品的例子。

[0063] 图47是本发明的变形例所涉及的法线信息生成装置进行的影子检测处理的流程图。

[0064] 图48(a)是被摄物的油画图像，(b)示出了导(a)所示出的图像相对应的偏振度ρ(偏振信息)。

[0065] 图49示出了由该法线信息生成装置抽出的投影区域。

[0066] 符号说明

[0067] 100、100a、100b、100c、100d法线信息生成装置

[0068] 101偏振光图像摄像部

[0069] 102偏振光信息生成部

[0070] 103、103a、103b、103c、1031区域划分部

[0071] 104、1041法线信息生成部

[0072] 105发光部

[0073] 106、106a摄像条件判定部

[0074] 107可靠性判定部

[0075] 110图像信息取得部

[0076] 120影子区域抽出部

[0077] 200、200a、200b摄像机

[0078] 201图案偏振器

[0079] 202摄像元件

[0080] 203存储器

[0081] 204CPU(中央处理单元)

[0082] 205角度感应器

[0083] 206摄像单位

[0084] 207发光装置

[0085] 208表示部

[0086] 209扬声器

[0087] 210声纳

[0088] 301影子区域检测部

[0089] 302数据库(DB)

[0090] 303偏振度比较部

[0091] 304偏振光推定误差比较部

[0092] 305区域判断部

[0093] 306蓄积部

[0094] 307区域参照部

[0095] 308漫反射假定法线信息生成部

[0096] 309镜面反射假定法线信息生成部

[0097] 310亮度比较部

[0098] 311低亮度像素检测部

[0099] 312光轴方向检测部

[0100] 313光轴方向比较部

[0101] 314阴影区域存在判断部

[0102] 315摄像环境检测部

[0103] 316摄像环境识别部

[0104] 具体实施方式

[0105] 以下参照附图对本发明的实施例进行说明。

[0106] (实施例1)

[0107] 首先，对本发明的实施例1中的法线信息生成装置的概要进行说明。 [0108] 图1是本实施例中的法线信息生成装置100的功能构成方框图。该法线信息生成装置100是生成被摄物表面的法线信息的装置，包括：图像信息取得部110、影子区域抽出部120以及法线信息生成部104。

[0109] 图像信息取得部110是取得与被摄物图像相关的信息的处理部，具有偏振光图像摄像部101以及偏振光信息生成部102，所述与被摄物图像相关的信息包括亮度信息和偏振光信息，所述亮度信息是指与来自被摄物的光的亮度有关的信息，所述偏振光信息是指与来自被摄物的光的偏振有关的信息。并且，该图像信息取得部110按照构成被摄物图像的单位图像，取得亮度信息以及偏振光信息。

[0110] 图像信息取得部110中的偏振光图像摄像部101是通过接受透过多个偏振器的光，来取得被摄物的偏振光图像的处理部，所述多个偏振器的偏振光主轴角度各不相同。 [0111] 图像信息取得部110中的偏振光信息生成部102是一处理部，其根据由偏振光图像摄像部101取得的偏振光图像，利用多个偏振器的偏振光主轴角度和透过多个偏振器的光的亮度的对应关系，针对构成所述偏振光图像的各个图像区域生成偏振光信息，该偏振光信息是与接受的偏振光有关的信息。

[0112] 影子区域抽出部120是一处理部，其根据在图像信息取得部110取得的亮度信息以及偏振光信息，按照每个单位图像，从被摄物图像中抽出阴影区域以及投影区域，所述阴影区域是指因接受光的各种照射方式而在被摄物表面产生的“影”的区域，所述投影区域是指因被摄物本身将光遮挡住而在其他的物体上产生的“影”的区域，并且，在本实施例中，作为一个例子示出了影子区域抽出部120具有进行区域划分的区域划分部103。 [0113] 影子区域抽出部120中的区域划分部103是一处理部，其利用偏振光图像的亮度信息和在偏振光信息生成部102生成的偏振光信息的类似性(共通性)，将偏振光图像划分为由在光学上共通的图像区域的集合构成的多个区域。此时，区域划分部103对图像区域的亮度和预先规定的阈值进行比较，在亮度比阈值小的情况下，对该图像区域进行区域划分，划分为包含影子区域(阴影区域以及投影区域)的低亮度区域(在本实施例中为影子区域)。

[0114] 并且，该区域划分部103虽然对图像(在此为偏振光图像)进行区域划分，但是在本发明中作为影子区域抽出部的工作并非受区域划分所限，也可以是区域抽出(即，确定图像的一部分区域的处理)。也就是说，在本说明书中，为了便于对发明的理解，仅以区域抽出作为一个例子，对将图像的全部区域划分为包含阴影区域和投影区域的多个种类的区域中的某一个的区域划分进行说明，不过，作为本发明所涉及的法线信息生成装置并非限于这种区域划分，也可以是对图像的一部分区域进行确定的区域抽出。因此，在本说明书中的“区域划分(区域的划分)”也可以称为“区域抽出(区域的抽出)”。并且，在本说明书中“区域检测(区域的检测)”与“区域抽出(区域的抽出)”具有相同的意义。 [0115] 法线信息生成部104是一处理部，利用在偏振光信息生成部102生成的偏振光信息，并按照在区域划分部103划分的区域，来生成用于确定对应的被摄物的表面的法线的法线信息。

[0116] 图2示出了搭载了本实施例中的法线信息生成装置100的摄像机200的硬件构成的例子。图3是示出图2所示的图案偏振器201和摄像元件202之间的关系的模式图。此摄像机200是具有生成法线信息功能的摄像装置，其包括：图案偏振器201、摄像元件202、存储器203、 CPU204以及发光装置207。

[0117] 如图3所示，图案偏振器201是将偏振光主轴角度Ψi＝0°、45°、90°、135°的四种偏振器编为一组，并排列成二维状的偏振器的集合。

[0118] 如图3所示，摄像元件202是接受透过构成图案偏振器201的各个偏振器的光的被排列成二维状的像素(受光元件)的集合，并且最好是被设置成与摄像元件202的摄像面平行。并且，图案偏振器201中的四个(四种)偏振器和摄像元件202中对应的四个像素(受光元件)构成摄像单位206。通过此摄像单位206而得到的图像为偏振光信息生成部102、区域划分部103以及法线信息生成部104中的各个处理的单位(“单位图像”)。即，法线信息生成装置100按照各个依据摄像单位206得到的单位图像(以下也称为“像素”)，进行偏振光信息的生成、区域划分、以及法线信息的生成。

[0119] 存储器203包括作为CPU204的工作区域的RAM以及存储程序等的ROM。 [0120] CPU204是执行被存储在存储器203中的程序，并访问存储器203，控制摄像元件202以及发光装置207的处理器。

[0121] 发光装置207是照射被摄物的闪光设备。

[0122] 并且，图1所示的偏振光图像摄像部101是由图2所示的图案偏振器201以及摄像元件202实现的。图1所示的偏振光信息生成部102、区域划分部103、以及法线信息生成部104是由图2所示的CPU204执行在存储器203中存储的程序来实现的。并且，存储器203也被作为存储由偏振光图像摄像部101取得的偏振光图像、由偏振光信息生成部102生成的偏振光信息、由法线信息生成部104生成的法线信息、以及临时产生的各种参数等的工作区域来使用。

[0123] 图4是本实施例中的法线信息生成装置100进行的处理的流程图。首先，偏振光图像摄像部101通过图案偏振器201，以摄像元件拍摄被摄物，从而摄像包含偏振光信息的偏振光图像(S101)。偏振光信息生成部102利用在偏振光图像摄像部101拍摄的偏振光图像的亮度变化， 生成偏振光信息(S102)。区域划分部103利用在偏振光信息生成部102生成的偏振光信息或在偏振光图像摄像部101取得的亮度信息，将图像划分为漫反射区域、镜面反射区域以及低亮度区域(在本实施例中为阴影区域以及投影区域)(S103)。法线信息生成部104根据区域划分部103进行的区域划分结果，从偏振光信息生成部102生成的偏振光信息中生成法线信息(S104)。此时，关于投影区域，由于偏振光信息中误差较多，因此不生成法线信息。

[0124] 以下，对本实施例中的法线信息生成装置100的各个构成要素的详细功能进行说明。

[0125] 首先，对偏振光图像摄像部101的详细功能进行说明。偏振光图像摄像部101使来自被摄物的光通过图案偏振器201在摄像元件202受光，从而取得包含偏振光信息的偏振光图像。图5是从入射光方向看到的图3所示的摄像单位206的模式图。在该图中各个偏振器(各个像素)中的直线表示被设置在各个像素上的微小起偏板的偏振光主轴方向。即，此摄像单位206是具有偏振光光轴的回转角为(Ψi＝0°、45°、90°、135°)的四种偏振光方向的像素。图案偏振器示出了使TM波透过、使TE波反射(不透过)的偏振特性。 [0126] 这种特性例如可以利用非专利文献2所记载的光子晶体作成(非专利文献2：『川岛、佐藤、川上、长岛、太田、青木、共著“パタ一ン化偏光子を用いた偏光イメ一ジングデバイスと利用技術の開発(利用图案化偏振器的偏振光成像装置和利用技术的开发)”，電子情報通信学会2006年総合全国大会(电子信息通信学会2006年综合全国大会)，No.D-11-52，P52，2006)。在光子晶体的情况下，在表面形成的沟槽，具有平行振动面的光成为TE波，具有垂直振动面的光成为TM波。

[0127] 在摄影该偏振光信息时，亮度的动态范围和位(bit)数最好是尽量大(例如16位)。

[0128] 以下，对偏振光信息生成部102的详细功能进行说明。偏振光信息生成部102是利用在偏振光图像摄像部101取得的偏振光图像来生成偏振光信息的处理部。 [0129] 透过偏振器的亮度是由偏振器的偏振光主轴角度而发生变化的。图6示出了透过不同的偏振光主轴角度为Ψi＝0°、45°、90°、135°的四种偏振器的亮度401、402、403、404形成的一条正弦函数曲线。即，该正弦函数曲线示出了图5中的点501的偏振光特性。
并且，偏振光主轴角度在0°和108°(π)是相同的。并且，在求此正弦函数曲线时，最好是使用摄影伽马＝1的摄像机，或通过校正线性来校正成摄影伽马＝1。这四个点正好被描画在一条正弦函数曲线上，其实，作为由多个观测点构成180度周期的正弦函数的最佳值，最好是以一条正弦函数曲线来表示。

[0130] 此偏振光信息生成部102生成此曲线的振幅和相位信息以作为偏振光信息。具体而言，针对图案偏振器201的主轴角ψ的反射光亮度I如以下这样近似。

[0131] I(ψ)＝A·sin 2(ψ-B)+C (公式1)

[0132] 在此，如图6所示，公式1中的A、B、C为常数，分别表示通过偏振器的亮度的变动曲线的振幅、相位、平均值。不过，公式1可以如下展开。

[0133] I(ψ)＝a·sin 2ψ+b·cos 2ψ+C

[0134] (公式2)

[0135] 其中

[0136]

[0137] (公式3)

[0138] (公式4)

[0139] 即，在四个像素的采样(ψi、Ii)中，只要求出使以下公式5成为最小的A、B、C，就可以实现正弦函数(公式1)近似。不过， Ii表示起偏板回转角ψi时的观测亮度。并且，N为采样数，在此为4。

[0140] (公式5)

[0141] 通过以上的处理，确定正弦函数近似的A、B、C这三个参数。

[0142] 利用这样求出的参数，偏振光信息生成部102生成以下所示的某个或多个，以作为偏振光信息。

[0143] ·偏振度ρ

[0144] (公式6)

[0145] ·偏振光相位φ(0°≤φ≤180°)

[0146] (公式7)

[0147] ·偏振光推定误差E

[0148] (公式8)

[0149] 在此，偏振度是表示光偏振了多少的指标，偏振光相位是指依存于偏振光主轴角度并变化的亮度成为最大的角度，偏振光推定误差是指观测四个像素的采样的亮度和通过近似而得到的由上述的正弦函数决定的亮度的差的合计。

[0150] 图7是将拍摄作为球体的塑料球的被摄物时的偏振度ρ、偏振光相位φ以及偏振光推定误差E作为图像来表示的图。在该图中，图7(a)是作为被摄物的塑料球的图像，图7(b)示出了针对图7(a)的被摄物的偏振度ρ，图7(c)示出了针对图7(a)的被摄物的偏振光相位φ(0°为黑，180°为白)，图7(d)示出了针对7(a)的被摄物的偏振光推定误差E。并且，图8是图7中各个图的模式图(使浓淡明了化的图)。不论在图7还是在图8中，亮度高的值就大，在球的被遮挡边缘附近偏振度大，在没有被被摄物的投影覆盖的区域，偏振光相位以180°周期在球体的周围逆时针单调增加。此偏振光相位是成为回转并发生了变化的亮度的最大值的角度，也是被摄物漫反射时的射出面的信息。

[0151] 以下，对区域划分部103的详细功能进行说明。区域划分部103利用在偏振光信息生成部102生成的偏振光信息和在偏振光图像摄像部101取得的亮度信息，将图像划分为漫反射区域、镜面反射区域、阴影区域以及投影区域。

[0152] 在此，对漫反射和镜面反射进行说明。被摄物表面的反射特性是以作为“光亮”的镜面反射成分和作为无光泽的反射成分的漫反射成分的和来表现的。漫反射成分是不论照射被摄物的光源在哪个方向上都能够观测到的成分，镜面反射成分是对于被摄物的法线方向和视线方向，几乎只有在光源存在与正反射方向上时才能观测到的对方向依存性强的成分。在偏振光特性中也是如此。

[0153] 在被摄物是“光亮”的产生镜面反射的物体的情况下，当光从各个方向照射时，被摄物会受到很强的来自作为正反射成分的镜面反射的影响(例如，关于透明物体可参照非专利文献3：齐藤めぐみ、佐藤洋一、池内克史、柏木宽，“ハイライトの偏光解析にもとづく透明物体の表面形状测定(根据光亮的偏振光分析的透明物体的表面形状测定)”電子情報通信学会論文誌(电子信息通信学会论文杂志)D-II，Vol.J82-D-II，No.9，pp.1383-1390，1999)。

[0154] 图9和图10的图表分别示出了被摄物的折射率为n＝1.1、1.3、1.5、2.0时的镜面反射成分以及漫反射成分的偏振度(例如，参照非专利文献4：“L.B.Wolff and T.E.Boult， ″ Constraining object featuresusing a polarization reflectance model″、IEEE Transactions onPattern Analysis and Machine Intelligence、Vol.13，No.7，pp.635-657，1991”)。在此，图9的横轴表示入射角，纵轴表示偏振度。并且，图10的横轴表示射出角，纵轴表示偏振度。通过这些图可知，光在从各个方向入射的情况下，与漫反射成分相比，镜面反射成分的偏振度高。据此，对于偏振光特性而言，也可以推测出是镜面反 射成分占优势。这在射出角接近90°和遮挡边缘等除外的情况也适用。 [0155] 已知的方法是，根据偏振光相位φ，求出被摄物的法线信息中的包含光的入射和反射的光线的射出面(入射角)的角度的一个自由度。但是，根据被摄物是镜面反射占优势还是漫反射占优势，法线信息的求出方法是完全不同的(例如参照非专利文献1)。在漫反射成分占优势的情况下，可以将漫反射的射出面的信息作为起偏板回转后亮度变化成为亮度的最大值的角度来求。并且，在镜面反射成分占优势的情况下，可以将漫反射的入射面信息作为起偏板回转后亮度变化成为亮度的最小值的角度来求。在此，若偏振光亮度的变动曲线为180°周期的正弦函数，则在不考虑是漫反射占优势还是镜面反射占优势的情况下生成法线信息时，被推定的法线的一个自由度具有90°的误差。因此，对漫反射和镜面反射进行分类在根据偏振光信息生成法线信息的处理中是非常重要的。

[0156] 以下，对阴影区域和投影区域进行说明。图11是用于说明阴影区域和投影区域(影子区域的分类)的模式图。在此示出了，在某一个面1002上放置有一个球状物体的被摄物1001，并且该被摄物1001由光源1003照射。在该图中，区域1004和区域1005均表示影子区域。区域1004是由于被摄物1001的法线没有朝向光源1003而产生的“阴影区域”，区域1005是由作为遮挡物的被摄物1001将光遮挡后而在面1002上产生的“投影区域”。 [0157] 以下，对阴影区域和投影区域的偏振光特性的不同之处进行说明。首先，假定在满足条件1的摄影场面进行摄影，该条件1是指在地上摄影的几乎所有的摄影场面中都能成立的条件。

[0158] 条件1：在被摄物所在的摄像场面中，存在有物体，在该物体的近旁有宽广的面，且该宽广的面在该物体的一侧，在该物体的相反一侧存在有光源。

[0159] 上述的条件例如出现在以下的摄影场面。

[0160] 1.在室内场面中，在桌子上放置有作为被摄物的球。并且，该 球被设置在天花板上的萤光灯照射。

[0161] 2.在室内场面中，作为被摄物的人物坐在在地板上放置的椅子上。并且，该人物被从窗户射入的太阳光照射。

[0162] 3.在室外场面中，作为被摄物的汽车行驶在道路上。并且，该被摄物被太阳光照射。

[0163] 并且，由于墙壁或建筑物也具有宽广的面，因此上述条件在地上的摄影的几乎所有的摄影场面中均成立。

[0164] 在此条件1成立的情况下，首先对阴影区域进行说明。如图11所示，阴影区域是被摄物的法线与光源的方向相反而产生的影子(影)区域。在此，根据条件1可以考虑到，在与光源的相反的方向上存在宽广的面，并且在影子区域中实际上存在多次绕过的光(多次反射光)，据此可以想到在阴影区域中被入射有来自各个方向的多次反射光。也就是说可以考虑到对于摄像机200和阴影区域所产生的像素的法线，存在成为正反射的多次反射光。图12是示出上述状态的模式图。在该图中，摄像机1006是搭载了本实施例中的法线信息生成装置100的摄像机，面1007是上述的宽广的面。

[0165] 不过，如以前所述镜面反射成分的偏振度比漫反射成分高。为此，示出镜面反射成分的反射特性的阴影区域的偏振度相对比较高。

[0166] 以下，对投影区域进行说明。如图11所示，投影区域是因某种遮挡物将光遮挡住而产生的影子(影)区域。在此若考虑条件1，则投影区域容易形成在具有与较大面接近的法线方向的面上。为此，与阴影区域相比，多次反射光仅从比较有限的方向入射。据此，可以考虑到在正反射方向上存在光源的可能性比较低。图13是上述状态的模式图。 [0167] 而且，如图10所示，漫反射成分的偏振度相对比较低。据此可知投影区域的偏振光成分比较少。在影子区域，由于亮度本身比较小，因此推定较小的偏振光成分是比较困难的。为此，投影区域的偏振光推定误差就会变得非常大。

[0168] 归纳以上所述，影子区域的偏振光特性可以分类为以下这样。

[0169] (1)阴影区域

[0170] ·偏振度高，偏振光推定误差小。

[0171] ·大多情况表示的是镜面反射特性。

[0172] (2)投影区域

[0173] ·偏振度低，偏振光推定误差大。

[0174] ·大多情况表示的是漫反射特性。

[0175] 通过利用此分类基准，从而可以将影子区域分类为阴影区域和投影区域。例如，可以将偏振光信息为镜面反射的偏振光特性(偏振度高，或偏振光推定误差小)的低亮度区域分类为阴影区域。以下，对利用这样的性质进行区域划分的区域划分部103进行详细说明。

[0176] 图14是图1所示的法线信息生成装置100的区域划分部103的详细功能构成方框图。该区域划分部103是进行区域划分的处理部，其利用在偏振光信息生成部102生成的偏振光信息和在偏振光图像摄像部101取得的亮度信息，将图像划分为漫反射区域、镜面反射区域、阴影区域以及投影区域，该区域划分部103包括：影子区域检测部301、DB(数据库)302、偏振度比较部303、偏振光推定误差比较部304、区域判断部305、以及蓄积部306。 [0177] 影子区域检测部301是推定由偏振光图像摄像部101取得的图像中的像素是否为影子区域的处理部。

[0178] DB302是预先存储由偏振度比较部303参照的阈值Th_PDS以及由偏振光推定误差比较部304参照的阈值Th_Err的存储器等。

[0179] 偏振度比较部303是一处理部，从DB302中读出阈值Th_PDS，对于在影子区域检测部301被推定为不是影子区域的像素中的成为对象的像素的偏振度和阈值Th_PDS进行比较。

[0180] 偏振光推定误差比较部304是一处理部，从DB302中读出阈值Th_Err，对于在影子区域检测部301被推定为是影子区域的像素，对成为对象的像素的偏振光推定误差E和阈值Th_Err进行比较。

[0181] 区域判断部305按照在偏振度比较部303以及偏振光推定误差比较部304的比较结果，判断成为对象的像素是漫反射区域、镜面反射区域、投影区域以及阴影区域中的哪一个，并将结果蓄积到蓄积部306。

[0182] 蓄积部306是存储由区域判断部305判断的区域划分结果的存储器等。 [0183] 图15是该区域划分部103进行处理的流程图。首先，影子区域检测部301推定由偏振光像素摄像部101取得的图像中的像素是否为低亮度区域(在本实施例中为影子区域)(S201)。这是因为，例如利用影子区域中的亮度值低这一特性，可以将亮度值或通过偏振器的亮度的变动曲线的振幅在阈值以下的像素推定为影子区域。像这种用于推定影子区域的阈值可以通过实验来决定，例如对于16位的单色图像的亮度值可以设定为256。这样的阈值可以保持在DB302。图16(a)是针对图7(a)的图像(其模式图为图8(a))进行影子检测处理后的结果。图中的黑色区域是作为影而被检测出的结果。

[0184] 在像素不是影子区域的情况下(S201的“否”)，偏振度比较部303判断在该像素中是漫反射成分占优势还是镜面反射成分占优势(S202)。图17是由该偏振度比较部303进行漫反射和镜面反射的分类处理(S202)的流程图。在此，偏振度比较部303利用上述的“镜面反射的偏振度高”这一特性，来判断像素是漫反射占优势还是镜面反射占优势。首先，偏振度比较部303调查像素的偏振度比阈值Th_PDS小还是大(S211)。在像素的偏振度比阈值Th_PDS小的情况下(S211的“是”)，区域判断部305则判断在该像素中是漫反射占优势(该像素是漫反射区域)(S212)。另外，在偏振度比阈值Th_PDS大的情况下(S211的“否”)，区域判断部305则判断在该像素中是镜面反射占优势(该像素是镜面反射区域)(S213)。区域判断部305将区域划分的结果蓄积到蓄积部306。

[0185] 并且，阈值Th_PDS可以根据被摄物的折射率或被摄物的法线方向、光源方向、视线方向等来设定。如图9和图10所示，被摄物的镜面反 射成分偏振度或漫反射成分偏振度可以通过求折射率和入射角、射出角来决定。因此，可以将在图9和图10求出的镜面反射成分偏振度或漫反射成分偏振度作为Th_PDS来利用。并且，在被摄物的折射率或被摄物的法线方向、光源方向、视线方向等信息不能得到的情况下，可以根据漫反射成分偏振度能够取得的最大值来决定阈值Th_PDS。例如，假设不存在折射率为2.0以上的被摄物，根据图10可以考虑到漫反射成分偏振度的最大值为0.6左右，因此可以将阈值Th_PDS设定为0.7左右。这样的阈值可以保持在DB302。

[0186] 在漫反射和镜面反射的分类处理(S202)结束后，区域判断部305检查所有的像素的光学上的分类是否结束(S203)。在存在还没有进行分类的像素的情况下(S203的“否”)，影子区域检测部301检测其他的像素是否为影子区域(S201)。并且，在所有的像素在光学上的分类结束的情况下(S203的“是”)，区域划分部103结束处理。

[0187] 另一方面，像素为影子区域的情况下(S201的“是”)，偏振光推定误差比较部304评价在上述公式8中定义的偏振光推定误差E的大小(S204)。即，偏振光推定误差比较部304对偏振光推定误差E的大小和阈值Th_Err进行比较。在比较结果为，偏振光推定误差E的大小比阈值Th_Err大的情况下(S204的“是”)，区域判断部305将该像素判断为是投影区域(S205)，另外，在偏振光推定误差E的大小比阈值Th_Err小的情况下(S204的“否”)，区域判断部305则将该像素判断为是阴影区域(S206)。区域判断部305将区域划分结果蓄积到蓄积部306。

[0188] 此时的阈值Th_Err可以以摄影图像的亮度值或公式2中的振幅成分A、偏离成分C为基准来决定。例如，在以振幅成分A为基准决定阈值Th_Err的情况下，可以决定为以下这样。

[0189] Th_Err＝(Th_E)2·(2A)2·N (公式9)

[0190] 该公式示出偏振光推定误差E与振幅成分A有多大的不同。在此， Th_E是一个适当地正的常数，可以试行决定，例如决定为0.3。并且，N是上述的采样数。这样的阈值可以保持在DB302。

[0191] 图16(b)以及图16(C)分别示出了以上述的方法求出的投影区域以及阴影区域。在该图中，黑色区域是被选择的区域。通过对于像这样求出的投影区域和阴影区域进行在图像处理中被广泛使用的区域的收缩扩大处理，从而可以将投影区域和阴影区域进行分离。

[0192] 图18示出了由区域划分部103进行的区域划分的例子。在此，示出了对于构成偏振光图像的各个像素的像素位置、振幅A、偏振度ρ、偏振光相位φ、偏振光推定误差E的具体值以及区域划分结果。在此所示的区域划分中的判断基准如图19所示。即，是漫反射区域还是镜面反射区域或是影子区域是根据振幅A是否在256以上来判断的(图15的S201)，是漫反射区域还是镜面反射区域是根据偏振度ρ是否比0.7小来判断的(图17的S211)，是投影区域还是阴影区域是根据偏振光推定误差E是否比上述公式9所示的阈值Th_Err大来判断的(图15的S204)。以这样的判断基准判断的结果如图18所示，像素(141、117)被判断为属于漫反射区域，像素(151、138)被判断为属于镜面反射区域，像素(111、144)被判断为属于阴影区域，像素(98、151)被判断为属于投影区域，像素(165、144)被判断为属于漫反射区域。

[0193] 以下，对法线信息生成部104的详细功能进行说明。图20是图1所示的法线信息生成装置100的法线信息生成部104的详细功能构成方框图。该法线信息生成部104是根据区域划分部103所进行的区域划分结果，从偏振光信息生成法线信息的处理部，其包括：蓄积部306、区域参照部307、漫反射假定法线信息生成部308以及镜面反射假定法线信息生成部309。并且，对于该图中与图14相同的构成要素赋予相同的符号，在此省略详细说明。

[0194] 区域参照图307是一处理部，通过参照被蓄积在蓄积部306中的区域划分结果，判断在成为对象的像素中是漫反射成分占优势(是否为漫反射区域)还是镜面反射成分占优势(是否为镜面反射区域)，或 者判断该像素是否为阴影区域。

[0195] 漫反射假定法线信息生成部308是针对漫反射区域的像素以假定的漫反射生成法线信息的处理部。具体而言，将通过上述的近似法而得到的正弦函数中的亮度为最大的偏振光主轴角，作为与该像素相对应的被摄物的射出面的法线信息来生成。 [0196] 镜面反射假定法线信息生成部309是针对镜面反射区域以及阴影区域的像素以假定的镜面反射生成法线信息的处理部。具体而言，将通过上述的近似法而得到的正弦函数中的亮度为最小的偏振光主轴角，作为与该像素相对应的被摄物的射出面的法线信息来生成。

[0197] 图21是该法线信息生成部104的处理流程图。首先，区域参照部307根据区域划分部103所检测出的光学上的区域划分的结果，判断像素是否为漫反射成分占优势(S301)。该处理可以是从蓄积了区域判断部305的结果的蓄积部306中读出区域划分结果。在被判断为是漫反射成分占优势的情况下(S301的“是”)，漫反射假定法线信息生成部308以假定的漫反射生成关于该像素的法线信息(S302)。具体而言，将射出面中的法线的一个自由度作为起偏板回转亮度变化成为最大值的角度来求。即，将通过上述的近似法而得到的正弦函数中的亮度为最大的偏振光主轴角，作为与该像素相对应的被摄物的射出面的法线信息来生成。

[0198] 并且，在被判断为像素是漫反射成分占优势的情况下(S301的“否”)，区域参照部307判断是否为镜面反射成分占优势(是否为镜面反射区域)或者判断像素是否为阴影区域(S303)。在其结果为，在判断为是镜面反射成分占优势或者在判断为像素是阴影区域的情况下(S303的“是”)，镜面反射假定法线信息生成部309针对该像素以假定的镜面反射生成法线信息(S304)。具体而言，将入射面中的法线的一个自由度作为起偏板回转亮度变化成为最小值的角度来求。即，将通过上述的近似法而得到的正弦函数中的亮度为最小的偏振光主轴角，作为与该像素相对应的被摄物的入射面的法线信息来生成。 [0199] 另一方面，在判断为像素是投影区域的情况下，也就是说既不是漫反射成分占优势也不是镜面反射成分占优势，更不是阴影区域的情况下(S303的“否”)，则判断为像素偏振光信息是误差占优势，不能生成正确的法线信息，则该法线信息生成部104不进行法线信息生成处(S305)。

[0200] 并且，在图15所示的处理中，虽然对于在像素中是漫反射成分还是镜面反射成分占优势的判断利用了偏振度(S202)，不过也可以利用亮度值。图22是利用亮度值来判断是漫反射还是镜面反射的变形例所涉及的区域划分部103a的详细功能构成方框图。该区域划分部103a包括：影子区域检测部301、DB302、偏振光推定误差比较部304、区域判断部305、蓄积部306以及亮度比较部310。并且，对于在该图22中与图14相同的构成要素赋予相同的符号，在此省略详细说明。

[0201] 亮度比较部310是一处理部，从DB302中读出阈值TH_IDS，并对成为对象的像素的亮度值和阈值TH_IDS进行比较。

[0202] 图23是该区域划分部103a的处理流程图。并且对于图23中与图17相同的步骤赋予相同的符号，在此省略详细说明。亮度比较部310调查像素的亮度值比阈值TH_IDS大还是小(S214)。在像素的亮度值比阈值TH_IDS小的情况下(S214的“是”)，区域判断部305将该像素判断为是漫反射占优势(S212)。另外，在亮度值比阈值TH_IDS大的情况下(S214的“否”)，区域判断部305则判断该像素是镜面反射占优势(S213)。这样，利用亮度值判断了在该像素中是漫反射占优势还是镜面反射占优势。

[0203] 并且，在图15所示的处理中，虽然是利用偏振光推定误差来判断像素是阴影区域还是投影区域的(S204)，不过也可以不利用偏振光推定误差，而可以利用偏振度来进行判断。图24是利用偏振度来判断是阴影区域还是投影区域的变形例所涉及的区域划分部103b的详细的功能构成方框图。该区域划分部103b包括：影子区域检测部301、DB302、偏振光推定误差比较部304、区域判断部305以及蓄积部306。并且， 对于图24中与图14相同的构成要素赋予相同的符号，在此省略详细说明。

[0204] 图25是该区域划分部103b的处理流程图。并且，对于图25中与图15相同的步骤赋予相同的符号，在此省略详细说明。

[0205] 在由影子区域检测部301判断像素是影子区域的情况下(S201的“是”)，偏振度比较部303对公式6所定义的偏振度ρ和阈值Th_P进行比较，以判断该像素是阴影区域还是投影区域(S207)。当判断结果为，偏振度ρ比阈值Th_P小的情况下(S207的“是”)，区域判断部305判断该像素为投影区域(S205)，并且，在偏振度ρ比阈值Th_P大的情况下(S207的“否”)，则区域判断部305判断该像素为阴影区域(S206)。这样，利用偏振度判断了像素是阴影区域还是投影区域。

[0206] 并且，阈值Th_P可以根据被摄物的折射率或被摄物的法线方向、光源方向、视线方向等来设定。如图9和图10所示，被摄物的镜面反射成分偏振度或漫反射成分偏振度可以通过求折射率和入射角、射出角来决定。因此，可以将在图9以及图10所求出的镜面反射成分偏振度或漫反射成分偏振度作为Th_P来利用。并且，在不能得到被摄物的折射率或被摄物的法线方向、光源方向、视线方向等信息的情况下，可以根据漫反射成分偏振度能够取得的最大值来决定Th_P。例如，假设不存在折射率在2.0以上的被摄物的情况下，由于根据图10可以考虑到漫反射成分偏振度的最大值为0.6左右，因此可以将阈值Th_P设定为0.7左右。

[0207] 并且，在图15所示的处理中，在判断该像素是阴影区域还是投影区域之时(S204)，可以不是利用偏振光推定误差和偏振度的某一个，而是可以这两个。图26是既利用偏振光推定误差又利用偏振度来判断像素是阴影区域还是投影区域的变形例所涉及的区域分割部103c的详细功能构成方框图。该区域划分部103c包括：影子区域检测部301、DB302、偏振度比较部303、偏振光推定误差比较部304、区域判断部305以及蓄积部306。并且，对于在图26中与图14相同的构成要素赋 予相同的符号，在此省略详细说明。该区域划分部103c虽然与图14所示的区域划分部103的构成要素相同，但是区域判断部305的区域划分中的判断基准与区域划分部103不同。

[0208] 图27是该区域划分部103c的处理流程图。并且，对于在图27中与图15相同的步骤赋予相同的符号，在此省略详细说明。在由影子区域检测部301判断为成为对象的像素是影子区域的情况下(S201的“是”)，偏振光推定误差比较部304以及偏振度比较部303分别评价在公式8定义的偏振光推定误差E和在公式6定义的偏振度ρ，来判断该像素是阴影区域还是投影区域。即，偏振光推定误差比较部304对偏振光推定误差E和阈值Th_Err进行比较，偏振度比较部303对偏振度ρ和阈值Th_P进行比较。

[0209] 在其结果为，偏振光推定误差E比阈值Th_Err大并且偏振度ρ的大小比阈值Th_P小的情况下(S208的“是”)，区域判断部305判断该像素为投影区域(S205)，另外，在偏振光推定误差E的大小比阈值Th_Err小且偏振度ρ的大小比阈值Th_P大的情况下(S208的“否”)，则区域判断部305判断该像素为阴影区域(S206)。这样，在判断像素是阴影区域还是投影区域中，既利用了偏振光推定误差又利用了偏振度。

[0210] 并且，偏振光推定误差E的阈值Th_Err可以取比仅以图15所示的处理的偏振光推定误差判断的情况大的值，偏振度ρ的阈值Th_P可以取比仅以图25所示的处理的偏振度判断的情况小的值。并且，在区域判断部305进行的判断(S208)中，也可以在偏振光推定误差E的大小比阈值Th_Err大且偏振度ρ的大小比阈值Th_P小的情况下，判断该像素为投影区域。

[0211] 并且，在图15的处理中，虽然在判断像素是阴影区域还是投影区域中利用了偏振光推定误差(S204)，不过也可以利用阴影区域的偏振光特性为镜面反射这一特性来进行判断。例如，可以利用公式7所定义的偏振光相位φ。如以上所述，偏振光相位φ示出了被摄物的法线 的一个成分，偏振光相位φ和被摄物的法线的一个成分的关系成为，根据被摄物是镜面反射成分占优势还是漫反射成分占优势，相位将相差90度，对此将在以后叙述。例如，通过图7(c)(其模式图为图8(c))可知，阴影区域的偏振光相位信息和旁边的偏振光相位信息大不相同。这是因为，阴影区域示出的是镜面反射成分这一偏振光特性，而其旁边区域示出的是漫反射成分这一偏振光特性。因此，通过评价被摄物的偏振光相位的连续性，来检测示出镜面反射成分的偏振光特性，从而检测阴影区域。

[0212] 并且，图14等所示出的影子区域检测部301也可以利用被搭载在摄像机200上的发光装置207(闪光设备等)。这是因为，像黑窗帘这种反射率非常小的被摄物存在的情况下，仅利用上述的亮度值来进行判断是很难区别影子区域和黑窗帘的。以下利用附图，对利用了这种闪光设备的本实施例的变形例所涉及的法线信息生成装置进行详细说明。 [0213] 图28是上述的变形例所涉及的法线信息生成装置100a的功能构成方框图。该法线信息生成装置100a在图1所示的法线信息生成装置100的基础上附加了发光部105。并且，对于在图28中与图1相同的构成要素赋予相同的符号，在此省略详细说明。 [0214] 发光部105是与法线信息生成装置100a的摄像工作连动的并将光投到被摄物的闪光设备。此时，该发光部105控制闪光设备的点亮。偏振光图像摄像部101与发光部105连动，拍摄两张闪光设备发光的状态和不发光的状态的图像。此时，使被摄物与摄像机200的位置关系不发生变化，而进行摄影。像这种摄影例如可以使用摄像机200的连拍功能等。 [0215] 图29是本变形例所涉及的法线信息生成装置100a所进行影子检测处理的流程图。即示出了与图15中的影子区域检测处理(S201)不同的方法的流程图。首先，影子区域检测部301调查闪光设备不发光的状态下的像素的亮度值(S401)。在像素的亮度值比阈值高的情况下 (S401的“否”)，影子区域检测部301判断像素不是低亮度区域(在此为影子区域)(S402)，则结束处理。

[0216] 另外，在像素的亮度值在阈值以下的情况下(S401的“是”)，由于像素为影子区域的可能性比较高，因此，影子区域检测部301制作使闪光设备发光的状态下拍摄的使用闪光设备的摄影图像和不使闪光设备发光的状态下拍摄的通常的摄影图像的差分图像(S403)。闪光设备的发光位置和摄像元件的位置十分接近，几乎相同的情况下，由闪光设备所产生的影不会出现在摄影图像上。这是因为视线方向和光源方向一致的缘故。为此，在没有使闪光设备发光的状态下的影子区域，通过使闪光设备发光，从而存在直接光。因此，影子区域的亮度值显著地增大。

[0217] 另外，在像素不是影子区域而是反射率很小的黑窗帘的情况下，即使使闪光设备发光反射率也很小，因此亮度值几乎不变化。也就是说，在通过利用闪光设备差分图像的亮度值在阈值以上的情况下(S404的“是”)，影子区域检测部301判断该像素为影子区域(S405)，结束处理。并且，在通过利用闪光设备差分图像的亮度值比阈值小的情况下(S404的“否”)，影子区域检测部301判断该像素不是影子区域，而是低反射率区域(或低反射率像素)(S406)，结束处理。

[0218] 这样，即使是存在像黑窗帘这样反射率很小的被摄物，也能够正确地检测出影子区域，通过将影子区域分类为阴影区域和投影区域，从而可以针对阴影区域以假定的镜面反射生成正确的法线信息。并且，关于偏振光信息误差较多且即使是生成了法线信息精确度也非常低的投影区域，可以通过不进行法线信息生成处理，在尽可能的广区域内生成高精确度的法线信息。

[0219] 这样，通过本实施例中的法线信息生成装置，将影子区域分类为阴影区域和投影区域，通过以假定的镜面反射从而能够对阴影区域生成正确的法线信息。并且，关于偏振光信息误差较多且即使是生成了法线信息精确度也非常低的投影区域，可以通过不进行法线信息生成 处理，在尽可能的广区域内生成高精确度的法线信息。

[0220] 并且，在本实施例中，虽然在图案偏振器201采用了光子晶体，不过也可以是薄膜型的偏振光元件，或导线栅格型或利用其他的原理的偏振光元件。并且，也可以不利用图案偏振器，而使摄像机200的镜头前安装的起偏器边回转边摄影，从而在时间序列上取得偏振光主轴不同的亮度。此方法例如在专利文献2中公开(专利文件2：日本特开平11-211433)。

[0221] (实施例2)

[0222] 以下对本发明的实施例2中的法线信息生成装置进行说明。

[0223] 图30是本实施例中的法线信息生成装置100b的构成方框图。该法线信息生成装置100b是生成被摄物表面的法线信息的装置，所具有的特征是将低亮度区域分类为“阴影区域或低反射率区域”和投影区域，其不具备实施例1中的法线信息生成装置100所具备的区域划分部1031和法线信息生成部1041，而具备功能上略有不同的区域划分部1031和法线信息生成部1041。并且，对于与实施例1中的法线信息生成装置100相同的构成要素赋予相同的符号，在此省略其说明。

[0224] 区域划分部1031是一处理部，其利用偏振光图像的亮度信息和在偏振光信息生成部102生成的偏振光信息的类似性(共通性)，将偏振光图像划分为由在光学上共通的图像区域的集合构成的多个区域。此时，区域划分部1031对图像区域的亮度和预先规定的阈值进行比较，在亮度比阈值小的情况下，对该图像区域进行区域划分，划分为包含影子区域(在本实施例中为包含“阴影区域或低反射率区域”和投影区域的区域)的低亮度区域。在本实施例中区域划分部1031将低亮度区域分类为“阴影区域或低反射率区域”和投影区域，据此，将图像划分为漫反射区域、镜面反射区域、“阴影区域或低反射率区域”以及投影区域。

[0225] 法线信息生成部1041是按照在区域划分部1031划分的区域，从偏振光信息中生成法线信息的处理部。不过，该法线信息生成部1041 与在实施例1说明的法线信息生成部不同之处在于，将阴影区域作为“阴影区域或低反射率区域”来生成法线信息。 [0226] 图31是本实施例中的法线信息生成装置100b进行的处理的流程图。并且，对于图31中与实施例1中的图4的共同的步骤赋予相同的符号，在此省略详细说明。 [0227] 区域划分部1031利用在偏振光信息生成部102生成的偏振光信息或在偏振光图像摄像部101取得的亮度信息，将图像划分为漫反射区域、镜面反射区域以及低亮度区域(在本实施例中为“阴影区域或低反射率区域”以及投影区域)(S1031)。

[0228] 法线信息生成部1041如后述那样，根据区域划分部1031进行的区域划分结果，从偏振光信息中生成法线信息(S104)。此时，关于投影区域，由于偏振光信息中误差较多，因此不进行法线信息生成处理。

[0229] 首先，对反射率小的被摄物的偏振光特性的不同之处进行说明。在表面光滑的反射率小的被摄物，由于内部反射几乎为0，因此，漫反射成分变得非常小。另外，在正反射条件中，对光进行反射，镜面反射变大。即，在低反射率区域可以考虑到漫反射成分小，而镜面反射成分相对占优势。这是因为，反射率小的物体具有与以下所示的阴影区域同样的偏振光特性。

[0230] (1)“阴影区域或低反射率区域”

[0231] ·偏振度高，偏振光推定误差小。

[0232] ·大多情况表示的是镜面反射特性。

[0233] (2)投影区域

[0234] ·偏振度低，偏振光推定误差大。

[0235] ·大多情况表示的是漫反射特性。

[0236] 通过利用该分类基准，可以将低亮度区域分类为“阴影区域或低反射率区域”和投影区域。以下，利用附图对该处理进行详细说明。

[0237] 图32是图30所示的法线信息生成装置100b的区域划分部1031的详细功能构成方框图。该区域划分部1031包括：DB302、偏振度比 较部303、偏振光推定误差比较部304、区域判断部305、蓄积部306以及低亮度像素检测部311。并且，对于图32中与实施例1中的图14的共同的步骤赋予相同的符号，在此省略详细说明。

[0238] 低亮度像素检测部311是推定偏振光图像摄像部101所取得的图像中的某些像素是否为低亮度区域(包含“阴影区域或低反射率区域”以及投影区域的区域)的处理部。 [0239] 图33是该区域划分部1031进行处理的流程图。首先，低亮度像素检测部311评价偏振光图像摄像部101所取得的图像中的某些像素的亮度值(S501)。这与以前所述的步骤S201同样，评价亮度值是否在阈值以下。像这种用于推定低亮度区域的阈值可以通过实验来决定，例如对于16位的单色图像的亮度值可以设定为256。这样的阈值可以保持在DB302。在亮度值比阈值大的情况下(S501的“否”)，区域划分部1031与以前所述的步骤S202采用同样的方法(偏振度比较部303所进行的比较)，判断该像素中是漫反射成分占优势还是镜面反射成分占优势(S502)。在漫反射和镜面反射的分类处理(S502)结束后，区域判断部305检查所有的像素的光学上的分类是否结束(S203)。在存在还没有进行分类的像素的情况下(S503的“否”)，低亮度像素检测部311评价其他的像素的亮度值。(S501)。并且，在所有的像素在光学上的分类结束的情况下(S503的“是”)，区域划分部1031结束处理。

[0240] 另外，在像素的亮度值在阈值以下的情况下(S501的“是”)，判断该像素是“阴影区域或低反射率区域”还是投影区域(S504)。这与以前所述同样，是通过偏振光推定误差比较部304对公式8所定义的偏振光推定误差E的大小进行评价(对偏振光推定误差E和阈值Th_Err进行比较)而实现的。在比较结果为，偏振光推定误差E的大小比阈值Th_Err大的情况下(S504的“是”)，区域判断部305将该像素判断为是投影区域(S505)，另外，在偏振光推定误差E的大小比阈值Th_Err小的情况下(S504的“否”)，区域判断部305则将该像素判断为是“阴影区域或低反射率区域”(S506)。此时的阈值Th_Err可以通过以前的 方法来决定。进行了区域划分的结果被蓄积到蓄积部306。

[0241] 法线信息生成部1041根据区域划分部1031进行的区域划分结果，从偏振光信息中生成法线信息。该法线信息生成部1041的构成要素与实施例1中说明的法线信息生成部104相同，即如图20所示那样，包括：蓄积部306、区域参照部307、漫反射假定法线信息生成部308以及镜面反射假定法线信息生成部309。不过，该法线信息生成部1041与在实施例1说明的法线信息生成部不同之处在于，将阴影区域作为“阴影区域或低反射率区域”来生成法线信息。

[0242] 图34是该法线信息生成部1041的处理流程图。并且对于图34中与图21相同的步骤赋予相同的符号，在此省略详细说明。

[0243] 首先，法线信息生成部1041的区域参照部307根据区域划分部1031所检测出的光学上的区域划分的结果，判断像素是否为漫反射成分占优势(S301)。该处理可以是从蓄积了区域判断部305的结果的蓄积部306中读出区域划分结果。在被判断为是漫反射成分占优势的情况下(S301的“是”)，漫反射假定法线信息生成部308以假定的漫反射生成关于该像素的法线信息(S302)。具体而言，将射出面中的法线的一个自由度作为起偏板回转亮度变化成为最大值的角度来求。并且，在像素不是漫反射成分占优势的情况下(S301的“否”)，若在镜面反射成分占优势或为“阴影区域或低反射率区域”的情况下(S306的“是”)，镜面反射假定法线信息生成部309以假定的镜面反射来生成该像素的法线信息(S304)。具体而言，将入射面中的法线的一个自由度作为起偏板回转亮度变化成为最小值的角度来求。另外，在像素是投影区域的情况下(S303的“否”)，则判断为像素的偏振光信息为误差占优势，不能生成正确的法线信息，法线信息生成部1041不进行法线信息生成处(S305)。 [0244] 如以上所述，通过本实施例的法线信息生成装置，能够将低亮度区域分类为“阴影区域或低反射率区域”和投影区域，从而能够以假定的镜面反射来针对“阴影区域或低反射率区域”生成正确的法线信 息。并且，关于偏振光信息误差较多且即使是生成了法线信息精确度也非常低的投影区域，可以通过不进行法线信息生成处理，在尽可能的广区域内生成高精确度的法线信息。

[0245] 并且，在步骤S504为了判断该像素是“阴影区域或低反射率区域”还是投影区域，可以不利用偏振光推定误差，而是与实施例1同样，利用偏振度、偏振光推定误差和偏振度这双方、以及偏振光相位。

[0246] (实施例3)

[0247] 以下，对本发明的实施例3中的法线信息生成装置进行说明。

[0248] 图35是本实施例中的法线信息生成装置100c的构成方框图。该法线信息生成装置100c是生成被摄物表面的法线信息的装置，具有的特征是只有在能够正确地生成法线信息的情况下才生成法线信息，除具有与图1所示的法线信息生成装置100相同的构成以外，还具有摄像条件判定部106。并且，对于图35中与图1相同的构成要素赋予相同的符号，在此省略详细说明。

[0249] 摄像条件判定部106是一处理部，判断偏振光图像摄像部101将要拍摄的成为摄像对象的摄像场面，是否满足作为法线信息生成部104能够正确生成法线的摄像条件的预先规定的摄像条件。

[0250] 图36是该摄像条件判定部106的详细的功能构成方框图。该摄像条件判定部106包括：DB302、光轴方向检测部312以及光轴方向比较部313。

[0251] 光轴方向检测部312是检测法线信息生成装置100c的光轴方向的角度感应器等。 [0252] 光轴方向比较部313是判断法线信息生成装置100c是否朝向水平面(地平面)上方的处理部。

[0253] 在此，在本实施例中，摄像场面需要满足如实施例1中所说明的条件1。 [0254] 条件1：在被摄物所在的摄像场面中，存在有物体，在该物体的近旁有宽广的面，且该宽广的面在该物体的一侧，在该物体的相反一 侧存在有光源。但是，安置了法线信息生成装置100c可以不必满足上述条件1。因此，在本实施例中，摄像条件判定部106判定是否满足上述条件1。在此，若着眼于光源大多位于上方时，条件1不满足以下的条件2。 [0255] 条件2：“摄像者拍摄上方”

[0256] 该条件2例如在以下的摄影场面成立。

[0257] 1.在室外场面拍摄天空、月亮、星辰等。

[0258] 2.在室内场面拍摄天花板上正在发光的萤光灯的方向。

[0259] 以下探讨上述的摄影场面1的情况，例如拍摄新月。新月的影子区域可以被视为是阴影区域。但是，该影子区域具有由被称为地球反射的来自地球的多次反射的反射光而带来的亮度。为此，虽然是阴影区域，由于多次反射光的入射方向仅限于地球，因此可以考虑到几乎不存在作为正反射成分的镜面反射成分。因此，法线信息生成装置100c不能正确发挥功能。于是，摄像条件判定部106判断法线信息生成装置100c是否能够正确地发挥功能(能够正确地生成法线信息)，在能够正确发挥功能的情况下，进行阴影区域和投影区域的划分处理，在不能正确地发挥功能的情况下，中止影子区域的划分处理，并中止从影子区域中生成法线信息的处理。

[0260] 图37示出了搭载了本实施例中的法线信息生成装置100c的摄像机200a的硬件构成的例子。此摄像机200a是具有生成法线信息功能的摄像装置，其包括：图案偏振器201、摄像元件202、存储器203、CPU204、角度感应器205、表示部208以及扬声器209。并且，对于图37中与图2相同的构成要素赋予相同的符号，在此省略详细说明。 [0261] 角度感应器205检测摄像机200a的光轴方向，并输出该信息。

[0262] 表示部208在摄影场面由摄像条件判定部106判断为不满足上述的条件1的情况下，将此消息显示在显示器上。

[0263] 扬声器209在摄影场面由摄像条件判定部106判断为不满足上述的条件1的情况下，将此消息以声音输出。

[0264] 并且，图36所示的光轴方向检测部312是通过图37所示的角度感应器205而被实现的。图36所示的光轴方向比较部313是通过图37所示的CPU204执行被存储在存储器203中的程序而被实现的。

[0265] 图38是本实施例中的法线信息生成装置100c进行的处理的流程图。并且对于图38中与图4相同的步骤赋予相同的符号，在此省略详细说明。

[0266] 在本实施例中，光轴方向检测部312(角度感应器205)取得表示法线信息生成装置100c(摄像机200a)的光轴方向的光轴方向信息(S106)。利用这样求出的光轴方向信息，判断摄像场面是否为能够生成法线信息的环境(S107)。这将由光轴方向比较部313判断法线信息生成装置100c(摄像机200a)的光轴方向是否朝向上方来进行。光轴方向比较部313例如在光轴朝向水平方向以上45度的情况下，判断光轴方向为朝向上方。此阈值45度可以通过实验来决定，并且这样的阈值可以保持在DB302。在此，在光轴方向被判断为朝向上方的情况下，摄像条件判定部106判断摄像场面是否满足条件1(S107的“否”)，区域划分部103利用在偏振光信息生成部102生成的偏振光信息或在偏振光图像摄像部101取得的亮度信息，将图像分类为漫反射区域、镜面反射区域、影子区域(S108)。在此例子中，由于不满足条件1，因此不将影子区域分类为阴影区域和投影区域。接着，法线信息生成部104根据区域划分部103进行的区域划分结果，从偏振光信息中生成法线信息。图39是该处理(S109)的详细流程图。并且对于图39中与图21相同的步骤赋予相同的符号，在此省略详细说明。

[0267] 首先，法线信息生成部104根据区域划分部103所检测出的光学上的区域划分的结果，判断像素是否为漫反射成分占优势(S301)。在被判断为是漫反射成分占优势的情况下(S301的“是”)，法线信息生成部104以假定的漫反射来生成该像素的法线信息(S302)。具体而言，将射出面中的法线的一个自由度作为起偏板回转亮度变化成为最大值的角度来求。并且，在像素不是漫反射成分占优势的情况下(S301的 “否”)，若在镜面反射成分占优势的情况下(S307的“是”)，法线信息生成部104以假定的镜面反射来生成该像素的法线信息(S304)。具体而言，将入射面中的法线的一个自由度作为起偏板回转亮度变化成为最小值的角度来求。另一方面，在判断为像素是影子区域的情况下，也就是说既不是漫反射成分占优势也不是镜面反射成分占优势的情况下(S307的“否”)，则判断为像素偏振光信息是误差占优势，不能生成正确的法线信息，则该法线信息生成部104不进行法线信息生成处理(S305)。

[0268] 另外，在光轴方向被判断为不朝向上方的情况下(S107的“是”)，摄像条件判定部106判断摄像场面满足条件1，区域划分部103不进行光学上的区域划分处理(S103)，接着，法线信息生成部104生成法线信息(S104)。

[0269] 并且，在摄像场面由摄像条件判定部106判定为满足条件1的情况下，表示部208将“不能实现影子区域的法线信息生成处理”等在显示器上显示，扬声器209发出声音信号，将同样的消息传达给摄像者。

[0270] 不过，在摄像场面由摄像条件判定部106判定为不满足条件1的情况下，不是不进行光学上的区域划分处理或法线信息生成处理，而是可以进行以下的处理，即：关于阴影区域，以假定的漫反射来生成法线信息，表示部208将“法线信息生成处理不稳定”等显示在显示器，扬声器209以声音信号将同样的消息传达给摄像者。

[0271] 并且，在摄像场面由摄像条件判定部106判定为不满足条件1的情况下，法线信息生成部104可以利用近旁的法线信息，通过内插处理等对影子区域合成法线信息。关于内插处理可以利用以往的方法。

[0272] 并且，摄像条件判定部106不仅限于利用光轴方向检测部312，例如也可以利用具有能够识别安装了法线信息生成装置100c的环境的功能的处理部。例如，可以通过利用声纳等来实现。以下，对具有这种环境识别功能的本实施例的变形例所涉及的法线信息生成装置进行说 明。

[0273] 图40示出了搭载了这种变形例所涉及的法线信息生成装置的摄像机200b的硬件构成的例子。该摄像机200b与图37所示的本实施例所涉及的摄像机200a的构成的不同之处在于，不具备角度感应器205而具备声纳210。并且，对于图40中与图37相同的构成要素赋予相同的符号，在此省略详细说明。

[0274] 图41是具备本变形例所涉及的法线信息生成装置的摄像条件判定部106a的详细的功能构成方框图。并且，此变形例所涉及的法线信息生成装置与图35所示的本实施例中的法线信息生成装置100c的构成的区别在于，不具备摄像条件判定部106而具备摄像条件判定部106a。该摄像条件判定部106a具有声纳，该声纳通过发出声波并接收声波的反射波来测定到周围的对象物的距离，且该摄像条件判定部106a的特点是，利用声纳来判断该法线信息生成装置的近旁是否有物体，在判断为没有物体的情况下，判定摄像场面不满足摄像条件，并且，该摄像条件判定部106a在功能上具有：DB302、摄像环境检测部315以及摄像环境识别部316。并且，对于图41中与图36相同的构成要素赋予相同的符号，在此省略详细说明。

[0275] 摄像环境检测部315是一处理部，测定到周围的对象物的距离，并将该距离信息作为摄像环境信息来生成，相当于图40所示的声纳210。

[0276] 摄像环境识别部316是利用来自摄像环境检测部315的摄像环境信息，来判断摄像场面是否为能够实现光学上的区域划分的环境。

[0277] 图42是该变形例所涉及的法线信息生成装置的处理流程图。并且对于图42中与图38相同的步骤赋予相同的符号，在此省略详细说明。

[0278] 在本变形例所涉及的法线信息生成装置中，摄像环境检测部315以声纳210来取得摄像环境信息(S111)。该声纳210是主动声纳，发生超音波或音波，并通过接受其反射波来测定到周围的对象物的距离的装置。因此，通过利用声纳210，将摄像机200b的周围是否有物体 以及在有物体的情况下到该物体的距离信息作为摄像环境信息来取得。并且，声纳210被广泛利用于鱼群探测器等，由于这是周知技术，因此省略详细说明。

[0279] 这样，利用求出的摄像环境信息，判断摄像场面是否为能够实现光学上的区域划分的环境(S107)。这可以通过摄像环境识别部316对摄像机200b的近旁是否有物体的判断来实现。具体而言，摄像环境检测部315取得到摄像机200b的周围(全方位)的物体的距离信息，只要评价距离比一定的值TH_S短且立体角大即可。在这样的立体角的大小比阈值TH_SR小的情况下，摄像条件判定部106判断摄像场面不满足条件1(S107的“否”)，区域划分部103利用偏振光信息生成部102生成的偏振光信息或偏振光图像摄像部101所取得的亮度信息，将图像分类为漫反射区域、镜面反射区域、影子区域(S108)。由于没有满足条件1，因此不将影子区域分类为阴影区域和投影区域。进而，法线信息生成部104根据区域划分部103所进行的区域划分结果，从偏振光信息中生成法线信息(S109)。另外，在这样的立体角的大小比阈值TH_SR大的情况下，摄像条件判定部106判定摄像场面满足条件1(S108的“是”)，由区域划分部103进行光学上的区域划分处理，之后由法线信息生成部
104生成法线信息。

[0280] 并且，这样的阈值TH_S、TH_SR可以通过实验求出，并且可以保持在DB302。 [0281] 这样，通过本实施例中的法线信息生成装置，可以将影子区域分类为阴影区域和投影区域，从而通过假定的镜面反射来正确地生成关于阴影区域的法线信息。并且，关于偏振光信息误差较多且即使是生成了法线信息精确度也非常低的投影区域，可以通过不进行法线信息生成处理，在尽可能的广区域内生成高精确度的法线信息。并且，在影子区域分类困难的情况下，不是求出精确度低的结果，而是将不能进行处理之消息传达给摄像者，据此可以进行可靠性高的法线信息生成处理。

[0282] (实施例4)

[0283] 以下，对本发明的实施例4中的法线信息生成装置进行说明。

[0284] 图43是本实施例中的法线信息生成装置100d的构成方框图。该法线信息生成装置100d是生成被摄物表面的法线信息的装置，具有的特征是不生成可靠性低的法线信息，除具有与图1所示的法线信息生成装置100相同的构成以外，还具有可靠性判定部107。并且，对于在图43中与图1相同的构成要素赋予相同的符号，在此省略详细说明。并且，搭载了本实施例中的法线信息生成装置100d的摄像机具有与图2所示的实施例1中的摄像机200相同的硬件。

[0285] 可靠性判定部107利用由区域划分部103进行的光学上的区域划分结果，评价光学上的区域划分结果的可靠性，在没有可靠性的情况下，废弃光学上的区域划分结果以及法线信息。其结果是，没有可靠性的区域的法线信息被废弃。

[0286] 图44是本实施例中的法线信息生成装置100d进行的处理的流程图。并且对于图44中与图4以及图38相同的步骤赋予相同的符号，在此省略详细说明。可靠性判定部107利用区域划分部103的光学上的区域划分结果，评价是否满足上述的条件1，即评价光学上的区域划分结果的可靠性(S107)。在没有可靠性的情况下(S107的“否”)，可靠性判定部
107废弃光学上的区域划分结果以及由法线信息生成部104生成的法线信息(S110)。 [0287] 在此，为了判断是否满足条件1，可以判断是否存在阴影区域，该阴影区域是由于受到影子区域内的正反射多次反射光的影响而成为镜面反射成分占优势的区域。为此，说明利用被摄像的偏振光图像的偏振度和亮度值评价可靠性的方法。在影子区域，示出镜面反射偏振光特性的图像不存在的情况下，即被摄像的图像上不存在阴影区域的情况下，可以判断为不满足条件1。

[0288] 图45是可靠性判定部107的详细功能构成方框图。可靠性判定部107包括：DB302、蓄积部306以及阴影区域存在判断部314。

[0289] 蓄积部306蓄积由区域划分部103进行的区域划分结果。

[0290] 阴影区域存在判断部314是一处理部，其参照被蓄积在蓄积部306中的区域划分结果，判断是否能够划分成具有充分大小(预先规定的阈值以上)的阴影区域。 [0291] 图44所示的可靠性判定部107的处理(S107、S110)详细流程如以下所示。 [0292] 阴影区域存在判断部314参照被蓄积在蓄积部306中的区域划分结果，判断是否可以划分成具有充分大小的阴影区域(S107)。其结果为，摄像图像中不存在具有充分大小的阴影区域的情况下(S107的“否”)，可靠性判定部107判断摄像场面不满足条件1，废弃与影子区域有关的光学上的区域划分结果以及法线信息(S110)，所述具有充分大小的阴影区域例如是VGA图像中的100像素以上的区域。此时，表示部208将“不能实现影子区域的法线信息生成处理”等显示在显示器上，扬声器209通过发出声音信号将此消息传达给摄像者。另外，在摄像图像中存在阴影区域的情况下(S107的“是”)，可靠性判定部107判断摄像场面满足条件1，并输出生成的法线信息。在此，阴影区域的大小的阈值可以通过实验来决定，并且这样的阈值可以保持在DB302。

[0293] 如以上所述，通过本发明的法线信息生成装置，将影子区域分类为阴影区域和投影区域，通过假定镜面反射从而生成关于阴影区域的正确的法线信息。并且，关于偏振光信息误差较多且即使是生成了法线信息精确度也非常低的投影区域，可以通过不进行法线信息生成处理，在尽可能的广区域内生成高精确度的法线信息。并且，在影子区域分类困难的情况下，不是求出精确度低的结果，而是将不能进行处理之消息传达给摄像者，据此可以进行可靠性高的法线信息生成处理。

[0294] 以上，虽然对本发明所涉及的法线信息生成装置，采用实施例1到实施例4以及变形例进行了说明，但是本发明并非受这些实施例以及变形例所限。

[0295] 将各个实施例以及变形例中的任意的构成要素组合而实现的其他的实施方式，以及本领域技术人员所能够想到的对于本发明中的各个实施例以及变形例的变形均属于本发明的范畴。并且，如图46所示内藏有本发明所涉及的法线信息生成装置的数字静态相机和数字摄影机等应用产品也包含在本发明内。

[0296] 并且，在由可靠性判定部107判断为摄像场面不满足条件1的情况下，不是不进行法线信息生成处理，而进行的处理是，表示部208将“法线信息生成处理不稳定”等显示在显示器上，扬声器209通过发出声音信号将这一消息传达给摄像者。

[0297] 并且，在由可靠性判定部107判断为摄像场面不满足条件1的情况下，不是仅废弃影子区域，而是可以废弃所有的法线信息。

[0298] 并且，图14等所示的影子区域检测部301为了检测投影区域，首先利用亮度值对影子区域进行了判断(图15的S201等)，不过本发明并非受此顺序所限，可以仅以在偏振光信息生成部102生成的偏振光信息来检测投影区域。像这样的处理，对于像油画等知道存在投影区域而不存在阴影区域的被摄物是有效的。这是因为，像黑色颜料这种反射率非常小的被摄物存在的情况下，仅利用上述的亮度值来进行判断是很难区别影子区域和黑色颜料的。以下，对本实施例的变形例所涉及的法线信息生成装置进行详细说明。 [0299] 由于示出这种变形例所涉及的法线信息生成装置的功能构成方框图与图1相同，在此省略说明。

[0300] 图47是这样的变形例所涉及的法线信息生成装置所进行的影子检测处理的流程图。即示出了与图15所示的影子区域检测处理(S201、S202、S204～S206)不同的其他的方法的流程图。如图47所示，偏振光比较部303调查像素的偏振度比阈值TH_PS小还是大(S407)。在像素的偏振度比阈值TH_PS大的情况下(S407的“否”)，影子区域检测部301判断该像素不是投影区域(S402)，判定该像素中是漫反射占优势还是镜面反射占优势(S202)，结束处理。另外，在偏振度比阈值TH_PS 小的情况下(S407的“是”)，影子区域检测部301判断该像素为投影区域(S405)，结束处理。

[0301] 图48示出了将拍摄油画这一被摄物时的偏振度ρ作为图像来表示的图。在该图中，图48(a)表示作为被摄物的油画的图像，图48(b)表示与图48(a)所示的图像相对应的偏振度ρ(即由偏振光信息生成部102生成的偏振光信息)。并且，在图49示出了，由这种变形例所涉及的法线信息生成装置利用图48(b)所示的偏振度ρ，来针对图48(a)所示的图像抽出投影区域。在该图中的黑色区域为被抽出的投影区域。并且，可以将像这样抽出的投影区域作为最终的投影区域来输出，或者，可以通过针对像这样被抽出的投影区域进行在图像处理中被广泛使用的区域的收缩扩大处理，从而将重新再次定义的区域作为最终的投影区域来输出。

[0302] 像这样的变形例所涉及的光法线信息生成装置所进行的图像处理的优点如以下所示。在图48和图49中，区域A表示投影区域，区域B表示黑色颜料区域。在图48(a)所示的图像中，由于这些区域A和区域B的亮度信息几乎相同，因此很难分离区域A和区域B。但是，通过利用图48(b)的偏振光信息，从而可以如图49所示那样，能够正确地抽出区域，即可以知道区域A为投影区域，区域b不为投影区域。

[0303] 本发明所涉及的法线信息生成装置作为生成被摄物表面的法线信息的法线信息生成装置，例如可以作为生成被摄物的三维形状信息的装置和利用这些信息将图像进行高精细化的装置，而有用于例如数字静态相机、数字摄影机、监控摄像头等。