立体图像显示装置

摘要

本发明提供一种立体图像显示装置，其具有：图像生成部(4)，利用由以第1光轴间隔配置的2个摄像部所拍摄到的第1图像及第2图像，来生成来自以比所述第1光轴间隔宽的间隔配置的2个视点的2个图像；和显示部(10)，按照能用双眼各自分别观察的方式来显示由图像生成部(4)生成的2个图像，图像生成部(4)具有：坐标变换部，按照图像生成部(4)生成的2个图像所具有的视差量变为2个视点间的视差量的方式，将所拍摄到的第1图像及第2图像中的至少一个图像的坐标按每个构成单位进行变换；和图像插补部，通过插补来生成由坐标的变换导致图像信息缺失的像素的图像信息。

权利要求

1.一种立体图像显示装置，具有：

图像生成部，利用由以第1光轴间隔配置的2个摄像部所拍摄到的第1图像及第2图像，来生成来自以比所述第1光轴间隔宽的间隔配置的2个视点的2个图像；和显示部，按照能用双眼各自分别观察的方式来显示由所述图像生成部生成的2个图像，所述图像生成部具有：

坐标变换部，按照该图像生成部生成的2个图像所具有的视差量变为所述2个视点间的视差量的方式，将所拍摄到的所述第1图像及所述第2图像中一个图像的坐标，按每个构成单位进行变换，并根据所述第1图像和所述第2图像，来输出坐标被变换后的坐标变换图像和坐标未被变换的无坐标变换图像；和图像插补部，通过插补来生成由所述坐标的变换导致图像信息缺失的、所述坐标变换图像中的像素的图像信息，所述显示部，按照能由用户的优势眼观察的方式来显示所述无坐标变换图像。

2.根据权利要求1所述的立体图像显示装置，其中，还具有用户能操作的指示部，

所述坐标变换部，基于来自所述指示部的输入信号，向显示部输出所述坐标变换图像和所述无坐标变换图像。

3.根据权利要求2所述的立体图像显示装置，其中，所述坐标变换部，将通过给所述第1图像中的各构成单位的坐标值附加所述2个视点间的视差量的值而生成的图像，作为所述坐标变换图像进行输出，将所述第1图像作为所述无坐标变换图像进行输出。

4.根据权利要求1所述的立体图像显示装置，其中，所述坐标变换部，将通过给所拍摄到的所述第1图像中的各构成单位的坐标值附加所述2个视点间的视差量与所述第1图像及所述第2图像所具有的视差量之差的差值而生成的图像，作为所述坐标变换图像进行输出，将所述第2图像作为所述无坐标变换图像进行输出。

5.根据权利要求2所述的立体图像显示装置，其中，所述图像生成部还具有坐标变换切换部，该坐标变换切换部基于来自所述指示部的输入信号，来切换针对所拍摄到的所述第1图像及所述第2图像的哪个进行各构成单位的坐标的变换。

6.根据权利要求2所述的立体图像显示装置，其中，所述坐标变换部按照成为左眼观察的图像的方式来初始设定所述坐标变换图像。

7.根据权利要求1所述的立体图像显示装置，其中，所述坐标变换部执行如下变换：给所拍摄到的所述第1图像及所述第2图像的双方图像的各构成单位的坐标值，在互逆方向上附加所述2个视点间的视差量与所述第1图像及所述第2图像所具有的视差量之差的1/2的值。

8.根据权利要求1所述的立体图像显示装置，其中，所述图像插补部，利用具有所述图像信息缺失的像素的图像中的所述像素以外的部分的信息，来生成用于插补的图像信息。

9.根据权利要求1所述的立体图像显示装置，其中，所述图像插补部，基于在所述图像信息缺失的像素的基线方向的两侧相邻的至少一个像素的强度信息，来生成用于插补的图像信息。

10.根据权利要求1所述的立体图像显示装置，其中，所述2个视点的间隔为60～70mm。

11.一种摄像及显示装置，具备：

权利要求1至10任一项所述的立体图像显示装置；和

2个摄像部，以第1光轴间隔配置，

所述第1图像及所述第2图像是由所述2个摄像部各自所拍摄到的图像。

12.一种立体图像显示装置，具有：

图像生成部，利用由摄像部所拍摄到的1个图像和所拍摄到的被摄体的距离信息，来生成来自以规定的间隔配置的2个视点的2个图像；和显示部，按照能由双眼各自分别观察的方式来显示由所述图像生成部生成的2个图像，所述图像生成部具有：

坐标变换部，执行给所述拍摄到的1个图像中的各构成单位的坐标值附加所述2个视点间的视差量的变换，并输出坐标被变换后的图像和坐标未被变换的图像；和图像插补部，通过插补来生成由所述坐标的变换导致图像信息缺失的所述坐标被变换后的图像中的像素的图像信息，所述显示部，按照能由用户的优势眼观察的方式来显示所述无坐标变换图像。

13.根据权利要求12所述的立体图像显示装置，其中，所述图像生成部还具有坐标变换切换部，该坐标变换切换部切换给所拍摄到的所述1个图像中的各构成单位的坐标值附加所述2个视点间的视差量的方向。

说明书

立体图像显示装置

技术领域

[0001] 本发明涉及一种显示能作为立体图像观察的图像的立体图像显示装置。

背景技术

[0002] 作为现有的立体图像显示装置，公知如下的立体图像显示装置，即通过左右2台照相机拍摄双眼所对应的2个图像，并将这些图像显示于2视点型的显示器。这样的显示装置，在2台照相机的间隔与人类眼睛的间隔不同的情况下，存在着立体感产生不协调的问题。

[0003] 作为解决这样的问题的方法，专利文献1公开了如下的方法，即为使显示装置进行显示时的图像的视差量变为实际人类观察被摄体时的视差量，针对利用左右2台照相机得到的2个图像中的一个图像，利用这些图像中的另一个图像进行修正。

[0004] 在专利文献1的方法中，提取由左右照相机拍摄到的2个图像的对应点，并根据该对应点的像素位置来计算距离信息。此时，在左图像和右图像中存在着找不到对应点的像素位置。由于找不到对应点的像素位置的图像信息包括在由左右照相机拍摄到的2个图像中的任意一个中，因此能够利用该图像信息来修正视差修正后的图像。根据这样的方法，能够生成没有不协调感的立体图像。

[0005] 专利文献1：日本特开平8-126034号公报(参照第[0004]、[0024]～[0033]段及图3～5)

[0006] 在专利文献1中，前提是：左右照相机的间隔(摄像时的光轴间隔)比实际人类观察被摄体时的双眼的间隔(观察时的光轴间隔)大。这种情况下，所生成的图像的所有像素位置的图像信息，包括在由2台照相机拍摄到的图像中的任意一个中。

[0007] 对此，本申请发明用于解决如下问题点，即要利用通过例如可搭载于便携式电话这样的光轴间隔非常窄的2个摄像光学系统所拍摄到的2个图像，显示没有不协调感的立体图像的情况下的问题点。

[0008] 在这样的情况下，为了得到没有不协调感的立体图像，需要生成来自比2个摄像光学系统的光轴间隔宽的间隔的视点的图像。可是，在这样的情况下，有时在摄影时成为近距离的被摄体的阴影而看不到的部分，却要在想要生成的图像中能够看到。在想要生成的图像中才初次能看到的部分的图像信息，并没有包括在拍摄到的2个图像中的任何一个当中。当发生这样的图像信息的缺失时，观察者的画质感会劣化。

发明内容

[0009] 本发明是用于解决上述课题而进行的，其主要目的在于提供一种即使利用由光轴间隔窄的2个摄像光学系统所拍摄到的2个图像，也可大幅地降低由图像信息缺失部导致的观察者的画质感的劣化，可得到高画质且没有不协调感的立体图像的立体图像显示装置。

[0010] 本发明的第1立体图像显示装置，具有：图像生成部，利用由以第1光轴间隔配置的2个摄像部所拍摄到的第1图像及第2图像，来生成来自以比所述第1光轴间隔宽的间隔配置的2个视点的2个图像；和显示部，按照能用双眼各自分别观察的方式来显示由所述图像生成部生成的2个图像，所述图像生成部具有：坐标变换部，按照该图像生成部生成的2个图像所具有的视差量变为所述2个视点间的视差量的方式，将所拍摄到的所述第1图像及所述第2图像中的至少一个图像的坐标按每个构成单位进行变换；和图像插补部，通过插补来生成由所述坐标的变换导致图像信息缺失的像素的图像信息。

[0011] 在某一实施方式中，还具有用户能操作的指示部，所述坐标变换部基于来自所述指示部的输入信号向显示部输出坐标被变换后的坐标变换图像和坐标未被变换的无坐标变换图像。

[0012] 在某一实施方式中，所述显示部按照能由用户的优势眼观察的方式来显示所述无坐标变换图像。

[0013] 在某一实施方式中，所述坐标变换部将通过给所述第1图像中的各构成单位的坐标值附加所述2个视点间的视差量的值而生成的图像作为所述坐标变换图像进行输出，将所述第1图像作为所述无坐标变换图像进行输出。

[0014] 在某一实施方式中，所述坐标变换部将通过给所拍摄到的所述第1图像中的各构成单位的坐标值附加所述2个视点间的视差量与所述第1图像及所述第2图像所具有的视差量之差的差值而生成的图像作为所述坐标变换图像进行输出，将所述第2图像作为所述无坐标变换图像进行输出。

[0015] 在某一实施方式中，所述图像生成部还具有坐标变换切换部，该坐标变换切换部基于来自所述指示部的输入信号，来切换针对所拍摄到的所述第1图像及所述第2图像的哪个进行各构成单位的坐标的变换。

[0016] 在某一实施方式中，所述坐标变换部按照成为左眼观察的图像的方式来初始设定所述坐标变换图像。

[0017] 在某一实施方式中，所述坐标变换部执行如下变换：给所拍摄到的所述第1图像及所述第2图像的双方图像的各构成单位的坐标值，在互逆方向上附加所述2个视点间的视差量与所述第1图像及所述第2图像所具有的视差量之差的1/2的值。

[0018] 在某一实施方式中，所述图像插补部利用具有所述图像信息缺失的像素的图像中的所述像素以外的部分的信息，来生成用于插补的图像信息。

[0019] 在某一实施方式中，所述图像插补部基于在所述图像信息缺失的像素的基线方向的两侧相邻的至少一个像素的强度信息，来生成用于插补的图像信息。

[0020] 在某一实施方式中，所述2个视点的间隔为60～70mm。

[0021] 本发明的摄像及显示装置，具备：本发明的第1立体图像显示装置；和2个摄像部，以第1光轴间隔配置，所述第1图像及所述第2图像是由所述2个摄像部各自所拍摄到的图像。

[0022] 本发明的第2立体图像显示装置，具有：图像生成部，利用由摄像部所拍摄到的1个图像和所拍摄到的被摄体的距离信息，来生成来自以规定的间隔配置的2个视点的2个图像；和显示部，按照能由双眼各自分别观察的方式来显示由所述图像生成部生成的2个图像，所述图像生成部具有：坐标变换部，执行给所述拍摄到的1个图像中的各构成单位的坐标值附加所述2个视点间的视差量的变换；和图像插补部，通过插补来生成由所述坐标的变换导致图像信息缺失的像素的图像信息。

[0023] 在某一实施方式中，所述图像生成部还具有坐标变换切换部，该坐标变换切换部切换给所拍摄到的所述1个图像中的各构成单位的坐标值附加所述2个视点间的视差量的方向。

[0024] 在某一实施方式中，所述图像生成部还具有输出部，该输出部向显示部输出坐标被变换后的图像和坐标未被变换的图像，所述显示部按照能由用户的优势眼观察的方式来显示坐标未被变换的图像。

[0025] (发明效果)

[0026] 根据本发明，通过按照由显示装置所显示的图像的视差量变为以比第1光轴间隔宽的间隔配置的2个视点间的视差量的方式进行坐标变换，能够得到没有不协调感的立体图像。另外，通过插补由坐标变换产生的图像信息缺失部，能够防止画质感的劣化。

附图说明

[0027] 图1是表示第1实施方式的立体图像显示装置的框图。

[0028] 图2(a)是表示图像生成部4的具体构成的框图，图(b)是表示图像生成部4的处理流程的流程图。

[0029] 图3是用于说明在第1实施方式中被平行配置的2台照相机的视差的图。

[0030] 图4是表示第1实施方式中的视差量提取算法(algorithm)的流程图。

[0031] 图5是表示第1实施方式中的提取摄像视差量Δ的步骤S102的检测块的图。

[0032] 图6是表示第1实施方式中的视差量评价值和检测块的移动像素数k之间关系的曲线。

[0033] 图7是用于说明第1实施方式中的坐标变换的原理的图。

[0034] 图8是表示在第1实施方式中形成在摄像元件上的图像的图。

[0035] 图9是表示在第1实施方式中进行了坐标变换后的结果的图。

[0036] 图10(a)、(b)是用于说明第1实施方式中的图像信息缺失部的插补的图。

[0037] 图11是表示在第1实施方式中进行了图像信息缺失部的插补后的结果的图。

[0038] 图12是表示第1实施方式中的立体显示器的显示方式的一例的该略图。

[0039] 图13是表示仅由一个图像生成立体图像的步骤的流程图。

[0040] 图14是用于说明第2实施方式中的坐标变换的原理的图。

[0041] 图15是表示在第2实施方式中形成在摄像元件上的图像的图。

[0042] 图16是表示在第2实施方式中进行了坐标变换后的结果的图。

[0043] 图17是表示在第2实施方式中进行了图像信息缺失部的插补后的结果的图。

[0044] 符号说明：

[0045] 1a-左照相机(camera)，1b-右照相机，2-图像输入部，3a、3b、5-图像存储器，4-图像生成部，6-图像输出部，7-立体显示器，10a-左照相机的摄像元件，10b-右照相机的摄像元件，11a-左照相机的光学系统，11b-右照相机的光学系统，13a-左虚拟摄像元件，
13b-右虚拟摄像元件，14a-左虚拟光学系统，14b-右虚拟光学系统，20a-观察者的左眼，
20b-观察者的右眼，21-视差栅栏，22-液晶显示器，60a-左图像50a的被摄体像，61a-左图像50a的背景像，60b-右图像50b的被摄体像，61b-右图像50b的背景像，101-校准处理部，102-摄像视差量提取部，103-修正视差量计算部，104-坐标变换部，105-图像插补部，
106-坐标变换图像切换部，109-指示部。

具体实施方式

[0046] (第1实施方式)

[0047] 以下，参照附图，对本发明的立体图像显示装置(摄像及显示装置)的实施方式进行说明。

[0048] 图1是表示第1实施方式的立体图像显示装置(摄像及显示装置)的构成的框图。如图1所示，本实施方式的立体图像显示装置具备：左照相机1a；右照相机1b；与左照相机
1a、右照相机1b连接的图像输入部2；与图像输入部2连接的图像存储器3a、3b；与图像存储器3a、3b连接的图像生成部4；与图像生成部4连接的图像存储器5；与图像存储器5连接的图像输出部6；与图像输出部6连接的立体显示器。

[0049] 左照相机1a、右照相机1b被配置成：各自的光学系统(透镜)的光轴以第1光轴间隔(B0)分离且处于平行。图像输入部2将在左照相机1a、右照相机1b的每一个中拍摄到的图像的视频信号，按照每一帧变换成数字图像数据。

[0050] 在图像输入部2中变换后的图像数据，分别被存储到图像存储器3a、3b中。例如，由在左照相机1a中拍摄到的图像所生成的图像数据被存储到图像存储器3a中，由在右照相机1b中拍摄到的图像所生成的图像数据被存储到图像存储器3b中。

[0051] 图像生成部4利用图像存储器3a、3b存储的图像数据，来生成已变换成立体显示器7的规格(format)的图像数据。在图像生成部4中生成的图像数据，被存储到输出用的图像存储器5中。图像输出部6将图像存储器5存储的数字图像数据变换成视频信号之后输出到立体显示器7中。

[0052] 接着，利用图2(a)、(b)，对第1实施方式的立体图像显示装置中的图像生成部4的处理流程进行说明。

[0053] 图2(a)是表示图像生成部4的构成的框图。图像生成部4具有：校准(calibration)处理部101、与校准处理部101连接的摄像视差量提取部102、与摄像视差量提取部102连接的修正视差量计算部103、与修正视差量计算部103连接的坐标变换处理部104、与坐标变换处理部连接的像素插补部105、与修正视差量计算部103及坐标变换部104连接的坐标变换切换部106。

[0054] 图2(b)是表示图像生成部4的处理流程的流程图。

[0055] 在步骤S101中，在校准处理部101中进行图像存储器3a、3b保存的2个图像的校准处理。通过该处理进行2台照相机的焦点距离的修正(图像倍率的修正)、失真的修正、平行化、Bayer插补(Bayer interpolation)等。

[0056] 在步骤S102中，在摄像视差量提取部102中提取2个图像的视差量(摄像视差量)。关于2个图像的摄像视差量提取处理的一例，利用图3、图4、图5、图6进行说明。

[0057] 图3是用于说明由左照相机1a、右照相机1b拍摄到的2个图像间的视差的图。在图3中，x表示水平方向，y(未图示)表示垂直方向，z表示进深方向。

[0058] 左照相机1a具有光学系统(透镜)11a及摄像元件10a。右照相机1b具有光学系统(透镜)11b及摄像元件10b。光学系统11a、11b的光轴沿着与z方向平行的方向延伸。

[0059] 左照相机1a的光学系统11a和右照相机1b的光学系统11b沿着x方向配置。另外，光学系统11a、11b的光轴与z方向平行，光轴间隔为B0。

[0060] 左照相机的摄像元件10a、右照相机的摄像元件10b，被配置在距各自的光学系统11a、11b有光学系统的焦点距离f0的位置处。

[0061] 从前方的被摄体上的物点12出射的光线被光学系统11a、11b聚光，分别成像于摄像元件10a、10b的摄像面。形成于摄像面的像，通过设置在摄像元件的摄像面上的光电二极管被变换成电信号，然后作为图像信号输出。

[0062] 此时，由于2台照相机1a、1b按照光学系统的光轴处于平行的方式相互分离地配置，故在由各自的照相机1a、1b拍摄到的1个图像中产生了视差。在图3的构成中，由于2台照相机的配置仅仅在x方向上不同，故视差也仅仅在x方向产生，2个图像的对应点的y坐标为相同的值。

[0063] 如果将被摄体上的物点12和照相机1a、1b的透镜的中心之间的在z轴方向上的距离记为Z、将在拍摄到的2个图像之间产生的视差量记为Δ(在摄像元件10a、10b的各自摄像面上，从光轴的位置到物点12成像的位置为止的x方向的距离Δ1、Δ2的合计)，则下述式子1成立。其中，在摄像元件10a的摄像面上，在与光轴的位置相比物点12的成像位置存在于-x侧的情况下，距离Δ1取正值。另外，在摄像元件10b的摄像面上，在与光轴的位置相比物点12的成像位置存在于+x侧的情况下，距离Δ2取正值。

[0064] (数学式1)

[0065] Δ＝f0·B0/Z

[0066] 该式子表示所发生的视差量随距离Z变化。人类将该视差量作为用于识别到被摄体的距离的信息之一来利用。

[0067] 图4是表示摄像视差量提取算法的基本流程的流程图。图5是表示将图像存储器3a、图像存储器3b保存的图像分别进行校准处理后的结果所得到的左图像50a、右图像50b上的检测块的图。

[0068] 在视差量提取算法的步骤S201中，将2个图像中的左图像50a分割成多个块。块尺寸是从4×4像素到64×64像素程度的尺寸，根据被摄体的大小设定成任意的大小。此外，在增大了光学系统的倍率的情况下，优选增大检测块的尺寸。另外，块尺寸也可以不是正方形。接着，在步骤S202中，从左图像50a中的多个块之中选择第1检测块51。而且，在另一个右图像50b的大致相同位置处，也选择与第1检测块51相同尺寸的第2检测块52。

[0069] 接着，在步骤S203中，计算用于在右图像50b上探索与左图像50a中的第1检测块51对应的块的视差量评价值。

[0070] 关于视差量评价值计算的一例，以下进行说明。在图5中，将在右图像50b上最初设定的第2检测块52，在x方向上移动k像素(k为任意的整数)。然后，针对第1检测块51和第2检测块52，计算在各检测块内所对应的像素的亮度检测值的差。将针对检测块内的所有像素合计了亮度检测值的差之后的值，作为该k值的视差量评价值R(k)。即、如果将来自第1检测块51内的距坐标(a，b)的像素的亮度检测值记为GG1(a，b)、将来自第2检测块52内的距坐标(a+k，b)的像素的亮度检测值记为GG2(a+k，b)，则可通过数学式2求出视差量评价值R(k)。此外，在左图像50a及右图像50b是以红(R)、绿(G)、蓝(B)为三原色的彩色图像的情况下，亮度检测值例如利用绿(G)的亮度进行比较即可。

[0071] (数学式2)

[0072]

[0073] 该视差量评价值R(k)随着k值一起变化。将从1至n的多个值代入k中，对各个值进行步骤S202及步骤S203的处理，来计算视差量评价值R(k)。视差量评价值R(k)表示移动了k像素的第2检测块52中的图像、与第1检测块51中的图像在多大程度上相关。视差量评价值R(k)的值越小，表示2个检测块的图像越相似。

[0074] 接着，在步骤S204中，从在步骤S203求出的各视差量评价值中提取最小值。图6是表示视差量评价值和第2检测块52的移动像素数k之间关系的曲线。图6中的横轴表示x方向的移动像素数(k)，纵轴表示视差量评价值R(k)。在图6中，视差量评价值R(k)在k＝k1时达最小值。由该结果可知，在k＝k1时，2个检测块51、52中的图像最相似。

[0075] 然后，在步骤S205中，提取得到最小值时的移动像素数k、即视差量。在将右图像50b上的第2检测块52自初始位置起在x方向移动了k1像素时，判断出第2检测块52的图像与第1检测块51内的图像一致。由此，移动像素数k1被确定为第1检测块51和第2检测块52之间的视差量Δ(Δ＝k1)。

[0076] 对在步骤S201分割形成的所有检测块进行这样的一连串处理，然后提取视差量，给块内的像素分配相同的视差量。从而，根据以上的处理，计算左图像50a相对于右图像50b在全部像素中的视差量。

[0077] 接着，返回至图2(a)、(b)，在步骤S103中，计算相当于以人类双眼的间隔拍摄到的情况的视差量(修正视差量)。该计算是在图2(a)所示的修正视差量计算部103中进行的。在此，如果将修正视差量记为Δ’、将人类眼睛的等效焦点距离记为f、将人类双眼的间隔(通常为60～70m m)记为B，则通过数学式1的变形而导出下述数学式3。

[0078] (数学式3)

[0079] Δ’＝{(f·B)/(f0·B0)}Δ

[0080] 该式子表示视差量与观察时的基线长成比例地变化。在步骤S103中，利用数学式3来计算修正视差量。

[0081] 此外，因显示器的大小、像素尺寸、观察者的眼睛的焦点距离等的不同，观察者看到所显示的图像时所感受到的立体感不同。因此，优选根据这些值进一步调整修正视差量Δ。显示器的大小及像素尺寸是其显示装置所固有的值，因这些因素而必须的调整(视差量的变换比率)，不论被摄体如何都是一定的。因此，适合在产品出厂时确定变换比率并写入到图像生成部的存储器中。在确定变换比率时，优选将由一连串处理制作出的图像显示于立体显示器并斟酌立体感。另一方面，为了对应于眼睛的焦点距离的个人差，能够将视差量的变换比率写入多种类存储器中，且可由用户进行变更。通过该方法，能够容易显示适合各个用户的立体图像。

[0082] 接着，在图2(a)所示的坐标变换部104中，进行步骤S104的处理。在该步骤中进行如下处理，即按照左图像50a及右图像50b的视差量变为在步骤S103得到的修正视差量的方式，将左图像50a和右图像50b中的任意一方的坐标按每个构成单位变换，来修正视差量。在本说明书中，所谓“构成单位”是指在成为坐标变换的对象的图像中进行坐标变换的1个单位，典型地有1像素的尺寸。在此，对在左图像50a中进行坐标变换的情况进行说明。
利用图7，对本处理进行说明。

[0083] 在图7中，对与图3相同的部件赋予相同的符号，并省略其说明。

[0084] 本处理是通过对摄像元件10a检测到的左图像50a的各构成单位的坐标进行变换来修正视差量，从而再现由虚拟光学系统14a形成并由虚拟摄像元件13a检测的图像。此外，在摄像元件10a检测出的图像和由虚拟摄像元件13a检测的图像中，假定被摄体的失真相同。

[0085] 利用图8，对基于形成在射线各元件10a上的左图像50a来构筑形成在虚拟摄像元件13a上的图像的处理进行说明。

[0086] 图8是表示作为左图像50a的一部分的被摄体像60a、背景像61a、和作为右图像50b的一部分的被摄体像60b、背景像61b。可知被摄体像的成像位置在2个图像之间不同，且2个图像有视差。在步骤S104中，通过利用在步骤S103计算出的修正视差量进行坐标变换，来修正2个图像所具有的视差量。由此，对形成在由光轴间距相距B的虚拟摄像元件
13a、虚拟光学系统14a组成的虚拟照相机上的图像进行预测再现。

[0087] 在此，由于在左图像50a中相对于右图像50b已经存在摄影的误差，因此进行给左图像50a的各构成单位的坐标值附加(修正视差量Δ’-摄像视差量Δ)的处理。具体的坐标变换式由以下的式子表示。

[0088] (数学式4)

[0089]

[0090] 根据数学式4来变换所有构成单位的坐标。其中，变换前的坐标为(x，y)，变换后的坐标为(X，Y)。另外，在本实施方式的构成中，由于视差仅仅在x方向发生，因此数学式4只要考虑x方向即可。

[0091] 在图9中示出进行了坐标变换后的结果。被摄体像60a沿x方向的正方向移动。此外，根据步骤S102及步骤S103的处理，所有像素作为信息具有摄像视差量和修正视差量的值。

[0092] 根据该步骤S104的处理，能够将视差量修正为相当于以人类双眼的间隔进行拍摄时的值，能够提供立体感协调的图像。

[0093] 通过步骤S104的视差量修正，如图9所示那样，产生图像信息缺失部62a。这是在本处理中，由生成来自比摄像时的2个视点更靠外侧的视点的图像而引起的。此外，在相当于图像信息缺失部62a的区域，在不进行插补处理的情况下，是输出low信号的区域。因此，图像信息缺失部62a实际看上去为漆黑，但是在附图中，为了说明方便，用白色表示。

[0094] 在步骤S105中，在图2(a)所示的图像插补部105中，进行由步骤S104的视差量修正所产生的图像信息缺失部62a的插补处理。

[0095] 图10(a)是表示将图9的被摄体像60a包含的边界像素(被摄体像60a中位于与背景像61a的边界的像素)、背景像61a包含的边界像素(背景像61a中位于与被摄体像60a的边界的像素)、图像信息缺失部62a，用像素等级放大后的图。像素A表示黑色，像素B表示灰色(比像素A明亮的颜色)。

[0096] 像素A和像素B之间是属于图像信息缺失部62a的像素组。因此，在本构成中，如图10(b)所示那样，考虑视差仅仅在x方向发生的特征，基于位于x方向的两侧的像素A、像素B的彩色信息，以一次函数的方式生成图像信息缺失部62a的彩色信息，来进行插补处理。此外，在此所谓“彩色信息”是指构成图像的原色的强度信息。例如，在图像是以红(R)、绿(G)、蓝(B)为三原色的彩色图像的情况下，针对三原色的每一个生成强度信息。强度信息例如是由各自颜色所具有的灰度来表现的信息。即、在图像信息缺失部62a中，从与像素B相邻的像素到与像素A相邻的像素，以一次函数的方式增加彩色强度。通过该处理，给属于图像信息缺失部的像素赋予彩色信息。

[0097] 在图11中示出进行了插补处理后的结果。可知，在所有图像内不再存在图像信息缺失的部分。由此，大幅度地降低观察者的画质感的劣化，且可提供高画质的立体图像。

[0098] 此外，在本实施方式中，虽然对进行一次插补的例子进行了说明，但是也可以用以二次函数为首的高次函数或指数函数等的函数进行插补。另外，也可以基于在图像信息缺失部的基线方向相邻的多个像素的彩色强度进行插补。此时，例如利用图像信息缺失部中的各个边界像素(图像信息缺失部中位于与其他部分的边界的像素)相邻的三行三列的9个像素的R、G、B强度各自的平均值进行插补即可。另外，也可将背景像的像素B的彩色强度作为图像信息缺失部的像素的彩色强度。

[0099] 如以上所示，在图像是彩色图像的情况下，利用彩色强度进行图像插补，但是在图像是黑白图像的情况下，利用亮度进行图像插补即可。

[0100] 而且，通过让无修正的图像入射到观察者的优势眼，能够实现更高的分辨率。这是因为，根据人类主要由优势眼得到的信息来识别对象物的形状。

[0101] 该作用被用于搜索优势眼的方法。所谓搜索优势眼的方法是指将一只胳膊伸向前方，竖起食指，分别用双眼、左右单眼观察其指尖。此时，能在与用双眼观察到的情况相同的位置处观察到食指的眼睛为优势眼。该方法表示，主要由优势眼识别双眼观察时的对象物的形状，不是优势眼的另一只眼睛主要起辅助作用。本发明是基于该方法想到的。即、通过实现让不进行坐标变换及图像信息缺失部的插补处理的高质量的图像入射到优势眼的结构，能够在脑内插补存在于不是优势眼的另一只眼睛所观察的图像的、成为画质劣化的原因的部分，从而能够实现观察者感受到的画质的改善。另外，通过让进行了坐标变换、图像缺失部插补的图像入射到另一只眼睛，从而能够使观察者主要识别进深信息，可再现高画质的立体图像。

[0102] 具体而言，在图2(b)的步骤S103中计算出修正视差量Δ’之后，执行切换对左图像50a和右图像50b中的哪个图像进行坐标变换的处理。该切换是在图2(a)所示的坐标变换切换部106中进行的。然后，在步骤S104中进行坐标变换处理。

[0103] 例如，坐标变换切换部106基于来自图2(a)所示的指示部109的输入信号，来切换对哪个图像进行坐标变换。指示部109是指用户可操作的物理构造。具体构成并不局限于特定构成。例如，既可以是设置在图1的立体显示器上的触摸屏，也可以是设置在显示装置的外部的按钮、遥控器等。

[0104] 在从用户开始使用显示装置的时间点到进行步骤S104中的坐标变换处理位置的任意时间点，显示装置对用户显示在左图像50a进行了坐标变换后的样本图像、和在右图像50b进行了坐标变换后的样本图像这2类图像。

[0105] 用户选择在这2类样本图像中感到高画质的图像，操作指示部109。用户感到高画质的图像是对不是优势眼的另一只眼睛所观察的图像进行了坐标变换后的图像。坐标变换切换部106，能基于来自用户操作的指示部109的输入信号，适当地切换进行哪个图像变换。具体而言，当用户选择图像并操作指示部109之后，表示用户选择出的样本图像是在左图像50a进行了坐标变换后的图像还是在右图像50b进行了坐标变换后的图像中的哪个图像的信息的信号，被输入到坐标变换输入部106。在选择图像是在左图像50a进行了坐标变换后的图像的情况下，坐标变换切换部按照在左图像50a中变换坐标而右图像50b不变换坐标的方式进行切换。在选择图像是在右图像50b进行了坐标变换后的图像的情况下，坐标变换切换部按照在右图像50b进行坐标变换而在左图像50a不进行坐标变换的方式进行切换。

[0106] 此外，在图2的说明中，将指示部109和坐标变换切换部106作为不同的结构，但是指示部109也可以具有坐标变换切换部106的功能。即、指示部109也可执行切换对左图像50a和右图像50b中的任意一个图像变换坐标的处理，并将切换的处理的结果指示给坐标变换部104。在指示部109具有坐标变换切换部106的功能的情况下，不需要坐标变换切换部106，指示部109的输出端连接在修正视差量提取部103和坐标变换部104之间。

[0107] 本实施方式可采用将这样的用户选择作为设备的标准值来存储的构成。在该构成中，在用户不进行指示部109的操作的情况下，在步骤S103中计算出修正视差量Δ′之后，在步骤S104中利用标准值进行坐标变换处理S104。由于以右眼为优势眼的人比率多，故作为初始设定适宜采用右眼优势设定：仅对左眼所对应的图像进行坐标变换，右眼所对应的图像无修正直接输出。

[0108] 另外，本实施方式也可采用每次拍摄都对用户显示样本图像以选择感到高画质的图像来进行设定的构成。

[0109] 这样，通过用户可操作的指示部109、及基于来自指示部109的输入信号来切换对哪个图像进行坐标变换的坐标变换切换部106，能够让高画质的图像入射到优势眼侧，进而同时实现立体感和高画质。

[0110] 另外，图像生成部也可预先作成以右眼为优势眼的用户看到的图像的组、和以左眼为优势眼的用户看到的图像的组，并将作成的图像的组存储到存储部(例如，图1的图像存储器5)。以右眼为优势眼的用户看到的图像的组由下述图像构成，即由坐标变换部不变换坐标的右眼用的图像、和由坐标变换部将坐标变换成规定的视差量且由图像插补部插补了图像缺失部分后的左眼用的图像构成。以左眼为优势眼的用户看到的图像的组由下述图像构成，即由坐标变换部不变换坐标的左眼用的图像、和由坐标变换部将坐标变换成规定的视差量且由图像插补部插补了图像缺失部分后的右眼用的图像构成。通过本构成，即使在其他用户看到由某一用户拍摄到的图像的情况下，也能从存储部中选择合乎其他用户优势眼的图像的组，并按照让其他用户的优势眼看到所选择出的图像的组中的不变换坐标的图像的方式，显示于显示部。因此，能够提供让其他用户感到高画质的立体图像。此外，在其他用户选择合乎优势眼的图像的组的情况下，既可以选择其他用户感到高画质的图像的组，也可以利用公知的面部识别技术等自动识别其他用户，并根据预先登录的优势眼信息自动地选择让其他用户感到高画质的图像的组。

[0111] 接着，利用图12，对立体显示器用的图像作成进行说明。

[0112] 图12是表示作为显示部的立体显示器的方式的一例的概略图。在液晶显示器22中，交替显示将左眼用的图像及右眼用的图像的每一个在纵向上精细分割后的分割图像a、b。分割图像a、b是经由狭缝组成的视差栅栏(parallax barrier)21由观察者的左眼20a及右眼20b分别观察到的(在图12中，左图像a入射到左眼20a，右图像b入射到右眼20b)。由此，在观察者的左眼20a仅仅观察到左眼用的图像，在右眼仅仅观察到右眼用的图像。因此，作为左眼用的图像及右眼用的图像，通过显示相互有视差的图像，从而可使观察者感到立体感。

[0113] 在本实施方式中，将作为左眼用的图像所重新构筑的图11(a)所示的图像分割后的图像，作为图12中的分割图像a进行显示，将作为右眼用的图像所重新构筑的图11(b)所示的图像的分割图像，作为图12中的分割图像b进行显示。这样，在使用本构成的立体显示器的情况下，通过作成图11(a)的图像和图11(b)的图像逐列交替地切换的图像，能够实现给观察者带来立体感的立体显示。

[0114] 此外，本构成是视差栅栏方式的立体显示器，因此将图像变换成本规格，但是在利用其他方式的立体显示器的情况下，需要将其变换成该显示器所具有的规格。与本构成同样地，作为能以裸眼观察立体图像的方式，有立体光栅方式和积分成像方式(integral imaging scheme)。作为经由佩戴的眼镜观察立体图像的方式，有偏转眼镜方式和眼镜快门方式等。

[0115] 另外，图1中的左照相机1a及右照相机1b等的摄像装置不是本申请发明的立体图像显示装置所必须的构成。例如，也可采用将由外部的摄像装置拍摄到的2个图像数据输入以显示立体图像的构成。另外，图1中的图像输入部2及图像存储器3a、3b也不是本申请发明的立体图像显示装置所必须的构成，也可从外部的存储器直接向图像生成部4输入数据。

[0116] (第1实施方式的变形例)

[0117] 第1实施方式采用如下的构成，即配合立体显示器的格式，显示由2台照相机拍摄并进行了校准处理后的左图像50a和右图像50b之中、进行了视差量修正(坐标变换)的一个图像和另一个无修正图像。

[0118] 在本变形例中，例如采用左图像50a(无坐标变换图像)和将相同的左图像50a坐标变换后的图像(坐标变换图像)。根据本变形例，由于进入观察者右眼的图像和进入左眼的图像的原始图像(被拍摄的图像)相同，因此观察者能够识别平面的被摄体具有前后关系而排列的立体像(纸板切割效果)。由于在该立体像中强调立体感，因此本变形例尤其在小型显示装置等用途是有效的构成。

[0119] 此外，在本变形例中，数学式4的坐标变换式子被变更为下述式子5。

[0120] (数学式5)

[0121]

[0122] 比较数学式4和数学式5可知，在本变形例中，与第1实施方式相比，给各构成单位的坐标值所附加的值大。即、相当于图像信息缺失部的区域变大。因此，观察时的不协调也变大。因此，通过：作为不是优势眼的另一只眼镜所观察的图像，显示部显示进行了坐标变换后的图像；作为优势眼所观察的图像，显示部显示未进行坐标变换的图像的这一结构，与第1实施方式相比，能显著得到可减轻图像不协调的效果。具体而言，如前述，通过：具有用户可操作的指示部、及基于来自指示部的输入信号来切换对哪个图像进行坐标变换的坐标变换部的这一结构，从而能够适当地切换对所拍摄到的2个图像的哪个图像进行坐标变换。另外，如前述，图像生成部还可具有如下构成，即在对所拍摄到的2个图像双方执行坐标变换、图像缺失部插补之后，与变换前的无修正图像一起存储。由此，在使用途中用户改变的情况下，通过按照让无修正图像入射到优势眼的方式切换所显示的图像，从而可提供让各个用户感到高画质的立体图像。

[0123] 此外，在本变形例中，即使在处于由1个照相机取得1个图像且由照相机以外的部件(例如，传感器等)取得被摄体的距离信息的情况下，也可执行与使用2台照相机的情况相同的处理。

[0124] 图13是表示仅由一个图像生成立体图像的步骤的流程图。在步骤S101中，执行由1台照相机拍摄到的1个图像的校准处理。在步骤S107中，由照相机以外的测距部件获得直至被摄体为止的距离信息。在步骤S103中，通过将距离信息(到被摄体的距离Z)、人双眼的间隔B(第2光轴间隔)、焦点距离f代入到数学式6中，直接计算修正视差量Δ′。

[0125] (数学式6)

[0126] Δ’＝f·B/Z

[0127] 然后，在步骤S104中，在数学式5中，给图像的各构成单位的坐标值附加运算出的视差量Δ′。在该构成中，根据1个图像生成坐标变换图像和无坐标变换图像。由于其他步骤与图2(b)同样，因此省略其详细说明。

[0128] 由此，即使在仅仅拍摄1个图像的情况下，在本变形例中也可得到与拍摄2个图像情况同样的效果。另外，通过让优势眼观察未进行坐标变换的图像，从而可减轻因相当于图像信息缺失部的区域变大产生的不协调。

[0129] 此外，人类双眼的间隔B的视差量，也可不采用利用数学式6运算的构成，而采用通过参照与距离相关联的信息的数据库来取得其视差量的构成。例如，将进行对焦时的透镜位置、与根据合焦的被摄体的距离所计算出的人类双眼的间隔B的视差量建立关联，并作为数据库来具备即可。

[0130] 另外，在由这样的1台照相机取得1个图像的情况下，坐标变换切换部发挥切换对1个图像中的各构成单位的坐标值附加视差量的方向的作用。

[0131] (第2实施方式)

[0132] 以下，对本发明的立体图像显示装置的第2实施方式进行说明。参照附图，对与第1实施方式不同的地方进行说明。

[0133] 在本实施方式中，图2(b)中的步骤S104的处理与第1实施方式不同。在本实施方式中的步骤S104中执行如下处理，即按照左图像50a和右图像50b之间的视差量为在步骤S103得到的修正视差量的方式，在左图像50a和右图像50b双方中，对各构成单位的坐标进行变换来修正视差量。

[0134] 利用图14，对本处理进行说明。在图14中，对与图3相同的部件赋予相同的符号，并省略其说明。

[0135] 在本实施方式的步骤S104中，通过对由摄像元件10a检测出的左图像的各构成单位的坐标进行变换，从而再现由虚拟光学系统14a形成在虚拟摄像元件13a上的图像。同样地，通过对由摄像元件10b检测出的右图像的各构成单位的坐标进行变换，从而再现由虚拟光学系统14b形成在虚拟摄像元件13b上的图像。

[0136] 利用图15，对基于形成在摄像元件10a、摄像元件10b上的图像来构成形成在虚拟摄像元件13a、13b上的图像的构筑处理进行说明。图15表示作为左图像50a的一部分的被摄体像60a、背景像61a、和作为右图像50b的一部分的被摄体像60b、背景像61b。可知，被摄体像的成像位置在2个图像之间不同，2个图像有视差。在步骤S104中，通过利用在步骤S103计算出的修正视差量进行坐标变换，来修正2个图像所具有的视差量。即，对形成在由光轴间隔相距B的虚拟摄像元件13a、13b、虚拟光学系统14a、14b构成的虚拟照相机上的图像进行预测再现。

[0137] 在此，由于左图像50a、右图像50b中已经存在摄影的视差，因此执行对左图像50a和右图像50b双方的各构成单位的坐标值分别在彼此相反方向上附加(修正视差量Δ’-摄像视差量Δ)/2的坐标变换处理。

[0138] 具体的坐标变换用以下式子表示。

[0139] (数学式7)

[0140]

[0141] 利用该数学式7，来变换所有构成单位的坐标。其中，变换前的坐标是x、y，变换后的坐标是X、Y。另外，在右图像的情况下i＝1，在左图像的情况下i＝2。另外，在本发明的构成中，由于视差仅仅在x方向上产生，因此在数学式7中仅仅考虑x方向即可。

[0142] 在图16中示出进行了坐标变换后的结果。被摄体像60a沿着x方向的正方向移动，被摄体像60b沿着x方向的负方向移动。

[0143] 此外，通过步骤S102、步骤S103的处理，所有像素具有摄像视差量和修正视差量的值作为信息。

[0144] 通过该步骤S104的处理，能够将视差量修正成相当于以人类双眼的间隔拍摄到的情况的值，能提供立体感没有不协调的图像。

[0145] 另外，在本实施方式中，如图16所示，左眼观察到的图像(左图像50a)上的图像信息缺失部62a的发生位置和右眼观察到的图像(右图像50b)上的图像信息缺失部62b的发生位置，相对于被摄体像成相反侧。即、在一个图像上相对于被摄体像而产生缺失部的位置处，在另一个图像上存在图像信息。通过双眼同时观察这样的左右2个图像，从而观察者能够在脑内根据相互间的图像所具有的图像信息来插补左图像50a、右图像50b中的图像信息缺失部，并识别为良好的画质。此外，为以使图像信息缺失部不显眼的方式由图像插补部进行处理之后，该插补效果被进一步发挥出来。

[0146] 而且，在本实施方式中，通过采用在左右图像双方变换坐标来修正视差量的构成，单眼的图像信息缺失部的面积也能够变小，图像信息缺失部变得越来越不显著，进而能够提供画质更高的图像。

[0147] 根据以上效果，能够提供高画质的立体图像。

[0148] 而且，与第1实施方式同样，如图17所示那样，通过执行对由视差量修正所产生的图像信息缺失部进行插补的处理，能够消除观察者察觉的画质感的劣化，提供高画质的立体图像。

[0149] 在本实施方式中，与第1实施方式的变形例同样地，也可基于1个图像在相反方向变换坐标。另外，也可使用单眼的摄像装置。

[0150] 此外，作成立体显示器用的图像的步骤与第1实施方式同样。关于本实施方式中的与第1实施方式同样的构成及步骤，省略其说明。

[0151] (工业上的可利用性)

[0152] 本发明所涉及的立体图像显示装置作为如下的立体图像显示装置是有用的，即利用通过可搭载于便携式终端这样的光轴间距离比人类双眼的间隔窄的摄像装置所拍摄到的2个图像来显示立体图像的立体图像显示装置。