成像设备以及视频记录与再现系统

摘要

方法和设备用于：将从至少一个对象接收的光分离成至少第一光分量和第二光分量，将第一光分量转换成表示至少一个对象的基础图像的第一电信号，将第二光分量分散成至少右光分量和左光分量；将右光分量转换成第二电信号，该第二电信号表示第一角度的右检测图像；以及将左光分量转换成第三电信号，该第三电信号表示不同于第一角度的第二角度的左检测图像，其中基础图像的质量不同于右检测图像的质量和左检测图像的质量。此外，右检测图像可以用于将基础图像变换成右视差图像，并且左检测图像可以用于将基础图像变换成左视差图像。

权利要求

1.一种成像设备，包括：

分离器，所述分离器被配置成将从至少一个对象接收的光分离成至少第一光分量和第二光分量；

第一成像元件，所述第一成像元件被配置成将所述第一光分量转换成表示所述至少一个对象的基础图像的第一电信号；

光学装置，所述光学装置被配置成将所述第二光分量分散成至少右光分量和左光分量；

第二成像元件，所述第二成像元件被配置成将所述右光分量转换成第二电信号，所述第二电信号表示第一角度的所述至少一个对象的右检测图像；以及第三成像元件，所述第三成像元件被配置成将所述左光分量转换成第三电信号，所述第三电信号表示不同于所述第一角度的第二角度的所述至少一个对象的左检测图像，其中，所述第一成像元件的性能不同于所述第二成像元件的性能和所述第三成像元件的性能。

2.根据权利要求1所述的成像设备，其中，所述光学装置是第一光学装置，并且从所述至少一个对象接收的光是平行光，并且其中，所述设备还包括第二光学装置，所述第二光学装置被配置成接收来自所述至少一个对象的入射光，并且将所述入射光转换成所述平行光。

3.根据权利要求2所述的成像设备，其中，所述第二光学装置包括第一透镜单元及第二透镜单元，所述第一透镜单元被配置成会聚所述入射光，所述第二透镜单元被配置成将所会聚的光转换成所述平行光。

4.根据权利要求1所述的成像设备，其中，所述分离器包括至少一个透射镜。

5.根据权利要求4所述的成像设备，其中，所述至少一个透射镜被配置成反射所述第一光分量并且透射所述第二光分量。

6.根据权利要求1所述的成像设备，其中，所述分离器被配置成将所接收的光分离成所述第一光分量和第二光分量，使得所述第一光分量和第二光分量中的每个光分量包括50％的所接收的光。

7.根据权利要求6所述的成像设备，其中，所述光学装置被配置成将所述第二光分量分散成所述右光分量和左光分量，使得所述右光分量和左光分量中的每个光分量包括25％的所接收的光。

8.根据权利要求1所述的成像设备，其中，所述分离器被配置成将所接收的光分离成所述第一光分量和第二光分量，使得所述第一光分量和第二光分量包括不同百分比的所接收的光。

9.根据权利要求8所述的成像设备，其中，所述第一光分量包括60％的所接收的光，并且所述第二光分量包括40％的所接收的光。

10.根据权利要求9所述的成像设备，其中，所述光学装置被配置成将所述第二光分量分散成所述右光分量和左光分量，使得所述右光分量和左光分量中的每个光分量包括20％的所接收的光。

11.根据权利要求1所述的成像设备，其中：

所述第一成像元件被配置成以第一分辨率输出所述基础图像；并且所述第二成像元件被配置成以低于所述第一分辨率的第二分辨率输出所述右检测图像。

12.根据权利要求1所述的成像设备，其中：

所述基础图像包括一系列基础帧；

所述右检测图像包括一系列右检测帧；

所述第一成像元件被配置成以第一帧速率输出所述一系列基础帧；并且所述第二成像元件被配置成以高于所述第一帧速率的第二帧速率输出所述一系列右检测帧。

13.根据权利要求12所述的成像设备，其中，所述第二帧速率在230帧每秒与250帧每秒之间。

14.根据权利要求13所述的成像设备，其中，所述第二帧速率是240帧每秒。

15.根据权利要求12所述的成像设备，其中，所述第二帧速率在290帧每秒与310帧每秒之间。

16.根据权利要求15所述的成像设备，其中，所述第二帧速率是300帧每秒。

17.根据权利要求12所述的成像设备，其中，所述第二帧速率在590帧每秒与610帧每秒之间。

18.根据权利要求17所述的成像设备，其中，所述第二帧速率是600帧每秒。

19.一种成像方法，包括：

将从至少一个对象接收的光分离成至少第一光分量和第二光分量；

将所述第一光分量转换成表示所述至少一个对象的基础图像的第一电信号；

将所述第二光分量分散成至少右光分量和左光分量；

将所述右光分量转换成第二电信号，所述第二电信号表示第一角度的所述至少一个对象的右检测图像；以及将所述左光分量转换成第三电信号，所述第三电信号表示不同于所述第一角度的第二角度的所述至少一个对象的左检测图像，其中，所述基础图像的质量不同于所述右检测图像的质量和所述左检测图像的质量。

20.一种包括至少一个处理器的成像设备，所述至少一个处理器被配置为：使用右检测图像将从至少一个对象捕捉的基础图像变换成右视差图像，所述右检测图像是以第一角度从所述至少一个对象捕捉的；以及使用左检测图像将所述基础图像变换成左视差图像，所述左检测图像是以不同于所述第一角度的第二角度从所述至少一个对象捕捉的，其中，所述基础图像的质量不同于所述右检测图像的质量和所述左检测图像的质量。

21.一种包括变换装置的成像设备，所述变换装置用于：使用右检测图像将从至少一个对象捕捉的基础图像变换成右视差图像，所述右检测图像是以第一角度从所述至少一个对象捕捉的；以及使用左检测图像将所述基础图像变换成左视差图像，所述左检测图像是以不同于所述第一角度的第二角度从所述至少一个对象捕捉的，其中，所述基础图像的质量不同于所述右检测图像的质量和所述左检测图像的质量。

22.一种成像方法，包括：

使用右检测图像将从至少一个对象捕捉的基础图像变换成右视差图像，所述右检测图像是以第一角度从所述至少一个对象捕捉的；以及使用左检测图像将所述基础图像变换成左视差图像，所述左检测图像是以不同于所述第一角度的第二角度从所述至少一个对象捕捉的，其中，所述基础图像的质量不同于所述右检测图像的质量和所述左检测图像的质量。

23.一种成像系统，包括：

分离器，所述分离器被配置成将从至少一个对象接收的光分离成至少第一光分量和第二光分量；

第一成像元件，所述第一成像元件被配置成将所述第一光分量转换成表示所述至少一个对象的基础图像的第一电信号；

光学装置，所述光学装置被配置成将所述第二光分量分散成至少右光分量和左光分量；

第二成像元件，所述第二成像元件被配置成将所述右光分量转换成第二电信号，所述第二电信号表示第一角度的所述至少一个对象的右检测图像；

第三成像元件，所述第三成像元件被配置成将所述左光分量转换成第三电信号，所述第三电信号表示不同于所述第一角度的第二角度的所述至少一个对象的左检测图像；以及至少一个处理器，所述至少一个处理器被配置为：使用所述右检测图像将所述基础图像变换成右视差图像；以及使用所述左检测图像将所述基础图像变换成左视差图像，其中，所述第一成像元件的性能不同于所述第二成像元件的性能和所述第三成像元件的性能。

说明书

成像设备以及视频记录与再现系统

技术领域

[0001] 本公开内容涉及成像设备，并且更特别地，涉及将对象成像为立体图像的成像设备以及视频记录与再现系统。

背景技术

[0002] 一直以来，提出了下述系统：所述系统使用两个摄像机，即右摄像机和左摄像机，来同时对普通对象成像，并且同时输出右视频和左视频以显示立体图像。然而，使用两个摄像机的系统倾向于大尺寸并且缺乏移动性，在右摄像机的光轴与左摄像机的光轴之间可能发生偏差，并且难以获得具有适当视差的图像。例如，存在这样的担忧，即由于摄像机的透镜之间的各体差别，使得在变焦期间两个摄像机之间的距离可能增大，右光轴和左光轴可能偏离，并且右屏幕的大小与左屏幕的大小可能不同。此外，当在对焦操作中进行朝着对象定向右摄像机和左摄像机的会聚操作时，担心的是右摄像机和左摄像机可能偏离，例如，垂直偏离。

[0003] 当在右摄像机和左摄像机的光轴中发生偏离等时，观看立体图像的用户的光学系统被迫使进行不同于正常处理的信息处理，并且因此可能引起视觉疲劳。此外，当用户在不使用立体眼镜的情况下观看重叠的左图像和右图像时，用户可能双重地观看对象，并且因此可能产生不自然的视频。

[0004] 因此，提出了一种成像设备，其中，来自对象的光被镜子分离成两个光通量(light flux)，以在一个透镜光瞳(lens pupil)(例如，见PTL 1)的区域中对对象成像。在成像设备中，可以通过对两个分离的光通量中的每个光通量进行成像来获得用于立体视图的右视频数据和左视频数据。

[0005] 引用列表

[0006] 专利文献

[0007] PTL 1：JP 2010-81580A

发明内容

[0008] 技术问题

[0009] 根据相关技术的上述技术，可以通过使用镜子将来自对象的光分离成右光和左光来获得用于立体视图的右视频数据和左视频数据。然而，在这种情况下，担心的是，分离的光的光束厚度可能根据从对象到镜子的光的入射角等而改变，右图像和左图像的亮度可能失衡，并且因此图像质量可能下降。

[0010] 鉴于上述情况而设计本技术，并且本技术的目标是进行用于生成高质量立体图像的成像过程，其中该高质量立体图像的右图像和左图像的图像质量是一致的。

[0011] 问题的解决方案

[0012] 为了解决上述问题，根据本技术的一些实施方式，成像设备包括：分离器，该分离器被配置成将从至少一个对象接收的光分离成至少第一光分量和第二光分量；第一成像元件，该第一成像元件被配置成将第一光分量转换成表示至少一个对象的基础图像的第一电信号；光学装置，该光学装置被配置成将第二光分量分散成至少右光分量和左光分量；第二成像元件，该第二成像元件被配置成将右光分量转换成第二电信号，该第二电信号表示第一角度的至少一个对象的右检测图像；以及第三成像元件，该第三成像元件被配置成将左光分量转换成第三电信号，该第三电信号表示不同于第一角度的第二角度的至少一个对象的左检测图像，其中该第一成像元件的性能不同于该第二成像元件的性能和该第三成像元件的性能。因此，可以获得同时生成基础图像和视差检测图像的操作。

[0013] 根据本技术的一些进一步的实施方式，成像设备还可以包括至少一个处理器，该至少一个处理器被编程用于：

[0014] 使用右检测图像将从至少一个对象捕捉的基础图像变换成右视差图像，所述右检测图像是以第一角度从所述至少一个对象捕捉的；并且使用左检测图像将所述基础图像变换成左视差图像，所述左检测图像是以不同于所述第一角度的第二角度从所述至少一个对象捕捉的，其中该基础图像的质量不同于该右检测图像的质量和该左检测图像的质量。因此，可以获得生成视差图像的操作。

[0015] 根据本技术的另一些进一步的实施方式，至少一个处理器可以被编程用于：搜索右检测图像，以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素；至少部分地通过基于右检测图像的一个或更多个对应像素的位置而移动基础图像的至少一个像素，来将基础图像变换成右视差图像；搜索左检测图像，以定位与基础图像的至少一个像素对应的左检测图像的一个或更多个像素；并且至少部分地通过基于左检测图像的一个或更多个对应像素的位置而移动基础图像的至少一个像素，来将基础图像变换成左视差图像。因此，可以获得基于搜索结果通过将基础图像的像素移动到视差检测图像的对应像素的位置来生成视差图像的操作。

[0016] 根据本技术的又一些进一步的实施方式，右视差图像可以包括一系列右视差帧，并且

[0017] 至少一个处理器可以进一步被编程用于至少部分地通过下述步骤基于一系列右视差帧中的第一帧和第二帧来生成内插帧：搜索第一帧，以定位与第二帧的一个或更多个像素对应的第一帧的一个或更多个像素，并且使用第一帧的一个或更多个对应像素的位置以及第二帧的一个或更多个对应像素的位置，来确定内插帧的一个或更多个对应像素的位置。因此，可以获得改进帧速率的操作。

[0018] 根据本技术的又一些进一步的实施方式，至少一个处理器还可以被编程用于至少部分地通过下述步骤基于右视差图像和左视差图像来生成内插图像：搜索右检测图像，以定位与左视差图像的一个或更多个像素对应的右视差图像的一个或更多个像素；并且使用右视差图像的一个或更多个对应像素的位置以及左视差图像的一个或更多个对应像素的位置，来确定内插图像的一个或更多个对应像素的位置。因此，可以获得在任何位置的视点处生成视差图像的操作。

[0019] 根据本技术的又一些进一步的实施方式，可以以等于或大于60帧每秒的速率生成基础图像或视差检测图像。此外，可以以230帧每秒到250帧每秒的速率生成视差检测图像。此外，可以以290帧每秒到310帧每秒的速率生成视差检测图像。此外，可以以590帧每秒到
610帧每秒的速率生成视差检测图像。

[0020] 根据本技术的又一些进一步的实施方式，视频记录与再现系统包括：分离器，该分离器被配置成将从至少一个对象接收的平行光分离成至少第一光分量和第二光分量；第一成像元件，该第一成像元件被配置成将第一光分量转换成表示至少一个对象的基础图像的第一电信号；光学装置，该光学装置被配置成将第二光分量分散成至少右光分量和左光分量；第二成像元件，该第二成像元件被配置成将右光分量转换成第二电信号，该第二电信号表示第一角度的至少一个对象的右检测图像；第三成像元件，该第三成像元件被配置成将左光分量转换成第三电信号，该第三电信号表示不同于第一角度的第二角度的至少一个对象的左检测图像；以及至少一个处理器，所述至少一个处理器被编程用于：使用右检测图像将基础图像变换成右视差图像；并且使用左检测图像将基础图像变换成左视差图像；以及显示单元，该显示单元被配置成显示右视差图像和左视差图像，其中所述第一成像元件的性能不同于所述第二成像元件的性能和所述第三成像元件的性能。因此，可以获得成像并且再现高质量视差图像的操作。

[0021] 发明的有益效果

[0022] 根据本技术，可以获得以下有益效果：进行生成高质量立体图像的成像过程，其中该高质量立体图像的右图像与左图像的图像质量是一致的。

附图说明

[0023] 图1是示出了根据本技术的实施方式的成像单元的配置的示例的图。

[0024] 图2是示出了根据本技术的实施方式的成像元件171至成像元件173的配置的示例的图。

[0025] 图3是示出了根据本技术的实施方式的成像单元中的光瞳115的图像的图。

[0026] 图4是示出了质心到质心的距离D与基线长度(基线)之间的关系的图。

[0027] 图5是示出了通过变焦的放大和视差之间的关系的图。

[0028] 图6是示出了根据本技术的第二实施方式的成像设备的配置的示例的图。

[0029] 图7是示出了根据本技术的第二实施方式的视频生成单元200的配置的示例的图。

[0030] 图8是示出了根据本技术的第二实施方式的视差图像生成单元241和视差图像生成单元242的配置的示例的图。

[0031] 图9是示出了根据本技术的第二实施方式的成像设备的处理的示例的流程图。

[0032] 图10是示出了根据本技术的第三实施方式的视频生成单元200的配置的示例的图。

[0033] 图11是示出了根据本技术的第四实施方式的视频生成单元200的配置的示例的图。

[0034] 图12是示出了根据本技术的第四实施方式的时间方向内插单元251和时间方向内插单元252的配置的示例的图。

[0035] 图13是示出了根据本技术的第四实施方式的时间方向内插单元251和时间方向内插单元252的处理的示例的流程图。

[0036] 图14是示出了根据本技术的第五实施方式的视频生成单元200的配置的示例的图。

[0037] 图15是示出了根据本技术的第五实施方式的空间方向内插单元260的配置的示例的图。

[0038] 图16是示出了根据本技术的第五实施方式的空间方向内插单元260的处理的示例的流程图。

[0039] 图17是示出了根据本技术的第六实施方式的视频记录与再现系统的配置的示例的图。

具体实施方式

[0040] 在下文中，将描述用于实施本技术的模式(在下文中，称为实施方式)。将以下面的顺序做出描述。

[0041] 1.第一实施方式(生成基础图像和视差检测图像的成像单元的示例)

[0042] 2.第二实施方式(基于基础图像和视差检测图像生成视差图像的成像设备的示例)

[0043] 3.第三实施方式(基于基础图像和视差检测图像的RAW图像生成视差图像的成像设备的示例)

[0044] 4.第四实施方式(进行时间方向内插的成像设备的示例)

[0045] 5.第五实施方式(进行空间方向内插的成像设备的示例)

[0046] 6.第六实施方式(视频记录与再现系统的示例)

[0047] <1.第一实施方式>

[0048] “成像单元的配置”

[0049] 图1是示出了根据本技术的实施方式的成像单元的配置的示例的图。图1a是从左侧观看对象时的侧面剖视图，并且图1b是平面剖视图。在图1b中，上侧是朝着对象的右方向并且下侧是朝着对象的左方向。请注意，在图1b中，未示出上部镜子142、会聚透镜153及成像元件173。

[0050] 成像单元接收来自对象的入射光101，在左成像元件171和右成像元件172以及中间成像元件173上形成图像，并且生成左视频数据、右视频数据及中间视频数据。交换透镜110被配置成通过透镜支架120安装在成像单元的主体上。交换透镜110是会聚来自对象的入射光101的透镜组，并且不仅包括透镜组，例如进行聚焦的聚焦透镜或者放大对象的变焦透镜，而且包括交换透镜110的光阑113。光瞳115是在从对象侧或图像形成侧观看透镜时的孔径光阑的图像。要注意的是，交换透镜110是权利要求中所描述的摄影透镜的示例。

[0051] 透镜支架120将交换透镜110安装在成像单元的主体上。在透镜支架120内，会聚光的图像被一次形成，并且会聚光的图像是左右反转的反转图像。

[0052] 中继透镜单元130被设置在透镜支架120的下一级。中继透镜单元130包括将会聚到透镜支架120的光透射到平行光区域140的透镜。会聚到透镜支架120的光形成虚像131。在交换透镜110的物焦点位置(objective focal position)(也就是说，对象的位置)处从点光源发散的的光被中继透镜单元130的透镜在区域140中转换成平行光。在平行光区域
140中，可以进一步提供不同于光阑113的光阑。要注意的是，中继透镜单元130是权利要求中所描述的中继透镜的示例。

[0053] 透射镜141和镜子143至镜子146被设置在中继透镜单元130的下一级。透射镜141和镜子143至镜子146被设置在平行光区域140的位置处，并且它们是使会聚光分散的分光镜。首先，作为相同拍摄目标的全部量的光被具有任意设定的反射率的透射镜141透射并且反射，并且因此被分散成两组光束。在这种情况下，透射的光与反射的光中所包含的图像是相同的。

[0054] 透射镜141是反射并透射所接收的光的镜子。透射镜141可以由例如在玻璃表面上沉积了薄膜的AR涂层(抗反射涂层)来实现。AR涂覆层可以通过控制薄膜的反射率来控制透射率。例如，当使用透射50％的光并反射50％的光的半反射镜时，50％的入射光被朝向镜子142的一侧反射，并且50％的入射光被朝向镜子143-146的一侧透射。在另一实施方式中，使用了透射40％的光并反射60％的光的透射镜，60％的入射光被朝向镜子142的一侧反射，并且40％的入射光被朝向镜子143-146的一侧透射。其他的百分比也是适合的，这是由于本公开内容的各方面未被限制为任何特定百分比。

[0055] 由透射镜141反射的光被设置在上方向的镜子142反射，并且然后入射到会聚透镜153上。通过透射镜141透射并且从对象的左侧观看的光分量通过右反转和左反转朝向镜子
143和镜子145反射。同样地，通过透射镜141透射并且从对象的右侧观看的光分量朝向镜子
144和镜子146反射。因此，通过透射镜141透射的光被镜子142至镜子146分散成右边和左边。由于设置有镜子143和镜子144的位置被包括在平行光区域140中，所以从右侧和左侧观看的光分量都被分散。如在上述示例中的一个示例中那样，当50％的入射光被透射到镜子
143至镜子146的一侧时，所透射的光被镜子143和镜子144分散，并且因此每个光的量变成入射光的25％。同样地，在可替代的实施方式中，当40％的入射光被透射到镜子143至镜子
146的一侧时，所透射的光被镜子143和镜子144分散，并且因此每个光的量变成入射光的
20％。

[0056] 当从左侧观看对象时，由透射镜141、镜子143及镜子145分散的光，即具有分量的光被入射到会聚透镜151上以用于图像形成。此外，当从右侧观看对象时，由透射镜141、镜子144及镜子146分散的光，即具有分量的光被入射到会聚透镜152上以用于图像形成。当从中间侧观看对象时，由透射镜141和镜子142反射的光，即具有分量的光被入射到会聚透镜153上以用于图像形成。

[0057] 会聚透镜151和会聚透镜152分别在成像元件171和成像元件172的光接收表面上形成入射光的图像。会聚透镜153在成像元件173的光接收表面上形成入射光的图像。入射到成像元件171至173上的光具有各自竖直的图像。此处，描述了通过透射镜141透射的光被分散成右边和左边，并且所反射的光形成单个图像的示例，但是该示例可以修改。也就是说，由透射镜141反射的光可以被分离为右边和左边，并且所透射的光可以直接形成图像。要注意的是，会聚透镜151和会聚透镜152是权利要求中所描述的图像形成透镜的示例。

[0058] 成像元件171至成像元件173是将从会聚透镜151至会聚透镜153入射的光分别转换成电信号的光电转换元件。成像元件171至成像元件173由例如CCD(电荷耦合器件)图像传感器或CMOS(互补金属氧化物半导体)图像传感器来实现。

[0059] 成像元件171和成像元件172用于生成被配置成检测立体视图的视差信息的视差检测图像。成像元件173用于生成基础图像，该基础图像是被配置成用于立体视图的视差图像的基础。基础图像需要具有高于视差检测图像的图像质量。这是因为基础图像的图像质量反映在视差图像的图像质量中，而视差检测图像被配置成检测视差信息。

[0060] 图2是示出了根据本技术的实施方式的成像元件171至成像元件173的配置的示例的图。图2a示出了成像元件173的配置的示例。图2b示出了成像元件171和成像元件172的配置的示例。在这些示例中，生成视差检测图像的成像元件171和成像元件172中的每个成像元件具有1920个水平像素及1080个垂直像素的像素数量。此外，生成基础图像的成像元件173具有3840个水平像素和2160个垂直像素的像素数量。所有的成像元件具有水平16：垂直
9的比率。然而，即使当成像元件的比率不同时，本技术也可以应用。

[0061] 此外，成像元件171和成像元件172中的每个成像元件的对角尺寸是例如1/2英寸。此外，成像元件173的对角尺寸是例如2/3英寸。

[0062] 因此，比视差检测图像具有更高图像质量的基础图像可以通过设置成像元件171至成像元件173的分辨率来生成。

[0063] 此外，成像元件171和成像元件172的图像生成速率可以与成像元件173的图像生成速率相同或者不同。当成像元件173的像素数量被设置为高于成像元件171和成像元件172的像素数量时，可以考虑将成像元件173的图像生成速率设置得较低。当上述像素的数量被设置时，例如，可以考虑将成像元件171和成像元件172的图像生成速率设置为240帧每秒，并且可以考虑将成像元件173的图像生成速率设置为120帧每秒。因此，可以单独地使用成像元件173的空间分辨率以及成像元件171和成像元件172的时间分辨率。

[0064] 在电影中，24帧每秒(24Hz)的帧速率被用作为标准。在电视中，60帧每秒(60Hz)的帧速率被用作为标准。在本技术的实施方式中，考虑到由于移动引起的模糊或抖动，以等于或大于60帧每秒(60Hz)的速率，并且优选地以230帧每秒至250帧每秒(240Hz±10Hz)的速率从电信号生成所捕捉的图像。因此，解决了时间方向上的分辨率的缺乏。此外，考虑到广播方案，290帧每秒至310帧每秒(300Hz±10Hz)的速率被优选作为欧洲通常使用的50帧每秒(50Hz)与日本和美国通常使用的60帧每秒(60Hz)之间的公倍数。此外，由于可以容易地进行图像处理，例如图像合成处理或者速率转换处理，作为对其增加了电影的24帧每秒(24Hz)速率的公倍数，590帧每秒至610帧每秒(600Hz±10Hz)的速率是重要的。因此，当设置了成像元件171至成像元件173的图像生成速率时，优先考虑这些速率。

[0065] “光瞳的划分”

[0066] 图3是示出了根据本技术的实施方式的成像单元中的光瞳115的图像的图。光瞳指的是在从对象侧或图像形成侧观看透镜时孔径光阑的图像。在根据本技术的实施方式的成像单元中，当假设与光瞳115对应的圆的半径是r时，满足下面的等式，

[0067] 2xr＝f/F  (等式1)

[0068] 其中，f是焦距，并且F是F值。因此，当焦距固定时，光瞳115的直径“2×r”和F值可以理解成具有反比关系。

[0069] 在本发明的实施方式中，将描述通过将光瞳115的圆划分成右部和左部以在平行光区域中将会聚光分散为右部和左部而获得的右半圆和左半圆。如上面描述，可以基于双眼之间的视差(相对视差)来获得立体感。此时，确定视差的光轴被认为穿过右半圆和左半圆中的每个半圆的质心。具有半径r的半圆的质心可以几何地计算，并且位于与圆的中心相距“(4×r)/(3×Pi)”的位置处。此处，Pi是圆的周长与其直径的比值。因此，左半圆的质心501与右半圆的质心502之间的距离(质心到质心距离D)满足下面的等式。

[0070] D＝(8xr)/(3xPi)  (等式2)

[0071] 也就是说，当光阑113变窄时，质心到质心距离D成比例地减小。换言之，可以通过改变光阑113的孔径来调节立体感。如下是根据实验获得以确定这个假设的结果。

[0072] “质心到质心距离与基线长度(基线)之间的关系”

[0073] 图4是示出了质心到质心距离D与基线长度(基线)之间的关系的图。此处，示出了作为交换透镜110的两种透镜#A与#B之间的质心到质心距离的理论值以及基线长度的实验值。

[0074] 透镜#A是具有1.8的开放F值以及10至100[mm(毫米)]的焦距的变焦透镜。透镜#A的变焦率是10倍，并且宽端的焦距是10[mm]。透镜#B是具有2.8的开放F值以及13.5至570[mm]的焦距的变焦透镜。透镜#B的变焦率是42倍，并且宽端的焦距是13.5[mm]。在透镜#A和透镜#B中，拍摄距离假设为6.5[m(米)]。

[0075] 通过上述等式1和等式2，透镜#A和透镜#B的质心到质心距离D分别被计算为23.1[mm]和14.9[mm]。另一方面，通过实验在实际设备中计算的透镜#A和透镜#B的基线长度分别是20.0[mm]和12.0[mm]。根据实验结果，可以理解的是，作为光阑113图像的光瞳的半圆的质心到质心距离D几乎等于基线长度，虽然这个距离看起来比衍射效应所假设的理论值要减小。此外，示出了可以通过上述等式2通过光阑113的孔径来改变质心到质心距离D，并且因此可以通过光阑113的孔径来控制基线长度。

[0076] 在根据本技术的实施方式的配置的示例中，质心到质心距离D的最小值可以假设为约7[mm]。考虑到：可以使用这个值的基线长度来感到立体感。特别地，当拍摄距离长时，考虑到：在基线长度具有某个值时可能不能实现立体感。当基线长度逐渐增大并且变成约32[mm]时，立体感变得进一步清楚，但是背景逐渐模糊。此外，当基线长度超过65[mm]时，考虑到：发生微缩景观效果，并且因此产生了不自然的屏幕。因此，考虑到：立体视频看起来自然的基线长度的范围是大约7[mm]至65[mm].

[0077] “通过变焦的放大和视差之间的关系”

[0078] 图5是示出了通过变焦的放大和视差之间的关系的图。在图5的“a”中，假设L是左眼的位置，R是右眼的位置，并且A和B是对象图像的点。当假设点A的会聚角θA是包括点A的角LAR(绝对视差)，并且点B的会聚角θB是包括点B的角LBR(绝对视差)时，通过下面的等式来计算点A与点B之间的视差(相对视差)。此外，相对视差被简称为“视差”。

[0079] d＝θB-θA

[0080] 此处，当假设h是角ALB并且g是角ARB时，会聚角θA与h基本上相同，并且会聚角θB与g基本上相同。因此，满足下面的等式：

[0081] d＝g-h

[0082] 此外，当假设D是两眼间距离时，DA是从双眼到点A的距离，DB是从双眼到点B的距离，δ是从双眼看时点A与点B之间的距离，满足下面的等式：

[0083] d“约等于”D×δ/(DA2-δ×DA)。

[0084] 此处，由于DA和DB>>D，所以满足d“约等于”D×δ/DA2。

[0085] 在图5的“b”中，示出了与图5的“a”相比进行了n倍放大时的位置关系。此处，通过在每个标号后添加一划来表示变焦后改变的角、位置及距离。由于进行了n倍放大，所以满足下面的等式：

[0086] g′＝nxg，并且

[0087] h′＝nxh。

[0088] 此时，由下面的等式表示视差d’：

[0089] d′＝DB′-DA′＝g′-h′＝n(g-h)＝nxd

[0090] 也就是说，通过n倍的放大来生成n个视差。这意味着当对伸缩端侧进行变焦时改进了立体感。换言之，在变焦拍摄中，即使当基线长度短时也可以获得合适的视差。

[0091] 因此，根据本技术的第一实施方式，可以通过使用镜子143至146将由单个交换透镜110会聚的光分散到右侧和左侧，来适当地减小双眼观看的图像的视差。在本技术的实施方式中获得的视差可以使用光阑113的孔径以及变焦拍摄中的变焦率(放大能力)来控制。通常，考虑到：眼睛对视差的灵敏度高，并且针对视差给出高一个量级的分辨率，而在一视角处正常视觉能力是“分”量级的(minute order)(C.W.Tyler,"Spatial Organization of Binocular Disparity Sensitivity",Vision Research，第15卷，583-590页，培格曼出版社(1975))。因此，重要的是，通过即使在视差小于上述示例中所描述的视差的条件下也能使得自然地感受立体感，来适当地减小视差以便减小视觉疲劳。

[0092] 此外，根据第一实施方式，除了视差检测图像之外，可以拍摄高质量的基础图像。可以使用基础图像和视差检测图像来生成下面要描述的高质量视差图像。

[0093] <2.第二实施方式>

[0094] “成像设备的配置”

[0095] 图6是示出了根据本技术的第二实施方式的成像设备的配置的示例的图。视频记录与再现系统包括成像单元100、视频生成单元200及视频存储单元300。

[0096] 作为第一实施方式中描述的成像单元的成像单元100接收来自对象的入射光，使用成像元件171和成像元件172生成视差检测图像，并且使用成像元件173生成基础图像。

[0097] 视频生成单元200基于从成像单元100输出的基础图像和视差检测图像生成高质量的视差图像，并且在视频存储单元300中记录视差图像的视频数据。下面将要描述视频生成单元200的配置。

[0098] 视频存储单元300存储从视频生成单元200输出的视差图像的视频数据。

[0099] “视频生成单元的配置”

[0100] 图7是示出了根据本技术的第二实施方式的视频生成单元200的配置的示例的图。视频生成单元200包括信号处理单元211至信号处理单元213、图像存储器221和图像存储器
222、视差图像生成单元241和视差图像生成单元242、以及编码单元231和编码单元232。

[0101] 信号处理单元211至信号处理单元213接收从成像单元100输出的基础图像和视差检测图像的视频数据，并且进行预定的信号处理。信号处理单元211至信号处理单元213A/D(模拟到数字)转换成像的数据，并且进行多种信号处理，例如去马赛克处理(demosaic process)和白平衡调节处理。

[0102] 视差图像生成单元241和视差图像生成单元242基于基础图像和视差检测图像生成视差图像。下面将要详细描述视差图像生成单元241和视差图像生成单元242。

[0103] 图像存储器221和图像存储器222是暂时存储由信号处理单元211至信号处理单元213处理的视频数据以及由视差图像生成单元241和视差图像生成单元242生成的视差图像的视频数据的存储器。

[0104] 编码单元231和编码单元232编码在图像存储器221和图像存储器222中存储的视差图像的视频数据，并且将视差图像的视频数据输出到视频存储单元300。

[0105] “视差图像生成单元的配置”

[0106] 图8是示出了根据本技术的第二实施方式的视差图像生成单元241和视差图像生成单元242的配置的示例的图。视差图像生成单元241和视差图像生成单元242每个包括对应像素搜索单元245和像素移动单元246。

[0107] 对应像素搜索单元245搜索与视差检测图像的像素相对应的基础图像的像素。对应像素搜索单元245在视差检测图像的右图像和左图像中设置搜索区域，并且使用基础图像的部分区域作为模板来搜索对应的像素。在这个搜索处理中，使用相关系数方法、SSDA(序贯相似性检测算法)方法、最小二乘匹配等。也就是说，通过相关计算、差绝对和(difference absolute sum)计算等在像素的每个恒定单元上进行评估，并且搜索具有最大相关的像素或具有最小差绝对和的像素，作为对应的像素。

[0108] 此处，例如，当使用差的平方和或绝对差的和来搜索对应的像素时，如下进行评估。首先，在X个水平像素×Y个垂直像素的视差检测图像中设置p个水平像素×q个垂直像素的搜索区域。此外，在基础图像中设置m个水平像素×n个垂直像素的搜索区域。此处，m是小于P的整数，并且n是小于q的整数。随着基础图像的搜索区域在视差检测图像的搜索区域中顺序地移动，计算了差的平方和或者绝对差的和。

[0109] 当假设I(i，j)是视差检测图像的像素值，并且T(i，j)是基础图像的像素值时，通过下面的等式计算差的平方和(SSD)。

[0110] [数学式.1]

[0111]

[0112] 此外，通过下面的等式计算绝对差的和(SAD)。

[0113] [数学式.2]

[0114]

[0115] 位于以下位置处的模板中心的像素是对应的像素：在该位置处差的平方和或者绝对差的和是最小的。由于绝对差的和为最小的区域是基础图像与视差检测图像最相似的区域，所以可以推测的是，相同的对象被显示在对应的像素中。

[0116] 另一方面，例如，当使用归一化相关系数来搜索对应的像素时，如下进行评估。视差检测图像的搜索区域与基础图像的搜索区域之间的关系与上面所描述的相同。通过在视差检测图像的搜索区域中顺序地移动基础图像的搜索区域来计算归一化的相关系数。

[0117] 通过下面的等式计算归一化的相关系数(NCC)。

[0118] [数学式.3]

[0119]

[0120] 位于以下位置处的模板中心的像素是对应的像素：在该位置处归一化的相关系数是最大的。即使当视差检测图像的亮度与基础图像的亮度之间存在差别时，也可以使用归一化的相关系数高准确性地检测对应的像素。

[0121] 像素移动单元246基于与对应像素搜索单元245所搜索的对应像素有关的信息，通过将基础图像的像素移动到视差检测图像的对应像素的位置来生成视差图像。当基础图像的像素的数目不同于视差检测图像的像素的数目时，可以通过根据基础图像的多个像素进行内插来计算视差图像的像素值。

[0122] 在本实施方式中，关于视差检测图像，只使用其的视差信息，并且使用图像质量，例如基础图像的亮度或分辨率。因此，可以获得图像质量不一致的右视差图像和左视差图像。

[0123] “成像设备的处理”

[0124] 图9是示出了根据本技术的第二实施方式的成像设备的处理的示例的流程图。首先，来自对象的入射光通过交换透镜110和中继透镜单元130被引导到平行光区域140，并且然后被透射镜141以及镜子143至镜子146分离(步骤S901)。

[0125] 由透射镜141和镜子142引导到会聚透镜153的光被成像元件173进行光电转换，并且因此生成基础图像(步骤S902)。此外，由镜子143至镜子146引导到会聚透镜151和会聚透镜152的光被成像元件171和成像元件172进行光电转换，并且生成视差检测图像(步骤S902)。独立地生成基础图像和视差检测图像，并且这些图像的生成速率可以彼此不同。

[0126] 然后，视差图像生成单元241和视差图像生成单元242的对应像素搜索单元245搜索基础图像与视差检测图像之间的对应像素(步骤S903)。在右视差检测图像和左视差检测图像中搜索对应像素。

[0127] 然后，视差图像生成单元241和视差图像生成单元242的像素移动单元246基于关于对应像素的信息，通过将基础图像的像素移动到视差检测图像的对应像素的位置来生成视差图像(步骤S904)。

[0128] 因此，根据第二实施方式，由于通过使用单个高质量基础图像的像素生成视差图像，图像质量(例如基础图像的亮度或分辨率)可以反映在视差图像上，所以可以获得图像质量不一致的右视差图像和左视差图像。

[0129] <3.第三实施方式>

[0130] 在第二实施方式中，基于存储在图像存储器221和图像存储器222中的基础图像和视差检测图像来生成视差图像。在第三实施方式中，在基础图像和视差检测图像被存储在图像存储器221和图像存储器222中之前生成视差图像。也就是说，在第三实施方式中，在不使用信号处理单元213的情况下，基于作为RAW图像的基础图像和视差检测图像来生成视差图像。此外，由于成像设备的整体配置与参考图6所描述的配置相同，将不重复对其的描述。

[0131] “视频生成单元的配置”

[0132] 图10是示出了根据本技术的第三实施方式的视频生成单元200的配置的示例的图。根据第三实施方式的视频生成单元200不包括图7中所示出的信号处理单元213，并且具有以下配置：在该配置中视差图像生成单元241和视差图像生成单元242分别连接到信号处理单元211和信号处理单元212。

[0133] 信号处理单元211和信号处理单元212的每个接收从成像单元100输出的基础图像和视差检测图像的视频数据，进行A/D转换，并且将结果提供给视差图像生成单元241和视差图像生成单元242。

[0134] 视差图像生成单元241和视差图像生成单元242基于从信号处理单元211和信号处理单元212提供的基础图像和视差检测图像的视频数据来生成视差图像，并且将视差图像分别提供给信号处理单元211和信号处理单元212。此外，由于视差图像生成单元241和视差图像生成单元242的配置与参考图8所描述的配置相同，将不重复对其的描述。

[0135] 然后，信号处理单元211和信号处理单元212对于由视差图像生成单元241和视差图像生成单元242提供的视差图像进行各种信号处理，例如去马赛克处理和白平衡调节处理，并且分别在图像存储器221和图像存储器222中存储结果。

[0136] 编码单元231和编码单元232编码在图像存储器221和图像存储器222中存储的视差图像的视频数据，并且将编码的视频数据输出到视频存储单元300。

[0137] 因此，根据第三实施方式，可以通过基于作为RAW图像的基础图像和视差检测图像生成视差图像，来获得更高质量的视差图像。

[0138] <4.第四实施方式>

[0139] 在第四实施方式中，通过在时间方向上内插视差图像来生成任何时间的图像。此外，由于成像设备的整体配置与参考图6所描述的配置相同，将不重复对其的描述。

[0140] “视频生成单元的配置”

[0141] 图11是示出了根据本技术的第四实施方式的视频生成单元200的配置的示例的图。根据第四实施方式的视频生成单元200与根据第二实施方式的视频生成单元200的不同之处在于时间方向内插单元251和时间方向内插单元252分别连接到图像存储器221和图像存储器222。时间方向内插单元251和时间方向内插单元252在时间方向上内插在图像存储器221和图像存储器222中存储的视差图像的视频数据。

[0142] “时间方向内插单元的配置”

[0143] 图12是示出了根据本技术的第四实施方式的时间方向内插单元251和时间方向内插单元252的配置的示例的图。时间方向内插单元251和时间方向内插单元252的每个包括帧缓冲器254、对应像素搜索单元255和内插处理单元256。

[0144] 帧缓冲器254是存储用于每帧的视差图像的视频数据的缓冲器。视差图像的视频数据包括时间系列帧。当帧被暂时存储在帧缓冲器254中时，可以在对应像素搜索单元255中将不同的帧彼此进行比较。例如，当视差图像的视频数据的紧挨着前一帧被存储在帧缓冲器254中时，可以将从图像存储器221或图像存储器222提供的当前帧与紧挨着前一帧两者提供给对应像素搜索单元255。要注意的是，由于右图像和左图像作为视差图像存在，所以帧缓冲器254需要存储至少两帧。

[0145] 对应像素搜索单元255通过将当前帧与存储的帧进行比较来搜索视差图像的视频数据的当前帧以及存储在帧缓冲器254中的帧的对应像素。对应像素搜索单元255提供存储在帧缓冲器254中的视差图像的右图像和左图像中的每个图像的搜索区域，并且使用当前视差图像的部分区域作为模板来搜索对应像素。由于在这个搜索处理中可以使用与上述对应像素搜索单元245的方法相同的方法，所以将不重复对其的描述。

[0146] 内插处理单元256基于与对应像素搜索单元255所搜索的对应像素有关的信息，通过内插生成任何时间的像素值。此处，存储在帧缓冲器254中的视差图像被称为先前数据，并且从图像存储器221或图像存储器222提供的当前视差图像被称为当前数据。首先，在将先前数据与当前数据的相应像素彼此连接的运动矢量的中点坐标(u，v)处根据两个对应像素的像素值的平均值来计算像素值s(u，v)。

[0147] 在这种情况下，u-v空间不必须与视差图像的X-Y空间相同。因此，通过内插处理根据整个区域的像素值s(u，v)来生成X-Y空间的像素值F(X，Y)。在这种情况下，例如，可以使用下面描述的线性内插方法作为内插处理。此处，假设F0是要计算的像素值F(X，Y)，si是已知的像素值s(u，v)，并且t是用于计算的邻近点的数目。此外，假设wi是权重，并且可以使用到坐标(X，Y)的距离的倒数。

[0148] [数学式.4]

[0149]

[0150] 此处，通过计算先前数据和当前数据的对应像素的像素值的平均值来计算运动矢量的中点处的像素值。然而，可以通过使用线性比(linear ratio)计算任何比率的点来生成任何时间的像素值。

[0151] “时间方向内插单元的处理”

[0152] 图13示出了根据本技术的第四实施方式的时间方向内插单元251和时间方向内插单元252的处理的示例的流程图。时间方向内插单元251和时间方向内插单元252以视差图像的每个帧速率重复下面描述的处理(L910)。

[0153] 首先，从图像存储器221或图像存储器222获取新的视差图像的帧f_new(X,Y)(步骤S911)。此外，存储在帧缓冲器254中的帧被称为f_old(X,Y)(步骤S912)。然后，对应像素搜索单元255通过将视差图像的帧f_new(X,Y)与帧f_old(X,Y)进行比较来搜索两个帧的对应像素(步骤S913)。

[0154] 内插处理单元256生成连接所搜索的对应像素的运动矢量的中点坐标(u，v)(步骤S914)，并且然后根据两个对应像素的像素值的平均值来计算像素值s(u，v)(步骤S915)。然后，内插处理单元256通过线性内插方法等来计算像素值F(X,Y)(步骤S916)。输出像素值F(X,Y)作为中间时间的视频(步骤S917)。

[0155] 然后，在对视差图像的后续帧进行处理之前，视差图像的帧f_new(X,Y)被存储在帧缓冲器254中(步骤S918)。

[0156] 因此，根据第四实施方式，可以改进视差图像的帧速率。此外，此处，在本实施方式中在时间方向上内插视差图像，但是可以内插视差检测图像或基础图像。

[0157] <5.第五实施方式>

[0158] 在第五实施方式中，通过在空间方向上内插视差图像来生成任何位置的视点的图像。此外，由于成像设备的整体配置与参考图6所描述的配置相同，将不重复对其的描述。

[0159] “视频生成单元的配置”

[0160] 图14是示出了根据本技术的第五实施方式的视频生成单元200的配置的示例的图。根据第五实施方式的视频生成单元200与根据第二实施方式的视频生成单元200的不同之处在于空间方向内插单元260连接到图像存储器221和图像存储器222。空间方向内插单元260在空间方向上内插在图像存储器221和图像存储器222中存储的视差图像的视频数据。

[0161] “空间方向内插单元的配置”

[0162] 图15是示出了根据本技术的第五实施方式的空间方向内插单元260的配置的示例的图。空间方向内插单元260包括对应像素搜索单元265和内插处理单元266。

[0163] 对应像素搜索单元265通过将视差图像的左图像的帧与视差图像的右图像的帧进行比较来搜索视差图像的右图像的帧和左图像的帧两者的对应像素。对应像素搜索单元265在右图像和左图像中的一个图像中设置搜索区域，并且使用其他图像的部分区域作为模板来搜索对应像素。由于在本搜索处理中可以使用与上述对应像素搜索单元245的方法相同的方法，将不重复对其的描述。

[0164] 内插处理单元266基于与对应像素搜索单元265所搜索的对应像素有关的信息，通过内插生成任何位置的视点处的像素值。此处，图像之一被称为第一视点数据，并且图像中的另一个被称为第二视点数据。首先，在将第一视点数据与第二视点数据的对应像素彼此连接的矢量的中点坐标(u，v)处根据两个对应像素的像素值的平均值来计算像素值s(u，v)。

[0165] 在这种情况下，如在第四实施方式的情况中一样，u-v空间不必须与视差图像的X-Y空间相同。因此，通过内插处理根据整个区域的像素值s(u，v)来生成X-Y空间的像素值F(X，Y)。由于内插处理的细节与第四实施方式中的一样，将不重复对其的详细描述。

[0166] 此处，通过计算第一视点数据和第二视点数据的对应像素的像素值的平均值来计算运动矢量的中点处的像素值。然而，可以通过使用线性比计算任何比率的点来生成任何位置的视点处的像素值。

[0167] “空间方向内插单元的处理”

[0168] 图16是示出了根据本技术的第五实施方式的空间方向内插单元260的处理的示例的流程图。空间方向内插单元260以视差图像的每个帧速率重复下面描述的处理(L920)。

[0169] 首先，从图像存储器221获取新视差图像的左图像的帧f_left(X,Y)(步骤S921)。此外，从图像存储器222获取新视差图像的右图像的帧f_right(X,Y)(步骤S922)。然后，对应像素搜索单元265通过将视差图像的帧f_left(X,Y)与帧f_right(X,Y)进行比较来搜索两个帧的对应像素(步骤S923)。

[0170] 内插处理单元266生成连接所搜索的对应像素的矢量的中点坐标(u,v)(步骤S924)，并且然后根据两个对应像素的像素值的平均值来计算像素值s(u，v)(步骤S925)。然后，内插处理单元266通过线性内插方法等来计算像素值F(X,Y)(步骤S926)。将像素值F(X,Y)输出作为中间时间的视频(步骤S927)。

[0171] 因此，根据第五实施方式，可以生成任何位置的视点处的视差图像。此外，此处，假定基于视差图像的右图像和左图像来搜索对应像素。然而，可以通过将视差图像的右图像和左图像中的一个图像与基础图像进行比较来搜索两图像的对应像素。

[0172] <6.第六实施方式>

[0173] “视频记录与再现系统的配置”

[0174] 图17是示出了根据第六实施方式的视频记录与再现系统的配置的示例的图。视频记录与再现系统包括成像单元100、视频生成单元200、视频存储单元300、视频再现单元400及显示单元500。由于成像单元100、视频生成单元200及视频存储单元300与参考图6所描述的相似，将不重复对其的描述。

[0175] 视频再现单元400读取存储在视频存储单元300中的视频数据，并且再现视频数据。视频再现单元400包括与右视差图像和左视差图像的视频数据相对应的解码单元411和解码单元412以及显示控制单元421和显示控制单元422。解码单元411和解码单元412对从视频存储单元300读取的视差图像的视频数据进行解码。显示控制单元421和显示控制单元422进行控制，以使得显示单元500显示由解码单元411和解码单元412解码的视差图像的视频数据。

[0176] 显示单元500显示从视频再现单元400输出的视差图像的视频数据。例如，显示单元500被认为具有下述配置：在该配置中，在两个投影仪上安装圆偏振光或线偏振光滤光器，分别示出右眼视差图像和左眼视差图像，使用与显示器对应的圆偏振光或线偏振光眼镜来观看这些图像。此外，在附接滤光器的平板显示器中，可以在相同时间同样地示出右眼视差图像和左眼视差图像，并且，例如，不使用眼镜的、具有凸透镜、视差屏障方法等的立体显示设备可以被使用。因此，在本技术的实施方式中，通过不是交替地示出右眼图像和左眼图像，而是同时示出右眼图像和左眼图像，减少了视觉疲劳。

[0177] 此外，在本技术的实施方式中，通过以高的帧速率进行从成像单元100生成视频数据到显示单元500显示视频数据的过程，来试图解决由移动引起的模糊和抖动。除了在拍摄时MTF(调制传递函数)方面的劣化，当特别是在保持型显示中跟踪和观看移动对象(跟踪视图)时，由于视频在视网膜上的滑移，频繁地发生由移动引起的模糊。此处，保持型显示是指在帧时段期间视频继续在电影、液晶投影仪等中显示。此外，抖动是指视频的平滑性被损失并且运动变得不自然。当以固定视线(固定视图)来观看使用高速快门拍摄的视频时频繁地发生抖动。运动图像的质量方面的劣化与拍摄和显示的帧速率、相机拍摄时的孔径比(孔径时间/帧时间)、视觉特征等有关。

[0178] 因此，根据本技术的第六实施方式，可以成像和再现高质量的视差图像。

[0179] 应当注意的是，上述实施方式只是用于实施本技术的示例，并且实施方式中的事项与权利要求中指定本发明的事项具有对应关系。同样地，权利要求中指定本发明的事项与实施方式中具有相同名称的事项具有对应关系。然而，本技术不限于实施方式，而是可以在不偏离本技术的主旨的情况下在本技术的范围内修改为实施方式的多种形式。可以以多种方式中的任何方式实施本发明的上述实施方式。例如，可以使用硬件、软件或硬件与软件的组合来实施实施方式。当以软件实施时，软件代码可以在任何合适的处理器或处理器的集合中执行，不管处理器设置在单个计算机中还是分布在多个计算机之间。应当理解的是，进行上述功能的任何部件或部件的集合可以被一般地认为是控制上述功能的一个或更多个控制器。该一个或更多个控制器可以以多种方式来实施，例如使用专用硬件，或者使用通用硬件(例如，一个或更多个处理器)，该通用硬件被使用微代码或软件来编程以执行上述功能。在这一方面，应当理解的是，本发明的实施方式的一个实施包括以计算机程序(即多个指令)编码的至少一种计算机可读存储介质(即，实体的、非暂时计算机可读介质，例如计算机存储器、软盘、光盘、磁带或其他实体的、非暂时计算机可读介质)，当在一个或更多个处理器上执行时，所述计算机程序执行本发明的实施方式的上述功能。计算机可读存储介质可以是可移植的，以使得存储在其上的程序可以被加载到任何计算机资源，以实施本文中描述的本发明的各方面。此外，应当理解的是，对计算机程序(当被执行时，其执行任何上述功能)的引用不限于在主机计算机上运行的应用程序。而是，本文中在一般意义上使用术语“计算机程序”，以指代可以被采用来编程一个或更多个处理器以实施本发明的上述方面的任何类型的计算机代码(例如，软件或微代码)。

[0180] 本发明的实施方式可以采用下述配置中的任何配置：

[0181] 1.一种设备，包括：

[0182] 分离器，该分离器被配置成将从至少一个对象接收的光分离成至少第一光分量和第二光分量；

[0183] 第一成像元件，该第一成像元件被配置成将第一光分量转换成表示至少一个对象的基础图像的第一电信号；

[0184] 光学装置，该光学装置被配置成将第二光分量分散成至少右光分量和左光分量；

[0185] 第二成像元件，该第二成像元件被配置成将右光分量转换成第二电信号，该第二电信号表示第一角度的至少一个对象的右检测图像；以及

[0186] 第三成像元件，该第三成像元件被配置成将左光分量转换成第三电信号，该第三电信号表示不同于第一角度的第二角度的至少一个对象的左检测图像。

[0187] 2.根据配置1所述的设备，其中，该光学装置是第一光学装置，并且从至少一个对象接收的光是平行光，并且其中，该设备还包括第二光学装置，该第二光学装置被配置成接收来自至少一个对象的入射光，并且将入射光转换成平行光。

[0188] 3.根据配置2所述的设备，其中，第二光学装置包括第一透镜单元及第二透镜单元，第一透镜单元被配置成会聚入射光，第二透镜单元被配置成将会聚光转换成平行光。

[0189] 4.根据配置1所述的设备，其中，分离器包括至少一个透射镜。

[0190] 5.根据配置4所述的设备，其中，至少一个透射镜被配置成反射第一光分量并且透射第二光分量。

[0191] 6.根据配置1所述的设备，其中，分离器被配置成将所接收的光分离成第一光分量和第二光分量，以使得第一光分量和第二光分量中的每个光分量包括大约50％的所接收的光。

[0192] 7.根据配置6所述的设备，其中，光学装置被配置成将第二光分量分散成右光分量和左光分量，以使得右光分量和左光分量中的每个光分量包括大约25％的所接收的光。

[0193] 8.根据配置1所述的设备，其中，分离器被配置成将所接收的光分离成第一光分量和第二光分量，以使得第一光分量和第二光分量包括不同百分比的所接收的光。

[0194] 9.根据配置8所述的设备，其中，第一光分量包括大约60％的所接收的光，并且第二光分量包括大约40％的所接收的光。

[0195] 10.根据配置9所述的设备，其中，第二光学装置被配置成将第二光分量分散成右光分量和左光分量，以使得右光分量和左光分量中的每个光分量包括大约20％的所接收的光。

[0196] 11.根据配置1所述的设备，其中：

[0197] 第一成像元件被配置成以第一分辨率输出基础图像；并且

[0198] 第二成像元件被配置成以低于第一分辨率的第二分辨率输出右检测图像。

[0199] 12.根据配置1所述的设备，其中：

[0200] 基础图像包括一系列基础帧；

[0201] 右检测图像包括一系列右检测帧；

[0202] 第一成像元件被配置成以第一帧速率输出一系列基础帧；并且

[0203] 第二成像元件被配置成以高于第一帧速率的第二帧速率输出一系列右检测帧。

[0204] 13.根据配置12所述的设备，其中，第二帧速率在230帧每秒与250帧每秒之间。

[0205] 14.根据配置13所述的设备，其中，第二帧速率是240帧每秒。

[0206] 15.根据配置12所述的设备，其中，第二帧速率是在290帧每秒与310帧每秒之间。

[0207] 16.根据配置15所述的设备，其中，第二帧速率是300帧每秒。

[0208] 17.根据配置12所述的设备，其中，第二帧速率是在590帧每秒与610帧每秒之间。

[0209] 18.根据配置17所述的设备，其中，第二帧速率是600帧每秒。

[0210] 19.一种设备，包括：

[0211] 用于将从至少一个对象接收的光分离成至少第一光分量和第二光分量的装置；

[0212] 用于将第一光分量转换成表示至少一个对象的基础图像的第一电信号的装置；

[0213] 用于将第二光分量分散成至少右光分量和左光分量的装置；

[0214] 用于将右光分量转换成第二电信号的装置，该第二电信号表示第一角度的至少一个对象的右检测图像；以及

[0215] 用于将左光分量转换成第三电信号的装置，该第三电信号表示不同于第一角度的第二角度的至少一个对象的左检测图像。

[0216] 20.根据配置19所述的设备，其中，从至少一个对象接收的光是平行光，并且其中，该设备还包括用于接收来自至少一个对象的入射光并且将入射光转换成平行光的装置。

[0217] 21.根据配置20所述的设备，其中，用于接收和转换入射光的装置包括用于会聚入射光的装置和用于将会聚光转换成平行光的装置。

[0218] 22.根据配置19所述的设备，其中，用于分离所接收的光的装置包括用于反射所接收的第一光部分并且透射所接收的第二光部分的装置。

[0219] 23.根据配置22所述的设备，其中，用于分离所接收的光的装置被配置成反射第一光分量并且透射第二光分量。

[0220] 24.根据配置19所述的设备，其中，用于分离所接收的光的装置被配置成将所接收的光分离成第一光分量和第二光分量，以使得第一光分量和第二光分量中的每个光分量包括大约50％的所接收的光。

[0221] 25.根据配置24所述的设备，其中，用于分散第二光分量的装置被配置成将第二光分量分散成右光分量和左光分量，以使得右光分量和左光分量中的每个光分量包括大约25％的所接收的光。

[0222] 26.根据配置19所述的设备，其中，用于分散所接收的光的装置被配置成将所接收的光分离成第一光分量和第二光分量，以使得第一光分量和第二光分量包括不同百分比的所接收的光。

[0223] 27.根据配置26所述的设备，其中，第一光分量包括大约60％的所接收的光，并且第二光分量包括大约40％的所接收的光。

[0224] 28.根据配置27所述的设备，其中，用于分散第二光分量的装置被配置成将第二光分量分散成右光分量和左光分量，以使得右光分量和左光分量中的每个光分量包括大约20％的所接收的光。

[0225] 29.根据配置19所述的设备，其中：

[0226] 用于将第一光分量转换成第一电信号的装置被配置成以第一分辨率输出基础图像；并且

[0227] 用于将右光分量转换成第二电信号的装置被配置成以低于第一分辨率的第二分辨率输出右检测图像。

[0228] 30.根据配置19所述的设备，其中：

[0229] 基础图像包括一系列基础帧；

[0230] 右检测图像包括一系列右检测帧；

[0231] 用于将第一光分量转换成第一电信号的装置被配置成以第一帧速率输出一系列基础帧；并且

[0232] 用于将右光分量转换成第二电信号的装置被配置成以高于第一帧速率的第二帧速率输出一系列右检测帧。

[0233] 31.根据配置30所述的设备，其中，第二帧速率在230帧每秒与250帧每秒之间。

[0234] 32.根据配置31所述的设备，其中，第二帧速率是240帧每秒。

[0235] 33.根据配置30所述的设备，其中，第二帧速率在290帧每秒与310帧每秒之间。

[0236] 34.根据配置33所述的设备，其中，第二帧速率是300帧每秒。

[0237] 35.根据配置30所述的设备，其中，第二帧速率在590帧每秒与610帧每秒之间。

[0238] 36.根据配置35所述的设备，其中，第二帧速率是600帧每秒。

[0239] 37.一种方法，包括：

[0240] 将从至少一个对象接收的光分离成至少第一光分量和第二光分量；

[0241] 将第一光分量转换成表示至少一个对象的基础图像的第一电信号；

[0242] 将第二光分量分散成至少右光分量和左光分量；

[0243] 将右光分量转换成第二电信号，该第二电信号表示第一角度的至少一个对象的右检测图像；以及

[0244] 将左光分量转换成第三电信号，该第三电信号表示不同于第一角度的第二角度的至少一个对象的左检测图像。

[0245] 38.根据配置37所述的方法，其中，从至少一个对象接收的光是平行光，并且其中，该方法还包括从至少一个对象接收入射光并且将入射光转换成平行光。

[0246] 39.根据配置38所述的方法，其中，将入射光转换成平行光包括会聚入射光并且将会聚光转换成平行光。

[0247] 40.根据配置37所述的方法，其中，分离所接收的光包括使用至少一个透射镜来分离所接收的光。

[0248] 41.根据配置40所述的方法，其中，分离所接收的光包括反射第一光分量并且透射第二光分量。

[0249] 42.根据配置37所述的方法，其中，分离所接收的光包括将接收光分离成第一光分量和第二光分量，以使得第一光分量和第二光分量中的每个光分量包括大约50％的所接收的光。

[0250] 43.根据配置6所述的方法，其中，分散第二光分量包括将第二光分量分散成右光分量和左光分量，以使得右光分量和左光分量中的每个光分量包括大约25％的所接收的光。

[0251] 44.根据配置37所述的方法，其中，分离所接收的光包括将所接收的光分离成第一光分量和第二光分量，以使得第一光分量和第二光分量包括不同百分比的所接收的光。

[0252] 45.根据配置44所述的方法，其中，第一光分量包括大约60％的所接收的光，并且第二光分量包括大约40％的所接收的光。

[0253] 46.根据配置45所述的方法，其中，分散第二光分量包括将第二光分量分散成右光分量和左光分量，以使得右光分量和左光分量中的每个光分量包括大约20％的所接收的光。

[0254] 47.根据配置37所述的方法，其中：

[0255] 以第一分辨率输出基础图像；并且

[0256] 以低于第一分辨率的第二分辨率输出右检测图像。

[0257] 48.根据配置37所述的方法，其中：

[0258] 基础图像包括一系列基础帧；

[0259] 右检测图像包括一系列右检测帧；

[0260] 以第一帧速率输出该一系列基础帧；并且

[0261] 以高于第一帧速率的第二帧速率输出该一系列右检测帧。

[0262] 49.根据配置48所述的方法，其中，第二帧速率在230帧每秒与250帧每秒之间。

[0263] 50.根据配置49所述的方法，其中，第二帧速率是240帧每秒。

[0264] 51.根据配置48所述的方法，其中，第二帧速率在290帧每秒与310帧每秒之间。

[0265] 52.根据配置51所述的方法，其中，第二帧速率是300帧每秒。

[0266] 53.根据配置48所述的方法，其中，第二帧速率在590帧每秒与610帧每秒之间。

[0267] 54.根据配置53所述的方法，其中，第二帧速率是600帧每秒。

[0268] 55.一种包括至少一个处理器的设备，该至少一个处理器被编程用于：

[0269] 使用右检测图像将从至少一个对象捕捉的基础图像变换成右视差图像，该右检测图像是以第一角度从所述至少一个对象捕捉的；并且

[0270] 使用左检测图像将基础图像变换成左视差图像，该左检测图像是以不同于第一角度的第二角度从所述至少一个对象捕捉的。

[0271] 56.根据配置55所述的设备，还包括被配置成显示右视差图像和左视差图像的显示单元。

[0272] 57.根据配置56所述的设备，其中：

[0273] 右视差图像包括一系列右视差帧；

[0274] 左视差图像包括一系列左视差帧；并且

[0275] 显示单元被配置成同时显示一系列右视差帧中的每个右视差帧以及一系列左视差帧中的对应的左视差帧。

[0276] 58.根据配置56所述的设备，其中：

[0277] 右视差图像包括一系列右视差帧；

[0278] 左视差图像包括一系列左视差帧；并且

[0279] 显示单元被配置成交替地显示右视差帧和左视差帧。

[0280] 59.根据配置55所述的设备，其中，至少一个处理器被编程用于：

[0281] 至少部分地通过基于右检测图像的一个或更多个对应像素的位置而移动基础图像的至少一个像素，将基础图像变换成右视差图像。

[0282] 60.根据配置59所述的设备，其中，至少一个处理器还被编程用于：

[0283] 搜索右检测图像以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素。

[0284] 61.根据配置59所述的设备，其中，至少一个处理器被编程用于：

[0285] 至少部分地通过基于左检测图像的一个或更多个对应像素的位置而移动基础图像的至少一个像素，将基础图像变换成左视差图像。

[0286] 62.根据配置61所述的设备，其中，至少一个处理器还被编程用于：

[0287] 搜索右检测图像以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素；并且

[0288] 搜索左检测图像以定位与基础图像的至少一个像素对应的左检测图像的一个或更多个像素。

[0289] 63.根据配置55所述的设备，其中，至少一个处理器还被编程用于基于右视差图像和左视差图像生成内插图像。

[0290] 64.根据配置63所述的设备，其中，至少一个处理器被编程用于至少部分地通过下述步骤生成内插图像：

[0291] 搜索右检测图像，以定位与左视差图像的一个或更多个像素对应的右视差图像的一个或更多个像素；并且

[0292] 使用右视差图像的一个或更多个对应像素的位置以及左视差图像的一个或更多个对应像素的位置，来确定内插图像的一个或更多个对应像素的位置。

[0293] 65.根据配置64所述的设备，其中，内插图像的一个或更多个对应像素的位置是右视差图像的一个或更多个对应像素的位置与左视差图像的一个或更多个对应像素的位置之间的中点。

[0294] 66.根据配置55所述的设备，其中：

[0295] 右检测图像包括一系列右视差帧；并且

[0296] 至少一个处理器还被编程用于基于一系列右视差帧中的第一帧和第二帧生成内插帧。

[0297] 67.根据配置66所述的设备，其中，至少一个处理器被编程用于至少部分地通过下述步骤生成内插帧：

[0298] 搜索第一帧，以定位与第二帧的一个或更多个像素对应的第一帧的一个或更多个像素；并且

[0299] 使用第一帧的一个或更多个对应像素的位置以及第二帧的一个或更多个对应像素的位置，来确定内插帧的一个或更多个对应像素的位置。

[0300] 68.根据配置67所述的设备，其中，内插帧的一个或更多个对应像素的位置是第一帧的一个或更多个对应像素的位置与第二帧的一个或更多个对应像素的位置之间的中点。

[0301] 69.一种包括变换装置的设备，所述变换装置用于：

[0302] 使用右检测图像将从至少一个对象捕捉的基础图像变换成右视差图像，该右检测图像是以第一角度从至少一个对象捕捉的；并且

[0303] 使用左检测图像将基础图像变换成左视差图像，该左检测图像是以不同于第一角度的第二角度从至少一个对象捕捉的。

[0304] 70.根据配置69所述的设备，还包括用于显示右视差图像和左视差图像的装置。

[0305] 71.根据配置70所述的设备，其中：

[0306] 右视差图像包括一系列右视差帧；

[0307] 左视差图像包括一系列左视差帧；并且

[0308] 用于显示的装置被配置成同时显示一系列右视差帧中的每个右视差帧以及一系列左视差帧中对应的左视差帧。

[0309] 72.根据配置70所述的设备，其中：

[0310] 右视差图像包括一系列右视差帧；

[0311] 左视差图像包括一系列左视差帧；并且

[0312] 用于显示的装置被配置成交替地显示右视差帧和左视差帧。

[0313] 73.根据配置69所述的设备，其中，变换转置被配置成：

[0314] 至少部分地通过基于右检测图像的一个或更多个对应像素的位置而移动基础图像的至少一个像素，将基础图像变换成右视差图像。

[0315] 74.根据配置73所述的设备，其中，变换装置还被配置成：

[0316] 搜索右检测图像，以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素。

[0317] 75.根据配置73所述的设备，其中，变换装置被配置成：

[0318] 至少部分地通过基于左检测图像的一个或更多个对应像素的位置而移动基础图像的至少一个像素，将基础图像变换成左视差图像。

[0319] 76.根据配置75所述的设备，其中，变换装置还被配置成：

[0320] 搜索右检测图像，以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素；并且

[0321] 搜索左检测图像，以定位与基础图像的至少一个像素对应的左检测图像的一个或更多个像素。

[0322] 77.根据配置69所述的设备，其中，变换装置还被配置成基于右视差图像和左视差图像生成内插图像。

[0323] 78.根据配置77所述的设备，其中，变换装置被配置成至少部分地通过下述步骤生成内插图像：

[0324] 搜索右检测图像，以定位与左视差图像的一个或更多个像素对应的右视差图像的一个或更多个像素；并且

[0325] 使用右视差图像的一个或更多个对应像素的位置以及左视差图像的一个或更多个对应像素的位置，来确定内插图像的一个或更多个对应像素的位置。

[0326] 79.根据配置78所述的设备，其中，内插图像的一个或更多个对应像素的位置是右视差图像的一个或更多个对应像素的位置与左视差图像的一个或更多个对应像素的位置之间的中点。

[0327] 80.根据配置69所述的设备，其中：

[0328] 右视差图像包括一系列右视差帧；并且

[0329] 变换装置还被配置成基于一系列右视差帧中的第一帧和第二帧生成内插帧。

[0330] 81.根据配置80所述的设备，其中，变换装置被配置成至少部分地通过下述步骤生成内插帧：

[0331] 搜索第一帧，以定位与第二帧的一个或更多个像素对应的第一帧的一个或更多个像素；并且

[0332] 使用第一帧的一个或更多个对应像素的位置以及第二帧的一个或更多个对应像素的位置，来确定内插帧的一个或更多个对应像素的位置。

[0333] 82.根据配置81所述的设备，其中，内插帧的一个或更多个对应像素的位置是第一帧的一个或更多个对应像素的位置与第二帧的一个或更多个对应像素的位置之间的中点。

[0334] 83.一种方法，包括：

[0335] 使用右检测图像将从至少一个对象捕捉的基础图像变换成右视差图像，该右检测图像是以第一角度从所述至少一个对象捕捉的；并且

[0336] 使用左检测图像将基础图像变换成左视差图像，该左检测图像是以不同于第一角度的第二角度从至少一个对象捕捉的。

[0337] 84.根据配置83所述的方法，还包括显示右视差图像和左视差图像。

[0338] 85.根据配置84所述的方法，其中：

[0339] 右视差图像包括一系列右视差帧；

[0340] 左视差图像包括一系列左视差帧；并且

[0341] 显示右视差图像和左视差图像包括同时显示一系列右视差帧中的每个右视差帧以及一系列左视差帧中的对应的左视差帧。

[0342] 86.根据配置84所述的方法，其中：

[0343] 右视差图像包括一系列右视差帧；

[0344] 左视差图像包括一系列左视差帧；并且

[0345] 显示右视差图像和左视差图像包括交替地显示右视差帧和左视差帧。

[0346] 87.根据配置83所述的方法，其中，将基础图像变换成右视差图像包括基于右检测图像的一个或更多个对应像素的位置来移动基础图像的至少一个像素。

[0347] 88.根据配置87所述的方法，还包括：

[0348] 搜索右检测图像，以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素。

[0349] 89.根据配置87所述的方法，其中，将基础图像变换成左视差图像包括基于左检测图像的一个或更多个对应像素的位置来移动基础图像的至少一个像素。

[0350] 90.根据配置89所述的方法，还包括：

[0351] 搜索右检测图像，以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素；并且

[0352] 搜索左检测图像，以定位与基础图像的至少一个像素对应的左检测图像的一个或更多个像素。

[0353] 91.根据配置83所述的方法，还包括基于右视差图像和左视差图像生成内插图像。

[0354] 92.根据配置91所述的方法，其中，生成内插图像包括：

[0355] 搜索右检测图像，以定位与左视差图像的一个或更多个像素对应的右视差图像的一个或更多个像素；并且

[0356] 使用右视差图像的一个或更多个对应像素的位置以及左视差图像的一个或更多个对应像素的位置，来确定内插图像的一个或更多个对应像素的位置。

[0357] 93.根据配置92所述的方法，其中，内插图像的一个或更多个对应像素的位置是右视差图像的一个或更多个对应像素的位置与左视差图像的一个或更多个对应像素的位置之间的中点。

[0358] 94.根据配置83所述的方法，其中：

[0359] 右视差图像包括一系列右视差帧；并且

[0360] 该方法还包括基于一系列右视差帧中的第一帧和第二帧生成内插帧。

[0361] 95.根据配置94所述的方法，其中，生成内插帧包括：

[0362] 搜索第一帧，以定位与第二帧的一个或更多个像素对应的第一帧的一个或更多个像素；并且

[0363] 使用第一帧的一个或更多个对应像素的位置与第二帧的一个或更多个对应像素的位置，来确定内插帧的一个或更多个对应像素的位置。

[0364] 96.根据配置95所述的方法，其中，内插帧的一个或更多个对应像素的位置是第一帧的一个或更多个对应像素的位置与第二帧的一个或更多个对应像素的位置之间的中点。

[0365] 97.以指令编码的至少一种计算机可读存储介质，该指令当被至少一个处理器执行时执行包括下述动作的方法：

[0366] 使用右检测图像以将从至少一个对象捕捉的基础图像变换成右视差图像，该右检测图像是以第一角度从至少一个对象捕捉的；并且

[0367] 使用左检测图像将基础图像变换成左视差图像，该左检测图像是以不同于第一角度的第二角度从至少一个对象捕捉的。

[0368] 98.根据配置97所述的至少一种计算机可读存储介质，其中，该方法还包括显示右视差图像和左视差图像。

[0369] 99.根据配置98所述的至少一种计算机可读存储介质，其中：

[0370] 右视差图像包括一系列右视差帧；

[0371] 左视差图像包括一系列左视差帧；并且

[0372] 显示右视差图像和左视差图像包括同时显示一系列右视差帧中的每个右视差帧以及一系列左视差帧中的对应的左视差帧。

[0373] 100.根据配置98所述的至少一种计算机可读存储介质，其中：

[0374] 右视差图像包括一系列右视差帧；

[0375] 左视差图像包括一系列左视差帧；并且

[0376] 显示右视差图像和左视差图像包括交替地显示右视差帧和左视差帧。

[0377] 101.根据配置97所述的至少一种计算机可读存储介质，其中，将基础图像变换成右视差图像包括基于右检测图像的一个或更多个对应像素的位置来移动基础图像的至少一个像素。

[0378] 102.根据配置101所述的至少一种计算机可读存储介质，其中，该方法还包括：

[0379] 搜索右检测图像，以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素。

[0380] 103.根据配置101所述的至少一种计算机可读存储介质，其中，将基础图像变换成左视差图像包括基于左检测图像的一个或更多个对应像素的位置来移动基础图像的至少一个像素。

[0381] 104.根据配置103所述的至少一种计算机可读存储介质，其中，该方法还包括：

[0382] 搜索右检测图像，以定位与基础图像的至少一个像素对应的右检测图像的一个或更多个像素；并且

[0383] 搜索左检测图像，以定位与基础图像的至少一个像素对应的左检测图像的一个或更多个像素。

[0384] 105.根据配置97所述的至少一种计算机可读存储介质，其中，该方法还包括基于右视差图像和左视差图像生成内插图像。

[0385] 106.根据配置105所述的至少一种计算机可读存储介质，其中，生成内插图像包括：

[0386] 搜索右检测图像，以定位与左视差图像的一个或更多个像素对应的右视差图像的一个或更多个像素；并且

[0387] 使用右视差图像的一个或更多个对应像素的位置以及左视差图像的一个或更多个对应像素的位置，来确定内插图像的一个或更多个对应像素的位置。

[0388] 107.根据配置106所述的至少一种计算机可读存储介质，其中，内插图像的一个或更多个对应像素的位置是右视差图像的一个或更多个对应像素的位置与左视差图像的一个或更多个对应像素的位置之间的中点。

[0389] 108.根据配置97所述的至少一种计算机可读存储介质，其中：

[0390] 右视差图像包括一系列右视差帧；并且

[0391] 该方法还包括基于一系列右视差帧中的第一帧和第二帧生成内插帧。

[0392] 109.根据配置108所述的至少一种计算机可读存储介质，其中，生成内插帧包括：

[0393] 搜索第一帧，以定位与第二帧的一个或更多个像素对应的第一帧的一个或更多个像素；并且

[0394] 使用第一帧的一个或更多个对应像素的位置以及第二帧的一个或更多个对应像素的位置，来确定内插帧的一个或更多个对应像素的位置。

[0395] 110.根据配置109所述的至少一种计算机可读存储介质，其中，内插帧的一个或更多个对应像素的位置是第一帧的一个或更多个对应像素的位置与第二帧的一个或更多个对应像素的位置之间的中点。

[0396] 111.一种成像系统，包括：

[0397] 分离器，该分离器被配置成将从至少一个对象接收的光分离成至少第一光分量和第二光分量；

[0398] 第一成像元件，该第一成像元件被配置成将第一光分量转换成表示至少一个对象的基础图像的第一电信号；

[0399] 光学装置，该光学装置被配置成将第二光分量分散成至少右光分量和左光分量；

[0400] 第二成像元件，该第二成像元件被配置成将右光分量转换成第二电信号，该第二电信号表示第一角度的至少一个对象的右检测图像；

[0401] 第三成像元件，该第三成像元件被配置成将左光分量转换成第三电信号，该第三电信号表示不同于第一角度的第二角度的至少一个对象的左检测图像；以及

[0402] 至少一个处理器，该至少一个处理器被编程用于：

[0403] 使用右检测图像将基础图像变换成右视差图像；并且

[0404] 使用左检测图像将基础图像变换成左视差图像。

[0405] 本公开内容的实施方式也可以采用下面的另外的配置：

[0406] “另外的配置1”

[0407] 一种成像设备，包括：

[0408] 对来自对象的光进行会聚的拍摄透镜；

[0409] 透射所会聚的光以将所会聚的光转换成平行光的中继透镜；

[0410] 透射并且反射平行光的半透膜；

[0411] 镜子，该镜子将由半透膜的透射或反射引导的光分散成右光束和左光束；

[0412] 第一图像形成透镜和第二图像形成透镜，该第一图像形成透镜和第二图像形成透镜分别形成所分散的光的图像；

[0413] 第一成像元件和第二成像元件，该第一成像元件和第二成像元件将由第一图像形成透镜和第二图像形成透镜形成的光的图像分别转换成由电信号形成的视差检测图像；

[0414] 第三图像形成透镜，该第三图像形成透镜形成由半透膜透射或反射并且未被引导至镜子的光的图像；以及

[0415] 第三成像元件，该第三成像元件将由第三图像形成透镜形成的光的图像转换成由电信号形成的基础图像。

[0416] “另外的配置2”

[0417] 根据另外的配置1的成像设备，还包括：

[0418] 视差图像生成单元，该视差图像生成单元通过将基础图像与每个视差检测图像进行比较，基于基础图像生成与每个视差检测图像具有相同视点的视差图像。

[0419] “另外的配置3”

[0420] 根据另外的配置2的成像设备，其中，视差图像生成单元包括：

[0421] 对应像素搜索单元，该对应像素搜索单元通过将基础图像与每个视差检测图像进行比较，来搜索彼此对应的像素，以及

[0422] 像素移动单元，该像素移动单元基于搜索结果通过将基础图像的像素移动到视差检测图像的对应像素的位置来生成视差图像。

[0423] “另外的配置4”

[0424] 根据另外的配置2的成像设备，还包括：

[0425] 时间方向内插单元，该时间方向内插单元通过比较视频数据中不同时间的两个帧以搜索彼此对应的像素，并且基于搜索结果计算中点坐标和对应像素的像素值，来内插任何时间的图像，该视频数据包括基础图像或视差检测图像作为时间系列帧。

[0426] “另外的配置5”

[0427] 根据另外的配置2的成像设备，还包括：

[0428] 空间方向内插单元，该空间方向内插单元通过将基础图像与视差检测图像之中的两个图像进行比较以搜索彼此对应的像素，并且基于搜索结果计算中点坐标和对应像素的像素值，来内插任何视点的图像。

[0429] “另外的配置6”

[0430] 根据另外的配置1的成像设备，其中，第一成像元件至第三成像元件中的每个成像元件以等于或大于60帧每秒的速率生成基础图像或视差检测图像。

[0431] “另外的配置7”

[0432] 根据另外的配置6的成像设备，其中，第一成像元件和第二成像元件中的每个成像元件以230帧每秒至250帧每秒的速率生成视差检测图像。

[0433] “另外的配置8”

[0434] 根据另外的配置6的成像设备，其中，第一成像元件和第二成像元件中的每个成像元件以290帧每秒至310帧每秒的速率生成视差检测图像。

[0435] “另外的配置9”

[0436] 根据另外的配置6的成像设备，其中，第一成像元件和第二成像元件中的每个成像元件以590帧每秒至610帧每秒的速率生成视差检测图像。

[0437] “另外的配置10”

[0438] 一种视频记录与再现系统，包括：

[0439] 对来自对象的光进行会聚的拍摄透镜；

[0440] 透射所会聚的光以将所会聚的光转换成平行光的中继透镜；

[0441] 透射并反射平行光的半透膜；

[0442] 镜子，该镜子将由半透膜的透射或反射引导的光分散成右光束和左光束；

[0443] 第一图像形成透镜和第二图像形成透镜，该第一图像形成透镜和第二图像形成透镜分别形成所分散的光的图像；

[0444] 第一成像元件和第二成像元件，该第一成像元件和第二成像元件将由第一图像形成透镜和第二图像形成透镜形成的光的图像分别转换成由电信号形成的视差检测图像；

[0445] 第三图像形成透镜，该第三图像形成透镜形成由半透膜透射或反射并且未被引导至镜子的光的图像；

[0446] 第三成像元件，该第三成像元件将第三图像形成透镜形成的光的图像转换成由电信号形成的基础图像；

[0447] 视差图像生成单元，该视差图像生成单元通过将基础图像与每个视差检测图像进行比较，基于基础图像生成与每个视差检测图像具有相同视点的视差图像；

[0448] 视频生成单元，该视频生成单元生成视差图像作为右视频数据和左视频数据的帧，并且将右视频数据和左视频数据记录在存储单元中；以及

[0449] 视频再现单元，该视频再现单元同时再现并显示在存储单元中记录的右视频数据和左视频数据。

[0450] 本文中所使用的短语和术语是为了描述的目的，并且不应当被看作为限制。使用“包括”、“包含”、“具有”、“含有”、“涉及”及其变型是意指涵盖在其后列出的条目和另外的条目。在权利要求中使用序数术语，例如“第一”、“第二”、“第三”等，来修饰权利要求元素不是本身意味着任何优先级、先后次序或者一个权利要求元素相对另一权利要求元素的级别，或者执行方法的动作的时间顺序。序数术语只是被用作为标记来将具有某名称的一个权利要求元素区别于具有相同名称的另一元素(但是用于序数术语的使用)，以便将权利要求元素彼此区分。已经详细描述了本发明的若干实施方式，对本领域技术人员来说可以容易地进行各种修改和改进。这样的修改和改进意图处于本发明的精神和范围内。因此，前面的描述仅仅是作为示例，而不是意图作为限制。本发明仅被限制为由所附权利要求及其等同方案所限定的内容。

[0451] 参考标号列表

[0452] 100     成像单元

[0453] 110     交换透镜

[0454] 115     光瞳

[0455] 120     透镜支架

[0456] 130     中继透镜单元

[0457] 140     平行光区域

[0458] 141     透射镜

[0459] 142至146   镜子

[0460] 151至153   会聚透镜

[0461] 171至173   成像元件

[0462] 200    视频生成单元

[0463] 211至213   信号处理单元

[0464] 221、222   图像存储器

[0465] 231、232   编码单元

[0466] 241、242   视差图像生成单元

[0467] 245、255、265  对应像素搜索单元

[0468] 246   像素移动单元

[0469] 251     时间方向内插单元

[0470] 254     帧缓冲器

[0471] 256、266   内插处理单元

[0472] 260     空间方向内插单元

[0473] 300     视频存储单元

[0474] 400     视频再现单元

[0475] 411、412 解码单元

[0476] 421、422  显示控制单元

[0477] 500     显示单元