多视点图像获取方法、装置及三维照相机、三维摄像机转让专利

申请号 : CN201210458151.2

文献号 : CN103813154B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 徐晶明林福辉韦虎

申请人 : 展讯通信(上海)有限公司

摘要 :

本发明公开了一种多视点图像获取方法、装置及三维照相机、三维摄像机。该装置包括:M个光学镜头、N个图像传感器、视点选择单元以及镜头控制单元。光学镜头的个数M小于多视点的视点数量L。通过视点选择单元从M个视点中选取一个以上视点作为当前处理视点,响应于当前处理视点的镜头位置没有光学镜头,镜头控制单元将闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置,以获得当前处理视点的数字图像。基于本发明提供的技术方案,在不降低数字图像画面质量的情况下,利用较少的光学镜头获得多视点的数字图像。

权利要求 :

1.一种多视点图像的获取装置,其特征在于,所述装置包括:

M个光学镜头、N个图像传感器、视点选择单元、镜头控制单元和三维图像处理单元,其中,光学镜头的个数M小于多视点的视点数量L,L为大于1的整数,N为大于零的整数;

所述视点选择单元,用于按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点;识别所述当前处理视点的镜头位置是否有光学镜头;响应于当前处理视点的镜头位置没有光学镜头,从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头,向镜头控制单元发送第一指示,以指示所述镜头控制单元将选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置;

所述镜头控制单元,用于根据所述第一指示,将视点选择单元所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置,以使得所述光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路;

所述光学镜头,分别用于对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路;

所述图像传感器,分别用于将所在位置的当前处理光路的光信号转换为所述当前处理视点的数字图像信号,获得所述当前处理视点的数字图像;

所述三维图像处理单元,用于响应于已获取所述L个视点中的每一个视点的数字图像,对所获得的所述L个视点的数字图像进行三维图像的处理操作,获得三维数字图像;

所述光学镜头的个数M大于1或等于1;其中,当所述光学镜头的个数M大于1时,所述视点选择单元,还用于识别是否已获取所述L个视点中的每一个视点的数字图像;响应于未获取所述L个视点中的每一个视点的数字图像,按照预设选择策略,执行从L个视点中选取多个未选取过的视点作为当前处理视点的操作;

所述镜头控制单元将所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置后,将该光学镜头的状态设置为非闲置状态。

2.根据权利要求1所述的装置,其特征在于:

当所述光学镜头的个数M等于1时,所述视点选择单元,具体用于按照预设选择策略,依次从L个视点中选取一个视点作为当前处理视点;

所述视点选择单元,还用于识别是否已获取所述L个视点中的每一个视点的数字图像;

响应于未获取所述L个视点中的每一个视点的数字图像,按照预设选择策略,执行依次从L个视点中选取一个未选取过的视点作为当前处理视点的操作。

3.根据权利要求2所述的装置,其特征在于,光学镜头初始的状态为闲置状态;

视点选择单元从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头时,所述镜头控制单元响应于当前处理视点的镜头位置有光学镜头,将该光学镜头的状态设置为非闲置状态;以及光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路之后,所述镜头控制单元将该光学镜头的状态设置为闲置状态。

4.根据权利要求3所述的装置,其特征在于,所述视点选择单元,还用于响应于没有闲置的光学镜头,等待预定的时间间隔,执行为没有光学镜头的当前处理视点选择一个闲置的光学镜头的操作。

5.根据权利要求4所述的装置,其特征在于,图像传感器的个数N小于多视点的视点数量L;

所述视点选择单元,还用于识别所述当前处理视点的传感器位置是否有图像传感器;

响应于所述当前处理视点的传感器位置没有图像传感器,从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器,向传感器控制单元发送第二指示,以指示所述传感器控制单元将选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置;

所述装置还包括:

传感器控制单元,用于根据所述第二指示,将所述视点选择单元选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置,以将所在位置的当前处理光路的光信号转换为所述当前处理视点的数字图像信号。

6.根据权利要求5所述的装置,其特征在于,图像传感器初始的状态为闲置状态;

所述传感器控制单元将所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置后,将该图像传感器的状态设置为非闲置状态,或者响应于当前处理视点的传感器位置有图像传感器,将该图像传感器的状态设置为非闲置状态;以及图像传感器将所在位置的当前处理视点的光信号转换为当前处理视点的数字图像信号之后,所述传感器控制单元将该图像传感器的状态设置为闲置状态。

7.根据权利要求6所述的装置,其特征在于,所述视点选择单元,还用于响应于没有闲置的图像传感器,等待预定的时间间隔,执行为没有图像传感器的当前处理视点选择一个闲置的图像传感器的操作。

8.根据权利要求1所述的装置,其特征在于,所述装置还包括:

缓存单元,用于缓存所述当前处理视点的数字图像;

所述三维图像处理单元从所述缓存单元获取所述L个视点中的每一个视点的数字图像。

9.根据权利要求1所述的装置,其特征在于,所述视点选择单元,具体用于根据所述L个视点之间的空间位置关系,从L个视点中选取一个以上视点作为当前处理视点。

10.一种三维照相机,其特征在于,包含根据权利要求1至9任意一项所述的多视点图像的获取装置。

11.一种三维摄像机,其特征在于,包含根据权利要求1至9任意一项所述的多视点图像的获取装置。

12.一种多视点图像的获取方法,其特征在于,所述方法包括:

按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点,其中,L为多视点的视点数量,并且L为大于1的整数;

识别所述当前处理视点的镜头位置是否有光学镜头;

响应于所述当前处理视点的镜头位置没有光学镜头,从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头,移动所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置,对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路,其中,光学镜头的个数M小于多视点的视点数量L;

利用图像传感器将所在位置的当前处理光路的光信号转换为所述当前处理视点的数字图像信号,获得所述当前处理视点的数字图像;

响应于已获取所述L个视点中的每一个视点的数字图像,对所获得的所述L个视点的数字图像进行三维图像的处理操作,获得三维数字图像;

所述光学镜头的个数M大于1或等于1;其中,当所述光学镜头的个数M大于1时,识别是否已获取所述L个视点中的每一个视点的数字图像;响应于未获取所述L个视点中的每一个视点的数字图像,按照预设选择策略,执行从L个视点中选取多个未选取过的视点作为当前处理视点的操作;将所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置后,将该光学镜头的状态设置为非闲置状态。

13.根据权利要求12所述的方法,其特征在于,当所述光学镜头的个数M等于1时,所述从L个视点中选取一个以上视点作为当前处理视点,具体包括:依次从L个视点中选取一个视点作为当前处理视点;所述方法还包括:识别是否已获取所述L个视点中的每一个视点的数字图像;

响应于未获取所述L个视点中的每一个视点的数字图像,按照预设选择策略,执行依次从L个视点中选取一个未选取过的视点作为当前处理视点的操作。

14.根据权利要求13所述的方法,其特征在于,所述方法还包括:设置光学镜头初始的状态为闲置状态;

从M个光学镜头中为没有光学镜头的当前处理视点选择一个闲置的光学镜头时,响应于当前处理视点的镜头位置有光学镜头,将该光学镜头的状态设置为非闲置状态;以及光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路之后,将该光学镜头的状态设置为闲置状态。

15.根据权利要求14所述的方法,其特征在于,所述方法还包括:

响应于没有闲置的光学镜头,等待预定的时间间隔,执行为没有光学镜头的当前处理视点选择一个闲置的光学镜头的操作。

16.根据权利要求15所述的方法,其特征在于,图像传感器的个数N小于多视点的视点数量L,所述方法还包括:识别所述当前处理视点的传感器位置是否有图像传感器;响应于所述当前处理视点的传感器位置没有图像传感器,从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器,移动所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置,以将所在位置的当前处理光路的光信号转换为所述当前处理视点的数字图像信号。

17.根据权利要求16所述的方法,其特征在于,所述方法还包括:设置图像传感器初始的状态为闲置状态;

在将所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置后,将该图像传感器的状态设置为非闲置状态,或者响应于当前处理视点的传感器位置有图像传感器,将该图像传感器的状态设置为非闲置状态;以及图像传感器将所在位置的当前处理视点的光信号转换为当前处理视点的数字图像信号之后,将该图像传感器的状态设置为闲置状态。

18.根据权利要求17所述的方法,其特征在于,所述方法还包括:

响应于没有闲置的图像传感器,等待预定的时间间隔,执行为没有图像传感器的当前处理视点选择一个闲置的图像传感器的操作。

19.根据权利要求12所述的方法,其特征在于,所述按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点,具体包括:根据所述L个视点之间的空间位置关系,从L个视点中选取一个以上视点作为当前处理视点。

说明书 :

多视点图像获取方法、装置及三维照相机、三维摄像机

技术领域

[0001] 本发明涉及图像处理领域,特别涉及一种多视点图像获取方法、装置及三维照相机、三维摄像机。

背景技术

[0002] 近年来,三维(Three Dimensions,3D)照相机和3D摄像机受到越来越多的关注,通过3D照相机或者3D摄像机输出的画面,观众可以在不使用专业3D眼镜的情况下,用肉眼直接欣赏立体的图像效果。与2D照相机和摄像机相比,3D照相机和摄像机通常采用两个图像和视频获取装置,以获取两个视点的图像和视频数据,并处理为3D的图像和视频,显然,增加图像和视频获取装置导致了3D照相机和摄像机成本的增加。
[0003] 目前,市场上流行的一类3D照相机、摄像机,例如富士的FinePixW3照相机,松下的Lumix DMC-3D1照相机,Sony的HDR-TD10E摄像机和JVC的GS-TD1摄像机等,都是具有两套独立的图像或者视频获取装置,其中每套装置中包括一个光学镜头和一个图像传感器。外界光线通过每个光学镜头后,在每个光学镜头相对应的图像传感器上完成光电转换,并获得两路数字图像信号或视频信号,再由其它处理单元实现3D图像或视频的合成。由此可见,在这类3D照相机、摄像机中,光学镜头与图像传感器一一对应、个数相等,而且为实现3D效果,光学镜头与图像传感器分别各有2个。
[0004] 还有一类3D摄像机,如松下的HDC-TM900,HDC-SD800,和HDC-SD90等摄像机,这类摄像机采用VW-CLT1 3D转换透镜组,将来自两个光学镜头的两路不同视角的光线同时拼接在一个图像传感器上,同时,降低每一路光线的分辨率,使每一路光线的分辨率为图像传感器分辨率的一半。在图像传感器完成光电转换后,将数字图像或视频信号发送其它处理单元实现3D图像或视频的合成。在这类照相机、摄像机中,通过将两路光线拼接在同一图像传感器上,相比于前述方法,减少了图像传感器的个数,然而,这种方法对不同视角的光线进行拼接时,降低了每一路光线的分辨率,导致降低了所获得的3D数字图像的画面质量。

发明内容

[0005] 根据本发明实施例的一个方面,所要解决的一个技术问题是:提供一种多视点图像获取方法、装置及三维照相机、三维摄像机,在不降低数字图像画面质量的情况下,利用较少的光学镜头获得多视点的数字图像。
[0006] 根据本发明的第一个方面,提供了一种多视点图像的获取装置,包括M个光学镜头、N个图像传感器、视点选择单元以及镜头控制单元,其中,光学镜头的个数M小于多视点的视点数量L,L为大于1的整数,N为大于零的整数;
[0007] 所述视点选择单元,用于按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点;识别所述当前处理视点的镜头位置是否有光学镜头;响应于当前处理视点的镜头位置没有光学镜头,从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头,向镜头控制单元发送第一指示,以指示所述镜头控制单元将选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置;
[0008] 所述镜头控制单元,用于根据所述第一指示,将视点选择单元所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置,以使得所述光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路;
[0009] 所述光学镜头,分别用于对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路;
[0010] 所述图像传感器,分别用于将所在位置的当前处理光路的光信号转换为所述当前处理视点的数字图像信号,获得所述当前处理视点的数字图像。
[0011] 优选地,所述光学镜头的个数M等于1;所述视点选择单元,具体用于按照预设选择策略,依次从L个视点中选取一个视点作为当前处理视点;
[0012] 所述视点选择单元,还用于识别是否已获取所述L个视点中的每一个视点的数字图像;响应于未获取所述L个视点中的每一个视点的数字图像,按照预设选择策略,执行依次从L个视点中选取一个未选取过的视点作为当前处理视点的操作;
[0013] 或者
[0014] 所述光学镜头的个数M大于1;所述视点选择单元,还用于识别是否已获取所述L个视点中的每一个视点的数字图像;响应于未获取所述L个视点中的每一个视点的数字图像,按照预设选择策略,执行从L个视点中选取多个未选取过的视点作为当前处理视点的操作。
[0015] 优选地,光学镜头初始的状态为闲置状态;
[0016] 所述镜头控制单元将所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置后,将该光学镜头的状态设置为非闲置状态,或者响应于当前处理视点的传感器位置有光学镜头,将该光学镜头的状态设置为非闲置状态;以及[0017] 光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路之后,所述镜头控制单元将该光学镜头的状态设置为闲置状态。
[0018] 优选地,所述视点选择单元,还用于响应于没有闲置的光学镜头,等待预定的时间间隔,执行为没有光学镜头的当前处理视点选择一个闲置的光学镜头的操作。
[0019] 优选地,图像传感器的个数N小于多视点的视点数量L;
[0020] 所述视点选择单元,还用于识别所述当前处理视点的传感器位置是否有图像传感器;响应于所述当前处理视点的传感器位置没有图像传感器,从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器,向传感器控制单元发送第二指示,以指示所述传感器控制单元将选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置;
[0021] 所述装置还包括:
[0022] 传感器控制单元,用于根据所述第二指示,将所视点选择单元选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置,以将所在位置的当前处理光路的光信号转换为所述当前处理视点的数字图像信号。
[0023] 优选地,图像传感器初始的状态为闲置状态;
[0024] 所述传感器控制单元将所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置后,将该图像传感器的状态设置为非闲置状态,或者响应于当前处理视点的传感器位置有图像传感器,将该图像传感器的状态设置为非闲置状态;以及
[0025] 图像传感器将所在位置的当前处理视点的光信号转换为当前处理视点的数字图像信号之后,所述传感器控制单元将该图像传感器的状态设置为闲置状态。
[0026] 优选地,所述视点选择单元,还用于响应于没有闲置的图像传感器,等待预定的时间间隔,执行为没有图像传感器的当前处理视点选择一个闲置的图像传感器的操作。
[0027] 优选地,所述装置还包括:
[0028] 三维图像处理单元,用于响应于已获取所述L个视点中的每一个视点的数字图像,对所获得的所述L个视点的数字图像进行三维图像的处理操作,获得三维数字图像。
[0029] 优选地,所述装置还包括:
[0030] 缓存单元,用于缓存所述当前处理视点的数字图像;
[0031] 所述三维图像处理单元从所述缓存单元获取所述L个视点中的每一个视点的数字图像。
[0032] 优选地,所述视点选择单元,具体用于根据所述L个视点之间的空间位置关系,按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点。
[0033] 根据本发明的第二个方面,提供了一种三维照相机,包含根据本发明第一个方面所提供的任意一项的多视点图像的获取装置。
[0034] 根据本发明的第三个方面,提供了一种三维摄像机,包含根据本发明第一个方面所提供的任意一项的多视点图像的获取装置。
[0035] 根据本发明的第四个方面,提供了一种多视点图像的获取方法,所述方法包括:
[0036] 按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点,其中,L为多视点的视点数量,并且L为大于1的整数;
[0037] 识别所述当前处理视点的镜头位置是否有光学镜头;
[0038] 响应于所述当前处理视点的镜头位置没有光学镜头,从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头,移动所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置,对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路,其中,光学镜头的个数M小于多视点的视点数量L;
[0039] 利用N个图像传感器将所在位置的当前处理光路的光信号转换为所述当前处理视点的数字图像信号,获得所述当前处理视点的数字图像,其中,N为大于零的整数。
[0040] 优选地,所述光学镜头的个数M等于1,所述从L个视点中选取一个以上视点作为当前处理视点,具体包括:从L个视点中选取一个视点作为当前处理视点;
[0041] 所述方法还包括:
[0042] 识别是否已获取所述L个视点中的每一个视点的数字图像;
[0043] 响应于未获取所述L个视点中的每一个视点的数字图像,按照预设选择策略,执行依次从L个视点中选取一个未选取过的视点作为当前处理视点的操作。
[0044] 或者
[0045] 所述光学镜头的个数M大于1;所述方法还包括:
[0046] 识别是否已获取所述L个视点中的每一个视点的数字图像;
[0047] 响应于未获取所述L个视点中的每一个视点的数字图像,按照预设选择策略,执行从L个视点中选取多个未选取过的视点作为当前处理视点的操作。
[0048] 优选地,所述方法还包括:设置光学镜头初始的状态为闲置状态;
[0049] 将所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置后,将该光学镜头的状态设置为非闲置状态,或者响应于当前处理视点的传感器位置有光学镜头,将该光学镜头的状态设置为非闲置状态;以及
[0050] 光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路之后,将该光学镜头的状态设置为闲置状态。
[0051] 优选地,所述方法还包括:
[0052] 响应于没有闲置的光学镜头,等待预定的时间间隔,执行为没有光学镜头的当前处理视点选择一个闲置的光学镜头的操作。
[0053] 优选地,图像传感器的个数N小于多视点的视点数量L,所述方法还包括:
[0054] 识别所述当前处理视点的传感器位置是否有图像传感器;响应于所述当前处理视点的传感器位置没有图像传感器,从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器,移动所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置,以将所在位置的当前处理光路的光信号转换为所述当前处理视点的数字图像信号。
[0055] 优选地,所述方法还包括:设置图像传感器初始的状态为闲置状态;
[0056] 在将所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置后,将该图像传感器的状态设置为非闲置状态,或者响应于当前处理视点的传感器位置有图像传感器,将该图像传感器的状态设置为非闲置状态;以及[0057] 图像传感器将所在位置的当前处理视点的光信号转换为当前处理视点的数字图像信号之后,将该图像传感器的状态设置为闲置状态。
[0058] 优选地,所述方法还包括:
[0059] 响应于没有闲置的图像传感器,等待预定的时间间隔,执行为没有图像传感器的当前处理视点选择一个闲置的图像传感器的操作。
[0060] 优选地,其特征在于,所述方法还包括:
[0061] 响应于已获取所述L个视点中的每一个视点的数字图像,对所获得的所述L个视点的数字图像进行三维图像的处理操作,获得三维数字图像。
[0062] 优选地,所述按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点,具体包括:
[0063] 根据所述L个视点之间的空间位置关系,从L个视点中选取一个以上视点作为当前处理视点。
[0064] 基于本发明上述实施例提供的多视点图像获取方法、装置及三维照相机、三维摄像机,光学镜头的个数小于多视点的视点数量,通过从多个视点中依次选取视点作为当前处理视点,识别当前处理视点的镜头位置是否有光学镜头,响应于当前处理视点的镜头位置没有光学镜头,选择闲置的光学镜头移动至当前处理视点,以获得当前处理视点的数字图像,从而能够以更少个数的光学镜头获取更多视点的数字图像,进而合成更高质量的3D图像或者3D视频。
[0065] 通常对于数字图像的获取装置,光学镜头是核心的部件,也是决定设备成本的重要因素之一,在增加视点以获得高质量多视点图像的情况下,减少光学镜头的个数,有效地控制了设备的成本。
[0066] 另外,本发明所提供的技术方案中,通过选择当前处理视点,图像传感器针对当前处理视点进行光信号转换,避免了现有技术中对不同视点的光线进行拼接以及降低分辨率的操作,也保持了各路光线的分辨率,从而使得所获得的数字图像的画面质量未受影响。
[0067] 通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。

附图说明

[0068] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0069] 同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
[0070] 构成说明书的一部分的附图描述了本发明的实施例,并且连同说明书一起用于解释本发明的原理。
[0071] 参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
[0072] 图1示出本发明所提供的多视点图像的获取装置一种实施例的结构示意图;
[0073] 图2示出本发明所提供的多视点图像的获取装置另一种实施例的结构示意图;
[0074] 图3示出本发明所提供的多视点图像的获取装置又一种实施例的结构示意图;
[0075] 图4示出本发明所提供的多视点图像的获取装置还一种实施例的结构示意图;
[0076] 图5示出本发明所提供的多视点图像的获取装置再一种实施例的结构示意图;
[0077] 图6示出本发明所提供的三维照相机一种实施例的结构示意图;
[0078] 图7示出本发明所提供的三维摄像机一种实施例的结构示意图;
[0079] 图8示出本发明所提供的多视点图像的获取方法一种实施例的流程示意图;
[0080] 图9示出本发明所提供的多视点图像的获取方法另一种实施例的流程示意图;
[0081] 图10示出本发明所提供的多视点图像的获取方法又一种实施例的流程示意图。

具体实施方式

[0082] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置不限制本发明的范围。
[0083] 以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0084] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,技术、方法和设备应当被视为授权说明书的一部分。
[0085] 在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
[0086] 参见图1所示,图1示出本发明所提供的多视点图像的获取装置一种实施例的结构示意图。该实施例多视点图像的获取装置包括M个光学镜头101与N个图像传感器102、视点选择单元103以及镜头控制单元104,其中,光学镜头的个数M小于多视点的视点数量L,即M
[0087] 视点选择单元103用于按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点;识别当前处理视点的镜头位置是否有光学镜头;响应于当前处理视点的镜头位置没有光学镜头,从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头,向镜头控制单元104发送第一指示,以指示镜头控制单元104将选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置。视点选择单元103在选择当前处理视点的操作中,具体可以根据多个视点之间的空间位置关系,从L个视点中选取一个以上视点作为当前处理视点。
[0088] 镜头控制单元104,用于根据视点选择单元103发送的第一指示,将所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置,以使得光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路。
[0089] 光学镜头101分别用于对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路。光学镜头中可以包括凸透镜和凹透镜,利用凸透镜和凹透镜对当前处理视点位置的光线进行聚焦或变焦处理。光学镜头中也可以包括反光镜,光学镜头具体利用反光镜对当前处理视点位置的光线进行折射处理。
[0090] 图像传感器102分别用于将所在位置的当前处理光路的光信号转换为当前处理视点的数字图像信号,获得当前处理视点的数字图像。
[0091] 基于本发明上述实施例提供的多视点图像获取装置,光学镜头101的个数M小于多视点的视点数量L,通过视点选择单元103从多个视点中依次选取视点作为当前处理视点,识别当前处理视点的镜头位置是否有光学镜头,响应于当前处理视点的镜头位置没有光学镜头,选择闲置的光学镜头并通过镜头控制单元104移动至当前处理视点,以获得当前处理视点的数字图像,从而能够以更少个数的光学镜头获取更多视点的数字图像,进而合成高质量的3D图像或者3D视频,同时还避免了现有技术中对不同视点的光线进行拼接以及降低分辨率的操作,也保持了各路光线的分辨率,保持了使得所获得的数字图像的画面质量。
[0092] 参见图2所示,图2示出本发明所提供的多视点图像的获取装置另一种实施例的结构示意图。该实施例为本发明所提供的多视点图像的获取装置的一个具体示例,该实施例的多视点图像的获取装置包括1个光学镜头101,即M等于1,在镜头控制单元104的控制下,光学镜头移动于视点1与视点2之间。
[0093] 在图2所示的实施例中,视点选择单元103具体用于按照预设选择策略,依次从L个视点中选取一个视点作为当前处理视点。视点选择单元103还可以用于识别是否已获取L个视点中的每一个视点的数字图像;响应于未获取L个视点中的每一个视点的数字图像,按照预设选择策略,执行依次从L个视点中选取一个未选取过的视点作为当前处理视点的操作。
[0094] 根据本发明所提供的多视点图像的获取装置实施例的一个具体示例,光学镜头的个数M也可以大于1。视点选择单元103还用于识别是否已获取L个视点中的每一个视点的数字图像;响应于未获取L个视点中的每一个视点的数字图像,按照预设选择策略,执行从L个视点中选取多个未选取过的视点作为当前处理视点的操作。由于光学镜头的个数M大于1,因此,可以选择多个当前处理视点。
[0095] 示例性地,可以有不同的方法来标识光学镜头的不同状态,包括闲置状态或者非闲置状态。例如,可以为光学镜头设置状态位,分别标识闲置状态或者非闲置状态。具体地,光学镜头初始的状态为闲置状态,镜头控制单元104将所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置后,将该光学镜头的状态设置为非闲置状态。
[0096] 另一种情况是,视点选择单元103从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头时,响应于当前处理视点的传感器位置有光学镜头,将该光学镜头的状态设置为非闲置状态。
[0097] 光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路之后,镜头控制单元104将该光学镜头的状态设置为闲置状态。
[0098] 响应于当前处理视点的镜头位置没有光学镜头,视点选择单元103从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头的过程中,若没有闲置的光学镜头,视点选择单元103可以等待预定的时间间隔,再次执行为没有光学镜头的当前处理视点选择一个闲置的光学镜头的操作。
[0099] 上述各实施例实现了使用个数更少的光学镜头获取更多视点的数字图像,同时还保持所获得数字图像的画面质量。在下面的实施例中,不仅可以减少光学镜头的个数,更进一步地,还可以使用个数更少的图像传感器获取了更多视点的数字图像,并保持所获得数字图像的画面质量。
[0100] 在执行再次选择当前处理视点时,可以结合成像质量,设置选择不同视点的时间间隔T。例如,结合具体场景,静态场景下T的取值可以大于动态场景下T的取值。
[0101] 参见图3所示,图3示出本发明所提供的多视点图像的获取装置又一种实施例的结构示意图。根据图3中示出的多视点图像的获取装置,图像传感器的个数N也小于多视点的视点数量L。
[0102] 相对比于图1实施例,图3中实施例的装置还包括传感器控制单元305,用于根据视点选择单元103发送的第二指示,将所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置,以将所在位置的当前处理光路的光信号转换为当前处理视点的数字图像信号。
[0103] 视点选择单元103还用于识别当前处理视点的传感器位置是否有图像传感器。视点选择单元103响应于当前处理视点的传感器位置没有图像传感器,从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器,向传感器控制单元305发送第二指示,以指示传感器控制单元将选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置。
[0104] 例如,如图3中所示,光学镜头的个数为1个,图像传感器的个数N为1个,均小于多视点的视点数量2。视点选择单元103选择视点2为当前处理视点,视点选择单元103识别视点2的镜头位置是否有光学镜头,响应于视点2的镜头位置没有光学镜头,为没有光学镜头的视点2选择闲置状态的光学镜头1,向镜头控制单元104发送第一指示,以指示镜头控制单元104将选择的闲置的光学镜头1移动至响应没有光学镜头的当前处理视点2的镜头位置。视点选择单元103还识别视点2的传感器位置是否有图像传感器,响应于视点2的传感器位置没有图像传感器,为没有图像传感器的视点2选择闲置状态的图像传感器1,向传感器控制单元305发送第二指示,以指示传感器控制305单元将选择的闲置的图像传感器1移动至相应没有图像传感器的当前处理视点2的传感器位置。
[0105] 类似地,图像传感器初始的状态也可以为闲置状态。传感器控制单元305将所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置后,将该图像传感器的状态设置为非闲置状态。
[0106] 另一种情况是,视点选择单元103从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器时,传感器控制单元305响应于当前处理视点的传感器位置有图像传感器,将该图像传感器的状态设置为非闲置状态。
[0107] 图像传感器将所在位置的当前处理视点的光信号转换为当前处理视点的数字图像信号之后,传感器控制单元305将该图像传感器的状态设置为闲置状态。
[0108] 视点选择单元103从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器时,响应于没有闲置的图像传感器,可以等待预定的时间间隔,再次执行为没有图像传感器的当前处理视点选择一个闲置的图像传感器的操作。
[0109] 参见图4所示,图4示出本发明所提供的多视点图像的获取装置还一种实施例的结构示意图。在以上各多视点图像的获取装置实施例中,进一步地,还可以包括三维图像处理单元406。
[0110] 三维图像处理单元406响应于已获取L个视点中的每一个视点的数字图像,对所获得的L个视点的数字图像进行三维图像的处理操作,获得三维数字图像。
[0111] 三维图像处理单元406具体用于匹配多个视点的数字图像的像素点、统一多个视点的数字图像的亮度和/或对比度、对多个视点的数字图像进行图像和/或视频编码。三维图像处理单元406可以按照本领域技术人员所熟知的三维图像处理操作,对M个视点中的每一个视点的数字图像进行处理,以获得三维数字图像或者三维视频中的一帧三维数字图像。
[0112] 参见图5所示,图5示出本发明所提供的多视点图像的获取装置再一种实施例的结构示意图。与图4实施例相比,图5中的多视点图像的获取装置还可以包括缓存单元507缓存当前处理视点的数字图像。在未获取L个视点中的每一个视点的数字图像之前,利用缓存单元507存储已经处理完成的视点的数字图像。三维图像处理单元406响应于已获取L个视点中的每一个视点的数字图像,从缓存单元507获取L个视点中的每一个视点的数字图像。
[0113] 参见图6所示,图6示出本发明所提供的三维照相机一种实施例的结构示意图。三维照相机包含上述任意一种实施例中的多视点图像的获取装置。图6中仅示例性地示出三维照相机采用前述各实施例提供的多视点图像的获取装置的结构示意图,对于实现三维照相机所需要的其他单元,可以按照所本领域技术人员所熟知的实现方式来具体实施,这里不再赘述。
[0114] 参见图7所示,图7示出本发明所提供的三维摄像机一种实施例的结构示意图。三维摄像机包含上述任意一种实施例中的多视点图像的获取装置。图7中仅示例性地示出三维摄像机采用前述各实施例提供的多视点图像的获取装置的结构示意图,对于实现三维摄像机所需要的其他单元,可以按照所本领域技术人员所熟知的实现方式来具体实施,这里不再赘述。
[0115] 基于本发明上述实施例提供的三维照相机、三维摄像机,光学镜头的个数可以等于或者大于2个,以获取更多视点,进而合成更高质量的3D图像或者3D视频,通过减少光学镜头个数,即有效地控制了三维照相机、三维摄像机的成本,同时还保持了数字图像的画面质量。
[0116] 参见图8所示,图8示出本发明所提供的多视点图像的获取方法一种实施例的流程示意图。图8中所示的多视点图像的获取方法包括以下操作:
[0117] 步骤801,按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点,其中,L为多视点的视点数量,并且L为大于1的整数;
[0118] 步骤802,识别当前处理视点的镜头位置是否有光学镜头;
[0119] 步骤803,响应于当前处理视点的镜头位置没有光学镜头,从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头,移动所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置,其中,光学镜头的个数M小于多视点的视点数量L;
[0120] 步骤804,分别利用位于当前处理视点的镜头位置的光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路的光信号,利用图像传感器将所在位置的当前处理光路的光信号转换为当前处理视点的数字图像信号,获得当前处理视点的数字图像。
[0121] 基于本发明上述实施例提供的多视点图像获取方法,通过从多个视点中依次选取视点作为当前处理视点,识别当前处理视点的镜头位置是否有光学镜头,响应于当前处理视点的镜头位置没有光学镜头,选择闲置的光学镜头移动至当前处理视点,以获得当前处理视点的数字图像,从而能够以更少个数的光学镜头获取更多视点的数字图像,进而合成更高质量的3D图像或者3D视频,同时还避免了现有技术中对不同视点的光线进行拼接以及降低分辨率的操作,也保持了各路光线的分辨率,从而使得所获得的数字图像的画面质量未受影响。
[0122] 根据本发明方法实施例的一个具体示例,光学镜头的个数M可以等于1,在步骤801的操作中,具体地,从L个视点中选取一个视点作为当前处理视点。在执行步骤804的操作后,该具体实施例的方法还可以包括:识别是否已获取L个视点中的每一个视点的数字图像;响应于未获取L个视点中的每一个视点的数字图像,按照预设选择策略,再次执行依次从L个视点中选取一个未选取过的视点作为当前处理视点的操作。
[0123] 根据本发明方法实施例的一个具体示例,光学镜头的个数M可以大于1,在执行步骤804的操作后,具体地,该方法还包括:识别是否已获取L个视点中的每一个视点的数字图像;响应于未获取L个视点中的每一个视点的数字图像,按照预设选择策略,执行从L个视点中选取多个未选取过的视点作为当前处理视点的操作。
[0124] 示例性地,该方法还可以包括:设置光学镜头初始的状态为闲置状态,以及将所选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置后,将该光学镜头的状态设置为非闲置状态,或者响应于当前处理视点的传感器位置有光学镜头,将该光学镜头的状态设置为非闲置状态。光学镜头对所在位置的当前处理视点的光线进行采集与光学处理,获得当前处理光路之后,将该光学镜头的状态设置为闲置状态。
[0125] 其中,在步骤803中,响应于当前处理视点的镜头位置没有光学镜头,从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头的操作中,当没有闲置的光学镜头时,可以等待预定的时间间隔,再次执行为没有光学镜头的当前处理视点选择一个闲置的光学镜头的操作。
[0126] 上述各实施例实现了使用更少个数的光学镜头获取更多视点的数字图像,同时还保持所获得数字图像的画面质量。更进一步地,不仅减少光学镜头的个数,还可以使用更少个数的图像传感器获取了更多视点的数字图像,并保持所获得数字图像的画面质量。
[0127] 参见图9所示,图9示出本发明所提供的多视点图像的获取方法另一种实施例的流程示意图。针对图像传感器的个数N小于多视点的视点数量L,图9中所示的多视点图像的获取方法还包括以下操作:
[0128] 步骤901,识别当前处理视点的传感器位置是否有图像传感器;
[0129] 步骤902,响应于当前处理视点的传感器位置没有图像传感器,从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器,移动所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置,以将所在位置的当前处理光路的光信号转换为当前处理视点的数字图像信号。
[0130] 可以理解的是,在图9中,步骤802、803的操作可以先于、后于或者与步骤901、902的操作同时执行。
[0131] 类似地,可以设置图像传感器初始的状态为闲置状态。在将所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置后,将该图像传感器的状态设置为非闲置状态,或者响应于当前处理视点的传感器位置有图像传感器,将该图像传感器的状态设置为非闲置状态。图像传感器将所在位置的当前处理视点的光信号转换为当前处理视点的数字图像信号之后,将该图像传感器的状态设置为闲置状态。
[0132] 在上述步骤902从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器的操作中,响应于没有闲置的图像传感器,可以等待预定的时间间隔,再次为没有图像传感器的当前处理视点选择一个闲置的图像传感器的操作。
[0133] 在上述各方法实施例中,响应于已获取L个视点中的每一个视点的数字图像,还可以对所获得的L个视点的数字图像进行三维图像的处理操作,获得三维数字图像。
[0134] 在上述各方法实施例中,按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点的操作,具体可以根据L个视点之间的空间位置关系,从L个视点中选取一个以上视点作为当前处理视点。
[0135] 为了清楚地描述上述采用识别并进行移动闲置状态的图像传感器的各种具体实施方式,参见图10所示的实施例,该实施例中示意性地包含了针对各具体实施例的操作,然而本领域技术人员受益于本发明上述思想,应该明白图10中所示的操作步骤并非完全必需执行的操作,本领域技术人员可以选择性地执行其中的部分操作,其并不影响本发明目的的实现。
[0136] 参见图10所示,图10示出本发明所提供的多视点图像的获取方法又一种实施例的流程示意图。该实施例中,M为光学镜头的个数,N为图像传感器的个数,L为多视点的视点数量,L大于等于2,M与N均小于L。图10中实施例的多视点图像的获取方法包括:
[0137] 步骤1001,设置所有光学镜头、图像传感器初始的状态为闲置状态;
[0138] 步骤1002,按照预设选择策略,从L个视点中选取一个以上视点作为当前处理视点,其中,可以根据L个视点之间的空间位置关系,从L个视点中选取一个以上视点作为当前处理视点;
[0139] 步骤1003,识别当前处理视点的镜头位置是否有光学镜头传感器,响应于当前处理视点的镜头位置没有光学镜头,执行步骤1004的操作,响应于当前处理视点的镜头位置有光学镜头,执行步骤1007的操作;
[0140] 步骤1004,识别是否有闲置的光学镜头,若有闲置的光学镜头,执行1006的操作,若没有闲置的光学镜头,执行步骤1005的操作;
[0141] 步骤1005,等待预定的时间间隔后,再次执行步骤1004的操作,即识别是否有闲置的光学镜头的操作;
[0142] 步骤1006,从M个光学镜头中分别为没有光学镜头的当前处理视点选择一个闲置的光学镜头,将选择的闲置的光学镜头移动至相应没有光学镜头的当前处理视点的镜头位置;
[0143] 步骤1007,将当前处理视点镜头位置的光学镜头的状态设置为非闲置状态;
[0144] 步骤1008,识别当前处理视点的传感器位置是否有图像传感器,响应于当前处理视点的传感器位置没有图像传感器,执行步骤1009的操作,响应于当前处理视点的传感器位置有图像传感器,执行步骤1012的操作;
[0145] 步骤1009,识别是否有闲置状态的图像传感器,若有闲置的图像传感器,执行1011的操作,若没有闲置的图像传感器,执行步骤1010的操作;
[0146] 步骤1010,等待预定的时间间隔,重新执行步骤1009的操作,即识别是否有闲置的图像传感器;
[0147] 步骤1011,从N个图像传感器中分别为没有图像传感器的当前处理视点选择一个闲置的图像传感器,将所选择的闲置的图像传感器移动至相应没有图像传感器的当前处理视点的传感器位置;
[0148] 步骤1012,将当前处理视点传感器位置的图像传感器的状态设置为非闲置状态;
[0149] 步骤1013,当前处理视点的光学镜头对当前处理视点的光线进行采集与光学处理,得到当前光路的光信号;当前处理视点的图像传感器将当前处理光路的光信号转换为当前处理视点的数字图像信号,获得当前处理视点的数字图像;
[0150] 步骤1014,识别是否获得当前处理视点的数字图像,响应于未获得当前处理视点的数字图像,执行步骤1015的操作,响应于已获得当前处理视点的数字图像,执行步骤1016的操作,其中,识别是否获得当前处理视点数字图像的操作也可以是通过识别是否已经将当前处理光路的光信号转换为当前处理视点的数字图像信号的操作来实现;
[0151] 步骤1015,等待光学镜头与图像传感器继续处理该当前处理视点的信号,等待预定的时间间隔后,再次执行1014的操作,即识别是否获得当前处理视点的数字图像;
[0152] 步骤1016,将该当前视点的光学镜头、图像传感器初始的状态为闲置状态;
[0153] 步骤1017,识别是否已获取L个视点中的每一个视点的数字图像,响应于未获取L个视点中的每一个视点的数字图像,返回步骤1002,以重新执行按照预设选择策略,从L个视点中选取一个以上未选取过的视点作为当前处理视点的操作,响应于已获取L个视点中的每一个视点的数字图像,结束流程。
[0154] 根据本发明方法实施例的一个具体示例,在上述步骤1017中识别是否已获取L个视点中的每一个视点的数字图像,当响应于已获取L个视点中的每一个视点的数字图像,还可以对所获得的L个视点的数字图像进行三维图像的处理操作,获得三维数字图像。三维图像的处理操作具体可以是匹配多个视点的数字图像的像素点、统一多个视点的数字图像的亮度和/或对比度、对多个视点的数字图像进行图像和/或视频编码。
[0155] 至此,已经详细描述了根据本发明的一种多视点图像获取方法、装置及三维照相机、三维摄像机。为了避免遮蔽本发明的构思,没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述,完全可以明白如何实施这里公开的技术方案。
[0156] 本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于三维照相机、三维摄像机、方法实施例而言,由于其与装置实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0157] 可能以许多方式来实现本发明的多视点图像获取方法、装置及三维照相机、三维摄像机。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的多视点图像获取方法、装置及三维照相机、三维摄像机。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
[0158] 虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。