一种用于3D显示和3D交互的专用处理器

摘要

本发明公开了一种用于3D显示和3D交互的专用处理器，该专用处理器包括：图像处理电路，用于获取采集设备采集的第一视角的第一彩色图像和第二视角的第一不可见光图像，根据第一彩色图像和第一不可见光图像得到第二视角的第二彩色图像；或者获取采集设备采集的包含交互对象的第二不可见光图像，并提取第二不可见光图像中交互对象的骨架数据；输出电路，用于将第一彩色图像和第二彩色图像输出至3D显示设备，或将骨架数据输出至3D交互设备。通过上述方式，本发明能够提高数据处理速度，减小成本，无需其他的处理器进行数据二次处理。

权利要求

1.一种用于3D显示和3D交互的专用处理器，其特征在于，包括：存储电路，用于存储参考图像以及采集设备的参数；

图像处理电路，所述图像处理电路具体包括：偏移值计算电路，连接所述存储电路以及所述采集设备，配准电路，连接所述存储电路、所述偏移值计算电路以及所述采集设备，数据提取电路，连接所述偏移值计算电路；以及输出电路；

在实现3D显示时，所述图像处理电路用于获取所述采集设备采集的第一视角的第一彩色图像和第二视角的第一不可见光图像，其中，所述采集设备包括彩色相机和结构光深度相机，所述彩色相机用于采集第一视角的所述第一彩色图像，所述结构光深度相机用于采集第二视角的所述第一不可见光图像，且所述彩色相机与所述结构光深度相机之间的距离大于0，所述偏移值计算电路用于计算所述第一不可见光图像中每个像素相对于所述参考图像的第一像素坐标偏移值，所述配准电路用于根据所述采集设备的参数、所述第一像素坐标偏移值以及所述第一彩色图像，得到第二视角的第二彩色图像；所述输出电路用于将所述第一彩色图像和所述第二彩色图像输出至3D显示设备；

在实现3D交互时，所述图像处理电路用于获取所述结构光深度相机采集的包含交互对象的第二不可见光图像，所述偏移值计算电路用于计算所述第二不可见光图像中每个像素相对于所述参考图像的第二像素坐标偏移值；所述数据提取电路用于根据所述第二像素坐标偏移值，计算得到所述第二不可见光图像的深度数据，以提取所述第二不可见光图像中所述交互对象的骨架深度数据；所述输出电路用于将所述骨架深度数据输出至3D交互设备。

2.根据权利要求1所述的专用处理器，其特征在于，

所述结构光深度相机包括投影模组以及采集模组，所述投影模组用于向待测对象或所述交互对象投影结构光图案，在所述投影模组向所述待测对象投影所述结构光图案时，所述采集模组用于采集所述待测对象的所述第一不可见光图像，在所述投影模组向所述交互对象投影所述结构光图案时采集所述交互对象的所述第二不可见光图像；

所述专用处理器设置于所述采集设备中。

3.根据权利要求2所述的专用处理器，其特征在于，

所述配准电路具体包括：

视差计算电路，用于根据所述采集设备的参数以及所述第一像素坐标偏移值计算得到所述第一视角和所述第二视角的视差；

像素平移电路，用于根据所述视差以及所述第一视角的第一彩色图像，得到第二视角的第二彩色图像。

4.根据权利要求3所述的专用处理器，其特征在于，

所述视差计算电路具体用于根据以下公式计算得到所述第一视角和所述第二视角的视差：其中，d为所述第一视角和所述第二视角的视差，Δ1为所述第一像素坐标偏移值，Z0为所述参考图像的深度值，B1为所述采集模组与所述彩色相机之间的距离，B2为所述投影模组与所述彩色相机之间的距离，f为所述采集模组与所述彩色相机的焦距。

5.根据权利要求2所述的专用处理器，其特征在于，

所述数据提取电路具体包括：

深度值计算电路，用于根据所述第二像素偏移值以及所述采集设备的参数计算得到所述第二不可见光图像中每个像素的深度值；

骨架数据提取电路，用于根据所述第二不可见光图像中每个像素的深度值，提取所述第二不可见光图像中所述交互对象的骨架深度数据。

6.根据权利要求5所述的专用处理器，其特征在于，

所述深度值计算电路具体用于根据以下公式计算得到所述第二不可见光图像中每个像素的深度值：其中，ZD所述第二不可见光图像中每个像素点的深度值，Z0为所述参考图像中每个像素点的深度值，B为所述投影模组与所述采集模组之间的距离，f为所述采集模组的焦距，Δ2为所述第二像素坐标偏移值。

7.根据权利要求5所述的专用处理器，其特征在于，

所述骨架数据提取电路具体包括：

预处理电路，用于对所述第二不可见光图像中每个像素的深度值进行预处理；其中，所述预处理包括滤波、平滑处理以及插值处理中的一种；

交互对象检测电路，用于在所述第二不可见光图像中检测交互对象，并分割出交互对象部分图像；

骨架提取电路，用于在所述交互对象部分图像中提取出交互对象的骨架深度数据。

8.根据权利要求1所述的专用处理器，其特征在于，

还包括压缩电路，连接所述图像处理电路，用于将所述第一视角的第一彩色图像以及所述第二视角的第二彩色图像，或者所述第二不可见光图像中交互对象的骨架数据进行压缩，并发送给所述输出电路。

说明书

一种用于3D显示和3D交互的专用处理器

技术领域

[0001] 本发明涉及3D显示和3D交互技术领域，特别是涉及一种用于3D显示和3D交互的专用处理器。

背景技术

[0002] 人类双眼由于位置不同在对具有一定距离的物体进行观看时会产生视觉差异，正是这种视差让人们有了三维的感观效果。三维显示技术根据这一原理，通过将同时获取的双眼图像分别被对应的眼睛接收，从而产生三维效果。由于这一技术给人们带来了全新的立体观看体验，近年来人们对三维图像资源的需求也日渐增加。目前获得三维图像的方法之一是将二维图像通过图像处理技术转化为三维图像。具体为运用图像处理技术计算得到已有二维图像的场景深度信息，进而绘制出虚拟的其他视觉图像，利用已有二维图像和虚拟的其他视觉图像形成三维图像。

[0003] 人机交互、人机互动(简称HCI或HMI Human–Computer Interaction或Human–Machine Interaction)，是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作。在人机交互中，3D交互已经越来越被广泛的应用，3D交互主要是通过获取交互对象的深度图像，再将深度图像传输计算机或其他智能终端，以实现人机交互。

[0004] 目前完成上述工作必须要多个处理器或者多个设备，例如，第一处理器仅能够输出原始的深度数据，对深度数据的进一步处理(比如深度数据的预处理、人体检测、骨架识别等)则是在其他智能终端的处理器上实现的。因而对于含不同处理器的智能设备，都需要经过不同的适配处理，无疑增加了开发的难度；另外，数据之间的传输往往都要经过压缩以及解压处理，导致一些基于深度相机的应用有延时产生。

发明内容

[0005] 本发明主要解决的技术问题是提供一种用于3D显示和3D交互的专用处理器，能够提高数据处理速度，减小成本，无需其他的处理器进行数据二次处理。

[0006] 为解决上述技术问题，本发明采用的一个技术方案是：提供用于3D显示和3D交互的专用处理器，该专用处理器包括：存储电路，用于存储参考图像以及采集设备的参数；图像处理电路，图像处理电路具体包括：偏移值计算电路，连接存储电路以及采集设备，配准电路，连接存储电路、偏移值计算电路以及采集设备；数据提取电路，连接偏移值计算电路；以及输出电路；在实现3D显示时，图像处理电路用于获取采集设备采集的第一视角的第一彩色图像和第二视角的第一不可见光图像，其中，所述采集设备包括彩色相机和结构光深度相机，所述彩色相机用于采集第一视角的第一彩色图像，所述结构光深度相机用于采集第二视角的第一不可见光图像，且所述彩色相机与所述结构光深度相机之间的距离大于0，偏移值计算电路用于计算第一不可见光图像中每个像素相对于参考图像的第一像素坐标偏移值，配准电路用于根据采集设备的参数、第一像素坐标偏移值以及第一彩色图像，得到第二视角第二彩色图像；输出电路用于将第一彩色图像和第二彩色图像输出至3D显示设备；在实现3D交互时，图像处理电路用于获取结构光深度相机采集的包含交互对象的第二不可见光图像，偏移值计算电路用于计算第二不可见光图像中每个像素相对于参考图像的第二像素坐标偏移值；数据提取电路用于根据第二像素坐标偏移值，计算得到第二不可见光图像的深度数据，以提取所述第二不可见光图像中所述交互对象的骨架深度数据；输出电路用于将骨架深度数据输出至3D交互设备。

[0007] 其中，结构光深度相机包括投影模组以及采集模组，投影模组用于向待测对象或交互对象投影结构光图案，在投影模组向待测对象投影结构光图案时，采集模组用于采集待测对象的第一不可见光图像，在投影模组向交互对象投影结构光图案时采集交互对象的第二不可见光图像；专用处理器设置于采集设备中。

[0008] 其中，配准电路具体包括：视差计算电路，用于根据采集设备的参数以及第一像素坐标偏移值计算得到第一视角和第二视角的视差；像素平移电路，用于根据视差以及第一视角的第一彩色图像，得到第二视角的第二彩色图像。

[0009] 其中，视差计算电路具体用于根据以下公式计算得到第一视角和第二视角的视差： 其中，d为第一视角和第二视角的视差，Δ1为第一像素坐标偏移值，Z0为参考图像的深度值，B1为采集模组与彩色相机之间的距离，B2为投影模组与彩色相机之间的距离，f为采集模组与彩色相机的焦距。

[0010] 其中，数据提取电路具体包括：深度值计算电路，用于根据第二像素偏移值以及采集设备的参数计算得到第二不可见光图像中每个像素的深度值；骨架数据提取电路，用于根据第二不可见光图像中每个像素的深度值，提取第二不可见光图像中交互对象的骨架深度数据。

[0011] 其中，深度值计算电路具体用于根据以下公式计算得到第二不可见光图像中每个像素的深度值： 其中，ZD第二不可见光图像中每个像素点的深度值，Z0为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δ2为第二像素坐标偏移值。

[0012] 其中，骨架数据提取电路具体包括：预处理电路，用于对第二不可见光图像中每个像素的深度值进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种；交互对象检测电路，用于在第二不可见光图像中检测交互对象，并分割出交互对象部分图像；骨架提取电路，用于在交互对象部分图像中提取出交互对象的骨架深度数据。

[0013] 其中，还包括压缩电路，连接图像处理电路，用于将第一视角的第一彩色图像以及第二视角的第二彩色图像，或者第二不可见光图像中交互对象的骨架数据进行压缩，并发送给输出电路。

[0014] 本发明的有益效果是：区别于现有技术的情况，本发明的专用处理器包括：图像处理电路，用于获取采集设备采集的第一视角的第一彩色图像和第二视角的第一不可见光图像，根据第一彩色图像和第一不可见光图像得到第二视角的第二彩色图像；或者获取采集设备采集的包含交互对象的第二不可见光图像，并提取第二不可见光图像中交互对象的骨架数据；输出电路，用于将第一彩色图像和第二彩色图像输出至3D显示设备，或将骨架数据输出至3D交互设备。通过上述方式，本实施方式的专用处理器直接可以根据获取的第一视觉的彩色图像和第二视觉的不可见光图像，进行数据处理得到两个视觉的彩色图像并输出，或者得到交互对象的骨架数据，以便3D显示设备或3D交互设备直接利用这些数据，而无需其他的处理器再次对图像数据进行处理。通过上述方式，能够减小成本，提高数据的处理速度。

附图说明

[0015] 图1是本发明用于3D显示和3D交互的专用处理器第一实施方式的结构示意图；

[0016] 图2是本发明用于3D显示和3D交互的专用处理器第二实施方式中采集设备的结构示意图；

[0017] 图3是本发明用于3D显示和3D交互的专用处理器第二实施方式的结构示意图；

[0018] 图4是本发明用于3D显示和3D交互的专用处理器第三实施方式的结构示意图；

[0019] 图5是本发明用于3D显示和3D交互的专用处理器第四实施方式的结构示意图；

[0020] 图6是本发明用于3D显示和3D交互的专用处理器第五实施方式的结构示意图。

具体实施方式

[0021] 参阅图1，图1是本发明用于3D显示和3D交互的专用处理器第一实施方式的结构示意图，该专用处理器包括：

[0022] 图像处理电路11，用于获取采集设备采集的第一视角的第一彩色图像和第二视角的第一不可见光图像，根据第一彩色图像和第一不可见光图像得到第二视角的第二彩色图像；或者

[0023] 获取采集设备采集的包含交互对象的第二不可见光图像，并提取第二不可见光图像中交互对象的骨架数据。

[0024] 其中，采集设备可以为外部的采集设备，通过有线或无线的方式与本实施方式的专用处理器连接。

[0025] 如图2所示，在一具体的实施例中，采集设备20包括彩色相机21以及结构光深度相机22。

[0026] 其中，彩色相机21用于采集待测对象第一视角的彩色图像。

[0027] 结构光深度相机22包括投影模组221以及采集模组222，投影模组221用于向待测对象投影结构光图案，采集模组222用于采集待测对象的第一不可见光图像或交互对象的第二不可见光图像。

[0028] 可选的，本实施方式的专用处理器设置于该采集设备20中，当采集设备20采集到图像后，处理器直接对图像进行处理器，并将第一彩色图像和第二彩色图像输出至3D显示设备，或将骨架数据输出至3D交互设备。

[0029] 具体地，在实现3D显示时：

[0030] 彩色相机21设置于第一视觉位置，结构光深度相机22的采集模组222设置于第二视觉位置。为了达到好的采集效果以及避免后续多余的计算，可将彩色相机21与结构光深度相机22设置成同步采集且采集帧数相同，这样得到的彩色图像与不可见光图像能保证一一对应的关系，便于后续计算。

[0031] 在一具体应用中，该第一视觉的彩色图像由设置在第一视觉位置的彩色相机21采集得到，该第二视觉的不可见光图像由结构光深度相机22的投影模组221向目标投影不可见光，并由设置在第二视觉位置的采集模组222采集得到。采集设备20将上述采集得到的第一视觉的彩色图像和第二视觉的不可见光图像发送给本实施方式的专用处理器，其中的图像处理电路11根据第一视角的彩色图像和第二视角的不可见光图像得到第二视角的彩色图像。

[0032] 具体地，在实现3D交互时：

[0033] 该交互对象可以是人体，特别的，可以是人体的手。由于在3D交互中，手是最直接最方便的交互工具，用户可以通过手的路径、动作或手势来发出不同的指令，以使交互系统能够识别并执行这些指令。当然本实施方式也不限于手，其他的例如人脸、嘴唇、眼睛等交互对象都应当包含在本发明的保护范围之内。

[0034] 其中，骨架数据的提取主要是指将不可见光中的背景部分和交互对象部分进行分离，以得到仅包含交互对象的图像，便于获取交互对象所传达的指令，进而实现3D交互。

[0035] 输出电路12，用于将第一彩色图像和第二彩色图像输出至3D显示设备，或将骨架数据输出至3D交互设备。

[0036] 区别于现有技术，本实施方式的专用处理器包括：图像处理电路，用于获取采集设备采集的第一视角的第一彩色图像和第二视角的第一不可见光图像，根据第一彩色图像和第一不可见光图像得到第二视角的第二彩色图像；或者获取采集设备采集的包含交互对象的第二不可见光图像，并提取第二不可见光图像中交互对象的骨架数据；输出电路，用于将第一彩色图像和第二彩色图像输出至3D显示设备，或将骨架数据输出至3D交互设备。通过上述方式，本实施方式的专用处理器直接可以根据获取的第一视觉的彩色图像和第二视觉的不可见光图像，进行数据处理得到两个视觉的彩色图像并输出，或者得到交互对象的骨架数据，以便3D显示设备或3D交互设备直接利用这些数据，而无需其他的处理器再次对图像数据进行处理。通过上述方式，能够减小成本，提高数据的处理速度。

[0037] 参阅图3，图3是本发明用于3D显示和3D交互的专用处理器第二实施方式的结构示意图，该专用处理器包括存储电路31、偏移值计算电路32、配准电路33、数据提取电路34以及输出电路35。其中：

[0038] 存储电路31，用于存储参考图像以及采集设备的参数。

[0039] 偏移值计算电路32，连接存储电路31以及采集设备，用于计算第一不可见光图像中每个像素相对于参考图像的第一像素坐标偏移值，或计算第二不可见光图像中每个像素相对于参考图像的第二像素坐标偏移值。

[0040] 其中，参考图像是已知深度值的一幅不可见光图像。具体地，可以在垂直于结构光深度相机的光轴的平面上放置一平板，该平板与结构光深度相机的距离已知。再向该平板投影结构光图案并通过结构光深度相机进行拍照或摄影得到参考图像。其中，参考图像的图案和采集待测对象的不可见光图像的图案是在同一个投影模组的投影下分别采集得到的，即为了保证其结构光图案(散斑图案)的一致性。

[0041] 可选的，参考图像的已知深度可以是任意设置的，一般情况下，可以选择结构光深度相机的深度测量范围的中间值，例如，结构光深度相机的深度测量范围为(a,b)，则参考图像的深度可以为

[0042] 其中，采集设备的参数包括其中的彩色相机、深度相机及其中的模组之间的距离关系，镜头的焦距等等。

[0043] 可选的，在本实施方式中，结构光深度相机为红外结构光深度相机，包括红外投影模组以及红外接收模组；结构光图案为不规则的散斑图案。例如，可以是波长为830nm或850nm的红外光。

[0044] 具体地，偏移值计算电路32具体用于根据不可见光图像和参考图像中的散斑图案的相似程度，确定不可见光图像中每个像素相对于参考图像的像素坐标偏移值。

[0045] 由于结构光深度相机的散斑图像为不规则的散斑，因此可以根据两幅图中的散斑的相似程度，确定同一图案区域在两幅图中的位置，从而确定像素坐标偏移值。

[0046] 具体地，下面对计算偏移值做简单的介绍：

[0047] 提取采集的不可见光图像中至少包含目标像素点的一个多像素区域，由于散斑图案是相同的，即可以在参考图像中找到一个与该像素区域极为相似(相似度达到预设条件)的一个区域(即找到不可见光图像中目标像素点在参考图像中的对应像素点)，获得其中与目标像素点对应的像素的坐标，这样通过比较两个像素点的偏移情况，就可以得到空间中同一点在不可见光图像和参考图像中的像素坐标的偏移值。

[0048] 具体地，首先确定每个像素的位移映射函数，一般而言该函数需要考虑采集的不可见光图像和参考图像两幅图中待测对象上各点的平移以及变形。在本实施例中，由于两幅图中的图案仅仅是由于待测对象深度变化导致位置变化，并没有发生较大的变形，因此可以将该函数简化成仅考虑平移的情形，即：X＝x+Δu。这里X及x分别为待测对象的一个点在采集的不可见光图像以及参考图像中的像素坐标，Δu为待求的像素坐标偏移值。

[0049] 其次，确定相应的搜索算法。一般采用的是牛顿迭代法，但是该算法涉及大量的根号及除法运算，算法的编写以及执行效率都不高。本实施例可以采用基于迭代最小二乘法的搜索算法。由于仅考虑沿X方向平移的情形，因此仅需要进行一维的搜索算法就可以了，这样可以较大幅度提升算法的效率和精度。

[0050] 最后结合位移映射函数以及迭代最小二乘法就可以对偏移值Δu进行求解。

[0051] 配准电路33，连接存储电路31、偏移值计算电路32以及采集设备，用于根据采集设备的参数、第一像素坐标偏移值以及第一彩色图像，得到第二彩色图像。

[0052] 可选的，可以利用数字图像处理的匹配算法比如数字图像相关(DIC)算法计算得到第一视点的图像与第二视点的图像之间的视差，即第一视点的图像与第二视点的图像的像素坐标之间的相对位置关系。

[0053] 具体地，在一实施方式中，配准电路33具体包括：

[0054] 视差计算电路，用于根据采集设备的参数以及第一像素坐标偏移值计算得到第一视角和第二视角的视差。

[0055] 可选的，视差计算电路具体用于根据以下公式计算得到第一视角和第二视角的视差：

[0056]

[0057] 其中，d为第一视角和第二视角的视差，Δ1为第一像素坐标偏移值，Z0为参考图像的深度值，B1为采集模组与彩色相机之间的距离，B2位投影模组与彩色相机之间的距离，f为采集模组与彩色相机的焦距。

[0058] 像素平移电路，用于根据视差以及第一视角的第一彩色图像，得到第二视角的第二彩色图像。

[0059] 例如，将该第一彩色图像的像素坐标移动各自像素对应的图像视差值d，其中，移动得到的像素坐标(u1+d，v1)的像素值(又称为RGB值)为第一彩色图像中的像素坐标(u1，v1)的像素值。

[0060] 可选的，在一实施例中，在得到第二视角的彩色图像后，可以对所述第二彩色图像进行平滑、去噪处理。由于偏移值Δ1的数据常常出现一些坏点，导致最终得到的彩色图像中出现一些空洞等问题，在后面步骤中进一步处理时会将这些数据进行放大，进而严重影响三维显示效果，为避免深度图像的坏点或区域数据对三维显示的影响，本子步骤对得到的第二彩色图像进行去噪、平滑处理。

[0061] 数据提取电路34，连接偏移值计算电路32，用于根据第二像素坐标偏移值，计算得到第二不可见光图像的深度数据，以提取第二不可见光图像中交互对象的骨架深度数据。

[0062] 具体地，在一实施方式中，数据提取电路34具体包括：

[0063] 深度值计算电路，用于根据第二像素偏移值以及采集设备的参数计算得到第二不可见光图像中每个像素的深度值。

[0064] 其中，在一实施例中，深度值计算电路具体用于根据以下公式计算得到第二不可见光图像中每个像素的深度值：

[0065]

[0066] 其中，ZD第二不可见光图像中每个像素点的深度值，Z0为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δ2为第二像素坐标偏移值。

[0067] 骨架数据提取电路，用于根据第二不可见光图像中每个像素的深度值，提取第二不可见光图像中交互对象的骨架深度数据。

[0068] 其中，在一实施例中，骨架数据提取电路具体包括：

[0069] 预处理电路，用于对第二不可见光图像中每个像素的深度值进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种。

[0070] 交互对象检测电路，用于在第二不可见光图像中检测交互对象，并分割出交互对象部分图像。

[0071] 骨架提取电路，用于在交互对象部分图像中提取出交互对象的骨架深度数据。

[0072] 输出电路35，用于将第一彩色图像和第二彩色图像输出至3D显示设备，或将骨架数据输出至3D交互设备。

[0073] 参阅图4，图4是本发明用于3D显示和3D交互的专用处理器第三实施方式的结构示意图，该专用处理器包括：

[0074] 偏移值计算电路41，连接外部存储器以及采集设备，用于计算第一不可见光图像中每个像素相对于参考图像的第一像素坐标偏移值，或计算第二不可见光图像中每个像素相对于参考图像的第二像素坐标偏移值；其中，外部存储器用于存储参考图像以及采集设备的参数。

[0075] 配准电路42，连接外部存储器、偏移值计算电路以及采集设备，用于根据采集设备的参数、第一像素坐标偏移值以及第一彩色图像，得到第二彩色图像。

[0076] 其中，配准电路42具体包括：

[0077] 视差计算电路，用于根据采集设备的参数以及第一像素坐标偏移值计算得到第一视角和第二视角的视差。

[0078] 像素平移电路，用于根据视差以及第一视角的第一彩色图像，得到第二视角的第二彩色图像。

[0079] 视差计算电路具体用于根据以下公式计算得到第一视角和第二视角的视差：

[0080]

[0081] 其中，d为第一视角和第二视角的视差，Δ1为第一像素坐标偏移值，Z0为参考图像的深度值，B1为采集模组与彩色相机之间的距离，B2位投影模组与彩色相机之间的距离，f为采集模组与彩色相机的焦距。

[0082] 数据提取电路43，连接偏移值计算电路，用于根据第二像素坐标偏移值，计算得到第二不可见光图像的深度数据，以提取第二不可见光图像中交互对象的骨架深度数据。

[0083] 其中，数据提取电路43具体包括：

[0084] 深度值计算电路，用于根据第二像素偏移值以及采集设备的参数计算得到第二不可见光图像中每个像素的深度值；

[0085] 骨架数据提取电路，用于根据第二不可见光图像中每个像素的深度值，提取第二不可见光图像中交互对象的骨架深度数据。

[0086] 其中，深度值计算电路具体用于根据以下公式计算得到不可见光图像中每个像素的深度值：

[0087]

[0088] 其中，ZD第二不可见光图像中每个像素点的深度值，Z0为参考图像中每个像素点的深度值，B为投影模组与采集模组之间的距离，f为采集模组的焦距，Δ2为第二像素坐标偏移值。

[0089] 其中，骨架数据提取电路具体包括：预处理电路，用于对第二不可见光图像中每个像素的深度值进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种；交互对象检测电路，用于在第二不可见光图像中检测交互对象，并分割出交互对象部分图像；骨架提取电路，用于在交互对象部分图像中提取出交互对象的骨架深度数据。

[0090] 输出电路44，用于将第一彩色图像和第二彩色图像输出至3D显示设备，或将骨架数据输出至3D交互设备。

[0091] 可以理解的，不同于上述第二实施方式，本实施方式的专用处理器不包括存储电路，而是通过外部的存储器来存储参考图像以及采集设备的参数，而其他的结构和原理与上述第二实施方式类似，这里不再赘述。

[0092] 参阅图5，图5是本发明用于3D显示和3D交互的专用处理器第四实施方式的结构示意图。该专用处理器包括存储电路51、偏移值计算电路52、配准电路53、深度值计算电路54、预处理电路55、人体检测电路56、骨架提取电路57以及输出电路58。其中：

[0093] 存储电路51，用于存储参考图像以及采集设备的参数。

[0094] 偏移值计算电路52，连接存储电路以及采集设备，用于计算第一不可见光图像中每个像素相对于参考图像的第一像素坐标偏移值，或计算第二不可见光图像中每个像素相对于参考图像的第二像素坐标偏移值。

[0095] 配准电路53，连接存储电路、偏移值计算电路以及采集设备，用于根据采集设备的参数、第一像素坐标偏移值以及第一彩色图像，得到第二彩色图像。

[0096] 可选的，配准电路具体包括：视差计算电路，用于根据采集设备的参数以及第一像素坐标偏移值计算得到第一视角和第二视角的视差；像素平移电路，用于根据视差以及第一视角的第一彩色图像，得到第二视角的第二彩色图像。

[0097] 深度值计算电路54，用于根据第二像素偏移值以及采集设备的参数计算得到第二不可见光图像中每个像素的深度值。

[0098] 预处理电路55，用于对第二不可见光图像中每个像素的深度值进行预处理；其中，预处理包括滤波、平滑处理以及插值处理中的一种。

[0099] 交互对象检测电路56，用于在第二不可见光图像中检测交互对象，并分割出交互对象部分图像。

[0100] 骨架提取电路57，用于在交互对象部分图像中提取出交互对象的骨架深度数据。

[0101] 输出电路58，用于将第一彩色图像和第二彩色图像输出至3D显示设备，或将骨架数据输出至3D交互设备。

[0102] 另外，如图6所示，图6是本发明用于3D显示和3D交互的专用处理器第五实施方式的结构示意图，在第四实施方式的基础上，还可以增加选择电路61以及压缩电路62，选择电路61的输入端连接外部采集设备、配准电路53、深度值计算电路54以及骨架提取电路57，其输出端连接至压缩电路62，用于在输入的数据中择一或多输出。并且，其输入端连接深度值计算电路54，是用以输出原始的深度数据。压缩电路62，用于将第一视角的第一彩色图像以及第二视角的第二彩色图像，或者第二不可见光图像中交互对象的骨架数据进行压缩，并发送给输出电路58。

[0103] 以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。