应用于立体互动系统的互动模块及其方法转让专利

申请号 : CN201010122713.7

文献号 : CN102169364B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 赵子毅

申请人 : 原相科技股份有限公司

摘要 :

本发明涉及一种应用于立体互动系统的互动模块,用来根据使用者的位置,校正一互动组件的位置,或是校正立体影像中的虚拟物品的位置与互动判断条件。如此,即使使用者的位置改变而造成使用者所看到的立体影像中的虚拟物品的位置改变,立体互动系统仍可根据经校正后的互动组件的位置,或是经校正后的虚拟物品的位置与互动判断条件,来得到正确的互动结果。

权利要求 :

1.一种应用于一立体互动系统的互动模块,该立体互动系统具有一立体显示系统,该立体显示系统用来提供一立体影像,该立体影像具有一虚拟物品,该虚拟物品具有一虚拟坐标与一判断条件,该互动模块的特征在于包含:一定位模块,用来侦测在一场景中使用者的位置,以产生一三维参考坐标;

一操作组件;

一操作组件定位模块,用来侦测该操作组件的位置,以产生一三维互动坐标;以及一互动判断电路,用来根据该三维参考坐标转换该虚拟坐标为一校正虚拟坐标,且根据该三维互动坐标、该校正虚拟坐标与该判断条件,以控制该立体影像。

2.如权利要求1所述的互动模块,其特征在于,该互动判断电路根据该三维参考坐标转换该判断条件为一校正互动判断条件;该互动判断电路根据该三维互动坐标、该校正虚拟坐标与该校正互动判断条件,以控制该立体影像;该互动判断电路根据一互动临界距离与该虚拟坐标,以计算出一临界面;该互动判断电路根据该三维参考坐标转换该临界面为一校正临界面;该校正互动判断条件为当该三维互动坐标进入该校正临界面时表示接触。

3.如权利要求1所述的互动模块,其特征在于,该定位模块为一眼睛定位模块,该眼睛定位模块用来侦测该场景中使用者的眼睛的位置,产生一三维双眼坐标作为该三维参考坐标;

其中该立体显示系统包含一显示屏以及一辅助眼镜,该显示屏用来提供一左影像与一右影像,该辅助眼镜用来辅助接收该左影像与该右影像,以得到该立体影像;

其中该眼睛定位模块包含:

一第一影像传感器,用来感测该场景,以产生一第一二维感测影像;

一第二影像传感器,用来感测该场景,以产生一第二二维感测影像;

一眼睛定位电路,包含:

一眼镜侦测电路,用来侦测该第一二维感测影像中的该辅助眼镜,以得到一第一二维眼镜坐标与一第一眼镜斜率,并侦测该第二二维感测影像中的该辅助眼镜,以得到一第二二维眼镜位置与一第二眼镜斜率;以及一眼镜坐标转换电路,用来根据该第一二维眼镜坐标、该第一眼镜斜率、该第二二维眼镜坐标、该第二眼镜斜率与一已知双眼间距,以计算出一第一二维双眼坐标与一第二二维双眼坐标;以及一三维坐标转换电路,用来根据该第一二维双眼坐标、该第二二维双眼坐标、该第一影像传感器的一第一感测位置与该第二影像传感器的一第二感测位置,计算出该三维双眼坐标。

4.如权利要求3所述的互动模块,其特征在于,该眼睛定位电路还包含一倾斜侦测器;

该倾斜侦测器设置于该辅助眼镜上;该倾斜侦测器用来根据该辅助眼镜的倾斜角度,产生一倾斜信息;该眼镜坐标转换电路根据该倾斜信息、第一二维眼镜坐标、该第一眼镜斜率、该第二二维眼镜坐标、该第二眼镜斜率与该已知双眼间距,计算出该第一二维双眼坐标与该第二二维双眼坐标。

5.如权利要求3所述的互动模块,其特征在于,该眼睛定位电路另包含:一第一红外光发光组件,用来发出一第一侦测光;以及

一红外光感测电路,用来根据该第一侦测光,产生一二维红外光坐标与一红外光斜率;

其中该眼镜坐标转换电路根据该红外光斜率、该第一眼镜斜率、该第二眼镜斜率、该二维红外光坐标、该第一二维眼镜坐标、该第二二维眼镜坐标、一第二校正眼镜斜率与该已知双眼间距,计算出该第一二维双眼坐标与该第二二维双眼坐标。

6.如权利要求1所述的互动模块,其特征在于,该定位模块为一眼睛定位模块,该眼睛定位模块用来侦测该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中该立体显示系统包含一显示屏以及一辅助眼镜,该显示屏用来提供一左影像与一右影像,该辅助眼镜用来辅助接收该左影像与该右影像,以得到该立体影像;

其中该眼睛定位模块包含:

一三维场景传感器,包含:

一第三影像传感器,用来感测该场景,以产生一第三二维感测影像;

一红外光发光组件,用来发出一侦测光至该场景,以使该场景产生一反射光;以及一光感测测距装置,用来感测该反射光,以产生一距离信息;

其中该距离信息具有该第三二维感测影像中每一点与该三维场景传感器之间的距离的资料;以及一眼睛坐标产生电路,包含:

一眼镜侦测电路,用来侦测该第三二维感测影像中的该辅助眼镜,以得到一第三二维眼镜坐标与一第三眼镜斜率;以及一眼镜坐标转换电路,用来根据该第三二维眼镜坐标、该第三眼镜斜率、一已知双眼间距与该距离信息,以计算出该三维双眼坐标。

7.如权利要求1所述的互动模块,其特征在于,该定位模块为一眼睛定位模块,该眼睛定位模块用来侦测该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中该眼睛定位模块包含:

一三维场景传感器,用来感测该场景,以产生一第三二维感测影像,以及对应于该第三二维感测影像的一距离信息;

其中该距离信息具有该第三二维感测影像中每一点与该三维场景传感器之间的距离的资料;以及一眼睛坐标产生电路,包含:

一眼睛侦测电路,用来侦测该第三二维感测影像中的眼睛,以得到一第三二维双眼坐标;

一三维坐标转换电路,用来根据该第三二维双眼坐标、该距离信息、一光感测测距装置的一测距位置,以及一第三影像传感器的一第三感测位置,计算出该三维双眼坐标。

8.一种应用于一立体互动系统的互动模块,该立体互动系统具有一立体显示系统,该立体显示系统用来提供一立体影像,该立体影像具有一虚拟物品,该虚拟物品具有一虚拟坐标与一判断条件,该互动模块的特征在于包含:一定位模块,用来侦测在一场景中使用者的位置,以产生一三维参考坐标;

一操作组件;

一互动组件定位模块,用来侦测该操作组件的位置,以产生一三维互动坐标;以及一互动判断电路,用来根据该三维参考坐标转换该三维互动坐标为一三维校正互动坐标,且根据该三维校正互动坐标、该虚拟坐标与该判断条件,以控制该立体影像。

9.如权利要求8所述的互动模块,其特征在于,该定位模块为一眼睛定位模块,该眼睛定位模块用来侦测该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;该互动判断电路根据该三维双眼坐标与该三维互动坐标,得出该操作组件投影在该立体显示系统上的一三维左互动投影坐标与一三维右互动投影坐标;该互动判断电路根据该三维左互动投影坐标与一已知左眼坐标来决定一左参考直线,并根据该三维右互动投影坐标与一已知右眼坐标来决定一右参考直线;该互动判断电路根据该左参考直线与该右参考直线,得到该三维校正互动坐标。

10.如权利要求9所述的互动模块,其特征在于,当左参考直线与该右参考直线相交时,该互动判断电路根据该左参考直线与该右参考直线的交点的坐标,得到该三维校正互动坐标;当左参考直线与该右参考直线不相交时,该互动判断电路根据该左参考直线与该右参考直线,得到具有与该左参考直线与该右参考直线的最小距离和的一参考中点,且该参考中点与该左参考直线之间的距离等于该参考中点与该右参考直线之间的距离,该互动判断电路根据该参考中点的坐标得到该三维校正互动坐标。

11.如权利要求9所述的互动模块,其特征在于,该互动判断电路根据该左参考直线与该右参考直线得到一中心点;该互动判断电路根据该中心点决定一搜寻范围;该搜寻范围内具有M个搜寻点;该互动判断电路根据该已知双眼坐标、该M个搜寻点与该三维双眼坐标,决定在对应于该三维双眼坐标的坐标系统中,对应于该M个搜寻点的M个端点;该互动判断电路分别根据该M个端点的位置与该三维互动坐标来决定对应于该M个端点的M个误差距离;该互动判断电路根据该M个端点的一第K个端点具有最小误差距离,决定该三维校正互动坐标;其中M、K分别代表正整数,且K≤M;

其中该互动判断电路根据该M个搜寻点的一第K个搜寻点与该已知双眼坐标,决定一左搜寻投影坐标与一右搜寻投影坐标;该互动判断电路根据该左搜寻投影坐标、该右搜寻投影坐标与该三维双眼坐标,得到在该M个端点中,对应于该第K个搜寻点的该第K个端点。

12.如权利要求8所述的互动模块,其特征在于,该定位模块为一眼睛定位模块,该眼睛定位模块用来侦测该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中在该已知双眼坐标所对应的坐标系统中具有M个搜寻点;该互动判断电路根据该已知双眼坐标、该M个搜寻点与该三维双眼坐标,决定在对应于该三维双眼坐标的坐标系统中,对应于该M个搜寻点的M个端点;该互动判断电路分别根据该M个端点的位置与该三维互动坐标来决定对应于该M个端点的M个误差距离;该互动判断电路根据该M个端点的一第K个端点具有最小误差距离,决定该三维校正互动坐标;其中M、K分别代表正整数,且K≤M;

其中该互动判断电路根据该M个搜寻点的一第K个搜寻点与该已知双眼坐标,决定一左搜寻投影坐标与一右搜寻投影坐标;该互动判断电路根据该左搜寻投影坐标、该右搜寻投影坐标与该三维双眼坐标,得到在该M个端点中,对应于该第K个搜寻点的该第K个端点。

13.如权利要求8所述的互动模块,其特征在于,该定位模块为眼睛定位模块,该眼睛定位模块用来侦测该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中该立体显示系统包含一显示屏以及一辅助眼镜,该显示屏用来提供一左影像与一右影像,该辅助眼镜用来辅助接收该左影像与该右影像,以得到该立体影像;

其中该眼睛定位模块包含:

一第一影像传感器,用来感测该场景,以产生一第一二维感测影像;

一第二影像传感器,用来感测该场景,以产生一第二二维感测影像;

一眼睛定位电路,包含:

一眼镜侦测电路,用来侦测该第一二维感测影像中的该辅助眼镜,以得到一第一二维眼镜坐标与一第一眼镜斜率,并侦测该第二二维感测影像中的该辅助眼镜,以得到一第二二维眼镜位置与一第二眼镜斜率;以及一眼镜坐标转换电路,用来根据该第一二维眼镜坐标、该第一眼镜斜率、该第二二维眼镜坐标、该第二眼镜斜率与一已知双眼间距,计算出一第一二维双眼坐标与一第二二维双眼坐标;以及一三维坐标转换电路,用来根据该第一二维双眼坐标、该第二二维双眼坐标、该第一影像传感器的一第一感测位置与该第二影像传感器的一第二感测位置,计算出该三维双眼坐标。

14.如权利要求13所述的互动模块,其特征在于,该眼睛定位电路还包含一倾斜侦测器;该倾斜侦测器设置在该辅助眼镜上;该倾斜侦测器用来根据该辅助眼镜的倾斜角度,产生一倾斜信息;该眼镜坐标转换电路根据该倾斜信息、第一二维眼镜坐标、该第一眼镜斜率、该第二二维眼镜坐标、该第二眼镜斜率与该已知双眼间距,计算出该第一二维双眼坐标与该第二二维双眼坐标。

15.如权利要求13所述的互动模块,其特征在于,该眼睛定位电路还包含:一第一红外光发光组件,用来发出一第一侦测光;以及

一红外光感测电路,用来根据该第一侦测光,产生一二维红外光坐标与一红外光斜率;

其中该眼镜坐标转换电路根据该红外光斜率、该第一眼镜斜率、该第二眼镜斜率、该二维红外光坐标、该第一二维眼镜坐标、该第二二维眼镜坐标、一第二校正眼镜斜率与该已知双眼间距,计算出该第一二维双眼坐标与该第二二维双眼坐标。

16.如权利要求8所述的互动模块,其特征在于,该定位模块为一眼睛定位模块,该眼睛定位模块用来侦测该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中该立体显示系统包含一显示屏以及一辅助眼镜,该显示屏用来提供一左影像与一右影像,该辅助眼镜用来辅助接收该左影像与该右影像,以得到该立体影像;

其中该眼睛定位模块包含:

一三维场景传感器,包含:

一第三影像传感器,用来感测该场景,以产生一第三二维感测影像;

一红外光发光组件,用来发出一侦测光至该场景,以使该场景产生一反射光;以及一光感测测距装置,用来感测该反射光,以产生对应于该第三二维感测影像的一距离信息;

其中该距离信息具有该第三二维感测影像中每一点与该三维场景传感器之间的距离的资料;以及一眼睛坐标产生电路,包含:

一眼镜侦测电路,用来侦测该第三二维感测影像中的该辅助眼镜,以得到一第三二维眼镜坐标与一第三眼镜斜率;以及一眼镜坐标转换电路,用来根据该第三二维眼镜坐标、该第三眼镜斜率、一已知双眼间距与该距离信息,计算出该三维双眼坐标。

17.如权利要求8所述的互动模块,其特征在于,该定位模块为眼睛定位模块,该眼睛定位模块用来侦测该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中该眼睛定位模块包含:

一三维场景传感器,用来感测该场景,以产生一第三二维感测影像,以及对应于该第三二维感测影像的一距离信息;

其中该距离信息具有该第三二维感测影像中每一点与该三维场景传感器之间的距离的资料;以及一眼睛坐标产生电路,包含:

一眼睛侦测电路,用来侦测该第三二维感测影像中的眼睛,以得到一第三二维双眼坐标;

一三维坐标转换电路,用来根据该第三二维双眼坐标、该距离信息、一光感测测距装置的一测距位置,以及一第三影像传感器的一第三感测位置,计算出该三维双眼坐标。

18.一种用来控制一立体互动系统的一立体影像的方法,该立体互动系统具有一立体显示系统与一操作组件,该立体显示系统用来提供一立体影像,该立体影像具有一虚拟物品,该虚拟物品具有一虚拟坐标与一判断条件,该方法的特征在于包含:侦测在一场景中使用者的位置,以产生一三维参考坐标;

侦测该操作组件的位置,以产生一三维互动坐标;以及

根据该三维参考坐标、该三维互动坐标、该虚拟坐标与该判断条件,以控制该立体影像。

19.如权利要求18所述的方法,其特征在于,侦测在该场景中使用者的位置,以产生该三维参考坐标包含侦测在该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中根据该三维参考坐标、该三维互动坐标、该虚拟坐标与该判断条件,以控制该立体影像包含:根据该三维双眼坐标转换该虚拟坐标为一校正虚拟坐标;以及

根据该三维互动坐标、该校正虚拟坐标与该判断条件,以控制该立体影像。

20.如权利要求18所述的方法,其特征在于,侦测在该场景中使用者的位置,以产生该三维参考坐标包含侦测于该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中根据该三维参考坐标、该三维互动坐标、该虚拟坐标与该判断条件,以控制该立体影像包含:根据该三维双眼坐标转换该虚拟坐标为一校正虚拟坐标;

根据该三维双眼坐标转换该判断条件为一校正互动判断条件;以及根据该三维互动坐标、该校正虚拟坐标与该校正互动判断条件,以控制该立体影像;

其中根据该三维双眼坐标转换该判断条件为该校正互动判断条件包含:根据一互动临界距离与该虚拟坐标,计算出一临界面;以及

根据该三维双眼坐标转换该临界面为一校正临界面;

其中该校正互动判断条件为当该三维互动坐标进入该校正临界面时,表示接触。

21.如权利要求18所述的方法,其特征在于,侦测在该场景中使用者的位置,以产生该三维参考坐标包含侦测在该场景中使用者的眼睛的位置,以产生一三维双眼坐标作为该三维参考坐标;

其中根据该三维双眼坐标、该三维互动坐标、该虚拟坐标与该判断条件,以控制该立体影像包含:根据该三维双眼坐标转换该三维互动坐标为一三维校正互动坐标;以及根据该三维校正互动坐标、该虚拟坐标与该判断条件,以控制该立体影像;

其中该判断条件为当该三维校正互动坐标与该虚拟坐标之间的距离小于一互动临界距离时表示接触。

22.如权利要求21所述的方法,其特征在于,根据该三维双眼坐标转换该三维互动坐标为该三维校正互动坐标包含:根据该三维双眼坐标与该三维互动坐标,得出该操作组件投影在该立体显示系统上的一三维左互动投影坐标与一三维右互动投影坐标;

根据该三维左互动投影坐标与一已知左眼坐标来决定一左参考直线,并根据该三维右互动投影坐标与一已知右眼坐标来决定一右参考直线;以及根据该左参考直线与该右参考直线,得到该三维校正互动坐标。

23.如权利要求22所述的方法,其特征在于,根据该左参考直线与该右参考直线,得到该三维校正互动坐标包含:当该左参考直线与该右参考直线相交时,根据该左参考直线与该右参考直线的交点的坐标,得到该三维校正互动坐标;以及当该左参考直线与该右参考直线不相交时,根据该左参考直线与该右参考直线,得到具有与该左参考直线与该右参考直线的最小距离和的一参考中点,且根据该参考中点的坐标得到该三维校正互动坐标;

其中该参考中点与该左参考直线之间的距离等于该参考中点与该右参考直线之间的距离。

24.如权利要求23所述的方法,其特征在于,根据该左参考直线与该右参考直线,得到该三维校正互动坐标包含:根据该左参考直线与该右参考直线得到一中心点;

根据该中心点决定一搜寻范围;

其中该搜寻范围内具有M个搜寻点;

根据该已知双眼坐标、该M个搜寻点与该三维双眼坐标,决定对应于该M个搜寻点的M个端点;

分别根据该M个端点的位置与该三维互动坐标决定对应于该M个端点的M个误差距离;以及根据该M个端点的第K个端点具有最小误差距离,决定该三维校正互动坐标;

其中M、K分别代表正整数,且K≤M;

其中根据该已知双眼坐标、该M个搜寻点与该三维双眼坐标,决定对应于该M个搜寻点的该M个端点包含:根据该M个搜寻点的一第K个搜寻点与该已知双眼坐标,决定一左搜寻投影坐标与一右搜寻投影坐标;

根据该左搜寻投影坐标、该右搜寻投影坐标与该三维双眼坐标,得到在该M个端点中,对应于该第K个搜寻点的该第K个端点。

25.如权利要求21所述的方法,其特征在于,根据该三维双眼坐标转换该三维互动坐标为该三维校正互动坐标包含:根据该已知双眼坐标、该已知双眼坐标所对应的坐标系统中的M个搜寻点与该三维双眼坐标,决定在对应于该三维双眼坐标的坐标系统中,对应于该M个搜寻点的M个端点;

分别根据该M个端点的位置与该三维互动坐标来决定对应于该M个端点的M个误差距离;以及根据该M个端点的一第K个端点具有最小误差距离,决定该三维校正互动坐标;

其中M、K分别代表正整数,且K≤M;

其中根据该已知双眼坐标、该已知双眼坐标所对应的坐标系统中的该M个搜寻点与该三维双眼坐标,决定在对应于该三维双眼坐标的坐标系统中,对应于该M个搜寻点的M个端点包含:根据该M个搜寻点的一第K个搜寻点与该已知双眼坐标,决定一左搜寻投影坐标与一右搜寻投影坐标;以及根据该左搜寻投影坐标、该右搜寻投影坐标与该三维双眼坐标,得到在该M个端点中,对应于该第K个搜寻点的该第K个端点。

说明书 :

应用于立体互动系统的互动模块及其方法

技术领域

[0001] 本发明涉及一种立体互动系统,更明确地说,涉及一种利用立体显示系统进行互动的立体互动系统。

背景技术

[0002] 在公知技术中,立体显示系统用来提供立体影像。如图1所示,立体显示系统可分为裸眼式立体显示系统与眼镜式立体显示系统。举例而言,在图1的左半部中的裸眼式立体显示系统110利用分光的方式,在不同角度提供不同的影像(如图1的影像DIMθ1~DIMθ8)。如此,由于使用者的双眼位于不同角度,因此使用者可分别接收到左影像DIML(影像DIMθ4)与右影像DIMR(影像DIMθ5),并据以得到裸眼式立体显示系统110所提供的立体影像。在图1的右半部的眼镜式立体显示系统120包含显示屏121与辅助眼镜122。显示屏121用来提供左影像DIML与右影像DIMR。辅助眼镜122用来辅助使用者的双眼分别接收左影像DIML与右影像DIMR,以让使用者可得到该立体影像。
[0003] 然而,使用者从立体显示系统所得到的立体影像,会随着使用者的位置而改变。以眼镜式立体显示系统120为例,如图2所示(在图2中未图示辅助眼镜122),立体显示系统120所提供的立体影像中具有虚拟物品VO(举例而言,虚拟物品VO为网球)。其中虚拟物品VO在左影像DIML中的位置为LOCILVO,在右影像DIMR中的位置为LOCIRVO。设此时使用者的左眼的位置为LOC1LE,使用者的右眼的位置为LOC1RE。使用者的左眼的位置LOC1LE与虚拟物品VO的位置LOCILVO形成直线L1L;使用者的右眼的位置LOC1RE与虚拟物品VO的位置LOCIRVO形成直线L1R。如此,使用者所看到虚拟物品VO的位置根据直线L1L与L1R而决定。举例而言,当直线L1L与L1R的交点的位置为LOC1CP时,使用者所看到虚拟物品VO的位置即为LOC1CP。
同理,当使用者的双眼位置分别为LOC2LE与LOC2RE时,使用者的双眼的位置分别与虚拟物品VO的位置LOCILVO与LOCIRVO形成直线L2L与L2R。此时,使用者所看到虚拟物品VO的位置根据直线L2L与L2R而决定。也就是说,使用者所看到虚拟物品VO的位置即为直线L2L与L2R的交点的位置LOC2CP。
[0004] 由于使用者从立体显示系统所得到的立体影像,会随着使用者的位置而改变,因此当使用者欲通过互动模块(如游乐器)与立体显示系统互动时,可能会产生错误的互动结果。举例而言,使用者欲通过互动模块(如游乐器)与立体显示系统120进行立体网球游戏。使用者手持互动模块中的互动组件(如游戏控制游戏杆),以控制游戏中的角色挥拍击球。互动模块(游乐器)假设使用者的位置位于立体显示系统的正前方,且互动模块(游乐器)假设使用者的双眼位置分别为LOC1LE与LOC1RE。此时,互动模块(游乐器)控制立体显示系统120在左影像DIML中显示网球的位置LOCILVO,在右影像DIMR中显示网球的位置为LOCIRVO。因此,互动模块(游乐器)假设使用者所看到的3D网球位置为LOC1CP(如图2所示)。此外,当使用者挥拍的位置与位置LOC1CP之间的距离小于互动临界距离DTH时,互动模块(游乐器)即判断使用者击中网球。然而,若此时使用者的双眼位置实际上为LOC2LE与LOC2RE,则使用者实际上所看到的3D网球位置为LOC2CP。假设位置LOC2CP与LOC1CP之间的距离大于互动临界距离DTH。如此,当使用者控制互动组件(游戏控制游戏杆)对位置LOC2CP挥拍时,互动模块(游乐器)判断使用者没有击中网球。换句话说,虽然使用者实际上所看到的3D网球位置为LOC2CP,且使用者控制互动组件(游戏控制游戏杆)对位置LOC2CP挥拍,但是互动模块(游乐器)却判断使用者没有击中网球。也就是说,由于使用者的眼睛位置改变造成立体影像的失真,因此会造成互动模块(游乐器)误判使用者与物品的互动关系,产生不正确的互动结果,带给使用者很大的不便。

发明内容

[0005] 本发明提供一种应用于一立体互动系统的互动模块。该立体互动系统具有一立体显示系统。该立体显示系统用来提供一立体影像。该立体影像具有一虚拟物品。该虚拟物品具有一虚拟坐标与一互动判断条件。该互动模块包含一定位模块、一互动组件、一互动组件定位模块,以及一互动判断电路。该定位模块用来侦测在一场景中使用者的位置,以产生一三维参考坐标。该互动组件定位模块用来侦测该互动组件的位置,产生一三维互动坐标。该互动判断电路用来根据该三维参考坐标转换该虚拟坐标为一校正虚拟坐标,且根据该三维互动坐标、该校正虚拟坐标与该互动判断条件,决定该互动组件与该立体影像之间的一互动结果。
[0006] 本发明还提供一种应用于一立体互动系统的互动模块。该立体互动系统具有一立体显示系统。该立体显示系统用来提供一立体影像。该立体影像具有一虚拟物品。该虚拟物品具有一虚拟坐标与一互动判断条件。该互动模块包含一定位模块、一互动组件、一互动组件定位模块,以及一互动判断电路。该定位模块用来侦测在一场景中使用者的位置,以产生一三维参考坐标。该互动组件定位模块用来侦测该互动组件的位置,以产生一三维互动坐标。该互动判断电路用来根据该三维参考坐标转换该三维互动坐标为一三维校正互动坐标,且根据该三维校正互动坐标、该虚拟坐标与该互动判断条件,决定该互动组件与该立体影像之间的一互动结果。
[0007] 本发明还提供一种用来决定一立体互动系统的一互动结果的方法。该立体互动系统具有一立体显示系统与一互动组件。该立体显示系统用来提供一立体影像。该立体影像具有一虚拟物品。该虚拟物品具有一虚拟坐标与一互动判断条件。该方法包含侦测在一场景中使用者的位置,以产生一三维参考坐标、侦测该互动组件的位置,以产生一三维互动坐标,以及根据该三维参考坐标、该三维互动坐标、该虚拟坐标与该互动判断条件,决定该互动组件与该立体影像之间的该互动结果。

附图说明

[0008] 图1为说明公知技术的立体显示系统的示意图。
[0009] 图2为说明公知技术的立体显示系统所提供的立体影像随使用者的位置而改变的示意图。
[0010] 图3与图4为说明本发明的立体互动系统的示意图。
[0011] 图5为说明本发明的校正方法的第一实施例的示意图。
[0012] 图6、图7与图8为说明可减少互动判断电路在本发明的校正方法的第一实施例中所需处理的搜寻点的数目的方式的示意图。
[0013] 图9与图10为说明本发明的校正方法的第二实施例的示意图。
[0014] 图11与图12为说明本发明的校正方法的第三实施例的示意图。
[0015] 图13为说明本发明的立体互动系统可控制声光效果的示意图。
[0016] 图14为本发明的眼睛定位模块的第一实施例的示意图。
[0017] 图15为本发明的眼睛定位电路的第一实施例的示意图。
[0018] 图16为本发明的眼睛定位模块的另一实施例的示意图。
[0019] 图17为本发明的眼睛定位电路的另一实施例的示意图。
[0020] 图18为本发明的眼睛定位电路的另一实施例的示意图。
[0021] 图19与图20为本发明的眼睛定位电路的另一实施例的示意图。
[0022] 图21与图22为本发明的眼睛定位电路的另一实施例的示意图。
[0023] 图23为本发明的眼睛定位模块的另一实施例的示意图。
[0024] 图24为本发明的三维场景传感器的第一实施例的示意图。
[0025] 图25为本发明的眼睛坐标产生电路的第一实施例的示意图。
[0026] 图26为本发明的眼睛坐标产生电路的另一实施例的示意图。
[0027] 图27为本发明的眼睛坐标产生电路的另一实施例的示意图。
[0028] 图28为本发明的眼睛坐标产生电路的另一实施例的示意图。
[0029] 其中,附图标记说明如下:
[0030] 110、120、310 立体显示系统
[0031] 121 显示屏
[0032] 122 辅助眼镜
[0033] 300 立体互动系统
[0034] 320 互动模块
[0035] 321 定位模块
[0036] 322 互动组件
[0037] 323 互动组件定位模块
[0038] 324 互动判断电路
[0039] 330 显示控制电路
[0040] 340 喇叭
[0041] 350 声音控制电路
[0042] 1100、1300、1700 眼睛定位模块
[0043] 1110、1120、1810 影像传感器
[0044] 1130、1200、1400、1500、1600、 眼睛定位电路
[0045] 2300
[0046] 1140、1920 三维坐标转换电路
[0047] 1210、1910 眼睛侦测电路
[0048] 1350、2030 人脸侦测电路
[0049] 1410、2110、2310 眼镜侦测电路
[0050] 1420、2120、2320 眼镜坐标转换电路
[0051] 1530、2230 倾斜侦测器
[0052] 1640、1820、2340 红外光发光组件
[0053] 1650 红外光反射组件
[0054] 1660、2360 红外光感测电路
[0055] 1710、1800 三维场景传感器
[0056] 1720、1900、2000、2100、 眼睛坐标产生电路
[0057] 2200
[0058] 1830 光感测测距装置
[0059] CONDPVO、CONDCVO 互动判断条件
[0060] DS 误差距离
[0061] DTH 互动临界距离
[0062] DMPR、DMPL 距离
[0063] DIM3D 立体影像
[0064] DIMθ1~DIMθ8、DIML、DIMR 影像
[0065] INFOD 距离信息
[0066] INFOTILT 倾斜信息
[0067] LD 侦测光
[0068] LR 反射光
[0069] L1L、L1R、L2L、L2R、LPL、LPR、
[0070] LAL、LAR、LREFL、LREFR、LPJL、直线
[0071] LPJR
[0072] LOC3D_PIO、LOC3D_CIO、
[0073] LOC3D_PVO、LOC3D_CVO、
[0074] LOC3D_EYE、LOCIRVO、
[0075] LOCILVO、LOC1CP、LOC2CP、
[0076] LOC1LE、LOC1LR、LOC2LE、
[0077] LOC2LR、LOC3D_LE、LOC3D_RE、
[0078] LOCLE_PRE、LOCRE_PRE、坐标
[0079] LOCPTH、LOCCTH、LOC3D_IPJR、
[0080] LOC3D_IPJL、LOC3D_SPJR、
[0081] LOC3D_SPJL、
[0082] LOCSEN1~LOCSEN3、
[0083] LOC2D_EYE1~LOC2D_EYE3、
[0084] LOCGLASS1、LOCGLASS2、
[0085] LOCGLASS3、LOCIR、LOCMD
[0086] MP 参考中点
[0087] PA、PX 搜寻点
[0088] PB 端点
[0089] PC 中心点
[0090] RA 搜寻范围
[0091] RT 互动结果
[0092] SC 场景
[0093] SIM2D1~SIM2D3 二维感测影像
[0094] SLGLASS1~SLGLASS3 眼镜斜率
[0095] SLIR 红外光斜率
[0096] SUFPTH、SUFCTH 临界面

具体实施方式

[0097] 本发明提供一种立体互动系统,可根据使用者的位置,校正互动组件的位置,或是立体影像中的虚拟物品的位置与互动判断条件,如此,本发明的立体互动系统可根据经校正后的互动组件的位置,或是经校正后的虚拟物品的位置与互动判断条件,得到正确的互动结果。
[0098] 请参考图3与图4。图3与图4为说明本发明的立体互动系统300的示意图。立体互动系统300包含立体显示系统310,以及互动模块320。立体显示系统310提供立体影像DIM3D。立体显示系统可借由裸眼式立体显示系统110或眼镜式立体显示系统120实施。互动模块320包含定位模块321、互动组件322、互动组件定位模块323,以及互动判断电路
324。定位模块321用来侦测在场景SC中使用者的位置,以产生三维参考坐标。互动组件定位模块323侦测互动组件322的位置,以产生三维互动坐标LOC3D_PIO。互动判断电路324根据3D参考坐标、三维互动坐标LOC3D_PIO与立体影像DIM3D,决定互动组件322与立体影像DIM3D之间的互动结果RT。
[0099] 为了方便说明,在本发明中假设定位模块321为眼睛定位模块进行举例说明。眼睛定位模块321侦测在场景SC中使用者的眼睛的位置,以产生三维双眼坐标LOC3D_EYE来作为三维参考坐标。其中三维双眼坐标LOC3D_EYE包含三维左眼坐标LOC3D_LE与三维右眼坐标LOC3D_RE。因此,此时互动判断电路324根据三维双眼坐标LOC3D_EYE、三维互动坐标LOC3D_PIO与立体影像DIM3D,决定互动组件322与立体影像DIM3D之间的互动结果RT。然而,本发明的定位模块321不限定为眼睛侦测模块,举例而言,定位模块321可借由侦测使用者的其它特征(如使用者的耳朵或嘴巴等),以定位使用者的位置。
[0100] 以下将更进一步地说明本发明的立体互动系统300的工作原理。
[0101] 立体影像DIM3D由左影像DIML与右影像DIMR所形成。设立体影像DIM3D具有虚拟物品VO。举例而言,使用者通过立体互动系统300进行网球游戏,虚拟物品VO为网球,使用者借由互动组件322控制在立体影像DIM3D中的另一虚拟物品(如网球拍),来进行网球游戏。虚拟物品VO具有虚拟坐标LOC3D_PVO与互动判断条件CONDPVO。更明确地说,虚拟物品VO在立体显示系统310所提供的左影像DIML中的位置为LOCILVO,在立体显示系统310所提供的右影像DIMR中的位置为LOCIRVO。互动模块320先假设使用者处于参考位置(如立体显示系统310的正前方),且使用者的双眼位置等于已知双眼坐标LOCEYE_PRE,其中已知双眼坐标LOCEYE_PRE包含已知左眼坐标LOCLE_PRE与已知右眼坐标LOCRE_PRE。根据直线LPL(已知左眼坐标LOCLE_PRE与虚拟物品VO在左影像DIML的位置LOCILVO之间的直线)与直线LPR(已知右眼坐标LOCRE_PRE与虚拟物品VO在右影像DIMR的位置LOCIRVO之间的直线),立体互动系统300可得到使用者从已知双眼坐标LOCEYE_PRE所看到的虚拟物品VO在位置LOC3D_PVO,并将虚拟物品VO的虚拟坐标设定为LOC3D_PVO。更明确地说,使用者具有立体成像位置模型MODELLOC可用来依据双眼所接收的影像来定位物品的位置。也就是说,当使用者接收左影像DIML与右影像DIMR后,使用者依据左影像DIML中虚拟物品VO的位置LOCILVO、右影像DIMR中虚拟物品VO的位置为LOCIRVO,即可借由立体成像位置模型MODELLOC来定位虚拟物品VO的立体成像位置。举例而言,在本发明中,假设立体成像位置模型MODELLOC为依据虚拟物品VO在左影像DIML中的位置(如位置LOCILVO)与使用者左眼的位置(如已知左眼坐标LOCLE_PRE)的第一联机(如直线LPL)与依据虚拟物品VO在右影像DIMR中的位置(如已知右眼坐标LOCIRVO)与使用者右眼的位置(如位置LOCRE_PRE)的第二联机(如直线LPR),决定虚拟物品VO的立体成像位置。当上述的第一联机与第二联机交叉于一交叉点时,立体成像位置模型MODELLOC可设定虚拟物品VO的立体成像位置为交叉点的坐标;当上述的第一联机与第二联机没有交叉点时,立体成像位置模型MODELLOC可先决定具有与第一联机与第二联机的最小距离和的参考中点,并设定虚拟物品VO的立体成像位置为参考中点的坐标。虚拟物品VO的互动判断条件CONDPVO用来提供给互动判断电路324决定互动结果RT。举例而言,互动判断条件CONDPVO可设为当互动组件322的位置与虚拟坐标LOC3D_PVO之间的距离小于互动临界距离DTH时,互动结果RT表示「接触」,也就是说,此时互动判断电路324判断互动组件322所控制的网球拍接触到立体影像DIM3D中的虚拟物品VO(举例而言,如击中网球);当互动组件322的位置与虚拟坐标LOC3D_PVO之间的距离大于互动临界距离DTH时,互动结果RT表示「未接触」,也就是说,此时互动判断电路324判断互动组件322没有接触到立体影像DIM3D中的虚拟物品VO(举例而言,没有击中网球)。
[0102] 在本发明中,互动判断电路324根据三维双眼坐标(三维参考坐标)LOC3D_EYE、三维互动坐标LOC3D_PIO与立体影像DIM3D,决定互动结果RT。更明确地说,由于当使用者不是从立体互动系统300所假设的已知双眼坐标LOCEYE_PRE观看立体影像DIM3D时,使用者所看到虚拟物品VO的位置会改变且虚拟物品VO可能会有点变形,而导致不正确的互动结果RT。因此,本发明提供三种校正方法的实施例。以下将作进一步地说明。
[0103] 在本发明的校正方法的第一实施例中,互动判断电路324根据使用者观看立体影像DIM3D的位置(三维双眼坐标LOC3D_EYE),校正使用者实际上欲通过互动组件322进行互动的位置,来得到正确的互动结果RT。更明确地说,互动判断电路324依据立体成像位置模型MODELLOC,计算当使用者的双眼位置为已知双眼坐标LOCEYE_PRE时所观察到的互动组件322所控制的虚拟物品(如网球拍)的位置(此位置即为三维校正互动坐标LOC3D_CIO)。接着,互动判断电路324根据三维校正互动坐标LOC3D_CIO、虚拟物品VO的虚拟坐标LOC3D_PVO与互动判断条件CONDPOV,决定当使用者的双眼位置为已知双眼坐标LOCEYE_PRE时所观察到的互动结果RT。由于互动结果RT不随着使用者的位置而改变,因此此时互动判断电路324所得到的互动结果即为使用者的双眼位置虚拟在三维双眼坐标LOC3D_EYE所观察到的互动结果RT。
[0104] 请参考图5。图5为说明本发明的校正方法的第一实施例的示意图。互动判断电路324根据三维双眼坐标(三维参考坐标)LOC3D_EYE转换三维互动坐标LOC3D_PIO为三维校正互动坐标LOC3D_CIO。更明确地说,互动判断电路324根据三维双眼坐标LOC3D_EYE与三维互动坐标LOC3D_PIO,计算出当使用者的双眼位置虚拟在已知双眼坐标LOCEYE_PRE时,使用者所观察到的互动组件322的位置(意即三维校正互动坐标LOC3D_CIO)。举例而言,在已知双眼坐标LOCEYE_PRE的坐标系统中具有复数个搜寻点P(如图5所示的搜寻点PA)。互动判断电路324根据搜寻点PA与已知双眼坐标LOCLE_PRE与LOCRE_PRE,可得到搜寻点PA投影于左影像DIML的左搜寻投影坐标LOC3D_SPJL,以及搜寻点PA投影于右影像DIMR的右搜寻投影坐标LOC3D_SPJR。借由本发明所假设的立体成像位置模型MODELLOC,互动判断电路324根据搜寻投影坐标LOC3D_SPJL与LOC3D_SPJR,以及三维双眼坐标LOC3D_EYE可得到在对应于三维双眼坐标LOC3D_EYE的坐标系统中,对应于搜寻点PA的端点PB,且互动判断电路324可进一步地计算出端点PB与三维互动坐标LOC3D_PIO的误差距离DS。如此一来,互动判断电路324根据上述所说明的方式,可计算在已知双眼坐标LOCEYE_PRE的坐标系统中所有搜寻点P所对应的误差距离DS。当一搜寻点(举例而言,如PX)所对应的误差距离DS最小时,互动判断电路324根据搜寻点PX的位置来决定三维校正互动坐标LOC3D_CIO。由于当使用者的双眼位置为三维双眼坐标LOC3D_EYE时,使用者所看到的立体影像DIM3D的各虚拟物品的位置皆是从已知双眼坐标LOCEYE_PRE的坐标系统转换至三维双眼坐标LOC3D_EYE的坐标系统。因此借由图5所说明的方法计算三维校正互动坐标LOC3D_CIO时,坐标系统的转换方向与使用者所看到的立体影像DIM3D的各虚拟物品的转换方向相同,如此可减少因非线性坐标系统转换所产生的误差,而得到较正确的三维校正互动坐标LOC3D_CIO。
[0105] 为了减少在本发明的校正方法的第一实施例中,互动判断电路324当计算在已知双眼坐标LOCEYE_PRE的坐标系统中搜寻点P所对应的误差距离DS时所需的运算资源,本发明更进一步地提供简化的方式,以减少互动判断电路324所需处理的搜寻点P的数目。请参考图6、图7与图8。图6、图7与图8为说明可减少互动判断电路324在本发明的校正方法的第一实施例中所需处理的搜寻点的数目的方式的示意图。互动判断电路324根据三维双眼坐标LOC3D_EYE将三维双眼坐标LOC3D_EYE的坐标系统中的三维互动坐标LOC3D_PIO转换为已知双眼坐标LOCEYE_PRE的坐标系统中的中心点PC。由于中心点PC对应于三维双眼坐标LOC3D_EYE的坐标系统中的三维互动坐标LOC3D_PIO,因此在一般的情况下,具有最小误差距离DS的搜寻点PX会邻近于中心点PC。换句话说,互动判断电路324可仅计算邻近于中心点PC的搜寻点P所对应的误差距离DS,即可得到具有最小误差距离DS的搜寻点PX,并据以决定三维校正互动坐标LOC3D_CIO。
[0106] 更明确地说,如图6所示,根据互动组件322的三维互动坐标LOC3D_PIO与使用者的三维左眼坐标LOC3D_LE可形成投影直线LPJL。投影直线LPJL与立体显示系统310交会于位置LOC3D_IPJL。其中位置LOC3D_IPJL即为使用者所看到互动组件322投影于立体显示系统310所提供的左影像DIML的三维左互动投影坐标;同理,根据互动组件322的三维互动坐标LOC3D_PIO与使用者的三维右眼坐标LOC3D_ER可形成投影直线LPJR。投影直线LPJR与3D投影系统310交会于位置LOC3D_IPJR。其中位置LOC3D_IPJR即为使用者所看到互动组件322投影于立体显示系统310所提供的右影像DIML的三维右互动投影坐标。也就是说,互动判断电路324根据三维双眼坐标LOC3D_EYE与三维互动坐标LOC3D_PIO,以得出互动组件322投影于立体显示系统310上的三维左互动投影坐标LOC3D_IPJL与三维右互动投影坐标LOC3D_IPJR。互动判断电路324根据三维左互动投影坐标LOC3D_IPJL与已知左眼坐标LOCLE_PRE来决定左参考直线LREFL,并根据该三维右互动投影坐标LOC3D_IPJR与已知右眼坐标LOCRE_PRE来决定右参考直线LREFR。互动判断电路324根据左参考直线LREFL与右参考直线LREFR,可得到在已知双眼坐标LOCEYE_PRE的坐标系统中的中心点PC。举例而言,当左参考直线LREFL与右参考直线LREFR相交于交点CP时(如图6所示),互动判断电路324可根据交点CP的位置,决定中心点PC。当左参考直线LREFL与右参考直线LREFR不直接相交时(如图7所示),互动判断电路324根据左参考直线LREFL与右参考直线LREFR,得到具有与左参考直线LREFL与右参考直线LREFR的最小距离和的参考中点MP,且参考中点MP与左参考直线LREFL之间的距离DMPL等于参考中点MP与右参考直线LREFR之间的距离DMPR。此时,参考中点MP即为中心点PC。当互动判断电路324得到中心点PC后,如图8所示,互动判断电路324可根据中心点PC决定搜寻范围RA。互动判断电路324只计算在搜寻范围RA中的搜寻点P所对应的误差距离DS。因此相较于在图5中所说明的全面搜寻的方式,利用图6、图7与图8所说明的方式,可进一步地节省互动判断电路
324在计算三维校正互动坐标LOC3D_CIO时所需的运算资源。
[0107] 请参考图9与图10。图9与图10为说明本发明的校正方法的第二实施例的搜寻点的示意图。互动判断电路324根据三维双眼坐标(三维参考坐标)LOC3D_EYE转换三维互动坐标LOC3D_PIO为三维校正互动坐标LOC3D_CIO。更明确地说,互动判断电路324根据三维双眼坐标LOC3D_EYE与三维互动坐标LOC3D_PIO,计算出当使用者的双眼位置为已知双眼坐标LOCEYE_PRE时,使用者所观察到的互动组件322的位置(意即三维校正互动坐标LOC3D_CIO)。举例而言,如图9所示,根据互动组件322的三维互动坐标LOC3D_PIO与使用者的三维左眼坐标LOC3D_LE可形成投影直线LPJL。投影直线LPJL与立体显示系统310交会于位置LOC3D_IPJL。其中位置LOC3D_IPJL即为使用者所看到互动组件322投影于立体显示系统310所提供的左影像DIML的三维左互动投影坐标;同理,根据互动组件322的三维互动坐标LOC3D_PIO与使用者的三维右眼坐标LOC3D_ER可形成投影直线LPJR。投影直线LPJR与3D投影系统310交会于位置LOC3D_IPJR。其中位置LOC3D_IPJR即为使用者所看到互动组件322投影于立体显示系统310所提供的右影像DIML的三维右互动投影坐标。也就是说,互动判断电路324根据三维双眼坐标LOC3D_EYE与三维互动坐标LOC3D_PIO,得出互动组件322投影于立体显示系统310上的三维左互动投影坐标LOC3D_IPJL与三维右互动投影坐标LOC3D_IPJR。互动判断电路324根据三维左互动投影坐标LOC3D_IPJL与已知左眼坐标LOCLE_PRE决定左参考直线LREFL,并根据该三维右互动投影坐标LOC3D_IPJR与已知右眼坐标LOCRE_PRE决定右参考直线LREFR。如此,互动判断电路324根据左参考直线LREFL与右参考直线LREFR,即可得到当使用者的双眼位置虚拟在已知双眼坐标LOCEYE_PRE时,使用者所观察到的互动组件322的位置(三维校正互动坐标LOC3D_CIO)。更进一步地说,当左参考直线LREFL与右参考直线LREFR相交于交点CP时,交点CP的坐标为三维校正互动坐标LOC3D_CIO;当左参考直线LREFL与右参考直线LREFR不直接相交时(如图10所示),互动判断电路324根据左参考直线LREFL与右参考直线LREFR,得到具有与左参考直线LREFL与右参考直线LREFR的最小距离和的参考中点MP,且参考中点MP与左参考直线LREFL之间的距离DMPL等于参考中点MP与右参考直线LREFR之间的距离DMPR。此时,参考中点MP的坐标即可视为当使用者的双眼位置为已知双眼坐标LOCEYE_PRE时,使用者所观察到的互动组件322的位置(三维校正互动坐标LOC3D_CIO)。因此,互动判断电路324可根据三维校正互动坐标LOC3D_CIO,以及虚拟物品VO的虚拟坐标LOC3D_PVO与互动判断条件CONDPVO,以决定互动结果RT。相较于本发明的校正方法的第一实施例,在本发明的校正方法的第二实施例中,互动判断电路324根据三维互动坐标LOC3D_PIO与三维双眼坐标LOC3D_EYE,得到三维左互动投影坐标LOC3D_IPJL与三维右互动投影坐标LOC3D_IPJR,并进一步根据三维左互动投影坐标LOC3D_IPJL、三维右互动投影坐标LOC3D_IPJR与已知双眼坐标LOCEYE_PRE,得到三维校正互动坐标LOC3D_CIO。也就是说,在本发明的校正方法的第二实施例中为将对应于三维双眼坐标LOC3D_EYE的坐标系统的三维互动坐标LOC3D_PIO转换为对应于已知双眼坐标LOCEYE_PRE的坐标系统的位置,并以该位置作为三维校正互动坐标LOC3D_CIO。在本发明的校正方法的第二实施例中,对应于已知双眼坐标LOCEYE_PRE的坐标系统与对应于三维双眼坐标LOC3D_EYE的坐标系统之间的转换并非线性(意即将三维校正互动坐标LOC3D_CIO以类似上述说明的方式反转换回三维双眼坐标LOC3D_EYE的坐标系统的位置不等于三维互动坐标LOC3D_PIO),因此相较于本发明的校正方法的第一实施例,本发明的校正方法的第二实施例所得到的三维校正互动坐标LOC3D_CIO为近似值。然而,利用本发明的校正方法的第二实施例,互动判断电路324不需计算搜寻点P所对应的误差距离DS,因此可大量地节省互动判断电路324所需的运算资源。
[0108] 在本发明的校正方法的第三实施例中,互动判断电路324根据使用者实际上看立体影像DIM3D的位置(如图4所示的三维左眼坐标LOC3D_LE与三维右眼坐标LOC3D_RE),校正立体影像DIM3D(如虚拟物品VO的虚拟坐标LOC3D_PVO与互动判断条件CONDPVO),来得到正确的互动结果RT。更明确地说,互动判断电路324根据三维双眼坐标LOC3D_EYE(三维左眼坐标LOC3D_LE与三维右眼坐标LOC3D_RE)、虚拟物品VO的虚拟坐标LOC3D_PVO与互动判断条件CONDPVO,计算出当使用者的观看位置为三维双眼坐标LOC3D_EYE时,使用者实际上所看到虚拟物品VO的位置与使用者所应感受到的互动判断条件。如此,互动判断电路324即可根据互动组件322的位置(三维互动坐标LOC3D_PIO)、使用者实际上所看到虚拟物品VO的位置(如图4所示的经校正后的坐标),以及使用者所应感受到的互动判断条件(如图4所示的经校正后的互动判断条件),而决定正确的互动结果。
[0109] 请参考图11与图12。图11与图12为说明本发明的校正方法的第三实施例的示意图。在本发明的校正方法的第三实施例中,互动判断电路324根据三维双眼坐标(三维参考坐标)LOC3D_EYE校正立体影像DIM3D,以得到正确的互动结果RT。更明确地说,互动判断电路324根据三维双眼坐标(三维参考坐标)LOC3D_EYE转换虚拟物品VO的虚拟坐标LOC3D_PVO为校正虚拟坐标LOC3D_CVO。且互动判断电路324根据该三维双眼坐标LOC3D_EYE转换互动判断条件CONDPVO为校正互动判断条件CONDCVO。如此一来,互动判断电路324根据三维互动坐标LOC3D_PIO、校正虚拟坐标LOC3D_CVO与校正互动判断条件CONDCVO,决定互动结果RT。举例而言,如图11所示,使用者从三维左眼坐标LOC3D_LE与三维右眼坐标LOC3D_RE观看立体影像DIM3D。因此,互动判断电路324可根据直线LAL(三维左眼坐标LOC3D_LE与虚拟物品VO于左影像DIML的位置LOCILVO之间的直线)与直线LAR(三维右眼坐标LOC3D_RE与虚拟物品VO于右影像DIMR的位置LOCIRVO之间的直线),得到使用者从三维双眼坐标LOC3D_EYE所看到的虚拟物品VO在位置LOC3D_CVO。如此一来,互动判断电路324可根据三维双眼坐标LOC3D_EYE,校正虚拟坐标LOC3D_PVO,而得到使用者实际上看到虚拟物品VO所处的位置(校正虚拟坐标LOC3D_CVO)。如图12所示,互动判断条件CONDPVO为根据互动临界距离DTH与虚拟物品VO的位置所决定。因此,互动判断条件CONDPVO可视为以虚拟物品VO的位置为中心,以互动临界距离DTH为半径所形成的临界面SUFPTH。当互动组件322进入临界面SUFPTH时,互动判断电路324决定互动结果RT表示「接触」;当互动组件322没有进入临界面SUFPTH时,互动判断电路324决定互动结果RT表示「未接触」。由于临界面SUFPTH可视为由许多临界点PTH所组成,每个临界点PTH的位置为其虚拟坐标LOCPTH,因此互动判断电路324利用类似图11所说明的方法,可根据三维双眼坐标LOC3D_EYE,得到使用者实际上所感受到的每个临界点PTH的校正虚拟坐标LOCCTH。如此一来,所有临界点PTH的校正虚拟坐标LOCCTH即可形成经校正后的临界面SUFCTH。此时,校正临界面SUFCTH即为校正互动判断条件CONDCOV。也就是说,当互动组件322的三维互动坐标LOC3D_PIO进入校正临界面SUFCTH时,互动判断电路324决定互动结果RT表示「接触」(如图12所示)。如此一来,互动判断电路324根据三维双眼坐标LOC3D_EYE可校正立体影像DIM3D(虚拟物品VO的虚拟坐标LOC3D_PVO与互动判断条件CONDPVO),以得到使用者实际上看到虚拟物品VO的位置(校正虚拟坐标LOC3D_CVO)与使用者实际上所应感受到的互动判断条件(校正互动判断条件CONDCVO)。因此,互动判断电路324可根据互动组件322的三维互动坐标LOC3D_PIO、虚拟坐标LOC3D_CVO与校正互动判断条件CONDCVO,以正确地决定互动结果RT。此外,在一般的情况下,互动判断条件CONDPOV与校正互动判断条件CONDCOV的差异不大,举例而言,临界面SUFPTH为具有半径DTH的球面,此时,校正临界面SUFCTH也为球面,且其半径大约等于DTH。因此在本发明的校正方法的第三实施例中,也可仅校正虚拟物品VO的虚拟坐标LOC3D_PVO,而不校正互动判断条件CONDPVO,以节省互动判断电路324所需的运算资源。换句话说,互动判断电路324可依据校正虚拟坐标LOC3D_CVO与原本的互动判断条件CONDPVO,计算互动结果RT。
[0110] 此外,在本发明的校正方法的第三实施例中,互动判断电路324根据使用者实际上看立体影像DIM3D的位置(三维双眼坐标LOC3D_EYE),校正立体影像DIM3D(虚拟坐标LOC3D_PVO与互动判断条件CONDPVO),来得到正确的互动结果RT。因此在本发明所提供的校正方法的第三实施例中,若立体影像DIM3D中具有多个虚拟物品(举例而言,VO1~VOM),则互动判断电路324需计算每个虚拟物品VO1~VOM的校正虚拟坐标与校正互动判断条件。换句话说,互动判断电路324所需处理的资料量随着虚拟物品的数量而增加。然而,在本发明的校正方法的第一与第二实施例中,互动判断电路324根据使用者观看立体影像DIM3D的位置(三维双眼坐标LOC3D_EYE),以校正互动组件322的位置(三维互动坐标LOC3D_PIO),来得到正确的互动结果RT。因此在本发明所提供的校正方法的第一与第二实施例中,互动判断电路324仅需计算互动组件322的三维校正互动坐标LOC3D_CIO。换句话说,相较于本发明所提供的校正方法的第三实施例,即使虚拟物品的数量增加,互动判断电路324所需处理的资料量也不会改变。
[0111] 请参考图13,图13为说明本发明的立体互动系统300可控制声光效果的示意图。立体互动系统300另包含显示控制电路330,喇叭340,以及声音控制电路350。显示控制电路330根据互动结果RT,调整立体显示系统310所提供的立体影像DIM3D。举例而言,当互动判断电路324判断互动结果RT表示「接触」时,显示控制电路330控制立体显示系统
310显示虚拟物品VO(如网球)被互动组件322(对应于网球拍)击出的立体影像DIM3D。声音控制电路350根据互动结果RT调整喇叭340所提供的声音。举例而言,当互动判断电路
324判断互动结果RT表示「接触」时,声音控制电路350控制喇叭340输出虚拟物品VO(如网球)被互动组件322(对应于网球拍)击中的声音。
[0112] 请参考图14。图14为本发明的眼睛定位模块的实施例1100的示意图。眼睛定位模块1100包含影像传感器1110与1120、眼睛定位电路1130,以及三维坐标转换电路1140。影像传感器1110与1120用来感测范围涵盖使用者的位置的场景SC,以分别产生二维感测影像SIM2D1与SIM2D2,且影像传感器1110设置于感测位置LOCSEN1、影像传感器1120设置于感测位置LOCSEN2。眼睛定位电路1130用来根据二维感测影像SIM2D1与SIM2D2,分别得到在二维感测影像SIM2D1中使用者双眼的二维双眼坐标LOC2D_EYE1与在二维感测影像SIM2D2中使用者双眼的二维双眼坐标LOC2D_EYE2。三维坐标转换电路1140,用来根据二维双眼坐标LOC2D_EYE1与LOC2D_EYE2、影像传感器1110的位置LOCSEN1,以及影像传感器1120的位置LOCSEN2,计算出使用者的双眼的三维双眼坐标LOC3D_EYE,其工作原理为业界习知的技术,故不再赘述。
[0113] 请参考图15。图15为本发明的眼睛定位电路的实施例1200的示意图。眼睛定位电路1200包含眼睛侦测电路1210。眼睛侦测(eye-detecting)电路1210侦测二维感测影像SIM2D1中的使用者的眼睛,以得到二维双眼坐标LOC2D_EYE1,且眼睛侦测电路1210侦测二维感测影像SIM2D2中的使用者的眼睛,以得到二维双眼坐标LOC2D_EYE2。由于眼睛侦测为业界习知的技术,故不再赘述。
[0114] 请参考图16。图16为本发明的眼睛定位模块的实施例1300的示意图。相较于眼睛定位模块1100,眼睛定位模块1300还包含人脸侦测电路1350。人脸侦测电路1350用来辨识二维感测影像SIM2D1中的使用者的人脸HM1的范围与二维感测影像SIM2D2中的使用者的人脸HM2的范围,其中人脸侦测为业界习知的技术,故不再赘述。借由人脸侦测电路1350,眼睛定位电路1130只需根据人脸HM1与人脸HM2的范围内的资料,即可分别得到二维双眼坐标LOC2D_EYE1与LOC2D_EYE2。因此,相较于眼睛定位模块1100,眼睛定位模块1300可减少眼睛定位电路1340对于二维感测影像SIM2D1与SIM2D2所需处理的范围,提升眼睛定位模块1100的处理速度。
[0115] 考虑到立体显示系统310以眼镜式立体显示系统实施时,使用者的双眼可能会被眼镜式立体显示系统的辅助眼镜遮蔽,因此在图17中,本发明提供眼睛定位电路的另一实施例1400。设立体显示系统310包含显示屏311与辅助眼镜312。使用者配戴辅助眼镜312,以接收显示屏311所提供的左影像DIML与右影像DIMR。眼睛定位电路1400包含眼镜侦测电路1410,以及眼镜坐标转换电路1420。眼镜侦测电路1410侦测二维感测影像SIM2D1中的辅助眼镜312,以得到二维眼镜坐标LOCGLASS1与眼镜斜率SLGLASS1,且眼镜侦测电路1410侦测二维感测影像SIM2D2中的辅助眼镜312,以得到二维眼镜坐标LOCGLASS2与眼镜斜率SLGLASS2。
眼镜坐标转换电路1420根据二维眼镜坐标LOCGLASS1与LOCGLASS2、眼镜斜率SLGLASS1与SLGLASS2,以及使用者预先输入至立体互动系统300或立体互动系统300预先设定的已知双眼间距DEYE,计算出使用者的二维双眼坐标LOC2D_EYE1与LOC2D_EYE2。如此,即使使用者的双眼被眼镜所遮蔽时,本发明的眼睛定位模块仍可借由眼睛定位电路1400的设计,得到使用者的二维双眼坐标LOC2D_EYE1与LOC2D_EYE2。
[0116] 请参考图18。图18为本发明提供眼睛定位电路的另一实施例1500的示意图。相较于眼睛定位电路1400,眼睛定位电路1500还包含一倾斜侦测器1530。倾斜侦测器1530可设置在辅助眼镜312上。倾斜侦测器1530根据辅助眼镜312的倾斜角度,产生倾斜信息INFOTILT。举例而言,倾斜侦测器1530为陀螺仪(Gyroscope)。由于当在二维感测影像SIM2D1与影像SIM2D2中对应于辅助眼镜312的画素较少时,眼镜侦测电路1410所计算得到的眼镜斜率SLGLASS1与SLGLASS2较容易产生误差。因此借由倾斜侦测器1530所提供的倾斜信息INFOTILT,眼镜坐标转换电路1420可校正眼镜侦测电路1410所计算得到的眼镜斜率SLGLASS1与SLGLASS2。举例而言,眼镜坐标转换电路1420根据倾斜信息INFOTILT,校正眼镜侦测电路1410所计算得到的眼镜斜率SLGLASS1与SLGLASS2,并据以产生校正眼镜斜率SLGLASS1_C与校正眼镜斜率SLGLASS2_C。如此,眼镜坐标转换电路1420根据二维眼镜坐标LOCGLASS1与LOCGLASS2、校正眼镜斜率SLGLASS1_C与SLGLASS2_C、与已知双眼间距DEYE,可计算出二维双眼坐标LOC2D_EYE1与LOC2D_EYE2。因此,也就是说,相较于眼睛定位电路1400,在眼睛定位电路1500中,眼镜坐标转换电路1420可校正眼镜侦测电路1410计算眼镜斜率SLGLASS1与SLGLASS2时所产生的误差,以更正确地计算出使用者的二维双眼坐标LOC2D_EYE1与LOC2D_EYE2。
[0117] 请参考图19。图19为眼睛定位电路的另一实施例1600的示意图。相较于眼睛定位电路1400,眼睛定位电路1600另包含红外光发光组件1640、红外光反射组件1650,以及红外光感测电路1660。红外光发光组件1640用来发出侦测光LD至场景SC。红外光反射组件1650设置于辅助眼镜312上,用来反射侦测光LD以产生反射光LR。红外光感测电路1660根据LR,产生对应于辅助眼镜312的位置的二维红外光坐标LOCIR与对应于辅助眼镜
312的倾斜角度的红外光斜率SLIR。类似于图18的说明,眼镜坐标转换电路1420可根据红外光感测电路1660所提供的信息(二维红外光坐标LOCIR与红外光斜率SLIR),校正眼镜侦测电路1410所计算得到的眼镜斜率SLGLASS1与SLGLASS2,并据以产生校正眼镜斜率SLGLASS1_C与校正眼镜斜率SLGLASS2_C。如此一来,相较于眼睛定位电路1400,在眼睛定位电路1600中,眼镜坐标转换电路1420可校正眼镜侦测电路1410计算眼镜斜率SLGLASS1与SLGLASS2时所产生的误差,以更正确地计算出使用者的二维双眼坐标LOC2D_EYE1与LOC2D_EYE2。此外,在眼睛定位电路1600中,可具有多个红外光反射组件1650。举例而言,在图20中,眼睛定位电路1600具有两个红外光反射组件1650,分别设置对应在使用者的双眼的位置。在图20中,红外光反射组件1650分别设置在使用者的双眼的上方,以作为举例说明。在图19中的眼睛定位电路1600仅具有红外光反射组件1650,因此红外光感测电路1660需要侦测单一红外光反射组件1650的指向性以计算出红外光斜率SLIR。然而,在图20中,当红外光感测电路1660侦测到两个红外光反射组件1650所产生的反射光LR时,红外光感测电路1660可据以侦测两个红外光反射组件1650的位置,并计算出红外光斜率SLIR。因此,利用图20的方式所实施的眼睛定位电路1600,可更简易且更精准地得到红外光斜率SLIR,以更正确地计算出使用者的二维双眼坐标LOC2D_EYE1与LOC2D_EYE2。
[0118] 此外,在图19与图20中所说明的眼睛定位电路1600中,当使用者的头部的转动幅度较大时,可能会造成红外光反射组件1650的角度过于偏斜,而使得红外光感测电路1660无法感测到足够的反射光LR的能量,如此,可能会造成红外光感测电路1660无法正确地计算红外光斜率SLIR。因此,本发明更进一步地提供眼睛定位电路的另一实施例2300。图
21与图22为说明眼睛定位电路2300的示意图。相较于眼睛定位电路1400,眼睛定位电路
2300另包含一或多个红外光发光组件2340、以及红外光感测电路2360。红外光发光组件
2340及红外光感测电路2360的结构及工作原理分别与红外光发光组件1640及红外光感测电路1660类似。在眼睛电位电路2300中,将红外光发光组件2340直接设置对应于使用者的双眼的位置。如此,即使当使用者的头部的转动幅度较大时,红外光感测电路2360也可感测到足够的侦测光LD的能量,以侦测红外光发光组件2340,并据以计算红外光斜率SLIR。
在图21中,眼睛定位电路2300具有红外光发光组件2340,且红外光发光组件2340大约设置在使用者的双眼的中间的位置。在图22中,眼睛定位电路2300具有两个红外光发光组件2340,且红外光发光组件2340分别设置于使用者的双眼的上方。因此,相较于图21中仅具有一个红外光发光组件2340,在图22中,当红外光感测电路2360侦测到两个红外光发光组件2240时,可直接以两个红外光发光组件2340的位置计算出红外光斜率SLIR,而不需要侦测单一红外光发光组件2340的指向性。因此,利用图22的方式所实施的眼睛定位电路
2300,可更简易且更精准地得到红外光斜率SLIR,以更正确地计算出使用者的二维双眼坐标LOC2D_EYE1与LOC2D_EYE2。
[0119] 请参考图23。图23为本发明的眼睛定位模块的另一实施例1700的示意图。眼睛定位模块1700包含三维场景传感器1710,以及眼睛坐标产生电路1720。三维场景传感器1710用来感测范围涵盖使用者的场景SC,以产生二维感测影像SIM2D3,以及对应于二维感测影像SIM2D3的距离信息INFOD。距离信息INFOD具有在二维感测影像SIM2D3的每一点与三维场景传感器1710之间的距离的资料。眼睛坐标产生电路1720,用来根据二维感测影像SIM2D3与距离信息INFOD,产生三维双眼坐标LOC3D_EYE。举例而言,眼睛坐标产生电路1720辨识出二维感测影像SIM2D3中对应于使用者的双眼的画素,接着,眼睛坐标产生电路1720根据距离信息INFOD,得到二维感测影像SIM2D3中对应于使用者的双眼的画素所感测的场景SC与三维场景传感器1710之间的距离。如此,眼睛坐标产生电路1720根据二维感测影像SIM2D3中对应于使用者的双眼的画素的位置与在距离信息INFOD中的对应的距离资料,即可产生三维双眼坐标LOC3D_EYE。
[0120] 请参考图24。图24为本发明的三维场景传感器的实施例1800的示意图。三维场景传感器1800包含影像传感器1810、红外光发光组件1820,以及光感测测距装置1830。影像传感器1810感测场景SC,以产生二维感测影像SIM2D3。红外光发光组件1820侦测光LD至场景SC,以使场景SC产生反射光LR。光感测测距装置1830,用来感测反射光LR,以产生距离信息INFOD。举例而言,光感测测距装置1830为Z传感器(Z-sensor)。由于Z传感器为业界习知的技术,故不再赘述。
[0121] 请参考图25。图25为本发明的眼睛坐标产生电路的实施例1900的示意图。眼睛坐标产生电路1900包含眼睛侦测电路1910,以及三维坐标转换电路1920。眼睛侦测电路1910用来侦测二维感测影像SIM2D3中使用者的眼睛,以得到二维双眼坐标LOC2D_EYE3。三维坐标转换电路1920根据二维双眼坐标LOC2D_EYE3、距离信息INFOD、光感测测距装置1830所设置的测距位置LOCMD(如图24所示),以及影像传感器1810所设置的感测位置LOCSEN3(如图24所示),计算出三维双眼坐标LOC3D_EYE。
[0122] 请参考图26。图26为本发明的眼睛坐标产生电路的实施例2000的示意图。相较于眼睛坐标产生电路1900,眼睛坐标产生电路2000还包含人脸侦测电路2030。人脸侦测电路2030用来辨识二维感测影像SIM2D3中的使用者的人脸HM3的范围。借由人脸测电路2030,眼睛侦测电路1910只需根据人脸HM3范围内的资料,即可得到二维双眼坐标LOC2D_EYE3。因此,相较于眼睛坐标产生电路1900,眼睛坐标产生电路2000可减少眼睛侦测电路1910对于二维感测影像SIM2D3所需处理的范围,提升眼睛坐标产生电路2000的处理速度。
[0123] 此外,考虑到立体显示系统310以眼镜式立体显示系统实施时,使用者的双眼可能会被眼镜式立体显示系统的辅助眼镜312遮蔽,因此在图27中,本发明提供眼睛坐标产生电路的另一实施例2100。眼睛定位电路2100包含眼镜侦测电路2110,以及眼镜坐标转换电路2120。眼镜侦测电路2110侦测二维感测影像SIM2D3中的辅助眼镜312,以得到二维眼镜坐标LOCGLASS3与眼镜斜率SLGLASS3。眼镜坐标转换电路2120根据二维眼镜坐标LOCGLASS3与眼镜斜率SLGLASS3、使用者预先输入至立体互动系统300或立体互动系统300预先设定的已知双眼间距DEYE,以及距离信息INFOD,以计算出使用者的三维双眼坐标LOC3D_EYE。如此,即使使用者的双眼被眼镜所遮蔽时,本发明的眼睛坐标产生电路2100仍可计算出使用者的三维双眼坐标LOC3D_EYE。
[0124] 请参考图28。图28为本发明提供眼睛坐标产生电路的另一实施例2200的示意图。相较于眼睛坐标产生电路2100,眼睛坐标产生电路2200还包含倾斜侦测器2230。倾斜侦测器2230可设置在辅助眼镜312上。倾斜侦测器2230的结构与工作原理与倾斜侦测器1530相似,故不再赘述。借由倾斜侦测器2230所提供的倾斜信息INFOTILT,眼镜坐标转换电路2120可校正眼镜侦测电路2110所计算得到的眼镜斜率SLGLASS3。举例而言,眼镜坐标转换电路1420根据倾斜信息INFOTILT,校正眼镜侦测电路2110所计算得到的眼镜斜率SLGLASS3,并据以产生校正眼镜斜率SLGLASS3_C。如此,眼镜坐标转换电路1420根据二维眼镜坐标LOCGLASS3与校正眼镜斜率SLGLASS3_C、已知双眼间距DEYE与距离信息INFOD,可计算出三维双眼坐标LOC3D_EYE。相较于眼睛坐标产生电路2100,在眼睛坐标产生电路2200中,眼镜坐标转换电路2120可校正眼镜侦测电路2110计算眼镜斜率SLGLASS3时所产生的误差,以更正确地计算出使用者的三维双眼坐标LOC3D_EYE。
[0125] 综上所述,本发明所提供的立体互动系统300,可根据使用者的位置,校正互动组件的位置,或是立体影像中的虚拟物品的位置与互动判断条件,如此,即使使用者的位置改变而造成使用者所看到的立体影像中的虚拟物品的位置改变,本发明的立体互动系统仍可根据经校正后的互动组件的位置,或是经校正后的虚拟物品的位置与互动判断条件,来得到正确的互动结果。此外,当本发明的定位模块为眼睛定位模块时,即使使用者配戴眼镜式立体显示系统的辅助眼镜而造成使用者的眼睛被遮蔽,本发明所提供的眼睛定位模块根据使用者预先输入的已知双眼间距,仍可计算出使用者的眼睛的位置,带给使用者更大的便利。
[0126] 以上所述仅为本发明的优选实施例,凡依本发明权利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。