图像显示装置及其控制方法转让专利

申请号 : CN201110156218.2

文献号 : CN102223555B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 姜敏九朴钟顺朴畯浩

申请人 : LG电子株式会社

摘要 :

一种图像显示装置及其控制方法,其中该控制显示三维(3D)图像的图像显示装置的方法包括:生成表示图像显示装置的第一用户的拍摄图像的第一用户拍摄信息,从服务器或另一图像显示装置接收表示另一图像显示装置的第二用户的拍摄图像的第二用户拍摄信息,以及将与所述第一用户拍摄信息相对应的3D对象和与所述第二用户拍摄信息相对应的3D对象中的至少一个与背景图像一起显示。

权利要求 :

1.一种用于控制显示三维(3D)图像的图像显示装置的方法,该方法包括以下步骤:生成表示拍摄的所述图像显示装置的第一用户的图像的第一用户拍摄信息;

从服务器或另一图像显示装置接收表示拍摄的该另一图像显示装置的第二用户的图像的第二用户拍摄信息;

从所述服务器或所述另一图像显示装置接收与在所述图像显示装置中执行的应用相对应的背景图像;

将与所述第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象与所接收到的背景图像一起显示,以及基于所述第一用户拍摄信息或第二用户拍摄信息来显示公共可变三维对象,所述公共可变三维对象在所述第一用户和所述第二用户的图像显示装置之间共享,其中当执行需要交互操作的应用时显示所述公共可变三维对象,并且在预设的时间段对所述第一用户和所述第二用户的图像显示装置中的一个图像显示装置赋予优于另一个图像显示装置的优先级,在所述预设的时间段期间,具有所述优先级的图像显示装置的用户能够与所述公共可变三维对象进行交互,其中所述图像显示装置的用户能够对以下中的至少一项进行调整:显示与第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象的位置;

与第一用户拍摄信息相对应的三维对象的深度和与所述第二用户拍摄信息相对应的三维对象的深度;以及与第一用户拍摄信息相对应的三维对象的大小和与所述第二用户拍摄信息相对应的三维对象的大小。

2.根据权利要求1所述的方法,该方法还包括以下步骤:生成与所述第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象。

3.根据权利要求1所述的方法,其中所述第一用户拍摄信息包括表示所述第一用户的动作的第一用户动作信息,而所述第二用户拍摄信息包括表示所述第二用户的动作的第二用户动作信息。

4.根据权利要求1所述的方法,该方法还包括以下步骤:

向所述服务器或所述另一图像显示装置发送用于选择所述背景图像的背景选择命令,其中从所述服务器或所述另一图像显示装置接收到的背景图像是根据所述背景选择命令选择的背景图像。

5.根据权利要求1所述的方法,其中接收所述第二用户拍摄信息的步骤包括:接收包括与所述第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象的图像。

6.根据权利要求1所述的方法,该方法还包括以下步骤:

生成包括与所述第一用户拍摄信息相对应的三维对象、与所述第二用户拍摄信息相对应的三维对象以及所述背景图像的三维图像。

7.根据权利要求1所述的方法,其中接收所述第二用户拍摄信息的步骤包括:接收包括与所述第一用户拍摄信息相对应的三维对象、与所述第二用户拍摄信息相对应的三维对象以及所述背景图像的三维图像。

8.根据权利要求1所述的方法,该方法还包括以下步骤:

显示与所述第一用户拍摄信息相对应的三维对象。

9.根据权利要求1所述的方法,该方法还包括以下步骤:

从所述服务器或所述另一图像显示装置接收到所述第二用户拍摄信息之后,显示指示接收到所述第二用户拍摄信息的对象。

10.根据权利要求1所述的方法,该方法还包括以下步骤:

将所述图像显示装置的识别信息发送至所述服务器或所述另一图像显示装置;以及从所述服务器或所述另一图像显示装置接收所述另一图像显示装置的识别信息。

11.根据权利要求1所述的方法,其中所述显示步骤包括以下步骤:基于与所述第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象来改变所述图像显示装置的环境照明、音量或图像亮度中的至少一个。

12.一种用于控制图像显示装置的方法,该方法包括以下步骤:生成表示用户的动作的动作信息;

向服务器发送所述动作信息,所述服务器结合从至少两个图像显示装置接收到的动作信息;

从所述服务器接收包括表示所述图像显示装置以外的另一图像显示装置的用户动作的动作信息的信号;

从所述服务器或所述另一图像显示装置接收与在所述图像显示装置中执行的应用相对应的背景图像;

基于接收到的信号,将与所述另一图像显示装置的用户相对应的三维对象的至少两个视点图像与所接收到的背景图像一起显示,以及基于所述动作信息来显示公共可变三维对象,所述公共可变三维对象在所述至少两个图像显示装置之间共享,其中当执行需要交互操作的应用时显示所述公共可变三维对象,并且在预设的时间段对所述至少两个图像显示装置中的一个图像显示装置赋予优于其他图像显示装置的优先级,在所述预设的时间段期间,具有所述优先级的图像显示装置的用户能够与所述公共可变三维对象进行交互,其中所述图像显示装置的用户能够对以下中的至少一项进行调整:显示三维对象的所述至少两个视点图像的位置;

三维对象的所述至少两个视点图像的深度;以及

三维对象的所述至少两个视点图像的大小。

13.一种显示三维(3D)图像的图像显示装置,该图像显示装置包括:摄像机模块,其被配置为拍摄该图像显示装置的第一用户的图像;

网络接口,其被配置为将表示拍摄的所述图像显示装置的第一用户的图像的第一用户拍摄信息发送至服务器或者所述图像显示装置以外的另一图像显示装置,或者从所述服务器或所述另一图像显示装置接收表示拍摄的所述另一图像显示装置的第二用户的图像的第二用户拍摄信息;以及控制器,其被配置为控制将与所述第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象与对应于在所述图像显示装置中执行的应用的背景图像一起显示在显示器上,其中,所述背景图像是所述网络接口从所述服务器或所述另一图像显示装置接收到的,以及基于所述第一用户拍摄信息或第二用户拍摄信息来显示公共可变三维对象,所述公共可变三维对象在所述第一用户和所述第二用户的图像显示装置之间共享,其中当执行需要交互操作的应用时显示所述公共可变三维对象,并且在预设的时间段对所述第一用户和所述第二用户的图像显示装置中的一个图像显示装置赋予优于另一个图像显示装置的优先级,在所述预设的时间段期间,具有所述优先级的图像显示装置的用户能够与所述公共可变三维对象进行交互,其中所述图像显示装置的用户能够对以下中的至少一项进行调整:显示与第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象的位置;

与第一用户拍摄信息相对应的三维对象的深度和与所述第二用户拍摄信息相对应的三维对象的深度;以及与第一用户拍摄信息相对应的三维对象的大小和与所述第二用户拍摄信息相对应的三维对象的大小。

14.根据权利要求13所述的图像显示装置,其中,所述控制器生成与所述第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象。

15.根据权利要求13所述的图像显示装置,该图像显示装置还包括用户输入单元,该用户输入单元被配置为向所述图像显示装置输入命令,其中所述网络接口向所述服务器或所述另一图像显示装置发送从所述用户输入单元接收到的、用于选择所述背景图像的背景选择命令。

16.根据权利要求13所述的图像显示装置,该图像显示装置还包括存储器,该存储器被配置为存储通过所述网络接口接收到的背景图像。

17.根据权利要求13所述的图像显示装置,其中,所述控制器包括格式编制器,该格式编制器被配置为输出与所述第一用户拍摄信息相对应的三维对象和与所述第二用户拍摄信息相对应的三维对象的左眼图像和右眼图像。

说明书 :

图像显示装置及其控制方法

技术领域

[0001] 本发明的实施方式涉及一种图像显示装置及其控制方法,更具体地说,涉及一种用于显示代表用户的三维(3D)对象以及对应于用户已经做出的动作而改变该3D对象的显示状态的图像显示装置及其控制方法。

背景技术

[0002] 本申请要求于2010年4月19日在韩国知识产权局提交的申请号为10-2010-0035986的韩国专利申请的优先权,以引证的方式将其全部内容并入于此。
[0003] 图像显示装置具有向用户显示图像的功能。图像显示装置能够在显示器上显示由用户从广播站发送的广播节目中选择的广播节目。广播技术最近的趋势是从模拟广播到数字广播的世界范围内的转变。
[0004] 因为数字广播发送数字音频信号和视频信号,因此数字广播具有许多胜过模拟广播的优势,例如对抗噪声的鲁棒性、减少数据丢失、易于纠错、以及提供高分辨率、清晰图像的能力。与模拟广播相比,数字广播还能够实现交互式观众服务。
[0005] 最近,人们已经对3D图像以及可通过3D图像提供的各种内容项进行了大量的研究。另外,3D立体镜学已在各种环境和技术中被广泛地应用并且商业化。可通过前述的数字广播发送3D图像,并且再现该3D图像的装置正处于开发之中。

发明内容

[0006] 因此,考虑到以上问题,创造了本发明的一个或多个实施方式,并且本发明的一个或多个实施方式的目的是提供用于提供三维(3D)图像的图像显示装置及其控制方法。
[0007] 本发明的一个或多个实施方式的另一个目的是提供使用户能够通过3D对象识别其他图像显示装置的用户已经做出的动作的图像显示装置及其控制方法。
[0008] 本发明的一个或多个实施方式的进一步目的是提供能够通过网络连接到另一图像显示装置的图像显示装置及其控制方法。
[0009] 依照本发明的一方面,可通过提供一种用来控制显示3D图像的图像显示装置的方法来实现以上以及其他目的,该方法包括:生成表示图像显示装置的第一用户的拍摄图像的第一用户拍摄信息,从服务器或另一图像显示装置接收表示该另一图像显示装置的第二用户的拍摄图像的第二用户拍摄信息;以及将与所述第一用户拍摄信息相对应的3D对象和与所述第二用户拍摄信息相对应的3D对象中的至少一个与背景图像一起显示。
[0010] 依照本发明的另一方面,提供一种用于控制图像显示装置的方法,该方法包括:生成表示用户的动作的动作信息;向服务器发送所述动作信息,所述服务器结合从至少两个图像显示装置接收到的动作信息;从所述服务器接收包括表示所述图像显示装置以外的另一图像显示装置的用户动作的动作信息的信号;以及基于接收到的信号,将与所述另一图像显示装置的用户相对应的3D对象的至少两个视点图像与背景图像一起显示。
[0011] 依照本发明再一方面,提供了一种显示3D图像的图像显示装置,该图像显示装置包括:摄像机模块,其被配置为拍摄该图像显示装置的第一用户的图像;网络接口,其被配置为将表示所述图像显示装置的第一用户的拍摄图像的第一用户拍摄信息发送至服务器或者所述图像显示装置以外的另一图像显示装置,或者从所述服务器或所述另一图像显示装置接收表示所述另一图像显示装置的第二用户的拍摄图像的第二用户拍摄信息;以及控制器,其被配置为控制将与所述第一用户拍摄信息相对应的3D对象和与所述第二用户拍摄信息相对应的3D对象中的至少一个与背景图像一起在显示器中显示。

附图说明

[0012] 通过以下结合附图的详细说明,将会更清楚的理解本发明的一个或多实施方式的以上以及其它目的、特征和其它优点,其中:
[0013] 图1示出了根据本发明的一种实施方式的图像显示系统的配置;
[0014] 图2是根据本发明的一种实施方式的图像显示装置的框图;
[0015] 图3是图2中所示的图像显示装置中的控制器的框图;
[0016] 图4示出了用于呈现3D图像的三维(3D)格式;
[0017] 图5示出了根据本发明的一种实施方式的缩放3D图像的各种方法;
[0018] 图6和图7示出了根据本发明的一种实施方式的3D图像或3D对象的不同深度感;
[0019] 图8和图9是根据本发明实施方式的用于控制图像显示装置的操作的方法的流程图;
[0020] 图11示出了根据本发明的一种实施方式的包括图像显示装置和网络服务器的图像显示系统;以及
[0021] 图10以及图12-16B是根据本发明的实施方式的用于描述显示在图像显示装置上的画面的图。

具体实施方式

[0022] 以下将参考附图描述本发明的实施方式。
[0023] 此处使用用来表示组件的术语“模块”和“单元”是为了帮助对组件的理解,因此它们不应当被认为具有特定的含义或者功能。相应地,术语“模块”和“单元”可以互换的使用。
[0024] 图1示出了根据本发明的一种实施方式的图像显示系统的配置。参考图1,图像显示装置100可以与广播站210、网络服务器220或者外部设备230通信。
[0025] 图像显示装置100可以从广播站210接收包括音频信号、视频信号和/或数据信号的广播信号。图像显示装置100可以处理广播信号的音频和视频信号和/或广播信号的数据信号,以适合从图像显示装置100发送。图像显示装置100可以基于经处理的视频和/或音频信号输出图像和/或声音,以及基于经处理的数据信号来输出数据。
[0026] 同时,图像显示装置100可以和网络服务器220通信。网络服务器200能够通过网络发送信号至图像显示装置100以及从图像显示装置100接收信号。例如,网络服务器220可以是能够通过有线或无线基站连接至图像显示装置100的便携终端。另外,网络服务器220可以通过因特网向图像显示装置100提供内容。内容提供方可以通过网络服务器
220向图像显示装置100提供内容。
[0027] 图像显示装置100可以同外部设备230通信。外部设备230能够通过无线或者有线方式直接向图像显示装置100发送信号以及直接从图像显示装置100接收信号。例如,外部设备230可以是媒体存储设备或者播放器。也就是说,外部设备230可以是摄像机、DVD播放器、蓝光播放器、个人电脑等中的任一个。
[0028] 广播站210、网络服务器220以及外部设备230中的至少一个可以将包括音频信号、视频信号和/或数据信号的信号发送至图像显示装置100。图像显示装置100可以基于包括在接收到的信号中的视频信号来显示图像。图像显示装置100也可以将从广播站210或者网络服务器220接收的信号发送至外部设备230,并且可以将从外部设备230接收的信号发送至广播站210或者网络服务器220。也就是说,图像显示装置100可以发送包含在从广播站210、网络服务器220以及外部设备230接收的信号中的内容,并可以立即回放该内容。
[0029] 图2是根据本发明的一种实施方式的图像显示装置的框图。参考图2,根据本发明实施方式的图像显示装置100包括广播信号接收机110、网络接口120、外部设备输入/输出(I/O)单元130、远程控制接口140、存储器150、控制器170、显示器180、音频输出单元185以及摄像机模块190。
[0030] 广播信号接收机110可以从广播站(图1中的210)接收与用户从通过天线接收的多个射频(RF)广播信号中选择的频道相对应的RF广播信号,或者接收与预先添加到图像显示装置100的所有的广播频道相对应的多个RF广播信号,并可以将该RF广播信号下变频为数字中频(IF)信号或者模拟基带音频/视频(A/V)信号。
[0031] 广播信号接收机110能够从先进电视制式委员会(ATSC)单载波系统或者从数字视频广播(DVB)多载波系统接收RF广播信号。另外,广播信号接收机110可以从通过天线接收的多个RF信号中连续选择与通过频道添加功能将预先添加至图像显示装置100的所有广播频道相对应的多个RF广播信号,并且可以将所选择的RF广播信号下变频为IF信号或者基带A/V信号。执行该操作以在显示器180上显示包括与广播频道相对应的多个缩略图图像的缩略图列表。从而,广播信号接收机110可以连续/周期性地接收所选频道的RF广播信号或者所有预先存储的频道的RF广播信号。
[0032] 网络接口120连接在图像显示装置100和例如因特网的有线/无线网络之间,或者连接在图像显示装置100和网络服务器(图1中的220)之间。
[0033] 为了将图像显示装置100无线连接至因特网,网络接口120可以包括无线通信模块。为了无线连接,网络接口120的操作可以符合以下通信标准:例如无线本地局域网络(WLAN)(即,Wi-Fi)、无线宽带(WiBro)、全球微波互联接入(WiMax)以及高速下行分组接入(HSDPA)。也可以使用其它的通信标准。
[0034] 网络接口120可以通过网络从内容提供方或网络提供方接收内容或数据。所接收的内容或数据可以包括例如游戏、视频点播(VoD)文件、广播信号之类的内容以及与该内容相关的信息。网络接口120还可以从网络运营商接收更新信息和固件的更新文件。
[0035] 网络接口120可以连接至通信网络以能够进行视频或者语音通话。此处所用的术语“通信网络”包括通过LAN连接的广播通信网络、公共交换电话网络(PSTN)以及移动通信网络。
[0036] 外部设备I/O单元130可将外部设备(图1中的230)连接至图像显示装置100。为此目的,外部设备I/O单元130可以包括A/V I/O单元或者无线通信模块。
[0037] 外部设备I/O单元130通过无线或者有线方式连接至外部设备,例如数字多功能光盘(DVD)播放器、蓝光播放器、游戏控制台、摄像机、可携式摄像机或者电脑(例如,便携式电脑)。然后,外部设备I/O单元130从外部设备外部的接收视频、音频和/或数据信号,并且将所接收的外部信号发送至控制器170。另外,外部设备I/O单元130可以将经控制器170处理的视频、音频和数据信号输出至外部设备。
[0038] 为了从外部设备接收A/V信号或者将A/V信号发送至外部设备,外部设备I/O单元130的A/V I/O单元可包括以太端口、通用串联总线(USB)端口、复合视频消隐同步(CVBS)端口、分量端口、超级视频(S-video)(模拟)端口、数字视频接口(DVI)端口、高分辨率多媒体接口(HDMI)端口、红绿蓝(RGB)端口或者D-sub端口以及其它端口中的至少一个。
[0039] 外部设备I/O单元130的无线通信模块可以与其它的外部设备进行无线通信。为了进行无线通信,无线通信模块可根据例如蓝牙、射频识别(RFID)、红外数据组织(IrDA)、超宽带(UWB)和Zigbee之类的通信标准通过网络连接至其它的外部设备。也可以使用其它的通信标准。
[0040] 外部设备I/O单元130可通过前述端口的至少一个连接至各种机顶盒,从而可以从各种机顶盒接收数据或者发送数据至各种机顶盒。
[0041] 例如,外部设备I/O单元130可连接至IPTV机顶盒。为了能够进行交互通信,外部设备I/O单元130可以将从IPTV机顶盒接收的视频、音频和/或数据信号提供至控制器170,并将由控制器170处理的信号提供至IPTV机顶盒。
[0042] 此处使用的术语“IPTV”取决于传输网络而涵盖了范围广泛的业务,例如非对称数字用户环路电视(ADSL-TV)、甚高速数字用户环路电视(VDSL-TV)、光纤到户电视(HTTH-TV)、DSL电视、DSL视频、IP电视(TVIP)、宽带电视(DTV)和能够提供因特网接入业务的因特网电视和全网页浏览电视,以及其他业务。
[0043] 远程控制器接口140可包括无线通信模块以及坐标计算器,该无线通信模块无线发送信号至远程控制器200和/或从远程控制器200无线接收信号,该坐标计算器计算表示光标在显示器180上的位置的一对坐标,该光标根据远程控制器200的移动而移动。远程控制器接口140可以通过RF模块无线发送RF信号至远程控制器200和/或从远程控制器200无线接收RF信号,并且可以根据IR通信标准,通过IR模块从远程控制器200无线接收IR信号。
[0044] 坐标计算器可从无线通信模块接收关于远程控制器200的移动的动作信息,并且可以通过针对可能错误(例如用户手抖)对动作信息进行校正来计算表示光标在显示器180的屏幕上的位置的一对坐标(x,y)。
[0045] 在图像显示装置100中,可将通过远程控制接口140从远程控制器200接收的信号发送至控制器170。然后,控制器170可根据从远程控制器200接收的信号中获取关于远程控制器200移动的信息以及关于从远程控制器检测到的键操作的信息,并且可基于获取的信息来控制图像显示装置100。
[0046] 在另一个示例中,远程控制器200可以根据远程控制器200的动作来计算光标的坐标,并发送该坐标至远程控制器接口140。在这种情况下,在向控制器170传输之前,远程控制器接口140可以不校正光标坐标中的错误。
[0047] 存储器150可存储图像显示装置100接收的视频信号以及与该视频信号相关的音频和/或数据信号。例如,在基于广播信号播放视频期间,视频记录命令可被输入到图像显示装置100。响应于视频记录命令,图像显示装置100可将至少部分视频存储到存储器150中。在接收到视频回放命令之后,图像显示装置100可参考存储器150内存储的视频信号和音频信号和/或与视频信号相关的数据信号,并且可基于视频、音频和/或数据信号来回放视频。
[0048] 控制器170向图像显示装置100提供总体控制。控制器170可从远程控制器200或任何其它类型的控制命令输入设备接收信号,或可通过图像显示装置100的本地按键接收命令。控制器170识别包含在接收信号中的命令或与本地按键输入相对应的命令中,并且根据该命令来控制图像显示装置100。
[0049] 例如,在从用户接收到频道选择命令后,控制器170可控制广播信号接收机110接收依照频道选择命令选择的频道上的广播信号,处理广播信号的视频和音频信号,并将处理后的视频和音频信号分别输出至显示器180和音频输出单元185。另外,控制器170可将关于用户选择频道的信息与视频和音频信号一起输出至显示器180或音频输出单元185。
[0050] 控制器170可基于与视频或音频信号一起接收的数据信号中所包含的信息来处理视频或音频信号。例如,控制器170可使用与视频信号相关的数据信号来识别输入至图像显示装置100的视频信号的格式,并根据识别的格式来处理视频信号。
[0051] 控制器170可基于视频信号并使用与视频信号相关的数据信号来生成用于显示与图像相关的屏上显示(OSD)的OSD信号。另外,控制器170可创建图形用户界面,通过该用户界面用户能检查有关图像显示装置100的信息或者向显示装置100输入控制命令。
[0052] 用户可使用远程控制器200或任意其它类型的控制命令输入设备来输入视频或音频输出命令。例如,用户可能想通过外部设备I/O单元130观看由摄像机或便携摄像机拍摄的图像。此时,控制器170可处理通过外部设备I/O单元130的USB端口接收的视频或音频信号,以能够将对应于该视频或音频信号的图像或声音输出至显示器180或音频输出单元185。
[0053] 同时,控制器170可基于由摄像机模块190拍摄的图像来确定用户的位置或识别用户的姿势。例如,控制器170除了计算用户在显示器180上的x轴和y轴坐标之外,还可计算用户和图像显示装置100的距离(z轴坐标)。
[0054] 在本发明的一种实施方式中,控制器可处理外部输入的二维(2D)或3D视频信号,以能够在显示器180上显示2D或3D信号。控制器170也可以处理视频信号以在显示器180上以3D方式显示图形用户界面。稍后将参照图3更详细的说明控制器170的配置。
[0055] 显示器180可通过转换从控制器170接收到的处理后的视频信号、处理后的数据信号、OSD信号和控制信号或从外部设备I/O单元130接收到的视频信号和数据信号来生成驱动信号,并根据该驱动信号在显示器180上显示画面。显示器180可以是各种类型的显示器,例如,等离子显示面板(PDP)、液晶显示器(LCD)、有机发光二极管(OLED)显示器和柔性显示器,以及其它显示器。根据本发明的一种实施方式的显示器180能够显示3D图像。
[0056] 为了3D可视化,显示器180可配置为自由立体3D显示器(不需要眼镜)或传统立体3D显示器(需要眼镜)。自由立体技术是无需任何附加显示器(例如,用户方的偏振眼镜)来显示3D图像的任意方法。因此,显示器180独立的显示3D图像。网状和视差的栅栏是自由立体3D成像的示例。
[0057] 为了显示3D图像,传统立体技术除了显示器180之外还需要附加显示器。传统显示器可以是头戴式显示器(HMD)类型、眼镜类型等。偏振眼镜、快门眼镜和光谱滤波器可用作专用的3D眼镜。
[0058] 显示器180也可以是不仅能用作输出设备也能用作输入设备的触摸屏。音频输出单元185可从控制器170接收处理后的音频信号(例如,立体信号、3.1声道信号或5.1声道信号),并将接收的音频信号作为声音(例如语音)输出。音频输出单元185可以是各种类型的扬声器。
[0059] 摄像机模块190拍摄用户的一个或多个图像。为定位用户,摄像机模块190可配置有单各摄像机,但本发明的一个或多个实施方式不限于此。因此,摄像机模块190可包括多个摄像机。例如,为了3D可视化,摄像机模块190包括左眼和右眼摄像机。由摄像机模块190拍摄的图像信息被输入至控制器170。
[0060] 为检测用户的姿势,如前所述,图像显示装置100可进一步包括具有触摸传感器、语音传感器、位置传感器或动作传感器中至少一个的传感器单元。可通过远程控制器接口140将传感器单元检测的信号输出至控制器170。控制器170可从由摄像机模块190拍摄的图像或由传感器单元检测的信号中、或通过合并拍摄到的图像和检测到的信号来检测用户的姿势。
[0061] 远程控制器200向远程控制器接口140发送用户输入。为了发送用户输入,远程控制器200可基于各种通信标准(例如蓝牙、RF、IR、UWB和Zigbee)操作。另外,远程控制器200可从远程控制器接口140接收视频信号、音频信号和/或数据信号,并将接收的信号作为图像或声音输出。
[0062] 上述图像显示装置100可以是能够接收ATSC(8-VSB)广播节目、DVB-T(COFDM)广播节目和ISDB-T(BST-OFDM)广播节目以及其它节目中的至少一个的固定数字广播接收器。或者,图像显示装置100可以是能够接收陆地DMB广播节目、卫星DMB广播节目、ATSC-M/H广播节目、DVB-H(COFDM)广播节目和仅媒体前向链路(MediaFLO)广播节目中至少一个的移动数字广播接收器,或能够接收电缆、卫星和/或IPTV广播节目以及其它节目的移动数字广播接收器。
[0063] 此处,如前设置的图像显示装置100可以是TV接收器、移动电话、智能手机、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式媒体播放器(PMP)等中的任一个。
[0064] 图2示出的图像显示装置100的框图是本发明的示例实施方式。图2示出的图像显示装置100具有多个的给定配置的组件。但是,在可选的实施方式中,图像显示装置100可包括比图2示出的那些组件更多的组件或更少组件。在可选的实施方式中,图像显示装置100的两个或更多个组件也可被结合至单一组件或者其中的单一组件可被分离成两个以上的组件。实际上,在本文中设置的图像显示装置100的组件的功能是示例性的并可被修改,例如,为满足给定应用的需求而进行修改。
[0065] 图3是图2示出的控制器的框图。参照图3,根据本发明的一种实施方式,控制器170可包括解调器171、解复用器(DEMUX)172、解码器173、OSD生成器174和格式编制器
175。
[0066] 解调器171可解调从广播信号接收机110接收的广播信号。例如,解调器171从广播信号接收机110接收数字IF信号DIF并解调该数字IF信号DIF。解调器171也可对数字IF信号DIF执行频道解码。为了频道解码,解调器171可包括卷积解码器、解交织器和Reed-Solomon解码器以执行卷积解码、解交织和Reed-solomon解码。
[0067] 解调器171可通过对从广播信号接收机110接收的数字IF信号DIF执行解调和频道解码来获取流信号TS。流信号TS可以是复用了视频信号、音频信号和数据信号的信号。例如,流信号TS可以是通过多路复用MPEG-2视频信号和Dolby AC-3音频信号而得到的MPEG-2TS信号。MPEG-2TS可包括4字节报头和184字节有效载荷。
[0068] 为了不仅能适当的处理ATSC信号,而且能适当的处理DVB信号,解调器171可包含ATSC解调器和DVB解调器。流信号TS可被输入至DEMUX 172。
[0069] DEMUX 172将输入流(例如,MPEG-2TS)解复用为视频信号、音频信号和数据信号。可从解调器171、网络接口120或外部设备I/O单元130中接收输入流信号。
[0070] 例如,如果数据信号是经编码的信号,则经编码的数据信号可携带预定广播TV或无线电节目的、包括指定开始时间、结束时间等广播信息的电子节目指南(EPG)。EPG在ATSC的情况下包括ATSC-节目和系统信息协议(PSIP)信息,而在DVB的情况下包括DVB-业务信息(SI)。
[0071] 解码器173可对解复用后的信号进行解码。解码器193可包括用于解码解复用后的视频信号的视频解码器173a和用于缩放解码后的视频信号的分辨率的缩放器173b,以能够在显示器180上显示视频信号。
[0072] OSD生成器174可生成用于在显示器180上以OSD显示对象的OSD信号。该OSD信号可提供与显示器180上显示的图像相关的信息。OSD信号可包括用户接口(UI),通过该用户接口接收用于控制图像显示装置100的操作的控制信号或用户命令。
[0073] 依照本发明的实施方式,OSD生成器174可提取与正在图像显示装置100上再现或者可再现的内容的播放时间点相对应的缩略图图像。OSD生成器174可生成OSD信号并将其输出至格式编制器175,以使用户能够观看包括提取的缩略图图像的3D对象。
[0074] 格式编制器175可参照与视频信号相关的数据信号来识别接收到的视频信号的格式。格式编制器175可将视频信号转换为适合显示器180的格式,并将该视频信号输出至显示器180。
[0075] 在此实施方式中,图像显示装置100可以在显示器180上显示3D图像。具体地说,格式编制器175可从输入视频信号生成适合显示器180格式的3D视频信号。3D视频信号可包括左眼图像信号和/或右眼图像信号。如前所述,左眼图像信号和右眼图像信号可结合成3D图像。具体地说,左眼图像信号和右眼图像信号用于分别显示左眼图像和右眼图像。格式编制器175将3D视频信号输出至显示器180。显示器180基于该3D视频信号显示3D图像。
[0076] 在本发明的实施方式中,图像显示装置100可根据OSD生成器174生成的OSD信号以3D对象的格式显示OSD。为此目的,格式编制器175可将OSD信号转换为适合显示器180的格式的3D视频信号,这样,可在显示器180上显示3D对象的多视点图像(例如,3D对象的左眼和右眼图像)。
[0077] 具有UI生成器的图像显示装置100可进一步包括用于将从解码器173和OSD生成器174接收的视频信号与从UI生成器接收的UI视频信号混合的混合器。混合器可位于格式编制器175中。
[0078] 图4示出了用于呈现3D图像的3D格式。3D格式可依赖于3D图像的左眼和右眼图像的布局。3D图像利用其多视点图像来呈现。用户用其左眼和右眼能看到多视点图像。左眼和右眼看到的图像之间的视差(disparity)(例如,距离的视差,或仅仅是距离)欺骗用户感知它们为3D图像。本实施方式中的多视点图像是用户的左眼感知到的左眼图像和用户右眼感知到的右眼图像。
[0079] 为了3D可视化,图4所示的3D格式是可用的。3D格式是水平格式(图4的(a))、上/下格式(图4的(b))、帧连续格式(图4的(c))、交错格式(图4的(d))和棋盘格式(图4的(e))。左眼图象L和右眼图像R在水平格式的情况下被并排排列。左眼图象L和右眼图像R在上/下格式的情况下被垂直堆积,而在帧连续格式的情况下它们被时分排列。在交错格式的情况下,左眼图象L和右眼图像R逐行交替。在棋盘格式的情况下,左眼图象L和右眼图像R在格子基础上混合。
[0080] 为表现关于图像显示装置100的信息或向图像显示装置100输入命令,包括在图像显示装置100接收的外部信号中的视频信号和OSD生成器174生成的图形用户接口视频信号可以是3D视频信号。
[0081] 格式编制器175可混合3D视频信号并将混合后信号输出至显示器180。格式编制器175可参照相关的数据信号来识别混合的3D视频信号的格式,并根据识别的格式处理3D视频信号。
[0082] 如果显示器180被限定为特定的3D格式,格式编制器175就可将接收到的3D视频信号转换为特定的3D格式。例如,在接收到图4的(a)所示的水平格式的左眼和右眼图像之后,格式编制器175可以将左眼和右眼图像重新排列成为显示器180预设的交错格式。
[0083] OSD生成器174可生成OSD信号。例如,根据从远程控制器200或任意其它种类的控制命令输入设备接收的视频信号或数据信号或用户输入信号中的至少一个,OSD生成器174可生成OSD信号,通过该OSD信号将各种信息显示为显示器180上的图形或文本。另外,OSD生成器174可生成OSD信号,通过该OSD信号来显示图形或文本以允许向图像显示装置100输入控制命令。OSD信号可与处理后的视频和数据信号一起提供给显示器180。
[0084] OSD信号可包括各种数据(例如UI、各种菜单、窗件、图标等)。OSD信号也可以是2D或3D信号。OSD信号也可包括通过格式编制器175与另一视频信号混合的图形用户界面3D图像信号。
[0085] 显示器180可依照OSD生成器174生成的OSD信号显示对象。在本发明的实施方式中,对象可以是音量按键、频道按键、控制菜单、图标、导航标签、滚动条、进度条、文字框、窗口等中的一个。
[0086] 用户能从显示在显示器180上的对象获取关于图像显示装置100的信息或关于显示在图像显示装置100上的图像的信息。此外,用户能使用显示在图像显示装置100上的对象向图像显示装置100输入命令。3D对象涉及对用户具有立体效果的对象,其在本发明的一个或多个实施方式中是通过显示设备或通过显示设备和另一设备实现的。画中画(PIP)图像、EPG、菜单、窗件、图标等可被配置到3D对象。
[0087] 图5示出了根据本发明的一种实施方式的基于3D视频信号呈现的图像的各种缩放和作为结果的各种图像形状。以下将参照图5详细说明3D对象大小的缩放或3D对象倾斜的控制。
[0088] 视频处理模块(例如控制器170的缩放器173b)以预定比率放大或缩小整个3D图像或3D对象510。因此,3D图像或对象510被收缩成图5的(a)中的3D图像或对象513。
[0089] 为呈现以预定角度旋转的图像或以预定方向倾斜的图像,控制器170可将3D图像或对象生成或转换为多边形的形状(例如平行四边形或梯形)。
[0090] 控制器170可基于从图1示出的广播站210、网络服务器220或外部设备230接收的视频信号、或基于在控制器170内生成的视频信号来呈现以预定角度旋转的图像或以预定方向倾斜的图像。为此目的,视频处理模块(例如控制器170的缩放器173b)可生成图5的(b)中梯形形状516或图5的(c)中平行四边形形状519的3D图像或对象。
[0091] 通过对基于显示在显示器180上的3D视频信号的3D图像或对象进行缩放或倾斜控制,控制器170能加强深度(也就是说,3D图像或对象的3D效果)。
[0092] 如前所述,控制器170的格式编制器175可负责3D图像或对象的缩放。在图5中,3D视频信号可以是左眼图像信号、右眼图像信号或二者的结合物。格式编制器175从接收的已解码的视频信号中分离出2D视频信号或3D视频信号,并进一步将3D视频信号分成左眼图像信号和右眼图像信号。格式编制器175随后可将左眼和右眼图像信号缩放为图5所示的各种形状中的一种,并以图4所示的格式输出缩放的图像。可在输出格式之前或之后进行缩放。
[0093] 格式编制器175可接收OSD生成器174生成的OSD信号或与经解码的视频信号混合的OSD信号,从接收的OSD信号中分离出3D视频信号,并将3D视频信号分成多个视点图像。例如,3D视频信号可被分离为如图5所示缩放的左眼和右眼图像信号,并以图4所述的格式输出。
[0094] OSD生成器174可对根据从OSD生成器174接收的OSD信号生成的3D图像或对象进行缩放。如果OSD生成器174对OSD信号进行缩放,则格式编制器175就不需要缩放OSD信号。在这种情况下,除了简单生成OSD信号以外,OSD生成器174根据OSD的深度或倾斜进一步缩放OSD信号并以适当的格式(例如,图4示出的格式)输出缩放的OSD信号。OSD生成器174的输出格式应与格式编制器175的输出格式一致。
[0095] 图6示出了根据本发明的一种实施方式的3D图像或对象的不同深度感。如前所述,在本发明的实施方式中3D图像用多视点图像形成。多视点图像可以是3D图像的左眼和右眼图像。根据如图6所示的图像的左眼和右眼图像之间的视差(或距离),图像形成在用户方的不同位置。参照图6,以下将描述用户依照图像的左眼和右眼图像的视差(例如,距离,或仅仅是距离)对图像感觉到的3D感或立体感。
[0096] 参照图6,存在用不同深度感呈现的第一至第四图像或对象615、625、635和645。第一对象615由基于第一左眼图像信号的第一左眼图像和基于第一右眼图像信号的第一右眼图像组成。也就是说,用于显示第一对象615的视频信号是使用第一左眼和第一右眼图像信号创建的。图6中显示了基于第一左眼图象信号的第一左眼图像的位置和基于第一右眼图像信号的第一右眼图像的位置,并且示出了第一左眼和第一右眼图像之间的视差(例如,距离的视差,或仅仅距离的视差)。同样的描述适用于第二、第三和第四对象625、
635和645。为描述方便,将统一给出表示显示在显示器180上的用于创建对象的左眼和右眼图像的参考数字或字符、两个图像之间的视差(例如,距离的视差,或仅仅是该距离)和对象。
[0097] 通过将第一左眼图像611(L1)与第一右眼图像613(R1)按照第一左眼图像611和右眼图像613之间的视差d1(例如,距离的视差,或仅仅是该距离)相结合来创建第一对象615。用户将图像视作形成在左眼601到第一左眼图像611的连接线与右眼603到第一右眼图像613的连接线之间的交接处。因此,用户误以为第一对象615位于显示器180的后面。显示器180与第一对像615之间的距离用深度表示。当3D对象被用户感知为位于显示器180的后面时,3D对象的深度为负。因此,第一对象615的深度是个负值。
[0098] 第二对象625由显示器180上的第二左眼图像621(L2)和第二右眼图像623(R2)创建而成。因为第二左眼图像621和右眼图像623在显示器的同一位置,所以第二左眼图像621和右眼图像623的视差(例如,距离的视差,或仅仅是该距离)为0。用户将图像视作形成在左眼601到第二左眼图像621的连接线与右眼603到第二右眼图像623的连接线的交接处。因此,用户感觉到第二对象625位于显示器180上。在这种情况下,可以说第二对像625是2D对象。第二对像625具有与显示器180相同的深度(也就是,0深度)。
[0099] 第三对象635和第四对象645都是被感知为向用户凸出的3D对象的示例。可从第三对象635和第四对象645注意到,用户根据左眼和右眼图像之间的不同视差(距离)感觉不同的立体感或不同的3D感。
[0100] 通过将第三左眼图像631(L3)和第三右眼图像633(R3)按照第三左眼图像631和第三右眼图像633之间的视差d3(例如,距离的视差,或仅仅是该距离)相结合来创建第三对象635。用户将图像视作形成在左眼601到第三左眼图像631的连接线与右眼603到第三右眼图像633的连接线的交接处。因此,用户误以为第三对象635位于显示器180的前面(也就是说,逼近用户)。换句话说,用户感知到第三对象635从显示器180凸向用户。因为被感知为位于显示器180前面的3D对象具有正的深度值,所以第三对像635的深度是正值。
[0101] 通过将第四左眼图像641(L4)和第四右眼图像643(R4)按照第四左眼图像641和右眼图像643之间的视差d4(例如,距离的视差,或仅仅是该距离)相结合来创建第四对象645。d3和d4的关系是d3<d4。用户将图像视作形成在左眼601到第四左眼图像641的连接线与右眼603到第四右眼图像643的连接线之间的交接处。因此,用户误以为第四对象
645位于显示器180的前面(也就是说,逼近用户,更具体地说比第三对象635离用户近)。
也就是说,用户感知相对于显示器180来说第四对象645比第三对象635更凸向用户。第四对像645的深度是正值。
[0102] 图像显示装置100可控制左眼和右眼图像在显示器180上显示的位置,这样,由左眼和右眼图像创建的对象可被用户感知为位于显示器180之前或之后。另外,图像显示装置100可通过控制在显示器180上显示的左眼和右眼图像之间的视差(例如,距离的视差,或仅仅是该距离)来控制由左眼和右眼图像创建的对象的深度感。
[0103] 从图6可知道,根据左眼和右眼图像在显示器180上的位置,由左眼图像和右眼图像构成的对象具有正或负的深度值。如前所述,具有正的深度值的对象被感知为向用户凸出,反之,具有负的深度值的对象被感知为远离用户。
[0104] 图6还揭示了对象的深度感,也就是说,显示器180与3D对象被感知形成的位置之间的距离根据对象的左眼和右眼图像之间的视差(例如,距离的视差,或仅仅是该距离)的绝对值而改变。
[0105] 图7示出了根据本发明的一种实施方式的用于控制图像的深度感的操作。参照图7,同一图像或3D对象的深度感随形成显示器180上的图像或3D对象的左眼图像701和右眼图像702之间的视差(例如,距离的视差,或仅仅是该距离)而变化。在此示例性实施方式中,显示器180深度为0并且被感知为从显示器180凸出的图像的深度是正值。
[0106] 图7的(a)中的左眼图像701和右眼图像702之间的视差(例如,距离的视差,或仅仅是该距离)a小于图7的(b)中的左眼图像701和右眼图像702之间的视差(例如,距离的视差,或仅仅是该距离)b。也就是说,图7的(b)中左眼图像701距右眼图像702比图7的(a)中的左眼图像701距右眼图像702的距离更远。
[0107] 如以前参照图6所述,图7的(b)中的3D图像或3D对象比图7的(a)中的3D图像或3D对象看起来更深(例如,更凸出或更远离)。如果分别通过a’和b’来量化和表示两种情况下的深度,那么a’<b’的关系也可因为a<b而被确定。也就是说,通过扩大或缩小左眼图像701和右眼图像702之间的视差(例如,距离的视差,或仅仅是该距离),可增大或减小3D图像的深度。
[0108] 图8是根据本发明的一种实施方式示出用于控制图像显示系统的操作的方法的信号流程的图。依照本发明的实施方式,第一图像显示装置301可通过网络服务器320或直接连接(例如点对点(P2P)连接)从第二图像显示装置302接收关于第二图像显示装置302的用户(此后,称为第二用户)已经做出的动作的用户动作信息(此后,称为第二用户动作信息)。对网络服务器320进行配置以通过网络(例如因特网)将该网络服务器连接至第一图像显示装置301。第一图像显示装置301可无线地或通过有线方式将信号发送至网络服务器320或从网络服务器320接收信号。
[0109] 参照图8,第二图像显示装置302识别第二用户已经做出的动作(S801)。在此实施方式中,可为第二图像显示装置302配备感知第二用户动作的动作传感器。具体地说,第二图像显示装置302可使用连接至第二用户正在操作的远程控制器的动作传感器感知的信号来识别第二用户动作。
[0110] 作为替代或作为补充,第二图像显示装置302可包括摄像机模块(具体地说,摄像机)。第二图像显示装置302可通过摄像机拍摄第二用户的动作并生成携带关于拍摄的第二用户的动作的信息的图像信号。
[0111] 第二图像显示装置302将包括第二用户动作信息的信号发送至网络服务器320(S802)。第二图像显示装置302可无线地或通过有线方式将信号发送至网络服务器320或从网络服务器320接收信号。在此实施方式中,第二图像显示装置302通过因特网将包括第二用户动作信息的信号发送至网络服务器320。另外,第二图像显示装置302可将第二图像显示装置302的识别信息发送至网络服务器320。识别信息可以是分配给第二图像显示装置302的IP地址或设备序列号。
[0112] 依照本发明的实施方式,第一图像显示装置301可具有用于检测第一图像显示装置301(此后,称为第一用户)的用户正在进行的动作的用户动作检测器。例如,第一图像显示装置301可以与第二图像显示装置302一样被配备动作传感器。作为替代或作为补充,第一图像显示装置301可以与第二图像显示装置302一样被配备摄像机。
[0113] 第一图像显示装置301可识别第一用户已经做出的动作(S803),并将包括关于第一用户的动作的用户动作信息(此后,被称为第一用户动作信息)的信号发送至网络服务器320(S804)。另外,第一图像显示装置301可将第一图像显示装置301的识别信息发送至网络服务器320。该识别信息可以是分配给第一图像显示装置301的IP地址或设备序列号。
[0114] 网络服务器320可从第一图像显示装置301和第二图像显示装置302接收信号,并可使用第一图像显示装置301和第二图像显示装置302的识别信息来区别第一用户动作信息和第二用户动作信息(S805)。
[0115] 网络服务器320将包括第二用户动作信息的信号发送至第一图像显示装置301(S806)。如前所述,网络服务器320基于包括在接收到的信号中的第一图像显示装置
301和第二图像显示装置302的识别信息来区别第二用户动作信息和第一用户动作信息,并随后将包括第二用户动作信息的信号发送至第一图像显示装置301。
[0116] 在此实施方式中,网络服务器320可在每一个预定间隔将包括第二用户动作信息的信号发送至第一图象显示装置301。在另一示例中,只有在从第二图像显示装置302接收到第二用户动作信息的时候,网络服务器320才可将包括第二用户动作信息的信号发送至第一图像显示装置301。在另一示例中,在从第一图像显示装置301接收第一用户动作信息后,网络服务器320可以利用包括第二用户动作信息的信号回应第一图像显示装置301。在再一示例中,网络服务器320检测第二用户动作信息的动作变量,并且如果动作变量等于或大于预定的阈值,网络服务器320可将包括第二用户动作信息的信号发送至第一图像显示装置301。
[0117] 同时,网络服务器320可从不同于第一图像显示装置301和第二图像显示装置302的第三图像显示装置接收包括用户动作信息的信号。例如,用户动作信息可以是关于第三图像显示装置的用户(此后,称为第三用户)做出的动作。此用户动作信息可称为第三用户动作信息。随后,网络服务器320可将包括第二用户动作信息和第三用户动作信息二者的信号发送给第一图像显示装置301。
[0118] 还可以预期的是,网络服务器320发送有关背景图像的信息以及第二用户动作信息。具体地说,第一图象显示装置301和第二图象显示装置302可执行通过网络连接至少两个图像显示装置用户的应用(例如游戏应用、会议用户、呼叫应用、社会网络应用等)。网络服务器320可将包括有关与图像显示装置中所执行的应用相对应的背景图像的信息的信号发送至第一图像显示装置301。
[0119] 第一图像显示装置301从网络服务器320接收信号,并基于包含在所接收的信号中的信息显示图像(S807)。更具体地说,第一图像显示装置301可基于第二用户动作信息来显示3D对象的多个视点图像。
[0120] 3D对象可以是第二用户(即第二图像显示装置302的用户)的立体呈现。由于3D对象根据第二用户动作信息而改变,所以根据本发明的实施方式,第一用户(即第一图像显示装置301的用户)可能会误以为第二用户仍然与第一用户保持于同一空间。
[0121] 除了基于第二用户动作信息呈现的3D对象之外,第一图像显示装置301可基于第一用户动作信息来显示3D对象。为了呈现代表第一图像显示装置301和第二图像显示装置302的第一和第二用户的3D对象,控制器170(特别地,格式编制器175)可生成具有与第一图像显示装置301的用户拍摄信息(此后称为第一用户拍摄信息)相对应的3D对象以及与第二图像显示装置302的用户拍摄信息(此后成为第二用户拍摄信息)相对应的3D对象的3D图像,并可控制具有3D对象的3D图像在显示器180上的显示。代替控制器170,网络服务器320可生成具有3D对象的3D图像。在这种情况中,控制器170可以控制从网络服务器320接收的3D图像在显示器180上的显示。
[0122] 当网络服务器320将与背景图像相关的背景信息发送至第一图像显示装置301时,背景信息与第二用户动作信息一起被第一图像显示装置301接收。从而,第一图像显示装置301可基于接收到的背景信息显示背景图像。在这个实施方式中,背景图像对于用户来说可以是看上去位于显示器180的平面上的平面图像(即,2D图像)。或者,背景图像可以是看上去从显示器180的平面向用户突出的3D图像。
[0123] 控制器170可输出包括背景图像和与第一图像显示装置301和第二图像显示装置302的第一和第二用户拍摄信息相对应的3D对象的3D图像。
[0124] 代替控制器170,网络服务器320可生成包括背景图像和与第一和第二用户拍摄信息相对应的3D对象的3D图像。在这种情况中,控制器170可以控制从网络服务器320接收的3D图像在显示器180上的显示。
[0125] 尽管第一图像显示装置301和第二图像显示装置302在图8中示出为通过网络服务器320彼此交换信息,但是第一图像显示装置301和第二图像显示装置302还可以通过例如P2P连接的直接连接来交换信息。
[0126] 图9是示出了根据本发明另一实施方式的控制图像显示系统操作的方法的信号流的图。依照本发明的实施方式,第一图像显示装置301可选择要在其显示器180上显示的背景图像。更具体地说,第一图像显示装置301可将背景选择命令发送至网络服务器320,以从网络服务器320选择可用的背景图像中的一个。网络服务器320可将由背景选择命令指示的关于背景图像的背景信息发送至第一图像显示装置301。背景信息可以携带请求的背景图像,或可以指定获取背景图像所需的信息。第一图像显示装置301可在显示器180上显示基于从网络服务器320接收的第二用户信息的图像以及基于从网络服务器320接收的背景信息的背景图像二者。
[0127] 参考图9,第二图像显示装置302将包括第二用户动作信息的信号发送至网络服务器320(S901)。网络服务器320可基于包含在接收到的信号中的第二图像显示装置320的识别信息来识别第二用户动作信息。
[0128] 第一用户将背景选择命令输入至第一图像显示装置301(S902)。具体地说,例如,第一用户可使用远程控制器来向第一图像显示装置301输入背景选择命令。第一图像显示装置301可在显示器180上向第一用户显示表示可用背景图像的缩略图、图标等。从而,第一用户可以通过选择表示期望的背景图像的缩略图、图标等来向第一图像显示装置301输入背景选择命令。
[0129] 第一图像显示装置301将包括背景选择命令的信号发送至网络服务器320(S903)。具体地说,第一图像显示装置301可通过因特网、无线或有线方式将包括背景选择命令的信号发送至网络服务器320。
[0130] 网络服务器320从第一图像显示装置301接收包括背景选择命令的信号,并从第二图像显示装置302接收包括第二用户动作信息的信号。然后,网络服务器320基于所接收到的信号生成包括第二用户动作信息和背景信息的信号(S904)。
[0131] 网络服务器320将包括第二用户动作信息和背景信息的信号发送至第一图像显示装置301(S905)。更具体的说,网络服务器320可通过因特网将信号发送至第一图像显示装置301。当将信号发送至第一图像显示装置301时,网络服务器320可使用第一图像显示装置的标识信息。
[0132] 在第一图像显示装置301从网络服务器320接收包括第二用户动作信息和背景信息的信号之后,该第一图像显示装置基于接收到的信号在显示器180上显示图像(S906)。更具体的说,第一图像显示装置301可基于包括在接收到的信号中的背景信息在显示器
180上显示背景图像。另外,第一图像显示装置301可基于包括在接收到的信号中的第二用户动作信息在显示器180上显示表示第二用户的多个视点图像。从而,第一用户通过用他或她的左眼或右眼观看该多个视点图像来感知表示第二用户的3D对象。
[0133] 除了显示基于第二用户动作信息和背景图像的3D对象之外,可以一同显示基于第一用户动作信息的3D对象。如前所述,可由控制器170或网络服务器320产生包括表示第一和第二用户的3D对象和背景图像的3D图像。
[0134] 还可以使用第二图像显示装置302代替第一图像显示装置301来将背景选择命令发送至网络服务器320。
[0135] 在本发明的另一实施方式中,第一图像显示装置301可基于存储在第一图像显示装置301中的视频信号或者从连接到第一图像显示装置301的外部设备接收的视频信号来显示背景图像。第一图像显示装置301还可以将存储在第一图像显示装置301中或者从外部设备接收到的视频信号发送至网络服务器320。然后,网络服务器320可将从第一图像显示装置接收到的形成背景图像的视频信号发送至第二图像显示装置302。第二图像显示装置302可基于接收到的视频信号来显示背景图像。
[0136] 在本发明的再一实施方式中,第一图像显示装置301可存储从连接至第一图像显示装置301的外部设备接收的视频信号或者从网络服务器320接收到的视频信号,可基于存储的视频信号来显示背景图像。第一用户可将在第一图像显示装置301上显示的当前背景图像改变为基于存储在第一图像显示装置301中的视频信号中的一个的背景图像。
[0137] 虽然图9中所示的第一图像显示装置301和第二图像显示装置302通过网络服务器320彼此交换信息,但是第一图像显示装置301和第二图像显示装置302也可以通过例如P2P连接的直接连接来交换信息。
[0138] 图10是用于描述控制根据本发明的一个实施方式的第一图像显示装置301操作的方法的图。参考图10,第一图像显示装置301基于从网络服务器320接收到的信号来显示图像,从而第一用户可以在显示器180上看到该图像。第一图像显示装置301可使得第一3D对象1001和第二3D对象1002以看起来从显示器平面D1向外突出的方式在显示器180的平面(或显示器平面)D1上显示第一3D对象1001和第二3D对象1002的多视点图像。
[0139] 第一用户可通过他或她的左眼和右眼观看显示在显示器平面D1上的多视点图像。第一用户误以为3D对象1001和1002从显示器平面D1分别向第一用户突出距离a和b。
[0140] 依照通过网络服务器320从连接至第一图像显示装置301的第二图像显示装置302和第三图像显示装置接收到的第二和第三用户动作信息来呈现3D对象1001和1002。
更具体地说,可以根据第二用户已经做出的动作来改变基于由第二图像显示装置302发送的第二用户动作信息而呈现的第一3D对象1001的形状。同样的,可以根据第三图像显示装置的第三用户的已经做出的动作来改变基于由第三图像显示装置发送的第三用户动作信息呈现的第二3D对象1002的形状。
[0141] 在这个实施方式中,第二图像显示装置302通过摄像机拍摄第二用户的动作。具体地说,第二图像显示装置302使用至少两个摄像机来拍摄第二用户动作;基于所拍摄的第二用户动作的图像来生成3D图像,并将该3D图像信号发送至网络服务器320。
[0142] 如同第二图像显示装置302,第三图像显示装置通过摄像机拍摄第三用户动作。具体地说,第三图像显示装置使用至少两个摄像机来拍摄第三用户的动作,基于所拍摄的第三用户动作图像来生成3D图像信号,并将该3D图像信号发送至网络服务器320。
[0143] 在网络服务器320从第二和第三图像显示装置接收到3D图像信号之后,网络服务器320通过结合接收到的3D图像信号生成包括第一3D对象1001和第二3D对象1002的3D图像信号,以在同一画面上显示第一3D对象1001和第二3D对象1002。然后,网络服务器320将生成的3D图像信号发送至第一图像显示装置301。第一图像显示装置301在显示器平面D1上显示接收到的3D图像信号的多视点图像。
[0144] 在另一个示例中,网络服务器320可将从第二和第三图像显示装置接收的3D图像信号转发至第一图像显示装置301。然后,第一图像显示装置301可通过结合接收到的3D图像信号将接收的3D图像信号转换为包括第一3D对象1001和第二3D对象1002的3D图像,以在同一画面上显示第一3D对象1001和第二3D对象1002。然后,第一图像显示装置301在显示器平面D1上显示3D图像信号的多视点图像。
[0145] 第一用户可分别从第一3D对象1001和第二3D对象1002识别第二用户和第三用户的动作。第一用户可调整第一3D对象1001和第二3D对象1002所显示的位置。例如,第一图像显示装置301的用户1003(即,第一用户)可交换第一3D对象1001和第二3D对象1002的显示位置。第一用户还可以改变第一3D对象1001和第二3D对象1002的深度、大小等。
[0146] 图11示出了根据本发明的一种实施方式的包括图像显示装置和网络服务器的图像显示系统。参考图11,根据本发明实施方式的图像显示装置包括网络服务器320和用于通过网络服务器320来发送和接收包括3D图像信号的信号的至少两个图像显示装置301至304。在这个实施方式中,图像显示装置301至304的每一个可将携带用户动作信息的信号发送至网络服务器320。
[0147] 网络服务器320可将从每个图像显示装置301至304所接收的信号发送至另一图像显示装置。从而,在接收包括关于图像显示装置的用户动作的用户动作信息的信号之后,另一图像显示装置的控制器170可基于接收到的信号来生成包括表示图像显示装置用户的3D对象的3D图像。
[0148] 在另一个示例中,网络服务器320可将包括关于第二、第三和第四图像显示装置的用户动作的用户动作信息的3D图像信号转发至第一图像显示装置301。
[0149] 在再一示例中,网络服务器320可基于包括在从第二、第三和第四图像显示装置接收到的信号中的、关于第二、第三和第四图像显示装置的用户动作的用户动作信息来生成3D图像信号。更具体地说,网络服务器320可以生成包括代表第二、第三和第四图像显示装置用户的3D对象的3D图像信号,并将该3D图像信号发送至第一图像显示装置301。
[0150] 依照本发明的实施方式,图像显示系统中的图像显示装置能够执行例如游戏应用的网络应用,该网络应用将图像显示装置的用户和另一图像显示装置的用户连接起来。图像显示装置可在网络应用的执行期间显示相同的画面。也就是说,连接至网络服务器320的图像显示装置301至304可显示同样的背景图像。
[0151] 可以进一步想到本发明的另一实施方式,即,各图像显示装置在执行网络应用期间显示不同的画面。也就是说,连接至网络服务器320的图像显示装置301至304按照使每个图像显示装置的用户可从不同的视点看到相同空间的方式显示不同的背景图像。
[0152] 网络服务器320可将用于形成背景图像的图像信号发送至连接至网络服务器320的图像显示装置301至304。从而,图像显示装置301至304可以基于接收到的图像信号来显示背景图像。在本发明的另一实施方式中,图像显示装置301至304可基于存储其中或从与这些图像显示装置301至304连接的外部设备接收到的视频信号来显示背景图像。
[0153] 各个图像显示装置301至304可以从网络服务器320选择可用的背景图像。网络服务器320可将与所选择的背景图像相关的图像信号发送至图像显示装置。
[0154] 同图11所示的图像显示系统的配置相比,图像显示装置301至304可并行连接而不用在其间设置网络服务器320。因此,如前所述,图像显示装置301至304可通过例如P2P连接的直接连接来交换信息。
[0155] 图12A和12B是根据本发明另一实施方式的用于描述控制第一图像显示装置301操作的方法的图。
[0156] 在这个实施方式中,第一图像显示装置301可基于从网络服务器320接收的图像信号在显示器180的平面上显示背景图像。接收到的图像信号可对应于由第一用户选择的背景图像。
[0157] 除了基于从网络服务器320接收到图像信号来呈现背景图像以外,第一图像显示装置301可基于存储在第一图像显示装置301或从外部设备接收到的视频信号来显示背景图像。第一用户可向第一图像显示装置301输入用于从存储的视频信号或从外部设备接收到的视频信号中选择与期望的背景图像相对应的视频信号的命令。
[0158] 第一图像显示装置301可以将显示在显示器180的平面上的背景图像改为由第一用户1003输入的背景选择命令所指定的背景图像。更具体地说,第一图像显示装置301可用图12B中显示在显示器平面D3上的背景图像来替换图12A中显示在显示器平面D2上的背景图像。因此,第一图像显示装置301可取代从网络服务器320接收的背景图像。
[0159] 在本发明的另一实施方式中,第一图像显示装置301可以依照从网络服务器320接收到的图像信号来改变在显示器180的平面上显示的背景图像。例如,在网络服务器320从第二图像显示装置302接收到表示特定背景图像的图像信号后,网络服务器320可将接收到的图像信号转发至第一图像显示装置301。然后,第一图像显示装置301基于接收到的图像信号来显示背景图像。由于所接收的图像信号用于形成由第二图像信号装置302发送的背景图像,所以第一图像显示装置301显示该背景图像。
[0160] 图13A、13B和13C是根据本发明另一实施方式的用于描述控制第一图像显示装置301的操作的方法的图。参考图13A,第一图像显示装置301可显示包括3D对象的背景图像。具体地说,第一图像显示装置301显示第三3D对象1005的多视点图像,其看起来从显示器平面D4向第一用户1003突出距离c。第一用户1003用他或她的左眼和右眼通过观看在显示器平面D4上显示的第三3D对象1005的多视点图像来感知第三3D对象1005。
[0161] 更具体地说,第一图像显示装置301可基于从网络服务器320接收的3D图像信号在显示器平面D4上显示背景图像。另外,网络服务器320可生成包括表示另一图像显示装置的用户的3D对象以及包括在背景图像中的3D对象的3D图像信号,或者可以将接收到的信号转换为3D图像信号。然后,网络服务器320可将该3D图像信号发送至第一图像显示装置301。
[0162] 第一图像显示装置301的第一用户1003可改变3D对象1001、1002和1003的显示位置。例如,第一用户1003可交换表示第二用户的第一3D对象1001和表示第三用户(即第三图像显示装置303的用户)的第二3D对象1002的显示位置。第一用户1003可进一步改变第三3D对象1005以及其它3D对象1001和/或1002的深度。
[0163] 在这个实施方式中,包括在背景图像中的3D对象可以是在执行第一图像显示装置301中的应用期间显示的图像中包括的3D对象。如果该应用是纸牌游戏应用,纸牌形状的3D对象可包括在背景图像中。表示其他图像显示装置的用户的3D对象可以采用参加纸牌游戏的成员的形式。因此,由于第一用户1003观看表示其他图像显示装置的用户的3D对象以及纸牌形状的3D对象,第一用户1003会误以为第一用户1003正在和其他图象显示装置的用户玩纸牌。
[0164] 参考图13A,3D对象1001和1002位于表示第一用户1003的3D对象1005的左侧和右侧。参考图13B,在第二图像显示装置302的显示器上,3D对象1005和1002位于表示第二图像显示装置302的第二用户的3D对象1001的左侧和右侧。在图13C中,在第三图像显示装置303的显示器上,3D对象1001和1005位于表示第三用户的3D对象1002的左侧和右侧。以这种方式,不同的3D图像可以显示在图像显示装置301、302和303中。具体地说,3D图像可以是用户定制的。
[0165] 代替在图13A中一起显示3D对象1001、1002和1005,可以根据关于第一用户1003的拍摄图像的信息(即,第一用户拍摄信息)首先显示3D对象1005。然后,如图13A所示,在第一图像显示装置301从网络服务器320接收到关于第二和第三用户的拍摄图像的第二和第三用户拍摄信息或表示第二和第三用户的3D对象1001和1002之后,第一图像显示装置301可显示3D对象1001和1002。
[0166] 图14A、14B和14C是根据本发明另一实施方式的关于用于描述控制第一图像显示装置301的操作的方法的图。参考图14A,第一图像显示装置301的第一用户可以按照类似图片的平面图像(即,2D图像)的形式存储在第一图像显示装置301上显示的3D对象。也就是说,第一用户可以将3D对象存储为2D图像,该2D图像可以通过对3D对象照相来实现。
[0167] 例如,第一用户可向如图13A中所示的、显示3D对象的多视点图像的第一图像显示装置301输入相片存储命令。从而,如图14A所示,第一图像显示装置301可以将第一用户观看的3D图像转换为平面图像,并存储该平面图像。在该平面图象中,图13A的第一3D对象1001、第二3D对象1002和第三3D对象1005被转换为图14A的2D对象1001b、1002b和1005b。
[0168] 在本发明的另一实施方式中,第一图像显示装置301可存储第一用户1003观看的3D图像的静止图像形式。该3D静止图像包含图13A所示的第一3D对象1001、第二3D对象1002和第三3D对象1005。在第一图像显示装置301从第一用户1003接收到3D回放命令之后,第一图像显示装置301可回放存储的3D静止图像。第一用户1003可存储包括表示第二和第三用户的3D对象以及包括在背景图像中的3D对象的3D图像,然后回放存储的
3D图像。
[0169] 在图14A中,平面对象1001b和1002b位于表示第一用户1003的平面对象1005b的左侧和右侧。在图14B中,平面对象1005b和1002b在第二图像显示装置302的显示器上位于表示第二图像显示装置302的第二用户的平面对象1001b的左侧和右侧。在图14C中,平面对象1001b和1005b在第三图像显示装置303的显示器上位于表示第三图像显示装置303的第三用户的平面对象1003b的左侧和右侧。以这种方式,可以在图像显示装置301、302和303中显示不同的平面图像。具体地说,平面图像可以是用户定制的。
[0170] 代替在图14A中一起显示平面对象1001b、1003b和1005b,可根据第一用户拍摄信息来首先显示平面对象1005b。然后,如图14A所示,在第一图像显示装置301从网络服务器320接收到第二和第三用户拍摄信息或表示第二和第三用户的平面对象1001b和1002b之后,该第一图像显示装置可显示平面对象1001b和1002b。
[0171] 图15A和15B是根据本发明另一实施方式的用于描述控制第一图像显示装置301的操作的方法的图。第一图像显示装置301和第二图像显示装置302可共享公共3D对象,该公共3D对象可依照每个用户的用户拍摄信息或者每个用户的手势输入而改变。
[0172] 图15A示出了公共3D对象1510(例如旋转转盘)在第一图像显示装置301的显示器180上的显示示例。公共3D对象1510可以是能够在第一图像显示装置301和第二图像显示装置302之间共同以3D形式显示的预设对象。为了使公共3D对象1510公共3D可视,网络服务器320可将该公共3D对象1510发送至第一图像显示装置301和第二图像显示装置302二者。如前所述,当执行例如游戏应用、消息应用等需要交互的操作时,可显示公共3D对象1510。
[0173] 为了在第一图像显示装置301和第二图像显示装置302之间发送或者接收拍摄图像或手势信息,可以在预设的时间段对第一图像显示装置301和第二图像显示装置302中的一个图像显示装置赋予优于另一个图像显示装置的优先级。如图15A中所示,提示第一用户1003进行操作的对象1505(例如文本)可在第一时间段显示。当第一用户1003作出手势以与公共3D对象1510交互或操作远程控制器200时,第一图像显示装置301可根据手势或对远程控制器200的操作来改变公共3D对象1510的显示状态。在图15A中,例如,由第一用户1003执行的旋转手势来旋转公共3D对象1510。
[0174] 图15B示出了在从网络服务器320或第二图像显示装置302接收到关于第二用户的拍摄图像的信息或者第二用户的手势输入之后改变第一图像显示装置301的公共3D对象1510的显示的示例。例如,在图15B中公共3D对象1510进一步旋转。也就是说,无需第一用户1003的附加手势或附加用户拍摄信息,公共3D对象1510显示为被进一步的旋转。以这种方式,第一图像显示装置301和第二图像显示装置302可以共享关于交互操作的信息。
[0175] 同时,在从网络服务器320或第二图像显示装置302接收到关于第二用户的拍摄图像的信息或第二用户的手势输入之后,第一图像显示装置301可显示例如文本的对象1515,该对象提示第一用户:已接收到第二用户的第二用户拍摄信息或者该第二用户的手势输入。从而,第一用户容易知道另一图像显示装置的用户的输入。
[0176] 图16A和16B是根据本发明另一实施方式的关于用于描述控制第一图像显示装置301的操作的方法的图。第一图像显示装置301或第二图像显示装置302可根据第一和第二用户的用户拍摄信息中的至少一个(即,第一和第二用户拍摄信息中的至少一个)来改变第一图像显示装置301或第二图像显示装置302的环境照明、音量或图像亮度中的至少一个。
[0177] 图16A示出了在第一图像显示装置301上显示与第一用户拍摄信息相对应的3D对象1005以及与第二用户拍摄信息相对应的3D对象1001的示例。如果由第一用户动作信息或者第二用户动作信息中的至少一个所指示的动作级别等于或者大于预设阈值,即,用户的动作活跃,则可增加环境照明设备1610的亮度以适应活跃的气氛。亮度控制可通过与环境照明设备1610的远程通信来执行。
[0178] 还可以增加3D图像的音量或者总体亮度。从而,能够对3D图像进行重现以适应给定的情况。另外,如果动作级别等于或者大于阈值,可降低亮度或音量。
[0179] 图16B示出了在第一图像显示装置301上显示与第一用户1003的第一用户拍摄信息相对应的3D对象1005以及与第二用户的第二用户拍摄信息相对应的3D对象1001的示例。如果第一用户动作信息或第二用户动作信息中的至少一个所指示的动作的级别小于预设阈值,即用户动作稳定,可降低环境照明设备1610的亮度以反映不活跃的气氛。还可以降低3D图像的音量或总体亮度。从而,对3D图像进行重现以适应给定的情况。另外,如果动作级别小于阈值,也可以增加亮度或音量。
[0180] 根据对本发明实施方式的以上描述,图像显示装置显然能够使用3D对象表现通过网络连接至图像显示装置的另一图像显示装置的用户的动作。
[0181] 图像显示装置能将关于其用户的动作的用户动作信息发送至另一图像显示装置。这些图像显示装置能够通过网络服务器互相连接。
[0182] 网络服务器能识别已从中接收到包括用户动作信息的信号的图像显示装置。
[0183] 网络服务器还能将包括关于背景图像的信息的信号发送至图像显示装置。
[0184] 因此,图像显示装置能从网络服务器接收另一图像显示装置的用户动作信息或者关于背景图像的信息。
[0185] 图像显示装置能基于接收到的信息来显示背景图像或3D对象的多个视点图像。
[0186] 根据前述实施方式的图像显示装置及其控制方法并不限于此处提出的实施方式。因此,此处提出的示例实施方式的变形和组合均落入本发明的范围内。
[0187] 根据前述实施方式的控制图像显示装置的方法可以实现为能够写入非易失性计算机可读记录介质并能被处理器读取的代码。计算机可读记录介质可以是能以计算机可读的方式存储数据的任意类型的记录设备。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘和光学数据存储器。计算机可读记录介质能分布在通过连接至网络的多个计算机系统,以使计算机可读代码以分散的方式被写入到该多个计算机系统中并从这些计算机系统中执行。本领域的普通技术人员能够想到实现此处的实施方式所需的功能程序、代码以及代码段。
[0188] 在本发明的一个或多个实施方式中,参考和/或引用了列出项目中的至少一项。
[0189] 虽然已经参考本发明的示例性实施方式具体示出和描述了本发明,但是本领域的普通技术人员可以理解的是,在不背离由所附权利要求规定的本发明的精神和范围的情况下,可对本发明中的形式和细节进行各种变化。