具有内容转移和交互选择能力的下一代电视机

摘要

描述了用于提供具有内容转移和交互选择能力的下一代电视机的系统和方法。在一些示例中，可以将图像内容从电视机传递到较小的移动计算设备，并且可以对所述内容的选择部分执行基于示例的视觉搜索。然后可以将搜索结果提供到所述移动计算设备。此外，可以完成化身模拟。

权利要求

1.一种用于促进与在电视机上显示的图像内容的用户交互的系统，包括：内容获取模块，配置为使图像内容在移动计算设备处被接收，其中，所述图像内容被同时显示在电视机上；

内容处理模块，配置为通过在所述图像内容的查询区域上执行内容分析来生成查询元数据；以及视觉搜索模块，配置为使用所述查询元数据执行视觉搜索，并且在所述移动计算设备上显示至少一个相对应的搜索结果。

2.如权利要求1所述的系统，进一步包括：

模拟模块，配置为对至少一个搜索结果和用户的至少一个图像做出响应而执行化身建模。

3.如权利要求1所述的系统，其中，在所述查询区域上执行内容分析包括在所述查询区域上执行图像分割。

4.如权利要求1所述的系统，其中，所述内容获取模块配置为通过将所述内容从所述电视机传递到所述移动计算设备来提供所述图像内容。

5.如权利要求1所述的系统，其中，所述内容处理模块配置为通过从所述查询区域提取特征向量来生成查询元数据。

6.如权利要求1所述的系统，其中，所述移动计算设备包括触摸屏显示器，并且其中，所述查询区域包括至少部分地对施加到所述触摸屏显示器的用户姿势做出响应来确定的所述图像内容的一部分。

7.如权利要求6所述的系统，其中，所述用户姿势包括触摸、轻敲、猛击或拖曳姿势中的至少一个。

8.如权利要求1所述的系统，其中，所述电视机包括电视机显示屏幕，并且其中，所述电视机显示屏幕具有比所述移动计算设备的显示屏幕的对角线尺寸更大的对角线尺寸。

9.一种用于促进与在电视机上显示的图像内容的用户交互的方法，包括：使图像内容在移动计算设备处被接收，其中，所述图像内容被同时显示在电视机上；

通过在所述图像内容的查询区域上执行内容分析来生成查询元数据；

通过使用所述查询元数据执行视觉搜索来生成至少一个搜索结果；以及使所述至少一个搜索结果在所述移动计算设备处被接收。

10.如权利要求9所述的方法，进一步包括：

对所述至少一个搜索结果做出响应并且对用户的至少一个图像做出响应来执行化身建模。

11.如权利要求9所述的方法，其中，使图像内容在所述移动计算设备处被接收包括使所述图像内容从所述电视机传递到所述移动计算设备。

12.如权利要求9所述的方法，其中，通过在所述图像内容的所述查询区域上执行内容分析来生成查询元数据包括在一个或多个后端服务器处执行所述内容分析。

13.如权利要求9所述的方法，其中，通过使用所述元数据执行所述视觉搜索来生成所述至少一个搜索结果包括在一个或多个后端服务器处执行所述视觉搜索。

14.如权利要求9所述的方法，其中，执行内容分析包括执行图像分割。

15.如权利要求9所述的方法，进一步包括：

使内容元数据在所述移动计算设备处被接收；以及

在所述移动计算设备处使用所述内容元数据来识别所述图像内容。

16.如权利要求15所述的方法，其中，使用所述内容元数据来识别所述图像内容包括使用所述内容元数据来识别与所述图像内容相对应的数据流。

17.一种包括计算机程序产品的物品，所述计算机程序产品具有存储在其中的指令，所述指令如果被执行则产生下列操作：使图像内容在移动计算设备处被接收，其中所述图像内容被同时显示在电视机上；

通过在所述图像内容的查询区域上执行内容分析来生成查询元数据；

通过使用所述查询元数据执行视觉搜索来生成至少一个搜索结果；并且使所述至少一个搜索结果在所述移动计算设备处被接收。

18.如权利要求17所述的物品，进一步具有存储在其中的指令，所述指令如果被执行则产生下列操作：对所述至少一个搜索结果做出响应并且对用户的至少一个图像做出响应来执行化身模拟。

19.如权利要求17所述的物品，其中，使图像内容在所述移动计算设备处被接收包括使所述图像内容从所述电视机传递到所述移动计算设备。

20.如权利要求17所述的物品，其中，执行内容分析包括执行图像分割。

说明书

具有内容转移和交互选择能力的下一代电视机

背景技术

[0001] 除非本文以其它方式指示，这一部分中描述的方案不是对于在这一申请中公开的材料的现有技术，并且并不通过包括在这一部分中而被承认是现有技术。

[0002] 传统的内容转变解决方案集中于将内容从诸如个人计算机（PC）或智能电话的计算机转移到电视机（TV）。换句话说，典型的方案将内容从较小的屏幕转移到较大的TV屏幕以改善用户的观看体验。然而，如果用户还希望选择性地与该内容进行交互，则这样的方案可能是不期望的，因为较大的屏幕通常位于距离用户几米远的位置，并且典型地经过远程控制或经过姿势控制来提供与较大屏幕的交互。尽管一些方案允许用户使用鼠标和/或键盘作为交互工具，但是这样的交互方法并不如可能期望的那样用户友好。

附图说明

[0003] 附图中以示例而非限制的方式说明了本文描述的材料。为了说明的简化和清晰，附图中说明的元件不一定按比例绘制。例如，为了清晰起见，可以相对于其它元件来放大一些元件的尺寸。进而，在被认为适当的场合，附图中重复使用附图标记以指示相应或相似的元件。

[0004] 在附图中：

[0005] 图1是示例多屏幕环境的说明图；

[0006] 图2是示例处理的说明；

[0007] 图3是示例系统的说明；并且

[0008] 图4是全部根据本公开的至少一些实施例布置的示例系统的说明。

具体实施方式

[0009] 现在参照附图描述一个或多个实施例。尽管讨论了具体的配置和布置，但是应该理解，这仅仅出于说明目的。相关领域中的技术人员将认识到，在不偏离本描述的精神和范围的情况下，可以采用其它配置和布置。对于相关领域的技术人员将变得明显的是，也可以在除了本文描述的系统和应用以外的各种其它系统和应用中采用本文描述的技术和/或布置。

[0010] 尽管下面的描述阐述了可以在诸如片上系统（SoC）架构的各种架构中表明的各种实现，但是本文描述的技术和/或布置的实现并不局限于特定的架构和/或计算系统，并且可以出于类似的目的而由任何架构实现。例如，采用多个集成电路（IC）芯片和/或封装的架构和/或在计算设备和/或诸如机顶盒（STB）、电视机（TV）、智能电话、平板电脑等等的消费类电子（CE）设备中表明的各种架构可以实现本文描述的技术和/或布置。进而，尽管下面的描述可以阐述诸如逻辑实现、系统部件的类型和相互关系、逻辑划分/集成选择等等的许多具体细节，但是可以在没有这样的具体细节的情况下来实践请求保护的主题。在其它实例中，可以不必详细地示出例如以控制结构和全软件指令序列等等为例的一些材料，以便不混淆本文公开的材料。

[0011] 可以将本文公开的材料实现在硬件、固件、软件或其任何组合中。也可以将本文公开的材料实现为存储在机器可读介质上的指令，该指令可以由一个或多个处理器或处理器核心读取和执行。机器可读介质可以包括用于以机器（例如，计算设备）可读取的形式存储或传输信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光学存储介质；闪存设备；电、光、声或其它形式的传播信号（例如，载波、红外信号、数字信号等等）以及其它。

[0012] 在说明书中对“一个实现”、“实现”、“示例实现”等等的引用指示描述的实现可以包括特定的特征、结构或特性，但是并不是每一个实现都必需地包括该特定的特征、结构或特性。而且，这样的短语不一定指代相同的实现。进而，当结合实现来描述特定的特征、结构或特性时，承认结合其它实现，无论是否被明确地描述，来实现这样的特征、结构或特性在本领域中的技术人员的知识范围内。

[0013] 本公开描绘了与下一代TV有关的方法、装置和系统等等。

[0014] 根据本公开，描述了用于提供具有内容转移和交互选择能力的下一代TV的方法、装置和系统。在一些实现中，公开了用于将内容从较大的TV屏幕转移到诸如平板电脑或智能电话的具有较小显示屏幕的移动计算设备的方案。在各种方案中，图像内容可以在TV屏幕和移动计算设备之间同步，并且用户可以与移动设备的显示器上的图像内容进行交互，同时相同的内容继续在TV屏幕上进行播放。例如，用户可以与移动设备的触摸屏显示器进行交互以选择图像内容的一部分或查询区域用于随后的视觉搜索处理。然后可以在选择的查询区域上进行采用自动视觉信息处理技术的内容分析处理。所述分析可以从查询区域提取诸如示例对象的描述性特征，并且可以使用提取的示例对象来进行视觉搜索。然后可以将相对应的搜索结果存储在移动计算设备上。此外，用户和/或用户的化身模拟可以与出现在移动计算设备显示器上和/或TV屏幕上的搜索结果进行交互。

[0015] 可以在多屏幕环境的上下文中实现本文描述的材料，在该上下文中，用户可以具有在较大的TV屏幕上观看内容并且在一个或多个较小的移动显示器上观看相同内容并与该相同内容进行交互的机会。图1说明了根据本公开的示例多屏幕环境100。多屏幕环境100包括具有显示视频或图像内容106的显示屏幕104的TV102和具有显示屏幕110的移动计算设备（MCD）108。在各种实现中，MCD108可以是平板电脑、智能电话等等，并且移动显示屏幕110可以是诸如电容触摸屏等等的触摸屏显示器。在各种实现中，TV屏幕104具有比移动计算设备108的显示屏幕110的对角线尺寸更大的对角线尺寸。例如，TV屏幕104可以具有大约一米或更大的对角线尺寸，而移动显示屏幕110可以具有大约30厘米或更小的对角线尺寸。

[0016] 如下文将更加详细描述的，可以将在TV屏幕104上出现的图像内容106同步、转移或以其它方式传递到MCD108，以使得可以在TV屏幕104和移动显示屏幕110上同时观看内容106。例如，如示出的，可以将内容106从TV102直接同步或传递到MCD108。可选地，在其它示例中，MCD108可以对指定与内容106相对应的媒体流的元数据做出响应而接收内容106，其中通过TV102或诸如机顶盒（STB）（未示出）的另一设备将该元数据提供到MCD108。

[0017] 尽管可以在TV屏幕104和移动显示屏幕110上同时显示内容106，但是本公开并不局限于在这两个显示器上同时显示内容106。例如，内容106在移动显示屏幕110上的显示可以不精确地与内容106在TV屏幕104上的显示同步。换句话说，内容106在移动显示屏幕110上的显示可以关于内容106在TV屏幕104上的显示延迟。例如，内容106在移动显示屏幕110上的显示可以在内容106在TV屏幕104上的显示之后的零点几秒或更长的时间发生。

[0018] 如也将在下面更加详细解释的，在各种实现中，用户可以选择在移动显示屏幕110上出现的内容106的查询区域112，并且可以对区域112内的内容执行以图像分割分析为例的内容分析，以生成查询元数据。然后可以使用该查询元数据和相对应的匹配来执行视觉搜索，并且可以将分级的搜索结果显示在移动显示屏幕110上和/或存储在MCD108上，用于以后观看。在一些实现中，实现服务云114的一个或多个后端服务器可以提供本文描述的内容分析和/或视觉搜索功能。进而，在一些实现中，可以完成化身面部和身体建模以允许用户与在TV屏幕104上和/或移动显示屏幕110上显示的搜索结果互动。

[0019] 图2说明了根据本公开的各种实现的示例处理200的流程图。处理200可以包括如由方框202、204、206、208和210中的一个或多个说明的一个或多个操作、功能或动作。尽管通过非限制性示例的方式，本文将在图1的示例环境100的上下文中描述处理200，但是本领域中的技术人员将认识到，可以在各种其它系统和/或设备中实现处理200。处理200可以开始于方框202。

[0020] 在方框202处，可以使图像内容在移动计算设备处被接收。例如，在一些实现中，在MCD108上执行的软件应用（例如，App）可以使TV102使用诸如Inter WiDi 等等的公知内容转移技术来向MCD108提供内容106。例如，用户可以在MCD108上发起App，并且该App可以使用诸如WiFi 等等的无线通信方案来在TV102和MCD108之间建立对等（P2P）会话。可选地，TV102可以对诸如用户按压远程控制上的按钮等等的提示做出响应来提供这样的功能。

[0021] 进而，在其它实现中，诸如STB（未示出）的另一设备可以提供方框202的功能。在再一些其它实现中，MCD108可以提供有指定内容106的元数据，并且MCD108可以使用该元数据来获得内容106，而不是从TV102直接接收内容106。例如，指定内容106的元数据可以包括指定包含内容106和/或同步数据的数据流的数据。这样的内容元数据可以使用公知的内容同步技术来使MCD108能够使内容106在显示器110上的显示与内容106在TV屏幕104上的显示同步。本领域中的技术人员将认识到，在TV102和MCD108之间转移的内容可以适合于符合TV102和MCD108之间在诸如分辨率、屏幕尺寸、媒体格式等等的参数方面的差异。此外，如果内容106包括音频内容，则可以使MCD108上的相对应音频流静音以避免回声效应等等。

[0022] 在方框204处，可以生成查询元数据。例如，在各种实现中，可以将诸如图像分割技术的内容分析技术应用于包含在查询区域112内的图像内容，其中用户已经通过做姿势选择了区域112。例如，在移动显示器110采用触摸屏技术的实现中，可以将诸如触摸、轻敲、重击、拖曳运动等等的用于姿势应用于显示器110以选择查询区域112。

[0023] 在方框204中生成查询元数据可以至少部分地涉及使用诸如图像分割的公知内容分析技术来从查询区域112内的内容识别并提取示例对象。例如，在完成方框204时，可以将诸如使用基于边界或基于断续性的建模技术或基于图形的技术的轮廓提取等等的公知图像分割技术应用于区域112。生成的查询元数据可以包括描述提取的示例对象的属性的特征向量。例如，查询元数据可以包括指定诸如颜色、形状、质地、图案等等的对象属性的特征向量。

[0024] 在各种实现中，区域112的边界可以不是排他性的，和/或示例对象的识别和提取可以不局限于仅出现在区域112内的对象。换句话说，当实现方框204时，仍然可以将也可以延伸超出区域112的边界的出现在区域112内的对象全部提取为示例对象。

[0025] 处理200的方框202和204的示例使用模型可以涉及观看TV102上的内容106的用户。用户可以看见内容106中的感兴趣的某种东西（以演员穿着的连衣裙为例的一件衣服）。用户然后可以调用使内容106移位到移动显示屏幕110的MCD108上的App，并且用户可以然后选择包含感兴趣对象的区域112。一旦用户选择了区域112，就可以自动地分析区域112内的内容以如上所述地识别并提取一个或多个示例对象。例如，可以分析区域112以识别并提取与用户感兴趣的这件衣服相对应的示例对象。然后可以对于提取的对象生成查询元数据。例如，对于感兴趣的衣服，可以生成指定诸如颜色、形状、质地和/或图案等等的属性的一个或多个特征向量。

[0026] 在方框206处，可以生成搜索结果。例如，在各种实现中，可以采用诸如基于自顶向下、自底向上特征，基于质地，基于神经网络、颜色，或基于运动的方案等等的公知视觉搜索技术来将在方框204中生成的查询元数据匹配到在一个或多个数据库上可用和/或在诸如互联网的一个或多个网络上可用的内容。在一些实现中，在方框206处生成搜索结果可以包括在通过诸如颜色、尺寸、取向或形状的唯一视觉特征区别于错误答案的目标当中进行搜索。此外，可以完成联合搜索，其中可以不通过诸如特征向量的任何单个唯一视觉特征来定义目标，但是可以通过两个或更多个特征的组合等等来定义目标。

[0027] 可以对匹配内容进行分级和/或过滤以生成一个或多个搜索结果。例如，再次参照环境100，可以将与从区域112提取的示例对象相对应的特征矢量提供到服务云114，在该服务云114处，一个或多个服务器可以完成视觉搜索技术以将那些特征向量与存储在一个或多个数据库和/或互联网等等上的特征向量进行比较，以便识别匹配内容并提供分级的搜索结果。在其它实现中，可以将内容106和指定区域112的信息提供到服务云114，并且服务云114可以如上所述地完成方框204和206。在又一些其它实现中，在方框202处接收内容的移动计算设备可以完成本文关于方框204和206描述的所有处理。

[0028] 在方框208处，可以使搜索结果在移动计算设备处被接收。例如，在各种实现中，可以将在方框206处生成的搜索结果提供到在方框202处接收图像内容的移动计算设备。在其它实现中，在方框202处接收内容的移动计算设备也可以完成方框204、206和208的处理。

[0029] 继续上面的示例使用模型，在方框206处生成搜索结果之后，方框208可以涉及服务云114将搜索结果以视觉搜索结果的列表的形式传送回MCD108。然后可以将搜索结果显示在移动显示屏幕110上和/或存储在MCD108上。例如，如果期望的一件衣服是连衣裙，则在屏幕110上显示的搜索结果之一可以是与在方框204处生成的查询元数据匹配的连衣裙的图像。

[0030] 在一些实现中，用户可以提供指定如何在方框204中生成查询元数据和/或如何在方框208中生成搜索结果的输入。例如，如果用户想要找到具有类似图案的某件东西，则该用户可以指定与质地相对应的查询元数据的生成，和/或如果用户想要具有类似轮廓的某件东西，则该用户可以指定与形状相对应的查询元数据的生成，等等。此外，用户也可以指定应该如何排序和/或过滤搜索结果（例如，按照价格、流行性等等）。

[0031] 在方框210处，可以执行化身模拟。例如，在各种实现中，可以将在方框208处接收的一个或多个搜索结果与用户的图像进行组合以使用公知的化身模拟技术来生成化身。例如，使用采用实时跟踪、参数优化、高级呈现等等的化身模拟技术，可以将与视觉搜索结果相对应的对象与用户图像数据进行组合以生成与对象组合的用户的数字肖像或化身。例如，继续上面的示例使用模型，与TV102或MCD108相关联的诸如数码相机的成像设备（未示出）可以捕获用户的一个或多个图像。然后，诸如SoC的相关联的处理器可以用于使用捕获的图像来完成化身模拟技术，以使得可以与作为由化身穿着的一件衣服出现的视觉搜索结果一起显示与用户相对应的化身。

[0032] 图3说明了根据本公开的示例系统300。系统300包括可通信地和/或可操作地耦接到一个或多个处理器核心304和/或存储器306的下一代TV模块302。下一代TV模块302包括内容获取模块308、内容处理模块310、视觉搜索模块312和模拟模块314。处理器可以向下一代TV模块302提供处理/计算资源，而存储器可以存储诸如特征向量、搜索结果等等的数据。

[0033] 在各种示例中，可以通过诸如图1的MCD108的设备将模块308-314实现在软件、固件和/或硬件和/或其任何组合中。在其它示例中，可以在不同的设备中实现模块308-314中的各种模块。例如，在一些示例中，MCD108可以实现模块308，模块310和312可以由服务云114实现，并且TV102可以实现模块314。与模块308-314如何分布在各种设备中和/或如何由各种设备实现无关，采用下一代TV模块302的系统可以作为提供处理200的功能的整体布置共同起作用，和/或可以由操作、制造和/或提供系统300的实体启用。

[0034] 在各种实现中，系统300的部件可以完成处理200的各种方框。例如，也参照图2，模块308可以完成方框308，而模块310可以完成方框204，并且模块312可以完成方框206和208。模块314可以然后完成方框210。

[0035] 可以将系统300实现在软件、固件和/或硬件和/或其任何组合中。例如，系统300的各种部件可以至少部分地由在诸如CE系统的计算系统SoC执行的或位于该诸如CE系统的计算系统SoC内的软件和/或固件指令提供。例如，本文描述的下一代TV模块302的功能可以至少部分地由诸如MCD108的移动计算设备、诸如机顶盒的CE设备、具有互联网能力的TV等等执行的软件和/或固件指令提供。在另一示例实现中，下一代TV模块302的功能可以至少部分地由诸如TV102的下一代TV系统的一个或多个处理器核心执行的软件和/固件指令提供。

[0036] 图4说明了根据本公开的示例系统400。系统400可以用于执行本文讨论的各种功能中的一些或全部，并且可以包括系统300的部件中的一个或多个。系统400可以包括诸如平板电脑、智能电话、机顶盒等等的计算平台或设备的选择部件，但是本公开并不局限于此。在一些实现中，系统400可以是以用于消费类电子（CE）设备的Inter 架构（IA）为基础的计算平台或SoC。例如，可以在图1的MCD108内实现系统400。本领域中的技术人员将容易认识到，在不偏离本公开的范围的情况下，本文描述的实现可以与可选的处理系统一起使用。

[0037] 系统400包括具有一个或多个处理器核心404的处理器402。在各种实现中，处理器核心404可以是32位中央处理单元（CPU）的一部分。处理器核心404可以是能够至少部分地执行软件和/或处理数据信号的任何类型的处理器逻辑。在各种示例中，处理器核心404可以包括复杂指令集计算机（CISC）微处理器、精简指令集计算（RISC）微处理器、超长指令字（VLIW）微处理器、实现指令集的组合的处理器或诸如数字信号处理器或微控制器的任何其它处理器设备。进而，处理器核心404可以实现图3的系统300的一个或多个模块308-314。

[0038] 处理器402还包括可以用于将例如由显示处理器408和/或图形处理器410接收的指令解码为控制信号和/或微代码进入点的解码器406。尽管在系统400中将解码器406、显示处理器408和/或图形处理器410说明为与核心404不同的部件，但是本领域中的技术人员可以认识到，一个或多个核心404可以实现解码器406、显示处理器408和/或图形处理器410。

[0039] 处理核心404、解码器406、显示处理器408和/或图形处理器410可以经过系统互连416与彼此和/或与各种其它系统设备可通信地和/或可操作地耦接，该各种其它系统设备可以例如包括但不局限于存储器控制器414、音频控制器418和/或外围设备420。外围设备420可以例如包括通用串行总线（USB）主机端口、外围部件互连（PCI）Express端口、串行外围接口（SPI）接口、扩展总线和/或其它外围设备。尽管图4将存储器控制器414说明为通过互连416耦接到解码器406以及处理器408和410，但是在各种实现中，存储器控制器414可以直接耦接到解码器406、显示处理器408和/或图形处理器410。

[0040] 在一些实现中，系统400可以经由I/O总线（未示出）与在图4中也未示出的各种I/O设备通信。这样的I/O设备可以例如包括但不局限于通用异步接收机/发射机（UART）设备、USB设备、I/O扩展接口或其它I/O设备。在各种实现中，系统400可以至少代表用于完成移动、网络和/或无线通信的系统的部分。

[0041] 系统400可以进一步包括存储器412。存储器412可以是诸如动态随机访问存储器（DRAM）设备、静态随机访问存储器（SRAM）设备、闪存设备或其它存储器设备的一个或多个分立的存储器部件。尽管图4将存储器412说明为位于处理器402的外部，但是在各种实现中，存储器412可以位于处理器402的内部，或者处理器402可以包括附加的内部存储器（未示出）。存储器412可以存储由可以由处理器402执行的数据信号表示的指令和/或数据。在一些实现中，存储器412可以包括系统存储器部分和显示存储器部分。

[0042] 可以将上面描述的系统以及如本文描述的由它们执行的处理实现在硬件、固件或软件或其任何组合中。此外，可以将本文公开的任何一个或多个特征实现在硬件、软件、固件及其组合中，包括分立和集成电路逻辑、专用集成电路（ASIC）逻辑和微控制器，并且可以将本文公开的任何一个或多个特征实现为专域集成电路封装的一部分或集成电路封装的组合。如本文使用的，术语“软件”指代包括计算机可读介质的计算机程序产品，该计算机可读介质具有存储在其中的计算机程序逻辑以使计算机系统执行本文公开的一个或多个特征和/或特征的组合。

[0043] 尽管参照各种实现描述了本文阐述的某些特征，但是并不意在以限制的意义解释这一描述。因而，认为对于本公开所属技术领域的技术人员明显的本文描述的实现以及其它实现的各种修改在本公开的精神和范围内。