本发明涉及用于经由第一终端识别与第一终端位于相同空间中的第二终端的屏幕上显示的内容。该方法包括以下步骤：利用第一终端收集第二终端的屏幕在所述空间中产生的亮度；根据所收集的亮度，利用第一终端生成至少一个数字指纹；将所生成的指纹与预先存储在存储器中的参考指纹进行比较；以及根据所述比较的结果识别内容。
1.一种用于经由第一终端(2)识别显示在与所述第一终端(2)位于相同空间(5)中的第二终端(4)的屏幕(11)上的内容的方法，其特征在于，所述方法包括以下步骤：—利用所述第一终端(2)收集所述第二终端(4)在所述空间(5)中产生的亮度，—根据收集的所述亮度，利用所述第一终端(2)生成至少一个数字指纹(12)，—将生成的指纹(12)与预先存储在存储器(10)中的参考指纹进行比较；
2.根据权利要求1所述的方法，其中，生成的数字指纹(12)表示在预设持续时间内收集的所述亮度随时间的变化。
3.根据权利要求2所述的方法，其中，生成的数字指纹(12)产生自在所述预设持续时间内对通过所述第二终端(4)产生的所述亮度进行的采样。
4.根据权利要求1所述的方法，其中，所述参考指纹(9)预先传输至所述第一终端(2)，并且生成的数字指纹(12)与所述参考指纹(9)的比较通过所述第一终端(2)执行。
5.根据权利要求1所述的方法，其中，所述第一终端(2)将生成的指纹(12)传输至指纹计算服务器(8)，所述指纹计算服务器(8)将所述生成的指纹(12)与所述参考指纹(9)进行比较。
6.根据权利要求2至5中任一项所述的方法，其中，生成的指纹(12)与所述参考指纹(9)的比较包括：在预设持续时间内计算所述指纹之间的距离，并且其中，如果计算的所述指纹之间的距离小于预设阈值，那么识别所述内容。
7.根据权利要求2至5中任一项所述的方法，其中，生成的指纹(12)与所述参考指纹(9)的比较包括：在所述预设持续时间内计算所述指纹之间的相关值，并且其中，如果计算的所述指纹之间的相关值高于预设阈值，那么识别所述内容。
8.根据权利要求2所述的方法，进一步包括使在所述第一终端(2)上运行的应用程序与在所述第二终端(4)的屏幕(11)上识别的数字内容的显示同步的步骤。
9.根据权利要求8所述的方法，其中，所述识别步骤使能够获得在所述内容中预设的持续时间内收集的所述亮度的位置。
10.根据权利要求9所述的方法，其中，所述应用程序提供：
11.根据权利要求1所述的方法，其中，所述亮度通过集成到所述第一终端(2)内的传感器测量。
12.根据权利要求1所述的方法，其中，所述亮度从通过集成到所述第一终端(2)内的照相机获取的图像计算得到。
13.根据权利要求12所述的方法，其中，生成的数字指纹(12)表示从预设持续时间内获取的所述图像的颜色成分计算的所述亮度随时间的变化。
14.一种用于识别运营商提供的多个内容之后识别显示在屏幕(11)上的内容的设备，其特征在于，所述设备包括：—存储器(10)，包括多个参考数字指纹(9)，每个参考指纹(9)使能够识别提供的内容之中的一内容，—第一终端(2)，设置有用于收集第二终端(4)在空间(5)中产生的亮度的装置以及用于从收集的所述亮度生成数字指纹的装置，—用于将生成的数字指纹(12)与预先存储在所述存储器(10)中的所述参考指纹(9)进行比较的装置；
15.根据权利要求14所述的设备，进一步包括用于使在所述第一终端(2)上运行的应用程序与识别的数字内容的实时显示同步的装置。
16.根据权利要求14所述的设备，其中，所述终端是智能手机、平板电脑或者计算机。
17.一种通信终端(2)，其特征在于，所述通信终端包括用于收集通过显示在屏幕(11)上显示的内容而产生的亮度的装置、用于根据收集的所述亮度生成数字指纹(12)的装置、用于将生成的指纹(12)与预先存储在存储器(10)中的参考指纹(9)进行比较的装置以及用于识别所显示的内容的装置。
18.一种存储在存储介质上的计算机程序，当在计算机上运行时，所述计算机程序包括用于执行根据权利要求1所述的方法的步骤的指令。
用于识别屏幕上显示的内容的方法和设备
技术领域
[0001] 本发明涉及用于经由第一终端识别显示在与第一终端位于相同空间中的第二终端的屏幕上的内容的方法和设备。
[0002] 本发明还涉及适合于识别显示在与通信终端位于相同空间中的第二终端的屏幕上的内容的通信终端。
[0003] 本发明进一步涉及存储在存储介质上并且包括用于执行该方法的步骤的指令的计算机程序。
背景技术
[0004] 例如，电信技术和电信设备的不断进步使来自视听业的参与者能够经由专业和/或娱乐应用程序与向用户提供额外服务(诸如，以实时交互为例)的内容相关联。
[0005] 为此目的，终端上显示的数字内容必须在显示时被实时识别。
[0006] 现有技术的用于在显示时识别实时内容的技术依赖于这些内容自身的分析，无论是计算其中的数字指纹还是插入并然后检测其中的印记(brand)。
[0007] 因为它们的复杂性，这些技术的执行依赖于接收设备中的硬件或者软件实现，具体地，依赖于专用于计算指纹的传感器和处理器或者专用于检测并分析插入内容中的印记的传感器和处理器的硬件或者软件实现。这些实现在计算资源方面要求高并且增加接收终端的复杂性和成本。
[0008] 本发明的一个目的是允许通过现有终端在显示时自动识别实时内容、要求较少计算资源并且易于实现。
发明内容
[0009] 该目的通过用于经由第一终端识别显示在与第一终端位于相同空间中的第二终端的屏幕上的内容的方法来实现，该方法包括以下步骤：
[0010] ——利用第一终端收集由第二终端的屏幕在所述空间中产生的亮度；
[0011] —根据所收集的亮度，利用第一终端生成至少一个数字指纹；
[0012] —将生成的指纹与预先存储在存储器中的参考指纹进行比较；
[0013] —以及根据所述比较的结果识别内容。
[0014] 在方法的第一替代执行中，参考指纹预先传输至所述第一终端，并且生成的数字指纹与参考指纹的比较通过第一终端执行。
[0015] 在第二替代中，第一终端将生成的数字指纹传输至服务器，服务器将所述生成的指纹与参考指纹进行比较。
[0016] 在两个替代中，生成的数字指纹与参考指纹的比较包括计算所述指纹之间的距离；如果所计算的距离小于预设阈值，那么识别内容。
[0017] 可替换地，生成的数字指纹与参考指纹的比较包括计算所述指纹之间的相关值；如果所计算的相关值高于预设阈值，那么识别内容。
[0018] 优先地，根据本发明的方法进一步包括使在第一终端上操作的应用程序(称为应用程序第二屏幕)与在第二终端的屏幕上识别的数字内容的显示同步的步骤。
[0019] 借助于根据本发明的方法，当显示内容(例如电影或者体育事件)时，运营商可以将此内容与不同的额外服务相关联，诸如购买与电影或者体育事件发生的城镇有关的报道，或者甚至邀请参与有关该城镇的调查。运营商还可以根据显示的电影或者事件的发展实时修改额外服务。
[0020] 应当注意，根据本发明的方法不仅使提供的数字内容能够被识别，而且还使能够识别节目的序列瞬间。该瞬间可以对应于收集亮度的开始、收集亮度的结束、发送识别内容的答案的瞬间或者应当向用户提供额外服务的瞬间。
[0021] 实际上，在本身己知的方式中，运营商广播的数字内容的每个图像关联于时间码以及图像编号，时间码包括以时、分、秒表达的日期。该时间码使内容的每个图像能够在识别图像之后被检索。因此，能够获得在具有预设持续时间的指纹位置(即从节目的开始的位置)，在预设持续时间期间已进行导致指纹生成的亮度收集。
[0022] 根据本发明的方法利用这种信息以获得内容中的每个指纹的位置并且使应用程序第二屏幕与识别的内容同步。
[0023] 在第一实施方式中，通过集成到第一终端内的传感器测量亮度。
[0024] 在另一个实施方式中，从通过集成到第一终端内的照相机获取的图像计算亮度。
[0025] 在后者实施方式中，从在预设收集持续时间内获取的图像的三个颜色成分计算数字指纹。例如，该计算通过对成分的亮度值求和而进行。
[0026] 为了提高识别精度，还能够生成每成分的指纹，并且然后将它们中的每一个与对应的参考指纹的成分进行比较。还能够生成表示亮度随时间的变化的这些指纹的任意组合，该指纹从在预设持续时间内获取的图像的不同颜色成分计算。
[0027] 根据本发明的方法通过如下设备执行，该设备包括：
[0028] —存储器，包括多个参考数字指纹，每个参考指纹使能够识别提供的内容当中的一内容，
[0029] —终端，设置有用于收集由第二终端在空间中产生的亮度的装置，以及用于从收集的亮度生成数字指纹的装置，
[0030] —用于将生成的数字指纹与预先存储在存储器中的参考指纹进行比较的装置，以及
[0031] —用于识别所显示的内容的装置。
[0032] 该设备进一步包括用于使在第一终端上操作的应用程序与识别的数字内容的实时显示同步的装置。
[0033] 所述终端可以是包括用于收集通过显示在屏幕上显示的内容而产生的亮度的装置、用于根据收集的亮度生成数字指纹的装置、用于将生成的数字指纹与预先存储在存储器中的参考指纹进行比较的装置以及用于识别显示的内容的装置的智能手机、平板电脑或者计算机。
附图说明
[0034] 参考图1，从以下通过采取非限制实例的方式的描述中，本发明的其他特征和优点将变得更明显。
[0035] 图1表示执行根据本发明的方法的设施的方案。
具体实施方式
[0036] 图1示意性地表示设施，其包括旗舰机构1、用户的第一终端2以及与第一终端2设置在相同的空间5中并且播放旗舰机构1提供的视听节目的第二终端4。
[0037] 在以下描述中，考虑到经由第二终端4显示内容产生的亮度传播到空间5中的任意点处。因此，不管亮度在空间5中的位置是何处，第一终端2都可以收集该亮度，而无需瞄准第二终端4的屏幕。例如，空间5是给定前提的相同房间(诸如客厅、办公室或房子的卧室或公寓或诸如一组彼此开放的这种房间)。
[0038] 旗舰机构1包括可以广播视听节目的数据包的发射器6以及指纹计算机服务器8，指纹计算机服务器8包括处理模块，例如，处理模块被编程为通过图像分析和图像处理而针对广播的每个节目计算进行中的参考指纹9。计算的参考指纹9存储在存储器10中。
[0039] 例如，广播可以在卫星或者地面网络上进行。例如广播可以是流广播，具体地在互联网上的流广播。
[0040] 可替换地，具体地，在点播视频内容的情况下，那么这些内容可以提供作为下载文件。最终，内容可以提供为预先存储在任何可移除物理介质(诸如光盘或密钥)上的文件。因此，从其中计算全部指纹(即在内容的整个持续时间上的指纹)并将指纹存储在存储器10中。
[0041] 具体地，存储器10是用于形成查询的简单的计算存储器，或者更加结构化和工具化的数据库。
[0042] 第一终端2能够与旗舰机构1通信并且包括亮度传感器，亮度传感器优先地具有根据周围亮度自动适配的灵敏度以及适合于将收集的亮度转变为数字指纹的计算模块。该第一终端2进一步包括多媒体应用程序(称为应用程序第二屏幕)，在接下来的该描述中，应用程序第二屏幕与位于旗舰机构1处的搜索模块协作以向第一终端2提供有关广播内容的额外数据。具体地，这些数据涉及与显示的内容相关联的游戏或者甚至与显示的内容相关联的调查。
[0043] 为了提高应用程序第二屏幕的反应性并且避免指纹计算服务器8的拥塞，当在第一终端2上激活应用程序第二屏幕时，可以在第一终端2中至少部分地预加载通过指纹计算服务器8生成的指纹以用于分析。
[0044] 出于相同目的，还可以在第一终端2中至少部分地预加载额外数据。
[0045] 应当注意，如果第一终端2是智能手机、平板电脑或者膝上型电脑，在空间5中获取亮度可以通过通常集成到该第一终端2内的亮度传感器进行，或者通过与该第一终端2相关联的照相机进行。在后者情况下，处理获取的图像使能够从图像中提取亮度。
[0046] 在亮度收集阶段期间，可以根据在旗舰机构1处可用的内容的数量设定收集的信号的长度。
[0047] 可替换地，可以不预先确定要收集的信号的总长度，而是通过连续增加预设长度达到总长度。在这种情况下，对于内容中的相邻片段或者非相邻片段连续执行亮度收集和数字指纹生成，并且这些片段中的每一个的生成的数字指纹实时地传输至服务器。当这些片段中的每一个的生成的指纹使能够作出判定(即识别显示的内容或者诊断不可能识别显示的内容)时或者当收集的信号的长度超过预设限制时，重复停止。
[0048] 如图1所示，通过第一终端2生成的数字指纹12由示出收集的亮度随时间的变化的曲线表示。该指纹的特征在于横轴上表示时间值的第一参数。纵轴对应于通过集成到第一终端2内的传感器测量的亮度值或者在经由照相机获取的情况下计算的亮度值。
[0049] 为了使采样可比较并且最小化距离和传感器的灵敏度的影响，例如，亮度值可以在0到100的尺度上标准化。
[0050] 当用户期望从与显示的视听节目相关联的服务中获益时，他/她激活应用程序第二屏幕并且将第一终端2放置到空间5内，以便在预设亮度收集持续时间内收集通过第二终端4的屏幕11上显示的图像在该空间中产生的亮度变化。收集的亮度通过第一终端2的计算模块转换为数字指纹12，数字指纹是在预设收集持续时间内对通过第二终端4产生的亮度进行采样的结果。组成亮度的该预设收集持续时间的单元时间间隔取决于收集的信号的采样频率。因此，例如，对于0.5Hz、1Hz、5Hz以及10Hz的采样频率的值，单元时间间隔分别具有2秒、1秒、1/5秒以及1/10秒的持续时间。在图1中通过举例的方式给出对于预设持续时间和采样频率下的指纹的示例性代表曲线12。预设亮度收集持续时间或者生成的指纹的长度可以等于单元采样的整数，并且例如，可以是该单元时间间隔的持续时间的五倍到几十倍的量级。
[0051] 在第一实施方式中，例如，第一终端2通过应用程序第二屏幕经由Wi-Fi连接、通过GSM的数据链路或者SMS将数字指纹12传输至指纹计算服务器8。
[0052] 如果接收到第一内容片段的该指纹时，通过连续增加而生成数字指纹的长度，则指纹计算服务器8搜索存储器10中对应的参考指纹9。并且当收集的信号的长度足以允许判定时，即如果内容被识别或者如果存储器10不包含能够识别内容的指纹，那么指纹计算服务器8将其通知给应用程序第二屏幕，应用程序第二屏幕停止收集。否则，指纹计算服务器8将其给通知应用程序第二屏幕，应用程序第二屏幕重复收集。然后，指纹计算服务器8将因此获得的用于内容的连续片段的指纹连接至第一片段的指纹，搜索得到的指纹直至得到的指纹与参考指纹9的比较的结果充分显著，并且使能够判定该内容是否被识别。
[0053] 该实施方式对应于连续生成指纹所针对的片段不相邻的情况。因此省略这些指纹的连接，并且在同步步骤期间，在识别存储器10中的相同内容时分别搜索这些指纹。重复该方法直至收集的信号的长度足以允许显著的比较并且使能够判定该内容是否被识别。
[0054] 应当注意，为了识别内容，在指纹计算服务器8中操作的搜索模块对通过第一终端2生成的数字指纹12与参考指纹9进行连续的比较。
[0055] 在第一替代执行中，比较包括计算所述指纹之间的距离，即生成的数字指纹12与参考指纹9的具有相同长度的片段之间的距离。在这种情况下，如果计算的所述指纹之间的距离小于预设阈值，那么将识别内容。
[0056] 在另一替代中，生成的指纹12与参考指纹9的比较包括计算所述指纹之间的相关值，即生成的数字指纹12与参考指纹9的具有相同长度的片段之间的相关值。在这种情况下，如果计算的所述指纹之间的相关值高于预设阈值，那么识别内容。
[0057] 可以使用任何其他方式或者指纹识别方法(诸如直方图上的主成分分析(PCA))，而不偏离本发明的范围。
[0058] 在本发明的优选实施方式中，播送的图像的每个图像与包括时间码以及关于节目开始的图像编号的数字值20相关联，时间码表示以时、分、秒表达的日期。例如，对于诸如电影的内容，该节目开始是对应于其第一图像的瞬间，或者对于诸如电视频道的内容，该节目开始是在其播送期间的给定的参考瞬间。因此，例如，基于有关指纹的最新图像的这种信息，通过指纹计算服务器8进行广播的节目的识别。
[0059] 当节目识别时，数字值20通过指纹计算服务器8经由Wi-Fi连接、经移动电话网络的数据链路或者经由SMS传输至第一终端2。
[0060] 然后，为了使应用程序第二屏幕与该内容同步，通过考虑几秒的处理和搜索指纹的延迟以及通信的延迟，或者例如通过基于存储亮度收集的开始或者结束的瞬间、将生成的指纹传输至指纹计算服务器8的开始或者结束的瞬间或者接收服务器8的应答的开始或者结束的瞬间的本地时钟计算的延迟，而确定内容中的当前瞬间。在同步之后，应用程序第二屏幕向用户建议与当前瞬间广播的事件相关的交互，诸如额外信息、游戏、调查或者与社交网络的交互。应用程序第二屏幕还可以建议与识别的节目相关联的其他节目。
[0061] 值得注意的是，当从通过照相机获取的图像计算亮度时，从这些图像的每个颜色成分生成数字指纹12。在这种情况下，指纹计算服务器8可以比较颜色成分(分别从R、G、B或者Y、U、V)中的两个或者三个，而不是比较单个曲线(对应于亮度)。
[0062] 根据本发明的方法可应用于识别实况(直播)广播的内容并且允许与该内容的同步和实时交互，特别是在参与游戏、测试或者调查的情况下。
[0063] 该方法还可应用于识别点播(VOD)内容或者预存储内容。在这种情况下，存储器10包含在整个内容持续时间内的内容中的每一个的指纹。进一步，为了正确地区分显示的节目，数字指纹12的预设持续时间更长。
