视频印象分析的方法

IPRDB

API 数据接口

专利申请

使用指引 chat嘟嘟

会员体验

联系我们

交流群

现在联系顾问~

视频印象分析的方法
申请号	CN201480056018.1	申请日	2014-08-14	公开(公告)号	CN105637887B	公开(公告)日	2020-01-14
申请人	真实眼私人有限公司;			发明人	埃尔纳·哈吉耶夫; 马丁·萨洛;
摘要	一种启动并控制在视频广告响应的结构内的计算机用户行为数据(例如，情绪状态信息)收集和处理的方法，提供有效的视频广告分析作为与计算机用户交互的结果。通过在视频播放器中执行符合视频广告标准模板(VAST)的视频广告响应使得行为数据收集和处理模块运行。数据收集和处理模块可以通过调用包含于视频广告响应中的资源标识符，或者通过提供在供应的视频广告响应本身内的可执行的应用来获得。在根据本发明的更具体的方法中，收集的数据的处理被管理，以便改善在客户端计算机处的媒体播放的效率以及与远程服务器的通信。
权利要求	1.一种支持客户端计算机处的计算机用户对媒体播放的印象进行分析的方法，所述客户端计算机通过网络与远程广告服务器通信,所述方法包括：在所述远程广告服务器处接收来自运行在客户端计算机上的视频播放器对于视频广告响应的调用；将所述视频广告响应从所述远程广告服务器提供至所述客户端计算机；在所述客户端计算机上的所述视频播放器的运行时环境中执行所述视频广告响应，其中，所述视频广告响应包括从远程资源存储器调用可执行的数据收集和处理模块的资源标识符，其中，所述可执行的数据收集和处理模块传输至所述视频播放器，并且在所述视频播放器中执行所述视频广告响应时由所述视频播放器执行，并且其中，所述方法包括在所述视频播放器处执行所述数据收集和处理模块，以收集和处理在媒体播放期间的行为数据，支持对所述媒体播放的印象的分析。 2.根据权利要求1所述的方法，其中，所述数据收集和处理模块是在所述视频广告响应内的可执行应用。 3.根据权利要求1所述的方法，其中，所述行为数据包括表明计算机用户的情绪状态的信息。 4.根据权利要求3所述的方法，其中，执行所述数据收集和处理模块包括：开启连接至所述客户端计算机的网络摄像头，并且在需要的情况下，提示所述网络摄像头的激活以收集所述用户的图像。 5.根据权利要求1至4中的任一项所述的方法，包括：将通过所述数据收集和处理模块收集或者从所述数据收集和处理模块得出的所述行为数据发送至远程服务器用于分析。 6.根据权利要求1至4中的任一项所述的方法，其中，执行所述数据收集和处理模块包括：构建包括来自经处理的所述行为数据的信息的数据包，其中，所述数据包对应于通信协议，执行所述数据收集和处理模块进一步包括：将所述数据包发送至远程服务器的步骤，用于对从媒体播放产生的所述计算机用户的印象进行分析。 7.根据权利要求6所述的方法，包括以下步骤：监控到所述远程服务器的连接性和所述客户端计算机的工作能力中的至少一者；并且根据监控步骤的结果动态地调整所述数据收集和处理模块对所收集的行为数据的处理。 8.根据权利要求1至4中的任一项所述的方法，其中，所述视频广告响应包括提供用于在收集所述行为数据期间播放的媒体的媒体文件。 9.根据权利要求1至4中的任一项所述的方法，其中，所述视频广告响应符合视频广告标准模板规范。 10.根据权利要求9所述的方法，其中，所述视频广告响应是VAST线内响应。 11.根据权利要求10所述的方法，其中，所述VAST线内响应包括提供用于在收集所述行为数据期间播放的媒体的媒体文件。 12.根据权利要求1至4中的任一项所述的方法，其中，所述数据收集和处理模块包括：在收集所述行为数据期间用于播放媒体的媒体播放器部分。 13.根据权利要求1至4中的任一项所述的方法，包括以下步骤：将所述视频广告响应中的媒体文件资源标识符替换为用于所述数据收集和处理模块的资源标识符。 14.根据权利要求13所述的方法，其中，用于所述数据收集和处理模块的所述资源标识符包括所述媒体文件资源标识符。 15.根据权利要求1至4中的任一项所述的方法，其中，所述数据收集和处理模块包括用于建立所述视频播放器与所述数据收集和处理模块之间的通信的视频播放器接口部分。 16.根据权利要求1至4中的任一项所述的方法，其中，所述数据收集和处理模块从所述视频播放器接收关于所述视频播放器的播放状态的信息。 17.根据权利要求1至4中的任一项所述的方法，其中，所述数据收集和处理模块使用与视频播放器广告供应接口定义VPAID兼容的协议与所述视频播放器通信。 18.根据权利要求15所述的方法，其中，用于播放的媒体在所述视频广告响应环境的外部提供。 19.根据权利要求18所述的方法，其中，用于播放的媒体由所述用户从视频共享网站或社交网络中选择。
说明书全文	视频印象分析的方法技术领域 [0001] 本发明关于视频印象的分析并且涉及与支持这样的分析的计算机用户有关的数据的交互收集。具体地，本发明涉及与在客户端计算机处的计算机用户的行为(例如，在观看视频或参与活动时)有关的信息的收集和处理，以便以有效的方式传输至远程服务器，支持对计算机用户的印象进行分析，其尤其对于视频广告的有效性的分析有用。背景技术 [0002] 从商业的观点，重要的是能够评估在线提供的内容(例如，广告(“ad”)、游戏、音乐视频、电视秀等)的效果。通常提供让计算机用户手动评级内容的系统，例如，通过选择合适的评级值(例如，多颗星)。通常提供问卷或采访作为广告有效性跟踪方案的一部分。 [0003] 近年来，例如通过面部特征跟踪等的用于测量计算机用户的情绪的技术已经结合至评估视频内容的效果的方法中。例如，诸如网络摄像头的图像单元可用于捕捉计算机用户在他们观看视频内容时的面部特征。可以处理所捕捉的图像以得到有关在视频的某些点计算机用户的情绪的信息，这是对视频效果的颇有价值的反馈。 [0004] 视频和所捕捉的图像可以通过互联网传输，借此反馈可以从多个远程计算机用户自动搜集。例如，US 2012/0222057公开了视频嵌入在具有web功能的界面中的系统，该系统被布置为收集观看嵌入视频的计算机用户的精神状态数据。具有web功能的界面本身可以例如通过发送合适的URL至多个预期的观看者来分布。 [0005] US 2011/0029666公开了数据收集代理(agent)被加载至视频播放器和/或加载至显示视频片断的网页的被动用户行为监测系统。 [0006] US 2012/0072939公开了用于经由网络摄像头等通过捕捉每个观众成员的图像来测量对于视频内容的观众反应的系统和方法。发明内容 [0007] 更概括地，本发明提出在视频广告响应的结构内提供计算机用户行为数据收集功能，支持测量在线提供的内容对播放该内容的每个客户端计算机的计算机用户的影响的问题。因此本发明可以与用于播放视频内容的视频播放器的类型无关地实现针对媒体内容(例如，视频或音频)的计算机用户行为数据(例如，包括情绪状态数据)的收集。 [0008] 在这里，术语“视频广告响应”被用于指继来自视频播放器的调用之后从广告服务器提供的响应，该响应包含显示视频内容的必要的信息，例如媒体文件。计算机用户行为数据收集功能性可以是代替视频广告响应内的视频广告或者视频广告通过其播放的交互网络应用。 [0009] 在这里，术语“行为数据”被用于指与用户的活动或状态有关的任何数据。该数据可以包括情绪状态数据，即，指示在任何给定时间用户的情绪的信息。情绪状态数据可以按照任何方式获得，例如从经由网络摄像头获得的面部图像或其他生理指示。行为数据还可以包括用户与计算机的交互有关的数据，例如，音频数据、点击数据或指示用户对显示的一部分感兴趣的其他数据。除行为数据之外，本发明还可以提供其他用户数据的收集、处理和传输，例如，指示关于用户的其他细节的用户数据，诸如性别、年龄、位置等。 [0010] 在这里，术语“远程服务器”以及，更一般地说，“服务器”被用于指具有至少一个处理器的计算机，该至少一个处理器在其中执行从记忆存储器(例如，RAM)接收的指令以便实现与本发明的一个或多个实施方式相结合的有用的功能。服务器进一步包括包含以下硬件的网络接口部件，该硬件被配置为实现服务器与计算机用户行为数据正被捕捉的一个和多个本地计算机之间的通过网络的通信。举例来说,而不是限制，通信可以包括根据用户数据报协议(UDP)或互联网协议(IP)构建的数据包。 [0011] 正如所指出的，根据本发明的计算机用户行为数据收集功能可以包括额外的“行为数据”，该数据涉及在被传输至远程服务器之前与在本地计算机收集的数据有关的时间信息。 [0012] 因此，根据本发明并且为促成在传递在线内容领域中的问题的解决，提供的收集计算机用户行为数据的方法包括：接收(例如，在广告服务器处接收来自在客户端计算机上运行的视频播放器)对视频广告响应的调用；将视频广告响应供应至客户端计算机；在客户端计算机上的视频播放器中执行视频广告响应；并且在执行视频广告响应时，在视频播放器处执行可执行的数据收集和处理模块，以收集和处理在客户端计算机的播放媒体期间的行为数据。视频广告响应可以包括在视频播放器中执行视频广告响应时用于触发可执行的数据收集和处理模块的代码。在这个方法中，视频播放器提供针对数据收集和处理模块的运行时环境。因此计算机用户行为数据的收集被更好地结合在视频播放过程中。 [0013] 在本发明的更具体的方面中，与在线内容的显示相结合，数据包可以在收集计算机用户行为数据的客户端计算机处构建。数据包的构建包括利用客户端计算机的处理器对收集的计算机用户行为数据的本地处理，该处理器由在其中执行的代码配置，以将收集的数据从(比方说)来自与本地计算机相关联的网络照相机的原始图像捕捉状态变换成与通过诸如TCP/IP网络的网络传输的流式数据协议兼容的包化结构。 [0014] 在本发明的又一特定方面，收集的数据可以在变换成包化结构之前经历额外的处理，以便使捕捉的计算机用户行为数据与媒体播放期间提供至本地计算机的视频的时期或片段(包括在本地计算机的视频广告的媒体播放期间的时刻或片段)相协调。这样的处理包括在本地计算机的处理器中执行的使正捕捉的图像与在客户端计算机处正播放的媒体内的时间位置同步，诸如通过将视频的时间代码或时间代码的范围与捕捉的计算机用户行为数据相关联。同步对于解决以下问题来说可以是重要的，即，与在本地计算机处的流化内容的接收相关联的问题，与本地处理相关联的问题(诸如会改变相对于流化内容至本地计算机的传输的媒体播放的时间的那些处理)，以及同样会影响媒体播放的时间窗口的本地计算机处的事件(例如，作为一个非限制性实例，用户暂停或倒回播放)。 [0015] 根据本发明的这个方面的额外的处理会使得，除计算机用户行为数据本身至远程服务器的传输之外，与计算机用户行为数据有关的时间信息也包括在被传输至远程服务器的数据包之中。 [0016] 在更具体化的方面中，捕捉计算机用户行为数据期间的时刻或片段的时间编码可以包括相对于视频广告的时间偏移，以及可选地相对于在媒体回放应用中回放的其他视频内容的时间偏移。 [0017] 在本发明的又一方面中，客户端计算机被配置为更高效地利用其资源从而最小化回放期间媒体的中断。在这点上，监控系统部件并且利用他们的性能或值确定何时进行某些本地处理。因此，计算机用户行为数据的处理可以考虑到该处理正被执行的客户端计算机的工作能力并且进一步考虑到客户端计算机和所连接至的网络之间的连接性动态地进行(开始和停止)。 [0018] 收集的行为数据可以是原始数据，例如，图像、音频，可以通过分析(在计算机中和/或在外部)以上原始数据以获得行为信息。收集的行为数据的处理可以包括几个子处理步骤，将已收集的交互数据变换成适合于传输至远程服务器的数据包，并且更优选地，变换成包括与视频播放和在计算机用户行为数据收集期间在客户端计算机播放的时刻或片段相关的时间信息的至少一个子处理步骤。 [0019] 在行为数据收集期间播放的媒体(例如，视频内容或音频内容)由视频广告响应中的可执行的媒体文件提供。可替换地，图像收集期间回放的视频内容可以与视频广告响应分开提供。 [0020] 使得执行可执行的数据收集和处理模块可包括调用视频广告响应中的资源标识符，其中，资源标识符指向数据收集和处理模块。可替换地，数据收集和处理模块本身可以是在提供的视频广告响应内可执行的应用。在本文中，“资源标识符”指能够从另一个位置(例如，远程服务器)调用数据收集和处理模块的视频广告响应中的任何值。资源标识符可以是统一资源标识符(URI)。 [0021] 行为数据可包括指示计算机用户的情绪状态的信息。在一个实施方式中，这个信息通过收集用户的图像获得，尤其是用户的脸的图像。因此，数据收集和处理模块的执行可以开启连接至客户端计算机的网络摄像头，并且在需要的情况下，促使网络摄像头的激活以收集用户的图像。可以分析图像以获得行为信息，并且尤其是情绪状态信息。因此，数据收集和处理模块可以是或包括情绪跟踪应用。这样，数据收集和处理模块可以包括在播放内容的客户端计算机的处理器内可执行的指令，该数据收集和处理模块分析图像并且输出与情绪跟踪有关的数据作为分析的结果，将其包括在发送至远程服务器的数据包中，可选地在发送至服务器的包括其他行为数据的数据包内发送。 [0022] 数据收集和处理模块可以被布置为将收集的行为数据发送至远程服务器以便分析。数据收集和处理模块可以获得与远程服务器的连接性并控制器往返于远程服务器的数据的传输。这些功能可以例如基于在执行数据收集和处理模块时显示的合适的选择提示由用户激活。数据收集和处理模块可以被布置为在视频播放器上或邻近于视频播放器显示图形用户界面，例如，以显示数据收集和处理模块的状态和/或允许用户与数据收集和处理模块交互。 [0023] 数据收集和处理模块可以与在图像收集期间回放的媒体相关联。例如，数据收集和处理模块(或其资源标识符)以及媒体两者可以包含于同一视频广告响应中。可替换地，数据收集和处理模块可能不直接与媒体相关联。例如，视频广告响应可以包含数据收集和处理模块(或其资源标识符)代替视频广告，即，数据收集和处理模块的执行代替播放视频广告。在这个情况下，媒体可以从不同的来源获得，例如另一个广告服务器，或者可以已经存在于视频播放器上，例如，由用户从资料库或媒体共享网站选择。 [0024] 视频广告响应可具有与由互动广告局(IAB)制定的视频广告提供模板(VAST)3.0兼容的基于XML的结构。数据收集和处理模块(或其资源标识符)可以在VAST响应的创造性元素中提供。这个布置的优势是其可以确保数据收集和处理模块在任何VAST兼容的视频播放器上执行。因此，不必将数据收集和处理模块定制为特定视频播放器或者在数据收集和处理模块内提供检测视频播放器类型并且相应地重新配置它本身的工具。 [0025] 例如，视频广告响应可以是VAST线内响应，即，广告响应本身包括将显示的视频广告。根据本发明的这样的布置，视频广告响应可以包括提供图像收集期间回放的媒体的媒体文件。媒体可以是任何类型，例如，视频内容、音频内容等。VAST线内响应可包括形成广告Pod的多个顺序线性广告。数据收集和处理模块的资源标识符可以由多个顺序线性广告提供或者在多个顺序线性广告中的一个提供。图像收集期间回放的媒体可以是多个顺序线性广告中的另一个，例如，具有比数据收集和处理模块更后的顺序号。以这种方法，VAST结构确保在数据收集和处理模块的初始顺序完成之后播放媒体。 [0026] 数据收集和处理模块的资源标识符可以由包括在VAST线内响应中的伴随广告(Companion Ad)提供或者在伴随广告内提供。伴随广告可以被布置为在视频播放器本身上显示或者与视频播放器本身上显示的媒体分开地操作。 [0027] 数据收集和处理模块的资源标识符可以在VAST线内响应的CreativeExtension(创造延伸)部分内提供。CreativeExtension部分是可以提供调用操作的专门应用编程接口(API)所需要的可执行的实体的VAST结构的部分。 [0028] VAST线内响应可包括非线性广告(NonLinear Ad)。然而，而不是静态广告，非线性广告可以包括在其静态资源部分内的数据收集和处理模块的资源标识符。 [0029] 如上所述的，数据收集和处理模块的资源标识符不需要与图像收集期间回放的媒体一起提供。例如，视频广告响应可以是VAST重定向响应(VAST Redirect Response)，该VAST重定向响应包括调用VAST线内响应和数据收集和处理模块的资源标识符。图像收集期间回放的媒体可以存在于调用的VAST线内响应中，例如，作为媒体文件。数据收集和处理模块本身可以由包括在VAST重定向响应中的伴随广告(Companion Ad)提供或者在伴随广告内提供。 [0030] 在以上实例中，视频广告响应本身包括数据收集和处理模块或者数据收集和处理模块的资源标识符。然而，在替换的实施方式中，该方法可以包括将视频广告响应中的媒体文件资源标识符替换为数据收集和处理模块的资源标识符的步骤。换言之，视频播放器起到以执行数据收集和处理模块的方式使标准媒体文件请求重定向的作用。例如，数据收集和处理模块的资源标识符可以是包括媒体文件资源标识符的代理地址。 [0031] 数据收集和处理模块包括在图像收集期间用于回放媒体的媒体播放器部分。媒体播放器部分可以覆盖视频播放器，使得媒体看起来在视频播放器内运行。可替换地，媒体可以如传统的那样通过视频播放器本身回放。 [0032] 用于回放的媒体还可以在位于视频广告响应环境外部。换言之，视频广告响应环境提供数据收集和处理模块的开启，而回放的媒体是用户(例如，从视频共享网站或社交网络)自由选择的。在这种情况下，VAST线内响应可以包括用于建立视频播放器与数据收集和处理模块之间的通信的视频播放器接口模块。视频播放器接口模块可以可操作地将与视频播放器媒体和/或正播放的媒体的状态有关的信息传送至数据收集和处理模块。数据收集和处理模块可以使用与视频播放器广告提供接口定义(VPAID)2.0兼容的协议与视频播放器通信。数据收集和处理模块可以直接与视频播放器通信或者经由视频播放器接口模块间接通信。 [0033] 本发明可以在用于收集和处理来自例如，位于多个不同位置的多个用户中的每个的数据的基于网络的系统内使用。本发明的一个优势可以是通过不需要预先安装在他们的本地计算机系统上的数据收集软件来扩大潜在用户的范围。 [0034] 如上所述的，收集的行为数据可以涉及观看媒体的用户的情绪状态。在收集的行为数据包括用户的面部图像的情况下，该方法可以包括分析面部图像以提取有关用户的情绪状态的信息。因此，行为数据可以包括来自网络摄像头的图像或视频流、鼠标运动数据、鼠标点击数据、音频数据。数据可以由数据收集和处理模块部分地处理，例如，以便于传送至分析服务器。其他数据也可以被收集并处理，例如，用户数据、问卷响应等。收集的数据可用于例如基于测量的观众反应推动市场调查。总的来说，由数据收集和处理模块进行的计算机用户行为数据的处理将不同的信息结合至数据包中以便将数据更高效地从每个本地计算机传输至分析服务器，从而得到计算资源的改善的使用并且更加最小化对于从每个单独的本地计算机上传的数据的影响。 [0035] 面部图像的分析可以以任何已知的方式完成。例如，分析可以包括例如，通过跟踪并识别检测的面部图像上的多个子区域来跟踪一个或多个特定面部特征的运动，其中每个子区域可以对应于面部特征周围的区域。各个面部特征的运动可以通过将每个子区域内的图像的特性进行比较来跟踪，提取指示子区域中的图像的改变的参数。情绪可以基于从一个或多个子区域提取的参数直接确定。通过仅跟踪几何特性或者通过进行以上技术的组合来完成分析。可以在没有将脸划分成子区域的情况下作为整体来分析脸。在某些实施方式中，分析由数据收集和处理模块进行并且使得分析的数据输出以便数据传输至分析服务器。 [0036] 分析还可以监控其他用户运动或手势，例如，上身运动、头部姿势等，这些可以单独使用或者与如上所述的技术结合使用。 [0037] 在本发明中，数据收集和处理模块可以被布置为将收集的面部图像传输至分析服务器。数据可以作为视频流或作为一系列的提取(例如，周期性地提取的)图像发送。图像可以是由网络摄像头捕捉的全部图片，或者可以被预处理以提取对应于面部特征的图像或者跟踪的区域的部分。可替换地，初步分析可以通过数据收集和处理模块在客户端计算机上进行，借此仅传输纯粹的行为数据。 [0038] 分析服务器可以被布置为单独或同时接收来自多个数据收集和处理模块的输入。分析服务器可以被布置为通过分析图像以提取代表一个或多个情绪状态的数据来处理输入。例如，分析可以产生六个普遍情绪(例如，高兴、悲哀、惊讶、害怕、厌恶和愤怒)中的每个的情绪度量。情绪度量可基于面部特征的几何学变形或者脸或面部特征的纹理的改变。此外或可替换地，这些或其他情绪度量可基于头部姿势改变，诸如点头、摇头或轻摇头或者其他身体姿势，诸如手、肩部、眼睛姿态。这些或其他情绪度量还可以基于处理独立地或同视频串联地(in tandem with)从对象计算机接收的音频信号以及个人计算机上普遍可测量的其他信号。情绪度量可以代替原始捕捉的图像数据被传输至远程服务器，以便将数据有效地从每个本地计算机传输至远程服务器，再次得到计算资源的改善的使用并且更加最小化对于从每个单独的本地计算机上传的数据的影响。 [0039] 分析还可以产生可以与情绪无关的或者基于面部特征运动的其他组合的一个或多个进一步的度量。例如，进一步的度量可以包括投入、中立以及效价(engagement,neutrality and valence)。 [0040] 分析服务器可以被布置为聚集针对多个用户中的每个的度量。分析服务器可以被布置为显示聚集的度量，例如，经由交互的图形用户界面(GUI)。交互的GUI可以经由网络链接对顾客可用。该GUI可以例如实时或者在执行更新操作时动态地更新。 [0041] 该交互GUI可以呈现一个或多个聚集的度量的时间演变以允许评估对呈现的媒体内的区域的影响。附图说明 [0042] 参考附图在下文中详细论述本发明的实例，其中： [0043] 图1是实现本发明的实施方式的方法的系统的示意图； [0044] 图2是描述本发明的实施方式的方法的流程图； [0045] 图3是描述本发明的另一个实施方式的方法的最初的步骤的流程图； [0046] 图4是描述本发明的另一个实施方式的方法的步骤的流程图； [0047] 图5是可以用于本发明的各VAST响应的内容的示意性的代表；并且 [0048] 图6是适合于显示通过执行本发明的方法搜集的结果的图形用户界面的屏幕截图。具体实施方式 [0049] 图1描述本发明的操作环境100。用户102使用浏览器在与具有网络功能的计算机(未示出)相关联的显示器104上观看基于web的内容。计算机包括执行存储在处理器可访问的存储器(例如，RAM)中的指令的处理器，以便将计算机配置为实现在本文中描述的功能的至少一部分。因此计算机能够通过诸如互联网110的网络发送和接收数据，并且因此，被理解为具有包括被配置为使得能够通过网络通信的硬件的网络接口部件，包括举例来说而不限于，根据IP协议构建的数据包。计算机或显示器104被连接至或者具有内置的网络摄像头106。如传统的，在用户102希望观看或收听某些媒体时，可以开启视频播放器108(例如，Windows媒体播放器、QuickTime播放器、Audacious、Amarok、Banshee、MPlayer、Rhythmbox、SMPlayer、Totem、VLC和xine，或者在线视频播放器，诸如JW播放器、Flowplayer和Brightcove)来回放媒体。 [0050] 根据本发明，计算机调用并接收来自远程广告服务器114的广告响应112。广告响应112优选地符合VAST规范，以便其可以在符合VAST规范的视频播放器的运行时环境内执行。 [0051] 广告响应112包含重定向至可以提供显示所调用的广告需要的一些或全部内容的远程资源存储器116的标识符。例如，资源存储器可以提供运行广告所需要的任何媒体文件。 [0052] 根据本发明的一个实施方式，广告响应中的标识符被布置为从资源存储器116调用数据收集和处理应用。标识符可以直接嵌入在广告响应中，例如仿佛数据收集和处理应用是被调用的广告。可替换地，视频播放器可以布置为将对数据收集和处理应用的调用插入在对广告的传统调用内，例如通过将资源存储器视为代理。这些可供选择的办法在以下更详细地说明。 [0053] 在其他实施方式中，广告响应可以包括数据收集和处理应用或者其内的可执行的数据收集和处理模块。 [0054] 在执行时，数据收集和处理应用被布置为提供以下更详细地描述的数据收集和处理功能。数据收集和处理应用可以是情绪跟踪应用118，该情绪跟踪应用用于收集指示用户的情绪状态的信息，并且可选地还用于处理这样的信息以得出指示用户的情绪状态或者可以支持作为在远程服务器(诸如远程分析服务器120)的进一步分析的结果的、确定用户的情绪状态的信号。数据收集和处理应用还可以布置为收集(即，记录)其他类型的行为数据。记录的行为数据可以允许在用户与视频播放器108上播放的媒体交互期间跟踪用户的情绪。例如，可以使用将本地计算机的处理器配置为确定计算机用户的情绪(诸如如上所述的六个普遍情绪)的代码来跟踪用户的情绪。可替换地，用户的情绪可以使用在分析服务器 120处执行的将那个服务器的处理器配置为确定计算机用户的情绪(诸如如上所述的六个普遍情绪)的代码来跟踪，或者使用原始捕捉的图像数据，或者更优选地，使用在传输至任何远程服务器之前通过在本地计算机的情绪跟踪应用118处理的信号来跟踪。 [0055] 情绪跟踪应用118可以在视频播放器108的运行时环境内初始化。因此，优选地初始化步骤使用与VPAID兼容的协议。在这个实施方式中，初始化过程包括在情绪跟踪应用118和网络摄像头106之间建立通信以使得捕捉图像能够在其之间传输。例如，软件(包括在本地计算机的处理器中执行的指令)可用于在客户端计算机内建立这样的通信。此外，初始化过程包括在情绪跟踪应用118和远程分析服务器120之间建立(例如，获得授权)通过互联网110的通信。例如，如描述的，包括被配置为与软件相结合使得能够通过互联网110通信的硬件的网络接口部件可以建立这样的过程。因此所捕捉的图像122(连同任何其他收集的行为数据或其他用户数据)可以通过互联网发送至分析服务器120，在该分析服务器处，有关用户的情绪的信息可以被提取并且被用于进一步地处理。 [0056] 行为数据可以是在用户观看视频或者与任意其他种类的媒体(这些视频或媒体可以或是在视频播放器108或是在嵌入在情绪跟踪应用118本身内的媒体播放器124上播放)交互时捕捉的。在嵌入的媒体播放器124上播放的优势是情绪跟踪应用可以正在播放状态下立刻访问关于播放的媒体的信息。如果媒体在视频播放器108上播放，则情绪跟踪应用118需要建立与视频播放器108的通信接口以获得这些信息。这些可能性在以下更详细地论述。 [0057] 图2是描述作为本发明的实施方式的启动并使用情绪跟踪应用(以下称为“记录器”)的方法的步骤的流程图200。方法开始于客户端设备从远程服务器调用广告的步骤201，该客户端设备可以是能够运行视频播放器的任何具有网络功能的处理单元。例如，处理单元可以是PC、智能电话、平板电脑、可佩带的电子设备等，更一般地说，每个“客户端计算机”具有至少一个中央处理器，该中央处理器可以通过从诸如RAM、NVRAM、ROM、SD卡等的存储器存储设备提供的指令配置。 [0058] 在第二步骤202中，响应对广告的调用，VAST兼容的响应被供应至客户端设备。VAST兼容的响应可以是VAST线内响应(例如，用于传递与显示广告相关联的一个或多个媒体文件)或者VAST重定向响应(例如，用于传递资源标识符以便从另一个位置调用广告)。在两种情况下，在这个实施方式中，VAST兼容的响应包括资源标识符(例如，URL)，其调用实现根据本发明的数据收集和处理的记录器功能，即，收集和处理计算机用户的行为数据。因此，记录器功能可以体现为可用于被传输并且在客户端设备上执行的基于web的应用。本发明使用请求视频广告的传统标准以使得记录器功能被传输至用户设备并且在用户设备上执行。因为对于记录器功能的调用包括在VAST兼容的响应的包络(envelope)内，所以这个步骤在执行广告的已知的构架内(即，在视频播放器的运行时环境内)进行。因此，记录器功能可以在任何符合VAST的视频播放器中启动，并且不需要预加载在客户端设备上。 [0059] 记录器功能的目的是收集关于用户与媒体(例如，声音片段、视频、游戏等)交互时的他或她的行为数据，并且处理这样的数据以将其配置为通过网络从客户端机器更高效地传输至服务器。在一个实施方式中，媒体是视频广告，但原则上媒体可以是任何类型的。媒体可以与对于记录器功能的调用相关联。例如，媒体文件可以在与所调用的记录器功能相同的VAST响应中提供或者由该相同的VAST响应调用。 [0060] 在第三步骤204中，视频播放器加载并执行记录器功能。在这个实施方式中，记录器功能被布置为收集指示计算机用户的情绪状态的数据。其他类型的行为数据可以按类似方式收集。记录器功能的执行启动用于激活和/或建立与客户端设备上的网络摄像头的通信的步骤206。如果网络摄像头存在并且是激活的，则方法可以继续请求用户许可通过网络摄像头记录并传输通过网络摄像头捕捉的数据(图像和/或音频)的步骤210。如果用户拒绝该许可，则记录器会话结束。然而，在此情况下其仍然必需显示相关的媒体。因此，嵌入在记录器应用中的媒体播放器可以被布置为即使不能使用记录功能也执行播放媒体的步骤212。如果不存在网络摄像头或者如果用户许可请求超时，则进行相似的常规动作(route)。如果用户授予许可，则网络摄像头被完全初始化以便与记录器一起使用。 [0061] 在网络摄像头准备好之后并且如果被授予用户许可，则方法继续指示(例如，在视频播放器的运行时环境内)记录器功能准备好的步骤214。这个指示步骤214可以在VAST框架内发生，例如，使用合适的跟踪事件。该指示可以仅仅用作播放或获得相关联的媒体的触发器。 [0062] 在视频播放器接收到记录器准备好的指示之后，方法继续执行媒体文件的步骤216。媒体文件可以是视频或音频文件。如上所述的，媒体文件可以与VAST兼容响应一起提供，或者可以具有单独的来源。媒体可以在视频播放器本身上或者记录器应用内运行。在后一种情况下，记录器应用优选地经由VPAID协议与基础的视频播放器交互以传递与播放媒体相关联的跟踪事件。 [0063] 在运行媒体时，该方法继续从网络摄像头收集图像和/或音频数据并且将其转发至分析服务器的步骤218。如以前所述，这样收集的图像和/或音频数据被处理以便将收集的数据从原始的捕捉状态变换成与用于通过网络传输的流式数据协议兼容的包化结构，并且在某些实施方式中，收集数据在变换至包化结构之前经历附加处理，将已经收集的数据与正在运行媒体的时刻或片段相协调。这样的处理可以进一步包括使捕捉的图像和/或音频与客户端计算机处播放的媒体内的时间位置同步。例如，同步可以是通过将媒体的时间代码(例如，从VAST适应视频广告开始计算机用户行为数据捕捉时的时间计数器的值)或时间代码的范围与收集的行为数据相关联，或者与从对收集的行为数据的分析(在某些实施方式中，使用情绪跟踪应用118在客户端计算机处进行)获得的信息相关联的结果。 [0064] 过程可以作为步骤218的一部分发生，或者在检测到记录器会话事件结束时发生，如以下论述的。 [0065] 用户可以例如使用视频播放器的常规控制或者经由通过记录器应用可用的交互选项在播放期间控制媒体。记录器的控制可以基于媒体的播放状态相似地控制。例如，如果媒体播放暂停，则记录器可以停止将数据发送至分析服务器。记录器可以基于媒体的播放状态(例如，基于经由与视频播放器接口的VPAID接收的消息或事件)自动控制。 [0066] 在视频播放器指示媒体播放已完成时，该方法可以以终止记录器会话的最终步骤220结束。记录器会话还可以由用户(例如，经由交互显示)手动终止。这个过程可以发生在用户与视频播放器正常交互的情况下；视频播放器可以与记录器功能无关地操作。在本发明的某些实施方式中，客户端机器的处理器中执行的指令包括监控由视频播放器正播放的媒体文件的状态并且可以包括启动收集的数据的处理的可执行指令，包括在媒体文件暂停或停止时或者在视频播放器的缓冲超过阈值量时的任何同步以及至包化结构的变换。这样的指令平衡(leverage)单独的计算机客户端的处理能力和其连接至互联网110的相应的数据带宽，以便在过程主动确定对媒体播放具有低影响时执行这样的过程。具体地，具有慢的处理器或连接至互联网的低带宽的计算机客户端可以在播放媒体文件期间实时进行跟踪事件，而过程步骤仅在媒体播放暂停、终止或者在客户端计算机保持足够的媒体播放缓冲时排队执行以便在没有中断媒体播放的流的情况下处理所收集的数据。例如，如果缓冲由于有限的数据量处理的结果而减少几秒，则该信息被反馈到收集和处理应用(或模块)并且客户端计算机确定是否过程可以在没有破坏播放的情况下继续，这个测试在媒体播放期间连续地或周期性地进行。 [0067] 可选地，在过程之后，如果在处理的时候不能完成至远程服务器的传输，则数据可以存储在客户端计算机上，或者直到处理的数据被传输至远程服务器的时间。可以利用标记或其他构造(例如，设定未发送数据并恢复发送数据，或者反之亦然)管理是否已经从远程服务器接收到客户端计算机的关于客户端计算机处播放的特定内容条的数据传输已完成的确收。一般地说，数据收集和处理应用可以通过在客户端计算机的处理器中执行的指令进一步配置以监控至远程服务器的连接性(包括至远程服务器的互联网连接带宽)，以控制对所收集的计算机用户行为数据的处理以及所处理的数据至远程服务器的传输。通过监控客户端计算机连接至的外部设备(例如，远程服务器)，视频印象分析可以在对在客户端计算机处的媒体播放具有减少的或最小的影响的情况下进行。在本发明的这样的实施方式与移动设备一起使用时可以具有特定的优势。 [0068] 图3是示出调用记录器功能的可替换的方法300的流程图。这个实施方式与图2的方法的不同在于调用记录器功能的资源标识符不存在于响应原始的广告调用所提供的VAST响应中。作为替代，视频播放器经由作为代理的提供记录器功能的资源存储器有效地转移原始广告调用。因此，在这个实施方式中，视频播放器提供方可具有对于何时或怎样执行记录器功能的控制，然而在先前的实施方式中，记录器的供应在广告响应提供方的控制下。 [0069] 因此，视频播放器提供方可以将所有VAST请求布置为通过代理(proxy)发送。代理提供方(其在本发明中还可以提供情绪跟踪应用)可以在VAST响应返回至视频播放器之前进行对VAST响应的转换和添加。 [0070] 更详细地，可替换的方法开始于启动广告调用的步骤301，即，视频播放器照常调用远程广告服务器(其返回视频广告响应)。广告调用被引导至代理，其在第二步骤302中，在接收到视频广告响应时，将包含于视频广告响应中的所有或一些媒体文件资源标识符(例如，URL)替换为指向数据收集应用的代理URL。代理可以将VAST响应本身变换为包含对数据收集应用的参考，或者其可以变换媒体部分(即，原始媒体文件URL)使得数据收集应用具有嵌入在其中的原始广告。因此代理URL被布置为调用在视频播放器中执行的记录器功能，同时还将原始资源标识符标识为提供或包含在记录器功能操作时播放的相关联的媒体。 [0071] 继替换步骤302之后，方法继续从视频播放器调用代理地址的第三个步骤303，该代理地址随后被提供有提供记录器功能的适应VAST的响应。当收到响应时，方法继续在视频播放器中执行记录器功能(例如，继以上陈述的过程之后)并调用原始资源标识符的第四步骤304。 [0072] 图4是示出播放相关联的媒体的可替换的方法400的流程图。在图2中，播放通过嵌入在记录器功能中的媒体播放器功能发生。在图4中，播放发生在基础视频播放器，即，启动记录器功能的视频播放器。在这样的实施方式中，记录器功能不是必需表现出播放功能。实际上，在这样的实施方式中，记录器功能可以没有与其相关联的图形显示器部分(除了或许用于获得用户许可以便与分析服务器共享数据的临时对话)。 [0073] 在图4中的方法400开始调用并执行记录器功能的步骤401。在这个实施方式中，该方法包括检测进行调用的视频播放器的类型的步骤402。这个信息可以与对记录器功能的调用一起传输，例如，以允许选择将提供的合适的响应。但是更普遍地，该信息用于以下确定的步骤404中，即，确定视频播放器是否是与允许记录记录器功能外部播放的媒体的行为数据所需要的交互的级别兼容的类型。在必要的交互可以在支配视频广告和视频播放器之间的通信的VPAID标准协议内进行的情况下，可以省去检测兼容类型的步骤。 [0074] 如果视频播放器不是兼容类型或者确定步骤超时，则方法继续在不记录任何行为数据的情况下播放媒体。然后终止记录器会话。 [0075] 然而，如果检测出兼容的视频播放器，则方法继续开启视频播放器界面的步骤406，即，视频播放器界面被布置为启动视频播放器和记录器功能之间的数据的丰富相互交换。例如，记录器可以获得有关在播放器上播放的媒体的标识的信息以及与播放状态有关的数据。视频播放器界面可基于VPAID标准API，尽管这不是必需的。 [0076] 继开启视频播放器界面之后，方法可以继续激活网络摄像头的步骤408和获得用户对于与分析服务器共享数据的许可的步骤410。这些步骤与以上参考图2描述的相同。 [0077] 如果不授予许可或请求超时，则方法继续在不记录行为数据的情况下播放相关联的媒体。如果授予许可，则方法继续播放相关联的媒体的步骤412。一旦播放开始进行，该方法就进行从网络摄像头和视频播放器收集数据(经由视频播放器界面)以发送至分析服务器，并且如上所述的处理所收集的数据的步骤414。 [0078] 方法在相关联的媒体完成播放之后终止结束记录器会话的步骤420。 [0079] 图5示出可以用于本发明的VAST兼容的响应的三个示意性的代表。 [0080] 在第一实例中，VAST兼容响应是VAST线内响应501，其中代替出现在传统响应中的视频广告，提供数据收集URI。数据收集URI调用行为数据记录应用，如上所述。 [0081] 在第二实例中，VAST兼容响应可以是传统VAST线内响应502，具有指示播放的媒体文件的媒体URI。在这个实施方式中，视频播放器可以布置为识别对媒体文件的调用并且经由代理服务器转移那个调用以调用行为数据记录应用。 [0082] 在第三实例中，VAST兼容响应是VAST重定向响应(也被称为VAST包装(VAST Wrapper))，该VAST重定向响应包括调用行为数据记录应用的数据收集URI以及将视频播放器指向将包括播放的媒体的VAST响应的重定向URI。 [0083] 继发送至分析服务器的数据的分析之后，本发明的实施方式可以被布置为显示播放媒体期间检测到的情绪的演变。实际上，来自多个用户的数据被合并以产生汇总显示。在关于每个用户的更多的信息可用的情况下(例如，作为发送至分析服务器的图像数据的元数据)，则汇总数据可以基于这样的数据过滤或分类。 [0084] 图6是适合于显示通过执行本发明的方法搜集的结果的图形用户界面的屏幕截图600。显示包括随时间的一个或多个情绪的演变的曲线的曲线图部分602。显示的一个情绪或多个情绪可在情绪选择工具栏604上选择。在这个实施方式中，工具栏包括指出为高兴、愤怒、厌恶、悲伤、惊恐和惊讶的六个普遍情绪的按键，以及指示投入、中立和效价的度量(分别标记为投入、中立和效价)的按键。在这个实例中，选择效价。 [0085] 用户界面包括可以提炼显示的数据的一组过滤器606(在这种情况下基于性别和年龄)。在这个实例中，嵌入在用户界面中的是跟踪的情绪的视频的屏幕截图608。显示的屏幕截图可以对应于在曲线图部分602上的标记610的位置。在标记的位置处的数据的值显示在曲线图部分602下面的数据显示部分614中。 [0086] 在这个实施方式中，用户界面允许显示来自两个视频的数据。显示选择部分612使得能够以不同的方法显示数据。数据可以通过选择求和选项以结合形成显示，或者(如图6所示)数据可以通过选择比较选项直接比较。显示选择部分还允许单独显示每个视频的数据。