广告(或ad)可作为视频节目的一部分进行播放。一些视频节目被制作为具有能够向视频中插入广告的预先确定的广告位(slot)。例如，一个小时的喜剧节目可以被拍摄成四个13分钟的视频段，以允许在每个视频段之后插入两分钟的广告。对于没有制作以预先确定的广告位的视频而言，可由制作人对该视频进行回顾并且利用视频元数据人工添加标签以指示广告位的位置。

本文档描述了媒体流内广告位的识别。
一般地，在一个方面，一种计算机实现的方法包括识别媒体中的潜在内容项目位，并且将权重与每个潜在内容项目位相关联，每个权重指示在所述内容项目位处派发内容项目时对媒体流的潜在破坏程度。
所述方法的实施方式可包括以下一个或多个特征。所述媒体可包括视频、音频或视频和音频的组合。所述内容项目可包括广告。所述内容项目位可包括广告位。识别潜在内容项目位可包括识别指示所述媒体内视频镜头变化的视频镜头边界。识别潜在内容项目位可包括识别所述媒体内的音频、话音或音乐的边界。所述方法可包括从所述潜在广告位识别具有超出阈值的权重的广告位。
所述方法可包括基于权重向广告位分配内容项目。在一些示例中，可基于内容项目的持续时间和权重向广告位分配内容项目。在一些示例中，持续时间较长的内容项目可被分配给与较高权重相关联的内容项目位，而持续时间较短的内容项目可分配给与较低权重相关联的内容项目，其中较高权重指示对视频流较低程度的潜在破坏。
在一些示例中，基于内容项目中文本、静止图像和视频的百分比和权重向内容项目位分配内容项目。在一些示例中，将具有较高文本或静止图像百分比的内容项目分配给与较低权重相关联的内容项目位，而将具有较高视频百分比的内容项目分配给与较高权重相关联的内容项目位，其中较高权重指示对视频流较低程度的潜在破坏。在一些示例中，基于内容项目位之前的视频内容和内容项目之间的相似级别和相关联的权重向内容项目位中的一个分配内容项目。在一些示例中，将与视频内容具有较高相似度的内容项目分配给与较低权重相关联的内容项目位，而将与视频内容具有较低相似度的内容项目分配给与较高权重相关联的内容项目位，其中较高权重指示对视频流较低程度的潜在破坏。
所述方法可包括生成视频元数据，所述视频元数据具有与视频内的内容项目位的位置以及与内容项目位相关联的权重相关的信息。所述方法可包括从源接收视频，并且向所述源提供与潜在内容项目位的位置和相关联的置信分值相关的信息。所述方法可包括基于规则修改权重，所述规则独立于对媒体流的潜在破坏。所述规则可包括在内容项目位处于从媒体开始的预定时间段内时增加所述内容项目位的权重。至少一些权重能够各自指示当在潜在内容项目位中插入内容项目时对媒体流的潜在破坏程度。
一般地，在另一方面，一种计算机实现的方法包括使用用于检测媒体中的特征的第一组规则识别媒体内的位置，并且使用用于识别内容项目位的第二组规则对所识别的每个位置进行评估，以使得在所述内容项目位中派发内容项目，对视频流的破坏趋向于小于在广告位之外派发内容项目的情况。
所述方法的实施方式可包括以下一个或多个特征。所述内容项目可包括广告。所述内容项目位可包括广告位。所述媒体可包括视频、音频或视频和音频的组合。识别位置可包括识别视频镜头边界。在一些示例中，对所识别的位置进行评估包括确定是否存在跨所识别位置的音频连续。在一些示例中，对所识别的位置进行评估包括确定在所识别的位置之前和之后是否存在静音。在一些示例中，对所识别的位置进行评估包括确定在所识别的位置是否存在到空白或黑白的渐隐或切换。
在一些示例中，对所识别的位置进行评估包括确定在所识别的位置之前和之后的切换动作的频率。在一些示例中，对所识别的位置进行评估包括确定在所识别的位置之前和随后的视频镜头的相似程度。在一些示例中，对所识别的位置进行评估包括确定在所识别的位置之前和随后的运动连续。在一些示例中，对所识别的位置进行评估包括确定在所识别的位置之前和随后的运动动作级别。在一些示例中，对所识别的位置进行评估包括确定在与所识别的位置之前的视频相关联的音频中是否存在音频音量的逐渐增加。在一些示例中，对所识别的位置进行评估包括确定在所识别的位置之前的视频中是否存在画面拉远(zoom out)。
一般地，在另一方面，一种计算机实现的方法包括接收媒体，将所述媒体发送到媒体处理服务器，接收所述媒体处理服务器所提供的媒体元数据，所述媒体元数据具有与所述媒体中的内容项目位以及与所述内容项目位相关联的置信分值相关的信息。
所述方法的实施方式可包括以下一个或多个特征。所述方法可包括提供用户界面以允许用户观看内容项目位之前和之后的视频段并且修改对内容项目位的选择。所述内容项目位可包括广告位。
一般地，在另一方面，一种系统包括服务器，所述服务器包括用来存储视频的存储设备，和用来执行第一层视频处理和第二层视频处理以识别所述视频内的内容项目位的处理器。所述第一层视频处理基于用于识别所述视频中的视频镜头的特征的第一组规则来识别所述视频中的位置，而所述第二层视频处理对所识别的位置进行评估以对每个所识别的位置生成置信分值。每个置信分值指示在所识别的位置派发内容项目时对视频流的潜在破坏程度。
所述系统的实施方式可包括以下一个或多个特征。所述内容项目可包括广告。所述内容项目位可包括广告位。
一般地，在另一方面，一种装置包括用户界面以提供与视频中的内容项目位以及与所述视频相关联的置信分值相关的信息，每个置信分值指示在相应内容项目位处派发内容项目时对视频流的潜在破坏程度，所述用户界面允许用户对内容项目位的选择进行修改并且将与所修改的对内容项目位的选择相关的信息存储在存储设备中。
所述装置的实施方式可包括以下一个或多个特征。所述内容项目可包括广告。所述内容项目位可包括广告位。
一般地，在另一方面，一种系统包括用于识别视频中的潜在内容项目位的装置，以及用于将权重与每个潜在内容项目位相关联的装置，每个权重指示在所述潜在内容项目位处派发内容项目时对媒体流的潜在破坏程度。
所述系统的实施方式可包括以下一个或多个特征。所述内容项目可包括广告。所述内容项目位可包括广告位。
所述系统、方法和技术可包括以下一个或多个优势。可在媒体(例如，视频、音频或视频和音频的组合)的流内播放(或在媒体上重叠)内容项目(例如，广告)而不会明显破坏媒体流。媒体的发布者能够从内容项目(例如，广告)产生收益而不会对接收所述媒体(例如，观看视频或收听音频)的个人的体验造成不利影响。
在以下附图和描述中阐述一个或多个实施例的细节。根据描述和附图以及权利要求，本发明的其它特征、目标和优势将是显而易见的。

图1是示例性视频处理设备的示图。
图2是被划分为视频镜头(shot)的示例性视频的示图。
图3是允许发布者发布视频的示例性计算机网络的示图。
图4是允许发布者对广告位候选进行回顾的示例性图形用户界面的示图。
图5是允许发布者发布视频的示例性计算机网络的示图。
图6是用于处理视频的示例性过程的示图。
图7是用于确定视频镜头边界的置信分值的示例性过程的示图。
图8是示例性一般计算设备的示图。
图9是示例性一般便携式计算设备的示图。
各附图中相同的附图标记表示相同元素。

图1是示例性视频处理设备100(例如，视频处理服务器并且此后被称作视频处理服务器100)的示意图，其接收视频102并确定视频102内适于插入一个或多个内容项目(例如，广告)的内容项目(例如，广告)位。视频处理服务器100生成指示内容项目(例如，广告)位的时间位置的视频元数据104和相关联的置信分值(或权重)。内容项目(例如，广告)位的较高置信分值指示在所述视频流中的该内容项目位播放内容项目时对视频102流较低的潜在破坏。视频元数据104可被用来确定或建议例如在播放视频102时何时播放内容项目(例如，广告)以及播放什么视频项目。
在以下描述中，广告和广告位分别被用作内容项目和内容项目位的示例。在一些示例中，视频处理服务器100使用两层处理来确定广告位。在第一层视频处理中，服务器100识别视频镜头边界(或视频段边界)。“镜头”通常是指从相同相机连续拍摄的视频帧序列(或者在多次拍摄并进行重构以使得多个镜头作为连续镜头呈现给观众)。镜头可包含摇摄(pan)、倾斜或镜头推拉(zoom)。对于卡通、动画或者包括计算机生成画面的视频来说，视频镜头边界一般是指视频中视频帧彼此之间存在不连续的地方。
例如，视频镜头边界在视频从画面的一个视点切换到另一视点时出现，在显示一个位置的画面变化为不同位置的另一画面时出现，或者在从显示一个人的脸部切换到进行讨论的另一个人的脸部时出现。视频镜头边界是潜在的广告位，这是因为视频镜头边界指示视频102中画面或主题变换的可能性。通过比较，每个镜头(或段)内的视频帧实质上是逐帧连续的，不适合在视频镜头内放置广告，因为可能对视频流造成显著破坏而导致负面的观看体验。
在第二层视频处理中，视频处理服务器100对先前识别的每个视频镜头边界确定置信分值。虽然视频镜头边界比镜头内的位置更适于放置广告，但是并不是所有的视频镜头边界都适合作为广告位。例如，视频可能显示几个人在房间内进行讨论，其中视频镜头从一个人切换到另一个人。当仍然处于讨论之中时，在镜头从一个人向另一个人变化的视频镜头边界处插入广告是不得体的。更好的广告位放置例如是在讨论结束时或者在画面变化到不同房间时的视频镜头边界。
视频处理服务器100包括视频镜头边界检测器106，其对视频102的内容进行分析并且使用视频镜头边界检测算法来确定视频镜头的边界。视频镜头边界检测算法的示例在Gargi等人的“PerformanceCharacterization of Video Shot Change Detection Methods”，IEEETransactions on Circuits and Systems for Video Technology，vol.10，no.1，第1-13页，2000年2月，以及Cooper等人的“Video Segmentationvia Temporal Pattern Classification”，IEEE Transactions on Multimedia，vol.9，issue 3，第610-618页，2007年4月中有所描述。
在一些示例中，可对音频轨迹进行分析以识别音频开始点和结束点，其可被用来改进视频镜头边界识别的准确性。如果视频具有贯穿所述视频连续的单个镜头，诸如相机在整个视频片段期间聚焦在一个人上的个人访问视频片段，则可以使用音频开始点和结束点替代视频镜头边界。在这种情况下，广告位候选可放置在音频段结束之后以及后续音频段开始之前。
视频处理服务器100可包括对与视频102相关联的音频进行处理的音频处理模块。
视频处理服务器100包括置信分值计算器108，其用于对先前识别的每个视频镜头边界确定置信分值。置信分值计算器108使用一组规则110对每个视频镜头边界进行评估以生成置信分值(或权重)，所述置信分值指示视频镜头边界将作为良好广告位(例如，在插入广告时不会对视频流造成显著破坏)的可能性。
例如，视频镜头边界检测器106和置信分值计算器108可以是专用硬件模块或者通用中央处理单元(CPU)或图形处理单元(GPU)所执行的软件模块。
在确定了置信分值之后，视频处理服务器100生成视频元数据112，其具有关于视频内的广告位位置以及相关联的置信分值的信息。例如，元数据112可指示第一广告位具有0.5的置信分值并且在00:05:26时(即视频开始之后的5分26秒)出现。
根据上下文，术语“视频”、“音频”或“媒体”可以指能够被人所感知的视觉、听觉或视听信号，或者能够被机器所处理的电信号或文件。术语“内容位”或“广告位”是指能够在其中呈现一个或多个内容项目或广告的时间段。
视频102能够以在播放、解码或呈现时能够被视觉感知的任意格式来存储或流化。例如，视频102可包括直播或录制的电视节目、直播或录制的戏剧或喜剧作品、音乐视频、电视播送事件(例如，体育事件、政治事件、新闻事件等)、家庭制作的视频、视频语音邮件等等。视频102可被压缩或解压缩。所述视频可利用各种视频和“容器”文件格式进行工作，例如Macromedia的Flash Video(FLV)、微软的Advanced Streaming format(ASF)、Windows Media Audio(WMA)、Windows Media file with Audio/Video(WMV)、Audio Video Interleave(AVI)、DivXTM、Intel Video Technology(IVF)、Quick Time MovieFile Extension(MOV)、MPEG、Real Media、RealAudio、RealVideo、Vivo Video(VIV)、OGG、Matroska、3gp、NUT、MXF、ratDVD、svi等之中的一个或多个。
广告可以是被设计来推广(promote)产品或服务或者就一些主题给出公众通知(例如，公众服务声明、政治广告、寻求帮助广告等)的任意内容。广告可包括文本、静止图形或图像、运动图形或图像(例如，视频、动画)和音频的任意组合。广告可由例如广告主、主办方、视频的提供者或视频102的发布者来提供。可在给定视频镜头边界播放一个或多个广告。当对广告进行引用时，可识别其它内容以便在给定镜头边界的视频位中放置。
图2是被划分为视频镜头(或段)的视频102的示例的示图，所述视频镜头包括视频镜头A 122a、视频镜头B 122b、视频镜头C 122c、视频镜头D 122d和视频镜头E 122e等。在两个视频镜头之间为视频镜头边界，例如124a至124e。视频102在时间t0开始，并且视频镜头边界124a至124e分别在时间t1至t5出现。当视频102最初由视频处理服务器100接收时，视频102并不具有与视频镜头边界相关的嵌入信息。视频镜头边界检测器106对视频102的内容进行分析并识别视频镜头边界(例如，124a至124e)。置信分值计算器108基于规则集合110对每个视频镜头边界进行评估并生成相应的置信分值。
例如，可使用以下规则对视频102进行评估：
1.音频连续：如果存在跨视频镜头边界的音频连续，则将置信分值降低预定量，原因在于镜头边界不是好的广告位侯选。例如，在讲话者正讲话时，视频画面可以从讲话者切换到观众然后再切换回讲话者，所有这些时间讲话者都在讲话。当在讲话者处于句子中间时插入广告可能会对视频流造成明显破坏。
2.在视频镜头变化之前和之后的静音：如果在视频镜头变化之前和之后存在静音，则将置信分值增加预定量。静音指示视频中的故事转换的高可能性。静音可包括音频暂停和音频空白(audio black)。音频暂停是指音频中的暂停，例如对话或音乐中的暂停，其中音频记录继续并且可能存在一些背景音频。音频空白是指完全静音，例如在关闭音频记录时。
3.切换至空白(或黑白)：切换到空白通常指示视频中的自然故事转换点，所以这可以是好的广告位侯选。在检测到至空白或黑白的切换时将置信分值增加预定量。
4.视频镜头变化之前和之后的切换动作：高频率的切换(即每单位时间内大量切换)可指示从不同视点显示相同动作，例如从对话中的一个人切换到另一个人。如果在视频镜头边界周围存在高频率的切换，则将置信分值降低预定量，原因在于这可能不是好的广告位侯选。例如，如果时间t2到时间t5之间的持续为30秒，从而在30秒内存在四次切换，频繁的切换动作表明处于时间t3和t4的视频镜头边界可能不是好的广告位侯选。
5.视频镜头之前和随后的相似度：在一个特定的示例性实施方式中，对于给定的视频镜头边界，将所述边界之后的视频段与该边界之前两个段的视频段进行比较。还将所述边界之前的视频分段与该边界之后两个段的视频段进行比较。
例如，在对视频镜头边界124c进行评估时，将视频段D 122d与段B 122b进行比较。如果段B和D相似，则指示可能为从不同视点显示的相同动作，诸如处于视频变化的往返序列中间，并且不是好的广告位侯选，从而将置信分值降低预定量。类似地，将段C 122c与段E122e进行比较。如果段C和E相似，则将置信分值降低预定量。
6.视频镜头边界之前使用拉远：当在视频镜头边界之前存在拉远时，这可能指示画面结束以及到新画面的转换。当检测到视频镜头边界之前的拉远时，将置信分值增加预定量。
7.视频镜头边界之前的音量峰值(volume peak)：当在视频镜头边界之前存在音量峰值时，诸如通向所述视频镜头边界的音乐中的声音渐增，这建立了情感强度并且可能指示到引人注目画面的转换。当检测到视频镜头边界之前的音量峰值时，将置信分值增加预定量。
8.运动连续：当镜头边界之前和之后存在运动连续时，这可能指示所述镜头边界之前和之后的镜头与例如其中从不同视角获得镜头的运动中的相同人物或对象相关联。当在视频镜头边界之前和之后存在运动相似性时，将置信分值降低预定量。
9.运动动作级别：当镜头边界之前和之后存在高级别的运动活动时，所述镜头边界可能不是好的广告位。例如，在具有显示具有许多人和车辆移动的街头画面不同部分的多个镜头的视频中，在那些镜头边界处插入广告可能是不得体的。当在视频镜头边界之前和之后存在高级别的运动动作时，将置信分值减少预定量。
可以使用用于测量跨视频镜头边界的连续性的其它规则来对视频102进行评估。
在一些实施方式中，在确定视频镜头边界的置信分值时，如果在视频镜头边界检测到至空白的切换，则将置信分值增加预定量，例如0.4。如果检测到跨视频镜头边界的音频连续，则将置信分值减少预定量，例如0.1。如果在视频镜头边界之前和之后检测到高切换动作，则将置信分值减少预定量，例如0.2。如果检测到视频镜头边界之前和随后的镜头中的相似性，则将置信分值减少预定量，例如0.4。如果在视频镜头边界处检测到音频停止或音频空白，则将置信分值增加预定量，例如0.4。如果在视频镜头边界处检测到音频停止而没有音频空白，或者检测到音频空白而没有音频停止，则将置信分值增加预定量，例如0.2。这里，音频停止是指镜头边界之前的音量降低，而音频空白是视频边界之后的音量降低。
在一些示例中，将每个视频镜头边界的置信分值与阈值进行比较，并且其指数高于阈值的视频镜头边界被选作广告位。在一些示例中，基于置信分值对广告位进行排列并且以所排列的顺序使用。在选择广告位时使用阈值也可以与根据置信分值对广告位进行排列结合使用。
以上所列出的规则是示例。也可以使用其它规则。由于每个因素而对置信分值的增加或减少量可以与以上所描述的不同。
在一些实施方式中，用于计算置信分值的过程倾向于产生较少的误肯定错误(将实际上不是好的广告位的段边界识别为好的广告位)而允许更多的误否定(错过一些好的广告位)。这减少了视频被不适当的广告放置所破坏的机会，保留了良好的用户体验。
在视频处理服务器100对视频102进行处理以识别好的广告位之后，处理服务器100生成指示广告位位置和置信分值的元数据。以下的表1为视频元数据的示例，指示在时间00:10:55、00:17:32和00:48:15的广告位分别具有置信分值0.5、0.9和0.2。
表1

在一些示例中，视频处理服务器100以置信分值的增序(或降序)次序提供视频镜头边界的列表。除了根据置信分值对广告位进行排列之外，以下的表2与以上的表1类似。
表2

图3是允许视频发布者132发布视频102的示例性计算机网络130的示意图，所述视频102具有插入在不会对视频102的流造成明显破坏的位置的广告。例如，视频102可以由用户136(也称作广告视频提供者136)所提供，所述用户136将视频102从客户端设备138上传到视频发布者132所操作的发布服务器140。客户端设备138可以是能够发送内容的任意设备，包括台式或膝上个人计算机、移动电话、无线设备、游戏控制台、平板计算机、媒体中心、消费电子、个人数字助理、电视系统、媒体播放器/记录器等。
视频发布服务器140将视频102发送给视频处理服务器100以识别潜在的广告位。视频处理服务器100向视频发布服务器140返回指示广告位位置以及置信分值的元数据104。虽然视频发布服务器140和视频处理服务器100被示为分立项目，但是二者可以共同设置或集成到单个设备中。
在一些实施方式中，视频发布服务器140提供图形用户界面(GUI)142以允许发布者132对视频处理服务器100所识别的侯选广告位144进行浏览并且对广告位进行最终选择以识别最终的广告位146。视频发布服务器140或视频处理服务器100在视频元数据文件104中存储与最终的广告位146的位置和置信分值相关的信息。
在一些示例中，一旦接收到与最终的广告位146相关的信息，视频发布服务器104就可以自动选择用于插入广告位146中的广告。例如，视频发布者服务器140还可以基于置信分值或者与广告位或者之前或在前的视频内容相关联的其它标准向发布者132提供与在每个广告位放置哪些广告相关的建议。
图4是允许发布者132对广告位侯选144进行浏览并进行广告位的最终选择的GUI 150的示例的示图。提供按钮(例如，152a至152c)以允许发布者132选择广告位进行浏览。在每个按钮之下提供所述广告位的计时信息153a和置信分值155a。当发布者132在按钮(例如，152a、152b或152c)上进行点击时，媒体播放器(例如，154a、154b或154c)就播放包括广告位的视频102的短段以允许发布者132观看所述广告位处的视频画面转换。例如，所述短段可包括所述广告位之前的20秒视频和所述广告位之后的20秒视频。发布者132能够在“配置”按钮160上进行点击以调整所述视频的短段的持续时间。
例如，当发布者132在按钮160a上进行点击时，媒体播放器154a播放从时间00:10:35到时间00:11:15的视频102，允许发布者132观看广告位之前和之后的40秒视频。如果发布者132确定时间00:10:35处的广告位良好，他可以在复选框156a上进行点击以选择所述广告位。类似地，在发布者132浏览了00:17:32处的广告位之后，如果他确定时间00:17:32处的广告位良好，他可以在复选框156b上进行点击。在一些示例中，GUI 150允许发布者132对广告位的置信分值155a进行修正。
在发布者132已浏览了广告位并做出了最终的选择，则发布者132可以点击“保存选择”按钮158，以将关于所选择的广告位的位置和置信分值的信息保存到视频元数据文件104。
图5是允许发布者132发布由观看者178所观看的视频102的示例性计算机网络170的示意图，其中视频102包括广告服务器174所提供的广告172。与图3的计算机网络130类似，发布者132操作从用户136接收视频102的视频发布服务器140，所述用户136将视频102从客户端设备138上传到视频发布服务器140。服务器140将视频102发送到视频处理服务器100，其识别广告位并为所述广告位生成置信分值，并且返回包括与所述广告位的时间位置和置信分值相关的信息的视频元数据104。所述置信分值提供了在视频102流中的广告位播放广告时对视频102的流的潜在破坏的指示。
在一些示例中，视频发布服务器140基于置信分值和以下所描述的映射规则自动选择插入广告位中的广告。在一些示例中，视频发布者服务器140可基于所述置信分值和映射规则向发布者132提供与在每个广告位放置哪些广告相关的建议。在一些示例中，将视频和相关联的元数据提供给广告主以允许所述广告主确定在广告位放置哪些广告。
可基于类型对广告172进行归类，诸如广告是否包括(例如，在时间段方面)较高百分比的静止图像、视频或文本。还可以基于时间长度对广告172进行归类，例如10秒或更短的广告、10至20秒的广告以及20至30秒的广告等。
可以提供映射表以将不同置信分值映射到不同类型或归类的广告。例如，文本广告(即仅包括文本的广告)会比静止图像广告(即仅包括静止图像的广告)对视频流产生更少的破坏，而静止图像广告进而比视频广告对视频流产生更少的破坏。可在具有较低置信分值的广告位插入文本或静止图像广告，并且可以在具有较高置信分值的广告位插入视频广告。例如，可将置信分值0至0.1映射到文本广告，可将置信分值0.11至0.3映射到静止图像广告，并且将置信分值0.31至1映射到视频广告。
例如，具有较短时间长度的广告会比具有较长时间长度的广告对视频流造成更少的破坏。具有较短时间长度的广告可被插入在具有较低置信分值的广告位，而具有较长时间长度的广告可被插入在具有较高置信分值的广告位。具有较长合并时间长度的多个广告可被插入在具有较高置信分值的广告位。
例如，其内容与视频内容更为相关的广告会对视频流造成更少破坏。具有与视频内容更为相关的内容的广告可被插入在具有较低置信分值的广告位，而具有与视频内容较不相关的内容的广告可被插入在具有较高置信分值的广告位。
例如，其内容与视频的目标观众更为相关的广告会对视频流造成更少破坏。例如，对于意在由儿童观看的视频而言，插入与儿童玩具相关的广告会比插入与成人驾驶的汽车相关的广告造成较少破坏。具有与预期视频观众更为相关的内容的广告可被插入在具有较低置信分值的广告位，而具有与预期视频观众较不相关的内容的广告可被插入在具有较高置信分值的广告位。
在一些示例中，在已经确定了视频102的广告位之后，视频发布服务器140生成具有到视频102的嵌入式链接的网页，所述网页包括具有与广告位的位置相关的信息的视频元数据。对视频102内的广告位的广告分配并不是最终的，直至观看者178请求视频102或者在视频102被安排播放时(例如，通过web电视频道)。因此，可根据视频102何时播放而将不同广告172插入视频102中。通过提供不会明显破坏视频流来插入广告的方式，发布者132能够从广告172获得收益而不会对观看者178的观看体验造成不利影响。
观看者178使用客户端设备180观看视频102。客户端设备180可以是能够接收内容的任意设备，包括个人计算机、移动电话、无线设备、游戏控制台、平板计算机、媒体中心、消费电子、个人数字助理、电视系统、媒体播放器/记录器等。能够由客户端设备180接收的内容可包括视频和诸如网页之类的文档。所述视频可以在媒体播放器模块或应用中进行播放。所述媒体播放器模块可以是独立应用、到另一应用的插件或者从另一计算机或设备下载的指令。在一些示例中，可以使用ADOBE FLASH或JAVASCRIPT来实现媒体播放器模块。
例如，客户端设备180可包括web浏览器182，所述web浏览器182具有用于观看视频102的媒体播放器184。web浏览器182可以接收网页，所述网页包括通过视频102的统一资源定位符(URL)在所述网页中引用的嵌入视频。所述网页还可以包括与广告位的位置相关的信息。当web浏览器182呈现和显示网页时，视频播放器模块184被激活。视频播放器模块184基于URL获取视频102并在所显示的网页内播放所述视频102。当媒体播放器184到达广告位时，媒体播放器184从广告服务器174请求广告172并在所显示的网页内显示广告172。
媒体播放器184能够使用不同视觉效果以多钟方式来呈现广告172。在第一示例中，一旦到达广告位，媒体播放器184就渐隐(fade out)视频102，播放广告172。在广告结束时，媒体播放器184渐隐广告172并继续视频102。在第二示例中，当到达广告位时，媒体播放器184暂停视频102并在屏幕上保持暂停的视频，并且在所述视频上覆盖广告172。例如，广告172可以覆盖暂停视频102的一部分。当广告结束时，视频102继续。媒体播放器184还能够在视频102的一部分上覆盖广告172而不暂停视频102。
在第三示例中，一旦到达广告位，视频102就被暂停并且大小减小至屏幕或浏览器区域的一部分，并且以屏幕或浏览器区域的全尺寸播放广告172。这与具有画中画功能类似，允许观看者178在收看广告时看到视频102在哪里暂停。在视频102几乎没有动作的情况下，视频102可以在以正常大小播放广告时以缩小的大小继续播放。当广告结束时，视频102继续并且以正常大小进行播放。
在第四示例中，一旦到达广告位，媒体播放器184就调低与视频102相关的音频并渐现(fade in)广告172。在临近广告172结束时，渐隐广告，继续视频102，并且与视频102相关的音频返回正常音量。
在第五示例中，与第四示例类似，一旦到达广告位，媒体播放器184调低与视频102相关联的音频并渐现广告172。在临近广告172结束时，渐隐广告，并且通过重复视频102在广告位之前的短段(例如，0.5秒)来继续视频102。例如，当音频在广告开始之前渐消时，句子的最后单词有时会被渐消而听不到。重复视频102的短段和相关联的音频允许观看者178找到在播放广告172之前被渐隐的内容。
基于置信分值，可以以诸如以上所描述的那些不同方式来呈现广告。例如，如果广告位的置信分值高，则可以播放广告172而没有渐现或渐隐效果。另一方面，如果置信分值低，指示在播放广告时更可能对视频造成破坏，则可以使用渐现和渐隐效果来减少破坏。
视频处理服务器100、视频发布服务器140、广告服务器174、客户端设备138(视频的提供者)和客户端设备180(视频的观看者)通过一个或多个网络176进行连接，所述网络176可以包括局域网(LAN)、广域网(WAN)、有线或无线网络或者公众因特网等，但并不局限于此。
图6是用于通过计算机网络170(图5)对例如视频102的视频进行处理的示例性过程190的流程图。过程190包括以下步骤：
步骤192：接收视频102。例如，视频102可由视频处理服务器100接收。视频102可由视频提供者136上传至视频发布服务器140，并且视频发布服务器140将视频102发送至视频处理服务器100。作为选择，视频处理服务器100可使用web爬行器(crawler)来找出因特网上的视频102。
步骤194：识别视频镜头边界。例如，视频处理服务器100可以识别视频镜头边界(例如，图2的124a至124e)。
步骤196：对每个视频镜头边界进行评估并且对每个镜头边界指定置信分值。例如，视频处理服务器100可对视频镜头边界进行评估并确定每个边界的置信分值。
步骤198：选择其置信分值高于阈值的视频镜头边界作为广告位。例如，视频处理服务器100可以将视频镜头边界的置信分值与阈值进行比较来识别广告位。
步骤200：生成视频元数据。所述视频元数据包括与视频位的位置和相应置信分值相关的信息。例如，视频处理服务器100可生成视频元数据104。
步骤202：将视频元数据提供给发布者132。例如，视频处理服务器100可将所述元数据提供给可由发布者132访问的视频发布服务器140。
步骤204：可选地，发布者132浏览视频102和广告位，并且对广告位进行最终选择。视频元数据被存储在存储设备中。例如，视频处理服务器140提供GUI 142以允许发布者132浏览视频102并选择广告位。
步骤206：对广告位分配广告172。例如，发布者132使用视频发布服务器140将广告指定给广告位。作为选择，广告主可向广告位分配广告。
步骤208：视频元数据被存储在存储设备中。例如，元数据被存储在视频发布服务器140处的存储设备中。
步骤210：生成包括视频元数据的网页。所述元数据包括视频102的URL、广告位的位置以及与所述广告位相对应的广告的URL。例如，视频发布服务器140生成所述网页。
步骤212：从观看者接收对视频102的请求。例如，视频发布服务器140从可由观看者178访问的客户端设备180接收请求。
步骤214：将视频102传送给观看者178，并且将视频102连同广告位中插入的广告进行播放。例如，视频发布服务器140将与视频102相关联的网页发送到观看者178的客户端设备180。客户端设备180处的媒体播放器184播放带有广告172的视频102。
图7是用于确定视频镜头边界的置信分值的示例性过程220的流程图。过程220包括以下步骤：
步骤222：对置信分值初始化，例如初始化为0。
步骤224：对视频镜头边界进行评估以确定在边界之前或之后是否存在至空白的切换。
步骤226：如果识别了至空白的切换，则将置信分值增加预定量，例如0.4。
步骤228：对视频镜头边界进行评估以确定是否存在跨边界的音频连续。
步骤230：如果识别了跨边界的音频连续，则将置信分值减少预定量，例如0.1。
步骤232：对视频镜头边界进行评估以确定边界附近是否存在高频率切换。
步骤234：如果识别了高频率切换，则将置信分值减少预定量，例如0.2。
步骤236：对视频镜头边界进行评估以确定镜头之前和随后是否存在相似性。
步骤238：如果在镜头之前和随后存在相似性，则将置信分值减少预定量，例如0.4。
步骤240：对视频镜头边界进行评估以确定在边界处是否存在音频暂停和音频空白。
步骤242：如果识别了音频暂停和音频空白二者，则将置信分值增加预定量，例如0.4。过程200跳转至步骤248，其中输出置信分值且过程220结束。
步骤244：如果音频暂停和音频空白不都出现，则对视频镜头边界进行评估以确定边界处是否存在音频暂停或音频空白。
步骤246：如果识别了音频暂停或音频空白，则将置信分值增加预定量，例如0.2。过程220跳转至步骤248，其中输出置信分值且过程220结束。
步骤248：输出置信分值且过程220结束。
在图5所示的示例中，视频发布服务器140累集用户136(视频提供者)所上传的视频102或者使用其它方式获取视频102。视频发布服务器140与视频处理服务器100进行通信以处理视频102来识别侯选广告位。最终的视频元数据104存储在视频发布服务器140。
在图1所示的示例中，视频处理服务器100能够使用web爬行器来找出因特网上的视频并且识别所述视频中适当的广告位。视频处理服务器100生成具有与所述广告位的位置和相关联的置信分值相关的信息的视频元数据104，并且将元数据104存储在数据库中。所述数据库可包括到已经处理的所有视频102的索引。当第三方希望向视频102中插入广告时，所述第三方可联系视频处理服务器100以查找所述索引并且从数据库获取相关的视频元数据104。
图8是可被用作例如视频处理服务器100、广告服务器174、视频发布服务器140、客户端设备138或客户端设备180的示例性通用计算设备300的示意性表示。计算设备300意在表示各种形式的数字计算机，诸如膝上电脑、台式电脑、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当计算机。这里所示的组件、其连接和关系以及其功能仅意图为示例性的，而并不意味着对本文所描述和/或要求保护的本发明的实施方式进行限制。
计算设备300包括处理器302、存储器304、存储设备306、连接到存储器304和高速扩展端口310的高速接口308以及连接到低速总线314和存储设备306的低速接口312。组件302、304、306、308、310和312中的每一个使用各种总线进行互连，并且可以安装在共用主板上或者以其它适当方式进行安装。处理器302能够对用于在计算设备300内执行的指令进行处理，包括存储在存储器304中或存储设备306上的指令以显示用于外部输入/输出设备上的GUI的图形信息，所述外部输入/输出设备诸如耦接到高速接口308的显示器316。在其它实施方式中，如果适当，可以使用多个处理器和/或多个总线，以及多个存储器以及多种类型的存储器。而且，可以连接多个计算设备300，每个设备提供部分必需的操作(例如，作为服务器组、刀片服务器群、多处理器系统、对等网络、网格计算体系结构或者自组对等网络)。
存储器304存储计算设备300内的信息。在一个实施方式中，存储器304是一个或多个易失性存储单元。在另一实施方式中，存储器304是一个或多个非易失性存储单元。存储器304还可以是另一形式的计算机可读介质，诸如磁盘或光盘。
存储设备306能够为计算设备300提供大型存储。在一个实施方式中，存储设备306可以是计算机可读介质或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其它类似的固态存储设备或者设备阵列，包括存储域网络或其它配置中的设备。计算机程序产品可有形地实现在信息载体中。所述计算机程序产品还可包含指令，当被执行时，所述指令执行诸如以上所描述的一个或多个方法。所述信息载体是计算机或机器可读介质，诸如存储器304、存储设备306、处理器302上的存储器或传播信号。
高速控制器308对计算设备300的带宽密集操作进行管理，而低速控制器312对较低带宽密集的操作进行管理。这样的功能分配仅是示例性的。在一个实施方式中，高速控制器308耦接到存储器304、显示器316(例如，通过图形处理器或加速器)，并且耦接到可以接受各种扩展卡(未示出)的高速扩展端口310。在所述实施方式中，低速控制器312耦接到存储设备306和低速扩展端口314。可包括各种通信端口(例如，USB、IEEE 1394、蓝牙、以太网、无线以太网)的低速扩展端口可耦接到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪，或者例如通过网络适配器耦接到诸如交换机或路由器之类的网络设备。
如图所示，可以以多种不同形式来实施计算设备300。例如，其可以实施为标准服务器320，或者更多的时间是以一组这样的服务器来实现。其还可以实施为机架式服务器系统324的一部分。此外，其可以在诸如膝上计算机322的个人计算机中实施。这些设备(例如，标准服务器、机架式服务器系统、个人计算机、膝上计算机)中的每一个可包含一个或多个计算设备300，并且整个系统可由彼此通信的多个计算设备300所构成。
在一些示例中，客户端设备136和180可以是例如便携式计算设备。
图9是通用便携式计算设备350的示例的示意性表示，除其它组件之外，其包括处理器352、存储器364、诸如显示器354之类的输入/输出设备、通信接口366和收发器368。设备350还可被提供以存储设备，诸如微驱动器或其它设备，以提供附加存储。组件350、352、364、354、366和368中的每一个使用各种总线进行互连，并且若干组件可安装在共用主板上或者以其它适当方式进行安装。。
处理器352能够执行计算设备350内的指令，包括存储在存储器364中的指令。处理器可实施为包括分立的多个模拟和数字处理器的芯片的芯片组。例如，所述处理器可提供设备350的其它组件的协调，诸如用户接口的控制、设备350所运行的应用以及设备350所进行的无线通信。
处理器352可以通过控制接口358和耦接到显示器354的显示接口356与用户进行通信。显示器354例如可以是TFT(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器或者其它适当的显示技术。显示接口356可包括用于驱动显示器354以向用户呈现图形和其它信息的适当电路。控制接口358可接收来自用户的命令并且将其转换以便向处理器352进行提交。此外，可提供与处理器352进行通信的外部接口362，以便使得设备350能够与其它设备进行近域通信。例如，可提供外部接口362，在一些实施方式中用于有线通信，或者在其它实施方式中用于无线通信，并且可以使用多个接口。
存储器364存储计算设备350内的信息。存储器364可以实施为一个或多个计算机可读介质或媒体、一个或多个易失性存储单元或者一个或多个非易失性存储单元。也可以提供扩展存储器374并通过扩展接口372连接至设备350，所述扩展接口可包括例如SIMM(单列直插内存模块)卡接口。这样的扩展存储器374可为设备350提供额外的存储空间，或者还可以存储应用或用于设备350的其它信息。特别地，扩展存储器374可包括指令以执行或补充以上所描述的过程，并且还可包括安全信息。因此，扩展存储器374例如可以被提供为设备350的安全模块，并且可以利用允许对设备350进行安全使用的指令进行编程。此外，可以经由SIMM卡连同附加信息一起提供安全应用，诸如以黑客无法攻击的方式在SIMM卡设置识别信息。
如以下所描述，存储器例如可包括闪存和/或NVRAM存储器。在一个实施方式中，计算机程序产品有形实现在信息载体中。所述计算机程序产品包含指令，当被执行时，所述指令执行诸如以上所描述的一个或多个方法。所述信息载体是计算机或机器可读介质，诸如存储器364、扩展存储器374、处理器352上的存储器，或者可例如在收发器368或外部接口362上接收的传播信号。
设备350可通过通信接口366进行无线通信，所述通信接口366必要时可包括数字信号处理电路。通信接口366可在各种模式或协议下提供通信，除其它之外，诸如GSM语音呼叫、SMS、EMS或MMS消息发送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS。例如，这样的通信可通过射频收发器368进行。此外，诸如可使用蓝牙、WiFi或其它这样的收发器(未示出)进行短距离通信。此外，GPS(全球定位系统)接收器模块370可以为设备350提供附加的导航和位置相关的无线数据，所述无线数据可适当由在设备350上运行的应用所使用。
设备350还可以使用音频编解码器360进行可听通信，所述音频编解码器360可接收来自用户的话音信息并将其转换为可用的数字信息。音频编解码器360同样可诸如通过例如设备350的听筒中的扬声器为用户生成可听的声音。这样的声音可包括来自语音电话呼叫的声音，可包括所录制的声音(例如，语音消息、音乐文件等)，并且还可包括在设备350上运行的应用所生成的声音。
如图所示，可以以多种不同形式来实施计算设备350。例如，其可实施为蜂窝电话380。其还可实施为智能电话382、个人数字助理或其它类似移动设备的一部分
这里所描述的系统和技术的各种实施方式可以以数字电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合来实现。这些各种实施方式可包括一个或多个计算机程序中的实施方式，所述计算机程序可在包括至少一个可编程处理器、至少一个输入设备和至少一个输出设备的可编程系统上执行和/或解释，所述可编程处理器可以是专用或通用的，其耦接以从存储系统接收数据和指令并且向所述存储系统传送数据和指令。
这些计算机程序(还称作程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级程序和/或面向对象编程语言和/或汇编/机器语言来实现。如这里所使用的，术语“机器可读介质”、“计算机可读介质”是指被用来向可编程处理器提供机器指令和/或数据的任意计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用来向可编程处理器提供机器指令和/或数据的任意信号。
为了提供与用户的交互，这里所描述的系统和技术可在具有用于向用户显示信息的显示设备以及键盘和指示设备(例如，鼠标、轨迹球、接触敏感屏幕或类似iDrive的组件)的计算机上实施，所述显示设备诸如CRT(阴极射线管)或LCD(液晶显示器)监视器，用户可通过所述指示设备向计算机提供输入。还可使用其它类型的设备来提供与用户的交互；例如，提供给用户的反馈可以为任意形式的感观反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任意形式来接收来自用户的输入，包括声音、话音或触觉输入。
这里所描述的系统和技术可以以计算系统来实现，所述计算系统包括后端组件(例如，作为数据服务器)，或者包括中间组件(例如，应用服务器)，或者包括前端组件(例如，具有用户可通过其与这里所描述的系统和技术的实施方式进行交互的图形用户界面或web浏览器的客户端计算机)，或者这样的后端、中间或前端组件的组合。所述系统的组件可通过任意形式或介质的数字数据通信(例如，通信网络)进行互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
所述计算系统可包括客户端和服务器。客户端和服务器通常彼此远离并且典型地通过通信网络进行交互。客户端和服务器的关系通过在各自计算机上运行的并且彼此具有客户端-服务器关系的计算机程序所建立。
已经对本发明的多个实施例进行了描述。然而，要理解的是，可进行各种修改而不会背离本发明的精神和范围。例如，在第一层视频处理中，可以检测视频镜头边界以外的视频特征。第二层视频处理可对所识别的特征进行评估并生成置信分值。视频处理服务器100可提供包括与广告位的位置相关的信息而不包括置信分值。
当已经识别了广告位和置信分值时，可基于所述置信分值对广告进行修改。例如，如果广告主希望向视频添加广告，但是视频中的所有广告位都具有低的置信分值，则系统可以向广告主提供对广告进行修改的建议，或者所述系统可以修改广告，诸如通过对广告使用渐现和渐隐效果，并且使广告主来决定是否使用广告的修改版本。作为选择，所述系统可以修改视频帧或音频段，诸如通过分别对广告位之前和之后的视频帧应用渐现和渐隐效果。
可以在已经识别了广告位之后以及在广告播放时间之前将广告指定给视频102的广告位。视频发布服务器140生成具有到视频102的嵌入式连接的网页，所述网页包括视频元数据，所述视频元数据具有与广告位的位置相关的信息以及对应于所述广告位的广告172的URL。
如果视频102没有视频镜头边界(诸如一个相机持续开启的讲话视频)，或者其中所有的视频镜头边界具有低的置信分值，则可以对与视频102相关联的一个或多个音频轨迹进行分析以找出音频暂停、语音暂停或音乐暂停。音频暂停可以通过找到当前音频音量与平均音量的比率低于阈值的地方来识别。可以使用话音间隔检测器来分析音频以识别音频的话音部分中的暂停或间隔。例如，在给出话音的演讲视频中，话音中的暂停可以表示句子结束并且可作为潜在广告位。类似地，可使用音乐间隔检测器分析音频来识别音频的音乐部分中的暂停或间隔以找出潜在广告位。
可基于独立于对媒体流的潜在破坏的规则对广告位的置信分值或权重进行修改。例如，可基于广告位的位置对置信分值进行修改。当观看因特网上发布的视频片断时，许多观看者仅观看所述视频开始附近的部分而跳过其余部分。因此，可将视频开始附近的广告位调高预定百分比。例如，可将从视频102的开始的30秒内的广告位的置信分值提高例如10％。
可使用与视频102的处理类似的两层处理对音频片断进行处理。可通过识别音频记录中的音频暂停或音频空白来识别音频段边界。对每个音频暂停或音频空白进行评估以生成置信分值，所述置信分值指示如果在所述音频暂停或音频空白处插入广告的情况下对音频流的破坏的可能性。用于计算置信分值的规则可包括例如音频暂停或音频空白的长度，音频暂停或音频空白之前和之后的音频段的相似度，以及音频暂停或音频空白的频率等。
置信分值可以与以上所描述的有所不同。GUI可以与以上所描述的有所不同。用于确定置信分值的规则可以与以上所描述的不同。
视频处理服务器100可由能够处理不同类型媒体的媒体处理服务器所代替，所述媒体例如仅包括视频的内容、仅包括音频的内容、音视频内容、电子邮件、幻灯片等。所述媒体可涉及不同感观并提供例如视觉、听觉、嗅觉和/或触觉信息。客户端设备180可由能够呈现不同类型媒体的设备所代替，所述媒体可提供不同类型的感观信息。例如，客户端设备180可以能够生成与视频中的故事相符的气味。播放香水或食品的广告可包括释放产生模仿所述香水或食品产品气味的效果的分子。确定媒体中的广告位的置信分值可包括当在媒体流中播放广告时通过各种感观所感知的对媒体流的潜在破坏进行评估。
用来在视频中放置广告的策略可以与对视频流的最小破坏点的检测脱离。例如，可通过各种方式来修改对广告位所指定的权重。在一些示例中，由于已知的下降率，视频中较早的广告位具有更高权重以增加观众。在一些示例中，可选择所识别的广告位来实现贯串视频的广告位的等同分布。在一些示例中，广告主可请求广告在视频中出现产品的特定视频段附近进行显示。在这种情况下，即使其分值(强度)低于其它侯选广告位，也可以在特定视频段附近选择最接近的广告位。
可以利用对步骤进行重新排序、添加或删除来使用以上所示的流程的各种形式。而且，虽然已经对若干应用和方法进行了描述，但是应当认识到的是，可预期多种其它应用。此外，附图中所描绘的逻辑流程并不需要所示的特定顺序或连续顺序来达到所需结果。可以提供其它步骤或者从所描述的流程删除步骤，并且可以向所描述的系统添加其它组件或者从其删除组件。因此，其它实施方式落入所附权利要求的范围之内。