视频通信方法及装置转让专利
申请号 : CN200710103024.X
文献号 : CN100591120C
文献日 : 2010-02-17
发明人 : 徐进
申请人 : 华为技术有限公司
摘要 :
本发明实施例公开一种视频通信方法：获取视频数据；获取图像文件或视频文件；将所述视频数据与所述图像文件或视频文件按比例进行透明度合成，得到视频数据源；设置动作操作码或脚本，利用视频数据源的数据帧的每帧头部的自定义扩展字段携带所述动作操作码或脚本，将所述视频数据源进行传输，或者，设置动作操作码或脚本，在动作操作码或脚本中添加对视频数据源的标识信息后，将所述动作操作码或脚本通过额外通道传输，将所述视频数据源进行传输。本发明实施例相应提供一种视频通信装置。本发明实施例的技术方案能提供更好的视频效果。
权利要求 :
1、一种视频通信方法，其特征在于，包括：获取视频数据；
获取图像文件或视频文件；
将所述视频数据与所述图像文件或视频文件按比例进行透明度合成，得 到视频数据源；
设置动作操作码或脚本，利用视频数据源的数据帧的每帧头部的自定义 扩展字段携带所述动作操作码或脚本；
将所述视频数据源进行传输。
2、根据权利要求1所述的视频通信方法，其特征在于：所述得到视频数据源之后包括：对视频数据源进行图像处理；或者，所述得到视频数据源之前包括：对所述视频数据、所述图像文件或视频 文件进行图像处理。
3、根据权利要求1或2所述的视频通信方法，其特征在于：所述进行透明度合成、进行图像处理、设置动作操作码或脚本由本地终 端、服务器或目的终端执行。
4、一种视频通信方法，其特征在于，包括：获取视频数据；
获取图像文件或视频文件；
将所述视频数据与所述图像文件或视频文件按比例进行透明度合成，得 到视频数据源；
设置动作操作码或脚本，在动作操作码或脚本中添加对视频数据源的标 识信息；
将所述动作操作码或脚本通过额外通道传输，将所述视频数据源进行传 输。
5、根据权利要求4所述的视频通信方法，其特征在于：所述得到视频数据源之后包括：对视频数据源进行图像处理；或者，所述得到视频数据源之前包括：对所述视频数据、所述图像文件或视频 文件进行图像处理。
6、根据权利要求4或5所述的视频通信方法，其特征在于：所述进行透明度合成、进行图像处理、设置动作操作码或脚本由本地终 端、服务器或目的终端执行。
7、一种视频通信装置，其特征在于，包括：获取视频数据的模块；
获取图像文件或视频文件的模块；
将所述视频数据与所述图像文件或视频文件按比例进行透明度合成，得 到视频数据源的模块；
设置动作操作码或脚本，利用视频数据源的数据帧的每帧头部的自定义 扩展字段携带所述动作操作码或脚本的模块；
将所述视频数据源进行传输的模块。
8、根据权利要求7所述的视频通信装置，其特征在于，进一步包括：用 于在合成得到视频数据源之后对视频数据源进行图像处理的模块，或者，用 于在合成得到视频数据源之前对所述视频数据、所述图像文件或视频文件进 行图像处理的模块。
9、一种视频通信装置，其特征在于，包括：获取视频数据的模块；
获取图像文件或视频文件的模块；
将所述视频数据与所述图像文件或视频文件按比例进行透明度合成，得 到视频数据源的模块；
设置动作操作码或脚本，在动作操作码或脚本中添加对视频数据源的标 识信息的模块；
将所述动作操作码或脚本通过额外通道传输，将所述视频数据源进行传 输的模块。
10、根据权利要求9所述的视频通信装置，其特征在于，进一步包括： 用于在合成得到视频数据源之后对视频数据源进行图像处理的模块，或者， 用于在合成得到视频数据源之前对所述视频数据、所述图像文件或视频文件 进行图像处理的模块。
说明书 :
技术领域
本发明涉及网络通信技术领域，具体涉及一种视频通信方法及装置。
背景技术
目前通过互联网络进行视频通信已经相当普及，用户可以选择各种不同 的聊天软件例如QQ/MSN/Skype/E话通等进行视频通信。现有的视频通信技 术通过改进压缩算法，提高数据压缩率，增强对网络带宽的自适应能力等策 略，可以在包括语音和图像效果等方面提供比较好的通信质量。
现有技术中，可以通过虚拟摄像头驱动软件(例如SoftCam)，在没有摄 像头的终端设备，例如在计算机上模拟摄像头设备，将本计算机的几个视频 文件进行合成，或者将本计算机的视频文件与动态或者静态图像文件进行合 成，作为视频数据源，发送给视频通信的目的终端；也可以将真实摄像头拍 摄的视频数据，与本计算机的视频文件、动态或者静态图像文件进行合成， 作为视频数据源，发送给视频通信的目的终端，那么目的终端看到的视频图 像就是合成之后的视频图像。
请参阅图1，是现有技术视频合成的应用框架示意图。该应用框架采用微 软公司Microsofr的DirectShow过滤器体系框架完成视频数据的采集、编码和 传输。图中包括摄像头、源过滤器、视频合成器、转换过滤器、渲染过滤器 和目的终端。源过滤器采集摄像头拍摄的视频数据，并由视频合成器完成上 述所说的合成过程，将合成的视频数据源由转换过滤器进行压缩编码，并由 渲染过滤器通过互连网传输到视频通信的目的终端，传输过程一般使用实时 传输协议RTP(Real-time Transport Protocol)/实时传输控制协议RTCP (Real-time Transport Control Protocol)。
发明人在实现本发明的过程中，发现现有技术只是提供简单的视频合成， 达到一种比较简单的视频效果，而用户希望能得到更好的视频效果。
现有技术中，可以通过虚拟摄像头驱动软件(例如SoftCam)，在没有摄 像头的终端设备，例如在计算机上模拟摄像头设备，将本计算机的几个视频 文件进行合成，或者将本计算机的视频文件与动态或者静态图像文件进行合 成，作为视频数据源，发送给视频通信的目的终端；也可以将真实摄像头拍 摄的视频数据，与本计算机的视频文件、动态或者静态图像文件进行合成， 作为视频数据源，发送给视频通信的目的终端，那么目的终端看到的视频图 像就是合成之后的视频图像。
请参阅图1，是现有技术视频合成的应用框架示意图。该应用框架采用微 软公司Microsofr的DirectShow过滤器体系框架完成视频数据的采集、编码和 传输。图中包括摄像头、源过滤器、视频合成器、转换过滤器、渲染过滤器 和目的终端。源过滤器采集摄像头拍摄的视频数据，并由视频合成器完成上 述所说的合成过程，将合成的视频数据源由转换过滤器进行压缩编码，并由 渲染过滤器通过互连网传输到视频通信的目的终端，传输过程一般使用实时 传输协议RTP(Real-time Transport Protocol)/实时传输控制协议RTCP (Real-time Transport Control Protocol)。
发明人在实现本发明的过程中，发现现有技术只是提供简单的视频合成， 达到一种比较简单的视频效果，而用户希望能得到更好的视频效果。
发明内容
本发明实施例要解决的技术问题是提供一种视频通信方法、视频合成处 理器、终端及服务器，能提供更好的视频效果。
为解决上述技术问题，本发明实施例通过以下技术方案实现：
本发明实施例提供一种视频通信方法，包括：获取视频数据；获取图像 文件或视频文件；将所述视频数据与所述图像文件或视频文件按比例进行透 明度合成，得到视频数据源；设置动作操作码或脚本，利用视频数据源的数 据帧的每帧头部的自定义扩展字段携带所述动作操作码或脚本，将所述视频 数据源进行传输。
本发明实施例提供另一种视频通信方法，包括：获取视频数据；获取图 像文件或视频文件；将所述视频数据与所述图像文件或视频文件按比例进行 透明度合成，得到视频数据源，设置动作操作码或脚本，在动作操作码或脚 本中添加对视频数据源的标识信息，将所述动作操作码或脚本通过额外通道 传输，将所述视频数据源进行传输。
本发明实施例提供一种视频通信装置，包括：获取视频数据的模块；获 取图像文件或视频文件的模块；将所述视频数据与所述图像文件或视频文件 按比例进行透明度合成，得到视频数据源的模块；设置动作操作码或脚本， 利用视频数据源的数据帧的每帧头部的自定义扩展字段携带所述动作操作码 或脚本的模块；将所述视频数据源进行传输的模块。
本发明实施例提供另一种视频通信装置，包括：获取视频数据的模块； 获取图像文件或视频文件的模块；将所述视频数据与所述图像文件或视频文 件按比例进行透明度合成，得到视频数据源的模块；设置动作操作码或脚本， 在动作操作码或脚本中添加对视频数据源的标识信息的模块；将所述动作操 作码或脚本通过额外通道传输，将所述视频数据源进行传输的模块。
以上技术方案可以看出，本发明实施例的方案是将获取的视频数据与获 取的图像文件或视频文件按比例进行透明度合成，得到视频数据源，并将所 述视频数据源进行传输。因为本发明实施例方案在视频合成中采用了透明度 处理技术，可以将图像各自按照一定百分比的透明度进行叠加合成，形成一 种特殊的视觉效应，因此可以能提供更好的视频效果。
为解决上述技术问题，本发明实施例通过以下技术方案实现：
本发明实施例提供一种视频通信方法，包括：获取视频数据；获取图像 文件或视频文件；将所述视频数据与所述图像文件或视频文件按比例进行透 明度合成，得到视频数据源；设置动作操作码或脚本，利用视频数据源的数 据帧的每帧头部的自定义扩展字段携带所述动作操作码或脚本，将所述视频 数据源进行传输。
本发明实施例提供另一种视频通信方法，包括：获取视频数据；获取图 像文件或视频文件；将所述视频数据与所述图像文件或视频文件按比例进行 透明度合成，得到视频数据源，设置动作操作码或脚本，在动作操作码或脚 本中添加对视频数据源的标识信息，将所述动作操作码或脚本通过额外通道 传输，将所述视频数据源进行传输。
本发明实施例提供一种视频通信装置，包括：获取视频数据的模块；获 取图像文件或视频文件的模块；将所述视频数据与所述图像文件或视频文件 按比例进行透明度合成，得到视频数据源的模块；设置动作操作码或脚本， 利用视频数据源的数据帧的每帧头部的自定义扩展字段携带所述动作操作码 或脚本的模块；将所述视频数据源进行传输的模块。
本发明实施例提供另一种视频通信装置，包括：获取视频数据的模块； 获取图像文件或视频文件的模块；将所述视频数据与所述图像文件或视频文 件按比例进行透明度合成，得到视频数据源的模块；设置动作操作码或脚本， 在动作操作码或脚本中添加对视频数据源的标识信息的模块；将所述动作操 作码或脚本通过额外通道传输，将所述视频数据源进行传输的模块。
以上技术方案可以看出，本发明实施例的方案是将获取的视频数据与获 取的图像文件或视频文件按比例进行透明度合成，得到视频数据源，并将所 述视频数据源进行传输。因为本发明实施例方案在视频合成中采用了透明度 处理技术，可以将图像各自按照一定百分比的透明度进行叠加合成，形成一 种特殊的视觉效应，因此可以能提供更好的视频效果。
附图说明
图1是现有技术视频合成的应用框架示意图；
图2是本发明实施例一的视频通信方法流程图；
图3是本发明实施例二的视频通信方法流程图；
图4是本发明实施例三的视频通信方法流程图；
图5是本发明实施例视频合成处理器结构示意图。
图2是本发明实施例一的视频通信方法流程图；
图3是本发明实施例二的视频通信方法流程图；
图4是本发明实施例三的视频通信方法流程图；
图5是本发明实施例视频合成处理器结构示意图。
具体实施方式
本发明实施例提供一种视频通信方法，在合成过程中增加不同的处理方 法，以达到更好的视频效果。为了与现有技术的视频合成器进行区分，本发 明实施例提供的视频合成器称为视频合成处理器。
请参阅图2，是本发明实施例一的视频通信方法流程图。实施例一在合成 过程中采用了透明度处理技术，视频合成处理器设置在本地终端中。图中步 骤包括：
A1、获取视频数据；
视频合成处理器获取由摄像头拍摄的视频数据。本发明实施例中可以使 用但不限于Microsofr的DirectShow体系框架，采用该体系框架时，由源过滤 器采集摄像头拍摄的视频数据，再由视频合成处理器获取该视频数据。
A2、获取图像文件或视频文件；
视频合成处理器获取本地静态图像文件(如BMP(Bitmap-File，位图图 形文件)、JPG(Joint Photographic Group，联合摄影组)等)、本地动态图像 文件(如动态GIF(Graphics Interchange Format，图形交换格式)或本地视频 文件(如AVI(Audio Video Interleave，音频视频交叉存取格式)、MPEG(Moving Picture Experts Group，运动图像专家组)等)。
A3、将所述视频数据与所述图像文件或视频文件按比例进行透明度合成， 得到视频数据源；
视频合成处理器可以将由摄像头拍摄的视频数据和和本地静态图像文件 利用透明度处理技术进行合成，得到视频数据源。所谓透明度处理，即将两 个或者多个图像各自按照一定百分比的透明度进行合成，例如将A图像按照 30％的透明度叠加在B图像上。举个形象的例子，就像电视屏幕上当几乎满 屏幕列出球赛队员名单的时候，对显示的名单采用透明度处理技术，观众仍 然能透过名单看到背后的球场，看到球场的清晰程度取决于显示名单的透明 度。视频合成的透明度值可以预设置(如在软件视频通话功能的参数设置中 指定透明度值，可以指定不同类型的视频数据、图像文件或视频文件分别对 应不同透明度值等)，或者由用户在通话聊天中动态调整。在现有技术中，对 通话聊天的视频合成还没有采用透明度处理技术。本发明实施例通过在视频 合成中采用透明度处理技术，可以达到更好的视频通话聊天效果。
视频合成处理器也可以将由摄像头拍摄的视频数据和本地动态图像文件 (如动态GIF)利用透明度处理技术进行合成，得到视频数据源。视频流的播 放是映射在时间轴上的，通过将动态GIF按照时间轴解开，按照视频流的时 间轴同步合成到视频中，并且是各自按照一定百分比的透明度进行合成。动 态GIF是按照设置的时间间隔播放图片构建动画效果，其播放过程自然能够 落到时间轴上(例如0秒显示第一帧，持续到0.2秒显示第二帧...)，将该过 程与视频流进行合成，并且合成过程采用透明度处理。
视频合成处理器还可以将由摄像头拍摄的视频数据和本地视频文件利用 透明度处理技术进行合成，得到视频数据源。具体为按照时间轴，将两个视 频流进行合成，合成时采用透明度处理技术，例如设置本地视频文件以30％ 透明度合成到摄像头拍摄的视频数据中。
A4、将所述视频数据源进行传输。
视频合成处理器按上述过程采用透明度处理技术进行合成，并得到视频 数据源后，由转换过滤器进行压缩编码，并由渲染过滤器通过网络传输到视 频通信的目的终端。
请参阅图3，是本发明实施例二的视频通信方法流程图。实施例二在实施 例一的基础上，对合成过程中进一步采用了图像处理技术。图中步骤包括：
B1、获取视频数据；
由源过滤器采集摄像头拍摄的视频数据，再由视频合成处理器获取该视 频数据。
B2、获取图像文件或视频文件；
视频合成处理器获取本地静态图像文件、本地动态图像文件或本地视频 文件。
B3、将所述视频数据与所述图像文件或视频文件按比例进行透明度合成， 得到视频数据源；
视频合成处理器可以将由摄像头拍摄的视频数据和和本地静态图像文件 利用透明度处理技术进行合成，得到视频数据源。视频合成处理器也可以将 由摄像头拍摄的视频数据和本地动态图像文件利用透明度处理技术进行合 成，得到视频数据源。视频合成处理器还可以将由摄像头拍摄的视频数据和 本地视频文件利用透明度处理技术进行合成，得到视频数据源。
B4、对视频数据源进行图像处理；
视频合成处理器可以对视频数据源进行图像处理，即采用现有的普通图 像处理技术，例如图像处理软件PhotoShop中的模糊处理、镜像处理、锐化处 理等达到不同的图像效果。模糊处理也就是降低视频图像特定部分的相邻象 素的对比度，可用于细节的修饰。锐化处理是对视频图像特定部分进行清晰 处理，增加相邻象素的对比度。镜像处理则是对视频图像的位置、方向等方 面进行改变操作，而不改变对象的基本形状和特征。
B5、将视频数据源进行传输。
按上述过程采用透明度处理技术和图像处理技术进行处理，将得到的视 频数据源由转换过滤器进行压缩编码，并由渲染过滤器通过网络传输到视频 通信的目的终端。
需要说明的是，本实施例中所说的进行图像处理，主要是指对单张的图 像结果进行处理，可以是在利用透明度处理技术合成得到视频数据源后对视 频数据源进行图像处理，也可以在利用透明度处理技术合成得到视频数据源 前对摄像头拍摄的视频数据、本地静态图像文件、本地动态图像文件或本地 视频文件进行图像处理。
请参阅图4，是本发明实施例三的视频通信方法流程图。实施例三在实施 例二的基础上，对合成过程中进一步采用了脚本控制和控制码控制技术。图 中步骤包括：
C1、获取视频数据；
由源过滤器采集摄像头拍摄的视频数据，再由视频合成处理器获取该视 频数据。
C2、获取图像文件或视频文件；
视频合成处理器获取本地静态图像文件、本地动态图像文件或本地视频 文件。
C3、将所述视频数据与所述图像文件或视频文件按比例进行透明度合成， 得到视频数据源；
视频合成处理器可以将由摄像头拍摄的视频数据和和本地静态图像文件 利用透明度处理技术进行合成，得到视频数据源。视频合成处理器也可以将 由摄像头拍摄的视频数据和本地动态图像文件利用透明度处理技术进行合 成，得到视频数据源。视频合成处理器还可以将由摄像头拍摄的视频数据和 本地视频文件利用透明度处理技术进行合成，得到视频数据源。
C4、对视频数据源进行图像处理；
视频合成处理器可以视频数据源进行图像处理，即采用现有的普通图像 处理技术，例如PhotoShop中的模糊处理、镜像处理、锐化处理等达到不同的 图像效果。
C5、对视频数据源设置控制参数；
视频合成处理器可以设置动作操作码，让视频数据源携带简单的动作操 作码，例如携带上下震动操作码，这样目的终端接收视频数据源后，屏幕上 的视频窗口将上下震动；例如携带横向滑动操作码，这样目的终端接收视频 数据源后，屏幕上的视频窗口将从屏幕一边慢慢滑过屏幕到屏幕的另一边等。
视频合成处理器也可以设置脚本，让视频数据源携带比较复杂的脚本， 一般可直接利用操作系统的脚本运行能力(例如VBScript，JScript等)，通过 运行携带在视频数据源的脚本对视频窗口进行复杂控制，产生一些特殊效果。 所谓脚本，是指可以在机器设备上依靠解释器运行的一段文本，最典型的脚 本如常见的VBScript或者Jscript，就是依靠本机的解释器解释执行的。本发 明实施例所设置的脚本主要是结合视频通信的视频数据源进行一些特殊处 理，例如进行视频通信中，包括本地终端A和目的终端B，A发送给B的视 频数据源中设置了一段脚本，该脚本的功能是将B接收的A发送的视频在终 端进行保存等；或该段脚本的功能是控制B的屏幕将接收到的A发送的视频 全频播放一段时间等。
一般可利用但不限定在视频数据源的数据帧的每帧头部的自定义扩展字 段携带控制码或者控制脚本数据。对于视频数据源中携带的控制脚本，除了 常见的VBScript或JSCript，也可以使用其他任何可运行的控制方式，例如其 他脚本或者程序等。
另外需要说明的是，对视频数据源设置控制参数时，在实现的时候可以 考虑使用额外的传输通道传输控制参数，这样可以避免对原视频流传输协议 的影响。可以通过新的IP端口传输控制参数，例如本地终端A通过10000端 口向目的终端B发送视频数据源，通过10001端口向目的终端B发送控制参 数。
由于控制参数和视频数据源分开发送，因此控制参数在通过额外通道传 输的时候携带对视频数据源的标识信息，这种标识信息可以是针对视频数据 源的具体数据帧，即控制参数是对某个数据帧进行控制，标识信息也可以是 针对时间戳，即控制参数是对从某个时间点开始后的数据帧进行控制。这样 目的终端接收到控制参数和视频数据源后，就可以根据标识信息将控制参数 对应实施到视频数据源，以达到本地终端预期的控制效果。另外，使用额外 通道来传输控制参数，对于不支持接收额外通道控制参数的目的终端软件来 说，除了无法展现控制效果外，其他工作不受影响。
C6、将视频数据源进行传输。
视频合成处理器按上述过程采用透明度处理技术、图像处理技术和设置 控制参数进行处理后，将得到的视频数据源由转换过滤器进行压缩编码，并 由渲染过滤器通过网络传输到视频通信的目的终端。
另外，本发明实施例三提到的对视频数据源设置控制参数的过程，也可 以直接与实施例一的过程结合形成一个新的实施例，即新实施例没有加入实 施例二的图像处理过程，而是直接将实施例一的透明度处理和本实施例三提 到的对视频数据源设置控制参数的过程进行结合。同理，也可以直接将实施 例二的图像处理过程和实施例四的对视频数据源设置控制参数的过程结合形 成一个新的实施例。也就是说，上述实施例提到的透明度处理过程、图像处 理过程和对视频数据源设置控制参数的过程可任意组合进行使用。
还需要说明的是，上述实施例进行合成处理的过程，是以视频合成处理 器设置在本地终端进行合成举例说明，在实际应用中，也可以将视频合成处 理器设置在服务器，由服务器进行合成，或者将视频合成处理器设置在远端 的目的终端，由目的终端进行合成。当采用服务器合成时，用户将视频数据 和待合成数据分别提交到服务器，由服务器来完成合成过程，得到视频数据 源，也达到与上述实施例提供的方案一致的效果。当采用目的终端合成时， 本地终端将视频数据和待合成数据分别发送到目的收端，由目的终端来完成 合成过程，得到视频数据源，也达到与上述实施例提供的方案一致的效果。
上述内容详细介绍了本发明实施例提供的视频通信方法，相应的，本发 明实施例提供一种视频合成处理器。
请参阅图5，是本发明实施例视频合成处理器结构示意图。
该视频合成处理器包括获取单元100和合成处理单元200。
获取单元100，用于获取视频数据，并获取图像文件或视频文件。所说的 视频数据，是指由摄像头拍摄的视频数据；所说的图像文件或视频文件，包 括本地静态图像文件(如BMP，JPG等)、本地动态图像文件(如动态GIF) 或本地视频文件(如AVI，MPEG等)。
合成处理单元200，将所述视频数据与所述图像文件或视频文件按比例进 行透明度合成，得到视频数据源。
合成处理单元200可以将由摄像头拍摄的视频数据和和本地静态图像文 件利用透明度处理技术进行合成，得到视频数据源。
视频合成的透明度值是可以预设置(如在软件视频通话功能的参数设置 中指定透明度值，可以指定不同类型的视频数据、图像文件或视频文件分别 对应不同透明度值等)，或者根据用户要求在通话聊天中动态调整。
合成处理单元200也可以将由摄像头拍摄的视频数据和本地动态图像文 件(如动态GIF)利用透明度处理技术进行合成，得到视频数据源。视频流的 播放是映射在时间轴上的，通过将动态GIF按照时间轴解开，按照视频流的 时间轴同步合成到视频中，并且是各自按照一定百分比的透明度进行合成。
合成处理单元200还可以将由摄像头拍摄的视频数据和本地视频文件利 用透明度处理技术进行合成，得到视频数据源。具体为按照时间轴，将两个 视频流进行合成，合成时采用透明度处理技术，例如设置本地视频文件以30％ 透明度合成到摄像头拍摄的视频数据中。
视频合成处理器进一步包括图像处理单元300。
图像处理单元300，用于在合成处理单元200合成得到视频数据源之后对 视频数据源进行图像处理；或者在合成处理单元200合成得到视频数据源之 前对所述视频数据、所述图像文件或视频文件进行图像处理。这里所说的进 行图像处理，主要是指对单张的图像结果进行处理，可以采用现有的普通图 像处理技术，例如PhotoShop中的模糊处理、镜像处理、锐化处理等达到不同 的图像效果。
视频合成处理器进一步包括控制信息设置单元400。控制信息设置单元 400，用于设置控制参数，包括设置动作操作码或脚本，并添加到视频数据源 中，或者在设置动作操作码或脚本后，在动作操作码或脚本中添加对视频数 据源的标识信息并通过额外通道传输。
控制信息设置单元400设置动作操作码，让视频数据源携带简单的动作 操作码，例如携带上下震动操作码，这样目的终端接收视频数据源后，屏幕 上的视频窗口将上下震动；例如携带横向滑动操作码，这样目的终端接收视 频数据源后，屏幕上的视频窗口将从屏幕一边慢慢滑过屏幕到屏幕的另一边 等。
控制信息设置单元400可以设置脚本，让视频数据源携带比较复杂的脚 本，一般可直接利用操作系统的脚本运行能力(例如VBScript，JScript等)， 通过运行携带在视频数据源的脚本对视频窗口进行复杂控制，产生一些特殊 效果。例如视频数据源中设置一段脚本，该脚本的功能是将接收的视频数据 源在终端进行保存等；或该段脚本的功能是控制目的终端屏幕将接收到的视 频全频播放一段时间等。
一般可利用但不限定在视频数据源的数据帧的每帧头部的自定义扩展字 段携带控制码或者控制脚本数据。
控制信息设置单元400设置动作操作码或脚本后，也可以不由视频数据 源携带，而是使用额外的传输通道进行传输，这样可以避免对原视频流传输 协议的影响。例如可以通过新的IP端口传输动作操作码或脚本，假设本地终 端是通过10000端口向目的终端发送视频数据源，则控制信息设置单元400 可以通过10001端口向目的终端发送动作操作码或脚本。
由于控制参数(包括动作操作码或脚本)和视频数据源分开发送，因此控 制参数在通过额外通道传输的时候携带对视频数据源的标识信息，这种标识 信息可以是针对视频数据源的具体数据帧，即控制参数是对某个数据帧进行 控制，标识信息也可以是针对时间戳，即控制参数是对从某个时间点开始后 的数据帧进行控制。这样目的终端接收到控制参数和视频数据源后，就可以 根据标识信息将控制参数对应实施到视频数据源，以达到本地终端预期的控 制效果。
需要说明的是，图5所示的视频合成处理器，可以设置在进行视频通信 的本地终端，也可以设置在进行视频通信的目的终端，还可以设置在进行视 频通信的网络中的服务器上。也就是说，视频通信中，进行合成处理的过程 可以由本地终端进行合成，也可以由服务器进行合成，或者由目的终端进行 合成。因此，本发明实施例相应提供一种终端和服务器，该终端或服务器含 有图5所示的视频合成处理器，可以在视频通信中进行合成处理，从而为用 户提供更好的视频效果。
综上所述，本发明实施例的方案是将获取的视频数据与获取的图像文件 或视频文件按比例进行透明度合成，得到视频数据源，并将所述视频数据源 进行传输。因为本发明实施例方案在视频合成中采用了透明度处理技术，可 以将图像各自按照一定百分比的透明度进行叠加合成，形成一种特殊的视觉 效应，因此可以能提供更好的视频效果；
进一步的，本发明实施例得到视频数据源之后增加对视频数据源进行图 像处理过程；或者得到视频数据源之前增加对视频数据、图像文件或视频文 件进行图像处理过程，从而通过对单张的图像结果进行图像处理进一步提供 更好的视频效果；
更进一步的，本发明实施例可以对视频数据源设置控制参数，例如设置 动作操作码或脚本，并由视频数据源携带，或通过额外通道进行传输。通过 设置的动作操作码或脚本，可以对视频效果进行控制，例如设置了上下震动 操作码时，目的终端接收视频数据源后，屏幕上的视频窗口将上下震动，或 通过一段脚本控制目的终端屏幕将接收到的视频全频播放一段时间等。
更进一步的，本发明实施例方案提供的视频通信方法中，进行合成处理 的过程可以在本地终端进行合成，也可以由服务器进行合成，或者由远端的 目的终端进行合成，因此应用范围较广。
以上对本发明实施例所提供的一种视频通信方法、视频合成处理器、终 端及服务器进行了详细介绍，本文中应用了具体个例对本发明实施例的原理 及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明实施例 的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明实施 例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说 明书内容不应理解为对本发明实施例的限制。
请参阅图2，是本发明实施例一的视频通信方法流程图。实施例一在合成 过程中采用了透明度处理技术，视频合成处理器设置在本地终端中。图中步 骤包括：
A1、获取视频数据；
视频合成处理器获取由摄像头拍摄的视频数据。本发明实施例中可以使 用但不限于Microsofr的DirectShow体系框架，采用该体系框架时，由源过滤 器采集摄像头拍摄的视频数据，再由视频合成处理器获取该视频数据。
A2、获取图像文件或视频文件；
视频合成处理器获取本地静态图像文件(如BMP(Bitmap-File，位图图 形文件)、JPG(Joint Photographic Group，联合摄影组)等)、本地动态图像 文件(如动态GIF(Graphics Interchange Format，图形交换格式)或本地视频 文件(如AVI(Audio Video Interleave，音频视频交叉存取格式)、MPEG(Moving Picture Experts Group，运动图像专家组)等)。
A3、将所述视频数据与所述图像文件或视频文件按比例进行透明度合成， 得到视频数据源；
视频合成处理器可以将由摄像头拍摄的视频数据和和本地静态图像文件 利用透明度处理技术进行合成，得到视频数据源。所谓透明度处理，即将两 个或者多个图像各自按照一定百分比的透明度进行合成，例如将A图像按照 30％的透明度叠加在B图像上。举个形象的例子，就像电视屏幕上当几乎满 屏幕列出球赛队员名单的时候，对显示的名单采用透明度处理技术，观众仍 然能透过名单看到背后的球场，看到球场的清晰程度取决于显示名单的透明 度。视频合成的透明度值可以预设置(如在软件视频通话功能的参数设置中 指定透明度值，可以指定不同类型的视频数据、图像文件或视频文件分别对 应不同透明度值等)，或者由用户在通话聊天中动态调整。在现有技术中，对 通话聊天的视频合成还没有采用透明度处理技术。本发明实施例通过在视频 合成中采用透明度处理技术，可以达到更好的视频通话聊天效果。
视频合成处理器也可以将由摄像头拍摄的视频数据和本地动态图像文件 (如动态GIF)利用透明度处理技术进行合成，得到视频数据源。视频流的播 放是映射在时间轴上的，通过将动态GIF按照时间轴解开，按照视频流的时 间轴同步合成到视频中，并且是各自按照一定百分比的透明度进行合成。动 态GIF是按照设置的时间间隔播放图片构建动画效果，其播放过程自然能够 落到时间轴上(例如0秒显示第一帧，持续到0.2秒显示第二帧...)，将该过 程与视频流进行合成，并且合成过程采用透明度处理。
视频合成处理器还可以将由摄像头拍摄的视频数据和本地视频文件利用 透明度处理技术进行合成，得到视频数据源。具体为按照时间轴，将两个视 频流进行合成，合成时采用透明度处理技术，例如设置本地视频文件以30％ 透明度合成到摄像头拍摄的视频数据中。
A4、将所述视频数据源进行传输。
视频合成处理器按上述过程采用透明度处理技术进行合成，并得到视频 数据源后，由转换过滤器进行压缩编码，并由渲染过滤器通过网络传输到视 频通信的目的终端。
请参阅图3，是本发明实施例二的视频通信方法流程图。实施例二在实施 例一的基础上，对合成过程中进一步采用了图像处理技术。图中步骤包括：
B1、获取视频数据；
由源过滤器采集摄像头拍摄的视频数据，再由视频合成处理器获取该视 频数据。
B2、获取图像文件或视频文件；
视频合成处理器获取本地静态图像文件、本地动态图像文件或本地视频 文件。
B3、将所述视频数据与所述图像文件或视频文件按比例进行透明度合成， 得到视频数据源；
视频合成处理器可以将由摄像头拍摄的视频数据和和本地静态图像文件 利用透明度处理技术进行合成，得到视频数据源。视频合成处理器也可以将 由摄像头拍摄的视频数据和本地动态图像文件利用透明度处理技术进行合 成，得到视频数据源。视频合成处理器还可以将由摄像头拍摄的视频数据和 本地视频文件利用透明度处理技术进行合成，得到视频数据源。
B4、对视频数据源进行图像处理；
视频合成处理器可以对视频数据源进行图像处理，即采用现有的普通图 像处理技术，例如图像处理软件PhotoShop中的模糊处理、镜像处理、锐化处 理等达到不同的图像效果。模糊处理也就是降低视频图像特定部分的相邻象 素的对比度，可用于细节的修饰。锐化处理是对视频图像特定部分进行清晰 处理，增加相邻象素的对比度。镜像处理则是对视频图像的位置、方向等方 面进行改变操作，而不改变对象的基本形状和特征。
B5、将视频数据源进行传输。
按上述过程采用透明度处理技术和图像处理技术进行处理，将得到的视 频数据源由转换过滤器进行压缩编码，并由渲染过滤器通过网络传输到视频 通信的目的终端。
需要说明的是，本实施例中所说的进行图像处理，主要是指对单张的图 像结果进行处理，可以是在利用透明度处理技术合成得到视频数据源后对视 频数据源进行图像处理，也可以在利用透明度处理技术合成得到视频数据源 前对摄像头拍摄的视频数据、本地静态图像文件、本地动态图像文件或本地 视频文件进行图像处理。
请参阅图4，是本发明实施例三的视频通信方法流程图。实施例三在实施 例二的基础上，对合成过程中进一步采用了脚本控制和控制码控制技术。图 中步骤包括：
C1、获取视频数据；
由源过滤器采集摄像头拍摄的视频数据，再由视频合成处理器获取该视 频数据。
C2、获取图像文件或视频文件；
视频合成处理器获取本地静态图像文件、本地动态图像文件或本地视频 文件。
C3、将所述视频数据与所述图像文件或视频文件按比例进行透明度合成， 得到视频数据源；
视频合成处理器可以将由摄像头拍摄的视频数据和和本地静态图像文件 利用透明度处理技术进行合成，得到视频数据源。视频合成处理器也可以将 由摄像头拍摄的视频数据和本地动态图像文件利用透明度处理技术进行合 成，得到视频数据源。视频合成处理器还可以将由摄像头拍摄的视频数据和 本地视频文件利用透明度处理技术进行合成，得到视频数据源。
C4、对视频数据源进行图像处理；
视频合成处理器可以视频数据源进行图像处理，即采用现有的普通图像 处理技术，例如PhotoShop中的模糊处理、镜像处理、锐化处理等达到不同的 图像效果。
C5、对视频数据源设置控制参数；
视频合成处理器可以设置动作操作码，让视频数据源携带简单的动作操 作码，例如携带上下震动操作码，这样目的终端接收视频数据源后，屏幕上 的视频窗口将上下震动；例如携带横向滑动操作码，这样目的终端接收视频 数据源后，屏幕上的视频窗口将从屏幕一边慢慢滑过屏幕到屏幕的另一边等。
视频合成处理器也可以设置脚本，让视频数据源携带比较复杂的脚本， 一般可直接利用操作系统的脚本运行能力(例如VBScript，JScript等)，通过 运行携带在视频数据源的脚本对视频窗口进行复杂控制，产生一些特殊效果。 所谓脚本，是指可以在机器设备上依靠解释器运行的一段文本，最典型的脚 本如常见的VBScript或者Jscript，就是依靠本机的解释器解释执行的。本发 明实施例所设置的脚本主要是结合视频通信的视频数据源进行一些特殊处 理，例如进行视频通信中，包括本地终端A和目的终端B，A发送给B的视 频数据源中设置了一段脚本，该脚本的功能是将B接收的A发送的视频在终 端进行保存等；或该段脚本的功能是控制B的屏幕将接收到的A发送的视频 全频播放一段时间等。
一般可利用但不限定在视频数据源的数据帧的每帧头部的自定义扩展字 段携带控制码或者控制脚本数据。对于视频数据源中携带的控制脚本，除了 常见的VBScript或JSCript，也可以使用其他任何可运行的控制方式，例如其 他脚本或者程序等。
另外需要说明的是，对视频数据源设置控制参数时，在实现的时候可以 考虑使用额外的传输通道传输控制参数，这样可以避免对原视频流传输协议 的影响。可以通过新的IP端口传输控制参数，例如本地终端A通过10000端 口向目的终端B发送视频数据源，通过10001端口向目的终端B发送控制参 数。
由于控制参数和视频数据源分开发送，因此控制参数在通过额外通道传 输的时候携带对视频数据源的标识信息，这种标识信息可以是针对视频数据 源的具体数据帧，即控制参数是对某个数据帧进行控制，标识信息也可以是 针对时间戳，即控制参数是对从某个时间点开始后的数据帧进行控制。这样 目的终端接收到控制参数和视频数据源后，就可以根据标识信息将控制参数 对应实施到视频数据源，以达到本地终端预期的控制效果。另外，使用额外 通道来传输控制参数，对于不支持接收额外通道控制参数的目的终端软件来 说，除了无法展现控制效果外，其他工作不受影响。
C6、将视频数据源进行传输。
视频合成处理器按上述过程采用透明度处理技术、图像处理技术和设置 控制参数进行处理后，将得到的视频数据源由转换过滤器进行压缩编码，并 由渲染过滤器通过网络传输到视频通信的目的终端。
另外，本发明实施例三提到的对视频数据源设置控制参数的过程，也可 以直接与实施例一的过程结合形成一个新的实施例，即新实施例没有加入实 施例二的图像处理过程，而是直接将实施例一的透明度处理和本实施例三提 到的对视频数据源设置控制参数的过程进行结合。同理，也可以直接将实施 例二的图像处理过程和实施例四的对视频数据源设置控制参数的过程结合形 成一个新的实施例。也就是说，上述实施例提到的透明度处理过程、图像处 理过程和对视频数据源设置控制参数的过程可任意组合进行使用。
还需要说明的是，上述实施例进行合成处理的过程，是以视频合成处理 器设置在本地终端进行合成举例说明，在实际应用中，也可以将视频合成处 理器设置在服务器，由服务器进行合成，或者将视频合成处理器设置在远端 的目的终端，由目的终端进行合成。当采用服务器合成时，用户将视频数据 和待合成数据分别提交到服务器，由服务器来完成合成过程，得到视频数据 源，也达到与上述实施例提供的方案一致的效果。当采用目的终端合成时， 本地终端将视频数据和待合成数据分别发送到目的收端，由目的终端来完成 合成过程，得到视频数据源，也达到与上述实施例提供的方案一致的效果。
上述内容详细介绍了本发明实施例提供的视频通信方法，相应的，本发 明实施例提供一种视频合成处理器。
请参阅图5，是本发明实施例视频合成处理器结构示意图。
该视频合成处理器包括获取单元100和合成处理单元200。
获取单元100，用于获取视频数据，并获取图像文件或视频文件。所说的 视频数据，是指由摄像头拍摄的视频数据；所说的图像文件或视频文件，包 括本地静态图像文件(如BMP，JPG等)、本地动态图像文件(如动态GIF) 或本地视频文件(如AVI，MPEG等)。
合成处理单元200，将所述视频数据与所述图像文件或视频文件按比例进 行透明度合成，得到视频数据源。
合成处理单元200可以将由摄像头拍摄的视频数据和和本地静态图像文 件利用透明度处理技术进行合成，得到视频数据源。
视频合成的透明度值是可以预设置(如在软件视频通话功能的参数设置 中指定透明度值，可以指定不同类型的视频数据、图像文件或视频文件分别 对应不同透明度值等)，或者根据用户要求在通话聊天中动态调整。
合成处理单元200也可以将由摄像头拍摄的视频数据和本地动态图像文 件(如动态GIF)利用透明度处理技术进行合成，得到视频数据源。视频流的 播放是映射在时间轴上的，通过将动态GIF按照时间轴解开，按照视频流的 时间轴同步合成到视频中，并且是各自按照一定百分比的透明度进行合成。
合成处理单元200还可以将由摄像头拍摄的视频数据和本地视频文件利 用透明度处理技术进行合成，得到视频数据源。具体为按照时间轴，将两个 视频流进行合成，合成时采用透明度处理技术，例如设置本地视频文件以30％ 透明度合成到摄像头拍摄的视频数据中。
视频合成处理器进一步包括图像处理单元300。
图像处理单元300，用于在合成处理单元200合成得到视频数据源之后对 视频数据源进行图像处理；或者在合成处理单元200合成得到视频数据源之 前对所述视频数据、所述图像文件或视频文件进行图像处理。这里所说的进 行图像处理，主要是指对单张的图像结果进行处理，可以采用现有的普通图 像处理技术，例如PhotoShop中的模糊处理、镜像处理、锐化处理等达到不同 的图像效果。
视频合成处理器进一步包括控制信息设置单元400。控制信息设置单元 400，用于设置控制参数，包括设置动作操作码或脚本，并添加到视频数据源 中，或者在设置动作操作码或脚本后，在动作操作码或脚本中添加对视频数 据源的标识信息并通过额外通道传输。
控制信息设置单元400设置动作操作码，让视频数据源携带简单的动作 操作码，例如携带上下震动操作码，这样目的终端接收视频数据源后，屏幕 上的视频窗口将上下震动；例如携带横向滑动操作码，这样目的终端接收视 频数据源后，屏幕上的视频窗口将从屏幕一边慢慢滑过屏幕到屏幕的另一边 等。
控制信息设置单元400可以设置脚本，让视频数据源携带比较复杂的脚 本，一般可直接利用操作系统的脚本运行能力(例如VBScript，JScript等)， 通过运行携带在视频数据源的脚本对视频窗口进行复杂控制，产生一些特殊 效果。例如视频数据源中设置一段脚本，该脚本的功能是将接收的视频数据 源在终端进行保存等；或该段脚本的功能是控制目的终端屏幕将接收到的视 频全频播放一段时间等。
一般可利用但不限定在视频数据源的数据帧的每帧头部的自定义扩展字 段携带控制码或者控制脚本数据。
控制信息设置单元400设置动作操作码或脚本后，也可以不由视频数据 源携带，而是使用额外的传输通道进行传输，这样可以避免对原视频流传输 协议的影响。例如可以通过新的IP端口传输动作操作码或脚本，假设本地终 端是通过10000端口向目的终端发送视频数据源，则控制信息设置单元400 可以通过10001端口向目的终端发送动作操作码或脚本。
由于控制参数(包括动作操作码或脚本)和视频数据源分开发送，因此控 制参数在通过额外通道传输的时候携带对视频数据源的标识信息，这种标识 信息可以是针对视频数据源的具体数据帧，即控制参数是对某个数据帧进行 控制，标识信息也可以是针对时间戳，即控制参数是对从某个时间点开始后 的数据帧进行控制。这样目的终端接收到控制参数和视频数据源后，就可以 根据标识信息将控制参数对应实施到视频数据源，以达到本地终端预期的控 制效果。
需要说明的是，图5所示的视频合成处理器，可以设置在进行视频通信 的本地终端，也可以设置在进行视频通信的目的终端，还可以设置在进行视 频通信的网络中的服务器上。也就是说，视频通信中，进行合成处理的过程 可以由本地终端进行合成，也可以由服务器进行合成，或者由目的终端进行 合成。因此，本发明实施例相应提供一种终端和服务器，该终端或服务器含 有图5所示的视频合成处理器，可以在视频通信中进行合成处理，从而为用 户提供更好的视频效果。
综上所述，本发明实施例的方案是将获取的视频数据与获取的图像文件 或视频文件按比例进行透明度合成，得到视频数据源，并将所述视频数据源 进行传输。因为本发明实施例方案在视频合成中采用了透明度处理技术，可 以将图像各自按照一定百分比的透明度进行叠加合成，形成一种特殊的视觉 效应，因此可以能提供更好的视频效果；
进一步的，本发明实施例得到视频数据源之后增加对视频数据源进行图 像处理过程；或者得到视频数据源之前增加对视频数据、图像文件或视频文 件进行图像处理过程，从而通过对单张的图像结果进行图像处理进一步提供 更好的视频效果；
更进一步的，本发明实施例可以对视频数据源设置控制参数，例如设置 动作操作码或脚本，并由视频数据源携带，或通过额外通道进行传输。通过 设置的动作操作码或脚本，可以对视频效果进行控制，例如设置了上下震动 操作码时，目的终端接收视频数据源后，屏幕上的视频窗口将上下震动，或 通过一段脚本控制目的终端屏幕将接收到的视频全频播放一段时间等。
更进一步的，本发明实施例方案提供的视频通信方法中，进行合成处理 的过程可以在本地终端进行合成，也可以由服务器进行合成，或者由远端的 目的终端进行合成，因此应用范围较广。
以上对本发明实施例所提供的一种视频通信方法、视频合成处理器、终 端及服务器进行了详细介绍，本文中应用了具体个例对本发明实施例的原理 及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明实施例 的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明实施 例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说 明书内容不应理解为对本发明实施例的限制。