多媒体终端及多媒体终端的数据处理方法转让专利

申请号 : CN201611074143.2

文献号 : CN108124158B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 杨春晖王艳辉韩杰彭宇龙

申请人 : 视联动力信息技术股份有限公司

摘要 :

本发明提供一种多媒体终端和多媒体终端的数据处理方法,涉及视联网技术领域。该多媒体终端包括摄像头、至少一个采集编码芯片、至少一个媒体输入接口、至少一个媒体输出接口和解码模块,通过摄像头和媒体输入接口采集视频流并对其进行编码,由解码模块对编码后的视频流进行同时解码,并将解码后的视频流输出给媒体输出接口,该多媒体终端及多媒体终端的数据处理方法,提高了解码效率,实现了对多路视频流的同编同解。

权利要求 :

1.一种多媒体终端,其特征在于,包括:

摄像头、至少一个采集编码芯片、至少一个媒体输入接口、至少一个媒体输出接口和解码模块,其中,所述媒体输入接口、采集编码芯片的数量一致,

所述摄像头连接所述解码模块,用于采集视频流并输出第一视频信号;

所述采集编码芯片与所述解码模块连接,用于对媒体输入接口采集到的视频流进行编码,输出编码后的第二视频信号;所述第二视频信号至少为一路;

所述解码模块,用于对所述摄像头和所述媒体输入接口传输的第一视频信号和第二视频信号同时进行解码,并将解码后的视频信号传输至媒体输出接口;

所述解码模块包括解码芯片和CPU芯片;所述CPU芯片用于对所述第一视频信号和所述第二视频信号进行直接解码,或者,由所述CPU芯片分配解码芯片对所述第一视频信号和所述第二视频信号进行解码;所述多媒体终端还包括:第一网络接口和第二网络接口,所述第一网络接口连接所述摄像头,用于传输所述摄像头向所述解码模块输出的第一视频信号;所述第二网络接口连接所述解码模块,用于接收或发送视频信号。

2.根据权利要求1所述的多媒体终端,其特征在于,

所述摄像头包括采集编码芯片,用于对所述摄像头采集的视频流进行编码,并向所述解码模块输出编码后的第一视频信号。

3.根据权利要求2所述的多媒体终端,其特征在于,所述第二网络接口发送的视频信号包括第一视频信号、第二视频信号,所述第二网络接口接收的视频信号包括通过网络传输的第三视频信号,所述通过网络传输的第三视频信号至少为一路。

4.根据权利要求1所述的多媒体终端,其特征在于,所述解码模块的解码方式为1080P。

5.一种多媒体终端的数据处理方法,其特征在于,所述方法应用于视联网中的多媒体终端,所述多媒体终端包括如权利要求1至4任一所述的终端,所述方法包括:采用摄像头采集视频流,并输出第一视频信号;

采用采集编码芯片对媒体输入接口接收到的视频流进行编码,并输出第二视频信号;

所述媒体输入接口和采集编码芯片的数量一致;所述第二视频信号至少为一路;

所述解码模块将接收到的所述第一视频信号和第二视频信号同时解码之后发送至媒体输出接口;

其中,所述解码模块包括解码芯片和CPU芯片;采用所述CPU芯片对所述第一视频信号和所述第二视频信号进行直接解码,或者,采用由所述CPU芯片分配所述解码芯片对所述第一视频信号和所述第二视频信号进行解码;

所述解码模块将接收到的所述第一视频信号和第二视频信号同时解码之后发送至媒体输出接口的步骤之前,还包括:通过所述第一网络接口向所述解码模块传输所述摄像头输出的第一视频信号;

通过所述第二网络接口接收来自所述解码模块的视频信号,或,向所述解码模块发送视频信号。

6.根据权利要求5所述的方法,其特征在于,所述采用摄像头采集视频流,并输出第一视频信号的步骤,包括:采用所述摄像头中的采集编码芯片对采集到的视频流进行编码,并输出第一视频信号。

7.根据权利要求6所述的方法,其特征在于,所述第二网络接口发送的视频信号包括第一视频信号、第二视频信号,所述第二网络接口接收的视频信号包括通过网络传输的第三视频信号,所述通过网络传输的第三视频信号至少为一路。

8.根据权利要求7所述的方法,其特征在于,所述解码模块将接收到的所述第一视频信号和第二视频信号同时解码之后发送至媒体输出接口的步骤,包括:所述解码模块将接收到的所述第一视频信号、第二视频信号和第三视频信号同时解码之后发送至媒体输出接口,所述解码模块的解码方式为1080P。

说明书 :

多媒体终端及多媒体终端的数据处理方法

技术领域

[0001] 本发明涉及视联网技术领域,尤其涉及一种多媒体终端及多媒体终端的数据处理方法。

背景技术

[0002] 视频会议终端又称多媒体通信终端设备,是配合摄像头和麦克风采集视音频后,进行输入输出编解码处理,以及进行点对点、点对多传输的智能主机、中控设备。随着网络技术的发展,视频会议终端应用越来广泛,如可应用在视频会议、可视电话、发布直播、视频监控、远程培训等各个方面。
[0003] 目前,在视联网中,进行诸如视频会议、发布直播等场景中,使用的终端设备无法对采集到的视频流进行同时解码,解码效率较低,进而无法对视频流进行同编同解。

发明内容

[0004] 本发明提供一种多媒体终端及多媒体终端的数据处理方法,以解决现有技术中解码效率低,无法对视频流进行同编同解的问题。
[0005] 为解决上述问题,本发明提供了一种多媒体终端,所述多媒体终端包括:
[0006] 摄像头、至少一个采集编码芯片、至少一个媒体输入接口、至少一个媒体输出接口和解码模块,
[0007] 其中,所述媒体输入接口、采集编码芯片的数量一致,
[0008] 所述摄像头连接所述解码模块,用于采集视频流并输出第一视频信号;
[0009] 所述采集编码芯片与所述解码模块连接,用于对媒体输入接口采集到的视频流进行编码,输出编码后的第二视频信号;所述第二视频信号至少为一路。
[0010] 所述解码模块包括:用于对所述摄像头和所述媒体输入接口传输的第一视频信号和第二视频信号同时进行解码,并将解码后的视频信号传输至媒体输出接口。
[0011] 优选的,所述摄像头包括采集编码芯片,用于对所述摄像头采集的视频流进行编码,并向所述解码模块输出编码后的第一视频信号。
[0012] 优选的,所述多媒体终端还包括:第一网络接口和第二网络接口,[0013] 所述第一网络接口连接所述摄像头,用于传输所述摄像头向所述解码模块输出的第一视频信号;
[0014] 所述第二网络接口连接所述解码模块,用于接收或发送视频信号。
[0015] 优选的,所述第二网络接口发送的视频信号包括第一视频信号、第二视频信号,所述第二网络接口接收的视频信号包括通过网络传输的第三视频信号,所述通过网络传输的第三视频信号至少为一路。
[0016] 优选的,所述解码模块的解码方式为1080P。
[0017] 本发明还提供了一种多媒体终端的数据处理方法,所述方法应用于视联网中的多媒体终端,所述多媒体终端的数据处理方法包括:
[0018] 采用摄像头采集视频流,并输出第一视频信号;
[0019] 采用采集编码芯片对媒体输入接口接收到的视频流进行编码,并输出第二视频信号;所述媒体输入接口和采集编码芯片的数量一致;所述第二视频信号至少为一路;
[0020] 所述解码模块将接收到的所述第一视频信号和第二视频信号同时解码之后发送至媒体输出接口。
[0021] 优选的,所述采用摄像头采集视频流,并输出第一视频信号的步骤,包括:
[0022] 采用所述摄像头中的采集编码芯片对采集到的视频流进行编码,并输出第一视频信号。
[0023] 优选的,在所述解码模块将接收到的所述第一视频信号和第二视频信号同时解码之后发送至媒体输出接口的步骤之前,还包括:
[0024] 通过所述第一网络接口向所述解码模块传输所述摄像头输出的第一视频信号;
[0025] 通过所述第二网络接口接收来自所述解码模块的视频信号,或,向所述解码模块发送视频信号。
[0026] 优选的,所述第二网络接口发送的视频信号包括第一视频信号、第二视频信号,所述第二网络接口接收的视频信号包括通过网络传输的第三视频信号,所述通过网络传输的第三视频信号至少为一路。
[0027] 优选的,所述解码模块将接收到的所述第一视频信号和第二视频信号同时解码之后发送至媒体输出接口的步骤,包括;
[0028] 所述解码模块将接收到的所述第一视频信号、第二视频信号和第三视频信号同时解码之后发送至媒体输出接口,所述解码方式为1080P。
[0029] 与现有技术相比,本发明具有以下优点:
[0030] 本发明提供的一种多媒体终端,该多媒体终端包括摄像头、至少一个采集编码芯片、至少一个媒体输入接口、至少一个媒体输出接口和解码模块,通过摄像头和媒体输入接口采集视频流并对其进行编码,由解码模块对编码后的视频流进行同时解码,并将解码后的视频流输出给媒体输出接口,提高了解码效率,实现了对多路视频流的同编同解。该多媒体终端可应用的场景包括视频会议、可视电话、发布直播、视频监控、远程培训、通讯录等功能,同时也能够根据需求增加新的视联网业务应用。

附图说明

[0031] 为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0032] 图1是本发明实施例提供的一种视联网的组网示意图;
[0033] 图2是本发明实施例提供的一种节点服务器的硬件结构示意图;
[0034] 图3是本发明实施例提供的一种接入交换机的硬件结构示意图;
[0035] 图4是本发明实施例提供的一种以太网协转网关的硬件结构示意图;
[0036] 图5是本发明实施例提供的一种多媒体终端的结构示意图;
[0037] 图6是本发明实施例提供的一种多媒体终端的解码模块结构图;
[0038] 图7是本发明实施例提供的一种多媒体终端的数据处理方法的步骤流程图;
[0039] 图8是本发明实施例提供的一种多媒体终端的硬件结构示意图;
[0040] 图9是本发明实施例提供的一种多媒体终端的数据处理方法具体步骤流程图。

具体实施方式

[0041] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0042] 视联网是网络发展的重要里程碑,是一个实时网络,能够实现高清视频实时传输,将众多互联网应用推向高清视频化,高清面对面。
[0043] 视联网采用实时高清视频交换技术,可以在一个网络平台上将所需的服务,如高清视频会议、视频监控、智能化监控分析、应急指挥、数字广播电视、延时电视、网络教学、现场直播、VOD点播、电视邮件、个性录制(PVR)、内网(自办)频道、智能化视频播控、信息发布等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台,通过电视或电脑实现高清品质视频播放。
[0044] 需要说明的是,视联网不是基于IP协议的互联网,而是采用V2V视联网技术和协议、基于运营商专线构建的、全国范围覆盖到乡镇的、运营级的高清实时交换网络。V2V协议是在标准以太网基础上,为支持大规模视频交换而设计的应用于视频实时传输的交换式协议,是一种基于视联网架构的独立的协议。且视联网的协议属于一种私有的协议,而现有的一体化终端与视联网的协议不兼容,不能支持视联网所有功能,即现有的一体化终端不能应用在视联网中。本发明实施例中所提出的一体化终端可以通过遵循视联网的协议,支持视联网所有功能,以及兼容视联网的所有终端。
[0045] 为使本领域技术人员更好地理解本发明实施例,以下对视联网进行介绍:
[0046] 视联网所应用的部分技术如下所述:
[0047] 网络技术(Network Technology)
[0048] 视联网的网络技术创新改良了传统以太网(Ethernet),以面对网络上潜在的巨大视频流量。不同于单纯的网络分组包交换(Packet Switching)或网络电路交换(Circuit Switching),视联网技术采用Packet Switching满足Streaming需求。视联网技术具备分组交换的灵活、简单和低价,同时具备电路交换的品质和安全保证,实现了全网交换式虚拟电路,以及数据格式的无缝连接。
[0049] 交换技术(Switching Technology)
[0050] 视联网采用以太网的异步和包交换两个优点,在全兼容的前提下消除了以太网缺陷,具备全网端到端无缝连接,直通用户终端,直接承载IP数据包。用户数据在全网范围内不需任何格式转换。视联网是以太网的更高级形态,是一个实时交换平台,能够实现目前互联网无法实现的全网大规模高清视频实时传输,将众多网络视频应用推向高清化、统一化。
[0051] 服务器技术(Server Technology)
[0052] 视联网和统一视频平台上的服务器技术不同于传统意义上的服务器,它的流媒体传输是建立在面向连接的基础上,其数据处理能力与流量、通讯时间无关,单个网络层就能够包含信令及数据传输。对于语音和视频业务来说,视联网和统一视频平台流媒体处理的复杂度比数据处理简单许多,效率比传统服务器大大提高了百倍以上。
[0053] 储存器技术(Storage Technology)
[0054] 统一视频平台的超高速储存器技术为了适应超大容量和超大流量的媒体内容而采用了最先进的实时操作系统,将服务器指令中的节目信息映射到具体的硬盘空间,媒体内容不再经过服务器,瞬间直接送达到用户终端,用户等待一般时间小于0.2秒。最优化的扇区分布大大减少了硬盘磁头寻道的机械运动,资源消耗仅占同等级IP互联网的20%,但产生大于传统硬盘阵列3倍的并发流量,综合效率提升10倍以上。
[0055] 网络安全技术(Network Security Technology)
[0056] 视联网的结构性设计通过每次服务单独许可制、设备与用户数据完全隔离等方式从结构上彻底根除了困扰互联网的网络安全问题,一般不需要杀毒程序、防火墙,杜绝了黑客与病毒的攻击,为用户提供结构性的无忧安全网络。
[0057] 服务创新技术(Service Innovation Technology)
[0058] 统一视频平台将业务与传输融合在一起,不论是单个用户、私网用户还是一个网络的总合,都不过是一次自动连接。用户终端、机顶盒或PC直接连到统一视频平台,获得丰富多彩的各种形态的多媒体视频服务。统一视频平台采用“菜谱式”配表模式来替代传统的复杂应用编程,可以使用非常少的代码即可实现复杂的应用,实现“无限量”的新业务创新。
[0059] 视联网的组网如下所述:
[0060] 视联网是一种集中控制的网络结构,该网络可以是树型网、星型网、环状网等等类型,但在此基础上网络中需要有集中控制节点来控制整个网络。
[0061] 如图1所示,视联网分为接入网和城域网两部分。
[0062] 接入网部分的设备主要可以分为3类:节点服务器,接入交换机,终端(包括各种机顶盒、编码板、存储器等)。节点服务器与接入交换机相连,接入交换机可以与多个终端相连,并可以连接以太网。
[0063] 其中,节点服务器是接入网中起集中控制功能的节点,可控制接入交换机和终端。节点服务器可直接与接入交换机相连,也可以直接与终端相连。
[0064] 类似的,城域网部分的设备也可以分为3类:城域服务器,节点交换机,节点服务器。城域服务器与节点交换机相连,节点交换机可以与多个节点服务器相连。
[0065] 其中,节点服务器即为接入网部分的节点服务器,即节点服务器既属于接入网部分,又属于城域网部分。
[0066] 城域服务器是城域网中起集中控制功能的节点,可控制节点交换机和节点服务器。城域服务器可直接连接节点交换机,也可直接连接节点服务器。
[0067] 由此可见,整个视联网络是一种分层集中控制的网络结构,而节点服务器和城域服务器下控制的网络可以是树型、星型、环状等各种结构。
[0068] 形象地称,接入网部分可以组成统一视频平台(虚线圈中部分),多个统一视频平台可以组成视联网;每个统一视频平台可以通过城域以及广域视联网互联互通。
[0069] 视联网设备分类
[0070] 1.1本发明实施例的视联网中的设备主要可以分为3类:服务器,交换机(包括以太网网关),终端(包括各种机顶盒,编码板,存储器等)。视联网整体上可以分为城域网(或者国家网、全球网等)和接入网。
[0071] 1.2其中接入网部分的设备主要可以分为3类:节点服务器,接入交换机(包括以太网网关),终端(包括各种机顶盒,编码板,存储器等)。
[0072] 各接入网设备的具体硬件结构为:
[0073] 节点服务器:
[0074] 如图2所示,主要包括网络接口模块201、交换引擎模块202、CPU模块203、磁盘阵列模块204;
[0075] 其中,网络接口模块201,CPU模块203、磁盘阵列模块204进来的包均进入交换引擎模块202;交换引擎模块202对进来的包进行查地址表205的操作,从而获得包的导向信息;并根据包的导向信息把该包存入对应的包缓存器206的队列;如果包缓存器206的队列接近满,则丢弃;交换引擎模202轮询所有包缓存器队列,如果满足以下条件进行转发:1)该端口发送缓存未满;2)该队列包计数器大于零。磁盘阵列模块204主要实现对硬盘的控制,包括对硬盘的初始化、读写等操作;CPU模块203主要负责与接入交换机、终端(图中未示出)之间的协议处理,对地址表205(包括下行协议包地址表、上行协议包地址表、数据包地址表)的配置,以及,对磁盘阵列模块204的配置。
[0076] 接入交换机:
[0077] 如图3所示,主要包括网络接口模块(下行网络接口模块301、上行网络接口模块302)、交换引擎模块303和CPU模块304;
[0078] 其中,下行网络接口模块301进来的包(上行数据)进入包检测模块305;包检测模块305检测包的目地地址(DA)、源地址(SA)、数据包类型及包长度是否符合要求,如果符合,则分配相应的流标识符(stream-id),并进入交换引擎模块303,否则丢弃;上行网络接口模块302进来的包(下行数据)进入交换引擎模块303;CPU模块204进来的数据包进入交换引擎模块303;交换引擎模块303对进来的包进行查地址表306的操作,从而获得包的导向信息;如果进入交换引擎模块303的包是下行网络接口往上行网络接口去的,则结合流标识符(stream-id)把该包存入对应的包缓存器307的队列;如果该包缓存器307的队列接近满,则丢弃;如果进入交换引擎模块303的包不是下行网络接口往上行网络接口去的,则根据包的导向信息,把该数据包存入对应的包缓存器307的队列;如果该包缓存器307的队列接近满,则丢弃。
[0079] 交换引擎模块303轮询所有包缓存器队列,在本发明实施例中分两种情形:
[0080] 如果该队列是下行网络接口往上行网络接口去的,则满足以下条件进行转发:1)该端口发送缓存未满;2)该队列包计数器大于零;3)获得码率控制模块产生的令牌;
[0081] 如果该队列不是下行网络接口往上行网络接口去的,则满足以下条件进行转发:1)该端口发送缓存未满;2)该队列包计数器大于零。
[0082] 码率控制模块208是由CPU模块204来配置的,在可编程的间隔内对所有下行网络接口往上行网络接口去的包缓存器队列产生令牌,用以控制上行转发的码率。
[0083] CPU模块304主要负责与节点服务器之间的协议处理,对地址表306的配置,以及,对码率控制模块308的配置。
[0084] 以太网协转网关:
[0085] 如图4所示,主要包括网络接口模块(下行网络接口模块401、上行网络接口模块402)、交换引擎模块403、CPU模块404、包检测模块405、码率控制模块408、地址表406、包缓存器407和MAC添加模块409、MAC删除模块410。
[0086] 其中,下行网络接口模块401进来的数据包进入包检测模块405;包检测模块405检测数据包的以太网MAC DA、以太网MAC SA、以太网length or frame type、视联网目地地址DA、视联网源地址SA、视联网数据包类型及包长度是否符合要求,如果符合则分配相应的流标识符(stream-id);然后,由MAC删除模块410减去MAC DA、MAC SA、length or frame type(2byte),并进入相应的接收缓存,否则丢弃;
[0087] 下行网络接口模块401检测该端口的发送缓存,如果有包则根据包的视联网目地地址DA获知对应的终端的以太网MAC DA,添加终端的以太网MAC DA、以太网协转网关的MAC SA、以太网length or frame type,并发送。
[0088] 以太网协转网关中其他模块的功能与接入交换机类似。
[0089] 终端:
[0090] 主要包括网络接口模块、业务处理模块和CPU模块;例如,机顶盒主要包括网络接口模块、视音频编解码引擎模块、CPU模块;编码板主要包括网络接口模块、视音频编码引擎模块、CPU模块;存储器主要包括网络接口模块、CPU模块和磁盘阵列模块。
[0091] 1.3城域网部分的设备主要可以分为2类:节点服务器,节点交换机,城域服务器。其中,节点交换机主要包括网络接口模块、交换引擎模块和CPU模块;城域服务器主要包括网络接口模块、交换引擎模块和CPU模块构成。
[0092] 2、视联网数据包定义
[0093] 2.1接入网数据包定义
[0094] 接入网的数据包主要包括以下几部分:目的地址(DA)、源地址(SA)、保留字节、payload(PDU)、CRC。
[0095] 如下表所示,接入网的数据包主要包括以下几部分:
[0096]DA SA Reserved Payload CRC
[0097] 其中:
[0098] 目的地址(DA)由8个字节(byte)组成,第一个字节表示数据包的类型(例如各种协议包、组播数据包、单播数据包等),最多有256种可能,第二字节到第六字节为城域网地址,第七、第八字节为接入网地址;
[0099] 源地址(SA)也是由8个字节(byte)组成,定义与目的地址(DA)相同;
[0100] 保留字节由2个字节组成;
[0101] payload部分根据不同的数据报的类型有不同的长度,如果是各种协议包的话是64个字节,如果是单组播数据包话是32+1024=1056个字节,当然并不仅仅限于以上2种;
[0102] CRC有4个字节组成,其计算方法遵循标准的以太网CRC算法。
[0103] 2.2城域网数据包定义
[0104] 城域网的拓扑是图型,两个设备之间可能有2种、甚至2种以上的连接,即节点交换机和节点服务器、节点交换机和节点交换机、节点交换机和节点服务器之间都可能超过2种连接。但是,城域网设备的城域网地址却是唯一的,为了精确描述城域网设备之间的连接关系,在本发明实施例中引入参数:标签,来唯一描述一个城域网设备。
[0105] 本说明书中标签的定义和MPLS(Multi-Protocol Label Switch,多协议标签交换)的标签的定义类似,假设设备A和设备B之间有两个连接,那么数据包从设备A到设备B就有2个标签,数据包从设备B到设备A也有2个标签。标签分入标签、出标签,假设数据包进入设备A的标签(入标签)是0x0000,这个数据包离开设备A时的标签(出标签)可能就变成了0x0001。城域网的入网流程是集中控制下的入网过程,也就意味着城域网的地址分配、标签分配都是由城域服务器主导的,节点交换机、节点服务器都是被动的执行而已,这一点与MPLS的标签分配是不同的,MPLS的标签分配是交换机、服务器互相协商的结果。
[0106] 如下表所示,城域网的数据包主要包括以下几部分:
[0107]DA SA Reserved 标签 Payload CRC
[0108] 即目的地址(DA)、源地址(SA)、保留字节(Reserved)、标签、payload(PDU)、CRC。其中,标签的格式可以参考如下定义:标签是32bit,其中高16bit保留,只用低16bit,它的位置是在数据包的保留字节和payload之间。
[0109] 基于视联网的上述特性,提出了本发明实施例的核心构思之一,将摄像头集成到应用于视联网的视频会议终端中,形成应用于视联网的多媒体终端,从而解决现有视联网中的视频会议终端与摄像头设备分开安装所导致的安装不方便的问题。
[0110] 参照图5,示出了本发明实施例提供的一种多媒体终端的结构示意图。
[0111] 本发明提供的一种多媒体终端可以应用于视联网中,具体可以包括:摄像头51、媒体输入接口52、采集编码芯片53、解码模块54和媒体输出接口55。
[0112] 其中,摄像头51与解码模块54连接,该摄像头51用于采集视频流并输出第一视频信号;采集编码芯片53与解码模块54连接,用于对媒体输入接口52采集到的视频流进行编码,输出编码后的第二视频信号,第二视频信号至少为一路。
[0113] 需要说明的是,本发明实施例提供的多媒体终端可以按照视频编码标准配置采集编码芯片和解码模块,以支持该视频编码标准的编解码,如多媒体终端可以采用支持H.264-HP的编解码模块作为该多媒体终端中的采集编码芯片和解码模块,从而可以支持H.264-HP编解码。其中,H.264-HP编解码是一种视频编码标准。本发明实施例对多媒体终端所采用的芯片类型不作限制。第一视频信号和第二视频信号可以为1080P格式。
[0114] 该解码模块54与采集编码芯片53和摄像头51连接,用于对摄像头51和媒体输入接口52传输的第一视频信号和第二视频信号同时进行解码,并将解码后的视频信号传输至媒体输出接口55。
[0115] 需要说明的是,在本发明实施例中,采集编码芯片和媒体输入接口的数量一致,且至少为一个,最多为三个,本发明实施例对此不作限定。当采集编码芯片和媒体输入接口的数量为多个时,每个采集编码芯片都与对应的媒体输入接口连接,用于对媒体输入接口采集到的视频流进行编码,输出编码后的第二视频信号。采集编码芯片和媒体输入接口的数量取决于解码模块的解码能力。优选的,本发明实施例提供的一种多媒体终端的采集编码芯片和媒体输入接口的数量可以为两个,同时具有两个媒体输出接口,可支持三路编解码同时进行,满足小型视频会议需求。
[0116] 在本发明实施例中,参照图6,上述解码模块54应用于多媒体终端,可以支持多路视频流同时解码,该解码模块54可以包括解码芯片541和CPU芯片542,其中,CPU芯片542具有3路1080P视频流解码能力,解码芯片541可以对一路视频流进行解码。
[0117] 在本发明实施例中,多媒体终端通过摄像头54采集视频流并输出第一视频信号至CPU芯片542,通过至少一个媒体输入接口52采集1至2路视频流并输出第二视频信号至CPU芯片542,第二视频信号至少为一路;多媒体终端的本地输出显示则通过CPU芯片542对第一视频信号和第二视频信号进行直接解码,或由CPU芯片542分配解码芯片541对第一视频信号和第二视频信号进行解码。通过CPU芯片542进行直接解码后即可通过CPU芯片542对应的媒体输出接口55输出,视频流通过CPU芯片542分配解码芯片541进行解码后,通过解码芯片541对应的媒体输出接口55输出。
[0118] 需要说明的是,在本发明实施例中,当第二视频信号为一路时,多媒体终端的本地输出显示通过CPU芯片542对第一视频信号和第二视频信号进行直接解码,并将解码后的视频流输出给CPU芯片542对应的媒体输出接口55;当第二视频信号为两路时,多媒体终端的本地输出显示既可以通过CPU芯片542对第一视频信号和第二视频信号进行直接解码,也可以由CPU芯片542分配解码芯片541对第一视频信号和第二视频信号进行解码,并将解码后的视频流通过CPU芯片542和解码芯片541对应的媒体输出接口55输出。
[0119] 示例的,本发明实施例提供的多媒体终端可以支持发布直播和视频会议等功能,包括:
[0120] 在支持两路媒体输入输出接口的多媒体终端中,当需要发布视频直播时,可以通过摄像头采集一路直播视频流,并将视频流传输至媒体输出接口输出给视频观看者,同时,也可以通过媒体输入接口采集两路视频流,并将这两路视频流编码后由媒体输出接口输出给观看者,这两路视频流可以与摄像头采集的直播视频流同屏播放,也可以由遥控控制器切换播放任一一路视频流。该两路视频流一般可以为辅助直播者直播的其他画面,例如:教程画面,影音画面等。需要说明的是,该多媒体终端通过摄像头和媒体输入接口采集到的视频流经过解码模块格式转换后,可以上传给视联网服务器,该格式转换以便视联网服务器内的其他终端下载观看。需要说明的是,视频流经过解码模块格式转换方式可以为H.264-HP格式转换,即将编码芯片编码后的视频流通过CPU芯片转换为H.264-HP格式并上传至视联网服务器。
[0121] 在支持两路媒体输入输出接口的多媒体终端中,当需要发布视频会议时,可以通过从视联网服务器下载一路或多路视频流,并将视频流输入解码模块解码,将解码后的视频流通过媒体输出接口输出给会议参与人员,输出的视频流可以为两路或多路合屏的高清图像。
[0122] 综上所述,本发明实施例提供的一种多媒体终端,该多媒体终端包括摄像头、至少一个采集编码芯片、至少一个媒体输入接口、至少一个媒体输出接口和解码模块,通过摄像头和媒体输入接口采集视频流并对其进行编码,由解码模块对编码后的视频流进行同时解码,并将解码后的视频流输出给媒体输出接口,提高了解码效率,实现了对多路视频流的同编同解。该多媒体终端可应用的场景包括视频会议、可视电话、发布直播、视频监控、远程培训、通讯录等功能,同时也能够根据需求增加新的视联网业务应用。
[0123] 参照图7,示出了本发明提供的一种多媒体终端的数据处理方法实施例的步骤流程图,具体可以包括如下步骤:
[0124] 步骤S601,采用摄像头采集视频流,并输出第一视频信号。
[0125] 在该步骤中,摄像头可以采集一路视频流,并输出为第一视频信号,该第一视频信号可以为1080P高清视频。
[0126] 步骤S602,采用采集编码芯片对媒体输入接口接收到的视频流进行编码,并输出第二视频信号。
[0127] 在该步骤中,采集编码芯片与媒体输入接口相连接且数量相等,因此可以采用采集编码芯片对媒体输入接口接收到的视频流进行编码,以生成编码后的第二视频信号并进行传输。
[0128] 步骤S603,解码模块将接收到的第一视频信号和第二视频信号同时解码之后发送至媒体输出接口。
[0129] 在该步骤中,多媒体终端通过摄像头采集视频流并输出第一视频信号至解码模块包括的CPU芯片,通过至少一个媒体输入接口采集1至2路视频流并输出第二视频信号至CPU芯片,第二视频信号至少为一路;多媒体终端的本地输出显示则通过CPU芯片对第一视频信号和第二视频信号进行直接解码,或由CPU芯片分配解码芯片对第一视频信号和第二视频信号进行解码。通过CPU芯片进行直接解码后即可通过CPU芯片对应的媒体输出接口输出,通过CPU芯片分配解码芯片进行解码后,通过解码芯片对应的媒体输出接口输出。
[0130] 需要说明的是,在本发明实施例中,当第二视频信号为一路时,多媒体终端的本地输出显示通过CPU芯片对第一视频信号和第二视频信号进行直接解码,并将解码后的视频流输出给CPU芯片对应的媒体输出接口;当第二视频信号为两路时,多媒体终端的本地输出显示既可以通过CPU芯片对第一视频信号和第二视频信号进行直接解码,也可以由CPU芯片分配解码芯片对第一视频信号和第二视频信号进行解码,并将解码后的视频流通过CPU芯片和解码芯片对应的媒体输出接口输出。解码模块对视频流的解码过程是同时进行的,从而实现了多媒体终端对视频流的同编同解。
[0131] 综上所述,本发明实施例提供的一种多媒体终端的数据处理方法,该多媒体终端包括摄像头、至少一个采集编码芯片、至少一个媒体输入接口、至少一个媒体输出接口和解码模块,通过摄像头和媒体输入接口采集视频流并对其进行编码,由解码模块对编码后的视频流进行同时解码,并将解码后的视频流输出给媒体输出接口,提高了解码效率,实现了对多路视频流的同编同解。该多媒体终端可应用的场景包括视频会议、可视电话、发布直播、视频监控、远程培训、通讯录等功能,同时也能够根据需求增加新的视联网业务应用。
[0132] 本发明的一个实施例中,多媒体终端的摄像头还可以包括:采集编码芯片,该采集编码芯片内置于摄像头中,用于对摄像头采集的视频流进行编码,并向解码模块输出编码后的第一视频信号,从而不用设置额外的采集编码芯片连接摄像头,节约了制造成本。
[0133] 因此,上述通过采用摄像头采集视频流,并输出第一视频信号的步骤还可以包括:采用摄像头中的采集编码芯片对采集到的视频流进行编码,并输出第一视频信号。
[0134] 参照图8,示出了本发明一个具体实施例中的多媒体终端的硬件结构示意图。其中媒体输入接口、采集编码芯片和媒体输出接口的数量为两个。
[0135] 在本发明的一个可选实施例中,多媒体终端还可以包括:第一网络接口和第二网络接口,需要说明的是,网络接口可以为RJ45接口,RJ45是布线系统中信息插座(即通信引出端)连接器的一种,该连接器由插头和插座组成,插头有8个凹槽和8个触点。其中,外文字母RJ是英文Registered Jack的缩写,可以用于表征注册的插座。
[0136] 多媒体终端通过网络接口来接收或发送视频信号,例如采用网络接口来接收或发送视频流。其中第一网络接口与摄像头连接,用于传输摄像头向解码模块输出的第一视频信号;第二网络接口与解码模块连接,用于接收或发送视频信号,进一步的,第二网络接口发送的视频信号包括第一视频信号、第二视频信号,第二网络接口接收的视频信号包括通过网络传输的第三视频信号,通过网络传输的第三视频信号至少为一路,最多为三路。
[0137] 需要说明的是,通过网络传输的第三视频信号可以为从视联网服务器下载的视频流信号,解码模块在接收到第三视频信号后对其进行解码并发送至媒体输出接口,通过将多媒体终端与视联网连接,可以使视联网中的多个终端进行资源共享,大大增强了多媒体终端的适用性。
[0138] 在本发明实施例中,解码模块应用于多媒体终端,可以支持多路视频流同时解码,该解码模块可以包括解码芯片和CPU芯片,其中,CPU芯片具有3路1080P视频流解码能力,解码芯片可以对一路视频流进行解码,因为CPU芯片只有一个HDMI OUT输出接口,所以需要配合解码芯片进行2路的HDMI输出
[0139] 在诸如网络会议等应用场景中,多媒体终端通常可以通过网络接口接收到其他终端的发过来的视频流,如可以在监控时通过该网络接口接收到监控对应的视频流,也可以接收到网络流,本发明实施例对此不作限制。
[0140] 在本发明的一个可选实施例中,解码模块的解码方式为1080P,以便能够解码摄像头采集到的1080P高清视频流或解码媒体输入接口输入的1080P高清视频流。
[0141] 需要说明的是,两个媒体输入接口HDMI IN(High Definition Multimedia Interface,HDMI)对应连接的两个采集编码芯片可以对媒体输入接口采集的两路视频流进行编码,两路视频流分别经过编码后,输出给解码模块,经过解码模块解码后的视频流输出给媒体输出接口HDMI OUT,通过HDMI OUT输出两路或多路合屏的图像。
[0142] 多媒体终端通过媒体输入接口接收或者采集的视频流经过采集编码芯片后,发送至媒体输出口,因此在进行视频会议或者发布直播等应用场景中,使用多媒体终端即可实现视频会议、发布直播等场景。由于多媒体终端支持1080P的编解码方式,可以提高在以上场景中使用时的视频清晰度,且多媒体终端的解码模块能够同时对多路视频流进行解码,多媒体终端的本地输出显示既可以通过CPU芯片对多路视频流进行直接解码,也可以由CPU芯片分配解码芯片对多路视频流进行解码,并将解码后的多路视频流通过CPU芯片和解码芯片对应的媒体输出接口输出,实现了多媒体终端对多路视频流的同编同解。该多媒体终端可应用的场景包括视频会议、可视电话、发布直播、视频监控、远程培训、通讯录等功能,同时也能够根据需求增加新的视联网业务应用。
[0143] 在本发明实施例中,多媒体终端的摄像头可以使用500万像素高品质(High Definition,HD)互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)传感器对图像进行采集,并具有编解码的功能;HDMI IN可以将直接接收到的视频流作为其所采集到的视频流,以将接收到的视频流传输至与其连接的采集编码芯片中进行编码。
[0144] 需要说明的是,1080P是一种视频显示格式,外语字母P可以用于表示逐行扫描(Progressive Scan),数字1080可以用于表示水平方向有1080条水平扫描线;帧率通常为60赫兹(HZ),可以标示在P后面,如1080P60可以表示每秒60帧,1080P30可以表示每秒30帧。
本发明实施例也可以接收或采集其他视频显示格式的视频流,如2160P、1080I等视频显示格式的视频流,本发明实施例对此不作具体限制。其中,外语字母I用于表示采用交错式扫描视频显示方式(Interlaced Scan)。
[0145] 本发明具体示例可以将摄像头通过第二网口连接到视联网终端内。上述摄像头具有编码的功能,且多媒体终端通过采集编码芯片实现了1080P双流编解码,同时能够实现以路或多路视频流的合屏输出,由于该装置支持1080P的解码功能,则能够实现对视频流的同编同解。因此能够在进行发布直播或者视频会议、可视电话等功能时提高视频清晰度,满足用户使用的需求。
[0146] 在具体实现中,视频会议终端通常可以分为硬件终端和软终端;硬件终端一般是指针对前端视频、音频、数据进行采集和编码过程,并实现网络传输的硬件设备;软终端通常是指在个人计算机(Personal Computer,PC)用计算机语言编译的软件终端,在PC机器上安装后,通过网络,可实现与其他终端通信,其中,其他终端又称远端设备,可以包括其他在线的软硬终端。
[0147] 参照图9,示出了本发明提供的一种多媒体终端的数据处理方法实施例的具体步骤流程图,该方法可以应用与图8所示的一种多媒体终端,具体可以包括如下步骤:
[0148] 步骤S701,采用摄像头中的采集编码芯片对采集到的视频流进行编码,并输出第一视频信号。
[0149] 在该步骤中,采集编码芯片内置于摄像头中,用于对摄像头采集的视频流进行编码,并向解码模块输出编码后的第一视频信号,从而不用设置额外的采集编码芯片连接摄像头,节约了制造成本。
[0150] 步骤S702,采用采集编码芯片对媒体输入接口接收到的视频流进行编码,并输出第二视频信号。
[0151] 该步骤具体可参照步骤S602,此处不再赘述。
[0152] 步骤S703,通过第一网络接口向解码模块传输摄像头输出的第一视频信号;通过第二网络接口接收来自解码模块的视频信号,或,向解码模块发送视频信号。
[0153] 在该步骤中,第二网络接口发送的视频信号包括第一视频信号、第二视频信号,第二网络接口接收的视频信号包括通过网络传输的第三视频信号,该通过网络传输的第三视频信号至少为一路,最多为三路。
[0154] 步骤S704,解码模块将接收到的第一视频信号、第二视频信号和第三视频信号同时解码之后发送至媒体输出接口。
[0155] 在该步骤中,解码模块的解码方式为1080P。
[0156] 综上所述,本发明实施例提供的一种多媒体终端及多媒体终端的数据处理方法,该多媒体终端包括摄像头、至少一个采集编码芯片、至少一个媒体输入接口、至少一个媒体输出接口和解码模块,通过摄像头和媒体输入接口采集视频流并对其进行编码,由解码模块对编码后的视频流进行同时解码,并将解码后的视频流输出给媒体输出接口,提高了解码效率,实现了对多路视频流的同编同解。该多媒体终端可应用的场景包括视频会议、可视电话、发布直播、视频监控、远程培训、通讯录等功能,同时也能够根据需求增加新的视联网业务应用。
[0157] 本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
[0158] 本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0159] 本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0160] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0161] 这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0162] 尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0163] 最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0164] 以上对本发明所提供的一种多媒体终端和一种多媒体终端的数据处理方法,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。