多路数据流同步方法及多路数据流同步的逐级传输系统转让专利
申请号 : CN201910909907.2
文献号 : CN112564837B
文献日 : 2022-05-06
发明人 : 黄凡夫 , 辛安民
申请人 : 杭州海康威视数字技术股份有限公司
摘要 :
权利要求 :
1.一种多路数据流同步方法,其特征在于,应用于转发设备,所述方法包括:接收各采集设备分别发送的至少一路数据流以及各路数据流的第一时间信令,其中,任一路数据流的第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳;
在接收到合成指令时,将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二时间戳;
针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻;
将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备,以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳,分别计算所述各路合成数据流的第三采集时刻,并基于所述各路合成数据流的第三采集时刻,同步所述各路合成数据流,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。
2.根据权利要求1所述的方法,其特征在于,所述各路数据流的第一时间信令是所述各采集设备周期性发送的;
所述针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻,包括:
针对所述各路合成数据流,读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令;
根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻。
3.根据权利要求2所述的方法,其特征在于,所述根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻,包括:计算该路合成数据流对应的第二时间戳与所述最新收到的第一时间信令中第一时间戳的差值;
根据所述差值、所述最新收到的第一时间信令中的第一采集时刻以及系统时钟,计算得到该路合成数据流的第二采集时刻。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:在接收到转发指令时,将所述各路数据流以及所述各路数据流的第一时间信令转发至所述同步设备。
5.根据权利要求1所述的方法,其特征在于,所述合成指令包括指定数据流的类型标识;
所述将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,包括:
根据所述类型标识,将所述各采集设备发送的具有所述类型标识的指定数据流合成为合成数据流;
所述将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备,包括:
将合成得到的各路合成数据流及所述各路合成数据流的第二时间信令发送至同步设备,并且,将未进行合成处理的各路数据流及所述各路数据流的第一时间信令发送至所述同步设备。
6.根据权利要求1‑5任一项所述的方法,其特征在于,所述第一时间信令和所述第二时间信令为实时传输控制协议RTCP中的发送段报告SR信令。
7.一种多路数据流同步方法,其特征在于,应用于同步设备,所述方法包括:接收转发设备发送的各路合成数据流以及所述各路合成数据流的第二时间信令,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流的合成时刻对应的第二时间戳;其中,所述第二时间戳由所述转发设备通过以下方式获得:所述转发设备在接收到合成指令时,将各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二时间戳;所述第二采集时刻由所述转发设备通过如下方式换算得到:所述转发设备针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳换算得到的第二采集时刻;所述第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳;
获得接收到所述各路合成数据流的第三时间戳;
根据所述各路合成数据流的第二时间信令及第三时间戳,分别计算所述各路合成数据流的第三采集时刻;
基于所述各路合成数据流的第三采集时刻,同步所述各路合成数据流。
8.根据权利要求7所述的方法,其特征在于,所述根据所述各路合成数据流的第二时间信令及第三时间戳,分别计算所述各路合成数据流的第三采集时刻,包括:针对所述各路合成数据流,计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值;
根据所述差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟,计算得到该路合成数据流的第三采集时刻。
9.根据权利要求7所述的方法,其特征在于,所述第二时间信令为RTCP中的SR信令。
10.一种多路数据流同步方法,其特征在于,应用于采集设备,所述方法包括:采集不同类型数据;
以多路数据流的形式分别发送所述不同类型数据至接收端设备,并发送各路数据流的第一时间信令至所述接收端设备,以使所述接收端设备基于所述各路数据流的第一时间信令,同步所述各路数据流,其中,任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳;其中,所述接收端设备基于所述各路数据流的第一时间信令,同步所述各路数据流包括:在接收到合成指令时,将各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二时间戳;
针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据对应的第二时间戳,换算得到该路合成数据流的第二采集时刻;
将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备,以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳,分别计算所述各路合成数据流的第三采集时刻,并基于所述各路合成数据流的第三采集时刻,同步所述各路合成数据流,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。
11.根据权利要求10所述的方法,其特征在于,所述发送各路数据流的第一时间信令,包括:
按照预设周期,发送各路数据流的第一时间信令。
12.根据权利要求10所述的方法,其特征在于,所述多路数据流包括视频流、音频流和辅数据流;
所述以多路数据流的形式分别发送所述不同类型数据至接收端设备,并发送各路数据流的第一时间信令至所述接收端设备,包括:发送所述视频流、所述音频流及所述辅数据流至接收端设备,并发送所述视频流、所述音频流及所述辅数据流的第一时间信令至所述接收端设备,以使所述接收端设备基于所述视频流、所述音频流及所述辅数据流的第一时间信令,同步所述视频流、所述音频流和所述辅数据流。
13.根据权利要求10‑12任一项所述的方法,其特征在于,所述第一时间信令为RTCP中的SR信令。
14.一种多路数据流同步装置,其特征在于,应用于转发设备,所述装置包括:接收模块,用于接收各采集设备分别发送的至少一路数据流以及各路数据流的第一时间信令,其中,任一路数据流的第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳;
合成模块,用于在接收到合成指令时,将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二时间戳;
计算模块,用于针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻;
发送模块,用于将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备,以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳,分别计算所述各路合成数据流的第三采集时刻,并基于所述各路合成数据流的第三采集时刻,同步所述各路合成数据流,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。
15.一种多路数据流同步装置,其特征在于,应用于同步设备,所述装置包括:接收模块,用于接收转发设备发送的各路合成数据流以及所述各路合成数据流的第二时间信令,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流的合成时刻对应的第二时间戳;
获得模块,用于获得接收到所述各路合成数据流的第三时间戳;
计算模块,用于根据所述各路合成数据流的第二时间信令及第三时间戳,分别计算所述各路合成数据流的第三采集时刻;
同步模块,用于基于所述各路合成数据流的第三采集时刻,同步所述各路合成数据流;
其中,所述第二时间戳由所述转发设备通过以下方式获得:所述转发设备在接收到合成指令时,将各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二时间戳;所述第二采集时刻由所述转发设备通过以下方式换算得到:所述转发设备针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳换算得到的第二采集时刻;所述第一时间信令包括采集设备采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳。
16.一种多路数据流同步装置,其特征在于,应用于采集设备,所述装置包括:采集模块,用于采集不同类型数据;
发送模块,用于以多路数据流的形式分别发送所述不同类型数据至接收端设备,并发送各路数据流的第一时间信令至所述接收端设备,以使所述接收端设备基于所述各路数据流的第一时间信令,同步所述各路数据流,其中,任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳;
其中,所述接收端设备基于所述各路数据流的第一时间信令,同步所述各路数据流包括:
在接收到合成指令时,将各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二时间戳;
针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据对应的第二时间戳,换算得到该路合成数据流的第二采集时刻;
将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至同步设备,以使所述同步设备根据所述各路合成数据流的第二时间信令及接收到所述各路合成数据流的第三时间戳,分别计算所述各路合成数据流的第三采集时刻,并基于所述各路合成数据流的第三采集时刻,同步所述各路合成数据流,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。
17.一种多路数据流同步的逐级传输系统,其特征在于,所述系统包括:多个采集设备、转发设备和同步设备;
所述采集设备,用于采集不同类型数据,以多路数据流的形式分别发送所述不同类型数据至所述转发设备,并发送各路数据流的第一时间信令至所述转发设备,其中,任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳;
所述转发设备,用于接收各采集设备分别发送的各路数据流以及所述各路数据流的第一时间信令;在接收到合成指令时,将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二时间戳;针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻;将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至所述同步设备,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳;
所述同步设备,用于接收所述转发设备发送的所述各路合成数据流以及所述各路合成数据流的第二时间信令;获得接收到所述各路合成数据流的第三时间戳;根据所述各路合成数据流的第二时间信令及第三时间戳,分别计算所述各路合成数据流的第三采集时刻;
基于所述各路合成数据流的第三采集时刻,同步所述各路合成数据流。
18.根据权利要求17所述的系统,其特征在于,所述采集设备在发送各路数据流的第一时间信令至所述转发设备时,具体用于:按照预设周期,发送所述各路数据流的第一时间信令至所述转发设备;
所述转发设备在针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻时,具体用于:
针对所述各路合成数据流,读取合成该路合成数据流的各路数据流的第一时间信令中最新收到的第一时间信令;根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻。
19.根据权利要求18所述的系统,其特征在于,所述转发设备在根据所述最新收到的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻时,具体用于:
计算该路合成数据流对应的第二时间戳与所述最新收到的第一时间信令中第一时间戳的差值;
根据所述差值、所述最新收到的第一时间信令中的第一采集时刻以及系统时钟,计算得到该路合成数据流的第二采集时刻。
20.根据权利要求17所述的系统,其特征在于,所述同步设备在根据所述各路合成数据流的第二时间信令及第三时间戳,分别计算所述各路合成数据流的第三采集时刻时,具体用于:
针对所述各路合成数据流,计算该路合成数据流的第三时间戳与该路合成数据流的第二时间信令中第二时间戳的差值;
根据所述差值、该路合成数据流的第二时间信令中的第二采集时刻以及系统时钟,计算得到该路合成数据流的第三采集时刻。
21.根据权利要求17所述的系统,其特征在于,所述转发设备,还用于:在接收到转发指令时,将所述各路数据流以及所述各路数据流的第一时间信令转发至所述同步设备。
22.根据权利要求17所述的系统,其特征在于,所述合成指令包括指定数据流的类型标识;
所述转发设备在将所述各采集设备发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流时,具体用于:根据所述类型标识,将所述各采集设备发送的所述类型标识对应的指定数据流合成为合成数据流;
所述转发设备在将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至所述同步设备时,具体用于:
将合成得到的各路合成数据流及所述各路合成数据流的第二时间信令发送至所述同步设备,并且,将未进行合成处理的各路数据流及所述各路数据流的第一时间信令转发至所述同步设备。
23.根据权利要求17‑22任一项所述的系统,其特征在于,所述第一时间信令和所述第二时间信令为RTCP中的SR信令。
说明书 :
多路数据流同步方法及多路数据流同步的逐级传输系统
技术领域
背景技术
传输,同一个与会者有时除了要传输视频流和音频流以外,还会有文档、智能信息等辅数据
流需要传输。传输过程中可能会由于网络因素导致各路数据流到达接收端设备的时间不一
致,从而导致各路数据流不同步。
一致的,这样,各路数据流在传输到接收端设备后,可以基于各路数据流的时间戳大小进行
同步。
端设备,或者对数据流进行合成处理后再将合成后的数据流转发到接收端设备。转发设备
对数据流进行转发、合成等处理后,时间戳会变为完成转发、合成等处理的时刻对应的时间
戳,而转发设备对各路数据流的转发、合成等处理并不一定是同时进行的,因此,会导致发
送到接收端设备的各路数据流的时间戳不一致,从而导致多路数据流无法同步。
发明内容
第一采集时刻对应的第一时间戳;
戳;
据流的第三时间戳,分别计算所述各路合成数据流的第三采集时刻,并基于所述各路合成
数据流的第三采集时刻,同步所述各路合成数据流,其中,任一路合成数据流的第二时间信
令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时间戳。
刻,包括:
所述同步设备。
成数据流的合成时刻对应的第二时间戳;
间信令,同步所述各路数据流,其中,任一路数据流的第一时间信令包括采集该路数据流的
第一采集时刻以及所述第一采集时刻对应的第一时间戳。
所述视频流、所述音频流及所述辅数据流的第一时间信令,同步所述视频流、所述音频流和
所述辅数据流。
集时刻以及所述第一采集时刻对应的第一时间戳;
对应的第二时间戳;
二采集时刻;
述各路合成数据流的第三时间戳,分别计算所述各路合成数据流的第三采集时刻,并基于
所述各路合成数据流的第三采集时刻,同步所述各路合成数据流,其中,任一路合成数据流
的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的第二时
间戳。
时刻以及该路合成数据流的合成时刻对应的第二时间戳;
数据流的第一时间信令,同步所述各路数据流,其中,任一路数据流的第一时间信令包括采
集该路数据流的第一采集时刻以及所述第一采集时刻对应的第一时间戳。
路数据流的第一时间信令包括采集该路数据流的第一采集时刻以及所述第一采集时刻对
应的第一时间戳;
合成为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的
第二时间戳;针对所述各路合成数据流,根据合成该路合成数据流的各路数据流的第一时
间信令以及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时
刻;将所述各路合成数据流以及所述各路合成数据流的第二时间信令发送至所述同步设
备,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该
路合成数据流对应的第二时间戳;
路合成数据流的第二时间信令及第三时间戳,分别计算所述各路合成数据流的第三采集时
刻;基于所述各路合成数据流的第三采集时刻,同步所述各路合成数据流。
二采集时刻时,具体用于:
应的第二时间戳,换算得到该路合成数据流的第二采集时刻。
发至所述同步设备。
送各路数据流的第一时间信令至转发设备;转发设备在接收到合成指令时,将各采集设备
发送的同一类型数据的数据流合成为一路合成数据流,得到多路合成数据流,并获得各路
合成数据流的合成时刻对应的第二时间戳,针对各路合成数据流,根据合成该路合成数据
流的各路数据流的第一时间信令以及该路合成数据流对应的第二时间戳,换算得到该路合
成数据流的第二采集时刻,将各路合成数据流以及各路合成数据流的第二时间信令发送至
同步设备;同步设备获得接收到各路合成数据流的第三时间戳;根据各路合成数据流的第
二时间信令及第三时间戳,分别计算各路合成数据流的第三采集时刻,基于各路合成数据
流的第三采集时刻,同步各路合成数据流。
时间戳,转发设备在进行数据流合成处理时,换算出各路合成数据流的第二采集时刻,则在
向同步设备发送各路合成数据流时,同时发送包括第二采集时刻和第二时间戳的第二时间
信令,使得同步设备在接收到多路合成数据流后,换算出各路合成数据流的第三采集时刻,
同步设备接收到各路合成数据流的时间戳即便不同,由于采集设备、转发设备和同步设备
的系统时钟相同,基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳
以及上一级设备对应的各路数据流的采集时刻,换算出本级设备对应各路数据流的采集时
刻具有一致性,也就是说,对于同步设备而言,各路合成数据流的第三采集时刻是一致的,
因此,实现了多路数据流的同步。
附图说明
申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他的附图。
具体实施方式
本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本申请保护的范围。
步设备,下面,分别从应用于以上各种设备的角度,对本申请实施例所提供的多路数据流同
步方法进行介绍。
步各路数据流,其中,任一路数据流的第一时间信令包括采集该路数据流的第一采集时刻
以及第一采集时刻对应的第一时间戳。
每一路数据流的第一采集时刻以及第一采集时刻对应的第一时间戳发送给对应的接收端
设备,第一采集时刻和第一时间戳以第一时间信令的方式发送,具体的,第一时间信令可以
通过例如RTCP(Real‑time Transport Control Protocol,实时传输控制协议)中的SR
(Sender Report,发送端报告)信令来实现,每一路数据流都有自己的第一时间信令,每路
数据流之间相互没有依赖关系。其中,SR信令是一种RTCP报文信令,可以携带采集设备发送
的数据的采集时刻和时间戳,采集时刻可以为NTP(Network Time Protocol,网络时间协
议)格式,NTP格式是用来同步网络中各个设备的时间的协议格式。
接收到的第一时间戳发生变化,各路数据流的第一采集时刻也是一致的,因此,可以保证各
路数据流的同步。接收端设备可以为上述的转发设备和同步设备等。
或者几秒钟发送一次第一时间信令,减缓了采集设备与接收端设备之间的数据传输压力。
步骤,具体可以为:发送视频流、音频流及辅数据流至接收端设备,并发送视频流、音频流及
辅数据流的第一时间信令至接收端设备,以使接收端设备基于视频流、音频流及辅数据流
的第一时间信令,同步视频流、音频流和辅数据流。
信息数据流等。采集设备将这些数据流和对应的第一时间信令发送至接收端设备,接收端
设备可以根据这些数据流的第一时间信令对这些数据流进行同步。
及第一采集时刻对应的第一时间戳。
间戳。
戳,分别计算各路合成数据流的第三采集时刻,并基于各路合成数据流的第三采集时刻,同
步各路合成数据流,其中,任一路合成数据流的第二时间信令包括该路合成数据流的第二
采集时刻以及该路合成数据流对应的第二时间戳。
到数据后,会以多路数据流的形式将采集的不同类型数据发送至转发设备,同时将数据流
的第一时间信令发送至转发设备。用户可以对数据流的控制方式进行选择,如果用户选择
的控制方式为对数据流进行合成处理,转发设备会接收到合成指令,此时,转发设备将各采
集设备发送来的同一类型数据的数据流合成为一路合成数据流,这样,会得到多路合成数
据流,一路合成数据流的数据具有相同的类型。在合成得到合成数据流的同时,获得各路合
成数据流的合成时刻对应的第二时间戳,第二时间戳是基于转发设备本地的基础时间,于
什么时间合成出各路合成数据流的时间戳。
集时刻是指对于转发设备而言,采集各路合成数据流的采集时刻,第二采集时刻是基于第
一时间信令和第二时间戳换算出来的,第一时间信令包含第一采集时刻和第一时间戳,基
于第一采集时刻、第一时间戳、第二时间戳换算出来的各路合成数据流的第二采集时刻具
有一致性。
各路合成数据流的第二时间信令及接收到各路合成数据流的第三时间戳,分别计算出各路
合成数据流的第三采集时刻,第三采集时刻是指对于同步设备而言,采集各路合成数据流
的采集时刻,第三采集时刻是基于第二时间信令和第三时间戳换算出来的,第二时间信令
包含第二采集时刻和第二时间戳,基于第二采集时刻、第二时间戳、第三时间戳换算出来的
各路合成数据流的第三采集时刻具有一致性。这样,同步设备可以基于各路合成数据流的
第三采集时刻,同步各路合成数据流,由于各路合成数据流的第三采集时刻具有一致性,因
此,对各路合成数据流进行合成、渲染时,能够得到多路数据流同步的效果。
时,从缓存中读取相同第三采集时刻的各路合成数据流,进行合成渲染,由于各路合成数据
流的第三采集时刻是一致的,因此可以保证多路数据流的同步。
路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻。
信令以及该路合成数据流对应的第二时间戳,对该路合成数据流的第二采集时刻进行换
算。
的第二时间戳与最新收到的第一时间信令中第一时间戳的差值;根据该差值、最新收到的
第一时间信令中的第一采集时刻以及系统时钟,计算得到该路合成数据流的第二采集时
刻。
路数据流的第一时间信令直接转发至同步设备。
的指定数据流合成为合成数据流。
同步设备,并且,将未进行合成处理的各路数据流及各路数据流的第一时间信令发送至同
步设备。
流的类型标识,用于指示对哪些类型的数据流进行合成处理,转发设备在接收到合成指令
后,根据类型标识,将各采集设备发送的具有类型标识的指定数据流合成为合成数据流,则
在转发数据流至同步设备时,将合成得到的各路合成数据流及各路合成数据流的第二时间
信令发送至同步设备,并且,将未进行合成处理的各路数据流及各路数据流的第一时间信
令发送至同步设备。
路合成数据流的合成时刻对应的第二时间戳。
接收到各路合成数据流和第二时间信令后,根据各路合成数据流的第二时间信令及接收到
各路合成数据流的第三时间戳,分别计算出各路合成数据流的第三采集时刻,第三采集时
刻是指对于同步设备而言,采集各路合成数据流的采集时刻,第三采集时刻是基于第二时
间信令和第三时间戳换算出来的,第二时间信令包含第二采集时刻和第二时间戳,基于第
二采集时刻、第二时间戳、第三时间戳换算出来的各路合成数据流的第三采集时刻具有一
致性。这样,同步设备可以基于各路合成数据流的第三采集时刻,同步各路合成数据流,由
于各路合成数据流的第三采集时刻具有一致性,因此,对各路合成数据流进行合成、渲染
时,能够得到多路数据流同步的效果。
时,从缓存中读取相同第三采集时刻的各路合成数据流,进行合成渲染,由于各路合成数据
流的第三采集时刻是一致的,因此可以保证多路数据流的同步。
的第二时间信令中的第二采集时刻以及系统时钟,计算得到该路合成数据流的第三采集时
刻。
按照数据流的形式通过网络发送给设备2。
发或播放处理。
一路媒体数据流的采集时刻的NTP时间以及对应的时间戳发送给下一级设备,采集时刻和
时间戳可以通过RTCP中的CR信令来实现,每一路媒体数据流都有自己的CR信令,每路媒体
数据流之间相互没有依赖关系。
说明。
数发送给设备2;假设某一时刻视频流VD10的采集时刻是NTP_V10,对应的时间戳为TS_V10,
设备1通过SR信令将这一对参数发送给设备2;假设某一时刻音频流AD10的采集时刻是NTP_
A10,对应的时间戳为TS_A10,设备1通过SR信令将这一对参数发送给设备2。
上新的时间戳TS_VA11(合成得到合成数据流VAD11的时间戳)。设备2根据NTP_VA10、TS_
VA11和TS_VA10,计算辅数据流VAD11的采集时刻NTP_VA11,具体为:
间戳TS_V11(合成得到合成数据流VD11的时间戳)。设备2根据NTP_V10、TS_V11和TS_V10,计
算视频流VD11的采集时刻NTP_V11,具体为:
间戳TS_A11(合成得到合成数据流AD11的时间戳)。设备2根据NTP_A10、TS_A11和TS_A10,计
算音频流AD11的采集时刻NTP_A11,具体为:
整当前输入的辅数据流、视频流和音频流的缓存时间,调整方式如图6所示,从而使得在合
成/渲染的时候达到多路媒体数据流同步的效果。
数发送给设备2;假设某一时刻视频流VD10的采集时刻是NTP_V10,对应的时间戳为TS_V10,
设备1通过SR信令将这一对参数发送给设备2;假设某一时刻音频流AD10的采集时刻是NTP_
A10,对应的时间戳为TS_A10,设备1通过SR信令将这一对参数发送给设备2。
频,则将该参数对发送给设备3。
将该参数对发送给设备3。
将该参数对发送给设备3。
这一对参数发送给设备2;假设某一时刻视频流VD10的采集时刻是NTP_V10,对应的时间戳
为TS_V10,设备1通过SR信令将这一对参数发送给设备2;假设某一时刻音频流AD10的采集
时刻是NTP_A10,对应的时间戳为TS_A10,设备1通过SR信令将这一对参数发送给设备2。合
成指令中设定分别对辅数据流和视频流进行合成处理。
上新的时间戳TS_VA11(合成得到合成数据流VAD11的时间戳)。设备2根据NTP_VA10、TS_
VA11和TS_VA10,计算辅数据流VAD11的采集时刻NTP_VA11,具体为:
间戳TS_V11(合成得到合成数据流VD11的时间戳)。设备2根据NTP_V10、TS_V11和TS_V10,计
算视频流VD11的采集时刻NTP_V11,具体为:
将该参数对发送给设备3。
整当前输入的辅数据流、视频流和音频流的缓存时间,从而使得在合成/渲染的时候达到多
路媒体数据流同步的效果。
转发设备在接收到合成指令时,将各采集设备发送的同一类型数据的数据流合成为一路合
成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二时间戳,针
对各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以及该路合成
数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻,将各路合成数据流
以及各路合成数据流的第二时间信令发送至同步设备;同步设备获得接收到各路合成数据
流的第三时间戳;根据各路合成数据流的第二时间信令及第三时间戳,分别计算各路合成
数据流的第三采集时刻,基于各路合成数据流的第三采集时刻,同步各路合成数据流。
时间戳,转发设备在进行数据流合成处理时,换算出各路合成数据流的第二采集时刻,则在
向同步设备发送各路合成数据流时,同时发送包括第二采集时刻和第二时间戳的第二时间
信令,使得同步设备在接收到多路合成数据流后,换算出各路合成数据流的第三采集时刻,
同步设备接收到各路合成数据流的时间戳即便不同,由于采集设备、转发设备和同步设备
的系统时钟相同,基于接收到各路数据流的时间戳、上一级设备发送各路数据流的时间戳
以及上一级设备对应的各路数据流的采集时刻,换算出本级设备对应各路数据流的采集时
刻具有一致性,也就是说,对于同步设备而言,各路合成数据流的第三采集时刻是一致的,
因此,实现了多路数据流的同步。
果增加更多路数据流,也能实现数据流之间的同步。
间信令,同步各路数据流,其中,任一路数据流的第一时间信令包括采集该路数据流的第一
采集时刻以及第一采集时刻对应的第一时间戳。
间信令,同步视频流、音频流和辅数据流。
一采集时刻以及第一采集时刻对应的第一时间戳;
对应的第二时间戳;
二采集时刻;
的第三时间戳,分别计算各路合成数据流的第三采集时刻,并基于各路合成数据流的第三
采集时刻,同步各路合成数据流,其中,任一路合成数据流的第二时间信令包括该路合成数
据流的第二采集时刻以及该路合成数据流对应的第二时间戳。
时刻以及该路合成数据流的合成时刻对应的第二时间戳;
集时刻对应的第一时间戳,转发设备在进行数据流合成处理时,换算出各路合成数据流的
第二采集时刻,则在向同步设备发送各路合成数据流时,同时发送包括第二采集时刻和第
二时间戳的第二时间信令,使得同步设备在接收到多路合成数据流后,换算出各路合成数
据流的第三采集时刻,同步设备接收到各路合成数据流的时间戳即便不同,由于采集设备、
转发设备和同步设备的系统时钟相同,基于接收到各路数据流的时间戳、上一级设备发送
各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻,换算出本级设备对应
各路数据流的采集时刻具有一致性,也就是说,对于同步设备而言,各路合成数据流的第三
采集时刻是一致的,因此,实现了多路数据流的同步。
据流的第一时间信令包括采集该路数据流的第一采集时刻以及第一采集时刻对应的第一
时间戳;
为一路合成数据流,得到多路合成数据流,并获得各路合成数据流的合成时刻对应的第二
时间戳;针对各路合成数据流,根据合成该路合成数据流的各路数据流的第一时间信令以
及该路合成数据流对应的第二时间戳,换算得到该路合成数据流的第二采集时刻;将各路
合成数据流以及各路合成数据流的第二时间信令发送至同步设备1203,其中,任一路合成
数据流的第二时间信令包括该路合成数据流的第二采集时刻以及该路合成数据流对应的
第二时间戳;
二时间信令及第三时间戳,分别计算各路合成数据流的第三采集时刻;基于各路合成数据
流的第三采集时刻,同步各路合成数据流。
集时刻时,具体可以用于:
时间戳,换算得到该路合成数据流的第二采集时刻。
设备1203。
集时刻对应的第一时间戳,转发设备在进行数据流合成处理时,换算出各路合成数据流的
第二采集时刻,则在向同步设备发送各路合成数据流时,同时发送包括第二采集时刻和第
二时间戳的第二时间信令,使得同步设备在接收到多路合成数据流后,换算出各路合成数
据流的第三采集时刻,同步设备接收到各路合成数据流的时间戳即便不同,由于采集设备、
转发设备和同步设备的系统时钟相同,基于接收到各路数据流的时间戳、上一级设备发送
各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻,换算出本级设备对应
各路数据流的采集时刻具有一致性,也就是说,对于同步设备而言,各路合成数据流的第三
采集时刻是一致的,因此,实现了多路数据流的同步。
令,处理器1301被机器可执行指令促使:实现如上述应用于采集设备、转发设备或者同步设
备的多路数据流同步方法。
的,机器可读存储介质还可以是至少一个位于远离上述处理器的存储装置。
数字信号处理器)、ASIC(Application Specific Integrated Circuit,专用集成电路)、
FPGA(Field‑Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、分
立门或者晶体管逻辑器件、分立硬件组件。
行通信。图13所示的仅为处理器1301与机器可读存储介质1302之间通过总线进行数据传输
的示例,不作为具体连接方式的限定。
路数据流的第一时间信令,任一路数据流的第一时间信令包括采集该路数据流的第一采集
时刻以及第一采集时刻对应的第一时间戳,转发设备在进行数据流合成处理时,换算出各
路合成数据流的第二采集时刻,则在向同步设备发送各路合成数据流时,同时发送包括第
二采集时刻和第二时间戳的第二时间信令,使得同步设备在接收到多路合成数据流后,换
算出各路合成数据流的第三采集时刻,同步设备接收到各路合成数据流的时间戳即便不
同,由于采集设备、转发设备和同步设备的系统时钟相同,基于接收到各路数据流的时间
戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集时刻,
换算出本级设备对应各路数据流的采集时刻具有一致性,也就是说,对于同步设备而言,各
路合成数据流的第三采集时刻是一致的,因此,实现了多路数据流的同步。
同时,发送各路数据流的第一时间信令,任一路数据流的第一时间信令包括采集该路数据
流的第一采集时刻以及第一采集时刻对应的第一时间戳,转发设备在进行数据流合成处理
时,换算出各路合成数据流的第二采集时刻,则在向同步设备发送各路合成数据流时,同时
发送包括第二采集时刻和第二时间戳的第二时间信令,使得同步设备在接收到多路合成数
据流后,换算出各路合成数据流的第三采集时刻,同步设备接收到各路合成数据流的时间
戳即便不同,由于采集设备、转发设备和同步设备的系统时钟相同,基于接收到各路数据流
的时间戳、上一级设备发送各路数据流的时间戳以及上一级设备对应的各路数据流的采集
时刻,换算出本级设备对应各路数据流的采集时刻具有一致性,也就是说,对于同步设备而
言,各路合成数据流的第三采集时刻是一致的,因此,实现了多路数据流的同步。
即可。
在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备
所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在
包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
多路数据流同步的逐级传输系统、传输设备、机器可读存储介质实施例而言,由于其基本相
似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
内。