音频传输延时的测量方法及系统转让专利

申请号 : CN201310616487.1

文献号 : CN104125022B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 邹连平张文婷何航

申请人 : 腾讯科技(成都)有限公司

摘要 :

本发明公开了音频传输延时的测量方法及系统。其中,该方法包括:在发送端和接收端之间对待测的原始音频码本的传输进行同步操作,得到原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息;发送端响应发送开始指示信息开始向接收端发送待测的原始音频码本,响应发送结束指示信息停止向接收端发送原始音频码本,接收端响应接收开始指示信息开始对发送端发送的原始音频码本进行采集,并响应接收结束指示信息停止对发送端发送的原始音频码本进行采集;根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时。本发明解决了现有技术中音频传输延时计算不准确的问题。

权利要求 :

1.一种音频传输延时的测量方法,其特征在于,包括:

在发送端和接收端之间对待测的原始音频码本的传输进行同步操作,得到所述原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息;

所述发送端响应所述发送开始指示信息开始向所述接收端发送所述待测的原始音频码本,响应所述发送结束指示信息停止向所述接收端发送所述原始音频码本,所述接收端响应所述接收开始指示信息开始对所述发送端发送的所述原始音频码本进行采集,并响应所述接收结束指示信息停止对所述发送端发送的所述原始音频码本进行采集;

根据所述接收端采集得到的测试音频码本以及所述接收端上预存的所述原始音频码本得到音频传输延时。

2.根据权利要求1所述的方法,其特征在于,

所述发送开始指示信息包括发送开始时刻、所述发送结束指示信息包括发送结束时刻、所述接收开始指示信息包括接收开始时刻、所述接收结束指示信息包括接收结束时刻;

所述发送端响应所述发送开始指示信息开始向所述接收端发送所述待测的原始音频码本包括:所述发送端从所述发送开始时刻开始向所述接收端发送所述原始音频码本;

所述发送端响应所述发送结束指示信息停止向所述接收端发送所述原始音频码本包括:所述发送端在所述发送结束时刻停止向所述接收端发送所述原始音频码本;

所述接收端响应所述接收开始指示信息开始对所述发送端发送的所述原始音频码本进行采集包括:所述接收端从所述接收开始时刻开始对所述发送端发送的所述原始音频码本进行采集;

所述接收端响应所述接收结束指示信息停止对所述发送端发送的所述原始音频码本进行采集包括:所述接收端在所述接收结束时刻停止对所述发送端发送的所述原始音频码本进行采集。

3.根据权利要求2所述的方法,其特征在于,

所述发送开始时刻与所述接收开始时刻相同,以及所述发送结束时刻与所述接收结束时刻相同;或者,所述发送开始时刻与所述接收开始时刻相同,以及所述发送结束时刻与所述接收结束时刻之间的差值小于第一预定阈值;或者所述发送开始时刻与所述接收开始时刻之间的差值小于第二预定阈值,以及所述发送结束时刻与所述接收结束时刻相同;或者所述发送开始时刻与所述接收开始时刻之间的差值小于第三预定阈值,以及所述发送结束时刻与所述接收结束时刻之间的差值小于第四预定阈值。

4.根据权利要求1所述的方法,其特征在于,在发送端和接收端之间对待测的原始音频码本的传输进行同步操作还包括:在所述发送端和所述接收端之间进行信息交互,使得所述发送端发送多个所述原始音频码本的顺序与所述接收端接收所述多个所述原始音频码本的顺序相同。

5.根据权利要求2所述的方法,其特征在于,在发送端和接收端之间对待测的原始音频码本的传输进行同步操作包括:通过设置在所述发送端的第一GPS同步控制单元和设置在所述接收端的第二GPS同步控制单元在所述发送端和所述接收端之间对所述原始音频码本的传输进行同步操作,其中,所述第一GPS同步控制单元和第二GPS同步控制单元均包括:GPS设备,所述GPS设备包括GPS天线和GPS接收模块,所述GPS天线用于传输以下至少之一:所述发送开始时刻、所述发送结束时刻、所述接收开始时刻、所述接收结束时刻;所述GPS接收模块用于接收以下至少之一:所述发送开始时刻、所述发送结束时刻、所述接收开始时刻、所述接收结束时刻。

6.根据权利要求1所述的方法,其特征在于,

所述发送开始指示信息包括用于指示所述接收端准备好接收的第一指令信息;所述发送结束指示信息包括用于指示完成播放所述原始音频码本的第二指令信息、所述接收开始指示信息包括用于指示所述接收端开始接收的第三指令信息、所述接收结束指示信息包括所述第二指令信息中携带的采集时长;

所述发送端响应所述发送开始指示信息开始向所述接收端发送所述待测的原始音频码本包括:所述发送端接收到所述第一指令信息时开始向所述接收端发送所述原始音频码本;

所述发送端响应所述发送结束指示信息停止向所述接收端发送所述原始音频码本包括:所述发送端接收到所述第二指令信息时停止向所述接收端发送所述原始音频码本;

所述接收端响应所述接收开始指示信息开始对所述发送端发送的所述原始音频码本进行采集包括:所述接收端接收到所述第三指令信息时开始对所述发送端发送的所述原始音频码本进行采集;

所述接收端响应所述接收结束指示信息停止对所述发送端发送的所述原始音频码本进行采集包括:所述接收端判断对所述发送端发送的所述原始音频码本进行采集的时长是否超过所述采集时长,若超过,则停止对所述发送端发送的所述原始音频码本进行采集。

7.根据权利要求1至6中任一项所述的方法,其特征在于,根据所述接收端采集得到的测试音频码本以及所述接收端上预存的所述原始音频码本得到音频传输延时包括:其中,Rxy(τ)为一个所述原始音频码本与对应的所述测试音频码本的互相关函数值,ts为所述接收端开始对所述发送端发送的所述原始音频码本进行采集的时刻,te为所述接收端停止对所述发送端发送的所述原始音频码本进行采集的时刻,t为每个采样点对应的时间信息,x(t)为所述原始音频码本中时刻为t时的采样点对应的能量值,τ为与x(t)中进行卷积的所述测试音频码本中的采样点的偏移量,y(t+τ)为所述测试音频码本中时刻为t+τ时的采样点的能量值,使用最大的所述互相关函数值对应的τ的取值表示所述音频传输延时。

8.根据权利要求7所述的方法,其特征在于,根据所述接收端采集得到的测试音频码本以及所述接收端上预存的所述原始音频码本得到音频传输延时还包括:其中,TestValue(k)为对所述原始音频码本i与所述原始音频码本i第k次测量得到的对应的所述测试音频码本i求解得到最大的所述互相关函数值所对应的延时值,所述延时值为所述第k次测量得到最大的所述互相关函数值对应的τ取值除以所述第k次测量所述接收端采用的采样率信息所得到的时域值,所述采样率信息为所述原始音频码本i的头格式信息中的采样率,Delayi为经m次测量得到的所述原始音频码本i的平均音频传输延时,m为大于等于1的整数。

9.根据权利要求8所述的方法,其特征在于,根据所述接收端采集得到的测试音频码本以及所述接收端上预存的所述原始音频码本得到音频传输延时还包括:其中,Avg_Delay为n个所述原始音频码本的平均音频传输延时,n为大于等于1的整数。

10.一种音频传输延时的测量系统,其特征在于,包括:

位于发送端的第一同步单元和位于接收端的第二同步单元,用于在所述发送端和所述接收端之间对待测的原始音频码本的传输进行同步操作,得到所述原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息;

位于所述发送端的第一响应单元,用于响应所述发送开始指示信息开始向所述接收端发送所述待测的原始音频码本;

位于所述发送端的第二响应单元,用于响应所述发送结束指示信息停止向所述接收端发送所述原始音频码本;

位于所述接收端的第三响应单元,用于响应所述接收开始指示信息开始对所述发送端发送的所述原始音频码本进行采集;

位于所述接收端的第四响应单元,用于响应所述接收结束指示信息停止对所述发送端发送的所述原始音频码本进行采集;

位于所述接收端的计算单元,用于根据采集得到的测试音频码本以及所述接收端上预存的所述原始音频码本计算音频传输延时。

11.根据权利要求10所述的系统,其特征在于,

第一响应单元包括:第一响应子模块,用于从发送开始时刻开始向所述接收端发送所述原始音频码本,其中,所述发送开始指示信息包括所述发送开始时刻;

第二响应单元包括:第二响应子模块,用于在发送结束时刻停止向所述接收端发送所述原始音频码本,其中,所述发送结束指示信息包括所述发送结束时刻;

第三响应单元包括:第三响应子模块,用于从接收开始时刻开始对所述发送端发送的所述原始音频码本进行采集,其中,所述接收开始指示信息包括所述接收开始时刻;

第四响应单元包括:第四响应子模块,用于在接收结束时刻停止对所述发送端发送的所述原始音频码本进行采集,其中,所述接收结束指示信息包括所述接收结束时刻。

12.根据权利要求11所述的系统,其特征在于,所述第一同步单元包括:第一同步模块,所述第二同步单元包括:第二同步模块,其中,所述第一同步模块和所述第二同步模块用于执行所述同步操作,以得到以下结果之一:所述发送开始时刻与所述接收开始时刻相同,以及所述发送结束时刻与所述接收结束时刻相同;或者,所述发送开始时刻与所述接收开始时刻相同,以及所述发送结束时刻与所述接收结束时刻之间的差值小于第一预定阈值;或者所述发送开始时刻与所述接收开始时刻之间的差值小于第二预定阈值,以及所述发送结束时刻与所述接收结束时刻相同;或者所述发送开始时刻与所述接收开始时刻之间的差值小于第三预定阈值,以及所述发送结束时刻与所述接收结束时刻之间的差值小于第四预定阈值。

13.根据权利要求10所述的系统,其特征在于,所述第一同步单元包括:第三同步模块,所述第二同步单元包括:第四同步模块,其中,所述第三同步模块和所述第四同步模块用于在所述发送端和所述接收端之间进行信息交互,使得所述发送端发送多个所述原始音频码本的顺序与所述接收端接收所述多个所述原始音频码本的顺序相同。

14.根据权利要求11所述的系统,其特征在于,所述第一同步单元包括:第一GPS同步控制单元,所述第二同步单元包括:第二GPS同步控制单元,其中,第一GPS同步控制单元和所述第二GPS同步控制单元用于在所述发送端和所述接收端之间对所述原始音频码本的传输进行所述同步操作,其中,所述第一GPS同步控制单元和第二GPS同步控制单元均包括:GPS设备,所述GPS设备包括GPS天线和GPS接收模块,所述GPS天线用于传输以下至少之一:所述发送开始时刻、所述发送结束时刻、所述接收开始时刻、所述接收结束时刻;

所述GPS接收模块用于接收以下至少之一:所述发送开始时刻、所述发送结束时刻、所述接收开始时刻、所述接收结束时刻。

15.根据权利要求10所述的系统,其特征在于,

第一响应单元包括:发送子模块,用于在接收到第一指令信息时开始向所述接收端发送所述原始音频码本,其中,所述第一指令信息用于指示所述接收端准备好接收;

第二响应单元包括:终止子模块,用于在接收到第二指令信息时停止向所述接收端发送所述原始音频码本,其中,所述第二指令信息用于指示完成播放所述原始音频码本;

第三响应单元包括:采集子模块,用于在接收到第三指令信息时开始对所述发送端发送的所述原始音频码本进行采集,其中,所述第三指令信息用于指示所述接收端开始接收;

第四响应单元包括:判断子模块,用于判断对所述发送端发送的所述原始音频码本进行采集的时长是否超过采集时长,若超过,则停止对所述发送端发送的所述原始音频码本进行采集。

16.根据权利要求10至15中任一项所述的系统,其特征在于,所述计算单元包括:第一计算模块,用于通过以下公式计算所述音频传输延时:Rxy(τ)为一个所述原始音频码本与对应的所述测试音频码本的互相关函数值,ts为所述接收端开始对所述发送端发送的所述原始音频码本进行采集的时刻,te为所述接收端停止对所述发送端发送的所述原始音频码本进行采集的时刻,t为每个采样点对应的时间信息,x(t)为所述原始音频码本中时刻为t时的采样点对应的能量值,τ为与x(t)中进行卷积的所述测试音频码本中的采样点的偏移量,y(t+τ)为所述测试音频码本中时刻为t+τ时的采样点的能量值,使用最大的所述互相关函数值对应的τ的取值表示所述音频传输延时。

17.根据权利要求16所述的系统,其特征在于,所述计算单元包括:第二计算模块,用于通过以下公式计算所述音频传输延时:其中,TestValue(k)为对所述原始音频码本i与所述原始音频码本i第k次测量得到的对应的所述测试音频码本i求解得到最大的所述互相关函数值所对应的延时值,所述延时值为所述第k次测量得到最大的所述互相关函数值对应的τ取值除以所述第k次测量所述接收端采用的采样率信息所得到的时域值,所述采样率信息为所述原始音频码本i的头格式信息中的采样率,Delayi为经m次测量得到的所述原始音频码本i的平均音频传输延时,m为大于等于1的整数。

18.根据权利要求17所述的系统,其特征在于,所述计算单元包括:第三计算模块,用于通过以下公式计算所述音频传输延时:其中,Avg_Delay为n个所述原始音频码本的平均音频传输延时,n为大于等于1的整数。

说明书 :

音频传输延时的测量方法及系统

技术领域

[0001] 本发明涉及通信领域,具体而言,涉及一种音频传输延时的测量方法及系统。

背景技术

[0002] 语音通信中延时是至关重要的因素,端到端延时是指语音经历采集,预处理,编码,打包,网络传输,解包,到最终播放全过程的延时。然而,延时太大会影响受众对语音产品的主观听觉感受,因此对语音系统进行延时测量和评估是必要的。目前的延时测量方法有些是基于侵入式的,也有非侵入式的。
[0003] 侵入式测量也即深入被测语音系统内部的,对于侵入式系统有一些特点:
[0004] 首先,由于测量数据通常依附于被测系统的数据帧或数据分组来传递,中间不可避免经过编码压缩、封装、解封装、解码等环节,测量数据在编码压缩和解压过程中可能会丢失或损坏;
[0005] 其次,由于被测系统的数据格式、封装格式、编码压缩和解码算法未必公开,测试人员要设计与之匹配的测量方式和测量信号会比较困难。
[0006] 此外,有的介入式测量方法需要在被测系统的终端上运行测量用的工具软件,通过工具软件进行计时。这种方式可能会影响被测系统终端本身的正常运行。
[0007] 非侵入式测量系统,目前大部分的实现都是基于单端请求双向求平均的延时测量方法。
[0008] 如图1所示的该测量方法是基于单端采集双向传输求平均的延时测量方法,其主要步骤是:(1)在本地播放音频信号,播放音频信号被本地测量装置采集,将此采集时戳记下为T1,(2)同时播放音频信号被本地被测系统采集,再经过被测系统传输至被测系统的远端播放出来,(3)被测系统远端播放出的声音,再经被测系统远端采集再经中间网络传输到本地被测系统播放,(4)本地被测系统播放出来的信号再被测量装置采集,将此采集时戳记下为T2,计算测量装置两次采集到的音频信号的时戳差,(T2-T1)除2得到延时值。
[0009] 上述方案的特点是采用双向传递以得到两个采集信号的时戳值,再分别求时戳差值,得到单向延时估值,但这里存在不足:
[0010] 首先,双向传递的过程中,由于两端都同时拥有音频播放设备和音频采集设备,这种场景,会不可避免的产生回声(直接回声/间接回声),回声的存在(尤其当有间接回声时)容易对延时计算结果产生干扰,且会使延时计算过程变的复杂严重影响延时计算的准确率。
[0011] 其次,上述双向传递求平均的过程中,端到端延迟是单条通信链路上语音从最初采集到播放出来过程中所经历的所有延时,因被测系统处理是黑盒的,大部分通信链路上传和下载链路并不完全对称,语音经该条所经过的处理环节与下面测试设备间的处理环节不一定完全对等,因此单条通信路径上语音所经历的延时,不一定是两条链路上延时的简单算术平均值。
[0012] 针对上述的问题,目前尚未提出有效的解决方案。

发明内容

[0013] 本发明实施例提供了一种音频传输延时的测量方法及系统,以至少解决现有技术中音频传输延时计算不准确的技术问题。
[0014] 根据本发明实施例的一个方面,提供了一种音频传输延时的测量方法,包括:在发送端和接收端之间对待测的原始音频码本的传输进行同步操作,得到原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息;发送端响应发送开始指示信息开始向接收端发送待测的原始音频码本,响应发送结束指示信息停止向接收端发送原始音频码本,接收端响应接收开始指示信息开始对发送端发送的原始音频码本进行采集,并响应接收结束指示信息停止对发送端发送的原始音频码本进行采集;根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时。
[0015] 作为一种可选的方案,该方法还包括:发送开始指示信息包括发送开始时刻、发送结束指示信息包括发送结束时刻、接收开始指示信息包括接收开始时刻、接收结束指示信息包括接收结束时刻;发送端响应发送开始指示信息开始向接收端发送待测的原始音频码本包括:发送端从发送开始时刻开始向接收端发送原始音频码本;发送端响应发送结束指示信息停止向接收端发送原始音频码本包括:发送端在发送结束时刻停止向接收端发送原始音频码本;接收端响应接收开始指示信息开始对发送端发送的原始音频码本进行采集包括:接收端从接收开始时刻开始对发送端发送的原始音频码本进行采集;接收端响应接收结束指示信息停止对发送端发送的原始音频码本进行采集包括:接收端在接收结束时刻停止对发送端发送的原始音频码本进行采集。
[0016] 作为一种可选的方案,该方法还包括:发送开始时刻与接收开始时刻相同,以及发送结束时刻与接收结束时刻相同;或者,发送开始时刻与接收开始时刻相同,以及发送结束时刻与接收结束时刻之间的差值小于第一预定阈值;或者发送开始时刻与接收开始时刻之间的差值小于第二预定阈值,以及发送结束时刻与接收结束时刻相同;或者发送开始时刻与接收开始时刻之间的差值小于第三预定阈值,以及发送结束时刻与接收结束时刻之间的差值小于第四预定阈值。
[0017] 作为一种可选的方案,在发送端和接收端之间对待测的原始音频码本的传输进行同步操作还包括:在发送端和接收端之间进行信息交互,使得发送端发送多个原始音频码本的顺序与接收端接收多个原始音频码本的顺序相同。
[0018] 作为一种可选的方案,在发送端和接收端之间对待测的原始音频码本的传输进行同步操作包括:通过设置在发送端的第一GPS同步控制单元和设置在接收端的第二GPS同步控制单元在发送端和接收端之间对原始音频码本的传输进行同步操作,其中,第一GPS同步控制单元和第二GPS同步控制单元均包括:GPS设备,GPS设备包括GPS天线和GPS接收模块,GPS天线用于传输以下至少之一:发送开始时刻、发送结束时刻、接收开始时刻、接收结束时刻;GPS接收模块用于接收以下至少之一:发送开始时刻、发送结束时刻、接收开始时刻、接收结束时刻。
[0019] 作为一种可选的方案,该方法还包括:发送开始指示信息包括用于指示接收端准备好接收的第一指令信息;发送结束指示信息包括用于指示完成播放原始音频码本的第二指令信息、接收开始指示信息包括用于指示接收端开始接收的第三指令信息、接收结束指示信息包括第二指令信息中携带的采集时长;发送端响应发送开始指示信息开始向接收端发送待测的原始音频码本包括:发送端接收到第一指令信息时开始向接收端发送原始音频码本;发送端响应发送结束指示信息停止向接收端发送原始音频码本包括:发送端接收到第二指令信息时停止向接收端发送原始音频码本;接收端响应接收开始指示信息开始对发送端发送的原始音频码本进行采集包括:接收端接收到第三指令信息时开始对发送端发送的原始音频码本进行采集;接收端响应接收结束指示信息停止对发送端发送的原始音频码本进行采集包括:接收端判断对发送端发送的原始音频码本进行采集的时长是否超过采集时长,若超过,则停止对发送端发送的原始音频码本进行采集。
[0020] 作为一种可选的方案,根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时包括:Rxy(τ)为一个原始音频码本与对应的测试音频码本的互相关函数值,ts为接收端开始对发送端发送的原始音频码本进行采集的时刻,te为接收端停止对发送端发送的原始音频码本进行采集的时刻,t为每个采样点对应的时间信息,x(t)为原始音频码本中时刻为t时的采样点对应的能量值,τ为与x(t)中进行卷积的测试音频码本中的采样点的偏移量,y(t+τ)为测试音频码本中时刻为t+τ时的采样点的能量值,使用最大的互相关函数值对应的τ的取值表示音频传输延时。
[0021] 作为一种可选的方案,根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时还包括: 其中,TestValue(k)为对原始音频码本i与原始音频码本i第k次测量得到的对应的测试音频码本i求解得到的最大的互相关函数值所对应的延时值,延时值为第k次测量得到的最大的互相关函数值对应的τ取值除以第k次测量接收端采用的采样率信息所得到的时域值,采样率信息为原始音频码本i的头格式信息中的采样率,Delayi为原始音频码本i的平均音频传输延时,m为大于等于1的整数。
[0022] 作为一种可选的方案,根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时还包括: 其中,Avg_Delay为n个原始音频码本的平均音频传输延时,n为大于等于1的整数。
[0023] 根据本发明实施例的另一方面,还提供了一种音频传输延时的测量系统,包括:位于发送端的第一同步单元和位于接收端的第二同步单元,用于在发送端和接收端之间对待测的原始音频码本的传输进行同步操作,得到原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息;位于发送端的第一响应单元,用于响应发送开始指示信息开始向接收端发送待测的原始音频码本;位于发送端的第二响应单元,用于响应发送结束指示信息停止向接收端发送原始音频码本;位于接收端的第三响应单元,用于响应接收开始指示信息开始对发送端发送的原始音频码本进行采集;位于接收端的第四响应单元,用于响应接收结束指示信息停止对发送端发送的原始音频码本进行采集;位于接收端的计算单元,用于根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本计算音频传输延时。
[0024] 作为一种可选的方案,该系统还包括:第一响应单元包括:第一响应子模块,用于从发送开始时刻开始向接收端发送原始音频码本,其中,发送开始指示信息包括发送开始时刻;第二响应单元包括:第二响应子模块,用于在发送结束时刻停止向接收端发送原始音频码本,其中,发送结束指示信息包括发送结束时刻;第三响应单元包括:第三响应子模块,用于从接收开始时刻开始对发送端发送的原始音频码本进行采集,其中,接收开始指示信息包括接收开始时刻;第四响应单元包括:第四响应子模块,用于在接收结束时刻停止对发送端发送的原始音频码本进行采集,其中,接收结束指示信息包括接收结束时刻。
[0025] 作为一种可选的方案,该系统还包括:第一同步单元包括:第一同步模块,第二同步单元包括:第二同步模块,其中,第一同步模块和第二同步模块用于执行同步操作,以得到以下结果之一:发送开始时刻与接收开始时刻相同,以及发送结束时刻与接收结束时刻相同;或者,发送开始时刻与接收开始时刻相同,以及发送结束时刻与接收结束时刻之间的差值小于第一预定阈值;或者发送开始时刻与接收开始时刻之间的差值小于第二预定阈值,以及发送结束时刻与接收结束时刻相同;或者发送开始时刻与接收开始时刻之间的差值小于第三预定阈值,以及发送结束时刻与接收结束时刻之间的差值小于第四预定阈值。
[0026] 作为一种可选的方案,该系统包括:第一同步单元包括:第三同步模块,第二同步单元包括:第四同步模块,其中,第三同步模块和第四同步模块用于在发送端和接收端之间进行信息交互,使得发送端发送多个原始音频码本的顺序与接收端接收多个原始音频码本的顺序相同。
[0027] 作为一种可选的方案,该系统包括:第一同步单元包括:第一GPS同步控制单元,第二同步单元包括:第二GPS同步控制单元,其中,第一GPS同步控制单元和第二GPS同步控制单元用于在发送端和接收端之间对原始音频码本的传输进行同步操作,其中,第一GPS同步控制单元和第二GPS同步控制单元均包括:GPS设备,GPS设备包括GPS天线和GPS接收模块,GPS天线用于传输以下至少之一:发送开始时刻、发送结束时刻、接收开始时刻、接收结束时刻;GPS接收模块用于接收以下至少之一:发送开始时刻、发送结束时刻、接收开始时刻、接收结束时刻。
[0028] 作为一种可选的方案,该系统还包括:第一响应单元包括:发送子模块,用于在发送端接收到第一指令信息时开始向接收端发送原始音频码本,其中,第一指令信息用于指示接收端准备好接收;第二响应单元包括:终止子模块,用于在发送端接收到第二指令信息时停止向接收端发送原始音频码本,其中,第二指令信息用于指示完成播放原始音频码本;第三响应单元包括:采集子模块,用于在接收端接收到第三指令信息时开始对发送端发送的原始音频码本进行采集,其中,第三指令信息用于指示接收端开始接收;第四响应单元包括:判断子模块,用于在接收端判断对发送端发送的原始音频码本进行采集的时长是否超过采集时长,若超过,则停止对发送端发送的原始音频码本进行采集。
[0029] 作为一种可选的方案,计算单元包括:第一计算模块,用于通过以下公式计算音频传输延时:Rxy(τ)为一个原始音频码本与对应的测试音频码本的互相关函数值,ts为接收端开始对发送端发送的原始音频码本进行采集的时刻,te为接收端停止对发送端发送的原始音频码本进行采集的时刻,t为每个采样点对应的时间信息,x(t)为原始音频码本中时刻为t时的采样点对应的能量值,τ为与x(t)中进行卷积的测试音频码本中的采样点的偏移量,y(t+τ)为测试音频码本中时刻为t+τ时的采样点的能量值,使用最大的互相关函数值对应的τ的取值表示音频传输延时。
[0030] 作为一种可选的方案,计算单元包括:第二计算模块,用于通过以下公式计算音频传输延时: 其中,TestValue(k)为对原始音频码本i与原始音频码本i第k次测量得到的对应的测试音频码本i求解得到的最大的互相关函数值所对应的延时值,延时值为第k次测量得到的最大的互相关函数值对应的τ取值除以第k次测量接收端采用的采样率信息所得到的时域值,采样率信息为原始音频码本i的头格式信息中的采样率,Delayi为原始音频码本i的平均音频传输延时,m为大于等于1的整数。
[0031] 作为一种可选的方案,计算单元还包括:第三计算模块,用于通过以下公式计算音频传输延时: 其中,Avg_Delay为n个原始音频码本的平均音频传输延时,n为大于等于1的整数。
[0032] 在本发明实施例中,采用同步的方式,将发送端及接收端同步操作,达到了避免回声问题及双向路径不对称的目的,从而实现了准确计算传输延时的技术效果,进而解决了现有技术中音频传输延时计算不准确的技术问题。

附图说明

[0033] 此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0034] 图1是根据现有技术的一种音频传输延时测量的示意图;
[0035] 图2是根据本发明实施例的一种可选的音频传输延时测量方法的流程图;
[0036] 图3是根据本发明实施例的一种可选的音频传输延时测量实施方式的示意图;
[0037] 图4是根据本发明实施例的另一种可选的音频传输延时测量方法的流程图;
[0038] 图5是根据本发明实施例的另一种可选的音频传输延时测量实施方式的示意图;
[0039] 图6是根据本发明实施例的又一种可选的音频传输延时测量实施方式的示意图;
[0040] 图7是根据本发明实施例的又一种可选的音频传输延时测量实施方式的示意图;
[0041] 图8是根据本发明实施例的又一种可选的音频传输延时测量实施方式的示意图;
[0042] 图9是根据本发明实施例的一种可选的音频传输延时测量装置的示意图;
[0043] 图10是根据本发明实施例的另一种可选的音频传输延时测量装置的示意图;
[0044] 图11是根据本发明实施例的又一种可选的音频传输延时测量装置的示意图;
[0045] 图12是根据本发明实施例的又一种可选的音频传输延时测量装置的示意图;以及
[0046] 图13是根据本发明实施例的又一种可选的音频传输延时测量装置的示意图。

具体实施方式

[0047] 首先,在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
[0048] 为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
[0049] 需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0050] 实施例1
[0051] 根据本发明实施例,提供了一种音频传输延时的测量方法,如图1所示,该方法包括:
[0052] S202,在发送端和接收端之间对待测的原始音频码本的传输进行同步操作,得到原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息;
[0053] 可选地,在对待测的原始音频码本的传输进行同步操作时,会得到用于控制原始音频码本发送及接收的开始与结束的指示信息。
[0054] 可选地,在本实施例中同步操作的装置包括但不限于:GPS的同步控制装置、信令控制服务器的同步控制装置。
[0055] 需要说明的是,上述同步操作是用于协商发送端音频播放的开启与停止及接收端音频采集的开启与停止的操作过程,即控制发送端开始或停止播放码本,并通知接收端开启或停止音频采集。
[0056] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。对两端的同步控制单元进行同步操作,得到对原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息。
[0057] S204,发送端响应发送开始指示信息开始向接收端发送待测的原始音频码本,响应发送结束指示信息停止向接收端发送原始音频码本,接收端响应接收开始指示信息开始对发送端发送的原始音频码本进行采集,并响应接收结束指示信息停止对发送端发送的原始音频码本进行采集;
[0058] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。当本地音频应用端接收到发送开始指示信息时,则向接收端发送待测的原始音频码本,例如,同步控制单元控制本地音频应用端开始播放音频(例如,Audio play);当本地音频应用端接收到发送结束指示信息,则停止向接收端发送原始音频码本,例如,同步控制单元控制本地音频应用端停止播放音频;当远端音频应用端接收到开始指示信息,则开始对本地音频应用端发送的原始音频码本进行采集,例如,同步控制单元控制开始采集本地音频应用端所播放的音频(例如,Audio Capture);当远端音频应用端接收到结束指示信息,则停止对本地音频应用端发送的原始音频码本进行采集,例如,同步控制单元控制停止采集本地音频应用端所播放的音频。
[0059] S206,根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时。
[0060] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。根据远端音频应用端所采集到的音频及预存的原始音频,进行比较估算,得到该音频的传输延时。
[0061] 通过本申请提供的实施例,使发送端音频的发送动作与接收端音频的采集动作精确同步,以使用于延时计算的原始音频码本与经过延迟传输并采集到的测试音频码本同步。
[0062] 作为一种可选方案,发送开始指示信息包括发送开始时刻、发送结束指示信息包括发送结束时刻、接收开始指示信息包括接收开始时刻、接收结束指示信息包括接收结束时刻。
[0063] 可选地,发送端响应发送开始指示信息开始向接收端发送待测的原始音频码本包括:发送端从发送开始时刻开始向接收端发送原始音频码本;其中,发送开始时刻为但不限于:音频开始播放的时刻。
[0064] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到发送开始指示信息,则在所指示的发送开始时刻,向远端音频应用端开始播放原始音频(例如,Audio play)。
[0065] 可选地,发送端响应发送结束指示信息停止向接收端发送原始音频码本包括:发送端在发送结束时刻停止向接收端发送原始音频码本;其中,发送结束时刻为但不限于:音频停止播放的时刻。
[0066] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到发送结束指示信息,则在所指示的发送结束时刻,向远端音频应用端停止播放原始音频。
[0067] 可选地,接收端响应接收开始指示信息开始对发送端发送的原始音频码本进行采集包括:接收端从接收开始时刻开始对发送端发送的原始音频码本进行采集;其中,接收开始时刻为但不限于:开始对音频采集的时刻。
[0068] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到接收开始指示信息,则在所指示的接收开始时刻,开始采集本地音频应用端所播放的原始音频。
[0069] 接收端响应接收结束指示信息停止对发送端发送的原始音频码本进行采集包括:接收端在接收结束时刻停止对发送端发送的原始音频码本进行采集;其中,接收结束时刻为但不限于:停止对音频采集的时刻。
[0070] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到接收结束指示信息,则在所指示的接收结束时刻,停止对本地音频应用端所播放的原始音频的采集。
[0071] 通过本申请提供的实施例,通过对发送端与接收端的开始时刻与结束时刻的指示,实现两端的精确同步,提高了延时计算的准确性。
[0072] 作为一种可选的方案,在本实施例中发送端与接收端的同步操作包括四种可选的判断方式:
[0073] 作为一种可选的判断方式,发送开始时刻与接收开始时刻相同,以及发送结束时刻与接收结束时刻相同。
[0074] 可选地,发送端及接收端的开始与停止的时刻分别相同,进而实现对音频码本的同步操作。例如,发送开始时刻为T1,接收开始时刻也为T1,发送结束时刻为T2,接收结束时刻也为T2。
[0075] 作为另一种可选的判断方式,发送开始时刻与接收开始时刻相同,以及发送结束时刻与接收结束时刻之间的差值小于第一预定阈值;
[0076] 可选地,发送端与接收端的开始时刻相同,发送端与接收端的结束时刻之间的差值小于第一预定阈值,进而实现对音频码本的同步操作。例如,发送开始时刻为T1,接收开始时刻也为T1,发送结束时刻为T2,接收结束时刻为T3,其中,第一预定阈值为A1,T3-T2
[0077] 作为又一种可选的判断方式,发送开始时刻与接收开始时刻之间的差值小于第二预定阈值,以及发送结束时刻与接收结束时刻相同;
[0078] 可选地,发送端与接收端的开始时刻之间的差值小于第二预定阈值,发送端与接收端的结束时刻相同,进而实现对音频码本的同步操作。例如,发送开始时刻为T1,接收开始时刻为T4,发送结束时刻为T2,接收结束时刻也为T2,其中,第二预定阈值为A2,T4-T1
[0079] 作为又一种可选的判断方式,发送开始时刻与接收开始时刻之间的差值小于第三预定阈值,以及发送结束时刻与接收结束时刻之间的差值小于第四预定阈值。
[0080] 可选地,发送端与接收端的开始时刻之间的差值小于第三预定阈值,发送端与接收端的结束时刻之间的差值小于第四预定阈值,进而实现对音频码本的同步操作。例如,发送开始时刻为T1,接收开始时刻为T5,发送结束时刻为T2,接收结束时刻为T6,T5-T1
[0081] 通过本申请提供的实施例,发送端与接收端的同步操作的判断方式不仅限于时刻完全相同,在两时刻之差小于允许的数值范围内的情况下,也可判断为实现同步操作。
[0082] 作为一种可选的方案,在发送端和接收端之间对待测的原始音频码本的传输进行同步操作还包括:
[0083] S402,在发送端和接收端之间进行信息交互,使得发送端发送多个原始音频码本的顺序与接收端接收多个原始音频码本的顺序相同。
[0084] 可选地,在本实施例中原始音频码本包括但不限于:一个或多个。其中,当原始音频码本为多个时,发送端发送的顺序与接收端接收的顺序相同。
[0085] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端所播放的音频顺序为S1,S2,S3,远端音频应用端采集音频的顺序也为S1,S2,S3,收发顺序相同,更便于使本地音频应用端与远端音频应用端实现精确同步,进而准确计算传输延时。
[0086] 作为一种可选的方案,在发送端和接收端之间对待测的原始音频码本的传输进行同步操作包括:通过设置在发送端的第一GPS同步控制单元和设置在接收端的第二GPS同步控制单元在发送端和接收端之间对原始音频码本的传输进行同步操作。
[0087] 可选地,在本实施例中第一GPS同步控制单元和第二GPS同步控制单元均包括:GPS设备,GPS设备包括GPS天线和GPS接收模块,GPS天线用于传输以下至少之一:发送开始时刻、发送结束时刻、接收开始时刻、接收结束时刻;GPS接收模块用于接收以下至少之一:发送开始时刻、发送结束时刻、接收开始时刻、接收结束时刻。
[0088] 例如,结合图5所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输,两端的同步控制单元为GPS同步控制单元。本地音频应用端通过GPS同步控制单元控制开始/停止播放码本(例如,Audio play),远端音频应用端通过GPS同步控制单元控制开始/停止对音频的采集(例如,Audio Capture)。
[0089] 进一步说明,GPS设备由天线及GPS接收模块组成,其硬件电路和处理软件通过对接收到的信号进行解码和处理,从中提取并输出两种信号,一种是间隔为1s的脉冲信号,其脉冲前沿与国际标准的格林尼治时间的同步误差不超过1us,即1pps;另一种为与脉冲前沿相对应的国际标准“年月日时分秒”信息。第一种信号通过GPS SDk开发包回调,通知同步控制单元读取GPS的时间信息;第二种信号通过GPS SDk开发包回调,提供精确时间得以控制是否开始对应音频的播放和采集。
[0090] 结合图6所示为基于GPS同步控制装置的具体同步处理流程,其中,本地音频应用端及远端音频应用端通过测试App实现音频的播放与采集,具体步骤如下:
[0091] S1,本地音频应用端到远端音频应用端都运行待测语音系统,并初始化每条码本的测试信息,包括码书的编号,每个码书的持续时间,每个码书间隔的时间,每个码本的开始测试时间;
[0092] S2,远程发送:测试发起端根据码本编号,向GPS同步控制单元发信号,读取GPS提供的时间,若读取到GPS设备提供的时间到了码本对应开始测试时间后,GPS同步控制单元向本地测试App发命令开始播放音频码本经由被测系统的处理过程后发送出去;
[0093] S3,远程接收:GPS同步控制单元根据GPS SDK接口查询到GPS设备提供的时间到测试时间以后,向测试App发送命令,打开远端采集被测音频系统的输出,接收端采集记录音频文件时,其采样率以所述接收到的发端发过来的音频码本编号对应本地码本索引表中的音频码本文件的采样率为准进行采集,当采集持续时间达到预先约定的时间后,接收端停止采集;将所采集到的测试音频码本与原始音频码本送入延时测量模块。
[0094] 通过本申请提供的实施例,基于GPS实现远距离或近距离的收发同步,并通过单向采集避免了路径不对称而影响延时准确性的问题,提高了延时测量的准确性。
[0095] 作为一种可选的方案,上述音频传输延时的测量方法还包括:发送开始指示信息包括用于指示接收端准备好接收的第一指令信息;发送结束指示信息包括用于指示完成播放原始音频码本的第二指令信息、接收开始指示信息包括用于指示接收端开始接收的第三指令信息、接收结束指示信息包括第二指令信息中携带的采集时长
[0096] 可选地,在本实施例中指令信息也可称为信令信息,其中,上述指令信息是基于信令控制服务器(SyncServer)实现传输的。可选的,基于信令控制服务器可以实现近距离的收发同步。
[0097] 可选地,发送端响应发送开始指示信息开始向接收端发送待测的原始音频码本包括:发送端接收到第一指令信息时开始向接收端发送原始音频码本;
[0098] 例如,结合图7所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到发送开始指示信息,即第一指令信息时,则根据所收到的第一指令信息,指示远端音频应用端准备好采集音频。
[0099] 可选地,发送端响应发送结束指示信息停止向接收端发送原始音频码本包括:发送端接收到第二指令信息时停止向接收端发送原始音频码本;
[0100] 例如,结合图7所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到发送结束指示信息,即第二指令信息时,则根据所收到的第二指令信息,指示远端音频应用端已完成播放原始音频。
[0101] 可选地,接收端响应接收开始指示信息开始对发送端发送的原始音频码本进行采集包括:接收端接收到第三指令信息时开始对发送端发送的原始音频码本进行采集;
[0102] 例如,结合图7所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。远端音频应用端接收到接收开始指示信息,即第三指令信息时,则根据所收到的第三指令信息,指示远端音频应用端开始采集原始音频。
[0103] 可选地,接收端响应接收结束指示信息停止对发送端发送的原始音频码本进行采集包括:接收端判断对发送端发送的原始音频码本进行采集的时长是否超过采集时长,若超过,则停止对发送端发送的原始音频码本进行采集。
[0104] 例如,结合图7所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。远端音频应用端接收到接收结束指示信息,其中,接收结束指示信息包括第二指令信息中所携带的采集时长Tt。
[0105] 进一步说明,结合图8所示,上述基于指令控制的同步控制装置的具体同步流程,其中,本地音频应用端及远端音频应用端通过测试App实现音频的播放与采集,具体步骤如下:
[0106] S1,本地音频应用端到远端音频应用端都运行待测语音系统,对应都开启同步测试控制客户端都成功登录到SyncServer,两端都登录成功后由SyncServer创建一个测试会话,会话中的两端分别用A端和B端标识。
[0107] S2,由任意一端(如A端)发起音频测试会话请求SyncRequest(请求中携带有码本编号信息),该请求经SyncServer控制端中转到另测试会话另一端(B端)。
[0108] S3,另一端(B端)收到测试会话请求SyncRequest后,初始化/打开音频采集资源设备,根据码本编号创建降级码本文件名/音频采样率,声道数/样本位数等头部信息,以记录被测系统音频输出信号,并返回准备好Sync Ok的确认信息经SyncServer中转给测试会话发起端(A端)。
[0109] S4,测试会话发起端(A端)收到SyncServer中转过来的对端准备好信令后,发送一条开始播放音频码本(Ok Begin Play)的信令给另一端(B端),并立即开启播放参考码本信号。此时播放的参考码本音频信号经被测音频系统的输入采集经其全流程(前端处理,编码,打包,网络传输,解包,解码,后处理,播放)处理后到另一端播放输出后,被另一端的测试控制客户端采集。
[0110] S5,另一端(B端)收到Ok Begin Play信令后立即开启音频内录采集被测音频系统的输出,并回送一条正在内录被测音频系统输出的信令(Is Inner Recording)给发起端(A).
[0111] S6,测试会话发起端(A端)播放完参考音频码本后即发一条Play Ended信令(其中携带测试码本的持续时长)给另一端(B端),另一端收到之后比对采集持续时长是否已到,采集时长到即停止对被测音频系统输出信号的采集,将输出最终录得的码本信号。
[0112] 通过本申请提供的实施例,基于指令的同步控制实现对发送端与接收端的同步操作,并采用了单向采集的方法,避免了影响延时准确性的路径不对称及回声的问题,提高了延时测量的准确性。
[0113] 作为一种可选的方案,根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时包括:
[0114]
[0115] 其中,Rxy(τ)为一个原始音频码本与对应的测试音频码本的互相关函数值,ts为接收端开始对发送端发送的原始音频码本进行采集的时刻,te为接收端停止对发送端发送的原始音频码本进行采集的时刻,t为每个采样点对应的时间信息,x(t)为原始音频码本中时刻为t时的采样点对应的能量值,τ为与x(t)中进行卷积的测试音频码本中的采样点的偏移量,y(t+τ)为测试音频码本中时刻为t+τ时的采样点的能量值,使用最大的互相关函数值对应的τ的取值表示音频传输延时。
[0116] 通过求解原始音频码本与所得测试音频码本之间最大互相关函数Rxy(τ)及其对应的下标τ值,对应除以参考音频码本的采样率信息即可估计得出延时值。
[0117] 可选地,在本实施例中延时计算采用的是求解音频信号互相关性的方法来求得音频延时,求解音频延时分为音频整体粗略延时Delay_crude+音频段内延时Delay_internal。整体粗略延时Delay_crude是对参考码本与经同步控制单元录制得到的音频输出码本整体最大互相关所得到的延时值,Delay_internal音频子段延时是在求得整体粗略延时的基础上,对码本中的音频信号进行音频子段划分和对齐,再求解参考码本中各音频子段对应于经同步控制单元录制得到的音频输出码本中音频子段的延时,最终求解的延时值为音频整体粗略延时Delay_crude+音频段内延时Delay_internal。
[0118] 可选地,也可通过如下公式对上述互相关函数值进行归一化求取归一化后的最大互相关系数值ρxy(τ)与对应的相标时间τ:
[0119]
[0120] 对于采样率高(≥44.1k,48k,96k)的音频播放码本场景延时评估,一帧码本文件本身的数据量可能会比较方便处理,先对码本音频文件以Tms的小窗口求取音频包络,再求取包络间的最大互相关值,求得相应的延时值t,具体步骤如下:
[0121] S1,以Tms对语音/音频信号加窗;
[0122] 可选地,在本实施例中所加的窗包括以下至少之一:汉明窗,汉宁窗,海明窗,三角窗,Bartlett窗、Kaiser窗等。
[0123] 例如,以窗函数为矩形窗为例,矩形窗函数如下:
[0124]
[0125] 第k帧加窗语音信号为:Xk(n)=w(n)*x(k*N+n)。其中第k帧信号Xk(n)的能量均值用E(k)表示:
[0126]
[0127] S2,每Tms帧求取该帧的包络信息值,包络信息就是对语音能量信号开方并归一化之后取对数,是语音短时能量变化的一种标识,第k帧语音信号的包络用Env(k)表示:
[0128]
[0129] S3,求取播放码本信号与录制得到的被测系统的降级信号间的包络的最大的互相关函数值及对应的时间τ;当高音质音频测量时,上述互相关函数或相关系数中的x(t)或y(t)对应置换成参考码本与测试码本加窗后求得的包络序列值,求得对应的延时样本位置,根据采样频率换算成时间即得延时值。
[0130] 作为一种可选的方案,根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时包括:
[0131]
[0132] 其中,TestValue(k)为对原始音频码本i与原始音频码本i第k次测量得到的对应的测试音频码本i求解得到的最大的互相关函数值所对应的延时值,延时值为第k次测量得到的最大的互相关函数值对应的τ取值除以第k次测量接收端采用的采样率信息所得到的时域值,采样率信息为原始音频码本i的头格式信息中的采样率,Delayi为原始音频码本i的平均音频传输延时,m为大于等于1的整数。
[0133] 作为一种可选的方案,根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本得到音频传输延时,还包括音频系统的整体平均延时:
[0134]
[0135] 其中,Avg_Delay为n个原始音频码本的平均音频传输延时,n为大于等于1的整数。
[0136] 通过本申请提供的实施例,由互相关函数计算采样点的能量值,进而实现了对音频传输延时的精确计算。
[0137] 需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
[0138] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
[0139] 实施例2
[0140] 根据本发明实施例,还提供了一种用于实施上述音频传输延时的测量的系统,如图9所示,该装置包括:
[0141] 1)位于发送端的第一同步单元902和位于接收端的第二同步单元903,用于在发送端和接收端之间对待测的原始音频码本的传输进行同步操作,得到原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息;
[0142] 可选地,在对待测的原始音频码本的传输进行同步操作时,会得到用于控制原始音频码本发送及接收的开始与结束的指示信息。
[0143] 可选地,在本实施例中同步操作的装置包括但不限于:GPS的同步控制装置、信令控制服务器的同步控制装置。
[0144] 需要说明的是,上述同步操作是用于协商发送端音频播放的开启与停止及接收端音频采集的开启与停止的操作过程,即控制发送端开始或停止播放码本,并通知接收端开启或停止音频采集。
[0145] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。对两端的同步控制单元进行同步操作,得到对原始音频码本的发送开始指示信息、发送结束指示信息、接收开始指示信息、接收结束指示信息。
[0146] 2)位于发送端的第一响应单元904,用于响应发送开始指示信息开始向接收端发送待测的原始音频码本;
[0147] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。当本地音频应用端接收到发送开始指示信息时,则向接收端发送待测的原始音频码本,例如,同步控制单元控制本地音频应用端开始播放音频(例如,Audio play)。
[0148] 3)位于发送端的第二响应单元906,用于响应发送结束指示信息停止向接收端发送原始音频码本;
[0149] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。当本地音频应用端接收到发送结束指示信息,则停止向接收端发送原始音频码本,例如,同步控制单元控制本地音频应用端停止播放音频。
[0150] 4)位于接收端的第三响应单元908,用于响应接收开始指示信息开始对发送端发送的原始音频码本进行采集;
[0151] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。当远端音频应用端接收到开始指示信息,则开始对本地音频应用端发送的原始音频码本进行采集,例如,同步控制单元控制开始采集本地音频应用端所播放的音频(例如,Audio Capture)。
[0152] 5)位于接收端的第四响应单元910,用于响应接收结束指示信息停止对发送端发送的原始音频码本进行采集;
[0153] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。当远端音频应用端接收到结束指示信息,则停止对本地音频应用端发送的原始音频码本进行采集,例如,同步控制单元控制停止采集本地音频应用端所播放的音频。
[0154] 6)位于接收端的计算单元912,用于根据接收端采集得到的测试音频码本以及接收端上预存的原始音频码本计算音频传输延时。
[0155] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。根据远端音频应用端所采集到的音频及预存的原始音频,进行比较估算,得到该音频的传输延时。
[0156] 通过本申请提供的实施例,使发送端音频的发送动作与接收端音频的采集动作精确同步,以使送入延时计算的音频原始音频码本与经过延迟传输过来的采集到的音频码本同步。
[0157] 作为一种可选的方案,如图10所示,该系统还包括:
[0158] 1)第一响应单元904包括:第一响应子模块1002,用于从发送开始时刻开始向接收端发送原始音频码本,其中,发送开始指示信息包括发送开始时刻;
[0159] 可选地,发送开始时刻为但不限于:音频开始播放的时刻。
[0160] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到发送开始指示信息,则在所指示的发送开始时刻,向远端音频应用端开始播放原始音频(例如,Audio play)。
[0161] 2)第二响应单元906包括:第二响应子模块1004,用于在发送结束时刻停止向接收端发送原始音频码本,其中,发送结束指示信息包括发送结束时刻;
[0162] 可选地,发送结束时刻为但不限于:音频停止播放的时刻。
[0163] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到发送结束指示信息,则在所指示的发送结束时刻,向远端音频应用端停止播放原始音频。
[0164] 3)第三响应单元908包括:第三响应子模块1006,用于从接收开始时刻开始对发送端发送的原始音频码本进行采集,其中,接收开始指示信息包括接收开始时刻;
[0165] 可选地,接收开始时刻为但不限于:开始对音频采集的时刻。
[0166] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到接收开始指示信息,则在所指示的接收开始时刻,开始采集本地音频应用端所播放的原始音频。
[0167] 4)第四响应单元910包括:第四响应子模块1008,用于在接收结束时刻停止对发送端发送的原始音频码本进行采集,其中,接收结束指示信息包括接收结束时刻。
[0168] 可选地,其中,接收结束时刻为但不限于:停止对音频采集的时刻。
[0169] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到接收结束指示信息,则在所指示的接收结束时刻,停止对本地音频应用端所播放的原始音频的采集。
[0170] 通过本申请提供的实施例,通过对发送端与接收端的开始时刻与结束时刻的指示,实现两端的精确同步,提高了延时计算的准确性。
[0171] 作为一种可选的方案,如图11所示,上述系统还包括:第一同步单元902包括:第一同步模块1102,第二同步单元903包括:第二同步模块1104,其中,第一同步模块1102和第二同步模块1104用于执行同步操作,以得到以下结果之一:
[0172] 可选地,发送端及接收端的开始与停止的时刻分别相同,进而实现对音频码本的同步操作。例如,发送开始时刻为T1,接收开始时刻也为T1,发送结束时刻为T2,接收结束时刻也为T2。
[0173] 可选地,发送端与接收端的开始时刻相同,发送端与接收端的结束时刻之间的差值小于第一预定阈值,进而实现对音频码本的同步操作。例如,发送开始时刻为T1,接收开始时刻也为T1,发送结束时刻为T2,接收结束时刻为T3,其中,第一预定阈值为A1,T3-T2
[0174] 可选地,发送端与接收端的开始时刻之间的差值小于第二预定阈值,发送端与接收端的结束时刻相同,进而实现对音频码本的同步操作。例如,发送开始时刻为T1,接收开始时刻为T4,发送结束时刻为T2,接收结束时刻也为T2,其中,第二预定阈值为A2,T4-T1
[0175] 可选地,发送端与接收端的开始时刻之间的差值小于第三预定阈值,发送端与接收端的结束时刻之间的差值小于第四预定阈值,进而实现对音频码本的同步操作。例如,发送开始时刻为T1,接收开始时刻为T5,发送结束时刻为T2,接收结束时刻为T6,T5-T1
[0176] 通过本申请提供的实施例,发送端与接收端的同步操作的判断方式不仅限于时刻完全相同,在两时刻之差小于允许的数值范围内的情况下,也可判断为实现同步操作。
[0177] 作为一种可选的方案,如图11所示,第一同步单元902还包括:第三同步模块1106,第二同步单元903包括:第四同步模块1108,其中,第三同步模块1106和第四同步模块1108,在发送端和接收端之间进行信息交互,使得发送端发送多个原始音频码本的顺序与接收端接收多个原始音频码本的顺序相同。
[0178] 可选地,在本实施例中原始音频码本包括但不限于:一个或多个。其中,当原始音频码本为多个时,发送端发送的顺序与接收端接收的顺序相同。
[0179] 例如,结合图3所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端所播放的音频顺序为S1,S2,S3,远端音频应用端采集音频的顺序也为S1,S2,S3,收发顺序相同,更便于使本地音频应用端与远端音频应用端实现精确同步,进而准确计算传输延时。
[0180] 作为一种可选的方案,如图12所示,第一同步单元902还包括:第一GPS同步控制单元1202,第二同步单元903包括:第二GPS同步控制单元1204,其中,第一GPS同步控制单元1202和第二GPS同步控制单元1204用于在发送端和接收端之间对原始音频码本的传输进行同步操作。
[0181] 可选地,在本实施例中第一GPS同步控制单元和第二GPS同步控制单元均包括:GPS设备,GPS设备包括GPS天线和GPS接收模块,GPS天线用于传输以下至少之一:发送开始时刻、发送结束时刻、接收开始时刻、接收结束时刻;GPS接收模块用于接收以下至少之一:发送开始时刻、发送结束时刻、接收开始时刻、接收结束时刻。
[0182] 例如,结合图5所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输,两端的同步控制单元为GPS同步控制单元。本地音频应用端通过GPS同步控制单元控制开始/停止播放码本(例如,Audio play),远端音频应用端通过GPS同步控制单元控制开始/停止对音频的采集(例如,Audio Capture)。
[0183] 进一步说明,GPS设备由天线及GPS接收模块组成,其硬件电路和处理软件通过对接收到的信号进行解码和处理,从中提取并输出两种信号,一种是间隔为1s的脉冲信号,其脉冲前沿与国际标准的格林尼治时间的同步误差不超过1us,即1pps;另一种为与脉冲前沿相对应的国际标准“年月日时分秒”信息。第一种信号通过GPSSDk开发包回调,通知同步控制单元读取GPS的时间信息;第二种信号通过GPS SDk开发包回调,提供精确时间得以控制是否开始对应音频的播放和采集。
[0184] 结合图6所示为基于GPS同步控制装置的具体同步处理流程,其中,本地音频应用端及远端音频应用端通过测试App实现音频的播放与采集,具体步骤如下:
[0185] S1,本地音频应用端到远端音频应用端都运行待测语音系统,并初始化每条码本的测试信息,包括码本(这里码本即为带音频头格式信息的语音/音频文件,其中头格式信息中包含采样频率,声道数,样本位数等),语音/音频文件的格式可以是wav,mp3,wma等带音频头的格式)的编号,每个码本的持续时间,每个码本间隔的时间,每个码本的开始测试时间;
[0186] S2,远程发送:测试发起端根据码本编号,向GPS同步控制单元发信号,读取GPS提供的时间,若读取到GPS设备提供的时间到了码本对应开始测试时间后,GPS同步控制单元向本地测试App发命令开始播放音频码本经由被测系统的处理过程后发送出去;
[0187] S3,远程接收:GPS同步控制单元根据GPS SDK接口查询到GPS设备提供的时间到测试时间以后,向测试App发送命令,打开远端采集被测音频系统的输出,当采集持续时间达到预先约定的时间后,接收端停止采集;将所采集到的测试音频码本与原始音频码本送入延时测量模块。
[0188] 通过本申请提供的实施例,基于GPS可以实现远距离或近距离的收发同步,并通过单向采集避免了上传/下载路径不对称而影响延时准确性的问题,同时单向采集可以避免回声环绕的给延时计算带来干扰和影响,提高了延时测量的准确性。
[0189] 作为一种可选的方案,如图13所示,该系统还包括:
[0190] 1)第一响应单元904包括:发送子模块1302,用于在接收到第一指令信息时开始向接收端发送原始音频码本,其中,第一指令信息用于指示接收端准备好接收;
[0191] 可选地,在本实施例中指令信息也可称为信令信息,其中,上述指令信息是基于信令控制服务器(SyncServer)实现传输的。可选的,基于信令控制服务器可以实现近距离的收发同步。
[0192] 例如,结合图7所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到发送开始指示信息,即第一指令信息时,则根据所收到的第一指令信息,指示远端音频应用端准备好采集音频。
[0193] 2)第二响应单元906包括:终止子模块1304,用于在接收到第二指令信息时停止向接收端发送原始音频码本,其中,第二指令信息用于指示完成播放原始音频码本;
[0194] 例如,结合图7所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。本地音频应用端接收到发送结束指示信息,即第二指令信息时,则根据所收到的第二指令信息,指示远端音频应用端已完成播放原始音频。
[0195] 3)第三响应单元908包括:采集子模块1306,用于在接收到第三指令信息时开始对发送端发送的原始音频码本进行采集,其中,第三指令信息用于指示接收端开始接收;
[0196] 例如,结合图7所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。远端音频应用端接收到接收开始指示信息,即第三指令信息时,则根据所收到的第三指令信息,指示远端音频应用端开始采集原始音频。
[0197] 4)第四响应单元910包括:判断子模块1308,用于判断对发送端发送的原始音频码本进行采集的时长是否超过采集时长,若超过,则停止对发送端发送的原始音频码本进行采集。
[0198] 例如,结合图7所示,发送端为本地音频应用端,接收端为远端音频应用端,本地音频应用端通过传输网络实现对远端音频应用端的原始音频码本的传输。远端音频应用端接收到接收结束指示信息,其中,接收结束指示信息包括第二指令信息中所携带的采集时长Tt。
[0199] 进一步说明,结合图8所示,上述基于指令控制的同步控制装置的具体同步流程,其中,本地音频应用端及远端音频应用端通过测试App实现音频的播放与采集,具体步骤如下:
[0200] S1,本地音频应用端到远端音频应用端都运行待测语音系统,对应都开启同步测试控制客户端都成功登录到SyncServer,两端都登录成功后由SyncServer创建一个测试会话,会话中的两端分别用A端和B端标识。
[0201] S2,由任意一端(如A端)发起音频测试会话请求SyncRequest(请求中携带有码本编号信息),该请求经SyncServer控制端中转到另测试会话另一端(B端)。
[0202] S3,另一端(B端)收到测试会话请求SyncRequest后,初始化/打开音频采集资源设备,根据码本编号创建降级码本文件名/音频采样率,声道数/样本位数等头部信息,以记录被测系统音频输出信号,并返回准备好Sync Ok的确认信息经SyncServer中转给测试会话发起端(A端)。
[0203] S4,测试会话发起端(A端)收到SyncServer中转过来的对端准备好信令后,发送一条开始播放音频码本(Ok Begin Play)的信令给另一端(B端),并立即开启播放参考码本信号。此时播放的参考码本音频信号经被测音频系统的输入采集经其全流程(前端处理,编码,打包,网络传输,解包,解码,后处理,播放)处理后到另一端播放输出后,被另一端的测试控制客户端采集。
[0204] S5,另一端(B端)收到Ok Begin Play信令后立即开启音频内录采集被测音频系统的输出,并回送一条正在内录被测音频系统输出的信令(Is Inner Recording)给发起端(A).
[0205] S6,测试会话发起端(A端)播放完参考音频码本后即发一条Play Ended信令(其中携带测试码本的持续时长)给另一端(B端),另一端收到之后比对采集持续时长是否已到,采集时长到即停止对被测音频系统输出信号的采集,将输出最终录得的码本信号。
[0206] 通过本申请提供的实施例,基于指令的同步控制实现对发送端与接收端的同步操作,并采用了单向采集的方法,避免了影响延时准确性的路径不对称及回声的问题,提高了延时测量的准确性。
[0207] 作为一种可选的方案,计算单元912包括:第一计算模块,用于通过以下公式计算所述音频传输延时:
[0208]
[0209] 其中,Rxy(τ)为一个原始音频码本与对应的测试音频码本的互相关函数值,ts为接收端开始对发送端发送的原始音频码本进行采集的时刻,te为接收端停止对发送端发送的原始音频码本进行采集的时刻,t为每个采样点对应的时间信息,x(t)为原始音频码本中时刻为t时的采样点对应的能量值,τ为与x(t)中进行卷积的测试音频码本中的采样点的偏移量,y(t+τ)为测试音频码本中时刻为t+τ时的采样点的能量值,使用最大的互相关函数值对应的τ的取值表示音频传输延时。
[0210] 通过求解原始音频码本与所得测试音频码本之间最大互相关函数Rxy(τ)及其对应的下标τ值,对应除以音频码本的采样率信息即可估计得出延时值。
[0211] 可选地,在本实施例中延时计算采用的是求解音频信号互相关性的方法来求得音频延时,求解音频延时分为音频整体粗略延时Delay_crude+音频段内延时Delay_internal。整体粗略延时Delay_crude是对参考码本与经同步控制单元录制得到的音频输出码本整体最大互相关所得到的延时值,Delay_internal音频子段延时是在求得整体粗略延时的基础上,对码本中的音频信号进行音频子段划分和对齐,再求解参考码本中各音频子段对应于经同步控制单元录制得到的音频输出码本中音频子段的延时,最终求解的延时值为音频整体粗略延时Delay_crude+音频段内延时Delay_internal。
[0212] 可选地,也可通过如下公式对上述互相关函数值进行归一化求取归一化后的最大互相关系数值ρxy(τ)与对应的相标时间τ:
[0213]
[0214] 对于采样率高(≥44.1k,48k,96k等)的音频播放码本场景延时评估,一帧码本文件本身的数据量可能会比较方便处理,先对码本音频文件以Tms的小窗口求取音频包络,再求取包络间的最大互相关值,求得相应的延时值t,具体步骤如下:
[0215] S1,以Tms对语音/音频信号加窗;
[0216] 可选地,在本实施例中所加的窗包括以下至少之一:汉明窗,汉宁窗,海明窗,三角窗,Bartlett窗、Kaiser窗。
[0217] 例如,以窗函数为矩形窗为例,矩形窗函数如下:
[0218]
[0219] 第k帧加窗语音信号为:Xk(n)=w(n)*x(k*N+n)。其中第k帧信号Xk(n)的能量均值用E(k)表示:
[0220]
[0221] S2,每Tms帧求取该帧的包络信息值,包络信息就是对语音能量信号开方并归一化之后取对数,是语音短时能量变化的一种标识,第k帧语音信号的包络用Env(k)表示:
[0222]
[0223] S3,求取播放码本信号与录制得到的被测系统的降级信号间的包络的最大的互相关函数值及对应的时间τ;当播放码本信号为高音质时,上述互相关函数或相关系数中的x(t)或y(t)对应置换成参考码本与测试码本加窗后的包络值,求得对应的延时样本位置,根据采样频率换算成时间即得延时值。
[0224] 作为一种可选的方案,计算单元912包括:第二计算模块,用于通过以下公式计算所述音频传输延时:
[0225]
[0226] 其中,TestValue(k)为对原始音频码本i与原始音频码本i第k次测量得到的对应的测试音频码本i求解得到的最大的互相关函数值所对应的延时值,延时值为第k次测量得到的最大的互相关函数值对应的τ取值除以第k次测量接收端采用的采样率信息所得到的时域值,采样率信息为原始音频码本i的头格式信息中的采样率,Delayi为原始音频码本i的平均音频传输延时,m为大于等于1的整数。
[0227] 作为一种可选的方案,计算单元912包括:第三计算模块,用于通过以下公式计算所述音频传输延时:
[0228]
[0229] 其中,Avg_Delay为n个原始音频码本的平均音频传输延时,n为大于等于1的整数。
[0230] 通过本申请提供的实施例,由互相关函数计算采样点的能量值,进而实现了对音频传输延时的精确计算。
[0231] 可选地,在上述实施例中,上述音频传输延时的测量的系统可以适用于近距离通信。
[0232] 上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0233] 在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0234] 在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0235] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0236] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0237] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0238] 以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。