基于ASF数据融合技术获得可定位流媒体的方法转让专利

申请号 : CN200810024763.4

文献号 : CN101272397B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 闾国年丰江帆刘学军

申请人 : 南京师范大学

摘要 :

本发明公开了基于ASF数据融合技术获得可定位流媒体的方法,其步骤为:获取视频音频信息和空间定位信息;将其传输到安装微软WME开发包的计算机;使用ASF流媒体文件作为可定位数字视频采集与编码的容器,通过在ASF文件头对象中实时添加脚本命令对象存储空间定位信息;视频信息和音频信息按照MPGE-4方式进行压缩编码分别存储于ASF数据对象中;利用ASF内部时间轴以及视频信息、音频信息和空间定位信息之间的时域约束关系,在ASF内部时间轴上选取参考点,完成视频信息、音频信息和空间定位信息的同步,实现视频信息、音频信息和空间定位信息的实时自动融合,形成可定位流媒体文件。本发明将空间定位信息添加给ASF容器进行记录,无需占用音频信道,使可定位视频的音频信息得以保留。

权利要求 :

1.一种基于ASF数据融合技术获得可定位流媒体的方法,其步骤为:

第一步、信息获取:采用数码摄像设备获取视频音频信息,采用GPS接收机获取空间定位信息;

第二步、基于ASF的信息融合:视频音频信息、空间定位信息通过计算机外部设备接口传输到安装微软WME开发包的计算机;使用开发包中的ASF流媒体文件作为可定位数字视频采集与编码的容器,通过在ASF流媒体文件文件头对象中实时添加脚本命令对象存储空间定位信息;视频信息和音频信息按照MPGE-4方式进行压缩编码分别存储于ASF数据对象中;利用ASF内部时间轴以及视频信息、音频信息和空间定位信息之间的时域约束关系,在ASF内部时间轴上选取参考点,完成视频信息、音频信息和空间定位信息的同步,实现视频信息、音频信息和空间定位信息的实时自动融合,形成可定位流媒体文件。

2.根据权利要求1所述基于ASF数据融合技术获得可定位流媒体的方法,其特征是:

所述空间定位信息是GPS定位信息;

所述第二步基于ASF的信息融合的具体步骤为:

(a)启动主线程,利用WME开发包中的IWMEncSourceGroupCollection接口建立一个多媒体组,相当于建立一个容器,然后通过IWMEncSource接口分别新建视频信息、音频信息以及空间定位信息脚本三个对象;

(b)启动主线程的同时,新建一个线程,用以实时获取GPS定位信息;

(c)编码程序分别捕获数码摄像设备以及GPS接收机采集的视频信息、音频信息、GPS定位信息;根据用户应用需要分别设置视频、音频的码率,然后利用WMEncoder接口以MPEG-4的方式进行视频音频压缩编码,GPS定位信息按GPS接收机回发的标准格式以用户自定义的文本格式记录;

(d)将视频音频压缩结果以及GPS定位信息分别存入上述的视频信息、音频信息以及空间定位信息三个对象中;三个对象之间的同步由开发包内部自动完成,这样就形成了可定位流媒体文件。

3.根据权利要求1或2所述基于ASF数据融合技术获得可定位流媒体的方法,其特征是:在不损失音频信息的条件下,实现视频、音频和空间定位信息的融合。

说明书 :

技术领域

本发明涉及一种将视频音频信息与空间信息进行整合获取可定位流媒体的方法,具体说,是一种基于ASF数据融合技术获得可定位流媒体的方法。

背景技术

近年来,多媒体技术开始引起GIS领域的关注。众所周知,视频所描绘的地理空间具有很强的真实感,能够提供易于理解的地理空间信息,使人们利用信息的方式更加自然,而且无需进行复杂的几何建模,已经成为GIS领域一个新的发展方向。但是,视频本身并没有空间地物的位置和属性信息,因此它通常只能作为空间实体的一种属性信息来存储和调用,难以在GIS的空间参考体系和视频像空间之间建立映射关系,这样,在应用方面具有很大的局限性。
应用实践中,已经有一些学者尝试将视频信息与空间信息进行整合。Berry在文章“基于视频GIS的位置和时间获取”(Capture“Where”and“When”onVideo-Based GIS,Geoworld,2000(9):26-27;《地学世界》期刊,2000年第9期,26-27)中提出了视频地图系统,即在视频的一个声道中记录精确的位置和时间数据,并提出了数据的外业采集、内业处理与实际应用方案。《基于视频图像的既有线路地理信息系统》(唐冰、周美玉,铁路计算机应用,2001,10(11))提出了铁路沿线视频影像与空间信息集成的技术方案与实现方法,在里程与视频之间可以建立映射关系,特别讨论了如何进行里程校正,但是由于没有建立线性参照体系,方案计算复杂。Navarrete和Blat主持的VideoGIS项目中(视频GIS:基于地理信息的视频分段与检索,第5届AGILE(欧洲地理信息联合会)地理信息科学会议论文集,西班牙,帕尔玛,2002年4月25日-27日.VideoGIS:segmenting and indexing video based on geographic information,5th AGILEConference on Geographic Information Science,Palma,Spain,April25th-27th,2002),将视频影像和空间信息相结合,即建立视频片断的地理索引,生成能在地理环境中调用的超视频(Hypervideo)。另一方面,Hwang等提出了MPEG-7元数据方案用于位置相关服务(Hwang T H,Choi K H,Joo I H,Lee J H.MPEG-7metadata for video-based GIS applications.IGARSS′03Proceedings,Toulouse,France,21-25July2003;MPEG-7元数据用于视频GIS应用服务,2003年IGARSS(国际地球科学与遥感)学术会议论文集,法国图卢兹,2003年7月21-25日);Joo等从视频影像元数据概念,实现地图与视频影像的相互参照,用于支持GIS与视频影像的交互操作(Joo I H,Hwang T H,Choi K H.Generation of videometadata supporting video-GIS integration.ICIP′04Proceedings,Oct24-27,2004,Singapore.支持视频与GIS集成的视频元数据生成,2004年ICIP(国际图像处理学术会议)论文集,新加坡,2004年10月24-27日)。孔云峰提出了一个公路视频GIS的基本数据模型,即将地理位置(XY)、公路里程(M)、视频时间或帧(T)数据进行集成(孔云峰,一个公路视频GIS的设计与实现,公路,2007,1)。近年,北京世纪乐图数字技术有限公司自主开发了一套视频采集+GPS信息无线传输的软硬件系统(http://www.lotoo.cn.c-ps.net,2008-4-24),用于城市综合执法、警方巡逻、数字城市等无线监控领域,监管中心不但可以通过GPS信息来监控和管理的执法者位置,而且可以通过视频了解现场情况。
综上所述,我们总结出视频信息与空间定位信息的集成方案主要有两种方式:(1)将空间定位信息存放在视频文件的音频信道中;(2)将空间信息、视频帧时间信息之间的关联关系以元数据的方式记录于一文件中,以此建立空间信息与视频文件的关系。以上两种方案虽能建立视频信息与空间定位信息之间的关联关系,但存在以下几点不足之处:1、第一种方案在视频采集的过程中,必须采用昂贵的专业设备(GPS卫星接收机、调制解调器、专业录象机)实时将空间位置(指经纬度坐标)、方位等空间定位信息进行音频调制,并存储在视频数据的一个声道中;但这样会提高采集终端的编码负担,而且需要使用专用的软件包进行后期处理,才能解调存储在音频信道中的空间信息,不但专业性强、操作复杂,而且视频文件损失了音频信息。2、第二种方案较之第一种方案虽实现简单,但是需要外部索引文件建立视频、音频与空间定位信息之间时域约束关系,而且分开存储视频和空间信息不利于管理。3、乐图公司虽然很好的实现了空间定位信息与视频信息结合,但需要购买他们的软硬件系统,他们主要用户主要针对政府监管部门,不具有大众普及性。
1997年微软公司推出了高级流媒体格式ASF(Advanced Streaming Format),其目的在于为工业范围内的多媒体协同工作能力提供基础。微软将ASF定义为同步媒体的统一容器文件格式。它是一种数据格式,能将音频、视频、图像以及控制命令脚本等多媒体信息有效的组织起来,通过ASF文件内部一个共同的时间轴,达到各媒体文件之间的同步。ASF逻辑上由三个高层对象组成:头对象(Header Object)、数据对象(Data Object)和索引对象(Index Object)。其内部结构为(如图1)。头对象,它是必需的,必须放在ASF文件的开头。头对象提供了存储在数据对象中的多媒体数据的全局信息,其中脚本命令对象在ASF文件与其他媒体间的同步上起到了关键的作用。数据对象,它也是必需的,一般紧跟在头对象之后,包含ASF文件中所有的多媒体数据。索引对象。它是可选的,包含一个嵌入ASF文件多媒体数据的基于时间的索引。它在提供随机点time line播放时非常有用,一定要摆在所有物体之后。ASF文件采用基于时间轴的同步模型将各种媒体进行同步。由于ASF其本身的设计目的和文件格式的特点,ASF文件内部的多媒体之间同步问题已经解决相当好,可以把不同类型的媒体信息集成到一个ASF文件中,这样利用ASF文件内部统一的时间轴来完成多种媒体的同步。ASF数据融合技术为本发明提供了技术基础。

发明内容

本发明所要解决的技术问题在于,为克服现有技术对视频添加空间定位信息方法不能实时自动编码、需要占用音频信道的不足,以及考虑到大众普及性问题,提出一种基于ASF数据融合技术获得可定位流媒体的方法,该方法将视频信息、音频信息和空间定位信息实时自动融合,形成真正的可定位流媒体文件。
本发明的基本思路:用数码摄像机获取视频音频信息,用GPS接收机获取空间定位信息,据此,应用ASF数据融合技术将空间定位信息和视音频信息整合到一个流媒体文件中,应用此方案我们可以仅利用一台普通数码摄像机(或摄像头),一台笔记本、一部GPS卫星接收机就能为采集的视频添加上空间定位信息。其主要实施原理为:使用ASF作为可定位数字视频采集与编码的容器,通过在ASF文件头对象中实时添加脚本命令对象来存储由GPS卫星接收机接收到的空间定位信息。视频信息和音频信息按照MPGE-4方式进行压缩编码。最终把视频信息、音频信息和空间定位信息在ASF容器内部组织起来。利用ASF内部时间轴,以及视频信息、音频信息和空间定位信息之间的时域约束关系,在ASF内部时间轴上选取参考点,完成视频信息、音频信息和空间定位信息的同步。实现视频信息、音频信息和空间定位信息的实时自动融合,形成真正的可定位流媒体文件。
本发明基于ASF数据融合技术获得可定位流媒体的基本步骤为:
第一步、信息获取:采用数码摄像设备(如,普通数码摄像机或摄像头)获取视频音频信息,采用GPS接收机获取空间定位信息;
第二步、基于ASF的信息融合:视频音频信息、空间定位信息通过计算机外部设备接口传输到安装微软WME(Windows Media Encoder)开发包的计算机;使用开发包中的ASF流媒体文件作为可定位数字视频采集与编码的容器,通过在ASF文件头对象中实时添加脚本命令对象存储空间定位信息;视频信息和音频信息按照MPGE-4方式进行压缩编码分别存储于ASF数据对象中;利用ASF内部时间轴以及视频信息、音频信息和空间定位信息之间的时域约束关系,在ASF内部时间轴上选取参考点,完成视频信息、音频信息和空间定位信息的同步,实现视频信息、音频信息和空间定位信息的实时自动融合,形成真正的可定位流媒体文件。
第二步所述基于ASF的信息融合的具体步骤为:
(1)启动主线程,利用WME开发包中的IWMEncSourceGroupCollection接口建立一个多媒体组,相当于建立一个容器,然后通过IWMEncSource接口分别新建视频信息、音频信息以及空间定位信息脚本三个对象;
(2)启动主线程的同时,新建一个线程,用以实时获取GPS定位信息;
(3)编码程序分别捕获数码摄像设备以及GPS接收机采集的视频信息、音频信息、GPS定位信息;根据用户应用需要分别设置视频、音频的码率,然后利用WMEncoder接口以MPEG-4的方式进行视频音频压缩编码,GPS定位信息按GPS接收机回发的标准格式以用户自定义的文本格式记录;
(4)将视频音频压缩结果以及GPS信息分别存入上述的视频信息、音频信息以及空间定位信息三个对象中;三个对象之间的同步由开发包内部自动完成,这样就形成了可定位视频ASF文件。
所述(1)中的IWMEncSourceGroupCollection接口的功能是:包含一个枚举型的源组,源组包括同步的要编码的多媒体流,它必须包含一个音频流,并且可以再包括一个视频或者脚本;用户可以创建多个源组,但是在同一时刻只能有一个源组被编码。
所述(1)中的IWMEncSource接口的功能是:用于管理特定的,从外部设备获取的多媒体流,并作为一个对象加入到源组中。
所述(3)中的WMEncoder接口的功能是:用于创建或销毁一个编码进程。
所述(3)中的GPS接收机回发的标准格式是:NMEA-0183。NMEA协议是由美国国家海洋电子协会(NMEA-The National Marine Electronics Association)制定的、为了在不同的GPS导航设备中建立统一的RTCM(海事无线电技术委员会)标准,有0180、0182和0183三种格式,其中0183是目前GPS使用最为广泛的一种数据格式。
可定位流媒体在电子地图上的定位:利用支持ASF流媒体的播放器对可定位流媒体进行播放,播放视频的同时,提取相应时刻的GPS定位信息,并在电子地图上显示可定位流媒体拍摄的位置。
所述的ASF流媒体播放器是:能够进行ASF格式的多媒体播放器,如WindowsMedia Player。
本发明方法通过在ASF文件的头对象中添加脚本命令对象,以用户自定义的方式将空间定位信息添加给ASF容器进行记录,而无需占用音频信道,使可定位视频的音频信息得以保留。使用一个统一的时间轴实现视频信息、音频信息与空间定位信息的实时融合,形成真正的可定位视频流。不占用音频信道,实现空间定位信息的自动无损嵌入,避免了空间信息的再编码,使视频带有定位功能。

附图说明

图1是ASF内部结构图;
图2是本发明基于ASF数据融合技术获得可定位地图的方法流程示意图;
图3是空间定位信息与视频音频信息合成流程图;
图4是播放可定位视频ASF文件流程图;

具体实施方式

下面结合附图和实施例,对本发明作进一步详细说明。
实施例:
第一步:相关设备准备。准备一台索尼UX17型便携式笔记本以及一台Rikaline GPS-6033型蓝牙GPS卫星接收机。索尼UX17笔记本具有内置摄像头、内置录音设备以及具有蓝牙通信功能;GPS接收机具有蓝牙通信功能。
第二步:可定位流媒体融合。
1)运行索尼便携式笔记本上ASF视频编码程序,进行摄像头、录音设备的初始化,并开启笔记本上蓝牙功能,同时打开蓝牙GPS接收机。
2)ASF视频编码程序开始运行,具体参照附图3,步骤如下:
(1)启动主线程,利用WME开发包中的IWMEncSourceGroupCollection接口建立一个多媒体组,相当于建立一个容器,然后通过IWMEncSource接口分别新建视频信息、音频信息以及空间定位信息脚本三个对象。
(2)启动主线程的同时,新建一个线程,用以实时获取GPS定位信息。
(3)编码程序分别捕获摄像头、录音设备以及GPS接收机采集的视频信息、音频信息、GPS定位信息。根据用户应用需要分别设置视频、音频的码率(本例中视频码率为300k,音频为48k),然后利用WMEncoder接口以MPEG-4的方式进行视频音频压缩编码,GPS定位信息按Rikaline GPS-6033型蓝牙GPS卫星接收机回发的NMEA0813标准格式以用户自定义的文本格式记录。
(4)将视频音频压缩结果以及GPS信息的文本分别存入上述的视频信息、音频信息以及空间定位信息三个对象中。三个对象之间的同步由开发包内部自动完成,这样就形成了可定位流媒体ASF文件。
上述(1)-(4)步中的程序运行主要伪代码如下:
IWMEncSourceGroupCollection SrcGrpColl;
//通过IWMEncSourceGroupCollection建立一个名为SrcGrpColl的源组
WMEncoder Encoder=new WMEncoder();
//实例化一个名为Encoder的编码器
SrcGrp=SrcGrpColl.Add;
//为SrcGrpColl源组创建一个SrcGrp实例
SrcVid=SrcGrp.AddSource(“视频采集设备”);
SrcVid.SetInput(″从视频采集设备获取的视频信息″);
//获取一个名为SrcVid的视频数据源
SrcAud=SrcGrp.AddSource(“音频采集设备”);
SrcAud.SetInput(″从视频采集设备获取的音频信息″);
//获取一个名为SrcAud的音频数据源
SrcScript=SrcGrp.AddSource(“通过串口通信的蓝牙GPS设备”);
SrcScript.SetInput(″通过串口通信获取的GPS数据);
//获取一个名为SrcScript的脚本数据源
Encoder.Start();
//进行视频、音频以及空间定位信息融合
所述(4)中的用户自定义格式指:GPS信息包括时间、经纬度、大地高、移动速度、移动方向、卫星数、各卫星号、各卫星信号情况,各卫星高度角和方位角等参数信息,这些信息可通过NMEA-0183解析得到(曹婷婷,高玉,GPS中NMEA-0183协议的应用,电子工程师,2006,32(10):8-11)。根据用户不同的需求,所要用到的参数信息也不同。用户可以筛选出有用的参数信息,以自己定义的格式(例如参数间以逗号或分号隔开)在脚本对象中进行存储。在提取GPS参数时亦要根据用户自定义的格式进行解析。
可定位流媒体在电子地图上的定位:可定位流媒体在电子地图上的定位,具体参照附图4,步骤如下:
(1)采用Windows Media Player播放器打开可定位流媒体ASF文件进行播放。(2)判断当前播放器的刘媒体的播放时间与ASF文件脚本命令对象触发命令的时间是否一致,如果一致,则从脚本命令对象中提取出本时刻的GPS信息,通过GPS格式解析获取当前位置坐标,并显示在相应的电子地图上。(3)如果不一致,则判断是否播放到文件尾,如果是,则转(4)结束播放,如果不是,则继续播放视频,转(2)继续判断。(4)结束文件播放。