一种机顶盒数据采集系统及数据采集方法专利检索-数据采集信号处理专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

一种机顶盒数据采集系统及数据采集方法

阅读：41发布：2021-03-03

IPRDB可以提供一种机顶盒数据采集系统及数据采集方法专利检索，专利查询，专利分析的服务。并且本发明提供了一种机顶盒数据采集系统，包括机顶盒，内置埋点程序，用于将需要采集的数据发送到数据采集服务器集群；数据采集服务器集群，包括前端接收服务器和后端采集数据服务器，前端接收服务器用于接收机顶盒传输的数据并且分发给后端采集数据服务器，用于保存收集到的数据；日志分发服务器，用于将数据分发到不同的应用。本发明通过布置采集服务器集群，保证采集服务器不间断服务，并且集群可以在线扩展；采用JSON格式保存数据，每种数据业务都有特定的格式，但是存储上还是只有一行，数据业务扩展性强，并且采用中心节点分发数据给各应用的方式，在应用级别上进行扩展，解决了IPTV业务类型多的问题。，下面是一种机顶盒数据采集系统及数据采集方法专利的具体信息内容。

权利要求

1.一种机顶盒数据采集系统，其特征在于：包括机顶盒，内置埋点程序，用于将需要采集的数据发送到数据采集服务器集群；

数据采集服务器集群，包括前端接收服务器和后端采集数据服务器，前端接收服务器用于接收机顶盒传输的数据并且分发给后端采集数据服务器，后端采集数据服务器，用于保存收集到的数据；

日志分发服务器，用于将数据分发到不同的应用。

2.根据权利要求1所述的一种机顶盒数据采集系统，其特征在于：所述机顶盒数据采集系统数据采用JSON格式保存。

3.根据权利要求1所述的一种机顶盒数据采集系统，其特征在于：所述前端接收服务器为负载均衡器。

4.利用机顶盒数据采集系统进行数据采集的方法，其特征在于，包括如下步骤：(1)机顶盒应用程序中嵌入埋点程序；

(2)用户操作机顶盒，触发埋点程序采集数据，机顶盒将采集的数据发送到数据采集服务器集群；

(3)前端接收服务器根据分发策略将数据转发到后端采集数据服务器；

(4)采集数据服务器将数据传输至日志分发服务器；

(5)日志分发服务器根据配置将数据分发到不同的应用；

(6)各应用服务器将相应的日志进行接收。

5.根据权利要求4所述的利用机顶盒数据采集系统进行数据采集的方法，其特征在于：所述步骤(3)中负载均衡器接受服务的所有入站客户端请求，并根据调度算法决定哪个集群节点应该处理回复请求，把请求分配到不同服务器上。

6.根据权利要求4所述的利用机顶盒数据采集系统进行数据采集的方法，其特征在于：所述步骤(5)具体包括如下步骤：(a)采集服务器接收日志后将日志直接保存在本地文件中；

(b)部署FLUME服务对日志进行监控；

(c)日志出现变化后将增量日志推送到日志分发服务器；

(d)日志分发服务器部署WEB服务进行不同应用的转发。

说明书全文

一种机顶盒数据采集系统及数据采集方法

技术领域

[0001] 本发明属于计算机技术领域，尤其是涉及一种机顶盒数据采集系统及数据采集方法。

背景技术

[0002] IPTV是集成了点播、直播、回看、增值业务和应用的综合类收视平台，需要对整个IPTV进行收视分析，就必须记录用户的所有操作记录，再对操作记录进行数据分析，达到辅助收视决策的效果。

[0003] 现有技术的技术方案一般是利用服务器接收操作记录，根据操作记录上的时间用于计算收视指标。

[0004] 然而现有技术存在如下缺点：

[0005] 1、普通数据采集如果采集数据的发送失败，不会影响用户浏览界面，而机顶盒浏览器版本多，大部分浏览器如果与采集服务器连接不上，发送数据时会导致界面黑屏，造成播出事故，并严重影响用户体验，现有技术在采集服务的可靠性上较差。

[0006] 2、IPTV业务类型多，采用传统的数据采集保存格式容易受到限制，业务扩展性不够。

发明内容

[0007] 有鉴于此，本发明旨在提出一种机顶盒数据采集系统及数据采集方法，以解决数据采集可靠性问题以及业务扩展问题。

[0008] 为达到上述目的，本发明的技术方案是这样实现的：

[0009] 一种机顶盒数据采集系统，包括

[0010] 机顶盒，内置埋点程序，用于将需要采集的数据发送到数据采集服务器集群；

[0011] 数据采集服务器集群，包括前端接收服务器和后端采集数据服务器，前端接收服务器用于接收机顶盒传输的数据并且分发给后端采集数据服务器，后端采集数据服务器，用于保存收集到的数据；

[0012] 日志分发服务器，用于将数据分发到不同的应用。

[0013] 进一步的，所述机顶盒数据采集系统数据采用JSON格式保存。

[0014] 进一步的，所述前端接收服务器为负载均衡器。

[0015] 相对于现有技术，本发明所述的一种机顶盒数据采集系统具有以下优势：

[0016] (1)本发明通过布置采集服务器集群，保证采集服务器不间断服务，并且集群可以在线扩展；

[0017] (2)采用JSON格式保存数据，每种数据业务都有特定的格式，但是存储上还是只有一行，数据业务扩展性强，并且采用中心节点分发数据给各应用的方式，在应用级别上进行扩展，解决了IPTV业务类型多的问题。

[0018] 本发明的另一目的在于提出一种利用机顶盒数据采集系统进行数据采集的方法，以实现对机顶盒数据的采集。

[0019] 为达到上述目的，本发明的技术方案是这样实现的：

[0020] 利用机顶盒数据采集系统进行数据采集的方法，包括如下步骤：

[0021] (1)机顶盒应用程序中嵌入埋点程序；

[0022] (2)用户操作机顶盒，触发埋点程序采集数据，机顶盒将采集的数据发送到数据采集服务器集群；

[0023] (3)前端接收服务器根据分发策略将数据转发到后端采集数据服务器；

[0024] (4)采集数据服务器将数据传输至日志分发服务器；

[0025] (5)日志分发服务器根据配置将数据分发到不同的应用；

[0026] (6)各应用服务器将相应的日志进行接收。

[0027] 进一步的，所述步骤(3)中负载均衡器接受服务的所有入站客户端请求，并根据调度算法决定哪个集群节点应该处理回复请求，把请求分配到不同服务器上。

[0028] 进一步的，所述步骤(5)具体包括如下步骤：

[0029] (a)采集服务器接收日志后将日志直接保存在本地文件中；

[0030] (b)部署FLUME服务对日志进行监控；

[0031] (c)日志出现变化后将增量日志推送到日志分发服务器；

[0032] (d)日志分发服务器部署WEB服务进行不同应用的转发。

[0033] 所述用机顶盒数据采集系统进行数据采集的方法与上述一种机顶盒数据采集系统相对于现有技术所具有的优势相同，在此不再赘述。

附图说明

[0034] 构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

[0035] 图1为本发明实施例所述的一种机顶盒数据采集系统的结构示意图。

具体实施方式

[0036] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

[0037] 下面将参考附图并结合实施例来详细说明本发明。

[0038] 如图1所示，一种机顶盒数据采集系统，包括

[0039] 机顶盒，内置埋点程序，用于将需要采集的数据发送到数据采集服务器集群；

[0040] 数据采集服务器集群，包括前端接收服务器和后端采集数据服务器，前端接收服务器为均衡负载器，用于接收机顶盒传输的数据并且分发给后端采集数据服务器，后端采集数据服务器，用于保存收集到的数据；两台前端服务器互为主备，如果有一台服务器出现故障，另外一台会自动切换使用，后端N台采集服务器，负责保存收集到的数据，只要还剩一台都能完成采集任务，这样整个采集服务基本上能不间断的为机顶盒服务，保证其可靠性。

[0041] 单独设立日志分发服务器，将日志分发操作由其他服务器完成，分发到不同的应用。

[0042] 机顶盒数据采集系统数据采用JSON格式保存，JSON格式数据能任意自定义，元数据直接在数据本身上就能体现。每行数据都有自己的格式，且每种格式都有各自的字段定义，只需要看数据就能明白日志的含义,部分字段如下所示：

[0043] 通用字段：

[0044] localtime：服务器时间；

[0045] processtype：记录标识；

[0046] time：机顶盒时间；

[0047] stbid：机顶盒id；

[0048] userid：用户id；

[0049] analysistype：处理类型；

[0050] version：高标清标识；

[0051] stbtype：机顶盒标识；

[0052] 直播：

[0053] {"localtime":"20130222091643","processtype":"MapInfoProcess","time":"20130222091643","stbid":"00100299007011500003B075D5C8473F","userid":"gd001"-,"analysistype":"channelcontinuebegin","channelid":"1","version":"1","stbtype":"1"}

[0054] channelid：频道号；

[0055] 点播：

[0056] {"localtime":"20130222091324","colid":"1B0014","processtype":"MapInfoProcess","time":"20130222091324","times":"128","vodname":"《101次求婚》","stbid":"00100299007011500003B075D5C8473F","userid":"gd001","analysistype":"vodbegin","vodid":"0000000030010000437942","version":"1","stbtype":"1"}[0057] vodname：vod名称；

[0058] colid：栏目号；

[0059] times：vod时长；

[0060] vodid：vod内容编码；

[0061] 退出视频：

[0062] {"localtime":"20130222091215","processtype":"MapInfoProcess","quittype":"osd","time":"20130222091215","stbid":"00100299007011500003B075D5C8473F","userid":"gd001","analysistype":"vodend","version":"1","stbtype":"1"}[0063] quittype：退出视频方式；

[0064] osd：点击返回退出；

[0065] 保存书签退出：

[0066] {"localtime":"20130222091215","processtype":"MapInfoProcess","quittype":"osdmark","time":"20130222091215","stbid":"00100299007011500003B075D5C84-73F","userid":"gd001","analysistype":"vodend","version":"1","stbtype":"1"}[0067] quittype：退出视频方式；

[0068] osdmark：点击保存书签退出；

[0069] 连续剧：

[0070] {"localtime":"20130222091204","stbid":"00100299007011500003B075D5C8473F","userid":"gd001","stbtype":"1","version":"1","vodid":"00000000301000004-
55948","processtype":"MapInfoProcess","colid":"1C010D02","time":"201302220912
04","num":"3","times":"2218","vodname":"妯娌的三国时代_第3集","analysistype":"vodseriesbegin"}

[0071] vodname：连续剧子集名称；

[0072] colid：栏目号；

[0073] times：连续剧子集时长；

[0074] vodid：子集内容编码；

[0075] num：子集集数；

[0076] 回看：

[0077] {"localtime":"20130222091744","tvodname":"亮剑之铁血军魂(5)","processtype":"MapInfoProcess","time":"20130222091744","stbid":"00100299007011500003B075D5C8473F","userid":"gd001","tvodbegintime":"20130222001500","analysistype":"tvodbegin","tvodchno":"1","tvodtimes":"3900","version":"1","stbtype":"1"}[0078] tvodname：tvod名称；

[0079] tvodbegintime：tvod起始时间；

[0080] tvodchno：回看频道号；

[0081] tvodtimes：tvod时长；

[0082] 用户开机：

[0083] {"localtime":"20130222090434","processtype":"MapInfoProcess","time":"20130222090435","stbid":"00100299007011500003B075D5C8473F","userid":"gd001","analysistype":"login","mac":"D0:15:4A:D3:CA:A2","version":"1","stbtype":"1"}

[0084] mac：机顶盒mac地址；

[0085] EPG页面：

[0086] {"localtime":"20130222090449","processtype":"MapInfoProcess","time":"20130222090449","referpage":"portal.jsp","refer":"true","stbid":"001002990070
11500003B075D5C8473F","userid":"gd001","analysistype":"access","columnid":"1B","url":"/iptvepg/frame843/kanba_portal.jsp","version":"1","stbtype":"1"}[0087] referpage：页面来源；

[0088] refer：固定信息；

[0089] url：页面名称；

[0090] columnid：页面分类栏目号；

[0091] 专题：

[0092] {"localtime":"20130222090918","processtype":"MapInfoProcess","time":"20130222090918","spName":"sw23wy","stbid":"00100299007011500003B075D5C8473F","userid":"gd001","analysistype":"zt","stbtype":"1"}

[0093] spName：专题名称；

[0094] 四色键：

[0095] {"localtime":"20130222091718","processtype":"MapInfoProcess","quittype":"channel","time":"20130222091719","stbid":"00100299007011500003B075D5C84-73F","userid":"gd001","analysistype":"color","version":"1","stbtype":"1"}[0096] quittype：四色键名称；

[0097] 利用本发明进行数据采集的方法如下：

[0098] (1)机顶盒应用程序中嵌入埋点程序；

[0099] 在机顶盒的应用程序中，在需要数据采集的操作上嵌入埋点程序，记录所需数据。

[0100] (2)用户操作机顶盒，触发埋点程序采集数据，机顶盒将采集的数据发送到数据采集服务器集群。

[0101] (3)前端接收服务器根据分发策略将数据转发到后端采集数据服务器；

[0102] 数据采集服务器集群分两部分，一部分是前端接收服务器，一部分是后端采集数据服务器，前端接收服务器负责利用散列算法将数据转发到后端采集数据服务器，采集服务器将用户数据直接保存在本地。

[0103] 前端负载均衡器接受服务的所有入站客户端请求，并根据调度算法决定哪个集群节点应该处理回复请求，把请求分配到不同服务器上。

[0104] 多台前端负载均衡器可以故障切换，保证了高可用性；同时前端负载均衡器实时对后端真实服务器进行健康检查，可通过多种检查手段当发现某个后端采集服务器上的服务软件或者服务器本身硬件问题，自动剔除出有问题的节点，在节点恢复后再自动添加进集群系统，使整个系统保持较高的冗余性和稳定性。

[0105] (4)采集数据服务器将数据传输至日志分发服务器；

[0106] 各采集服务器的文件系统中保存着采集的数据，数据通过数据传输服务将数据传输到日志分发服务器。

[0107] (5)日志分发服务器根据配置将数据分发到不同的应用；

[0108] (6)各应用服务器将相应的日志进行接收；

[0109] 采集服务器接收日志后直接保存在本地文件中，另外再部署FLUME服务对日志进行监控，日志有变化后将增量日志推送到日志分发服务器，日志分发服务器通过部署WEB服务进行不同应用的转发，在不用的应用服务器上也有相应的日志接收服务进行日志的接收。

[0110] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
数据采集-专利编号CN103323870B	2020-05-11	536
数据采集-专利编号CN102365562B	2020-05-12	97
数据采集-专利编号CN102414579A	2020-05-11	771
数据采集-专利编号CN102112054A	2020-05-11	368
数据采集-专利编号CN103323871A	2020-05-13	536
数据采集-专利编号CN102414579B	2020-05-12	818
数据采集-专利编号CN103323870A	2020-05-13	345
数据采集-专利编号CN103323871B	2020-05-12	148
数据采集-专利编号CN102112054B	2020-05-11	626
数据采集-专利编号CN102365562A	2020-05-13	776

一种机顶盒数据采集系统及数据采集方法

一种机顶盒数据采集系统及数据采集方法

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式