本发明属于信息技术领域，一种通用多屏智能信息推送方法及系统。设备信息推送模块和通信模块工作于信息推送设备，根据用户有效区域提取要求，智能提取信息推送设备有效区域的多媒体信息并进行压缩编码处理，压缩编码处理后的多媒体信息通过互联网TCP/IP体系结构中应用层的RTMP协议推送给中端信息处理模块，进行数据完整性识别、视频参数优化、数据整合、负载均衡等处理；处理后的多媒体信息再次通过互联网TCP/IP体系结构中应用层的RTMP协议推送至笔记本电脑、智能手机、平板电脑等移动设备上的显示模块，显示模块主要用于根据用户的选择，将特定画面进行多媒体数据的解码、渲染处理，并显示在移动设备上。
1.一种通用多屏智能信息推送系统，其特征在于，所述的通用多屏智能信息推送系统包括设备信息推送模块、通信模块、中端信息处理模块和显示模块；
A、设备信息推送模块部署于信息推送设备上，包括用户请求判断单元、区域选择单元、有效区域信息提取单元、RGB提取器、RGB-FLV转码单元、推送单元和定时单元；对于设备信息提取区域无特定需求时，用户请求判断单元、有效区域信息提取单元、RGB提取器、RGB-FLV转码单元、推送单元和定时单元依次相连，用户请求判断单元对用户提取操作进行判断，判断无指定区域划定后，有效区域信息提取单元将整个设备屏幕作为有效区域，从待处理输入流中提取有效区域的多媒体数据流，由RGB提取器从有效区域的多媒体数据流中提取该区域的RGB信息，RGB-FLV转码单元再将RGB信息转码成用于传输的特定FLV数据流，并传输给推送单元和定时单元等待推送；对于设备信息提取区域有特定需求时，用户请求判断单元、区域选择单元、有效区域信息提取单元、RGB提取器、RGB-FLV转码单元、推送单元和定时单元依次相连，用户请求判断单元对用户提取操作进行判断，判断有指定区域划定后，区域选择单元对用户的选择行为进行跟踪，并以用户选择的区域作为有效信息区域，有效区域信息提取单元从待处理输入流中提取跟踪到的有效区域的多媒体数据流，由RGB提取器从有效区域的多媒体数据流中提取有效区域的RGB信息，RGB-FLV转码单元再将RGB信息转码成用于传输的特定FLV数据流，并传输给推送单元和定时单元等待推送；
B、通信模块部署在信息推送设备上，通信模块负责获取采集到的多媒体数据流，再将其发送至中端信息处理模块；通信模块是基于互联网TCP/IP五层体系结构中应用层的RTMP协议实现数据通信的；
C、中端信息处理模块部署于一块具有WIFI发射与接收功能的硬件设备上，包括数据识别单元、参数优化单元、数据整合单元、缓存单元和负载均衡单元，依次相连；数据识别单元对接收到的特定格式的多路待处理数据流做完整性、差异性检测，检测无误后，多路待处理多媒体数据流，通过参数优化单元对数据流进行视频参数优化处理，去除数据传输过程中因信号干扰而产生的信号噪声，并将处理后的平滑数据传送至数据整合单元；数据整合单元首先从数据流前端的信息标志位中提取数据流编号，得到相对应的多个数据节，然后根据数据流编号对数据节依次拼接，最后在保证不失真的前提下，以完整的多个数据节数据作为一个数据单元整合成一个数据包，传送至缓存单元进行数据包的缓存；负载均衡单元根据用户的使用需求，对缓存单元中的数据包进行负载均衡处理后，输出单一、稳定且性能优异的多媒体信息数据流，供用户使用；
D、显示模块部署于移动设备上，包括转换解码单元、窗口管理单元、实时渲染单元和纹理处理单元，依次相连；显示模块中的转换解码单元将接收到的多媒体数据流进行转换解码处理，并等待窗口管理器创建显示载体；窗口管理单元得到响应后，执行创建窗口任务，创建多个与转换解码后多路数据流相匹配的显示窗口，以供用户选择；当选择相应的显示窗口后，实时渲染单元将与该窗口对应的多媒体数据流转化为渲染图元，并作为输入传输给纹理处理单元在显示窗口上进行图像绘制，得到特定窗口的画面，并由智能设备进行显示。
2.一种通用多屏智能信息推送方法，其特征在于，步骤如下：
首先，设备信息推送模块中的用户请求判断单元对用户提取及录制区域的区域选择操作进行判断，用户有指定区域划定时以所选区域作为有效信息区域，并由区域选择单元进行跟踪，否则以整个设备屏幕作为有效信息区域；然后有效区域信息提取单元从待处理输入流中提取区域选择单元跟踪到的有效信息区域的多媒体数据流，之后由RGB提取器从该多媒体数据流中提取有效信息区域的RGB信息，再通过RGB-FLV转码单元以H.264算法将RGB信息转码成用于传输的特定FLV数据流并推送至推送单元，推送单元接收到数据流后向定时单元发送推送申请，等待定时单元响应后，通过基于互联网TCP/IP五层体系结构中应用层的RTMP协议将推送单元中等待的FLV特定格式数据流以直播流的方式推送出去；
采用互联网TCP/IP五层体系结构中应用层的RTMP协议；通信前先建立设备信息推送模块与中端信息处理模块之间的网络连接，并基于该网络连接建立网络流；然后，设备信息推送端先将多媒体信息封装成消息，即RTMP协议中的基本数据单元，再将封装好的消息进行分割，得到消息块，以适应网络环境的传输，再通过TCP协议从建立好的网络流中发送给中端信息处理模块，在该模块中重新组合得到分割前的消息，最后通过解封装恢复原始多媒体数据；
首先，中端信息处理模块的数据识别单元对接收到的特定格式的多路待处理数据流做完整性、差异性检测；检测无误后，多路待处理多媒体数据流，通过参数优化单元对数据流进行视频参数优化处理，去除数据传输过程中因信号干扰而产生的信号噪声，并将处理后的平滑数据传送至数据整合单元；然后，数据整合单元从数据流前端的信息标志位中提取数据流编号，得到相对应的多个数据节，再根据数据流编号对数据节依次拼接，在保证不失真的前提下，以完整的多个数据节数据作为一个数据单元整合成一个数据包，传送至缓存单元进行数据包的缓存；最后，负载均衡单元根据用户的使用需求，对缓存单元中的数据包进行负载均衡处理后，输出单一、稳定且性能优异的多媒体信息数据流，供用户使用；
首先，显示模块的转换编码单元将接收到的多媒体数据流进行转换解码处理，得到标准的YUV格式数据流，并等待窗口管理器创建显示载体；窗口管理单元得到响应后，执行创建窗口任务，创建多个与转换解码后多路数据流相匹配的显示窗口，以供用户选择；当选择相应的显示窗口后，实时渲染单元将与该窗口对应的多媒体数据流转化为渲染图元，并作为输入传输给纹理处理单元在显示窗口上进行图像绘制，得到特定窗口的画面，并由智能设备进行显示。
通用多屏智能信息推送方法及系统
技术领域
[0001] 本发明属于信息技术领域，是一种通用多屏智能信息推送方法及系统。
背景技术
[0002] 伴随着互联网技术和现代信息技术的发展，多媒体信息在社会中扮演着越来越重要的角色。人们对多媒体信息资源的需求逐渐增加，对获取信息的便捷性的要求也不断提高。也正因为这样，很多行业开始逐渐地转变多媒体信息的传播方式,不再局限于单一平台的展示，开始尝试以传屏、多屏显示等形式提高多媒体信息的传播效率。
[0003] 而反观公共场所现有的信息推送机制，并不能满足人们对便捷性的要求。比如机场的航班信息、火车站的列车时刻表、展览馆的展品介绍、公共场所中的广告信息等，在这些场所中，大部分信息都靠LED电子屏或其他大型液晶屏幕传递给受众。由于场地范围大，人流量大，这些场所大多将大型电子屏置于高处或者选择将多个小型电子屏分别放置于相距较远的地方。在这些情况下，用户获取多媒体信息的便捷性就受到人眼的视力范围的限制，它要求用户必须走到一定范围内才能看清屏幕上的内容。
[0004] 另一方面，公共场所中音频信息的广播推送同样受到了很大的限制。在机场、车站这些嘈杂的环境中，声音广播并不能将信息精准地传递给受众，用户很容易错过重要的广播信息。因此，目前公共场所信息推送的便捷性还有待提高。
[0005] 而当下无线网络的大面积铺陈和手机的广泛应用，使得人们对使用个人移动终端来获取多媒体信息的方式更具有依赖性，一些学生、商务人士甚至随身携带平板和笔记本电脑。同时，流媒体技术的发展也使得音频、视频信息在网络上的处理和传输进入一个新纪元。因此，在人流量较大的公共场所，将多媒体推送与移动终端和流媒体技术联系起来，将是未来公共场所多媒体推送的主要方式。
发明内容
[0006] 本发明的目的是为解决公共场所信息推送时推送位置限制大、推送信息用户选择度低、信息获取便捷性差等缺点所研发的通用多屏智能信息推送方法及系统，用户可通过移动设备实时获取区域内推送的共享信息，并根据实际需求，对多路共享信息自主选择播放，提高信息获取效率。
[0007] 本发明的技术方案：
[0008] 一种通用多屏智能信息推送系统，包括设备信息推送模块、通信模块、中端信息处理模块和显示模块；
[0009] 设备信息推送模块和通信模块工作于信息推送设备，根据用户有效区域提取要求，智能提取信息推送设备有效区域的多媒体信息并进行压缩编码处理，压缩编码处理后的多媒体信息通过互联网TCP/IP体系结构中应用层的RTMP协议推送给中端信息处理模块，进行数据完整性识别、视频参数优化、数据整合、负载均衡等处理；处理后的多媒体信息再次通过互联网TCP/IP体系结构中应用层的RTMP协议推送至笔记本电脑、智能手机、平板电脑等移动设备上的显示模块，显示模块主要用于根据用户的选择，将特定画面进行多媒体数据的解码、渲染处理，并显示在移动设备上。
[0010] A、设备信息推送模块部署于信息推送设备，包括用户请求判断单元、区域选择单元、有效区域信息提取单元、RGB提取器、RGB-FLV转码单元、推送单元和定时单元；对于设备信息提取区域无特定需求时，用户请求判断单元、有效区域信息提取单元、RGB提取器、RGB-FLV转码单元、推送单元和定时单元依次相连，用户请求判断单元对用户提取操作进行判断，判断无指定区域划定后，有效区域信息提取单元将整个设备屏幕作为有效区域，从待处理输入流中提取有效区域的多媒体数据流，由RGB提取器从有效区域的多媒体数据流中提取该区域的RGB信息，RGB-FLV转码单元再将RGB信息转码成用于传输的特定FLV数据流，并传输给推送单元和定时单元等待推送；对于设备信息提取区域有特定需求时，用户请求判断单元、区域选择单元、有效区域信息提取单元、RGB提取器、RGB-FLV转码单元、推送单元和定时单元依次相连，用户请求判断单元对用户提取操作进行判断，判断有指定区域划定后，区域选择单元对用户的选择行为进行跟踪，并以用户选择的区域作为有效信息区域，有效区域信息提取单元从待处理输入流中提取跟踪到的有效区域的多媒体数据流，由RGB提取器从有效区域的多媒体数据流中提取有效区域的RGB信息，RGB-FLV转码单元再将RGB信息转码成用于传输的特定FLV数据流，并传输给推送单元和定时单元等待推送；
[0011] B、通信模块部署在信息推送设备上，通信模块负责获取采集到的多媒体数据流，再将其发送至中端信息处理模块；通信模块是基于互联网TCP/IP五层体系结构中应用层的RTMP协议实现数据通信的；
[0012] C、中端信息处理模块部署于一块具有WIFI发射与接收功能的硬件设备上，包括数据识别单元、参数优化单元、数据整合单元、缓存单元和负载均衡单元，依次相连；数据识别单元对接收到的特定格式的多路待处理数据流做完整性、差异性检测，检测无误后，多路待处理多媒体数据流，通过参数优化单元对数据流进行视频参数优化处理，去除数据传输过程中因信号干扰而产生的信号噪声，并将处理后的平滑数据传送至数据整合单元；数据整合单元首先从数据流前端的信息标志位中提取数据流编号，得到相对应的多个数据节，然后根据数据流编号对数据节依次拼接，最后在保证不失真的前提下，以完整的多个数据节数据作为一个数据单元整合成一个数据包，传送至缓存单元进行数据包的缓存；负载均衡单元根据用户的使用需求，对缓存单元中的数据包进行负载均衡处理后，输出单一、稳定且性能优异的多媒体信息数据流，供用户使用；
[0013] D、显示模块部署于移动设备上，包括转换解码单元、窗口管理单元、实时渲染单元和纹理处理单元，依次相连；显示模块中的转换解码单元将接收到的多媒体数据流进行转换解码处理，并等待窗口管理器创建显示载体；窗口管理单元得到响应后，执行创建窗口任务，创建多个与转换解码后多路数据流相匹配的显示窗口，以供用户选择；当选择相应的显示窗口后，实时渲染单元将与该窗口对应的多媒体数据流转化为渲染图元，并作为输入传输给纹理处理单元在显示窗口上进行图像绘制，得到特定窗口的画面，并由智能设备进行显示，以达到实时稳定、多样选择并显示信息的目的。
[0014] 一种通用多屏智能信息推送方法，步骤如下：
[0015] A、智能区域信息获取与推送
[0016] 首先，设备信息推送模块中的用户请求判断单元对用户提取及录制区域的区域选择操作进行判断，用户有指定区域划定时以所选区域作为有效信息区域，并由区域选择单元进行跟踪，否则以整个设备屏幕作为有效信息区域；然后有效区域信息提取单元从待处理输入流中提取区域选择单元跟踪到的有效信息区域的多媒体数据流，之后由RGB提取器从该多媒体数据流中提取有效信息区域的RGB信息，再通过RGB-FLV转码单元以H.264算法将RGB信息转码成用于传输的特定FLV数据流并推送至推送单元，推送单元接收到数据流后向定时单元发送推送申请，等待定时单元响应后，通过基于互联网TCP/IP五层体系结构中应用层的RTMP协议将推送单元中等待的FLV特定格式数据流以直播流的方式推送出去；
[0017] B、多媒体数据流通信
[0018] 本发明采用互联网TCP/IP五层体系结构中应用层的RTMP协议。通信前先建立设备信息推送模块与中端信息处理模块之间的网络连接，并基于该网络连接建立网络流。然后，设备信息推送端先将多媒体信息封装成消息，即RTMP协议中的基本数据单元，再将封装好的消息进行分割，得到消息块，以适应网络环境的传输，再通过TCP协议从建立好的网络流中发送给中端信息处理模块，在该模块中重新组合得到分割前的消息，最后通过解封装恢复原始多媒体数据；
[0019] C、中端信息处理模块进行多媒体数据流处理
[0020] 首先，中端信息处理模块的数据识别单元对接收到的特定格式的多路待处理数据流做完整性、差异性检测；检测无误后，多路待处理多媒体数据流，通过参数优化单元对数据流进行视频参数优化处理，去除数据传输过程中因信号干扰而产生的信号噪声，并将处理后的平滑数据传送至数据整合单元；然后，数据整合单元从数据流前端的信息标志位中提取数据流编号，得到相对应的多个数据节，再根据数据流编号对数据节依次拼接，在保证不失真的前提下，以完整的多个数据节数据作为一个数据单元整合成一个数据包，传送至缓存单元进行数据包的缓存；最后，负载均衡单元根据用户的使用需求，对缓存单元中的数据包进行负载均衡处理后，输出单一、稳定且性能优异的多媒体信息数据流，供用户使用；
[0021] D、移动设备解码与显示
[0022] 首先，显示模块的转换编码单元将接收到的多媒体数据流进行转换解码处理，得到标准的YUV格式数据流，并等待窗口管理器创建显示载体；窗口管理单元得到响应后，执行创建窗口任务，创建多个与转换解码后多路数据流相匹配的显示窗口，以供用户选择；当选择相应的显示窗口后，实时渲染单元将与该窗口对应的多媒体数据流转化为渲染图元，并作为输入传输给纹理处理单元在显示窗口上进行图像绘制，得到特定窗口的画面，并由智能设备进行显示，以达到实时稳定、多样选择推送信息的目的。
[0023] 所述的智能设备包括但不限于电脑、手机等智能设备。
[0024] 本发明的有益效果：
[0025] A、采用无线方式实现流媒体信息的传输，节省设备空间且传输质量较高；
[0026] B、设备信息采集区域自行选择，适用不同的用户，不同的需求；
[0027] C、通过多路数据流整合处理，方便用户获取多路信息，操作方便；
[0028] D、通过负载均衡处理，可以响应工作网络内更多的用户请求，保证了系统数据交互的可靠性。
附图说明
[0029] 图1为本发明的具体工作流程图。
[0030] 图2为本发明的设备信息推送模块流程图。
[0031] 图3为本发明的中端信息处理模块流程图。
[0032] 图4为本发明的数据整合单元数据整合结构图。
[0033] 图5为本发明的显示模块流程图。
具体实施方式
[0034] 下面结合具体实施例和附图详细阐述本发明，但本发明并不局限于具体实施例。
[0035] 实施例：
[0036] 图1为本实施例的具体工作流程图。本实施例中，包括如下步骤：
[0037] 步骤101：获取多媒体信息，完成多媒体信息推送。
[0038] 在本实施例中，将三台不同型号的PC机作为信息推送设备，提供被采集多媒体信息，三台PC机的具体参数配置如下表。
[0039]
[0040] 信息推送设备开启设备信息推送任务，启动设备信息推送模块。信息推送模块采用信息推送方法。首先，获取设备的多媒体数据流，判断用户是否划定有效采集区域。其中，①号设备不划定有效区域，②号设备划定1/2屏幕作为有效信息采集区域，③号设备由用户通过外部设备(鼠标等)划定指定采集区域。从获取到的多媒体数据流中提取指定有效区域的RGB信息，再通过H.264算法将RGB信息转码成用于传输的特定FLV数据流，等待推送；
[0041] 步骤102：将获取到的多媒体数据流传输至中端信息处理中心。
[0042] 在本实施例中，由具有无线传输功能的硬件设备作为网络代理，提供5G(Hz)频段无线服务。将步骤101压缩编码后获得的特定区域多媒体数据流，通过局域网络及基于互联网TCP/IP体系结构中应用层的RTMP协议推送至中端信息处理模块。通过局域网络进行传输的优势在于，在自组局域网络中进行传输可在保证传输多媒体信息流的质量以及传输实时性的同时，也由于其用户信息获取实时性强且不需要支付额外流量费用，对用户数量庞大的公共场所而言用户整体接受度更高。
[0043] 步骤103：多媒体数据流处理及错误日志生成
[0044] 在具有无线传输功能的硬件设备中部署中端信息处理模块。中端信息处理模块首先对步骤102中三台不同设备推送来的三路待处理多媒体数据流做完整性、差异性检测；检测无误后，来自于三台不同设备的三路待处理多媒体数据流，通过参数优化单元对数据流进行视频参数优化处理，去除数据传输过程中因信号干扰而产生的信号噪声，并将处理后的平滑数据传送至数据整合单元；然后，数据整合单元从数据流前端的信息标志位中提取数据流编号，得到相对应的三个数据节，再根据数据流编号对数据节依次拼接，在保证不失真的前提下，以完整的三个数据节数据作为一个数据单元整合成一个数据包，传送至缓存单元进行数据包的缓存；最后，负载均衡单元根据用户的使用需求，对缓存单元中的数据包进行负载均衡处理后，输出单一、稳定且性能优异的多媒体信息数据流，供用户使用；
[0045] 为了能够发现中端信息处理模块在使用时出现的错误，及时给出故障分析。系统在工作时，实时监控并生成错误日志。
[0046] 其中，错误日志内容如下表所示：
[0047]
[0048] 步骤104：移动设备解码与显示。
[0049] 在本实施例中，使用三星Tab S平板电脑、小米6智能手机作为显示设备，用于获取及显示多媒体共享信息。
[0050] 工作于移动设备上的显示模块，通过对步骤103的多媒体数据流进行转换解码处理，得到标准的YUV格式数据流，并等待用户选择显示窗口载体；当用户选择相应的显示窗口后，通过实时渲染及纹理处理后，在特定窗口上进行显示，以达到实时稳定、多样选择推送信息的目的。
