本发明公开了一种基于移动网络与wifi视频传输增强方法的系统，包含视频源模块，画面拆解模块，分片一编码模块，分片二编码模块，运动检测模块，wifi网络传送模块，移动网络传送模块，网络接收模块，网络打包模块，分片一解码模块，分片二解码模块，画面合并模块，画面倍帧模块，视频显示模块。本发明使用wifi与移动网络同时传输独立且互补的视频编码，按照图像变换自动选择高帧率或高分辨率，若图像处于静止状态，共同输出高分辨率图像，若图像处于运动状态，共同输出高帧率视频图像，如果wifi与移动网络其中一个通道出现问题，仍然能输出有限失真或低帧率的视频图像。
1.一种基于移动网络与wifi视频传输增强方法的系统，其特征在于，包含视频源模块(1)，画面拆解模块(2)，分片一编码模块(3)，分片二编码模块(4)，运动检测模块(5)，wifi网络传送模块(6)，移动网络传送模块(7)，网络接收模块(8)，网络打包模块(9)，分片一解码模块(10)，分片二解码模块(11)，画面合并模块(12)，画面倍帧模块(13)，视频显示模块(14)；
视频源模块(1)：产生高帧率高分辨率YUV视频流，每个视频帧携带时戳；
画面拆解模块(2)：接收视频源模块(1)的YUV视频流，对高帧率视频流按照时间先后顺序排序，使用奇偶帧进行拆分，得到两个低帧率的视频流，奇数帧为分片一视频流，偶数帧为分片二视频流，根据人眼对横向的变化不如纵向敏感，对分片一视频流与分片二视频流的每帧YUV视频流的画面按列拆分，按照奇数列像素与偶数列像素拆成两个画面，每个分片得到低帧率低分辨率的奇偶分块，把分割得到的视频流与时戳发送给分片一编码模块(3)与分片二编码模块(4)；
分片一编码模块(3)：接收画面拆解模块(2)的分片一视频流，接收运动检测模块(5)画面是否运动通知，如果画面不运动，分片一视频流与分片二视频流画面内容相差不大，此时采用分片一与分片二数据互补形成高分辨率策略，分片一编码模块(3)去除分片一视频流偶分块，对奇分块进行视频编码压缩，把压缩视频流与时戳与合并标识发送给网络打包模块(9)，如果画面运动，分片一视频流与分片二视频流画面内容相差较大，不适合互补提高分辨率，此时采用分片一与分片二数据互补形成高帧率策略，同时保留偶分块与奇分块信息，对视频流偶分块与视频流奇分块的每个对应像素进行线性插值，得到线性插值的分块，对视频编码压缩，把压缩视频流与时戳与倍帧标识发送给网络打包模块(9)；
分片二编码模块(4)：接收画面拆解模块(2)的分片一视频流，接收运动检测模块(5)画面是否运动通知，如果画面不运动，分片一视频流与分片二视频流画面内容相差不大，此时采用分片一与分片二数据互补形成高分辨率策略，分片一编码模块(3 )去除分片一视频流奇分块，对偶分块进行视频编码压缩，把压缩视频流与时戳与合并标识发送给网络打包模块(9)；如果画面运动，分片一视频流与分片二视频流画面内容相差较大，此时采用分片一与分片二数据互补形成高帧率策略，同时保留偶分块与奇分块信息，对视频流偶分块与视频流奇分块的每个对应像素进行线性插值，得到线性插值的分块，对视频编码压缩，把压缩视频流与时戳与倍帧标识发送给网络打包模块(9)；
运动检测模块(5)：接收视频源模块(1)的YUV视频流，对前后两帧的每个明度Y像素数据进行每个相减，相减值的绝对值大于阈值则该像素运动，把所以运动像素从图像提取中的运动区域，运动区域除以图像的面积得到运动系数,如果运动系数小于阈值则认为画面不运动，否则认为画面运动；把画面不运动与画面运动通知发送给分片一编码模块(3)与分片二编码模块(4 )；
wifi网络传送模块(6)：接收网络打包模块(9)的视频流，使用wifi传送网络把视频压缩流通过wifi网络发送给网络接收模块(8)；
移动网络传送模块(7)：接收网络打包模块(9)的视频流，使用移动传送网络把视频压缩流通过移动网络发送给网络接收模块(8)；
网络接收模块(8)：接收wifi网络传送模块(6)与移动网络传送模块(7)发送视频网络流；把分片一的视频流发送给分片一解码模块(10)，把分片二的视频流发送给分片二解码模块(11)；
网络打包模块(9)：接收分片一编码模块(3)与分片二编码模块(4)视频流，对视频流进行RTP打包，把时戳打入RTP头，把倍帧标识或合并标识打入RTP的附加数据中；网络打包模块(9)把分片一视频流发给wifi网络传送模块(6)，把分片二视频流发给移动网络传送模块(7)；
分片一解码模块(10)：接收网络接收模块(8)的分片一的视频流，去除RTP头取出视频流的帧压缩数据，取出RTP的时戳作为帧的时戳，在RTP的附加数据取出倍帧标识或合并标识，对帧压缩数据进行视频解码得到分片一的YUV图像数据；存在倍帧标识，则把分片一的YUV图像数据与时戳发给画面倍帧模块(13)；存在合并标识则把分片一的YUV图像数据与时戳发给画面合并模块(12)；
分片二解码模块(11)：接收网络接收模块(8)的分片二的视频流，去除RTP头取出视频流的帧压缩数据，取出RTP的时戳作为帧的时戳，在RTP的附加数据取出倍帧标识或合并标识，对帧压缩数据进行视频解码得到分片二的YUV图像数据；存在倍帧标识，则把分片二的YUV图像数据与时戳发给画面倍帧模块(13)；存在合并标识则把分片二的YUV图像数据与时戳发给画面合并模块(12)；
画面合并模块(12)：接收分片一解码模块(10)的分片一的YUV图像数据与时戳，接收分片二解码模块(11)的分片二的YUV图像数据与时戳；把YUV图像数据按照时戳进行排序，如果分片一的YUV图像数据与分片二的YUV图像数据没有丢失，分片一的YUV图像数据与分片二的YUV图像数据为交错，把相邻分片一的YUV图像数据与分片二的YUV图像数据进行合并，分片一的YUV图像数据放在奇数列，分片二的YUV图像数据放在偶数列，最终得到高分辨率图像数据；如果分片一的YUV图像数据与分片二的YUV图像数据丢失一份数据，这YUV图像数据进行横向插值，YUV相邻列的每个像素的进行线性插值，得到新列插入两个相邻列间，最后两列按照线性插值除了生成中间列，再生成右侧列，作为生成图像最后一列，这仍然还原出有限失真的高分辨率图像数据；采用WiFi与移动网络两个通道同时传输互为残差视频，当一个通道出问题时，本方法仍然能恢复出一个有限失真的视频图像，当两个通道都正常工作时，则得到高分辨率图像数据；把生成图像数据发送给视频显示模块(14)；
画面倍帧模块(13)：接收分片一解码模块(10)的分片一的YUV图像数据与时戳，接收分片二解码模块(11)的分片二的YUV图像数据与时戳；把YUV图像数据按照时戳进行排序，对YUV图像数据进行横向插值，YUV相邻列的每个像素的进行线性插值，得到新列插入两个相邻列间，最后两列按照线性插值除了生成中间列，再生成右侧列，作为生成图像最后一列，通过图像拉伸还原出高分辨率图像数据；采用WiFi与移动网络两个通道同时传输视频数据，当一个通道出问题时，得到低帧率视频图像，当两个通道都正常工作时，则得到高帧率的图像数据；生成YUV图像数据发送给视频显示模块(14)；
视频显示模块(14)：接收画面合并模块(12)的YUV图像数据渲染显示，接收画面倍帧模块(13)的YUV图像数据渲染显示；当视频源模块(1)的图像处于静止状态，使用Wi Fi与移动网络两个通道同时传输互为残差视频，共同输出高分辨率图像，当视频源模块(1)的图像处于运动状态，使用WiFi与移动网络两个通道同时传输间隔独立视频图像，共同输出高帧率视频图像。
一种基于移动网络与wifi视频传输增强方法的系统
技术领域
[0001] 本发明涉及网络通信领域，具体涉及一种基于移动网络与wifi视频传输增强方法的系统。
背景技术
[0002] 如今移动设备(如执法记录仪、手机)基本上都同时支持wifi与移动网络，基本的移动设备，wifi的优先级高于移动网络，且只能选用其中一种网络连接方式，当wifi网络状况不佳的时候，只能选择移动网络承担较高的流量费用，当wifi和移动网络状况都不好的情况下，往往只能选择降低需求(比如低帧率低分辨率的视频播放模式)。因此需要寻求一个方法同时使用wifi与移动网络来增强视频传输，增加视频的分辨率或帧率，提升移动设备的可靠性。
发明内容
[0003] 本发明的目的是提供一种基于移动网络与wifi视频传输增强方法的系统，同时使用wifi与移动网络同时传输视频图像。实现本发明目的的技术方案是：
[0004] 一种基于移动网络与wifi视频传输增强方法的系统，包含视频源模块，画面拆解模块，分片一编码模块，分片二编码模块，运动检测模块，wifi网络传送模块，移动网络传送模块，网络接收模块，网络打包模块，分片一解码模块，分片二解码模块，画面合并模块，画面倍帧模块，视频显示模块；
[0005] 视频源模块：产生高帧率高分辨率YUV视频流，每个视频帧携带时戳；
[0006] 画面拆解模块：接收视频源模块的YUV视频流，对高帧率视频流按照时间先后顺序排序，使用奇偶帧进行拆分，得到两个低帧率的视频流，奇数帧为分片一视频流，偶数帧为分片二视频流，根据人眼对横向的变化不如纵向敏感，对分片一视频流与分片二视频流的每帧YUV视频流的画面按列拆分，按照奇数列像素与偶数列像素拆成两个画面，每个分片得到低帧率低分辨率的奇偶分块，把分割得到的视频流与时戳发送给分片一编码模块与分片二编码模块；
[0007] 分片一编码模块：接收画面拆解模块的分片一视频流，接收运动检测模块画面是否运动通知，如果画面不运动，分片一视频流与分片二视频流画面内容相差不大，此时采用分片一与分片二数据互补形成高分辨率策略，分片一编码模块去除分片一视频流偶分块，对奇分块进行视频编码压缩，把压缩视频流与时戳与合并标识发送给网络打包模块，如果画面运动，分片一视频流与分片二视频流画面内容相差较大，不适合互补提高分辨率，此时采用分片一与分片二数据互补形成高帧率策略，同时保留偶分块与奇分块信息，对视频流偶分块与视频流奇分块的每个对应像素进行线性插值，得到线性插值的分块，对视频编码压缩，把压缩视频流与时戳与倍帧标识发送给网络打包模块；
[0008] 分片二编码模块：接收画面拆解模块的分片一视频流，接收运动检测模块画面是否运动通知，如果画面不运动，分片一视频流与分片二视频流画面内容相差不大，此时采用分片一与分片二数据互补形成高分辨率策略，分片一编码模块去除分片一视频流奇分块，对偶分块进行视频编码压缩，把压缩视频流与时戳与合并标识发送给网络打包模块；如果画面运动，分片一视频流与分片二视频流画面内容相差较大，此时采用分片一与分片二数据互补形成高帧率策略，同时保留偶分块与奇分块信息，对视频流偶分块与视频流奇分块的每个对应像素进行线性插值，得到线性插值的分块，对视频编码压缩，把压缩视频流与时戳与倍帧标识发送给网络打包模块；
[0009] 运动检测模块：接收视频源模块的YUV视频流，对前后两帧的每个明度Y像素数据进行每个相减，相减值的绝对值大于阈值，则该像素运动，把所以运动像素从图像提取中的运动区域，运动区域除以图像的面积得到运动系数,如果运动系数小于阈值则认为画面不运动，否则认为画面运动；把画面不运动与画面运动通知发送给分片一编码模块与分片二编码模块；
[0010] wifi网络传送模块：接收收网络打包模块的视频流，使用wifi传送网络把视频压缩流通过wifi网络发送给网络接收模块；
[0011] 移动网络传送模块：接收收网络打包模块的视频流，使用移动传送网络把视频压缩流通过移动网络发送给网络接收模块；
[0012] 网络接收模块：接收wifi网络传送模块与移动网络传送模块发送视频网络流；把分片一的视频流发送给分片一解码模块，把分片二的视频流发送给分片二解码模块；
[0013] 网络打包模块：接收分片一编码模块与分片二编码模块视频流，对视频流进行RTP打包，把时戳打入RTP头，把倍帧标识或合并标识打入RTP的附加数据中；网络打包模块把分片一视频流发给wifi网络传送模块，把分片二视频流发给移动网络传送模块；
[0014] 分片一解码模块：接收网络接收模块的分片一的视频流，去除RTP头取出视频流的帧压缩数据，取出RTP的时戳作为帧的时戳，在RTP的附加数据取出倍帧标识或合并标识，对帧压缩数据进行视频解码得到分片一的YUV图像数据；存在倍帧标识，则把分片一的YUV图像数据与时戳发给画面倍帧模块；存在合并标识则把分片一的YUV图像数据与时戳发给画面合并模块；
[0015] 分片二解码模块：接收网络接收模块的分片二的视频流，去除RTP头取出视频流的帧压缩数据，取出RTP的时戳作为帧的时戳，在RTP的附加数据取出倍帧标识或合并标识，对帧压缩数据进行视频解码得到分片二的YUV图像数据；存在倍帧标识，则把分片二的YUV图像数据与时戳发给画面倍帧模块；存在合并标识则把分片二的YUV图像数据与时戳发给画面合并模块；
[0016] 画面合并模块：接收分片一解码模块的分片一的YUV图像数据与时戳，接收分片二解码模块的分片二的YUV图像数据与时戳；把YUV图像数据按照时戳进行排序，如果分片一的YUV图像数据与分片二的YUV图像数据没有丢失，分片一的YUV图像数据与分片二的YUV图像数据为交错，把相邻分片一的YUV图像数据与分片二的YUV图像数据进行合并，分片一的YUV图像数据放在奇数列，分片二的YUV图像数据放在偶数列，最终得到高分辨率图像数据；如果分片一的YUV图像数据与分片二的YUV图像数据丢失一份数据，这YUV图像数据进行横向插值，YUV相邻列的每个像素的进行线性插值，得到新列插入两个相邻列间，最后两列按照线性插值除了生成中间列，再生成右侧列，作为生成图像最后一列，这仍然还原出有限失真的高分辨率图像数据；采用WiFi与移动网络两个通道同时传输互为残差视频(互为残差视频的两个视频，可以进行互相恢复，两者同时存在能提高画质)，当一个通道出问题时，本方法仍然能恢复出一个有限失真的视频图像，当两个通道都正常工作时，则得到高分辨率图像数据；把生成图像数据发送给视频显示模块；
[0017] 画面倍帧模块：接收分片一解码模块的分片一的YUV图像数据与时戳，接收分片二解码模块的分片二的YUV图像数据与时戳；把YUV图像数据按照时戳进行排序，对YUV图像数据进行横向插值，YUV相邻列的每个像素的进行线性插值，得到新列插入两个相邻列间，最后两列按照线性插值除了生成中间列，再生成右侧列，作为生成图像最后一列，通过图像拉伸还原出高分辨率图像数据；采用WiFi与移动网络两个通道同时传输视频数据，当一个通道出问题时，得到低帧率视频图像，当两个通道都正常工作时，则得到高帧率的图像数据；生成YUV图像数据发送给视频显示模块；
[0018] 视频显示模块：接收画面合并模块的YUV图像数据渲染显示，接收画面倍帧模块的YUV图像数据渲染显示；当视频源模块的图像处于静止状态，使用WiFi与移动网络两个通道同时传输互为残差视频，共同输出高分辨率图像，当视频源模块的图像处于运动状态，使用WiFi与移动网络两个通道同时传输间隔独立视频图像，共同输出高帧率视频图像。
[0019] 本发明的有益效果是：本发明使用wifi与移动网络同时传输独立且互补的视频编码，按照图像变换自动选择高帧率或高分辨率，若图像处于静止状态，共同输出高分辨率图像，若图像处于运动状态，共同输出高帧率视频图像，如果wifi与移动网络其中一个通道出问题，仍然可以输出有限失真或低帧率的视频图像。
附图说明
[0020] 图1是本发明一种基于移动网络与wifi视频传输增强方法的系统的流程图。
具体实施方式
[0021] 下面详细描述本发明的实施例，下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0022] 如图1所示，一种基于移动网络与wifi视频传输增强方法的系统，包含视频源模块1，画面拆解模块2，分片一编码模块3，分片二编码模块4，运动检测模块5，wifi网络传送模块6，移动网络传送模块7，网络接收模块8，网络打包模块9，分片一解码模块10，分片二解码模块11，画面合并模块12，画面倍帧模块13，视频显示模块14。
[0023] 1.视频源模块1产生高帧率高分辨率YUV视频流(60帧1920*1080)，每个视频帧携带时戳。
[0024] 2.画面拆解模块2接收视频源模块1的YUV视频流并处理；
[0025] 2.1画面拆解模块2对高帧率(60帧)视频流按照时间先后顺序排序，使用奇偶帧进行拆分，得到两个低帧率(30帧)的视频流，奇数帧为分片一视频流，偶数帧为分片二视频流；
[0026] 2.2根据人眼对横向的变化不如纵向敏感，对分片一视频流与分片二视频流的每帧YUV视频流的画面(1920*1080)按列拆分，按照奇数列像素与偶数列像素拆成两个画面(960*1080)，每个分片得到低帧率低分辨率(30帧960*1080分辨率)的奇偶分块图像数据；
[0027] 2.3把分割图像数据与时戳发送给分片一编码模块3与分片二编码模块4。
[0028] 3.分片一编码模块3接收画面拆解模块2的分片一视频流，接收运动检测模块5画面是否运动通知；
[0029] 3.1如果画面不运动，分片一视频流与分片二视频流画面内容相差不大，此时采用分片一与分片二数据互补形成高分辨率策略，分片一编码模块3去除分片一视频流偶分块，对奇分块进行视频编码压缩，把压缩视频流与时戳与合并标识发送给网络打包模块9；
[0030] 3.2如果画面运动，分片一视频流与分片二视频流画面内容相差较大，不适合互补提高分辨率，此时采用分片一与分片二数据互补形成高帧率策略，同时保留偶分块与奇分块信息，对视频流偶分块与视频流奇分块的每个对应像素进行线性插值，得到线性插值的分块，对视频编码压缩，把压缩视频流与时戳与倍帧标识发送给网络打包模块9。
[0031] 4.分片二编码模块4接收画面拆解模块2的分片一视频流，接收运动检测模块5画面是否运动通知；
[0032] 4.1如果画面不运动，分片一视频流与分片二视频流画面内容相差不大，此时采用分片一与分片二数据互补形成高分辨率策略，分片一编码模块4去除分片一视频流奇分块，对偶分块进行视频编码压缩，把压缩视频流与时戳与合并标识发送给网络打包模块9；
[0033] 4.2如果画面运动，分片一视频流与分片二视频流画面内容相差较大，此时采用分片一与分片二数据互补形成高帧率策略，同时保留偶分块与奇分块信息，对视频流偶分块与视频流奇分块的每个对应像素进行线性插值(取中值)，得到线性插值的分块，对视频编码压缩，把压缩视频流与时戳与倍帧标识发送给网络打包模块9。
[0034] 5.运动检测模块5接收视频源模块1的YUV视频流，对前后两帧的每个明度Y像素数据进行每个相减，相减值的绝对值大于阈值则该像素运动，把所以运动像素从图像提取中的运动区域，运动区域除以图像的面积得到运动系数,如果运动系数小于阈值则认为画面不运动，否则认为画面运动；把画面不运动与画面运动通知发送给分片一编码模块3与分片二编码模块3。
[0035] 6.wifi网络传送模块6接收收网络打包模块9的视频流，使用wifi传送网络把视频压缩流通过wifi网络发送给网络接收模块8。
[0036] 7.移动网络传送模块7接收收网络打包模块9的视频流，使用移动传送网络把视频压缩流通过移动网络发送给网络接收模块8。
[0037] 8.网络接收模块8接收wifi网络传送模块6与移动网络传送模块7发送视频网络流；把分片一的视频流发送给分片一解码模块10，把分片二的视频流发送给分片二解码模块11。
[0038] 9.网络打包模块9接收分片一编码模块3与分片二编码模块4视频流，对视频流进行RTP打包，把时戳打入RTP头，把倍帧标识或合并标识打入RTP的附加数据中；网络打包模块9把分片一视频流发给wifi网络传送模块6，把分片二视频流发给移动网络传送模块7。
[0039] 10.分片一解码模块10接收网络接收模块8的分片一的视频流，去除RTP头取出视频流的帧压缩数据，取出RTP的时戳作为帧的时戳，在RTP的附加数据取出倍帧标识或合并标识，对帧压缩数据进行视频解码得到分片一的YUV图像数据；存在倍帧标识，则把分片一的YUV图像数据与时戳发给画面倍帧模块13；存在合并标识则把分片一的YUV图像数据与时戳发给画面合并模块12。
[0040] 11.分片二解码模块11接收网络接收模块8的分片二的视频流，去除RTP头取出视频流的帧压缩数据，取出RTP的时戳作为帧的时戳，在RTP的附加数据取出倍帧标识或合并标识，对帧压缩数据进行视频解码得到分片二的YUV图像数据；存在倍帧标识，则把分片二的YUV图像数据与时戳发给画面倍帧模块13；存在合并标识则把分片二的YUV图像数据与时戳发给画面合并模块12。
[0041] 12.画面合并模块12接收分片一解码模块10的分片一的YUV图像数据与时戳；接收分片二解码模块11的分片二的YUV图像数据与时戳；
[0042] 12.1把YUV图像数据按照时戳进行排序，如果分片一的YUV图像数据与分片二的YUV图像数据没有丢失，分片一的YUV图像数据与分片二的YUV图像数据为交错；
[0043] 12.2把相邻分片一的YUV图像数据与分片二的YUV图像数据进行合并，分片一的YUV图像数据放在奇数列，分片二的YUV图像数据放在偶数列，最终得到高分辨率(1920*1080)图像数据；
[0044] 12.3如果分片一的YUV图像数据与分片二的YUV图像数据丢失一份数据，这YUV图像数据进行横向插值，YUV相邻列的每个像素的进行线性插值(取中值)，得到新列插入两个相邻列间，最后两列按照线性插值除了生成中间列，再生成右侧列，作为生成图像最后一列，这仍然还原出有限失真的高分辨率图像(1920*1080)数据；
[0045] 12.4采用WiFi与移动网络两个通道同时传输互为残差视频(互为残差视频的两个视频，可以进行互相恢复，两者同时存在能提高画质)，当一个通道出问题时，本方法仍然恢复出一个有限失真的视频图像，当两个通道都正常工作时，则得到高分辨率图像数据；
[0046] 12.5把生成图像数据发送给视频显示模块14。
[0047] 13.画面倍帧模块13接收分片一解码模块10的分片一的YUV图像数据与时戳，接收分片二解码模块11的分片二的YUV图像数据与时戳；
[0048] 13.1把YUV图像数据按照时戳进行排序，对YUV图像数据进行横向插值，YUV相邻列的每个像素的进行线性插值(取中值)，得到新列插入两个相邻列间，最后两列按照线性插值除了生成中间列，再生成右侧列，作为生成图像最后一列，通过图像拉伸还原出高分辨率图像(1920*1080)数据；
[0049] 13.2采用WiFi与移动网络两个通道同时传输视频数据，当一个通道出问题时，得到低帧率(30帧)视频图像，当两个通道都正常工作时，则得到高帧率(60帧)的图像数据；
[0050] 13.3生成YUV图像数据发送给视频显示模块14。
[0051] 14.视频显示模块14：接收画面合并模块12的YUV图像数据渲染显示，接收画面倍帧模块13的YUV图像数据渲染显示；当视频源模块1的图像处于静止状态，使用WiFi与移动网络两个通道同时传输互为残差视频，共同输出高分辨率图像，当视频源模块1的图像处于运动状态，使用WiFi与移动网络两个通道同时传输间隔独立视频图像，共同输出高帧率视频图像。
