一种预测位移帧的方法与系统转让专利
申请号 : CN202010015402.4
文献号 : CN111212278B
文献日 : 2021-08-03
发明人 : 黄志奇 , 陈东义 , 杨雁杰
申请人 : 电子科技大学
摘要 :
权利要求 :
1.一种预测位移帧的方法,其特征在于,包括如下针对动态视频中多个图像帧的处理步骤:
步骤1:获得动态视频中单通道上的多个图像帧并将所述图像帧作为真实帧分配给通道A和通道B:将多个所述真实帧顺序编号,并将奇数序号的真实帧顺序预分配给通道A,将偶数序号的真实帧顺序预分配给通道B,多个所述真实帧顺序编号为真实帧1、真实帧2、真实帧3、…、真实帧N,N为所述图像帧的个数;
步骤2:在通道A中时间顺序的空白位置上插入预测帧,编号所述通道A上的预测帧为预测帧A1、预测帧A2、预测帧A3、…,在通道B中时间顺序的空白位置上插入预测帧,编号所述通道B上的预测帧为预测帧B1、预测帧B2、预测帧B3、…,完整的通道A中在时间顺序上的图像帧编号依次为:真实帧1、预测帧A1、真实帧3、预测帧A2、真实帧5、预测帧A3、…,完整的通道B中在时间顺序上的图像帧编号依次为:真实帧2、预测帧B1、真实帧4、预测帧B2、真实帧
6、预测帧B3、…;
步骤3:基于图块分割的帧间预测方法,依据每个通道中时间顺序的两个真实帧,预测得到两个真实帧中的第二个真实帧后面的第一个预测帧,依次得到除去预测帧A1、预测帧B1外的所有预测帧;
步骤4:得到各自通道中所有帧数据并向后输出;
所述步骤3中,所述基于图块分割的帧间预测方法中的图块分割方法详细为:根据图像行列扫描显示原理,依据图像分辨率x*y将一整幅图分割成若干个图块,每个图像帧均分割成若干个图块,设置一个行扫描计数信号hcnt,列扫描计数信号vcnt,将hcnt信号与vcnt信号嵌套循环,hcnt从1到x循环递增,到了x之后又清零至1重复操作,每当hcnt计数到x后,vcnt增加1,vcnt的范围是1至y,得到了两个在屏幕上不断位移的扫描信号;
2
同时按照行列n块的划分,将行的x个像素和列的y个像素分别n等分,得到n 个(x/n)*(y/n)的矩形块,划分过程通过人为指定像素实现;
判断当前扫描计数信号所属的图块,将同一图块内的点的像素数据做统一处理,任意一个图块内有m=(x/n)*(y/n)个点,每个点有对应的像素信息,所述像素信息是两个0 255~
内的数,对m个像素信息进行数值运算,得到所述图块的特征向量,其中所述特征向量有两个维度,1个维度代表亮度,另外1个维度代表颜色。
2.根据权利要求1所述的一种预测位移帧的方法,其特征在于,所述通道A为左眼通道,所述通道B为右眼通道。
3.根据权利要求1所述的一种预测位移帧的方法,其特征在于,所述通道A为右眼通道,所述通道B为左眼通道。
4.根据权利要求1所述的一种预测位移帧的方法,其特征在于,所述步骤3中,所述基于图块分割的帧间预测方法中的预测方法详细为:2
预处理:依次扫描图像得到n个图块的特征向量,储存所有特征向量的数据,所述步骤3中,每个通道中时间顺序的两个真实帧中第一个真实帧图像全部扫描完毕,开始扫描两个2
真实帧中第二个真实帧图像,同样依据图块分割方法分成n个图块全部存储起来;
对于所述两个真实帧图像中同一个位置的两个图块,预测算法处理过程:将两个图块的特征向量输入到预测算法,所述第一个真实帧为参考帧,所述参考帧中图块的特征向量为S1=(S1_liang,S1_se),特征向量S1中的亮度分量为是S1_liang,特征向量S1中的颜色分量为是S1_se,所述第二个真实帧为当前帧,所述当前帧中图块的特征向量为S2=(S2_liang,S2_se),特征向量S2中的亮度分量为是S2_liang,特征向量S2中的颜色分量为是S2_se,则可以得到视频前后两帧的变化向量S=S2–S1,将变化向量S作用到当前帧中图块的特征向量为S2,得到所述步骤3中的所述两个真实帧中的第二个真实帧后面的第一个预测帧的图块的特征向量S3,所述两个真实帧中的第二个真实帧后面的第一个预测帧为待预测帧,得到待预测块的特征向量S3,将特征向量S3作为整个块的亮度和颜色数据从而生成一2
个完整的新图块,依次生成所有n个图块后得到一整幅新的图像;
递归环节:同样运用所述预测算法处理过程,依次类推持续不断的生成新的预测帧按顺序插入通道中。
5.根据权利要求1所述的一种预测位移帧的方法,其特征在于,所述数值运算为平均数运算、中位数运算或众数运算。
6.实现权利要求1所述的一种预测位移帧的方法的系统,其特征在于,所述系统包括扫描计数模块、定位模块、预测帧生成模块、通道切换模块和输出通道,所述扫描计数模块将所述动态视频扫描并编号为多个真实帧后发送至定位模块,所述定位模块对图像数据进行处理后储存,并向后输出至预测帧生成模块,所述定位模块到所述预测帧生成模块之间的数据处理为,单通道视频源数据输入并经过定位模块进行图像分割后提取图块的特征向量,所述预测帧生成模块基于预测算法处理所述定位模块提取的特征向量后生成并编号多个预测帧,所述通道切换模块对多个所述预测帧进行按时隙切换至双通道并在对应时隙插入预测帧,所述通道切换模块将奇数编号的真实帧分配给通道A,所述通道切换模块将偶数编号的真实帧分配给通道B。
7.根据权利要求6所述的一种预测位移帧的方法的系统,其特征在于,还包括左眼视频输出通道和右眼视频输出通道,还包括两种情形,情形1:所述通道A后接入所述左眼视频输出通道,所述通道B接入所述右眼视频输出通道;情形2:所述通道A后接入所述右眼视频输出通道,所述通道B接入所述左眼视频输出通道。
说明书 :
一种预测位移帧的方法与系统
技术领域
背景技术
打字那样,每移动到一个新的像素,“像素数据信号”都是一个新的值,这个值代表着这个像
素点的颜色,“扫描信号”不断移动最终整个屏幕就都有了颜色,当扫描的速度非常快时(扫
完一个屏幕只需要1/25秒时,即1秒能显示25幅图像),此时显示的就是动态的视频。另外,
我们将视频中的一个画面称为一帧,对于一个视频,一秒至少需要显示25帧人眼才能觉得
视频是流畅的。
示大致相同又有微小不同的图像。帧位移法将输入的一段普通2D视频中的帧连续地分配到
左右眼对应的显示器显示(VR眼镜),假设该2D视频一秒内有60帧,第一帧给左眼显示器,第
二帧给右眼显示器,第三帧再给左眼,依次类推。当我们输入的视频本身是动态的时候,帧
与帧之间就有微小的差别(视频静态时此方法无效),这样对应的我们左右眼显示的图像也
就有了微小的差别,从而将2D视频转换成了3D视频,此时单边显示器显示的视频就减半成
为了30帧/秒而不是原本的60帧/秒。
由于图像更新速度足够快,人眼反应不过来所以认为左右图像是同时显示的。
发明内容
A,将偶数序号的真实帧顺序预分配给通道B,多个所述真实帧顺序编号为真实帧1、真实帧
2、真实帧3、…、真实帧N,N为所述图像帧的个数;
所述通道B上的预测帧为预测帧B1、预测帧B2、预测帧B3、…,完整的通道A中在时间顺序上
的图像帧编号依次为:真实帧1、预测帧A1、真实帧3、预测帧A2、真实帧5、预测帧A3、…,完整
的通道B中在时间顺序上的图像帧编号依次为:真实帧2、预测帧B1、真实帧4、预测帧B2、真
实帧6、预测帧B3、…;
测帧B1外的所有预测帧;
hcnt信号与vcnt信号嵌套循环,hcnt从1到x循环递增,到了x之后又清零至1重复操作,每当
hcnt计数到x后,vcnt增加1,vcnt的范围是1至y,得到了两个在屏幕上不断位移的扫描信
号;
信息,所述像素信息是两个0~255内的数,对m个像素信息进行数值运算,得到所述图块的
特征向量,其中所述特征向量有两个维度,1个维度代表亮度,另外1个维度代表颜色。
2
两个真实帧中第二个真实帧图像,同样依据图块分割方法分成n 个图块全部存储起来,对
于所述两个真实帧图像中同一个位置的两个图块;
分量为是S1_liang,特征向量S1中的颜色分量为是S1_se,所述第二个真实帧为当前帧,所
述当前帧中图块的特征向量为S2=(S2_liang,S2_se),特征向量S2中的亮度分量为是S2_
liang,特征向量S2中的颜色分量为是S2_se,则可以得到视频前后两帧的变化向量S=S2–
S1,将变化向量S作用到当前帧中图块的特征向量为S2,得到所述步骤3中的所述两个真实
帧中的第二个真实帧后面的第一个预测帧的图块的特征向量S3,所述两个真实帧中的第二
个真实帧后面的第一个预测帧为待预测帧,得到待预测块的特征向量S3,将特征向量S3作
2
为整个块的亮度和颜色数据从而生成一个完整的新图块,依次生成所有n个图块后得到一
整幅新的图像;
数据中的两通道时,仅丢失初始的三个帧数据,由于1s内有多帧图像,在保证一秒至少显示
25帧的情况下人眼观察的视频图像仍未流畅的。
程是可控的,可以根据应用场景的实际情况调试出最佳方案。
个真实帧后发送至定位模块,所述定位模块对图像数据进行处理后储存,并向后输出至预
测帧生成模块,所述定位模块到所述预测帧生成模块之间的数据处理为,单通道视频源数
据输入并经过定位模块进行图像分割后提取图块的特征向量,所述预测帧生成模块基于预
测算法处理所述定位模块提取的特征向量后生成并编号多个预测帧,所述通道切换模块对
多个所述预测帧进行按时隙切换至双通道并在对应时隙插入预测帧,所述通道切换模块将
奇数编号的真实帧分配给通道A,所述通道切换模块将偶数编号的真实帧分配给通道B。
2:所述通道A后接入所述右眼视频输出通道,所述通道B接入所述左眼视频输出通道。
显示,就真正满足了3D视频的显示要求。
附图说明
具体实施方式
式被实施或被执行。基于本发明中的实施例,本领域普通技术人员在没有做出创造性改进
前提下所获得的所有其它实施例,均属于本发明保护的范围。
A,将偶数序号的真实帧顺序预分配给通道B,多个所述真实帧顺序编号为真实帧1、真实帧
2、真实帧3、…、真实帧N,N为所述图像帧的个数;
所述通道B上的预测帧为预测帧B1、预测帧B2、预测帧B3、…,完整的通道A中在时间顺序上
的图像帧编号依次为:真实帧1、预测帧A1、真实帧3、预测帧A2、真实帧5、预测帧A3、…,完整
的通道B中在时间顺序上的图像帧编号依次为:真实帧2、预测帧B1、真实帧4、预测帧B2、真
实帧6、预测帧B3、…;
测帧B1外的所有预测帧;
hcnt信号与vcnt信号嵌套循环,hcnt从1到x循环递增,到了x之后又清零至1重复操作,每当
hcnt计数到x后,vcnt增加1,vcnt的范围是1至y,得到了两个在屏幕上不断位移的扫描信
号;
`H_DISP/n*1))?1'b1:1'b0;
`H_DISP/n*2))?1'b1:1'b0;
`H_DISP/n*3))?1'b1:1'b0;
`H_DISP/n*4))?1'b1:1'b0;.
BACK+`H_DISP/n*(n‑2))?1'b1:1'b0;
BACK+`H_DISP/n*(n‑1))?1'b1:1'b0;
+`H_DISP/n*n))?1'b1:1'b0;
信息,所述像素信息是两个0~255内的数,对m个像素信息进行数值运算,得到所述图块的
特征向量,其中所述特征向量有两个维度,1个维度代表亮度,另外1个维度代表颜色。
2
两个真实帧中第二个真实帧图像,同样依据图块分割方法分成n 个图块全部存储起来,对
于所述两个真实帧图像中同一个位置的两个图块;
分量为是S1_liang,特征向量S1中的颜色分量为是S1_se,所述第二个真实帧为当前帧,所
述当前帧中图块的特征向量为S2=(S2_liang,S2_se),特征向量S2中的亮度分量为是S2_
liang,特征向量S2中的颜色分量为是S2_se,则可以得到视频前后两帧的变化向量S=S2–
S1,将变化向量S作用到当前帧中图块的特征向量为S2,得到所述步骤3中的所述两个真实
帧中的第二个真实帧后面的第一个预测帧的图块的特征向量S3,所述两个真实帧中的第二
个真实帧后面的第一个预测帧为待预测帧,得到待预测块的特征向量S3,将特征向量S3作
2
为整个块的亮度和颜色数据从而生成一个完整的新图块,依次生成所有n个图块后得到一
整幅新的图像;
程是可控的,可以根据应用场景的实际情况调试出最佳方案。
此时通道A为通道L,通道B为通道R最终达到如下结果:第一时刻,左眼显示真实帧1,右眼无
显示;第二时刻,左眼无显示。右眼显示真实帧2;第三时刻:左眼显示真实帧3,右眼无显示;
第四时刻,左眼显示预测帧L2,右眼显示真实帧4;第五时刻,左眼显示真实帧5。右眼显示预
测帧R2;第六时刻:左眼显示预测帧L3,右眼显示真实帧6;第七时刻,左眼显示真实帧8,右
眼预测帧R3,以此类推。
扫描计数模块将所述动态视频扫描并编号为多个真实帧后发送至定位模块,所述定位模块
对图像数据进行处理后储存,并向后输出至预测帧生成模块,所述定位模块到所述预测帧
生成模块之间的数据处理为,单通道视频源数据输入并经过定位模块进行图像分割后提取
图块的特征向量,所述预测帧生成模块基于预测算法处理所述定位模块提取的特征向量后
生成并编号多个预测帧,所述通道切换模块对多个所述预测帧进行按时隙切换至双通道并
在对应时隙插入预测帧,所述通道切换模块将奇数编号的真实帧分配给通道A,所述通道切
换模块将偶数编号的真实帧分配给通道B。
所述通道A后接入所述右眼视频输出通道,所述通道B接入所述左眼视频输出通道。
的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含
在本发明的保护范围之内。