一种深度图像和纹理图像码流分配的方法转让专利
申请号 : CN200810161596.8
文献号 : CN101365141B
文献日 : 2010-06-02
发明人 : 许士芳 , 刘济林
申请人 : 浙江大学
摘要 :
权利要求 :
1.一种深度图像和纹理图像码流分配的方法,其特征在于包括如下步骤:
1)根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算深度图象复杂度;
2)根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算纹理图象复杂度;
3)根据深度图象复杂度和纹理图象复杂度,计算分配给深度图像的码流大小和分配给纹理图像的码流大小;
所述的根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算深度图象复杂度步骤:
a)根据下列式子,计算深度图象中相邻象素之间亮度差异平方的均值:
E[DepthDiff2]=(SqrDiff_W+SqrDiff_H)/(2×W×H-W-H);
其中,SqrDiff_W是横向方向上相邻象素之间亮度差异的平方和,SqrDiff_H是纵向方向上相邻象素之间亮度差异的平方和,DepthPxl(w,h)是深度图像中图像坐标(w,h)处象素点的亮度值,W深度图象的图像宽度,H是深度图象的图像宽度,E[DepthDiff2]是深度图象中相邻象素之间亮度差异平方的均值;
b)根据下列式子,计算深度图象中相邻象素之间亮度差异平方的均值:
E[DepthDiff]2=((Diff_W+Diff_H)/(2×W×H-W-H))2;
其中,Diff_W是横向方向上相邻象素之间亮度差异的和,Diff_H是纵向方向上相邻象素之间亮度差异的和,DepthPxl(w,h)是深度图像中图像坐标(w,h)处象素点的亮度值,W是深度图象的图像宽度,H是深度图象的图像宽度,E[DepthDiff]2是深度图象中相邻象素之间亮度差异均值的平方;
c)根据下列式子,计算深度图象复杂度:
DepthCmp=E[DepthDiff2]-E[DepthDiff]2;
其中,E[DepthDiff2]是深度图象中相邻象素之间亮度差异平方的均值,E[DepthDiff]2是深度图象中相邻象素之间亮度差异均值的平方,DepthCmp是深度图像复杂度;
所述的根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算纹理图象复杂度步骤:
d)根据下列式子,计算纹理图象中相邻象素之间亮度差异平方的均值:
E[ColorDiff2]=(SqrDiff_W+SqrDiff_H)/(2×W×H-W-H);
其中,SqrDiff_W是横向方向上相邻象素之间亮度差异的平方和,SqrDiff_H是纵向方向上相邻象素之间亮度差异的平方和,ColorPxl(w,h)是纹理图像中图像坐标(w,h)处象素点的亮度值,W纹理图象的图像宽度,H是纹理图象的图像宽度,E[ColorDiff2]是纹理图象中相邻象素之间亮度差异平方的均值;
e)根据下列式子,计算纹理图象中相邻象素之间亮度差异平方的均值:
E[ColorDiff]2=((Diff_W+Diff_H)/(2×W×H-W-H))2;
其中,Diff_W是横向方向上相邻象素之间亮度差异的和,Diff_H是纵向方向上相邻象素之间亮度差异的和,ColorPxl(w,h)是纹理图像中图像坐标(w,h)处象素点的亮度值,W是纹理图象的图像宽度,H是纹理图象的图像宽度,E[ColorDiff]2是纹理图象中相邻象素之间亮度差异均值的平方;
f)根据下列式子,计算纹理图象复杂度:
ColorCmp=E[ColorDiff2]-E[ColorDiff]2;
其中,E[ColorDiff2]是纹理图象中相邻象素之间亮度差异平方的均值,E[ColorDiff]2是纹理图象中相邻象素之间亮度差异均值的平方,ColorCmp是纹理图像复杂度;
所述的根据深度图象复杂度和纹理图象复杂度,计算分配给深度图像的码流大小和分配给纹理图像的码流大小步骤:
g)根据下列式子,计算分配给深度图像的码流大小:
DepthBitRate=TotalBitRate×DepthCmp/(DepthCmp+ColorCmp);
h)根据下列式子,计算分配给纹理图像的码流大小:
ColorBitRate=TotalBitRate×ColorCmp/(DepthCmp+ColorCmp)。
说明书 :
技术领域
本发明涉及数字图像处理技术,特别地,涉及一种立体电视系统中虚拟视点图像绘制的方法
背景技术
立体电视系统用户端的设计应该满足复杂度低、功能实现简单、制造成本低的要求。因为用户端的计算能力、存储能力有限,在用户端应该选择低计算量、低存储容量的虚拟视点图像绘制算法。欧洲的先进立体电视系统技术(ATTEST)计划提出了基于深度相机的立体场景生成方法,并以此为基础给出设计了立体电视系统。编码端将压缩后的深度图像传送给用户端,用户端用接收到的图像信息进行虚拟视点图像绘制。
深度图像和纹理图像码流分配是立体电视系统中的需要解决的技术之一。如果分配给深度图像的码流太少,会引起虚拟视点图像中物体边缘形变,影响虚拟视点图像绘制的质量;如果分配给纹理图像的码流太少,会引起虚拟视点图像中物体表面纹理模糊,影响虚拟视点图像绘制的质量。本发明根据深度图像复杂度和纹理图像复杂度自适应分配码流,提高用户端所虚拟视点图像绘制的质量。
发明内容
1)根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算深度图象复杂度;
2)根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算纹理图象复杂度;
3)根据深度图象复杂度和纹理图象复杂度,计算分配给深度图像的码流大小和分配给纹理图像的码流大小。
所述的根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算深度图象复杂度步骤:
a)根据下列式子,计算深度图象中相邻象素之间亮度差异平方的均值:
E[DepthDiff2]=(SqrDiff_W+SqrDiff_H)/(2×W×H-W-H);
其中,SqrDiff_W是横向方向上相邻象素之间亮度差异的平方和,SqrDiff_H是纵向方向上相邻象素之间亮度差异的平方和,DepthPxl(w,h)是深度图像中图像坐标(w,h)处象素点的亮度值,W深度图象的图像宽度,H是深度图象的图像宽度,E[DepthDiff2]是深度图象中相邻象素之间亮度差异平方的均值;
b)根据下列式子,计算深度图象中相邻象素之间亮度差异平方的均值:
E[DepthDiff]2=((Diff_W+Diff_H)/(2×W×H-W-H))2;
其中,Diff_W是横向方向上相邻象素之间亮度差异的和,Diff_H是纵向方向上相邻象素之间亮度差异的和,DepthPxl(w,h)是深度图像中图像坐标(w,h)处象素点的亮度值,W是深度图象的图像宽度,H是深度图象的图像宽度,E[DepthDiff]2是深度图象中相邻象素之间亮度差异均值的平方;
c)根据下列式子,计算深度图象复杂度:
DepthCmp=E[DepthDiff2]-E[DepthDiff]2;
其中,E[DepthDiff2]是深度图象中相邻象素之间亮度差异平方的均值,E[DepthDiff]2是深度图象中相邻象素之间亮度差异均值的平方,DepthCmp是深度图像复杂度;
所述的根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算纹理图象复杂度步骤:
d)根据下列式子,计算纹理图象中相邻象素之间亮度差异平方的均值:
E[ColorDiff2]=(SqrDiff_W+SqrDiff_H)/(2×W×H-W-H);
其中,SqrDiff_W是横向方向上相邻象素之间亮度差异的平方和,SqrDiff_H是纵向方向上相邻象素之间亮度差异的平方和,ColorPxl(w,h)是纹理图像中图像坐标(w,h)处象素点的亮度值,W纹理图象的图像宽度,H是纹理图象的图像宽度,E[ColorDiff2]是纹理图象中相邻象素之间亮度差异平方的均值;
e)根据下列式子,计算纹理图象中相邻象素之间亮度差异平方的均值:
E[ColorDiff]2=((Diff_W+Diff_H)/(2×W×H-W-H))2;
其中,Diff_W是横向方向上相邻象素之间亮度差异的和,Diff_H是纵向方向上相邻象素之间亮度差异的和,ColorPxl(w,h)是纹理图像中图像坐标(w,h)处象素点的亮度值,W是纹理图象的图像宽度,H是纹理图象的图像宽度,E[ColorDiff]2是纹理图象中相邻象素之间亮度差异均值的平方;
f)根据下列式子,计算纹理图象复杂度:
ColorCmp=E[ColorDiff2]-E[ColorDiff]2;
其中,E[ColorDiff2]是纹理图象中相邻象素之间亮度差异平方的均值,E[ColorDiff]2是纹理图象中相邻象素之间亮度差异均值的平方,ColorCmp是纹理图像复杂度;
所述的根据深度图象复杂度和纹理图象复杂度,计算分配给深度图像的码流大小和分配给纹理图像的码流大小步骤:
g)根据下列式子,计算分配给深度图像的码流大小:
DepthBitRate=TotalBitRate×DepthCmp/(DepthCmp+ColorCmp);
h)根据下列式子,计算分配给纹理图像的码流大小:
ColorBitRate=TotalBitRate×ColorCmp/(DepthCmp+ColorCmp);
本发明对强边缘宏块设置小的量化参数,从而有效地保护深度图像的边缘信息,提高用户端自由视点图像绘制的质量。
附图说明
图2是本发明方法所得到的压缩后的深度图像;
图3是本发明方法所得到的压缩后的纹理图像。
具体实施方式
步骤1,根据深度图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算深度图象复杂度步骤:
a)根据下列式子,计算深度图象中相邻象素之间亮度差异平方的均值:
E[DepthDiff2]=(SqrDiff_W+SqrDiff_H)/(2×W×H-W-H);
其中,SqrDiff_W是横向方向上相邻象素之间亮度差异的平方和,SqrDiff_H是纵向方向上相邻象素之间亮度差异的平方和,DepthPxl(w,h)是深度图像中图像坐标(w,h)处象素点的亮度值,W深度图象的图像宽度,H是深度图象的图像宽度,E[DepthDiff2]是深度图象中相邻象素之间亮度差异平方的均值;
b)根据下列式子,计算深度图象中相邻象素之间亮度差异平方的均值:
E[DepthDiff]2=((Diff_W+Diff_H)/(2×W×H-W-H))2;
其中,Diff_W是横向方向上相邻象素之间亮度差异的和,Diff_H是纵向方向上相邻象素之间亮度差异的和,DepthPxl(w,h)是深度图像中图像坐标(w,h)处象素点的亮度值,W是深度图象的图像宽度,H是深度图象的图像宽度,E[DepthDiff]2是深度图象中相邻象素之间亮度差异均值的平方;
c)根据下列式子,计算深度图象复杂度:
DepthCmp=E[DepthDiff2]-E[DepthDiff]2;
其中,E[DepthDiff2]是深度图象中相邻象素之间亮度差异平方的均值,E[DepthDiff]2是深度图象中相邻象素之间亮度差异均值的平方,DepthCmp是深度图像复杂度;
步骤2,根据纹理图象中相邻象素之间亮度差异平方的均值以及亮度差异均值的平方,计算纹理图象复杂度步骤:
d)根据下列式子,计算纹理图象中相邻象素之间亮度差异平方的均值:
E[ColorDiff2]=(SqrDiff_W+SqrDiff_H)/(2×W×H-W-H);
其中,SqrDiff_W是横向方向上相邻象素之间亮度差异的平方和,SqrDiff_H是纵向方向上相邻象素之间亮度差异的平方和,ColorPxl(w,h)是纹理图像中图像坐标(w,h)处象素点的亮度值,W纹理图象的图像宽度,H是纹理图象的图像宽度,E[ColorDiff2]是纹理图象中相邻象素之间亮度差异平方的均值;
e)根据下列式子,计算纹理图象中相邻象素之间亮度差异平方的均值:
E[ColorDiff]2=((Diff_W+Diff_H)/(2×W×H-W-H))2;
其中,Diff_W是横向方向上相邻象素之间亮度差异的和,Diff_H是纵向方向上相邻象素之间亮度差异的和,ColorPxl(w,h)是纹理图像中图像坐标(w,h)处象素点的亮度值,W是纹理图象的图像宽度,H是纹理图象的图像宽度,E[ColorDiff]2是纹理图象中相邻象素之间亮度差异均值的平方;
f)根据下列式子,计算纹理图象复杂度:
ColorCmp=E[ColorDiff2]一E[ColorDiff]2;
其中,E[ColorDiff2]是纹理图象中相邻象素之间亮度差异平方的均值,E[ColorDiff]2是纹理图象中相邻象素之间亮度差异均值的平方,ColorCmp是纹理图像复杂度;
步骤3,根据深度图象复杂度和纹理图象复杂度,计算分配给深度图像的码流大小和分配给纹理图像的码流大小步骤:
g)根据下列式子,计算分配给深度图像的码流大小:
DepthBitRate=TotalBitRate×DepthCmp/(DepthCmp+ColorCmp);
h)根据下列式子,计算分配给纹理图像的码流大小:
ColorBitRate=TotalBitRate×ColorCmp/(DepthCmp+ColorCmp);
本发明方法所得到的压缩后的深度图像如图2所示,发明方法所得到的压缩后的纹理图像如图3所示。