基于中线边缘特征投影的自动检测全景视频、图片的方法

摘要

本发明揭示了一种基于中线边缘特征投影的自动检测全景视频、图片的方法，利用同一视频节目格式唯一这一事实条件，只是在每个新节目时做必要的计算检测。其次利用全景视频的内容在空间上是完全连续的，将原图按左右划分并交换左右子图位置，使得原图的左边缘和右边缘相连，再只需要对中心区域一个很小区域进行处理。通过计算亮度投影和边缘强度投影，进一步压缩特征维度，在通过检测特定中心位置是否存在边缘，以确定该图像是普通2D/3D视频还是全景视频格式；再次在时间域上进行多帧投票判别，最后输出当前视频节目的格式，控制显示装置按照检测出来的视频格式进行播放。本发明可在保证高的检测准确率的前提下，大大减少了视频格式检测的计算复杂度。

权利要求

1.一种基于中线边缘特征投影的自动检测全景视频的方法，其特征在于，所述方法包括：S1.新视频节目开始，对计数器清零；

S2.获取一帧图像，对输入图像进行左右划分，并交换左右位置；选择水平中线区域(11)为待处理区域，区域高度与原图高度相等，宽度为预设值W并且水平中线区域(11)位于原图水平方向中心；

S3.对水平中线区域(11)进行颜色空间转换，得到水平中线区域(11)的亮度图为11Y；

S4.对亮度图11Y提取垂直方向边缘强度，得到边缘强度图11YEdge；

S5.对边缘强度图11YEdge向高度方向进行投影，得到投影向量11YEdgeprj，向量维度为W；

S6.检测向量11YEdgeprj的W/2位置是否有最大值，若成立则计数器加1；

S7.重复S2～～S6，直至S6判别步骤被执行了m次；

S8.若计数器的值大于等于k*m,(k∈(0.5,1])，则检测到的当前视频节目格式为普通

2D/3D视频格式；

S9.若以上计数器的值不满足条件，则检测到的当前视频节目为全景视频格式；

所述方法还包括步骤S10、若某个视频被判定为全景内容，再通过区分上下3D格式和2D格式的方法进一步判断其为上下3D格式还是2D格式，从而区分该全景内容是3D全景还是2D全景；具体区分上下3D格式和2D格式的方法包括：S101.获取一帧图像，选择垂直中线区域(22)为待处理区域，区域宽度与原图宽度相等，区域高度为预设值W并且垂直中线区域(22)位于原图垂直方向中心；

S102.对垂直中线区域(22)进行颜色空间转换，得到垂直中线区域(22)的亮度图为

22Y；

S103.对亮度图22Y提取水平方向边缘强度，得到边缘强度图22YEdge；

S104.对边缘强度图22YEdge向水平方向进行投影，得到投影向量22YEdgeprj，向量维度为W；

S105.检测向量22YEdgeprj的W/2位置是否有最大值，若成立则是3D全景，否则为2D全景。

2.一种基于中线边缘特征投影的自动检测全景图片的方法，其特征在于，所述方法包括：S1.获取一帧图像，对输入图像进行左右划分，并交换左右位置；选择水平中线区域(11)为待处理区域，区域高度与原图高度相等，宽度为预设值W并且水平中线区域(11)位于原图水平方向中心；

S2.对水平中线区域(11)进行颜色空间转换，得到水平中线区域(11)的亮度图为11Y；

S3.对亮度图11Y提取垂直方向边缘强度，得到边缘强度图11YEdge；

S4.对边缘强度图11YEdge向高度方向进行投影，得到投影向量11YEdgeprj，向量维度为W；

S5.检测向量11YEdgeprj的W/2位置是否有最大值，若成立则检测到的当前图片格式为普通2D/3D图片格式，否则检测到的当前图片为全景图片格式；

所述方法还包括步骤S6、若某个图片被判定为全景内容，再通过区分上下3D格式和2D格式的方法进一步判断其为上下3D格式还是2D格式，从而区分该全景内容是3D全景还是2D全景；具体区分上下3D格式和2D格式的方法包括：S61.获取一帧图像，选择垂直中线区域(22)为待处理区域，区域宽度与原图宽度相等，区域高度为预设值W并且垂直中线区域(22)位于原图垂直方向中心；

S62.对垂直中线区域(22)进行颜色空间转换，得到垂直中线区域(22)的亮度图为22Y；

S63.对亮度图22Y提取水平方向边缘强度，得到边缘强度图22YEdge；

S64.对边缘强度图22YEdge向水平方向进行投影，得到投影向量22YEdgeprj，向量维度为W；

S65.检测向量22YEdgeprj的W/2位置是否有最大值，若成立则是3D全景，否则为2D全景。

说明书

基于中线边缘特征投影的自动检测全景视频、图片的方法

技术领域

[0001] 本发明属于视频处理技术领域，涉及一种自动检测全景视频的方法，尤其涉及一种基于中线边缘特征投影的自动检测全景视频、图片的方法。

背景技术

[0002] 随着虚拟现实(VR)技术近年来的兴起，在各大视频网站/图片网站上360度的全景图片/全景视频内容成爆发式增长。VR全景图片/全景视频按照存放内容的视点数分为2D(mono)和3D(stereo)两种。按照谷歌的推荐，内容保存格式为常见的‘等距矩形投影全景’(equirectangular-panoramic)，如图9所示。对于图像/视频的宽高比，谷歌推荐2D全景图片/视频宽高比为2:1，3D全景图片/视频宽高比为1:1。在实际情况中，大量的全景图片/视频的宽高比并不严格遵守此宽高比例。

[0003] 头戴式VR全景显示设备在显示全景图片/视频时，会根据头戴显示设备中的传感器获得观看者的方位，并根据此信息选择全景图像/视频中的对应区域进行渲染/显示。这种根据观看者方位的显示方式，跟普通的2D/3D内容的显示是完全不同的。对于给定的一个图像/视频内容，只有正确判断其是普通2D/3D内容，还是全景VR内容，才能够采用对应的方式进行显示。

[0004] 有鉴于此，如今迫切需要设计一种新的显示方式，以便克服现有显示方式存在的上述缺陷。

发明内容

[0005] 本发明所要解决的技术问题是：提供一种基于中线边缘特征投影的自动检测全景视频的方法，可在保证高的检测准确率的前提下，大大减少了视频格式检测的计算复杂度。

[0006] 此外，本发明还提供一种基于中线边缘特征投影的自动检测全景视频的方法，可在保证高的检测准确率的前提下，大大减少了视频格式检测的计算复杂度。

[0007] 为解决上述技术问题，本发明采用如下技术方案：

[0008] 一种基于中线边缘特征投影的自动检测全景视频的方法，所述方法包括：

[0009] S1.新视频节目开始，对计数器清零；

[0010] S2.获取一帧图像，对输入图像进行左右划分，并交换左右位置；选择水平中线区域为待处理区域，区域高度与原图高度相等，宽度为预设值W并且水平中线区域位于原图水平方向中心；

[0011] S3.对水平中线区域进行颜色空间转换，得到水平中线区域的亮度图为11Y；

[0012] S4.对亮度图11Y提取垂直方向边缘强度，得到边缘强度图11YEdge；

[0013] S5.对边缘强度图11YEdge向高度方向进行投影，得到投影向量11YEdgeprj，向量维度为W；

[0014] S6.检测向量11YEdgeprj的W/2位置是否有最大值，若成立则计数器加1；

[0015] S7.重复S2～～S6，直至S6判别步骤被执行了m次；

[0016] S8.若计数器的值大于等于k*m,(k∈(0.5,1])，则检测到的当前视频节目格式为普通2D/3D视频格式；

[0017] S9.若以上计数器的值不满足条件，则检测到的当前视频节目为全景视频格式。

[0018] 作为本发明的一种优选方案，若某个内容判定为全景内容，判断其为上下3D格式还是2D格式，进一步区分该全景内容为2D全景视频还是3D立体全景视频。

[0019] 作为本发明的一种优选方案，所述方法还包括步骤S10、若某个视频被判定为全景内容，再通过区分上下3D格式和2D格式的方法进一步判断其为上下3D格式还是2D格式，从而区分该全景内容是3D全景还是2D全景；具体区分上下3D格式和2D格式的方法包括：

[0020] S101.获取一帧图像，选择垂直中线区域(22)为待处理区域，区域宽度与原图宽度相等，区域高度为预设值W并且垂直中线区域(22)位于原图垂直方向中心；

[0021] S102.对垂直中线区域(22)进行颜色空间转换，得到垂直中线区域(22)的亮度图为22Y；

[0022] S103.对亮度图22Y提取水平方向边缘强度，得到边缘强度图22YEdge；

[0023] S104.对边缘强度图22YEdge向水平方向进行投影，得到投影向量22YEdgeprj，向量维度为W；

[0024] S105.检测向量22YEdgeprj的W/2位置是否有最大值，若成立则是3D全景，否则为2D全景。

[0025] 一种基于中线边缘特征投影的自动检测全景图片的方法，所述方法包括：

[0026] S1.获取一帧图像，对输入图像进行左右划分，并交换左右位置；选择水平中线区域为待处理区域，区域高度与原图高度相等，宽度为预设值W并且水平中线区域位于原图水平方向中心；

[0027] S2.对水平中线区域进行颜色空间转换，得到水平中线区域的亮度图为11Y；

[0028] S3.对亮度图11Y提取垂直方向边缘强度，得到边缘强度图11YEdge；

[0029] S4.对边缘强度图11YEdge向高度方向进行投影，得到投影向量11YEdgeprj，向量维度为W；

[0030] S5.检测向量11YEdgeprj的W/2位置是否有最大值，若成立则检测到的当前图片格式为普通2D/3D图片格式，否则检测到的当前图片为全景图片格式。

[0031] 作为本发明的一种优选方案，若某个内容被判定为全景内容，通过判断上下3D格式还是2D格式，进一步区分该全景内容为2D全景还是3D立体全景。

[0032] 作为本发明的一种优选方案，所述方法还包括步骤S6、若某个图片被判定为全景内容，再通过区分上下3D格式和2D格式的方法进一步判断其为上下3D格式还是2D格式，从而区分该全景内容是3D全景还是2D全景；具体区分上下3D格式和2D格式的方法包括：

[0033] S61.获取一帧图像，选择垂直中线区域(22)为待处理区域，区域宽度与原图宽度相等，区域高度为预设值W并且垂直中线区域(22)位于原图垂直方向中心；

[0034] S62.对垂直中线区域(22)进行颜色空间转换，得到垂直中线区域(22)的亮度图为22Y；

[0035] S63.对亮度图22Y提取水平方向边缘强度，得到边缘强度图22YEdge；

[0036] S64.对边缘强度图22YEdge向水平方向进行投影，得到投影向量22YEdgeprj，向量维度为W；

[0037] S65.检测向量22YEdgeprj的W/2位置是否有最大值，若成立则是3D全景，否则为2D全景。

[0038] 本发明的有益效果在于：本发明提出的基于中线边缘特征投影的自动检测全景视频的方法(自动检测视频节目格式的方法)，具有以下有益效果：首先利用了同一视频节目格式唯一这一事实条件，只是在每个新节目时做必要的计算/检测。其次在具体的检测方法中，利用全景视频的内容在空间上是完全连续的，将原图按左右划分并交换左右子图位置，使得原图的左边缘和右边缘相连，再只需要对中心区域一个很小区域进行处理。通过计算亮度投影和边缘强度投影，进一步压缩特征维度，在通过检测特定中心位置是否存在边缘，以确定该图像是普通2D/3D视频，还是全景视频格式；再次在时间域上进行多帧投票判别，最后输出当前视频节目的格式，控制显示装置按照检测出来的视频格式进行播放。

[0039] 使用该方法在保证高的检测准确率的前提下，大大减少了视频格式检测的计算复杂度。由于同一视频节目的格式具有唯一性，同时操作系统通常都会提供视频文件所对应的缩略图，上述对于视频节目格式的判断也可以简化为对应缩略图的格式判断，这样可以在视频正式播放前就能设置好正确的播放模式，从而进一步消除模式切换过程中的不适。

附图说明

[0040] 图1为一张全景图片的原始图像示意图。

[0041] 图2为左右子图交换后形成的新图像示意图。

[0042] 图3为普通2D图片的原图。

[0043] 图4为将图3的原图左右交换后的新图。

[0044] 图5为本发明自动检测全景视频方法的流程图。

[0045] 图6为对输入图像进行左右划分的示意图。

[0046] 图7为选择水平中线区域的示意图。

[0047] 图8为选择垂直中线区域的示意图。

[0048] 图9为内容保存格式为常见的等距矩形投影全景示意图。

具体实施方式

[0049] 下面结合附图详细说明本发明的优选实施例。

[0050] 实施例一

[0051] 对于360度的全景图片/全景视频，其内容本身在空间上是连续的，因此图像的最左边和最右边的内容也是连续的。具体操作上，可以将图像分为左右子图，交换左右子图位置得到新的图像。在新图像中的中间线位置，对于全景图片/视频而言，由于内容本身在空间上是连续，不存在一条竖直的边缘。而对于普通2D/3D内容，左右子图交换后得到的新图像，水平中线位置将人为地形成一条竖直的边缘。

[0052] 图1是一张全景图片的原始图像，左右子图交换后形成的新图像如如图2所示。从图中可见，原图中的右边缘区域与左边缘区域完美连接，内容上没有任何断裂。图3和图4分别是普通2D图片的原图和左右交换后的新图。

[0053] 针对360度的全景图片/视频的特点，本发明提出一种基于中线边缘特征投影的自动检测全景视频的方法，所述方法包括以下步骤：

[0054] S1.新视频节目开始，对计数器清零。

[0055] S2.获取一帧图像，对输入图像进行左右划分(图6)，并交换左右位置。选择水平中线区域11为待处理区域，区域高度与原图高度相等，宽度为预设值W并且区域11位于原图水平方向中心(图7)。

[0056] S3.对区域11进行颜色空间转换，得到区域11的亮度图为11Y。

[0057] S4.对亮度图11Y提取垂直方向边缘强度，得到边缘强度图11YEdge。

[0058] S5.对边缘强度图11YEdge向高度方向进行投影，得到投影向量11YEdgeprj，向量维度为W。

[0059] S6.检测向量11YEdgeprj的W/2位置是否有最大值，若成立则计数器加1。

[0060] S7.重复S2～～S6，直至S6判别步骤被执行了m次。

[0061] S8.若计数器的值大于等于k*m,(k∈(0.5,1])，则检测到的当前视频节目格式为普通2D/3D视频格式。

[0062] S9.若以上计数器的值不满足条件，则检测到的当前视频节目为全景视频格式。

[0063] 所述方法还包括步骤S10、若某个视频被判定为全景内容，再通过区分上下3D格式和2D格式的方法进一步判断其为上下3D格式还是2D格式，从而区分该全景内容是3D全景还是2D全景；具体区分上下3D格式和2D格式的方法包括：

[0064] S101.获取一帧图像，选择垂直中线区域22为待处理区域，区域宽度与原图宽度相等，区域高度为预设值W并且垂直中线区域22位于原图垂直方向中心，如图8所示；

[0065] S102.对垂直中线区域22进行颜色空间转换，得到垂直中线区域(22)的亮度图为22Y；

[0066] S103.对亮度图22Y提取水平方向边缘强度，得到边缘强度图22YEdge；

[0067] S104.对边缘强度图22YEdge向水平方向进行投影，得到投影向量22YEdgeprj，向量维度为W；

[0068] S105.检测向量22YEdgeprj的W/2位置是否有最大值，若成立则是3D全景，否则为2D全景。

[0069] 实施例二

[0070] 一种基于中线边缘特征投影的自动检测全景图片的方法，所述方法包括：

[0071] S1.获取一帧图像，对输入图像进行左右划分，并交换左右位置；选择水平中线区域11为待处理区域，区域高度与原图高度相等，宽度为预设值W并且水平中线区域11位于原图水平方向中心；

[0072] S2.对水平中线区域11进行颜色空间转换，得到水平中线区域11的亮度图为11Y；

[0073] S3.对亮度图11Y提取垂直方向边缘强度，得到边缘强度图11YEdge；

[0074] S4.对边缘强度图11YEdge向高度方向进行投影，得到投影向量11YEdgeprj，向量维度为W；

[0075] S5.检测向量11YEdgeprj的W/2位置是否有最大值，若成立则检测到的当前图片格式为普通2D/3D图片格式，否则检测到的当前图片为全景图片格式。

[0076] 所述方法还可以包括步骤S6、若某个图片被判定为全景内容，再通过区分上下3D格式和2D格式的方法进一步判断其为上下3D格式还是2D格式，从而区分该全景内容是3D全景还是2D全景；具体区分上下3D格式和2D格式的方法包括：

[0077] S61.获取一帧图像，选择垂直中线区域22为待处理区域，区域宽度与原图宽度相等，区域高度为预设值W并且垂直中线区域22位于原图垂直方向中心；

[0078] S62.对垂直中线区域22进行颜色空间转换，得到垂直中线区域22的亮度图为22Y；

[0079] S63.对亮度图22Y提取水平方向边缘强度，得到边缘强度图22YEdge；

[0080] S64.对边缘强度图22YEdge向水平方向进行投影，得到投影向量22YEdgeprj，向量维度为W；

[0081] S65.检测向量22YEdgeprj的W/2位置是否有最大值，若成立则是3D全景，否则为2D全景。

[0082] 综上所述，本发明提出的基于中线边缘特征投影的自动检测全景视频的方法(自动检测视频节目格式的方法)，具有以下有益效果：首先利用了同一视频节目格式唯一这一事实条件，只是在每个新节目时做必要的计算/检测。其次在具体的检测方法中，利用全景视频的内容在空间上是完全连续的，将原图按左右划分并交换左右子图位置，使得原图的左边缘和右边缘相连，再只需要对中心区域一个很小区域进行处理。通过计算亮度投影和边缘强度投影，进一步压缩特征维度，在通过检测特定中心位置是否存在边缘，以确定该图像是普通2D/3D视频，还是全景视频格式；再次在时间域上进行多帧投票判别，最后输出当前视频节目的格式，控制显示装置按照检测出来的视频格式进行播放。

[0083] 使用该方法在保证高的检测准确率的前提下，大大减少了视频格式检测的计算复杂度。由于同一视频节目的格式具有唯一性，同时操作系统通常都会提供视频文件所对应的缩略图，上述对于视频节目格式的判断也可以简化为对应缩略图的格式判断，这样可以在视频正式播放前就能设置好正确的播放模式，从而进一步消除模式切换过程中的不适。

[0084] 这里本发明的描述和应用是说明性的，并非想将本发明的范围限制在上述实施例中。这里所披露的实施例的变形和改变是可能的，对于那些本领域的普通技术人员来说实施例的替换和等效的各种部件是公知的。本领域技术人员应该清楚的是，在不脱离本发明的精神或本质特征的情况下，本发明可以以其它形式、结构、布置、比例，以及用其它组件、材料和部件来实现。在不脱离本发明范围和精神的情况下，可以对这里所披露的实施例进行其它变形和改变。