产生用于全景图像运动估计和补偿的虚像区的方法和设备

摘要

提出了一种用于设置虚像区的方法和设备，以便有效地执行包括360度全方向图像信息的全景图像的运动估计和补偿。所述方法包括步骤：在前一个全景图像中搜索与希望进行运动估计的当前拼贴元的全部或一部分虚像区相对应的基准数据，以便确定所述基准数据的存在；以及将所述基准数据选择性地映射到全部或一部分虚像区。通过如此处理，通过没有改变地使用二维运动图像编码方法对包含全方向图像信息的全景图像进行了编码，同时大大地提高了在运动估计和补偿过程中的编码效率。

权利要求

1.一种产生用于全景图像的运动估计的虚像区的方法，所述全景 图像被划分为分片拼贴元单元并且从发送侧被发送，所述方法包括步骤：在前一个全景图像中搜索与希望进行运动估计的当前拼贴元的全 部或一部分虚像区相对应的基准数据，以便确定所述基准数据的存在； 以及基于所述搜索结果，将所述基准数据选择性地映射到所述全部或一 部分虚像区。

2.如权利要求1所述的方法，其中，选择性地映射所述基准数据的 步骤包括：如果搜索结果表示存在基准数据，则判断是否在预定时间内更新了 基准数据；以及如果判断结果表示在预定时间内更新了所述基准数据，则将所述基 准数据映射到全部或一部分虚像区；

映射所述基准数据的步骤还包括步骤：

如果判断结果表示没有在预定时间内更新所述基准数据，则确定执 行将所述基准数据映射到全部或一部分虚像区，或执行在与当前拼贴元 的位置相对应的前一个全景图像中的基准图像的边界部分上填充像素； 以及根据所述确定执行映射或填充；

选择性地映射所述基准数据的步骤还包括步骤：

如果搜索结果表示不存在基准数据，则通过在与当前拼贴元的位置 相对应的前一个全景图像中的基准图像的边界部分上填充像素来产生全 部或一部分虚像区。

3.如权利要求2所述的方法，还包括步骤：

记录关于确定的信息以便发送附加信息，所述附加信息允许接收侧 实质上相同地产生针对拼贴元的全部或一部分虚像区。

4.如权利要求1所述的方法，其中，所述搜索步骤包括步骤：如果全部或一部分虚像区位于前一个全景图像的左边界或右边界 中任意一个的外部，则将从另一个边界到预定范围的图像识别为针对存 在于所述一个边界外部的虚像区的基准数据。

5.一种产生用于全景图像的运动估计的虚像区的设备，所述虚像 区用于要被划分为分片拼贴元单元并且从发送侧被发送，所述设备包括：搜索单元，用于在前一个全景图像中搜索与希望进行运动估计的当 前拼贴元的全部或一部分虚像区相对应的基准数据，以便确定基准数据 的存在；以及映射单元，根据搜索结果，选择性地将所述基准数据映射到全部或 一部分虚像区。

6.如权利要求5所述的设备，还包括：

判断单元，用于如果搜索结果表示存在基准数据，则判断是否在预 定时间内更新了所述基准数据；

其中，如果判断结果表示在预定的时间内更新了所述基准数据，则 所述映射单元执行映射；

确定单元，用于如果判断结果表示没有在预定时间内更新所述基准 数据，则确定要执行映射或填充；以及填充单元，用于如果搜索结果表示不存在基准数据，则通过在与当 前拼贴元的位置相对应的前一个全景图像中的基准图像的边界部分上填 充像素，来产生全部或一部分虚像区，其中如果判断结果表示没有在预 定时间内更新所述基准数据，则根据所述确定单元的确定来执行映射或 填充。

7.如权利要求6所述的设备，还包括：

附加信息产生单元，用于记录关于确定的信息以便发送附加信息， 所述附加信息允许接收侧实质上相同地产生针对拼贴元的全部或一部分 虚像区。

8.如权利要求5所述的设备，其中，如果全部或一部分虚像区在前 一个全景图像的左边界或右边界中的任意一个的外部，则将所述搜索单 元配置成将从另一个边界到预定范围的图像识别为针对存在于所述一个 边界外部的虚像区的基准数据，并且搜索所述基准数据。

9.一种产生用于全景图像的运动补偿的虚像区的方法，所述全景 图像被划分为分片拼贴元单元并且在接收侧被接收，所述方法包括步骤：在前一个全景图像中搜索与希望进行运动估计的当前拼贴元的全 部或一部分虚像区相对应的基准数据，以便确定基准数据的存在；以及基于所述搜索结果，将基准数据选择性地映射到全部或一部分虚像 区。

10.如权利要求9所述的方法，其中，映射搜索基准数据的步骤包 括步骤：如果搜索结果表示存在基准数据，则判断是否在预定时间内更新了 所述基准数据；以及如果判断结果表示在预定时间内更新了所述基准数据，则将所述基 准数据映射到全部或一部分虚像区；

如果判断结果表示没有在预定时间内更新所述基准数据，则确定通 过参考从发送侧接收到的附加信息来执行将所述基准数据映射到全部或 一部分虚像区，或执行在与当前拼贴元的位置相对应的前一个全景图像 中的基准图像的边界部分上填充像素；以及根据所述确定执行映射或填充。

11.一种产生用于全景图像的运动估计的虚像区的设备，所述全景 图像被划分为分片拼贴元单元并在接收侧被接收，所述设备包括：搜索单元，用于在针对前一个全景图像中搜索与希望进行运动估计 的当前拼贴元的全部或一部分虚像区相对应的基准数据，以便确定基准 数据的存在；以及映射单元，基于搜索结果，将所述基准数据选择性地映射到全部或 一部分虚像区；

12.如权利要求11所述的设备，还包括：

判断单元，用于如果搜索结果表示存在基准数据，则判断是否在预 定时间内更新所述基准数据；

其中，如果判断结果表示在预定时间内更新了所述基准数据，则所 述映射单元执行映射；

附加信息解译单元，用于如果判断单元的判断结果表示没有在预定 时间内更新所述基准数据，则解译从发送侧接收到的附加信息，其中， 所述信息表示将所述基准数据映射到发送侧中的全部或一部分虚像区 域，或在与当前拼贴元的位置相对应的前一个全景图像中的基准图像的 边界部分上填充像素；以及填充单元，用于如果搜索结果表示不存在基准数据，则通过在与当 前拼贴元的位置相对应的前一个全景图像中的基准图像的边界部分上填 充像素，来产生全部或一部分虚像区，其中如果判断单元的判断结果表示没有在预定时间内更新所述基 准数据，则根据所述附加信息来执行映射或填充。

13.一种全景图像的运动估计的方法，所述全景图像被划分为分片 拼贴元单元并且从发送侧被发送，所述方法包括步骤：确定与希望进行运动估计的当前拼贴元的全部或一部分虚像区相 对应的基准数据是否处于前一个全景图像中，并且将基准数据映射到全 部或一部分虚像区；以及通过使用被映射了基准数据的全部或一部分虚像区，产生与基准图 像有关的当前拼贴元的运动矢量。

14.一种编码方法，用于对被划分为分片拼贴元单元、并且从发送 侧发送的全景图像进行编码，所述方法包括步骤：确定与希望进行运动估计的当前拼贴元的全部或一部分虚像区相 对应的基准数据是否处于前一个全景图像中，并且将所述基准数据映射 到全部或一部分虚像区；

通过使用被映射了基准数据的全部或一部分虚像区，产生与基准图 像有关的当前拼贴元的运动矢量；以及通过使用所述运动矢量来执行针对当前拼贴元的运动补偿。

15.一种被划分为分片拼贴元单元并且在接收侧接收的全景图像的 运动补偿方法，所述方法包括步骤：接收针对包括在当前全景图像中的当前拼贴元的运动矢量的输入；

确定由运动矢量表示的、并且与当前拼贴元的全部或一部分虚像区 相对应的基准数据是否处于前一个全景图像中；

将所述基准数据映射到全部或一部分虚像区；以及

将所述运动矢量应用于映射了所述基准数据的全部或一部分虚像 区。

16.一种全景图像的运动补偿方法，所述全景图像被划分为分片拼 贴元单元、并且在接收侧被接收，所述方法包括步骤：接收针对包括在当前全景图像中的当前拼贴元的运动矢量的输入；

确定由运动矢量表示的、并且与当前拼贴元的全部或一部分虚像区 相对应的基准数据是否处于前一个全景图像中；

将所述基准数据映射到全部或一部分虚像区；

通过使用映射了所述基准数据的全部或一部分虚像区，执行基准图 像的运动补偿；以及通过使用当前拼贴元和已运动补偿的拼贴元的差分信号以及已运 动补偿的拼贴元，恢复当前拼贴元。

说明书

技术领域

本发明涉及运动估计和补偿。更具体地，本发明涉及一种用于设置 虚像区(virtual image region)的方法和设备，以便有效地执行包括 360度全方向图像信息的全景图像的运动估计和补偿。

背景技术

全方向视频摄像机系统是一种能够根据固定视角拍摄360度全方向 图像的摄像机系统。全方向摄像机系统通过安装和使用诸如双曲面反射 镜之类的特定形状的反射镜、诸如鱼眼透镜之类的特定透镜、或者通过 使用多个摄像机来拍摄全方向图像。
提出了一种三维逼真广播系统作为供这种系统使用的全方向视频 编码应用的示例。在三维逼真广播系统中，例如，将关于在棒球比赛等 中来自不同视点视图的图像信息提供给观看者终端。即，将多种图像信 息项提供给观看者，包括来自投手的视图、来自接球手的视图、来自击 球手的视图、以及来自坐在一垒附近的观众的视图。观看者可以选择所 希望的视点，并且从所述视点来观看图像。
由全方向摄像机系统拍摄到的图像具有与三维球形环境相对应的 特征。因此，将由全方向摄像机系统拍摄的三维图像转换为二维平面图 像。此时，二维平面图像变为包括全方向图像的全景图像，并且针对二 维全景图像执行全方向视频编码。
大体上，此全景图像具有比传统二维图像更大的尺寸，并且为了传 输优质图像，使用了过于宽的带宽。在全方向图像中，典型地，用户不 会对通过全方向摄像机同时获得的全部图像部分感兴趣，只是希望基于 关于整个图像的信息，通过自由地操纵用户的视点来详细地观看最感兴 趣的部分。因此，需要能够向接收端发送具有最小带宽图像的编码译码 器，其中所述图像是当前用户最感兴趣的。在这点上，已经提出了一种 将全景图像划分为分片拼贴元(tiled patch)并且发送所述图像的方法。
图1示出了一种将全景图像划分为分片拼贴元并且发送所述图像的 方法。
在该方法中，将已编码的全景图像划分为小片的拼贴元并且存储， 然后根据用户的请求，将以请求显示的部分为中心的一些拼贴元发送到 解码器一侧。根据该方法，没有将整个全景图像一次发送到解码器一侧， 而是分为分片拼贴元并且发送，使得大大地减小了发送的数据量和发送 带宽，并且防止了用于发送所有图像信息所需的初始延迟。同样，将用 户请求当前所见的感兴趣区域的周围部分一起发送并且接收，使得用户 可以容易地改变视点。
为了向解码器一侧发送分片拼贴元，已经提出了一种使用没有改变 的传统二维运动图像编码技术的发送和接收方法。诸如MPEG-4Part 2Visual或H.264之类的技术是所使用的传统二维运动图像编码技术的 示例。如图2所示，根据传统技术，为了当沿基准图像帧的边界执行运 动估计或补偿时提高效率，准备了自由运动矢量(UMV：Unrestricted Motion Vector)模式，并且设置了虚像区。然后，通过填充帧的上、下、 左、右边界部分的像素值，执行当前图像的运动估计。因为不能在二维 移动图像处理技术中参考除了要发送的图像帧之外的任意图像数据，该 方法用于在此种情形下获得高效率。然而，为了对较大的全景图像进行 编码，对较小分片形状的拼贴元单元进行编码，并且基准图像可以相对 于每一个拼贴元的位置而存在。
因此，当传统运动图像编码方法不合适时，需要一种通过使用可以 相对于每一个拼贴元的位置存在的基准图像、更有效地对图像进行编码 的系统和方法。

发明内容

技术方案
本发明实质上解决了以上和其他问题，并且提出了一种用于产生针 对全景图像的运动估计和补偿的虚像区的方法和设备，所述全景图像被 划分为发送和接收的、分片形状的拼贴元单元，其中没有在帧外部的基 准图像帧边界部分无条件地填充像素。当属于虚像区的实际图像数据存 在于前一个全景图像中时，所述方法和设备没有改变地使用所述数据来 产生虚像区。
有益效果
根据本发明实施例，将全景图像划分为分片拼贴元，并且当发送所 述图像时，将可以相对于每一个拼贴元进行参考的前一个全景图像中的 数据直接映射到虚像区。通过如此操作，通过没有改变的二维运动图像 编码方法对包含全方向图像信息的全景图像进行编码，可以极大地提高 在运动估计和补偿过程中的编码效率。

附图说明

图1示出了将全景图像划分为分片拼贴元并且发送所述图像的一种 传统方法；
图2示出了通过使用填充(padding)形成虚像区的传统方法；
图3示出了根据本发明实施例划分为8部分的分片拼贴元的虚像 区；
图4示出了根据本发明实施例、相对于拼贴元的位置产生虚像区的 方法；
图5A和图5B示出了根据本发明实施例、当希望进行编码的拼贴元 位于全景图像的最左边缘或最右边缘时、产生虚像区的方法；
图6示出了涉及产生根据本发明实施例的虚像区方法的附加信息；
图7是通过根据本发明实施例产生虚像区的方法在编码器中执行的 操作的流程图；
图8是根据本发明实施例在解码器中设置的设备的方框图，用于产 生虚像区；
图9是可以应用根据本发明实施例的虚像区的编码器的方框图；
图10是在通过产生根据本发明实施例的虚像区的解码器中执行的 操作的流程图；
图11是用于产生根据本发明实施例的虚像区的解码器中设置的设 备的方框图；以及
图12是根据本发明实施例的虚像区可以应用的解码器的方框图。

具体实施方式

最佳实施模式
根据本发明的一个方面，提出了一种用于产生全景图像的运动估计 的虚像区的方法，所述全景图像被划分为分片拼贴元单元并且从发送侧 发送，所述方法包括步骤：在前一个全景图像中搜索与希望进行运动估 计的当前拼贴元的全部或一部分虚像区相对应的基准数据，以便确定基 准数据的存在；以及基于检索结果，将基准数据选择性地映射到全部或 一部分虚像区。
映射基准数据的步骤可以包括步骤：在检索结果表示存在基准数据 的情况下，判断是否在预定时间内更新所述基准数据；以及如果判断结 果表示在预定时间内更新了所述基准数据，则将所述基准数据映射到全 部或一部分虚像区。
这里，如果判断结果表示没有在预定时间内更新所述基准数据，可 以确定是执行将所述基准数据映射到全部或一部分虚像区，还是执行在 与当前拼贴元的位置相对应的前一个全景图像中的基准图像的边界部分 上填充像素，并且根据所述确定可以执行映射或填充。
所述方法还可以包括步骤：记录关于确定的信息以便发送附加信 息，所述附加信息允许接收侧实质上相同地针对拼贴元产生全部或一部 分虚像区。
此外，如果检索结果表示不存在基准数据，可以通过在与当前拼贴 元的位置相对应的前一个全景图像中的基准图像的边界部分上填充像素 来产生全部或一部分虚像区。
此外，如果全部或一部分虚像区位于前一个全景图像的左边界或右 边界中任意一个的外部，可以将从另一个边界到预定范围的图像识别为 针对存在于所述一个边界外部的虚像区的基准数据。
根据本发明另一个方面，提出了一种产生用于全景图像的运动估计 的虚像区的设备，所述全景图像被划分为分片拼贴元单元、并且从发送 侧被发送，所述设备包括：检索单元，用于在前一个全景图像中搜索与 希望进行运动估计的当前拼贴元的全部或一部分虚像区相对应的基准数 据，以便确定基准数据的存在；判断单元，用于如果检索单元的检索结 果表示存在基准数据，判断是否在预定时间内更新所述基准数据；映射 单元，如果判断结果表示在预定时间内更新所述基准数据，将所述基准 数据选择性地映射到全部或一部分虚像区；确定单元，用于如果判断结 果表示没有在预定时间内更新所述基准数据，确定执行映射还是填充； 填充单元，用于如果检索结果表示不存在基准数据，通过在与当前拼贴 元的位置相对应的前一个全景图像中的基准图像的边界部分上填充像 素，来产生全部或一部分虚像区。
根据本发明的另一个方面，提出了一种产生用于全景图像的运动补 偿的虚像区的方法，所述全景图像被划分为分片拼贴元单元并且在接收 侧被接收，所述方法包括步骤：针对与希望进行运动估计的当前拼贴元 的全部或一部分虚像区相对应的基准数据搜索前一个全景图像，以便确 定基准数据的存在；以及基于检索结果，将基准数据选择性地映射到全 部或一部分虚像区。
映射基准数据的步骤可以包括步骤(其中，检索结果表示存在基准 数据)：判断是否在预定时间内更新基准数据；以及如果判断结果表示在 预定时间内更新所述基准数据，将所述基准数据映射到全部或一部分虚 像区。
根据本发明另一个方面，提出了一种产生用于全景图像的运动估计 的虚像区的设备，所述全景图像用于被划分为分片拼贴元单元、并从发 送侧被发送，所述设备包括：检索单元，用于在前一个全景图像中搜索 与希望进行运动估计的当前拼贴元的全部或一部分虚像区相对应的基准 数据，以便确定基准数据的存在；判断单元，用于如果检索单元的检索 结果表示存在基准数据，判断是否在预定时间内更新所述基准数据；映 射单元，如果判断结果表示在预定时间内更新了所述基准数据，将所述 基准数据选择性地映射到全部或一部分虚像区；附加信息解译单元，其 中如果判断单元的判断结果表示没有在预定时间内更新所述基准数据， 用于解译从发送侧接收到的附加信息，所述信息表示是将所述基准数据 映射到发送侧中的全部或一部分虚像区，还是在与当前拼贴元的位置相 对应的前一个全景图像中的基准图像的边界部分上填充像素。所述设备 还包括填充单元，用于如果检索单元的检索结果表示不存在基准数据， 通过在与当前拼贴元的位置相对应的前一个全景图像中的基准图像的边 界部分上填充像素，来产生全部或一部分虚像区。
根据本发明的另一个方面，提出了一种计算机可读记录介质，在其 上具有具体实现的计算机程序，用于执行一种产生用于全景图像的运动 估计和运动补偿的虚像区的方法，所述全景图像被划分为分片拼贴元单 元、并且从发送侧被发送，所述方法包括步骤：在前一个全景图像中搜 索与希望进行运动估计和运动补偿的当前拼贴元的全部或一部分虚像区 相对应的基准数据，以便确定基准数据的存在；如果检索结果表示存在 基准数据，判断是否在预定时间内更新所述基准数据；以及如果判断结 果表示在预定时间内更新了所述基准数据，将所述基准数据映射到全部 或一部分虚像区。
根据本发明的另一个方面，提出了一种用于全景图像的运动估计的 方法，所述全景图像被划分为分片拼贴元单元并且从发送侧发送，所述 方法包括步骤：在与希望进行运动估计的当前拼贴元的全部或一部分虚 像区相对应的基准数据处于前一个全景图像中的情况下，将基准数据映 射到全部或一部分虚像区，并且通过使用关于映射基准数据的全部或一 部分虚像区，产生与基准图像有关的当前拼贴元的运动矢量。
根据本发明的另一个方面，提出了一种编码方法，用于对被划分为 分片拼贴元单元、并且从发送侧发送的全景图像进行编码，所述方法包 括步骤：在与希望进行运动估计的当前拼贴元的全部或一部分虚像区相 对应的基准数据处于前一个全景图像中的情况下，将基准数据映射到全 部或一部分虚像区，并且通过使用关于映射基准数据的全部或一部分虚 像区，产生与基准图像有关的当前拼贴元的运动矢量。所述方法还包括 步骤：通过使用所述运动矢量执行针对当前拼贴元的运动补偿。
根据本发明的另一个方面，提出了一种用于全景图像的运动补偿的 方法，所述全景图像被划分为分片拼贴元单元、并且在接收侧接收，所 述方法包括步骤：接收针对在当前全景图像中包括的当前拼贴元的运动 矢量的输入，并且如果由运动矢量表示的、并且与当前拼贴元的全部或 一部分虚像区相对应的基准数据处于前一个全景图像中，将所述基准数 据映射到全部或一部分虚像区，并且通过使用关于映射基准数据的全部 或一部分虚像区，产生将所述运动矢量应用的基准图像的拼贴元。
根据本发明的另一个方面，提出了一种用于全景图像的运动补偿的 方法，将所述全景图像划分为分片拼贴元单元、并且在接收侧接收，所 述方法包括步骤：接收针对在当前全景图像中包括的当前拼贴元的运动 矢量的输入，并且如果由运动矢量表示的、并且与当前拼贴元的全部或 一部分虚像区相对应的基准数据处于前一个全景图像中，将所述基准数 据映射到全部或一部分虚像区，并且通过使用关于映射基准数据的全部 或一部分虚像区，执行基准图像的运动补偿。所述方法还包括步骤：通 过使用当前拼贴元和已运动补偿的拼贴元的差分信号以及已运动补偿的 拼贴元，恢复当前拼贴元。
实现本发明的方式
现在将参考附图更加全面地描述本发明，图中示出了本发明的典型 实施例。
图3示出了被划分为8个部分(数字1至8)的分片拼贴元的虚像 区。根据本发明实施例，将整个全景图像划分为分片拼贴元，并且因此 相对于拼贴元的位置，产生虚像区的方法可以在每一个部分中变化。这 将在下面更加详细地描述。
图4示出了根据本发明实施例、相对于拼贴元的位置产生虚像区的 方法。
首先，在内部拼贴元为A的情况下，其中希望当前进行编码的拼贴 元的位置不处于全景图像的边缘上，如果存在与前一个全景图像中每一 个部分的拼贴元相对应的位置的区域中最近更新的基准数据，将相应的 基准数据映射到相应的部分。
如果最近没有执行基准数据的更新，可以确定是利用与最近希望进 行编码的拼贴元相同的位置相对应的前一个全景图像中的帧(在下文中 称作“基准拼贴元”)的边界像素值进行填充，还是代替地使用相应的基 准数据。如果包括执行此种确定的过程，优选地产生关于确定的附加信 息，并且向接收侧(即，解码侧)发送，使得解码侧可以设置实质上相 同的虚像区。该附加信息将在下面更加详细地描述。同时，如果不存在 基准数据，通过在基准拼贴元的边界部分上填充像素来产生相应的部分。
接下来，在当前希望进行编码的拼贴元的位置位于全景图像的顶部 部分的边缘的情况下，如相对于与图3的部分5和部分6相对应的虚像 区的B，将像素值128映射到相应的区域。对于剩余部分，执行与用于 产生A中的虚像区实质相同的过程。
同样，针对其他位置处的拼贴元，以实质相同的方式执行上述过程。 然而，在分别位于全景图像的最左或最右边缘的拼贴元F、D、H、G、E 和I的情况下，可以执行略微不同的过程，以便增加运动估计和补偿效 率。现在将更加详细地描述该过程。
图5A示出了根据本发明实施例、当希望进行编码的拼贴元位于全 景图像的最左边缘时产生虚像区的方法。
在拼贴元D的情况下，因为图3的部分3、5和7位于全景图像的 外部，用于此的基准数据不存在。
然而，根据全景图像的特征，D具有与G、E和I较高的相关性。因 此，通过分别参考前一个全景图像的G、E和I而不是无条件地使用填充， 更有效地产生用于部分5、3和7的虚像区。即，将G的一部分数据映射 到拼贴元D的部分5，将E的一部分数据映射到部分3、以及将I的一部 分数据映射到部分7。然而，如果参考G、E和I中图像数据不存在，或 最近没有更新，将使用上述算法。
图5b示出了根据本发明实施例、当希望进行编码的拼贴元位于全 景图像的最右边缘时产生虚像区的方法。在这种情况下，以实质相同的 方式，将前一个全景图像的F、D和H分别用于拼贴元E的部分6、4和 8。
图6示出了涉及产生根据本发明实施例的虚像区方法的附加信息。 如上所述，尽管存在基准数据，如果最近没有更新基准数据或具有较低 可靠性，确定是将该基准数据无改变地使用、还是通过根据基准拼贴元 利用填充数据来形成虚像区。根据所述确定，执行映射或填充。因为还 需要在接收侧以实质相同的方式设置虚拟区，优选地，发送侧需要向接 收侧发送信息，所述信息关于将所述方法用于虚像区的每一个部分。当 将与一个拼贴元有关的虚像区划分为如本发明实施例的8个部分时，针 对此附加信息，需要如图6所示的8个比特。如果在发送侧和接收侧之 间预先定义(如图所示)使用填充的情况用0表示，使用基准数据进行 映射的情况用1表示，可以通过发送8比特附加信息，在发送侧和接收 侧中都产生实质相同的虚像区。例如，如果发送侧没有变化地使用在部 分1、4和6中最近更新的基准数据，需要将信息“10010100”发送到接 收侧。如果执行根据基准拼贴元的填充，发送信息“00000000”，使得接 收侧可以建立实质相同的虚像区。尽管在本发明实施例中示出了固定长 度编码的示例，也可以使用采用信息的概率分布的可变长度编码。
图7是通过根据本发明实施例产生虚像区的方法在编码器中执行的 操作的流程图。如图7所示，为了确定是否存在基准数据，可以在与希 望进行运动估计的当前拼贴元的一部分有关的前一个全景图像中查阅基 准数据，在操作S710中执行针对基准数据的搜索。此时，如上所述，在 拼贴元位于全景图像的最左或最右边缘的情况下，可以从相反边缘的图 像中检索到所述基准数据。如果在操作720中存在基准数据则在操作730 中确定检索到的基准数据是否是最近更新的。用于确定所述数据是否最 近进行更新的基准时间可以以多种方式设置。如果确定所述数据是最近 更新的，在操作750中，将基准数据映射到相应的部分，以便使用基准 数据作为当前拼贴元的虚像区。
如果基准数据最近没有更新，则基准数据的可靠性较低，因此在操 作740中确定执行映射以便没有变化地使用该基准数据、还是执行用拼 贴元的边界部分上的像素进行填充。如果确定要执行映射，在操作750 中将相应的基准数据映射到相应部分，以便使用基准数据作为当前拼贴 元的虚像区。如果确定将要执行填充，在操作S760中执行用基准拼贴元 的边界部分上的像素进行填充，并且在操作795中产生虚像区。此时， 提供关于选择所述方法的附加信息，用于编码器和解码器的同步，并且 可以如上所述产生所述附加信息。
如果不存在基准数据，在操作760中执行利用边界部分上的像素进 行填充，以便在操作795中产生用于一个拼贴元的虚像区。
在操作780和790中针对全部部分重复执行此过程，并且在操作795 中产生用于一个拼贴元的虚像区。
图8是在用于产生根据本发明实施例的虚像区的解码器中设置的设 备的方框图。如图8所示，用于产生根据本发明实施例的虚像区的设备 包括检索单元810、判断单元815、映射单元820、填充单元830、附加 信息产生单元840、以及确定单元850。
为了确定在与希望进行运动估计的当前拼贴元的虚像区的每一部 分相对应的前一个全景图像中是否存在基准数据，检索单元810搜索基 准数据，并且映射单元820将检索到的基准数据映射到相应的部分。
判断单元815判断是否最近更新过检索到的数据，并且如果最近没 有更新检索到的基准数据，确定单元850确定执行映射还是填充。根据 该确定，执行映射或填充。为了在解码器中以实质相同的方法产生虚像 区，附加信息产生单元840产生关于当在编码器的运动估计过程中产生 虚像区时使用的方法的信息。
如果没有存在基准数据，或者如果确定单元850确定将要执行填充， 填充单元830在前一个图像中与当前拼贴元的位置相对应的基准图像的 边界部分上填充像素，以便产生虚像区。
图9是根据本发明实施例的虚像区可以应用的编码器的方框图。
参考图9，根据本发明实施例的全景图像编码器包括变换单元910、 量化单元915、逆变换单元920、逆量化单元925、加法单元930、限幅 单元940、帧存储器950、全景图像运动估计单元960、全景图像运动补 偿单元970、减法单元980、以及可变长度编码器(VLC)990。
变换单元910接收全景图像，根据诸如离散余弦变换(DCT)之类 的预定变换方法对输入的全景图像进行变换，并且输出变换系数值。
量化单元915对从变换单元910输入的变换系数值进行量化。将已 量化的数据由逆变换单元920进行逆变换，并且由逆量化单元925进行 逆量化，并且输出发送到解码器端的数据。将该图像数据与在全景图像 运动补偿单元970中运动补偿过的前一个图像在加法单元930中相加， 并且最终由编码器准备要发送到解码器一侧的全景图像。将从加法单元 930输出的全景图像由限幅单元940进行归一化，然后存储在帧存储器 950中。在帧存储器950中存储的全景图像是当前编码图像之前的图像， 并且用作用于新输入的全景图像的运动估计和补偿的基准图像。
全景图像运动估计单元960使用在帧存储器950中存储的前一个图 像的基准全景图像来执行运动估计。即，全景图像运动估计单元960接 收当前全景图像信息，使用在帧存储器950中存储的基准全景图像来执 行当前全景图像的运动估，根据本发明产生当前全景图像的运动矢量和 附加信息，并且向VLC 990输出运动矢量和附加信息。以分片拼贴元为 单位执行运动估计和补偿。
这里，为了产生运动矢量，在运动估计操作中使用根据本发明实施 例产生虚拟区的方法。因此，优选地，将图8所示的设备设置在全景图 像运动估计单元960中。全景图像运动补偿单元970利用运动矢量执行 运动补偿，并且向减法单元980输出已补偿的图像。减法单元980向变 换单元910输出当前图像与由全景图像运动补偿单元970补偿的图像之 间的差分信号。由变换部分910对所述差分信号进行变换，由量化单元 915进行量化，然后由VLC 990进行可变长度编码。
图10是在通过产生根据本发明实施例的虚像区的解码器中执行的 操作的流程图。
在解码器一侧，接收来自编码器一侧的运动矢量、差分信号和附加 信息，并且执行运动补偿。用于产生虚像区以执行运动补偿的操作1010 至1095中的过程与操作710至795中、用于产生在编码器一侧执行的虚 像区的过程实质相同，因此这里将省略其中的详细解释。
然而，当对检索到的、最近没有更新的基准数据进行处理时，为了 产生与在编码器一侧产生的虚像区实质相同的虚像区，对从编码器一侧 接收到的附加信息进行解译，并且根据所述解译在操作1100中，在每一 个部分中执行映射或填充。
图11是在用于产生根据本发明实施例的虚像区的解码器中设置的 设备的方框图。
如图11所示，用于产生根据本发明实施例的虚像区的设备包括检 索单元200、映射单元210、填充单元220、判断单元230、以及附加信 息解译单元240。
为了确定在与希望进行运动估计的当前拼贴元的虚像区的每一个 部分相对应的前一个全景图像中是否存在基准数据，检索单元200搜索 基准数据，以及映射单元210将检索到的基准数据映射到相应的部分。 判断单元230判断最近是否更新检索到的数据，并且如果最近没有更新 检索到的基准数据，为了确定执行映射还是填充，附加信息解译单元对 从编码器一侧接收到的附加信息进行解译。根据在附加信息中记录的内 容，针对每一个部分执行映射或填充。
如果没有基准数据，或者如果解码器的确定单元850确定将要执行 填充，填充单元220在与前一个全景图像中的当前拼贴元的位置相对应 的基准图像的边界部分上填充像素，以便产生虚像区。
图12是可以应用根据本发明实施例的虚像区的解码器的方框图。
参考图12，根据本发明实施例的全景图像运动矢量解码器包括可变 长度解码器(VLD)310、逆量化单元320、逆变换单元330、加法单元340、 全景图像运动补偿单元350、限幅单元360和帧存储器370。
VLD310对输入的比特流进行可变长度解码。在VLD310的输出端，将 运动矢量输出到全景图像运动补偿单元350，以及将差分信号输出到逆量 化单元320。在帧存储器370中，对通过逆量化单元320、逆变换单元330 和限幅单元360再现的基准图像进行存储。将在帧存储器370中存储的基 准图像用于新输入的全景图像的运动补偿。
全景图像运动补偿单元350通过使用在帧存储器370中存储的基准 全景图像来执行运动补偿。这里，为了执行运动补偿，使用根据本发明 实施例产生虚像区的方法。因此，优选地，将如图11所示的设备设置在 全景图像运动补偿单元350中。全景图像运动补偿单元350接收从编码器 发送的运动矢量，通过从帧存储器370中读取与当前拼贴元相对应的基准 拼贴元来执行运动补偿，并且向加法单元340输出所述结果。加法单元340 接收由逆量化单元320逆量化并由逆变换单元330逆变换的差分信号的输 入、以及由全景图像运动补偿单元350进行了运动补偿的基准拼贴元，并 且再现当前拼贴元。限幅单元360执行用于对从加法单元340输出的值进 行归一化的功能。
还可以将本发明实施例写作计算机程序，并且可以在使用计算机可 读记录介质执行程序的通用数字计算机中执行。计算机可读记录介质的 示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光存储介质(例如， CD-ROM或DVD)、以及诸如载波(例如，通过因特网的传输)之类的存储 介质。
尽管已经参考本发明的典型实施例，具体示出和描述了本发明，但 本领域普通技术人员应当理解，在不脱离所附权利要求所限定的本发明 的精神和范围的情况下，可以对这些实施例进行形式和细节上的多种改 变。该典型实施例仅认为是描述性，并且不是为了限制的目的。因此， 本发明的范围不是由本发明的详细描述限定，而是由所附权利要求限定， 在所述范围之内的全部差别均将解释为包括在本发明中。