用于形成全景图像的方法和装置

摘要

本发明公开了一种用于使用照相机形成全景图像的方法。该方法包括使用照相机拍摄第一照片。在照相机的显示器上形成混合区域。混合区域包括被显示在显示器上的第一照片的第一图像的一部分。照相机在准备拍摄第二照片之前被移动。仅仅在混合区域中，执行像素匹配过程，以用于判断第一图像在混合区域中的部分和第二照片的第二图像在混合区域中的部分是否对齐。本发明还公开了一种照相机。

权利要求

1.一种用于使用照相机形成全景图像的方法，该方法包括：使用所述照相机拍摄第一照片，并且将所述第一照片的第一图像显示在所述照相机的显示器上；

在所述显示器上形成混合区域，该混合区域包括在所述显示器上显示的所述第一照片的第一图像的一部分；

在拍摄第二照片之前移动所述照相机，并且在所述显示器上显示将要被拍摄的第二照片的预览图像；以及仅仅在所述混合区域中使用像素匹配过程，该过程用于判断所述第一图像的一部分和所述预览图像的一部分是否对齐，其中，所述混合区域中的所有像素都被赋予代表视觉重要度的权重值，并且构成所述第一图像和预览图像的边界边缘的像素被赋予较高的权重值。

2.如权利要求1所述的方法，其中所述混合区域包括预定百分比的所述第一图像，所述预定百分比在5％到25％的范围中。

3.如权利要求1所述的方法，其中所述混合区域中的所有像素的红色、绿色和蓝色值被降低固定量，所述固定量在40％到60％的范围中。

4.如权利要求1所述的方法，还包括在所述显示器上显示匹配状态指示符，该匹配状态指示符可以根据所述像素匹配过程的结果而变化。

5.如权利要求1所述的方法，其中混合区域邻近所述显示器的一侧，该侧是从如下组中选出的：上端、下端、左侧和右侧；该侧由所述照相机的移动方向来确定。

6.如权利要求3所述的方法，其中所述第一图像在所述混合区域中的所述部分的像素的红色、绿色和蓝色值，以及所述预览图像在所述混合区域中的所述部分的像素的红色、绿色和蓝色值在被降低之后被加和以用于显示在所述显示器上；并且在加和与降低之后，在所述混合区域中的像素被进一步降低了设置量。

7.如权利要求6所述的方法，其中所述设置量是10％，并且所述固定量是45％。

8.如权利要求2所述的方法，其中预设百分比的所述第一图像被从所述显示器中除去以在所述显示器中留下所述预定百分比，所述预设百分比在75％到95％的范围中。

9.如权利要求8所述的方法，其中所述预设百分比是85％，并且所述预定百分比是15％。

10.如权利要求1所述的方法，其中边界边缘是在图像内限定视觉对比度的清晰区别的像素集合；并且包括与不同对比度的背景相对的物体轮廓。

11.如权利要求5所述的方法，其中所述侧的确定是在所述像素匹配过程之后进行的。

12.如权利要求11所述的方法，其中将要被拍摄的后续照片的预览图像与先前照片的图像具有公共边。

13.如权利要求12所述的方法，其中所述先前照片是紧接在前的照片。

14.一种用于使用照相机形成全景图像的方法，该方法包括：拍摄第一照片，并且在显示器上显示所述第一照片的图像的至少一部分；

移动所述照相机以得到第二照片，并且在所述显示器上显示所述第二照片的预览图像的至少一部分；

执行所述第一照片的图像的所述部分和所述第二照片的预览图像的所述部分的像素匹配；以及使用匹配状态指示符来指示所述像素匹配的结果，

其中，所述像素匹配中使用的所有像素都被赋予代表视觉重要度的权重值，并且构成所述第一照片和所述第二照片的边界边缘的像素被赋予较高的权重值。

15.如权利要求14所述的方法，其中所述匹配状态指示符可以根据所述像素匹配过程而变化，并且所述匹配状态指示符对于较差像素匹配是第一颜色，对于良好像素匹配是第二颜色，以及对于完全像素匹配是第三颜色；所述第一、第二和第三颜色是不同的。

16.一种用于拍摄全景图像的照相机，该照相机包括：

(a)机身；

(b)镜头；

(c)显示器，用于显示照片的图像；

(d)图像获取设备；

(e)处理器，用于在所述显示器上形成混合区域，该混合区域用于判断第一图像在所述混合区域中的一部分与将被拍摄的预览照片的第二图像的一部分是否对齐；

(f)控制器；和

(g)存储器；

其中，所述混合区域中的所有像素都被赋予代表视觉重要度的权重值，并且构成所述第一图像和第二图像的边界边缘的像素被赋予较高的权重值。

17.如权利要求16所述的照相机，其中所述混合区域包括预定百分比的所述第一图像，该预定百分比在5％到25％的范围中。

18.如权利要求16所述的照相机，其中所述混合区域中的所有像素的红色、绿色和蓝色值被降低了固定量，所述固定量在40％到60％的范围中。

19.如权利要求16所述的照相机，所述显示器还包括匹配状态指示符，该匹配状态指示符可以根据在所述混合区域中执行的像素匹配过程的结果而变化。

20.如权利要求16所述的照相机，其中所述混合区域邻近所述显示器的一侧，该侧是从如下组中选出的：上端、下端、左侧和右侧；该侧由所述照相机在所述第一和第二照片之间的移动方向来确定。

21.如权利要求18所述的照相机，其中在所述混合区域中，所述第一图像的所述部分的像素的红色、绿色和蓝色值，以及所述预览图像的所述部分的像素的红色、绿色和蓝色值在被降低之后被加和以用于显示在所述显示器上；并且在加和与降低之后，在所述混合区域中的像素被进一步降低了设置量。

22.如权利要求21所述的照相机，其中所述设置量是10％，并且所述固定量是50％。

23.如权利要求17所述的照相机，其中预设百分比的所述第一图像被从所述显示器中除去以在所述显示器中留下所述预定百分比，所述预设百分比在75％到95％的范围中。

24.如权利要求23所述的照相机，其中所述预设百分比是85％，并且所述预定百分比是15％。

说明书

技术领域

本发明涉及用于形成全景图像的方法和装置，尤其但不仅仅涉及有助于在不丢失全景图像的一部分的情况下形成全景图像的方法和装置。

背景技术

现在存在三种用于形成全景图像的已知方法。在第一种方法中，第一帧被拍摄和显示。下一帧随着用户移动照相机而被实况显示在屏幕上。用户以如下方式来移动照相机：在将要拍摄的新的帧中的照片信息中存在少许重叠。这样做很乏味，并且有时会造成混乱，因为用户会观察到边缘，并且无法清晰指示拍摄位置对于后续的拼接(stitching)操作来说具有足够重叠。
在第二种方法中，可以对视频片断进行分析，并从中创建全景照片。当照片的尺寸(例如4到8兆像素)和照片的数量变得很大时，这会变得很困难。视频占用比多个图像更多的存储空间，并且需要更多处理。
第三种也是最后一种已知方法是在每次拍摄照片时，自动执行拼接。如果不存在足够重叠或没有重叠，则拼接过程将失败，并且将提示用户拍摄另一照片。此外，处理要花费功率和时间。

发明内容

根据第一方面，提供了一种用于使用照相机形成全景图像的方法。该方法包括将照相机置于全景图像模式中并使用照相机拍摄第一照片。在照相机的显示器上形成混合区域。该混合区域包括显示在显示器上的第一照片的第一图像的一部分。混合区域位于显示器的一侧。照相机在准备拍摄第二照片之前被移动。仅仅在混合区域中，执行像素匹配过程，以用于判断第一图像在混合区域中的部分和第二照片的第二图像在混合区域中的部分是否对齐。
根据第二优选方面，提供了一种包括计算机程序代码的计算机可用介质，所述计算机程序代码被配置为使照相机中的处理器执行一种或多种功能来实现上述方法的性能。
根据第三优选方面，提供了一种用于拍摄全景图像的照相机。该照相机包括：机身、镜头、显示器、图像获取设备、处理器、控制器和存储器。显示器用于显示照片的图像。显示器包括混合区域，该区域用于判断第一图像在混合区域中的一部分与将被拍摄的第二照片的图像的一部分是否对齐。
对于所有方面，混合区域可以位于显示器的一侧，并且可以包含预定(predetermined)百分比的第一图像，该预定百分比在5％到25％的范围中。混合区域中的所有像素的红色、绿色和蓝色值可以被降低到固定量，该固定量在40％到60％的范围中。优选地为45％。第一图像在混合区域中的部分的像素的红色、绿色和蓝色值，以及第二图像在混合区域中的部分的像素的红色、绿色和蓝色值在被降低之前可以被加和以用于显示在显示器上。在加和和降低之后，混合区域中的像素可以被进一步降低设置量。该设置量可以是10％。这样一来，混合区域中的部分的红色、绿色和蓝色值为90％，其中45％来自第一图像，而45％来自第二图像。
混合区域可以伸展到显示器的一侧的全长，该侧可以从以下组中选出：上端、下端、左侧和右侧。该侧可以由照相机的移动方向来确定。
预设(preset)百分比的第一图像可以被从显示器中除去以在显示器中留下所述预定百分比，所述预设百分比在75％到95％的范围中。所述预设百分比可以是85％，而所述预定百分比可以是15％。
在混合区域中的所有像素都可以被赋予代表视觉重要度的权重值。构成第一和第二图像的边界边缘的像素会被赋予较高的权重值。边界边缘可以是在图像内限定视觉对比度的清晰区分的像素组或集合；并且还可以是与不同对比度的背景相对的物体轮廓。
匹配状态指示符可以被显示在显示器上，该匹配状态指示符可以根据像素匹配过程的结果而变化。
对将显示混合区域的一侧的确定可以在像素匹配过程之后执行。将被拍摄的后续照片的后续预览图像可以具有与先前照片公共的边。先前照片可以是紧接在前的照片。
根据倒数第二方面，提供了一种用于使用照相机形成全景图像的方法。该方法包括：拍摄第一照片，并且在显示器上显示第一照片的图像的至少一部分；移动照相机以得到第二照片，并且在显示器上显示第二照片的预览图像的至少一部分；执行第一照片的图像的所述部分和第二照片的预览图像的所述部分的像素匹配；以及使用匹配状态指示符来指示像素匹配的结果。
匹配状态指示符可以根据像素匹配过程的结果而变化，并且可以对于较差像素匹配是第一颜色、对于良好像素匹配是第二颜色，以及对于完全像素匹配是第三颜色；所述第一、第二和第三颜色是不同的。
根据最后一个优选方面，提供了一种包括计算机程序代码的计算机可用介质，所述计算机程序代码被配置为使照相机中的处理器执行一种或多种功能，以实现上述方法的性能。

附图说明

为了能够全面理解本发明并且容易将其投入实际应用，现在将以非限制性示例的方式来仅仅描述本发明的优选实施例，描述将参考附图，在附图中：
图1是将要拍摄全景照片的根据优选实施例的照相机的示意图；
图2是图1的照相机的框图；
图3是全景照片的第一照片的图像；
图4是拍摄全景照片的第二照片之前的图像；
图5是对应于图4的图像，该图像更接近匹配；
图6是示出了图5的图像的加权照片的图像；
图7是在完成匹配时，对应于图4和图5的图像；
图8是第一实施例的方法的流程图；
图9是第二实施例的参考图像的示例；
图10是从图9的参考图像中选出的参考图像的图像；
图11是图10的参考图像的加权照片；
图12是图10的参考图像的拼接部分的加权照片；
图13是匹配状态的图像；
图14是第二实施例的第一拼接图像；以及
图15是第二实施例的方法的流程图。

具体实施方式

参考图1和图2，示出了将要拍摄远景12的全景照片的照相机10。照相机10可以是数码或胶卷照相机、设置在移动/蜂窝电话或个人数字助理(PDA)中的数码相机，或者网络照相机。
虽然示出了静态数码相机的简单形式，但是本发明还可应用于所有形式的静态数码相机，包括单镜头反射式照相机和处于静态照相机模式的动态照片数码相机。术语“照相机”应该据此解释。
照相机10具有被指示为12的成像系统，并且包括镜头14、取景器16、快门18、内置闪光灯20、快门线22和其他控制24。在照相机10内是图像捕获设备36，例如电荷耦合设备；以及用于处理以已知方式接收到的图像数据的处理器26、用于将每个图像存储为图像数据的存储器28以及用于控制被发送以显示在显示器32上的数据的控制器30。处理器26执行传统的数码照片图像处理，例如压缩和格式化所捕获的照片图像。包括图像捕获设备36的成像系统12能够拍摄和捕获每天场景的照片图像。成像系统12可以具有固定或可变焦距、尺寸调整以及静态数码相机具有的其他功能。
当照相机10被设置到全景图像或拼接助手模式以创建全景图像时，可以拍摄如图3所示的第一照片30。第一照片的设置将被固定，以用于构成最终全景图像的其余照片。在拍摄每个连续的照片之前，先前捕获的图像将被向右移动一段距离，这段距离是图像宽度的预定百分比。该预定百分比可以在从75％到95％的范围内，优选的是85％。剩余部分是图像的5％到25％，并且优选的是图像的15％。先前捕获的图像的剩余部分将在混合区域32中与第二照片的图像相混合。
混合区域32通常位于显示器32的一侧，但是它也可以是邻近一侧，或甚至远离一侧。依赖于全景连续捕获序列的方向，混合区域32可以位于LCD显示器的四边中的任意一边，即顶部、底部、左侧和右侧。
如图3所示，混合区域32内的第一图像的像素的红绿蓝(“RGB”)值将被减小预定量，例如40％到60％，优选的是50％。在捕获下一照片之前，取景器和/或LCD显示器将示出将被捕获的图像的预览。将被捕获的图像在混合区域内的像素的RGB值也将被减小相同量(例如50％)。通过使用将先前和当前图像减小的RGB值相加在一起构成的相加混合，由来自先前和当前图像的像素构成混合区域32。为了区分混合区域和LCD显示器的其余区域，经加和的RGB值被进一步减小预设量，例如5％到25％，优选的是10％。LCD显示器的其余区域将呈现出未经改变的当前图像。
下面是用于混合区域的显示算法：
如果(像素P属于混合区域)则
RGB[LCD]P＝(RGB[image(previous)]P×0.5+RGB[preview]P×0.5)×0.9
               //multiple 0.9makes blending area 10percent dark
否则
RGB[LCD]P＝RGB[preview]P
例如，一个2″LCD可以具有206,000个像素。在这种情况下，混合区域将包括30,900个像素。混合和匹配过程只应用于混合区域内的像素。因此，以拼接助手模式(其中色调正在混合)处理显示过程和计算匹配状态都只涉及30,900个像素。
状态指示符34被设置在图像30上，并且状态指示符34的颜色指示出：在混合区域32内，先前捕获的图像30和当前预览图像36的匹配情况如何。例如，红色可以代表较差匹配，黄色可以代表部分匹配，而绿色可以代表完全匹配。
依赖于所需的精确度，用于确定匹配状态的混合区域内的像素数目可以变化。当在匹配过程期间考虑混合区域内的所有像素时，可获得最高精确度。
在匹配过程中使用的每个像素都被赋予一个权重值以代表其视觉重要度。由于构成边界边缘的某些像素在视觉上更重要，因此优选地，不对所有像素使用相同的加权。下面描述可以如何计算每个像素的权重值(W)和匹配值(M)：
在所使用的混合区域中的像素子集被定义为MP。M指的是将用于评价匹配结果的匹配状态。小值代表匹配得好。该值被用于确定匹配状态索引的颜色。
P(i，j)代表混合区域上的第i行、第j列的像素。W(i，j)代表像素P(i，j)的权重。
为了计算像素的权重值：
s＝1；//用于计算权重的像素步骤
for((i，j)∈MP)
   W(i，j)＝0；
   for(int u＝-1；u＜2；u++)
          for(int v＝-1；v＜2；v++)
                    W(i，j)＝W(i，j)+abs(R[image(previous)]p(i+s*u，j+s*v)
                         -R[image(previous)]p(i，j))
                         +abs(G[image(previous)]p(i+s*u，j+s*v)
                         -G[image(previous)]p(i，j))
                         +abs(B[image(previous)]p(i+s*u，j+s*v)
                         -B[image(previous)]p(i，j))
W_max＝max(W(i，j)，(i，j)∈MP)
W(i，j)＝W(i，j)/W_max；//P像素的权重值W
为了计算匹配值：
方法1：
M＝0；//M是匹配值
for((i，j)∈MP)
      M＝M+W(i，j)*(abs(R[image(preview)]p(i，j)
                          -R[image(previous)]p(i，j))
                        +abs(G[image(preview)]p(i，j)
                           -G[image(previous)]p(i，j))
                        +abs(B[image(preview)]p(i，j)
                          -B[image(previous)]p(i，j)))
M＝M/nPixel；
R[image(previous)]p(i，j)指的是在前图像在像素P(i，j)处的红值；
G[image(previous)]p(i，j)指的是在前图像在像素P(i，j)处的绿值；
B[image(previous)]p(i，j)指的是在前图像在像素P(i，j)处的蓝值；
R[image(preview)]p(i，j)指的是预览图像在像素P(i，j)处的红值；
G[image(preview)]p(i，j)指的是预览图像在像素P(i，j)处的绿值；
B[image(preview)]p(i，j)指的是预览图像在像素P(i，j)处的蓝值；
nPixel指的是MP的数量；
方法2：
M＝0；
for((i，j)∈MP)
      M＝M+abs(W[image(preview)]p(i，j)-W[image(previous)]p(i，j))
M＝M/nPixel；
W[image(previous)]p(i，j)指的是在前图像在像素P(i，j)处的权重值；
W[image(preview)]p(i，j)指的是预览图像在像素P(i，j)处的权重值；
nPixel指的是MP的数量；
方法1比方法2更快，因为它不需计算预览图像像素的权重。但是，方法2更精确，因为它检测边界边缘的信息以用于匹配。因此，即使在不同光照条件下，方法2也能够实现好的结果，而在不同光照条件下，方法1则不能。
将自动像素匹配与屏幕上混合区域一起用作视觉向导的做法使人为错误最小化，同时在自动像素匹配未提供令人满意的结果时，允许手工干预。例如，如果有移动物体穿过连续照片，则像素匹配算法可能无法提供好的结果。在先前的照片中出现移动的汽车，但是在当前照片中，该移动的汽车不再出现。在这种情况下，自动像素匹配将无法提供令人满意的结果。但是，用户将能够使用视觉向导来提供图像之间的粗略匹配，并且忽略来自自动像素匹配的结果。
另一方面，当在场景中的物体很小和/或不清楚(例如森林、云)时，用户通常难以正确地匹配图像。在这种情况下，自动像素匹配将能够对是否可以拍摄照片提供更精确的指导。
现在参考图3到图8，当照相机被设置到拼接助手模式时(801)，状态指示符34被显示，并为红色(824)以指示不应拍摄下一照片。当第一照片30被拍摄时(802)，照相机随后可以被移动以得到下一照片(803)。被显示的图像被移动预定量(例如85％)，并且形成混合区域32(804)。在混合区域32中的像素数目也被减少50％(805)。
在步骤(802)处，显示的图像如图4所示。如图所示，旗杆在图3中位于右侧，因此在图4中位于左侧，并位于混合区域32中。当照相机在步骤(803)中被移动时，显示的图像如图5所示。如图所示，在混合区域32中有两个旗杆的图像：一个来自第一图像在混合区域32中的遗留部分，而另一个来自将要被拍摄的第二图像，其构成被显示图像的主体。
然后，仅在混合区域32内执行上述像素混合过程(806)。为了提供状态指示符34，执行询问807、809和811以确定匹配状态。如果在807和809处为“否”(分别是808和810)并且在811处为“是”(812)，状态指示符34则显示为红色(813)以指示较差匹配或不好的匹配。然后照相机被移动(814)，直到存在混合区域32中特征的视觉匹配。然后过程返回到(806)。
如果在(809)处的回答为“是”，状态指示符34则显示为黄色(图5)，其指示良好，但非完全匹配。照相机可以被移动(825)以尝试实现改良的匹配，并且过程返回到(806)。这在图7中被示出。在该阶段，旗杆的图像被对齐。因此，在(807)中，回答为“是”(817)，状态指示符34变为绿色(818)，并且可以拍摄下一照片。
如果不再拍摄更多照片以构成全景图像(820、822)，则过程结束(823)。如果还有更多照片(821)，则过程返回到(803)。
在(816)处，由于存在足够良好的匹配以用于执行拼接，因此可以拍摄下一照片。
如果需要，则可以包括快门线闭锁(lockout)，从而当照相机10处于全景模式，并且将要拍摄第二照片时，如果状态指示符34为红色，则无法拍摄第二照片。这还将与后续照片相关。
当由于照相机仅仅在一个方向上(例如从左到右、从右到左、从上到下或者从下到上)移动而未能从照片的单线序列中形成全景图像时，会出现不同的状况。在这些情形中，混合区域32总是位于显示器32中的一个位置，即分别在左侧、右侧、上端和下端。如果照相机将要拍摄一系列照片以构成全景图像，并且照相机在不同的方向上移动，则需要在图像的不同侧进行拼接。例如，大山的全景图像可能需要如下栅格中的若干照片：
  1   2   3   6   5   4   7   8   9
表1
所拍摄的照片的顺序或次序可能不同，并且可以是随机的。常规的拼接系统无法应对这种排列。
为了实现拼接，执行图15的过程。一张照片被拍摄(1501)，并且其图像被用作第一图像(1502)以用于执行拼接。然后形成混合区域32(1503)，并将混合区域32置于显示器上，并且状态指示符34显示为红色(1504)。然后照相机10被移动(1505)，并且在混合区域中执行像素匹配过程(1506)，如涉及第一实施例所描述的。如果第一图像是表1中的1，则混合区域32将位于第一图像的右侧并位于第二图像的左侧。
由于像素匹配，混合区域32被移动到显示器的正确一侧(1507)，从而会发生混合(1508)，如涉及第一实施例所描述的。然后拍摄第二照片。执行询问(1510)以判断是否需要更多照片。如果“是”(1512)，则过程继续到(1514)。如果“否”(1511)，则过程结束。
如果“是”，照相机则被移动(1514)，并且尝试像素匹配(1515)。在这样做的过程中，必须找到先前图像和将被拍摄的图像之间的公共边(1516)。如果不存在与先前照片的公共或重叠边(1517)，则显示错误消息(1518)，并且过程返回到(1514)。先前照片可以是作为构成全景图像的图像序列的一部分而被拍摄的任意先前照片；或者可以被局限于之前刚刚拍摄的图像，尤其是在存储器和/或处理能力受限的情况下。
使用上述表1作为示例，照片的顺序可以按照任意顺序。每个后续照片都必须与在其之前拍摄的照片具有公共边以用于执行拼接。例如，如果照片6是第一照片，则只能将照片1、5和7用作第二照片。如果照片5是第二照片，则可以将照片12、4、7或8中的任意一张用作第三照片，因为这些照片中的每一张都与照片6或照片5具有公共边。但是，照片3和9不能被用作第三照片，因为它们与照片6或照片5不具有公共边。因此，只要与先前的照片具有公共边，就可以以任意顺序拍摄照片。
如果在(1516)处的回答为“是”(1519)，混合区域32则如前所述位于正确一侧(1520)，然后执行混合过程(1521)，如涉及第一实施例所描述的；并且拍摄照片(1522)。执行询问(1523)以判断是否将拍摄更多照片。如果“是”(1525)，则过程返回到(1514)，如果“否”(1524)，则过程结束(1526)。
第一照片可以从先例(precedent)照片库或卡中获取。由于这些先例照片可能具有非常高的分辨率和高像素级，因此低像素级的照相机能够被用于形成高像素级的图像。
该实施例在图9到图14中被示出，并且该实施例用于创建图像并将它们拼接在一起。目的是通过使用低像素级数码相机拍摄高像素级照片来创建大的高质量图像(不仅仅是全景图像)。
首先如图9所示，提供先例卡90。从先例卡中选出一张照片92作为先例照片。先例照片被调整到LCD屏幕或取景器上的所需位置。先例照片92在LCD中的一部分是混合区域32(图10)。使用在上述第一实施例中并如图10到图14所示的匹配方法，在混合区域32中，将要被拍摄的预览图像被匹配到先例图像。图14示出了第一图像。
在拍摄了一定数量的照片之后，使用照片拼接软件在计算机上将它们拼接在一起，以创建大的高质量照片。
对于所有实施例，状态指示符34可以伴随可听见的指示，例如低重复频率的“嘟嘟声”对应于红色和较差匹配；中等重复频率的“嘟嘟声”对应于黄色和良好匹配；并且高重复频率的“嘟嘟声”对应于绿色和完全匹配。
虽然在以上描述中已经描述了本发明的优选实施例，但是本领域技术人员将会理解，在不脱离本发明的情况下，可以对设计或构造或操作进行多种变化或修改。