处理视频流的方法

摘要

公开了一种用于校正和呈现桶形畸变图像的方法。在该方法中，创建具有用户限定纵横比(AR)的输出图像，并且所述方法包括：在视频摄像机中获取桶形畸变图像的连续流，并且在图像处理单元中处理所述图像。所述处理后图像作为输出图像被加入图像流，并且实际的处理包括：应用桶形畸变校正，以便形成具有最小宽度(w’)和最小高度(h’)的校正后图像，并且通过裁剪所述校正后图像至超过或等于所述最小高度(h’)的高度并且具有所述用户限定的纵横比(AR)来产生所述输出图像。

权利要求

1.一种用于校正桶形畸变图像(50)的方法，包括：在视频摄像机中获取桶形畸变图像的连续流，

对于所述连续流中的桶形畸变图像(50)：

在所述视频摄像机内的图像处理单元中处理所述桶形畸变图像(50)，其中所述处理包括：应用桶形畸变校正，以便形成具有最小宽度w’和最小高度h’的校正后图像(54)，通过裁剪所述校正后图像(54)至超过所述最小高度h’的高度并且具有用户限定纵横比AR，来产生输出图像(60)，以及在视频流中传输所述输出图像(60)以用于显示给用户。

2.根据权利要求1所述的方法，其中在所述最小高度h’外延伸的所述输出图像的区域被遮掩(64，64’)，使得在光学轴限定坐标(0，0)的坐标系中，未包括在从–h’/2至h’/2的间隔中的区域被遮掩。

3.根据权利要求1所述的方法，其中裁剪所述校正后图像(54)，以便形成具有宽度小于或等于所述最小宽度w’的输出图像(60)，同时维持所述用户限定纵横比AR。

4.根据权利要求1所述的方法，其中将所述校正后图像(54)裁剪为等于所述最小宽度w’的宽度。

5.根据权利要求1所述的方法，还包括添加用户输入UI以限定所述输出图像的格式，使得wUI≤w’，w’是所述最小宽度，

hUI＞h’，h’是所述最小高度，

在维持所述用户限定纵横比AR的条件下，

其中wUI是由所述用户输入产生的宽度，并且hUI是由所述用户输入产生的高度。

6.根据权利要求1所述的方法，其中所述桶形畸变校正基于关于所述视频摄像机的变焦设置的信息，从所述视频摄像机的控制单元获取到所述信息。

7.根据权利要求1所述的方法，还包括：

使能接收用户请求，所述用户请求包括在不具有桶形畸变校正时所显示的输出图像或校正了桶形畸变的输出图像之间的选择，其中对于任意输出图像使用相同的用户限定纵横比。

说明书

处理视频流的方法

技术领域

[0001] 本发明涉及处理视频应用中的图像流。具体地，涉及处理在图像受到几何畸变影响的情形中，受视频摄像机变化的变焦设置影响的图像的流。

背景技术

[0002] 在包含变焦透镜的成像系统中的常见类型的几何畸变是桶形畸变。桶形畸变的表现方式为放大率随着与光学轴的距离而减小，所以桶形畸变被归类为径向畸变。另一类径向畸变为枕形畸变和胡须形畸变(moustache distortion)，并且在许多成像系统中，上述三个几何畸变的组合可能同时存在，尽管一个或两个畸变的效果相对于第三个是可以被忽略的。为了本发明的目的和应用，桶形畸变可能是最突出的一种畸变。桶形畸变的效果可以是所成像的具有四个直边的矩形对象将得到边缘是凸的类似于桶的形状，因此而得名。

[0003] 根据变焦设置，几何畸变可能更明显或者更不明显，并且总趋势为随着变焦程度增大，畸变效果减小，然而畸变还取决于其他参数，诸如焦点。

[0004] 在一些应用中，桶形畸变的效果是可接受的或者甚至是需要的，然而在其他应用中，使用了对受影响后的图像的后处理。大部分图像后处理软件包括桶形畸变校正函数，其中用户可以改变各种参数来减小获取到的图像中桶形畸变的效果。

[0005] 当应用桶形畸变校正至视频流时，尤其当使用变焦光学器件时，使用试验和误差是不太适用的。解决方案是代替映射成像光学器件，使得对于光学器件(透镜、透镜组等)的每个变焦设置，待应用的校正函数是已知的。校正函数可以是将图像的畸变程度表示为半径(即，与光学轴的距离)的函数的多项式。通过对畸变曲线进行近似处理可以获得该多项式，该畸变曲线表示光学透镜的具体焦距的特性。具有这个信息，对于焦距的不同值，不论光学器件的特性如何，对于每个可能的变焦位置都能够计算一组多项式系数。这组系数可以被存储为常数值，并且随后当变焦设置变化时来应用该计算值。因此，图像处理单元可以设置有关于变焦设置的更新后数据。因此在映射成像光学器件之后，待执行的校正所需的输入仅仅是成像光学器件的当前变焦设置。在摄像机的成像处理模块中，根据之前执行的映射或者根据理论方法来重新布置像素。在上文和下文中，使用变焦来限定具有可变焦距设置的成像光学器件，正常地包括变焦距透镜系统和等焦面透镜系统这两种常见的类型。

发明内容

[0006] 为了实现改善畸变校正的目的，本公开涉及一种校正和呈现具有用户限定纵横比的桶形畸变图像的方法。所述方法包括：在视频摄像机中获取桶形畸变图像的连续流，以及在所述视频摄像机内的图像处理单元中处理所述图像并且将所述处理后图像作为输出图像加入图像流，并且所述处理包括：应用桶形畸变校正，以便形成具有最小宽度和最小高度的校正后图像。最后一步，通过裁剪所述校正后图像至超过或等于所述最小高度的高度并且具有所述用户限定的纵横比来形成输出图像。

[0007] 然而值得提的是，校正后图像或输出图像都不是摄像机中的真实图像，并且它们仅仅作为图像信息或图像数据存在，这也将在具体实施方式中描述。对于本领域技术人员而言这是显而易见的，然而为了避免权利要求过度的书面解释，所以可以对此进行强调。当形成摄像机中的输出图像时维持纵横比(仍然指的是图像数据而不是真实图像)将防止视频流中断。通过使得高度超过最小高度(如本文所限定的)，因为也将保持更多的宽度信息，所以减小了丢失信息的量，或者至少增大了视图的视野。

[0008] 在一个或几个实施例中，输出图像的高度在一定程度上超过最小高度，并且在其他实施例中，超出最小高度的输出图像的区域可以被遮掩。由于具体实施方式中将描述的原因，以这种方式使得在最小高度可能变化的同时，可以维持相同的纵横比。

[0009] 在其他或相关实施例中，输出图像将被裁剪为小于或等于最小宽度的宽度，同时具有用户限定的纵横比，并且在以上间隔中的一个具体位置处，校正后图像可以被裁剪为等于最小宽度的宽度。

[0010] 如果摄像机的变焦设置改变，因为这种改变将影响桶形畸变的程度且因此影响校正后图像的特性，所以上述特征可能是尤其有利的。在具体实施例中，其可以结合其他实施例，当变焦设置改变时，对于每个变焦设置可以连续地执行图像处理。

[0011] 根据另一个发明构思，所述方法还包括使能可利用用户输入的用户交互，其中用户可以在之前给出的限制范围内自由地限定输出图像的格式，即，宽度小于或等于最小宽度并且高度大于最小高度，同时维持用户限定纵横比。

[0012] 根据本发明的任意实施例，在视频摄像机的图像处理单元中可以有利地执行本发明。这还使得在执行本方法的过程中能够实时供给图像，并且使接收端的负担最小化。

[0013] 在一个或多个实施例中，桶形畸变校正可以基于摄像机的当前变焦设置的输入，使得特定变焦设置对应于在桶形畸变校正中应用的具体校正函数。

[0014] 在任意实施例中，当使用相同的用户限定纵横比时，执行用户选择视图的功能，其中视图包括对应于未桶形畸变校正时所显示的图像的输出图像或者被桶形畸变校正后所显示的输出图像。

[0015] 在任意上述实施例中，桶形畸变校正可以基于摄像机的当前变焦设置。可以从摄像机的控制单元获取当前的变焦设置，并且通过使用变焦设置，可以为当前设置获取转换数据。

[0016] 在一个或多个实施例中，该方法还可以使能接收用户请求，所述用户请求包括在不具有桶形畸变校正时所显示的输出图像或校正了桶形畸变的输出图像之间的选择，其中对于任意输出图像使用相同的用户限定纵横比。

附图说明

[0017] 图1是可以在本发明实施例中使用的一类视频摄像机的框图。

[0018] 图2示出了从图像传感器形成和读取的图像。

[0019] 图3示出了在应用桶形校正之后图2的图像。

[0020] 图4是示出如何从图3的校正后图像来裁剪区域的视图。

[0021] 图5是示出与图4不同地裁剪的图3的图像的视图。

[0022] 图6是从图5的裁剪步骤获得的图像。

[0023] 图7是具有被施加掩模的图6的图像。

[0024] 图8示出了在不同的环境下，类似于处理图7图像的方式来处理的图像。

[0025] 图9是示出本发明实施例的流程图。

具体实施方式

[0026] 图1示出被布置为执行本发明一个实施例的摄像机10。摄像机10包括外壳12、透镜14、图像传感器16(用于记录摄像机视图的图像)、图像处理单元18(用于初始图像处理)、中央处理单元22(用于总控制且用于执行程序代码)、易失存储器22(用于临时存储信息)、非易失存储器24(用于永久存储信息)、以及网络接口26(用于通过网络接收和/或传输指令、信息和图像数据)。另外，中央处理单元20被布置为实施分区分组器件30、函数估计器32、用于从函数计算局部焦点最大值的器件33、焦点值计算器34、评估器件36(用于评估分区)、焦点分区选择器38(用于基于评估来选择分区)以及自动聚焦控制器40。通过布置当被执行时执行这些装置的功能的程序代码，中央处理单元20可以实施这些功能。另外，本领域技术人员应该理解还可以使用逻辑电路或其他硬件配置来实施这些装置的功能。

[0027] 图2至图6示出根据本发明一个实施例的本发明的应用的典型情境。图2示出被成像到图像传感器上的第一图像50的轮廓。被成像到传感器上的内容表现出了成像画面，包括通过例如由成像光学器件引起的桶形畸变所产生的畸变。因为图像的轮廓理所当然地遵循传感器的形状，所以图像的轮廓将是矩形的，然而这样图像将包括所有畸变。形状可能随着传感器的形状变化，但是如果以图像未覆盖整个传感器表面的方式(在这种情况下，人们可能选择仅仅从图像传感器的被曝光的区域来提取信息)来匹配透镜和传感器，则形状也可以不同于矩形。

[0028] 由成像网格52来举例说明畸变的效果，成像网格52最初地包含矩形形状，在由成像光学器件引起的畸变之后，该矩形形状转换为特殊的桶形形状，畸变的名字由此而来。这旨在示出形状可以如何在畸变中变化以及然后如何在转换操作中被校正。

[0029] 用户将限定或者至少选择捕获模式，包括例如期望的分辨率、纵横比、帧速率等，诸如“1920×1080、60fps”。为了本说明书的目的，将仅仅考虑纵横比AR，并且将纵横比经由客户端传送至摄像机。尽管典型的纵横比是16：9(如上示例)或4：3，但是可以使用其他的或基本上任何纵横比。

[0030] 从图像传感器读取图像传感器数据并且将其处理为原始图像数据，并且该处理可以包括例如校准、去马赛克、锐化、缩放比例、转换等，并且在典型情形下，原始图像具有传感器的尺寸、宽度w和高度h。在本公开中，考虑宽度超过高度，因为这是获取和呈现可见信息(诸如视频)的常规方式。摄像机或成像装置当然可以倾斜90度，然而在这种实施例中，宽度将指竖直方向，即成像应用中的较大尺寸。在视频应用中，在将处理后的视频流从摄像机转发到附属设备之前，以诸如60帧每秒(fps)的特定速率从图像传感器读取图像，并且在摄像机的图像处理单元中处理该图像。在处理过程中，用户限定的捕获模式被用作输入，使得处理后的视频流获得正确的格式(包括正确的纵横比)。在很多情形下，改变捕获模式导致需要重启图像流，并且这进而导致图像流的暂时停止，这种动作通常是不期望的。在本文中，需要相关地注意的是，将在图像传感器上形成真实的图像，并且如果需要将其展示给用户则随后将其形成在显示器上。在图像传感器与显示器之间没有真实的图像而是图像信息或图像数据，并且因此应该从图示观点而不是文字观点来理解关于长度和宽度的讨论。当转换获取到的图像以便移除桶形畸变的效果时，可以使用数据库，该数据库优选地包含存储在摄像机中的信息。桶形畸变将取决于变焦设置，并且因此桶形畸变校正的数据库或转换表可以使用变焦设置的当前值作为输入。输出将是转换函数，其确定应该如何重新布置来自图像传感器的信息以便显示真实的图像。转换函数还可以被用于维持变焦过程以及处理其他畸变中用户限定的选择(掩模)。如果不存在畸变，或者如果用户不希望应用任何畸变校正，则处理后的视频流可以被以它真实的模样或者至少无桶形畸变校正地转发。因为在大部分畸变校正中，一些信息可能丢失或者改变，所以允许用户选择观察整个畸变图像是非常常见的。然而在如下所述的畸变校正中可能不会损失信息，当适应畸变校正后图像时，通常使用图像的裁剪以使得校正后的形状为适合于显示和/或美学原因的形状。在一些应用中，摄像机视图被布置为使得感兴趣的区域靠近光学轴或者在光学轴中，并且来自图像边界附近的外围信息可能是不太重要的。在其他实施例中，例如，当摄像机是被用于监控停车场的一组摄像机中的一个摄像机时，在图像边界附近发现的信息可能是更相关的。

[0031] 返回图2，畸变将影响成像画面，这种情形下主要是桶形畸变。为此，在处理获取到的图像过程中，可以进行桶形畸变校正。

[0032] 在这种实施例中，可以使用转换表，其可以是真实的表，但是在本文情形下，它还可以是多项式函数。转换表使用所用成像光学器件的特性作为输入数据，即当前的焦距设置以及尤其关于畸变的数据等，并且目的是将图像信息(例如，像素强度信息)从图像传感器上的成像位置移动到其中应当已经不存在畸变的位置。显而易见地，尽管上述目的，转换可能不能完全消除畸变的每个效果。在其他实施例中，转换表可以是仅仅包括将对每个像素执行的转移的信息的表，其中对于新的变焦设置，可以使用多项式函数来更新该表。以这种方式，对于每次变焦设置执行一次计算，而不是对于每个图像执行一次计算。

[0033] 在本示例中，根据图2的图像可以对应于形成在摄像机的图像传感器上的真实图像。图3示出以校正后图像54的形式的校正后图像数据。虽然此时成像网格52更接近于成像对象的外观，但是图像的轮廓不再是矩形的。如上所述，在桶形畸变中，放大率是距离光学中心的径向距离的函数，于是意味着轮廓将如图3所示地被转换，即，与光学轴的距离越大，可得的空间信息越多。优选地可以在摄像机的图像处理单元中以已经简要地讨论的上述方式执行校正。仅仅根据附图可能是不明显的，然而由于桶形畸变的特征和对其对与光学轴距离的依赖性，应用桶形畸变校正可以改变校正后图像的纵横比(与桶形畸变校正之前的纵横比相比较)。对于二次视图，可能不具有任何效果，然而对于未校正的矩形视图，其可以被转换为更延长的校正后视图。如果使用枕形的四个角来限定校正后图像的外边界，则长度和宽度之间的关系(即，纵横比)将变化。校正后图像的最小高度可以被称为h’并且最小宽度可以被称为w’(参见图3)。

[0034] 在本文中，值得提及的是所形成的校正后图像实际上可以从不这样形成，至少不以图像的方式来形成。在图像传感器上形成真实图像，然后在图像显示器上可以形成真实图像。然而，在这两个节点之间，存在的都是能够形成图像的图像数据。

[0035] 在桶形畸变是图像畸变主要贡献者的情形下，可以显示一个对称图像，并且最小宽度将对应于横向方向上的腰部，同时最小高度将对应于竖直方向上的腰部。为了不引起中断，优选地维持被传输视频流中用户限定的纵横比，如之前所提到的。因此，如果畸变校正改变了纵横比，则需要确定来传输图像的哪个部分，即，如何重新调节和/或裁剪校正后图像。

[0036] 使用的常见解决方案是将校正后图像裁剪为所使用的特定纵横比，使得当用户在观察未校正视图与已应用畸变校正的视图之间切换时，视频流可以不间断，即，使得畸变校正后视图适应于具有用户限定纵横比的所选择的捕获模式。

[0037] 图4示出裁剪校正后图像以形成输出图像的常见方式。具有用户限定纵横比的矩形区域56适合于在校正后图像的边界内示出最大量的信息，导致具有高度h’和宽度W的矩形形状。在裁剪步骤中，仅仅将矩形56内部的信息展示给操作者，并且沿着图像54的最外侧边缘的一些信息(即宽度W外部的所有信息以及靠近图像54的角落的一些信息)将丢失。这可以被称为“高度有限裁剪”。

[0038] 因为桶形畸变依赖于与光学轴的距离，所以如果用户想要放大画面中的细节，则桶形畸变的效果将减小，并且校正后视图和畸变视图之间的差异将减小。

[0039] 另外，可替代地，图5示出本发明实施例中的一个。在这个实施例中，畸变校正后图像54被裁剪为最小宽度，目的是维持被传输图像中相同的纵横比。因此，具有相同纵横比的矩形形状58将适合于校正后图像54的最小宽度w’，这可以被称为“宽度有限裁剪”。结果将是矩形58将沿着其上边缘和下边缘的部分延伸到校正后图像54的边界之外，其也在图5中示出。如果以这种形式转发，在视频流中，展示给操作者或者用户的输出图像60的裁剪视图将与图6所示类似。对于图像信息而言，从顶和底膨胀的凸区域62将是“空的”。

[0040] 为了推断出校正后图像的横向和竖直腰部的位置，可以使用之前提到的转换表。为了对称，可以使用畸变(未校正)图像的每个边上中心点的位置作为输入，并且通过应用关于这些坐标的转换表来识别腰部位置的坐标，参照图2中的坐标1、2、3和4以及图3中它们转换后的位置1’、2’、3’和4’。在参考系中，最初的原始图像具有高度h和宽度w，并且其中在图像的一个角落中发现坐标(0，0)，作为输入的腰部位置可以分别是(0，h/2)、(w，h/2)、(w/
2，0)和(w/2，h)。上述坐标是限定图像中位置以及当利用图像数据操作时的常见方式。通常，最上左像素位置被设置为(0，0)。在这方面，执行如下转译。在本申请的权利要求书和相应说明书中，(0，0)被代替地设置为表示光学轴，即，畸变校正后图像的中心。在这种坐标系中，被用作输入的腰部位置将是(-w/2，0)、(w/2，0)、(0，-h/2)和(0，h/2)，即，围绕光学轴完全对称，这简化了实施例的描述。在实际情形中，因为转换表可以直接给出每个腰部的坐标而无需任何其他运算，所以可能没有太多计算。

[0041] 在本发明的一个其他实施例中，如图7所示，掩模64被应用至图像60的区域，以便隐藏膨胀区域。使用光学轴作为图像中心的限定，可以限定掩模的位置。基本上，在校正后和裁剪后图像中，在竖直方向上延伸超过+/-h’/2的区域(参照图6的图像)将被遮掩，以获得对应于图7图像的视图。在实际情形中，使用坐标2’和4’的竖直分量作为输入。可以注意到如果桶形畸变的程度变化，则这些坐标的位置(至少其竖直分量)将变化。在改变变焦设置的过程中，对于每个焦距设置，将存在不同的转换，并且因此坐标的位置将连续地改变(随着焦距改变，并且桶形畸变的效果随着焦距变化)。

[0042] 通过比较图6和图7，可以观察到实际上掩模64的应用可能隐藏成像画面的小部分，即，将被掩模64覆盖的图像的角落中的部分。但是，对于用户，被掩模的视图可能表现为具有可以引起更少干扰的更熟悉格式。另外，需要传输更少的信息，并且因为沿着竖直中心线没有信息丢失，所以用户仍将不会发现减少太明显。

[0043] 仅将掩模施加到图像可能差不多是已知的，但是优选地在传输信息之前，在摄像机的图像处理单元中，对实时视频流执行畸变校正、裁剪和掩模是有利的。通过在摄像机而不是远程客户端中执行图像转换，需要传输更少的信息并且视频流的质量将更少地依赖于客户端的计算能力。特别地，可以对任何和每个变焦设置执行这种转换，并且因为桶形畸变将随着变焦增大而减小，所以掩模区域的尺寸将随着变焦增大而减小。因此，在本发明的其他实施例中，所施加的掩模被布置为遵循变焦操作中校正后图像的转换。之前关于掩模的延伸的状况仍然是正确的，然而作为获取到图像的减小的畸变效果的效果，被遮掩区域的实际延伸将减小，如图8的视图所示，其中成像网格的增大的网眼尺寸旨在指示所应用的增大的变焦。此时掩模64’的延伸被减小至最初延伸64的一部分。可以不管变焦设置(焦距设置)而使用完全相同的算法，并且转换表可以连续地供应当前设置。

[0044] 当成像光学器件被放大至最大值(即最大的焦距设置)时，掩模区域可能完全或者几乎完全消失，并且在畸变校正图像中发现的信息接近于在畸变原始图像中发现的信息。以这种方式，用户可以基本上看见成像画面的整个宽度，同时减小了由畸变产生的工件的可视外观。

[0045] 在又一实施例中，用户可以选择使用“宽度有限裁剪”还是“高度有限裁剪”。还可以给用户机会来选择这两个极值之间的数值，从而可以设置用户限定宽度和用户限定高度，以此仍然确保维持纵横比。可以在用户界面执行这种选择，例如，通过给点击选择框或者通过移动两个极值之间的滑动条，并且所维持的纵横比将能够连续变化。以这种方式，用户可以对宽度或高度或它们之间数值来优化视图。这使得用户能够将被显示的视图调节为最大可能程度的画面；在横向边缘附近是否存在感兴趣的信息，或者竖直方向上的最大分辨率是否更重要。

[0046] 另外，在整个本说明书中，词语的出现和选择是基于宽度是图像最大尺寸的假设，即，宽度大于高度。例如，通过倾斜摄像机90度，使得宽度和高度将转变位置，则情形可能是明显不同的。但是，通常情形下的解决方案将遵循已公开的说明书，并且通过仅仅陈述本说明书中的上下文中宽度旨在指定宽度和高度中的较大的方向而与取向无关来中立化该效果。

[0047] 图9示出根据本发明一个实施例的方法，其总结了已描述实施例的具体细节。在第一步骤70中，获取图像，并且在第二步骤72中，在摄像机内处理图像数据。该处理可以包括桶形畸变校正，其在图9中的单独步骤74中示出。在步骤76中形成输出图像并且将该图像加入图像流。形成输出图像可以包括根据许多压缩标准之一来压缩图像。

[0048] 优选地在诸如数字视频摄像机的视频摄像机中执行该方法。因此，可以在监控摄像机中有利地执行该方法，在监控摄像机中实现从场景实时供给图像是尤其有利的。