一种用于多车厢超长车型的360°视频拼接方法

摘要

本发明提供了一种用于多车厢超长车型的360°视频拼接方法，包括S1，获取多个摄像头的视频流中在同一时刻的拍摄的图像帧；S2，分别对每个图像帧进行图像矫正处理，获得矫正图像；S3，分别确定每个矫正图像中的待处理像素点，然后对待处理像素点进行自适应降噪处理，获得降噪图像；S4，分别对每个降噪图像进行投影变换处理，获得投影图像；S5，依次对相邻的两个摄像头所对应的投影图像进行图像配准处理，获得配准结果，并基于配准结果进行图像拼接处理，获得拼接图像；S6，将连续的时刻的拼接图像组成输出视频。本发明仅对待处理像素点进行自适应降噪处理，能够在有效加快降噪处理的速度的同时，在降噪图像中保留更多的细节信息。

权利要求

1.一种用于多车厢超长车型的360°视频拼接方法，其特征在于，包括：S1，获取多个摄像头的视频流中在同一时刻的拍摄的图像帧；

S2，分别对每个图像帧进行图像矫正处理，获得矫正图像；

S3，分别确定每个矫正图像中的待处理像素点，然后对待处理像素点进行自适应降噪处理，获得降噪图像；

S4，分别对每个降噪图像进行投影变换处理，获得投影图像；

S5，依次对相邻的两个摄像头所对应的投影图像进行图像配准处理，获得配准结果，并基于配准结果进行图像拼接处理，获得拼接图像；

S6，将连续的时刻的拼接图像组成输出视频；

所述确定每个矫正图像中的待处理像素点，包括：对于矫正图像中的像素点n，通过下述公式计算其判断系数adidxn：其中，k∈{1,2,3,4}，cs表示预设的常数型系数，fn和fm分别表示像素点n和像素点m的像素值，m表示wk中包含的像素点，将n的8邻域表示为 w1表示n的8邻域中的像素点n4、n5组成的集合，w2表示n的8邻域中的像素点n2、n7组成的集合，w3表示n的8邻域中的像素点n1、n8组成的集合，w4表示n的8邻域中的像素点n3、n6组成的集合，将n对应的海塞矩阵Sn表示为 max表示取最大值，将adidxn与预设的比较阈值进行对比，若adidxn大于所述比较阈值，则将像素点n作为待处理像素点。

2.根据权利要求1所述的一种用于多车厢超长车型的360°视频拼接方法，其特征在于，所述多个摄像头中，相邻两个摄像头获得的视频帧中存在重叠区域。

3.根据权利要求2所述的一种用于多车厢超长车型的360°视频拼接方法，其特征在于，所述对每个图像帧进行图像矫正处理，获得矫正图像，包括：对每个图像帧进行畸变矫正处理，获得矫正图像。

4.根据权利要求1所述的一种用于多车厢超长车型的360°视频拼接方法，其特征在于，所述对每个降噪图像进行投影变换处理，获得投影图像，包括：对每个降噪图像进行圆形柱投影变换，获得投影图像。

5.根据权利要求1所述的一种用于多车厢超长车型的360°视频拼接方法，其特征在于，对相邻的两个摄像头所对应的投影图像进行图像配准处理，获得配准结果，包括：分别使用特征提取算法获取两幅投影图像中的特征点；

将两幅投影图像中的特征点进行匹配，获得特征点匹配对；

将特征点匹配对作为配准结果。

说明书

一种用于多车厢超长车型的360°视频拼接方法

技术领域

[0001] 本发明涉及视频拼接领域，尤其涉及一种用于多车厢超长车型的360°视频拼接方法。

背景技术

[0002] 随着图像和计算机视觉技术的快速发展，越来越多的技术被应用到汽车电子领域，传统的基于图像的倒车影像系统只在车尾安装摄像头，只能覆盖车尾周围有限的区域，
而车辆周围和车头的盲区无疑增加了安全驾驶的隐患，在狭隘拥堵的市区和停车场容易出
现碰撞和刮蹭事件。为扩大驾驶员视野，就必须能感知360°全方位的环境，这就需要多个视
觉传感器的相互协同配合作用后，通过视频合成处理、形成全车周围的一整套的视频图像。

[0003] 由于噪点对视频拼接会有影响，因此在拼接过程中一般需要对图像帧进行降噪处理，然而现有的降噪处理方式一般是直接对所有的像素点进行降噪处理，显然这种处理方
式会加长最后输出的视频画面的延迟。

发明内容

[0004] 鉴于上述问题，本发明的目的在于提供一种用于多车厢超长车型的360°视频拼接方法，包括：

[0005] S1，获取多个摄像头的视频流中在同一时刻的拍摄的图像帧；

[0006] S2，分别对每个图像帧进行图像矫正处理，获得矫正图像；

[0007] S3，分别确定每个矫正图像中的待处理像素点，然后对待处理像素点进行自适应降噪处理，获得降噪图像；

[0008] S4，分别对每个降噪图像进行投影变换处理，获得投影图像；

[0009] S5，依次对相邻的两个摄像头所对应的投影图像进行图像配准处理，获得配准结果，并基于配准结果进行图像拼接处理，获得拼接图像；

[0010] S6，将连续的时刻的拼接图像组成输出视频。

[0011] 作为优选，所述多个摄像头中，相邻两个摄像头获得的视频帧中存在重叠区域。

[0012] 作为优选，所述对每个图像帧进行图像矫正处理，获得矫正图像，包括：

[0013] 对每个图像帧进行畸变矫正处理，获得矫正图像。

[0014] 作为优选，所述确定每个矫正图像中的待处理像素点，包括：

[0015] 对于矫正图像中的像素点n，通过下述公式计算其判断系数adidxn：

[0016]

[0017]

[0018] 其中，k∈{1,2,3,4}，cs表示预设的常数型系数，fn和fm分别表示像素点n和像素点m的像素值，m表示wk中包含的像素点，将n的8邻域表示为 w1表示n的8邻域中
的像素点n4、n5组成的集合，w2表示n的8邻域中的像素点n2、n7组成的集合，w3表示n的8邻域
中的像素点n1、n8组成的集合，w4表示n的8邻域中的像素点n3、n6组成的集合，将n对应的海塞
矩阵Sn表示为 max表示取最大值，

[0019]

[0020]

[0021] 将adidxn与预设的比较阈值进行对比，若adidxn大于所述比较阈值，则将像素点n作为待处理像素点。

[0022] 作为优选，所述对每个降噪图像进行投影变换处理，获得投影图像，包括：

[0023] 对每个降噪图像进行圆形柱投影变换，获得投影图像。

[0024] 作为优选，对相邻的两个摄像头所对应的投影图像进行图像配准处理，获得配准结果，包括：

[0025] 分别使用特征提取算法获取两幅投影图像中的特征点；

[0026] 将两幅投影图像中的特征点进行匹配，获得特征点匹配对；

[0027] 将特征点匹配对作为配准结果。

[0028] 本发明上述实施例，仅对待处理像素点进行自适应降噪处理，能够在有效加快降噪处理的速度的同时，在降噪图像中保留更多的细节信息。现有的视频拼接方法，一般不做
降噪处理或者是直接对所有的像素点进行降噪处理，不做降噪处理的话，噪点会对后续的
图像匹配过程造成影响，导致图像匹配的结果不够准确，而如果对所有的像素点都进行降
噪处理的话，显然所需要的处理时间会比较长，从而导致获得输出视频的时间过长，输出视
频中的画面的拍摄时间和输出视频的输出时间之间的差值过大，导致画面延迟过大。

附图说明

[0029] 利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得
其它的附图。

[0030] 图1，为本发明一种用于多车厢超长车型的360°视频拼接方法的一种示例性实施例图。

[0031] 图2，为本发明多车厢超长车型的摄像头安装方式的一种示例性实施例图。

具体实施方式

[0032] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

[0033] 如图1所示的一种实施例，本发明提供了一种用于多车厢超长车型的360°视频拼接方法，包括：

[0034] S1，获取多个摄像头的视频流中在同一时刻的拍摄的图像帧；

[0035] S2，分别对每个图像帧进行图像矫正处理，获得矫正图像；

[0036] S3，分别确定每个矫正图像中的待处理像素点，然后对待处理像素点进行自适应降噪处理，获得降噪图像；

[0037] S4，分别对每个降噪图像进行投影变换处理，获得投影图像；

[0038] S5，依次对相邻的两个摄像头所对应的投影图像进行图像配准处理，获得配准结果，并基于配准结果进行图像拼接处理，获得拼接图像；

[0039] S6，将连续的时刻的拼接图像组成输出视频。

[0040] 具体地，例如，当多车厢超长车型有4个车厢时，如图2所示，本领域技术人员可以设置10个摄像头来获取图像帧，每个车厢的中央的外侧各设置两个摄像头，车头和车尾各
设置一个摄像头，从而实现360°的拍摄范围覆盖。

[0041] 10个摄像头分别为左一摄像头到左四摄像头，右一摄像头到右四摄像头，然后再加上前摄像头和后摄像头。

[0042] 具体地，所述摄像头可以是鱼眼摄像头。

[0043] 具体地，连续的时刻的拼接图像，对一段时间内的图像帧都进行处理，获得了多个拼接图像，然后根据拼接图像对应的图像帧的拍摄时间来对拼接图像进行排序，将拼接图
像作为输出视频中的视频帧。

[0044] 作为优选，所述多个摄像头中，相邻两个摄像头获得的视频帧中存在重叠区域。

[0045] 重叠区域的设置主要是为了方便进行视频帧的拼接。

[0046] 作为优选，所述对每个图像帧进行图像矫正处理，获得矫正图像，包括：

[0047] 对每个图像帧进行畸变矫正处理，获得矫正图像。

[0048] 具体地，畸变包括径向畸变和切向畸变。分别对图像帧进行径向畸变矫正和切向畸变矫正，然后将两个矫正结果融合得到矫正图像。

[0049] 作为优选，所述确定每个矫正图像中的待处理像素点，包括：

[0050] 对于矫正图像中的像素点n，通过下述公式计算其判断系数adidxn：

[0051]

[0052]

[0053] 其中，k∈{1,2,3,4}，cs表示预设的常数型系数，fn和fm分别表示像素点n和像素点m的像素值，m表示wk中包含的像素点，将n的8邻域表示为 w1表示n的8邻域中
的像素点n4、n5组成的集合，w2表示n的8邻域中的像素点n2、n7组成的集合，w3表示n的8邻域
中的像素点n1、n8组成的集合，w4表示n的8邻域中的像素点n3、n6组成的集合，将n对应的海塞
矩阵Sn表示为 max表示取最大值，

[0054]

[0055]

[0056] 将adidxn与预设的比较阈值进行对比，若adidxn大于所述比较阈值，则将像素点n作为待处理像素点。

[0057] 本发明上述实施方式，当像素点n为待处理像素点时，判断系数会比不需要进行处理的像素点大很多，如果像素点n为正常的像素点或边界像素点，那么adidxn的值会非常的
小，因此，通过设置比较阈值能够将其识别出来。同时能够避免将边界像素点错误地认为是
待处理像素点。

[0058] 作为优选，所述对待处理像素点进行自适应降噪处理，包括：

[0059] 若adidxn＜thre，则采用下述方式对像素点n进行降噪处理：

[0060]

[0061] 若adidxn≥thre，则采用下述方式对像素点n进行降噪处理：

[0062]

[0063] 式中，afn表示对像素点n进行降噪处理后的像素值，un表示像素点n的R×R大小的邻域中的像素点的集合，nofun表示un中包含的像素点的数量，fh表示un中的像素点h的像
素值，lod[n,h]表示像素点n和h之间的连线所经过的像素点的总数，gn和gh分别表示像素点
n和h的梯度幅值，thre表示预设的判断系数，

[0064]

[0065]

[0066] 本发明上述实施例，分别对判断系数不同的待处理像素点采用了不同的降噪处理方式，使得本发明的处理方式更具有针对性。具体地，若待处理像素点的判断系数比较小，
表示所述待处理像素点与周围的像素点之间的差异比较小，因此，采用直接求取平均值的
方式来进行降噪处理，而如果待处理像素点的判断系数比较大，表示待处理像素点与周围
的像素点之间的差异比较大，采用普通的降噪方式很容易导致图像的边界信息丢失，因此，
通过重要程度分别为邻域中的像素点获取不同的系数，然后通过系数和像素点的乘积来获
取降噪的结果，这种处理方式，综合了邻域中的像素点与当前处理的像素点在直线距离以
及梯度幅值的差异两方面的影响因素，能够很好地表示不同的像素点的重要程度，有利于
尽力保留边界信息的同时提高降噪结果的准确性。同时，对判断系数比较小的像素点采用
的是较为快速的降噪方式，能够进一步缩短降噪的时间，从而缩短本发明的输出视频的延
时。

[0067] 作为优选，所述对每个降噪图像进行投影变换处理，获得投影图像，包括：

[0068] 对每个降噪图像进行圆形柱投影变换，获得投影图像。

[0069] 具体地，除了圆柱形投影变换之外，还可以是立方体投影、SSP投影、TSP投影等投影方式。

[0070] 作为优选，对相邻的两个摄像头所对应的投影图像进行图像配准处理，获得配准结果，包括：

[0071] 分别使用特征提取算法获取两幅投影图像中的特征点；

[0072] 将两幅投影图像中的特征点进行匹配，获得特征点匹配对；

[0073] 将特征点匹配对作为配准结果。

[0074] 具体地，特征提取算法包括harris算法、susan算法等。

[0075] 本发明上述实施例，仅对待处理像素点进行自适应降噪处理，能够在有效加快降噪处理的速度的同时，在降噪图像中保留更多的细节信息。现有的视频拼接方法，一般不做
降噪处理或者是直接对所有的像素点进行降噪处理，不做降噪处理的话，噪点会对后续的
图像匹配过程造成影响，导致图像匹配的结果不够准确，而如果对所有的像素点都进行降
噪处理的话，显然所需要的处理时间会比较长，从而导致获得输出视频的时间过长，输出视
频中的画面的拍摄时间和输出视频的输出时间之间的差值过大，导致画面延迟过大。

[0076] 尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的
范围由权利要求及其等同物限定。