车身侧视图参数化模型的自动提取方法

摘要

本发明提供了一种车身侧视图参数化模型的自动提取方法。在提取参数化模型过程中，能够判定侧视图的正确性，并能够根据侧视图的重要结构参数指标判定侧视图的方向性，以及对不同车型进行分类。通过定位车身侧视图的两个车轮，利用模板均匀离散点集与图像特征点集匹配的方法对参数化模板与图像特征点进行匹配，结合关键点位置约束、特征线形状约束、模型全局约束，利用动态规划的方法优化特征曲线与图像特征点的覆盖率来提取侧视图参数化模型。给定车身图像，就可以全自动得到一个新的车身结构，可以方便的建立汽车的图片库。利用图像特征点与模板的点集配准方法，根据车身主要结构参数，能够对不同的车型进行分类，进一步自动提取到对应的参数化模型。

权利要求

1.一种车身侧视图参数化模型的自动提取方法，其特征在于，步骤如下：

(1)参数化模板定义：

按照车身结构特征，采用跑车和SUV的结构特征定义2种参数化模板；跑车的参数化模板，用于提取跑车类型的参数化模型；SUV的参数化模板，用于提取除跑车外其他车型的参数化模型；

(2)特征点提取及图像校准：

1)图像尺寸调整：采用一致缩放的方法将图像的宽度调整至一致；

2)图像特征点提取：首先，利用Canny边界提取算子得到初始边缘点，将邻近边缘点连接成关键特征点链；

其次，关键特征点链分割成短链，以关键特征点链的两端点的连线作为基础，在关键特征点链上找到距离该连线最远的点；如果从该距离连线最远的点处分开，形成的两侧链中的不少于一条的拟合误差大于给定阈值，则将关键特征点链在该距离连线最远的点处断开为两条关键特征点链，否则保留该关键特征点链；关键特征点链分割成短链的过程为迭代过程，最终分割的结果为基本链条，用来计算拟合曲线以及车轮半径和位置；

3)利用车轮的提取识别侧视图：通过两个车轮的判定来区分一幅图像是否为车身侧视图图像；车轮识别的具体方法是利用步骤2)得到的基本链条，计算每一个基本链条的圆心及半径，根据计算得到的不同的圆心及半径聚类得到左右两侧的圆；

(3)模板与图像匹配：

1)图像曲线生成：尽可能多的合并相邻的基础链条，拟合形成多个二次曲线；

2)点集匹配：采用PR-GLS点集匹配算法建立参数模板的均匀离散点集与二次曲线的均匀离散点集的对应关系，得到模型关键特征点在图像中的初始化位置；

3)车型分类：根据变形后模板重要结构参数的分析，确定车身在图像中的方向，若是反向的则将图像水平翻转；根据竖直车门线的空间位置将车型分为3门或5门车型；跑车类别是由匹配后变形后的模板的高度所决定的；

(4)特征曲线生成及标注：生成图像车身的模型，利用拟合得到的二次曲线和关键特征点在图像中的初始化位置，结合车身结构的全局拓扑约束、关联关键点的位置约束和特征曲线的形状约束，采用动态规划的方法提取到关键点列的精确位置以及特征曲线的精确形状；最优化模板是所创建的特征曲线应尽可能覆盖提取到的图像特征点，即最终创建的模型对图像特征点的覆盖率最优；

对于给定两点最优曲线生成，通过两点邻域内的线集合，计算所有拟合的二次曲线的覆盖率，选择最大覆盖率的曲线为最优曲线。

说明书

车身侧视图参数化模型的自动提取方法

技术领域

[0001] 本发明涉及一种由汽车侧视图图片全自动提取出车身参数化模型。同时，在提取参数化模型过程中，能够判定侧视图的正确性，并能够根据侧视图的主要参数指标判定侧视图的方向性，以及对不同车型进行分类。

背景技术

[0002] 目前为止，为了提高汽车设计效率，促进产品创新设计和加快推出新产品的步伐，汽车研发过程中的许多环节已实现数字化。设计师是从基础的线条开始来设计产品的框架，这些线条是产品的结构线，比如轮廓，影响产品感觉的重要的线条。主要线条的几何模型可以从已知产品的图像或手工草图中获取，设计师通过使用CAD工具进行模型的修改。车身参数化模型的精确提取有助于进一步的车型分析，提高海量图像数据的重用率，以及提升利用图像重建三维模型的高效性。

发明内容

[0003] 针对现有的挑战，本发明提出了一种车身前视图参数化模型全自动精确提取技术。本技术在汽车车身造型设计时，不仅实现数字化，而且实现数字化几何模型的有效重用，实现概念设计的智能化与集成化。

[0004] 车身侧视图参数化模型的自动提取方法，步骤如下：

[0005] (1)按照车身结构特征，采用跑车和SUV的结构特征2种参数化模板；跑车的参数化模板，用于提取跑车类型的参数化模型；SUV的参数化模板，用于提取除跑车外其他车型的参数化模型，包括SUV、掀背车、商旅车、城市微型车、普通轿车；如图1所示。

[0006] (2)特征点提取及图像校准：

[0007] 1)图像尺寸调整：采用一致缩放的方法将图像的宽度调整至一致；

[0008] 2)图像特征点提取：首先，利用Canny边界提取算子得到初始边缘点，将邻近边缘点连接成关键特征点链；

[0009] 其次，关键特征点链分割成短链，以关键特征点链的两端点的连线作为基础，在关键特征点链上找到距离该连线最大的点；如果从该最大的点处分开，形成的两侧链中的不少于一条的拟合误差大于给定阈值，则将关键特征点链在该连线最大的点处断开为两条关键特征点链，否则保留该关键特征点链；关键特征点链分割成短链过程为迭代过程，最终分割的结果为基本链条，用来计算拟合曲线以及车轮半径和位置；

[0010] 3)利用车轮的提取识别侧视图：通过两个车轮的判定来区分一幅图像是否为车身侧视图图像；车轮识别的具体方法是利用步骤2)得到的基本链条，计算每一个基本链条的圆心及半径，根据计算得到的不同的圆心及半径聚类得到左右两侧的圆；

[0011] (3)模板与图像匹配：

[0012] 1)图像曲线生成：尽可能多的合并相邻的基础链条，拟合形成多个二次曲线；

[0013] 2)点集匹配：采用PR-GLS(Non-Rigid Point Set Registration by Preserving Global and Local Structures)点集匹配算法建立参数模板的均匀离散点集与二次曲线的均匀离散点集的对应关系，得到模型关键特征点在图像中的初始化位置；

[0014] 3)车型分类：根据变形后模板重要结构参数的分析，确定车身在图像中的方向，若是反向的则将图像水平翻转；根据竖直车门线的空间位置将车型分为3门或5门车型；跑车类别是由匹配后变形后的模板的高度所决定的；

[0015] (4)特征曲线生成及标注：生成图像车身的模型，利用拟合得到的二次曲线和关键特征点在图像中的初始化位置，结合车身结构的全局拓扑约束、关联关键点的位置约束和特征曲线的形状约束，采用动态规划的方法提取到关键点列的精确位置以及特征曲线的精确形状；最优化模板是所创建的特征曲线应尽可能覆盖提取到的图像特征点，即最终创建的模型对图像特征点的覆盖率最优；

[0016] 对于给定两点最优曲线生成，通过两点邻域内的线集合(拟合二次曲线中选取)，计算所有拟合的二次曲线的覆盖率，选择最大覆盖率的曲线为最优曲线。

[0017] 根据车身的结构，参数化模型的精确提取过程分为四部分：车身外轮廓、车窗轮廓线、腰线和车门轮廓线。

[0018] 本发明对比已有技术具有以下创新点：

[0019] 1)对车身侧视图自动提取其参数化模型。

[0020] 2)根据车身主要结构参数对不同车型进行自动分类。

[0021] 本发明的有益效果：

[0022] 1)对给定车身侧视图的参数化模型的自动提取。不仅对渲染图像，而且包括草图以及尺寸图都能得到很好的结果。给定车身图像，就可以全自动得到一个新的车身结构，可以方便的建立汽车的图片库。

[0023] 2)利用图像特征点与模板的点集配准方法，根据车身主要结构参数，能够对不同的车型进行分类，进一步自动提取到对应的参数化模型。

附图说明

[0024] 图1为本发明的流程图。

[0025] 图2(a)为采用的除跑车外其他车型的车身侧视图参数化模板示意图。

[0026] 图2(b)为采用的跑车的车身侧视图参数化模板示意图。

[0027] 图3为生成的特征点链示意图。

[0028] 图4为车轮的识别示意图。

[0029] 图5为特征点链生成的拟合曲线示意图。

[0030] 图6为模板与图像特征点的点集匹配结果图。

[0031] 图7为车身侧视图分类的主要参考尺寸值示意图。

具体实施方式

[0032] 以下结合附图和技术方案，进一步说明本发明的具体实施方式。

[0033] (1)参数化模板定义：按照车身结构特征采用了2种不同的参数化模板。跑车的参数化模板，用于提取跑车类型的参数化模型；SUV的参数化模板，用于提取除跑车外其他车型的参数化模型，包括SUV、掀背车、商旅车、城市微型车、普通轿车；如图1所示。{Pk}是模型匹配过程中的关键点；{Sk}是关键点之间的重要特征线条；{SAk}为使得更精确表达车身所需要的辅助线。

[0034] (2)特征点提取及图像校准：

[0035] 1)图像尺寸调整：为了保证算法与图像尺寸之间的独立性，图像尺寸首先会被规则化。这里采用一致缩放的方法将图像的水平尺寸变为1500像素宽度，经测试，在此尺寸下，结果精度和计算时间都在接受范围：更宽的图像需要更多的计算时间，太小的尺寸会丢失一些重要的边界。

[0036] 2)图像特征点提取：首先利用Canny边界提取算子得到初始的边缘点，将邻近边缘点连接成链。对于给定阈值(这里设定为20)，删除链长小于该阈值的点链以得到关键特征点链。大部分关于车灯和车轮内部的线条会第一步被删除。

[0037] 汽车作为工业产品，其车身特征线都是光滑的曲线，如同模板中所定义的曲线元素。长链需要分割成短链，以更好的匹配光滑的曲线。以关键特征点链的两端点的连线作为基础，在关键特征点链上找到距离该连线最大的点；如果从该最大的点处分开，形成的两侧链中的不少于一条的拟合误差大于给定阈值(这里设定为3)，则将关键特征点链在该连线最大的点处断开为两条关键特征点链，否则保留该关键特征点链；关键特征点链分割成短链过程为迭代过程，最终分割的结果为基本链条，用来计算车轮曲线和位置。图3为得到的基本链接的图示结果。

[0038] 3)利用车轮的提取识别侧视图：通过两个车轮的判定来区分一幅图像是否为车身侧视图图像；两个车轮的识别用于对所考虑车身图片的合理性以及确定模板车型的尺寸。尽管轮胎区域包含有很多噪声点，但因为车轮的形状是圆的以及位置相对于车身是固定的，仍然能够精确的定位车轮的位置和大小。车轮识别的具体方法是利用步骤2)得到的基本链条，计算每一个基本链条的圆心及半径，根据计算得到的不同的圆心及半径聚类得到左右两侧的圆；

[0039] 经过对大量图像进行分析，得到在车身图像宽度为1500时，车轮半径范围为[90,120]。Hough变化是最常用的用于提取图像中圆的算法，因此理论上适合用来检测车轮。但是，通过我们在Matlab上测试Hough变化的识别率，鉴于部分图像的噪声影响，该算法并不能够提取到车轮所在位置的圆圈。

[0040] 图4为对所有短链计算得到的不同圆心及半径图示。

[0041] (3)模板与图像匹配：

[0042] 1)图像曲线生成：尽可能多的合并相邻的基础链条，拟合形成多个二次曲线；图5所示为拟合得到的曲线。

[0043] 2)点集匹配：采用PR-GLS(Non-Rigid Point Set Registration by Preserving Global and Local Structures)点集匹配算法建立参数模板的均匀离散点集与二次曲线的均匀离散点集的对应关系，得到模型关键特征点在图像中的初始化位置；

[0044] 为了更适合于车身点集的匹配问题，在PR-GLS点集匹配算法的三个方面做了一下调整。首先，利用两个车轮的中心点调整模板的大小，对模板进行缩放、平移、旋转操作，使得模板和图像中的车身在尺寸上达到统一。其次，去除单一对应的条件，允许模板点集中的两个点在图像特征点集中可以有相同的对应点，以此来减少错误的对应关系。最后，施加一个区域约束，成对的两个点的距离应小于一个给定的阈值，该值由车轮的直径的所定义。图6为得到的匹配结果。其中，圆圈点为模板点变形后的结果；加号点为从图像中得到的拟合曲线的均匀离散点

[0045] 通过对二百多种不同车身测试结果的分析，使用SUV模板对于大多数类型都有很好的匹配结果；对于跑车类型，跑车的布置结构尺寸与SUV相差太大，采用跑车的参数化模板对该图像重新进行配准。

[0046] 3)车型分类：对于车型判别，根据变形后模板重要结构参数的分析(图7)，确定车身在图像中的方向，若是反向的则将图像水平翻转；根据竖直车门线的空间位置将车型分为3门或5门车型；跑车类别是由匹配后变形后的模板的高度所决定的；

[0047] 比如，跑车的特有属性是L5≤300，当L5≤300并且侧视图上只有一个车门时，判定该车为跑车。根据分析，我们将所有车分为以下四类。具体的分类为：

[0048] ①跑车：L5<350&视图中只有一个车门

[0049] ②微型车：L4>550

[0050] ③旅行车/SUV/掀背车：(L4-L5)<30||(L4-L55)<10||(L4+L5)>850

[0051] ④轿车：除了①，②，③剩下的

[0052] 根据竖直车门线的空间位置将车型分为3门或5门车型。单侧视图中，3门车比5门车的S96更接近于后轮。通过评估上百种不同类别中随机选择的车型，侧视图中包含两个车门时，S96的最靠后位置与前车轮中心的距离与两车轮中心的距离比例<＝0.66[0053] (4)特征曲线生成及标注：生成图像车身的模型，利用拟合得到的二次曲线和关键特征点在图像中的初始化位置，结合车身结构的全局拓扑约束、关联关键点的位置约束和特征曲线的形状约束，采用动态规划的方法提取到关键点列的精确位置以及特征曲线的精确形状；最优化模板是所创建的特征曲线应尽可能覆盖提取到的图像特征点，即最终创建的模型对图像特征点的覆盖率最优；

[0054] 侧视图参数化模型的精确提取过程分为四部分：外轮廓线，车窗轮廓线，腰线，车门轮廓线。

[0055] 对于候选点列，在每段满足其对应的语义约束下，根据动态规划的方法，从始到尾相连计算最优整体覆盖率来筛选出最优的关键点及关联曲线。选取最高覆盖率的关键点序列作为结果输出，其对应的曲线序列，作为最优特征曲线被输出。

[0056] 根据图2所示的曲线及关键点序号定义，不同部件曲线约束及生成方法详述如下。

[0057] 1)外轮廓生成

[0058] 车身外轮廓被分解为两个部分：由曲线S2,SA2,S3,SA3,S4,SA4,S5,S6构成的外轮廓上部分以及由剩下外轮廓曲线所组成的外轮廓下部分。另外，为了算法的稳定性，部分属于下部分的外轮廓曲线也被用来计算上部分的最优解。在其后的下部分提取过程中会进一步调整来得到更加精确的位置。表1为提取外轮廓上部分曲线的元素及部分约束。为了保证算法精度及算法效率，起点约束定义为P12水平方向上离散的点集，终点约束定义为P7水平方向上离散的点集。

[0059] 表1提取外轮廓上部分曲线的元素及部分约束

[0060] 外轮廓上部分

[0061]

[0062]

[0063] 通过上步骤对外轮廓上部分关键点及特征线的提取，认为提取到的关键点P1,P2,P2_1,P3,P3_1,P4,P4_1,P5,P6以及特征曲线S2,SA2,S3,SA3,S4,SA4,S5,S6满足精度要求。借助于精确提取到的点P1和P6，依据表2所示的提取外轮廓下部分曲线的元素及约束，可以最终提取到外轮廓下部分所包含的关键点P36,P35,P12_1,P12,P11,P31,P30,P30_1,P29,P10,P9,P34,P33_1,P33,P32,P8,P7,P39,P38,P37及特征曲线S1,S25,S24,SA12_1,S23,S22,S21,SA30,S20,S19,S17,S15,S14,SA33,S13,S12,S11,S10,S9,S8,S7。

[0064] 表2提取外轮廓下部分曲线的元素及部分约束

[0065] 外轮廓下部分

[0066]

[0067]

[0068] 2)车窗轮廓生成

[0069] 根据上节提取到的外轮廓的曲线及关键点，结合车窗所包含的特征曲线与外轮廓的约束关系，依据表3所示的提取车窗轮廓曲线的元素及约束，以模板关键点P14的变形位置为起点，候选点集{P13}为终点，可以最终提取到车窗所包含的关键点P13,P13_1,P13_2,P22,P23,P24,P25,P26,P14及特征曲线S46,SA13,SA13_1,S43,S44,S50,S55,S56,S57。

[0070] 表3提取车窗轮廓曲线的元素及部分约束

[0071] 车窗轮廓

[0072]

[0073] 3)腰线曲线生成

[0074] 腰线作为贯穿车身大范围的水平曲线，通过分析其相关关键点与特征线与外轮廓以及车窗的约束关系，依据表4所示的提取腰线曲线的元素及部分约束，可以最终提取腰线所包含的关键点P27,P17,P18,P19,P28及特征曲线S58,S59,S60,S61。

[0075] 表4提取腰线曲线的元素及部分约束

[0076] 腰线

[0077]

[0078]

[0079] 4)车门轮廓曲线生成

[0080] 车门作为车身结构化分割线条，在车身侧视图结构线中，两个车门以及一个车门的结构最大不同在于是否存在中间车门线。

[0081] 通过分析车门相关关键点与特征线与外轮廓以及车窗的约束关系，依据表5及表6所示的提取车门部分曲线的元素及部分约束，可以最终提取车门线所包含的关键点P17,P15_1,P15,P21,P16,P16_1,P16_2,P19_1,P19,P18,P21及特征曲线S58,S59,S60,S61,S96。

[0082] 表5提取车门部分曲线的元素及部分约束

[0083] 车门线

[0084]

[0085] 表6提取5门车中间车门曲线的元素及约束

[0086] 5门车的中间车门线Middle_Door_line in 5-door car

[0087]

[0088]

[0089] 我们以上结合附图对本发明的具体实施方式作了说明，但这些说明不能被理解为限制了本发明的范围，本发明的保护范围由随附的权利要求书限定，任何在本发明权利要求基础上的改动都是本发明的保护范围。