一种基于深度神经网络的汽车外观自动定损方法及系统

摘要

本发明公开了一种基于深度神经网络的汽车外观自动定损方法及系统，手机拍摄事故车辆远/中景照片，并实时对远/中景照片进行车辆与车辆总成部件检测，根据车辆与车辆总成部件检测结果确认用户处于合适的距离内拍摄，提示用户拍摄第1张局部车辆照片；手机继续拍摄事故车辆的细节照片，实时对细节照片中的损伤区域进行检测；当检测到损伤区域时，则提示用户拍摄第1张细节照片；拍摄完成后，继续提示用户靠近拍摄该区域，当再次检测到损伤区域时，则提示用户拍摄第2张细节照片，完成后提交当前损伤单元；后台服务器对手机提交的每组损伤单元进行损伤识别，并对多组损伤单元的识别结果进行融合，得出该事故车辆的损伤详情。

权利要求

1.一种基于深度神经网络的汽车外观自动定损方法，其特征在于，包括：

步骤1、手机拍摄事故车辆远/中景照片，并实时对远/中景照片进行车辆检测、车辆总成部件检测，根据车辆检测结果与车辆总成部件检测结果确认用户是否处于合适的距离内拍摄；若处于合适的距离内拍摄，则提示用户拍摄，由用户拍摄第1张局部车辆照片；其中，第1张局部车辆照片采用深度卷积网络对图片中的车辆目标及车辆总成部件进行检测，当检测到车辆目标及三个或三个以上的车辆总成部件时，同时要求车辆目标在图片中的占比超过90％时，则判定用户的拍摄距离合适；

步骤2、手机继续拍摄事故车辆的细节照片，并实时对细节照片中的损伤区域进行检测；当检测到损伤区域时，则提示用户拍摄，由用户拍摄第1张细节照片；拍摄完成后，继续提示用户靠近拍摄该区域，当再次检测到损伤区域时，则提示用户拍摄，由用户拍摄第2张细节照片，完成后提交当前损伤单元；其中，细节照片采用深度卷积网络对图片中损伤区域进行检测，当视频中连续3帧及以上检测到损伤区域时，则判定该图片为损伤细节图片；

步骤3、手机提交的损伤单元通过网络上传到后台服务器中，后台服务器对每组损伤单元进行损伤识别，并对多组损伤单元的识别结果进行融合，得出该事故车辆的损伤详情；其中，在步骤3中，后台服务器通过调用车辆部件自动定损算法对每组损伤单元进行损伤识别，单组损伤单元进行损伤识别的方法包括：步骤31、用户上传损伤单元图片序列；

步骤32、局部车辆图片方位识别；

步骤33、局部车辆图片中车辆总成部件及子部件识别；

步骤34、细节图片中车辆总成部件及子部件识别；

步骤35、细节图片关联局部车辆图片；

步骤36、细节图片损伤区域检测；

步骤37、识别出带有损伤的子部件区域；

步骤38、损伤区域的多维度损伤类型及程度识别；

步骤39、查询匹配带有损伤的子部件的维修方案。

2.如权利要求1所述的基于深度神经网络的汽车外观自动定损方法，其特征在于，在步骤32中，采用深度学习分类算法进行局部车辆图片方位识别。

3.如权利要求1所述的基于深度神经网络的汽车外观自动定损方法，其特征在于，在步骤33或步骤34中，采用深度学习的分割算法进行局部车辆图片或细节图片中车辆总成部件及子部件识别。

4.如权利要求1所述的基于深度神经网络的汽车外观自动定损方法，其特征在于，在步骤36中，采用目标检测算法进行细节图片损伤区域检测。

5.如权利要求1所述的基于深度神经网络的汽车外观自动定损方法，其特征在于，在步骤38中，采用深度学习的分类网络设计多个输出分类标签进行损伤区域的多维度损伤类型及程度识别。

6.如权利要求1所述的基于深度神经网络的汽车外观自动定损方法，其特征在于，在步骤3中，基于多组损伤单元进行综合决策，得出该事故车辆的损伤详情；事故车辆的损伤详情包括损伤类型、损伤程度和维修方案。

7.一种如权利要求1-6中任一项所述的基于深度神经网络的汽车外观自动定损方法的定损系统，其特征在于，包括：手机客户端，用于拍摄事故车辆远/中景照片，并实时对远/中景照片进行车辆检测、车辆总成部件检测，根据车辆检测结果与车辆总成部件检测结果确认用户是否处于合适的距离内拍摄；若处于合适的距离内拍摄，则提示用户拍摄，由用户拍摄第1张局部车辆照片；以及，用于继续拍摄事故车辆的细节照片，并实时对细节照片中的损伤区域进行检测；当检测到损伤区域时，则提示用户拍摄，由用户拍摄第1张细节照片；拍摄完成后，继续提示用户靠近拍摄该区域，当再次检测到损伤区域时，则提示用户拍摄，由用户拍摄第2张细节照片，完成后提交当前损伤单元；

后台服务器，用于对手机客户端提交的每组损伤单元进行损伤识别，并对多组损伤单元的识别结果进行融合，得出该事故车辆的损伤详情。

说明书

一种基于深度神经网络的汽车外观自动定损方法及系统

技术领域

[0001] 本发明属于计算机图像数据处理技术领域，尤其涉及一种基于深度神经网络的汽车外观自动定损方法及系统。

背景技术

[0002] 汽车外观损伤查勘，在汽车业务中比较常见，通常汽车事故发生后，保险公司查勘人员需要到现场进行实地调查和记录，然后事故汽车司机再到汽车定损中心进行汽车损伤程度鉴定，最后事故汽车司机根据鉴定结论到维修店再修车。当前也存在一些远程视频查勘系统，该系统主要是现场查勘人员连线后台专业定损人员，根据后台专业定损人员的指引，对现场事故车辆的损伤进行拍照查勘，完成车辆外观损伤的鉴定。

[0003] 2012年以来，深度学习在图片识别领域取得非常大的进步。相比传统的图片识别方法使用的色彩、HOG等低级视觉特征；深度神经网络能学得更多高级的、抽象的特征，这使得深度神经网络的性能远远超越传统方法。

[0004] 2014年以来，深度学习开始在物体检测，物体分割等领域取得优秀成果，涌现出Deeplab，YOLO，FasterRCNN，等一序列方法，识别准确率在特定任务上已经超越了人类识别的水平，并在生成环境中得到大规模使用。

[0005] 深度学习在汽车外观损伤自动定损领域进行的工作比较少，2016年左右开始有人尝试，但是受限于数据获取的难度，这个领域一直进展比较慢，目前也还没有一个可以成熟落地使用的系统或方法，都处于实验阶段。

[0006] 申请公布号为“CN107358596A”、发明名称为“一种基于图像的车辆定损方法、装置、电子设备及系统”公开了通过手机拍照上传事故车辆外观图片，然后通过深度学习技术实现图片之间关联和损伤部位识别，然后再对损伤部位的损伤细节进行损伤类型、程度识别，最后通过多个损伤图片进行综合决策实现事故车辆外观的自动定损过程。上述方法中用户拍照提交服务器人工审核的方式存在延时大、成本高、用户体验差的问题以及定损周期比较长，不能快速自动定损也会影响城市交通，容易造成交通拥堵的问题。

发明内容

[0007] 针对上述问题中存在的不足之处，本发明提供一种基于深度神经网络的汽车外观自动定损方法及系统。

[0008] 为实现上述目的，本发明提供一种基于深度神经网络的汽车外观自动定损方法，包括：

[0009] 步骤1、手机拍摄事故车辆远/中景照片，并实时对远/中景照片进行车辆检测、车辆总成部件检测，根据车辆检测结果与车辆总成部件检测结果确认用户是否处于合适的距离内拍摄；若处于合适的距离内拍摄，则提示用户拍摄，由用户拍摄第1张局部车辆照片；

[0010] 步骤2、手机继续拍摄事故车辆的细节照片，并实时对细节照片中的损伤区域进行检测；当检测到损伤区域时，则提示用户拍摄，由用户拍摄第1张细节照片；拍摄完成后，继续提示用户靠近拍摄该区域，当再次检测到损伤区域时，则提示用户拍摄，由用户拍摄第2张细节照片，完成后提交当前损伤单元；

[0011] 步骤3、手机提交的损伤单元通过网络上传到后台服务器中，后台服务器对每组损伤单元进行损伤识别，并对多组损伤单元的识别结果进行融合，得出该事故车辆的损伤详情。

[0012] 作为本发明的进一步改进，在步骤1中，第1张局部车辆照片采用深度卷积网络对图片中的车辆目标及车辆总成部件进行检测，当检测到车辆目标及三个或三个以上的车辆总成部件时，同时要求车辆目标在图片中的占比超过90％时，则判定用户的拍摄距离合适。

[0013] 作为本发明的进一步改进，在步骤2中，细节照片采用深度卷积网络对图片中损伤区域进行检测，当视频中连续3帧及以上检测到损伤区域时，则判定该图片为损伤细节图片。

[0014] 作为本发明的进一步改进，在步骤3中，后台服务器通过调用车辆部件自动定损算法对每组损伤单元进行损伤识别，单组损伤单元进行损伤识别的方法包括：

[0015] 步骤31、用户上传损伤单元图片序列；

[0016] 步骤32、局部车辆图片方位识别；

[0017] 步骤33、局部车辆图片中车辆总成部件及子部件识别；

[0018] 步骤34、细节图片中车辆总成部件及子部件识别；

[0019] 步骤35、细节图片关联局部车辆图片；

[0020] 步骤36、细节图片损伤区域检测；

[0021] 步骤37、识别出带有损伤的子部件区域；

[0022] 步骤38、损伤区域的多维度损伤类型及程度识别；

[0023] 步骤39、查询匹配带有损伤的子部件的维修方案。

[0024] 作为本发明的进一步改进，在步骤32中，采用深度学习分类算法进行局部车辆图片方位识别。

[0025] 作为本发明的进一步改进，在步骤33或步骤34中，采用深度学习的分割算法进行局部车辆图片或细节图片中车辆总成部件及子部件识别。

[0026] 作为本发明的进一步改进，在步骤36中，采用目标检测算法进行细节图片损伤区域检测。

[0027] 作为本发明的进一步改进，在步骤38中，采用深度学习的分类网络设计多个输出分类标签进行损伤区域的多维度损伤类型及程度识别。

[0028] 作为本发明的进一步改进，在步骤3中，基于多组损伤单元进行综合决策，得出该事故车辆的损伤详情；事故车辆的损伤详情包括损伤类型、损伤程度和维修方案。

[0029] 本发明还提供一种基于深度神经网络的汽车外观自动定损系统，包括：

[0030] 手机客户端，用于拍摄事故车辆远/中景照片，并实时对远/中景照片进行车辆检测、车辆总成部件检测，根据车辆检测结果与车辆总成部件检测结果确认用户是否处于合适的距离内拍摄；若处于合适的距离内拍摄，则提示用户拍摄，由用户拍摄第1张局部车辆照片；以及，用于继续拍摄事故车辆的细节照片，并实时对细节照片中的损伤区域进行检测；当检测到损伤区域时，则提示用户拍摄，由用户拍摄第1张细节照片；拍摄完成后，继续提示用户靠近拍摄该区域，当再次检测到损伤区域时，则提示用户拍摄，由用户拍摄第2张细节照片，完成后提交当前损伤单元；

[0031] 后台服务器，用于对手机客户端提交的每组损伤单元进行损伤识别，并对多组损伤单元的识别结果进行融合，得出该事故车辆的损伤详情。

[0032] 与现有技术相比，本发明的有益效果为：

[0033] 本发明是基于深度神经网络的汽车外观图像损伤识别的自动化方案，其减少汽车外观事故专业查勘人员的出险频率，降低查勘成本；简单交通事故拍照完成后及时快速得到定损信息，不影响城市交通；便于建立汽车外观事故标准化定损档案，统一理赔标准。

附图说明

[0034] 图1为本发明一种实施例公开的基于深度神经网络的汽车外观自动定损方法的流程图；

[0035] 图2为本发明一种实施例公开的单组损伤单元进行损伤识别方法的流程图；

[0036] 图3为本发明一种实施例公开的基于Deeplab的局部车辆图片或细节图片中的总成部件及子部件识别的流程图；

[0037] 图4为本发明一种实施例公开的基于FasterRCNN的细节图片损伤区域检测的流程图。

具体实施方式

[0038] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0039] 下面结合附图对本发明做进一步的详细描述：

[0040] 如图1所示，本发明提供一种基于深度神经网络的汽车外观自动定损方法，包括：

[0041] S1、手机拍摄事故车辆远/中景照片，并实时对远/中景照片进行车辆检测、车辆总成部件检测，根据车辆检测结果与车辆总成部件检测结果确认用户是否处于合适的距离内拍摄；若处于合适的距离内拍摄，则提示用户拍摄，由用户拍摄第1张局部车辆照片；其中：

[0042] 第1张局部车辆照片采用深度卷积网络对图片中的车辆目标及车辆总成部件进行检测，当检测到车辆目标及三个或三个以上的车辆总成部件时，同时要求车辆目标在图片中的占比超过90％时，则判定用户的拍摄距离合适。

[0043] S2、手机继续拍摄事故车辆的细节照片，并实时对细节照片中的损伤区域进行检测；当检测到损伤区域时，则提示用户拍摄，由用户拍摄第1张细节照片；拍摄完成后，继续提示用户再靠近一些拍摄该区域，当再次检测到损伤区域时，则提示用户拍摄，由用户拍摄第2张细节照片，完成后提交当前损伤单元，用户可以反复提交多个损伤单元；其中：

[0044] 细节照片采用深度卷积网络对图片中损伤区域进行检测，当视频中连续3帧及以上检测到损伤区域时，则判定该图片为损伤细节图片。

[0045] S3、手机提交的损伤单元通过网络上传到后台服务器中，后台服务器对每组损伤单元进行损伤识别，并对多组损伤单元的识别结果进行融合，得出该事故车辆的损伤详情；其中：

[0046] 后台服务器通过调用车辆部件自动定损算法对每组损伤单元进行损伤识别，如图2所示，单组损伤单元进行损伤识别的方法包括：

[0047] S31、用户上传损伤单元图片序列；

[0048] S32、局部车辆图片方位识别；具体的：

[0049] 采用深度学习分类算法进行局部车辆图片方位识别，局部车辆图片方位识别可以使用任何通用的深度学习分类算法，如Mobilenet，VGG，ResNet，GoogleNet，InceptionV3，NASNet等，可以识别到当前局部车辆图片拍摄时的方位，从而确定当前车辆损伤的大致范围，比如车辆左前方。

[0050] S33、局部车辆图片中车辆总成部件及子部件识别；具体的：

[0051] 采用深度学习的分割算法进行局部车辆图片中车辆总成部件及子部件识别，可以采用通用的深度学习的分割算法，如：Deeplab，PSPNet，DIS，IDW-CNN，FCN，PSPNet等，训练后对车辆图片做外观部件分割，得到Pij。如图3所示，下面以Deeplab为例子阐述其原理：

[0052] 1)、一个深度卷积神经网络，比如VGG-16或ResNet-101，采用全卷积的方式，用多孔卷积减少信号降采样的程度(从32x降到8x)；

[0053] 2)、在双线性内插值阶段，增大特征地图到原始图像分辨率；

[0054] 3)、用条件随机场优化分割结果，更好的抓取物体边缘。

[0055] S34、细节图片中车辆总成部件及子部件识别；具体的：

[0056] 采用深度学习的分割算法进行细节图片中车辆总成部件及子部件识别，可以采用通用的深度学习的分割算法，如：Deeplab，PSPNet，DIS，IDW-CNN等，训练后对车辆图片做外观部件分割，得到Pij。如图3所示，下面以Deeplab为例子阐述其原理：

[0057] 1)、一个深度卷积神经网络，比如VGG-16或ResNet-101，采用全卷积的方式，用多孔卷积减少信号降采样的程度(从32x降到8x)；

[0058] 2)、在双线性内插值阶段，增大特征地图到原始图像分辨率；

[0059] 3)、用条件随机场优化分割结果，更好的抓取物体边缘。

[0060] S35、细节图片关联局部车辆图片；

[0061] S36、细节图片损伤区域检测；具体的：

[0062] 采用目标检测算法进行细节图片损伤区域检测，损伤检测使用任何通用目标检测算法，如：FasterRCNN，SSD，YOLO，YOLO-v2等。如图4所示，下面以FasterRCNN为例子阐述其原理：

[0063] 1)、根据分割结果Pij，对车辆图片做切分，每一个Pij作为一个检测输入；

[0064] 2)、深度卷积网络(VGG、ResNet、Inception等)对Pij提取部件图片抽象特征(featuremaps)，；

[0065] 3)、使用区域候选网络推荐候选损伤区域；

[0066] 4)、从候选区域回归损伤的精准区域Dij。

[0067] S37、识别出带有损伤的子部件区域；

[0068] S38、损伤区域的多维度损伤类型及程度识别；具体的：

[0069] 采用深度学习的分类网络设计多个输出分类标签进行损伤区域的多维度损伤类型及程度识别，可以将深度学习网络分类前的部分认为是特征提取，最后一层为softmax分类。由于损伤区域通常是多个形态复合而成，例如刮擦和凹陷同时存在，因此基于分类前的特征向量，设计多个softmax分类层，每个分类层用于识别单独的损伤形态，比如是否为刮擦，是否为凹陷等，从而进行多维度的损伤形态识别。

[0070] S39、查询匹配带有损伤的子部件的维修方案。

[0071] 对多组损伤单元的识别结果进行融合的方法为：

[0072] 基于多组损伤单元进行综合决策，得出该事故车辆的损伤详情；事故车辆的损伤详情包括损伤类型、损伤程度和维修方案。

[0073] 本发明还提供一种基于深度神经网络的汽车外观自动定损系统，包括：

[0074] 手机客户端，用于拍摄事故车辆远/中景照片，并实时对远/中景照片进行车辆检测、车辆总成部件检测，根据车辆检测结果与车辆总成部件检测结果确认用户是否处于合适的距离内拍摄；若处于合适的距离内拍摄，则提示用户拍摄，由用户拍摄第1张局部车辆照片；以及，用于继续拍摄事故车辆的细节照片，并实时对细节照片中的损伤区域进行检测；当检测到损伤区域时，则提示用户拍摄，由用户拍摄第1张细节照片；拍摄完成后，继续提示用户靠近拍摄该区域，当再次检测到损伤区域时，则提示用户拍摄，由用户拍摄第2张细节照片，完成后提交当前损伤单元；

[0075] 后台服务器，用于对手机客户端提交的每组损伤单元进行损伤识别，并对多组损伤单元的识别结果进行融合，得出该事故车辆的损伤详情。

[0076] 本发明基于深度神经网络的方法，能获取极高的准确率和召回率；根据手机视频指引容易拍摄符合要求的车辆局部图片和细节图片，降低人工现场查勘定损的专业性门槛，同时便于规范和统一查勘定损标准；对前端设备无特殊要求，可直接使用主流智能手机，方便C端推广。

[0077] 以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。