双网络模型的联合评估方法、设备和存储介质转让专利
申请号 : CN202110951490.3
文献号 : CN113408499B
文献日 : 2022-01-04
发明人 : 徐显杰 , 刘芊贺 , 窦汝振
申请人 : 天津所托瑞安汽车科技有限公司
摘要 :
权利要求 :
1.一种双网络模型的联合评估方法,其特征在于,包括:获取车载BSD摄像头拍摄的多张图像;
采用语义分割模型和目标检测模型对每张图像进行识别,确定是否存在类别相同且位置对应的有效目标;
根据每张图像中所述有效目标是否存在,以及存在有效目标的情况下,所述有效目标是否与同一张图像的报警区域内已标注的报警目标相匹配,对每张图像进行打分;
汇总多张图像的分数,并根据所述分数确定所述语义分割模型和目标检测模型的评估结果;
所述根据每张图像中所述有效目标是否存在,以及存在有效目标的情况下,所述有效目标是否与同一张图像的报警区域内已标注的报警目标相匹配,对每张图像进行打分,包括:
在每张图像的报警区域中按照危险程度划分多个区域,并对每个区域设置不同的权重;
根据每张图像中各个区域内有效目标是否存在,以及存在有效目标的情况下,所述有效目标是否与同一张图像对应区域内已标注的报警目标相匹配以及区域权重,对每张图像进行打分。
2.根据权利要求1所述的方法,其特征在于,所述根据每张图像中各个区域内有效目标是否存在,以及存在有效目标的情况下,所述有效目标是否与同一张图像对应区域内已标注的报警目标相匹配以及区域权重,对每张图像进行打分,包括:在一图像的一区域内,如果存在的一有效目标与同一区域内已标注的报警目标不匹配,赋予所述区域低分值;
在一图像的一区域内,如果存在的一有效目标与同一区域内已标注的报警目标相匹配,赋予所述区域高分值;
如果一图像的一区域内已标注的报警目标未被确定为有效目标,赋予所述区域低分值;
在每张图像中,根据区域权重和分值计算每张图像的分数。
3.根据权利要求1或2所述的方法,其特征在于,所述多张图像中标注有报警目标的类别和位置;
在所述根据每张图像中所述有效目标是否存在,以及存在有效目标的情况下,所述有效目标是否与同一张图像的报警区域内已标注的报警目标相匹配,对每张图像进行打分之前,还包括:
如果一图像中一有效目标与同一张图像的报警区域内已标注的报警目标类别相同且位置对应,所述有效目标与所述报警目标相匹配;
如果一图像中一有效目标与同一张图像的报警区域内已标注的报警目标类别不同或者位置不对应,所述有效目标与所述报警目标不匹配。
4.根据权利要求3所述的方法,其特征在于,所述如果一图像中一有效目标与同一张图像的报警区域内已标注的报警目标类别相同且位置对应,所述有效目标与所述报警目标相匹配,包括:
如果一图像中一有效目标与同一张图像的报警区域内已标注的报警目标类别相同,且检测框的交并比超过设定值,所述有效目标与所述报警目标相匹配。
5.根据权利要求1或2所述的方法,其特征在于,在采用语义分割模型和目标检测模型对每张图像进行识别之前,还包括:通过训练集训练得到多个语义分割模型和多个目标检测模型;
对所述多个语义分割模型和多个目标检测模型进行自由组合,得到多组语义分割模型和目标检测模型;
对于每组语义分割模型和目标检测模型进行后续的图像识别操作。
6.根据权利要求5所述的方法,其特征在于,在所述根据每张图像中所述有效目标是否存在,以及存在有效目标的情况下,所述有效目标是否与同一张图像的报警区域内已标注的报警目标相匹配,对每张图像进行打分之后,还包括:从多组语义分割模型和目标检测模型中,选择评估结果满足要求的组合;
将所述组合进行实际路测,得到路测评估结果。
7.一种电子设备,其特征在于,所述电子设备包括:处理器和存储器;
所述处理器通过调用所述存储器存储的程序或指令,用于执行如权利要求1至6任一项所述的双网络模型的联合评估方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储程序或指令,所述程序或指令使计算机执行如权利要求1至6任一项所述的双网络模型的联合评估方法的步骤。
说明书 :
双网络模型的联合评估方法、设备和存储介质
技术领域
背景技术
探测到目标对象,如其它车辆或行人后,进行报警提示。
或通过比较被检测目标的预测边界框和标注边界框来评估精确率和召回率。其中,采用路
测方法的人工成本及时间成本较高,可靠性不高,容易出现纰漏导致最终评估结果偏差。边
界框的评估方式仅适用于单一模型评估,不能度量双模型的结果,并且单一模型的评估没
有提供关于检测目标的正确/错误对象的直观信息,当两个模型对不同对象表现出不同的
精度时,即使任一模型的综合精度较高,但其组合的精度却不理想;单一模型的评估灵活性
较差,它们不能在多个图像上累积以及统计图像上感兴趣区域的测试信息。此外,定量和定
性评估经常混杂在一起,导致度量方式模糊。
发明内容
步骤。
在,从而筛选出两个模型识别正确的对象,滤除错误的对象;然后根据有效目标是否是同一
张图像的报警区域内已标注的报警目标,对两个模型在报警区域内对报警目标的识别能力
进行联合评估。
附图说明
附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前
提下,还可以根据这些附图获得其他的附图。
具体实施方式
基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所
有其它实施例,都属于本发明所保护的范围。
的联合评估方法可以由集成在车载BSD摄像头内的电子设备执行,或者独立于该摄像头并
与该摄像头通信连接的电子设备执行。
手。对于车载BSD摄像头来说,其安装在车身的左右侧后方,拍摄视野如图2所示,报警区域
(或称为感兴趣区域或盲区)为距离车身设定距离(如1.5米)内的矩形区域,即图2中编号1
~
9的区域。报警区域的位置、形状和尺寸可以根据实际情况设置,图2仅作为示例。将报警区
域从世界坐标系中映射到图像中,得到图像中的报警区域,多张图像中的报警区域是一致
的。
将多张图像依次输入至目标检测模型中,得到模型输出的目标对象的类别和位置。各目标
对象的位置指的是目标对象外接的矩形框的位置。
型进行联合评估以得到表现较好的一组模型,这要求有不同精度的模型源以便从中选取。
具体的,在将每张图像分别输入至语义分割模型和目标检测模型中之前,首先通过训练集
训练得到多个语义分割模型和多个目标检测模型。语义分割模型和目标检测模型可采用不
同或相同的训练集,多个语义分割/目标检测模型,可以是不同结构的模型,也可以是同一
结果但不同迭代次数的模型。接着,对所述多个语义分割模型和多个目标检测模型进行自
由组合,得到多组语义分割模型和目标检测模型。例如2个语义分割模型和2个目标检测模
型可自由组合得到4组模型。然后,对于每组语义分割模型和目标检测模型进行后续的图像
输入操作。进而根据每组模型的输出结果,对每组模型进行联合评估。
配两个模型输出的对象类别和位置,判断是否能得到类别相同且位置对应的对象。为了方
便描述和区分,将两个模型的输出结果中类别相同且位置对应的目标称为有效目标。
标对象均执行以下操作,首先获取一目标对象的位置所覆盖的多个像素点的类别。对于目
标检测模型输出的每个目标对象,确定其矩形框所覆盖的多个像素点,以及多个像素点所
属的类别。例如有些像素点与目标对象的类别相同,有些像素点与目标对象的类别不同。然
后,从所覆盖的多个像素点中筛选与所述目标对象的类别相同的目标像素点,例如筛选出
同属于骑手的目标像素点;如果未筛选出目标像素点,说明目标对象与所覆盖的任一像素
点的类别均不同,则目标对象不为有效目标。如果目标像素点的占比超过设定值,例如目标
像素点在矩形框中所有像素点中占比超过80%,则将目标对象确定为有效目标;如果目标像
素点的占比未超过所述设定值,说明目标对象与所覆盖的大部分像素点的类别不同,则目
标对象不为有效目标。
分。
有效目标可能是车道线等不会引起危险的对象,或者位于车辆的报警区域之外的对象,也
不会引起危险,所以需要根据报警区域内已标注报警目标予以甄别。如果同一张图像中有
效目标与报警区域内已标注的报警目标类别相同且位置对应,则赋予该图像高分值,两个
模型的联合评估结果较好;如果有效目标与报警目标类别/位置不一致,或者报警目标未确
定为有效目标,则赋予该图像低分值,两个模型的联合评估结果较差。本实施例汇总多张图
像的分数,该分数反映了双网络模型对有效目标的正确识别、漏识别和误识别的情况,可作
为双网络模型的评估结果。
效目标与同一张图像的报警区域内已标注的报警目标不匹配,即类别不同或位置不对应,
这说明两个模型识别错误(即误识别),赋予所述图像低分值;如果一图像存在的一有效目
标与同一张图像的报警区域内已标注的报警目标相匹配,即类别相同且位置对应,说明两
个模型识别正确,赋予所述图像高分值;如果一图像的报警区域内已标注的报警目标未被
确定为有效目标,说明两个模型遗漏了报警目标(即漏识别),则赋予所述图像低分值;汇总
每张图像中被赋予的所有分数,从而每张图像都有一个分数,然后汇总多张图像的分数作
为所述语义分割模型和所述目标检测模型的联合评估结果。其中,低分值和高分值是相对
而言的,可以都是正值,都是负值,或者正负均有。可见,当两个模型能够识别且完全识别到
报警区域内的报警目标,才能获得较高的分数。
测评估结果。
发报警的对象,测试是否产生报警信息,例如语音/灯光报警信息,从而得到路测评估结果。
在联合评估的基础上进行路测可以有效减少参与路测的数据量,而且本实施例通过联合评
估和路测评估能够更有效地选择出最佳表现的组合。
在,从而筛选出两个模型识别正确的对象,滤除错误的对象;然后根据有效目标是否是同一
张图像的报警区域内已标注的报警目标,对两个模型在报警区域内对报警目标的识别能力
进行联合评估。
全;而在一些相对安全的区域表现差一些,则不会显著影响两个模型的评估结果。这样联合
评估得到的组合比较适用于实际情况。具体的,在每张图像的报警区域中按照危险程度划
分多个区域,并对每个区域设置不同的权重;根据多张图像中各个区域内的有效目标是否
存在,以及存在有效目标的情况下,所述有效目标是否与同一张图像对应区域内已标注的
报警目标相匹配以及区域权重,对每张图像进行打分。
差区域,也容易发生交通事故,危险程度也很高,则可以按照与车身的横向距离和纵向位置
将报警区域(车头,车中和车尾)划分为9部分,横向距离越大的区域设置权重越小,车头和
车中区域设置权重较大,车尾区域设置权重较小。可选的,可以统计历史发生交通事故时被
碰撞目标在图像中的位置。对于发生交通事故较多的位置设置较高的权重。然后,在一图像
的一区域内,如果存在的一有效目标与同一区域内已标注的报警目标不匹配,即类别不同
或位置不对应,赋予所述区域低分值;在一图像的一区域内,如果存在的一有效目标与同一
区域内已标注的报警目标相匹配,即类别相同且位置对应,赋予所述区域高分值;如果一图
像的一区域内已标注的报警目标未被确定为有效目标,赋予所述区域低分值;在每张图像
中,根据区域权重和分值计算每张图像的分数;汇总多张图像的分数作为所述语义分割模
型和所述目标检测模型的联合评估结果。其中,低分值和高分值是相对而言的,可以都是正
值,都是负值,或者正负均有。
值n。假设报警区域被划分为A、B、C3个区域,对应的权重分别为WA、WB和WC,A区域内有j1个与
报警目标匹配的有效目标,有j2个与报警目标不匹配的有效目标,有j3个报警目标未被确
定为有效目标。B区域内有k1个与报警目标匹配的有效目标,有k2个与报警目标不匹配的有
效目标,有k3个报警目标未被确定为有效目标。C区域内有m1个与报警目标匹配的有效目
标,有m2个与报警目标不匹配的有效目标,有m3个报警目标未被确定为有效目标。STP是一图
像的三个区域中报警正确的总分值,SFP是一图像的三个区域中误识别的总分值,SFN是一图
像的三个区域中漏识别的总分值。S总是一图像的总分数,Y是多张图像的总分数,r是图像的
数量。总分数最高的两个模型为最优。
图像中一有效目标与同一张图像的报警区域内已标注的报警目标类别相同且位置对应,所
述有效目标与所述报警目标相匹配;如果一图像中一有效目标与同一张图像的报警区域内
已标注的报警目标类别不同或者位置不对应,所述有效目标与所述报警目标不匹配。其中,
在有效目标和报警目标均采用矩形框表示位置的情况下,计算两个同类别矩形框的交并比
(Intersection over Union,IOU),如果交并比超过设定值,例如70%,说明有效目标与报警
目标的重叠度较高,二者位置对应。
储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性
存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以
存储一个或多个计算机程序指令,处理器401可以运行所述程序指令,以实现上文所说明的
本发明任意实施例的双网络模型的联合评估方法以及/或者其他期望的功能。在所述计算
机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
盘、鼠标等等。该输出装置404可以向外部输出各种信息,包括预警提示信息、制动力度等。
该输出装置404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输
出设备等等。
还可以包括任何其他适当的组件。
施例所提供的双网络模型的联合评估方法的步骤。
Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程
序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软
件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备
或服务器上执行。
的双网络模型的联合评估方法的步骤。
磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的
例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储
器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘
只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
和/或“该”等词并非特指单数,也可包括复数。术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要
素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法或者设备所固有
的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所
述要素的过程、方法或者设备中还存在另外的相同要素。
化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和
操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、
“连接”等应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以
是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两
个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发
明中的具体含义。
然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进
行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术
方案。