一种图像处理方法、装置及电子设备

摘要

本发明实施例公开了一种图像处理方法、装置及电子设备。所述方法包括：获得待检测的图像；分别确定所述图像中表征目标对象脸部的第一检测框以及表征目标对象身体的第二检测框；其中，所述第一检测框为M个，所述第二检测框为N个，M和N均为非负整数；确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框；K为非负整数，K小于等于M，且K小于等于N；基于M、N和K确定所述图像中的目标对象的数量。

权利要求

1.一种图像处理方法，其特征在于，所述方法包括：

获得待检测的图像；

分别确定所述图像中表征目标对象脸部的第一检测框以及表征目标对象身体的第二检测框；其中，所述第一检测框为M个，所述第二检测框为N个，M和N均为非负整数；

确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框；K为非负整数，K小于等于M，且K小于等于N；

基于M、N和K确定所述图像中的目标对象的数量。

2.根据权利要求1所述的方法，其特征在于，所述确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框，包括：遍历所述M个第一检测框，确定每个第一检测框与各个第二检测框的交并比；

基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框。

3.根据权利要求2所述的方法，其特征在于，所述基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框，包括：确定每个第一检测框与各个第二检测框的交并比中的最大交并比；

判断所述最大交并比是否大于预设阈值；

响应于所述最大交并比大于所述预设阈值的情况，确定所述最大交并比对应的第一检测框和第二检测框满足匹配关系。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：获得所述图像中的各个目标对象的身体关键点；

确定所述身体关键点对应的位置分类类别；所述位置分类类别表明所述身体关键点所在位置在所述图像中的多个特定区域中的一个特定区域内；

基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域。

5.根据权利要求4所述的方法，其特征在于，在各个特定区域为座舱中的各个座位的情况下，所述身体关键点对应的位置分类类别为所述身体关键点对应的座位；所述基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域，包括：基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位；

所述方法还包括：

根据座舱中各个目标对象所在的座位，确定所述座舱中的各个座位的状态。

6.根据权利要求5所述的方法，其特征在于，所述基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位，包括：统计一个目标对象的多个身体关键点中、对应于相同座位的身体关键点数量；

确定最大身体关键点数量对应的座位为所述目标对象所在的座位。

7.一种图像处理装置，其特征在于，所述装置包括：获取单元、第一确定单元、第二确定单元和匹配单元；其中，所述获取单元，用于获得待检测的图像；

所述第一确定单元，用于确定所述图像中表征目标对象脸部的第一检测框；所述第一检测框为M个；

所述第二确定单元，用于确定所述图像中表征目标对象身体的第二检测框；所述第二检测框为N个；其中，M和N均为非负整数；

所述匹配单元，用于确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框；K为非负整数，K小于等于M，且K小于等于N；基于M、N和K确定所述图像中的目标对象的数量。

8.根据权利要求7所述的装置，其特征在于，所述匹配单元，用于遍历所述M个第一检测框，确定每个第一检测框与各个第二检测框的交并比；基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框。

9.根据权利要求8所述的装置，其特征在于，所述匹配单元，用于确定每个第一检测框与各个第二检测框的交并比中的最大交并比；判断所述最大交并比是否大于预设阈值；响应于所述最大交并比大于所述预设阈值的情况，确定所述最大交并比对应的第一检测框和第二检测框满足匹配关系。

10.根据权利要求7至9任一项所述的装置，其特征在于，所述装置还包括分类单元和第三确定单元；其中，所述第二确定单元，还用于获得所述图像中的各个目标对象的身体关键点；

所述分类单元，用于确定所述身体关键点对应的位置分类类别；所述位置分类类别表明所述身体关键点所在位置在所述图像中的多个特定区域中的一个特定区域内；

所述第三确定单元，用于基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域。

11.根据权利要求10所述的装置，其特征在于，在各个特定区域为座舱中的各个座位的情况下，所述身体关键点对应的位置分类类别为所述身体关键点对应的座位；

所述第三确定单元，用于基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位；还用于根据座舱中各个目标对象所在的座位，确定所述座舱中的各个座位的状态。

12.根据权利要求11所述的装置，其特征在于，所述第三确定单元，用于统计一个目标对象的多个身体关键点中、对应于相同座位的身体关键点数量；确定最大身体关键点数量对应的座位为所述目标对象所在的座位。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。

14.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述方法的步骤。

说明书

一种图像处理方法、装置及电子设备

技术领域

[0001] 本发明涉及图像分析技术，具体涉及一种图像处理方法、装置及电子设备。

背景技术

[0002] 目前，车内人员的数量统计可通过人脸检测的方式实现。但是，由于车内有座椅遮挡，并且人脸转动角度较大的话则会导致漏检，从而导致车内人员的数量统计的准确度不高。

发明内容

[0003] 为解决现有存在的技术问题，本发明实施例提供一种图像处理方法、装置及电子设备。

[0004] 为达到上述目的，本发明实施例的技术方案是这样实现的：

[0005] 本发明实施例提供了一种图像处理方法，所述方法包括：

[0006] 获得待检测的图像；

[0007] 分别确定所述图像中表征目标对象脸部的第一检测框以及表征目标对象身体的第二检测框；其中，所述第一检测框为M个，所述第二检测框为N个，M和N均为非负整数；

[0008] 确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框；K为非负整数，K小于等于M，且K小于等于N；

[0009] 基于M、N和K确定所述目标对象的数量。

[0010] 在本发明的一些可选实施例中，所述确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框，包括：

[0011] 遍历所述M个第一检测框，确定每个第一检测框与各个第二检测框的交并比；

[0012] 基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框。

[0013] 在本发明的一些可选实施例中，所述基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框，包括：

[0014] 确定每个第一检测框与各个第二检测框的交并比中的最大交并比；

[0015] 判断所述最大交并比是否大于预设阈值；

[0016] 响应于所述最大交并比大于所述预设阈值的情况，确定所述最大交并比对应的第一检测框和第二检测框满足匹配关系。

[0017] 在本发明的一些可选实施例中，所述方法还包括：

[0018] 获得所述图像中的各个目标对象的身体关键点；

[0019] 确定所述身体关键点对应的位置分类类别；所述位置分类类别表明所述身体关键点所在位置在所述图像中的多个特定区域中的一个特定区域内；

[0020] 基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域。

[0021] 在本发明的一些可选实施例中，

[0022] 在各个特定区域为座舱中的各个座位的情况下，所述身体关键点对应的位置分类类别为所述身体关键点对应的座位；所述基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域，包括：基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位；

[0023] 所述方法还包括：根据座舱中各个目标对象所在的座位，确定所述座舱中的各个座位的状态。

[0024] 在本发明的一些可选实施例中，所述基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位，包括：

[0025] 统计一个目标对象的多个身体关键点中、对应于相同座位的身体关键点数量；

[0026] 确定最大身体关键点数量对应的座位为所述目标对象所在的座位。

[0027] 本发明实施例还提供了一种图像处理装置，所述装置包括：获取单元、第一确定单元、第二确定单元和匹配单元；其中，

[0028] 所述获取单元，用于获得待检测的图像；

[0029] 所述第一确定单元，用于确定所述图像中表征目标对象脸部的第一检测框；所述第一检测框为M个；

[0030] 所述第二确定单元，用于确定所述图像中表征目标对象身体的第二检测框；所述第二检测框为N个；其中，M和N均为非负整数；

[0031] 所述匹配单元，用于确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框；K为非负整数，K小于等于M，且K小于等于N；基于M、N和K确定所述图像中的目标对象的数量。

[0032] 在本发明的一些可选实施例中，所述匹配单元，用于遍历所述M个第一检测框，确定每个第一检测框与各个第二检测框的交并比；基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框。

[0033] 在本发明的一些可选实施例中，所述匹配单元，用于确定每个第一检测框与各个第二检测框的交并比中的最大交并比；判断所述最大交并比是否大于预设阈值；响应于所述最大交并比大于所述预设阈值的情况，确定所述最大交并比对应的第一检测框和第二检测框满足匹配关系。

[0034] 在本发明的一些可选实施例中，所述装置还包括分类单元和第三确定单元；其中，[0035] 所述第二确定单元，还用于获得所述图像中的各个目标对象的身体关键点；

[0036] 所述分类单元，用于确定所述身体关键点对应的位置分类类别；所述位置分类类别表明所述身体关键点所在位置在所述图像中的多个特定区域中的一个特定区域内；

[0037] 所述第三确定单元，用于基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域。

[0038] 在本发明的一些可选实施例中，在各个特定区域为座舱中的各个座位的情况下，所述身体关键点对应的位置分类类别为所述身体关键点对应的座位；所述第三确定单元，用于基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位；还用于根据座舱中各个目标对象所在的座位，确定所述座舱中的各个座位的状态。

[0039] 在本发明的一些可选实施例中，所述第三确定单元，用于统计一个目标对象的多个身体关键点中、对应于相同座位的身体关键点数量；确定最大身体关键点数量对应的座位为所述目标对象所在的座位。

[0040] 本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述图像处理方法的步骤。

[0041] 本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述图像处理方法的步骤。

[0042] 本发明实施例提供的图像处理方法、装置及电子设备，所述方法包括：获得待检测的图像；分别确定所述图像中表征目标对象脸部的第一检测框以及表征目标对象身体的第二检测框；其中，所述第一检测框为M个，所述第二检测框为N个，M和N均为非负整数；确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框；K为非负整数，K小于等于M，且K小于等于N；基于M、N和K确定所述图像中的目标对象的数量。采用本发明实施例的技术方案，通过人脸检测的方式检测图像中的人脸数量，通过人体检测的方式检测图像中的人体数量，通过人脸人体匹配的方式确定图像中的人员数量，解决了图像中由于目标对象被遮挡、或者目标对象的脸部大角度转动导致的漏检问题，提高了图像中的人员数量统计的准确率。

附图说明

[0043] 图1为本发明实施例的图像处理方法的流程示意图一；

[0044] 图2为本发明实施例的图像处理方法的流程示意图二；

[0045] 图3为本发明实施例的图像处理方法的网络结构示意图；

[0046] 图4为本发明实施例的图像处理装置的组成结构示意图一；

[0047] 图5为本发明实施例的图像处理装置的组成结构示意图二；

[0048] 图6为本发明实施例的电子设备的组成结构示意图。

具体实施方式

[0049] 下面结合附图及具体实施例对本发明作进一步详细的说明。

[0050] 本发明实施例提供了一种图像处理方法。图1为本发明实施例的图像处理方法的流程示意图一；如图1所示，所述方法包括：

[0051] 步骤101：获得待检测的图像；

[0052] 步骤102：分别确定所述图像中表征目标对象脸部的第一检测框以及表征目标对象身体的第二检测框；其中，所述第一检测框为M个，所述第二检测框为N个，M和N均为非负整数；

[0053] 步骤103：确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框；K为非负0的整数，K小于等于M，且K小于等于N；

[0054] 步骤104：基于M、N和K确定所述图像中的目标对象的数量。

[0055] 本实施例中，图像处理方法应用于图像处理装置中，图像处理装置可位于手机、平板电脑、笔记本电脑等移动终端中，也可位于台式电脑、一体机电脑、服务器等电子设备中。

[0056] 本实施例中，待检测的图像(以下简称为图像)中可包括目标对象；其中，目标对象可以是真实人物，在其他实施方式中，目标对象也可以是虚拟人物，如卡通人物形象等。当然，目标对象还可以为其它类型的对象，本实施例中对此并不限定。

[0057] 在一些可选实施例中，所述目标对象为处于车辆内部环境的目标对象。示例性的，若车辆为五座车，车内有三个人，则在车的前部对车内进行拍照，获得的图像中可包括车内的部分环境以及三个坐在座位上的人，则上述采集的图像可作为本实施例中的所述图像，上述图像中的三个人可作为本实施例中的所述目标对象。

[0058] 在本发明的一些可选实施例中，所述分别确定所述图像中表征目标对象脸部的第一检测框以及表征目标对象的第二检测框，包括：通过第一网络对所述图像进行特征提取，基于提取的特征确定所述图像中表征目标对象脸部的第一检测框；通过第二网络对所述图像进行特征提取，基于提取的特征确定所述图像中表征目标对象的第二检测框。

[0059] 本实施例中，可通过第一网络对图像中的脸部进行检测，确定图像中的M个第一检测框。其中，所述第一网络可采用任意一种能够检测脸部的网络结构，本实施例中对此不做限定。

[0060] 本实施例中，可通过第二网络对图像中的目标对象进行检测，例如对图像中身体进行检测，确定图像中的N个第二检测框。其中，所述第二网络可采用任意一种能够检测目标对象的网络结构(例如人体检测网络)，本实施例中对此不做限定。

[0061] 在一些可选实施例中，确定图像中表征目标对象身体的第二检测框，包括：通过第二网络对图像进行特征提取，基于提取到的特征可确定目标对象的关键点，也即确定关键点的位置信息；基于确定的目标对象的关键点确定表征目标对象的第二检测框。其中，所述关键点的位置信息可通过关键点的坐标表示。其中，可确定属于同一目标对象的所有关键点，基于属于同一目标对象的所有关键点的位置信息确定该目标对象的第二检测框，使得第二检测框所在区域内包括该目标对象的所有关键点，且该第二检测框所在区域为包括该目标对象的所有关键点的最小区域。作为一种示例，所述第二检测框可以为矩形框。

[0062] 其中，所述目标对象的关键点可包括骨骼关键点和/或轮廓关键点，所述轮廓关键点表征目标对象的轮廓边缘，可以理解，通过轮廓关键点的位置信息能够形成目标对象的轮廓边缘；所述骨骼关键点表征目标对象的骨骼的关键点，可以理解，通过骨骼关键点的位置信息能够形成目标对象的主要骨骼。其中，所述轮廓关键点可包括以下至少一种：手臂轮廓关键点、手部轮廓关键点、肩部轮廓关键点、腿部轮廓关键点、脚部轮廓关键点、腰部轮廓关键点、头部轮廓关键点、臀部轮廓关键点、胸部轮廓关键点。所述骨骼关键点可包括以下至少一种：手臂骨骼关键点、手部骨骼关键点、肩部骨骼关键点、腿部骨骼关键点、脚部骨骼关键点、腰部骨骼关键点、头部骨骼关键点、臀部骨骼关键点、胸部骨骼关键点。

[0063] 在一些可选实施例中，确定图像中表征目标对象身体的第二检测框，包括：通过第二网络对图像进行特征提取，基于提取到的特征可确定目标对象的中心点以及对应于目标对象的第二检测框的长度和宽度，根据所述中心点、所述长度和宽度确定所述目标对象身体的第二检测框。

[0064] 在本发明的一些可选实施例中，所述确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框，包括：遍历所述M个第一检测框，确定每个第一检测框与各个第二检测框的交并比；基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框。

[0065] 本实施例中，针对每个第一检测框，分别确定第一检测框与每个第二检测框的交并比。其中，所述交并比表示第一检测框所在区域与第二检测框所在区域的交集与并集的比值。可以理解，所述交并比表示对应的第一检测框与第二检测框的关联程度，也即表示对应的脸部与目标对象的关联程度。示例性的，若交并比越大，则可表明对应的第一检测框与第二检测框的关联程度越高，也即对应的脸部与目标对象的关联程度越高；相应的，若交并比越小，则可表明对应的第一检测框与第二检测框的关联程度越低，也即对应的脸部与目标对象的关联程度越低。则本实施例中可基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框；所述满足匹配关系的第一检测框和第二检测框为属于同一目标对象的第一检测框和第二检测框。

[0066] 在本发明的一些可选实施例中，所述基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框，包括：确定每个第一检测框与各个第二检测框的交并比中的最大交并比；判断所述最大交并比是否大于预设阈值；响应于所述最大交并比大于所述预设阈值的情况，确定所述最大交并比对应的第一检测框和第二检测框满足匹配关系。

[0067] 本实施例中，针对每个第一检测框和各个第二检测框的交并比，确定其中的最大交并比对应的第二检测框；在最大交并比大于所述预设阈值时，可确定第一检测框与最大交并比对应的第二检测框满足匹配关系，也即可确定最大交并比对应的第一检测框和第二检测框属于同一目标对象。

[0068] 本实施例步骤104中，所述目标对象的数量，可满足：K+(M-K)+(N-K)。

[0069] 本实施例中，满足匹配关系的第一检测框和第二检测框的数量为K个，则不满足匹配关系的第一检测框的数量为M-K个，不满足匹配关系的第二检测框的数量为N-K个，可以理解，上述M-K个第一检测框以及上述N-K个第二检测框可能是由遮挡造成的，或者由于转动角度较大造成的。在本实施例中，对于上述原因造成的第一检测框和第二检测框，依旧计入总数进行统计。

[0070] 采用本发明实施例的技术方案，通过人脸检测的方式检测图像中的人脸数量，通过人体检测的方式检测图像中的人体数量，通过人脸人体匹配的方式确定图像中的人员数量，解决了图像中由于目标对象被遮挡、或者目标对象的脸部大角度转动导致的漏检问题，提高了图像中的人员数量统计的准确率。

[0071] 基于前述实施例，本发明实施例还提供了一种图像处理方法。图2为本发明实施例的图像处理方法的流程示意图二；如图2所示，所述方法包括：

[0072] 步骤201：获得待检测的图像；

[0073] 步骤202：获得所述图像中的各个目标对象的身体关键点；

[0074] 步骤203：确定所述身体关键点对应的位置分类类别；所述位置分类类别表明所述身体关键点所在位置在所述图像中的多个特定区域中的一个特定区域内；

[0075] 步骤204：基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域。

[0076] 在本发明的一些可选实施例中，所述获得所述图像中的各个目标对象的身体关键点，包括：通过第二网络对所述图像进行特征提取，基于提取的特征确定所述图像中表征目标对象身体的第二检测框和各个目标对象的身体关键点。

[0077] 本实施例中，可基于前述实施例中的第二网络获得所述图像中的各个目标对象的身体关键点；可以理解，通过第二网络对所述图像进行特征提取，基于提取的特征，一方面可获得各个目标对象的身体关键点，另一方面可基于提取的特征确定表征目标对象身体的第二检测框。可以理解，将图像输入第二网络，可输出各个目标对象的身体关键点，同时也会输出各个目标对象身体的第二检测框；或者，将图像输入第二网络，可输出各个目标对象的身体关键点的位置信息，同时也会输出各个目标对象身体的第二检测框的位置信息。

[0078] 在一些可选实施例中，通过第二网络对所述图像进行特征提取，基于提取的特征，一方面可获得各个目标对象的身体关键点，另一方面可基于提取的特征确定目标对象的中心点以及对应于目标对象的第二检测框的长度和宽度，根据所述中心点、所述长度和宽度确定各个目标对象身体的第二检测框；进而根据各个目标对象的第二检测框所在的区域、以及各个身体关键点，确定在每个目标对象的第二检测框所在区域内的身体关键点，将各个第二检测框所在区域内的身体关键点确定为各个第二检测框对应的目标对象的身体关键点。

[0079] 在本发明的一些可选实施例中，所述确定所述身体关键点对应的位置分类类别，包括：通过第三网络确定所述身体关键点对应的位置分类类别；所述第三网络基于包含有身体关键点的位置信息和特定区域的标注信息的样本图像训练获得。

[0080] 本实施例中，可通过第三网络确定各个身体关键点对应的位置分类类别。可以理解，所述第三网络可以是任意一种分类网络，所确定的位置分类类别表明所述关键点所在位置在所述图像中的多个特定区域中的一个特定区域内。

[0081] 本实施例中，图像中可包括一个或多个特定区域，所述特定区域与所述第三网络的分类任务相关。

[0082] 示例性的，若目标对象为处于车辆内部环境的目标对象，第三网络的分类任务用于判定各个目标对象的身体关键点是否在车辆内的座位区域内，则所述特定区域可以为车辆内的座位。示例性的，若车辆为五座车辆，则通过第三网络可确定各个身体关键点所在位置在哪个座位所在的区域内，从而可以确定各个座位的状态。

[0083] 在本发明的一些可选实施例中，在各个特定区域为座舱中的各个座位的情况下，所述身体关键点对应的位置分类类别为所述身体关键点对应的座位；所述基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域，包括：基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位；所述方法还包括：根据座舱中各个目标对象所在的座位，确定所述座舱中的各个座位的状态。

[0084] 其中，所述座位的状态可包括空闲状态或非空闲状态；所述空闲状态可表明对应的座位没有目标对象，即座位未被占用；相应的，所述非空闲状态表明对应的座位有目标对象，即座位被占用。

[0085] 本实施例中，基于各个目标对象的身体关键点对应的位置分类类别，确定各个目标对象的身体关键点对应的特定区域，也即确定各个目标对象的身体关键点对应的座位；若一个目标对象的身体关键点对应一个座位，则可表明该座位的状态为非空闲状态，即座位被占用；若一个座位未对应任意目标对象的身体关键点，则可表明该座位的状态为空闲状态，即座位未被占用。

[0086] 在本发明的一些可选实施例中，所述基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位，包括：统计一个目标对象的多个身体关键点中、对应于相同座位的关键点数量；确定最大关键点数量对应的座位为所述目标对象所在的座位。

[0087] 实际应用中，目标对象的身体关键点的数量可以是多个，而目标对象很有可能不会严格的在一个特定区域(即座位)内，则在一些可选实施例中，确定属于同一目标对象的所有身体关键点的位置分类类别，统计属于同一位置分类类别的身体关键点数量，也即统计对应于相同座位的身体关键点数量；确定最大身体关键点数量，将最大身体关键点数量对应的位置分类类别对应的特定区域作为所述目标对象对应的区域，也即将最大身体关键点数量对应的座位为所述目标对象所在的座位；相应的，将最大身体关键点数量对应的座位的状态确定为非空闲状态，也即座位被占用。

[0088] 相比于传统技术中，即相比于在座位上通过设置传感器的方式判定座位是否被占用的实现方式，本实施例的技术方案，不增加传感器的设置，从而降低了检测成本；且若是通过设置压力传感器的方式判定座位是否被占用，若是在座位上放置物体则会被认定为座位被占用，本实施例的技术方案可避免上述误判的情况发生，大大提升了检测的准确率。

[0089] 下面结合具体的示例对本发明实施例的图像处理方法进行说明。

[0090] 图3为本发明实施例的图像处理方法的网络结构示意图；如图3所示，将图像分别输入第一网络和第二网络；其中，第一网络可以为人脸检测网络，第二网络可以为人体检测网络。

[0091] 本实施例中，图像可以为车辆内部环境的图像，以车辆为五座车辆为例，则图像中的特定区域可包括五个特定区域，即图像中包括五个座位所在区域，例如可包括主驾驶位区域、副驾驶位区域、后排左区域、后排中区域和后排右区域，可按照上述顺序定义各个特定区域的标签分别为0、1、2、3、4。假定图像中主驾驶位区域、副驾驶位区域和后排左区域均有人。

[0092] 第一方面，通过第一网络对图像进行特征提取，基于提取到的特征获得图像中的人脸检测框(即上述实施例中的第一检测框)，通过第二网络对图像进行特征提取，基于提取到的特征获得图像中的人体检测框(即上述实施例中的第二检测框)，假设提取到的人脸检测框的数量为M，人体检测框的数量为N，由于存在遮挡或者转动角度较大的情况，则M的数值为小于等于3，N的数值为小于等于3，即存在未检测到3个人脸检测框和/或3个人体检测框的情况发生。分别计算每个人脸检测框和各个人体检测框的交并比；针对每个人脸检测框，确定具有最大交并比的人体检测框，并判断最大交并比是否大于预设阈值；若判定最大交并比大于预设阈值，则可判定该人脸检测框与最大交并比的人体检测框匹配，也即该人脸检测框与最大交并比的人体检测框属于同一个人，进而确定人脸检测框与匹配的人体检测框的数量K。基于上述M、N和K确定车内人员数量，将K+(M-K)+(N-K)的结果作为车内人员数量。

[0093] 第二方面，通过第二网络对图像进行特征提取，基于提取到的特征，一方面获得图像中的人体检测框，另一方面可获得图像中的身体关键点信息，该身体关键点信息可包括各个身体关键点的坐标。

[0094] 示例性的，可通过第二网络对所述图像进行特征提取，基于提取的特征，一方面可获得各个目标对象的身体关键点，另一方面可基于提取的特征确定目标对象的中心点以及对应于目标对象的人体检测框的长度和宽度，根据所述中心点、所述长度和宽度确定各个目标对象的人体检测框；进而根据各个目标对象的人体检测框所在的区域、以及各个身体关键点，确定在每个目标对象的人体检测框所在区域内的身体关键点，将各个人体检测框所在区域内的身体关键点确定为各个人体检测框对应的目标对象的身体关键点。

[0095] 示例性的，假设图像表示为3×I×I，其中，3表示通道数量，本示例中，图像可以为RGB彩色图像，则3个通道中，一个通道数据为表示红色(Red)的通道数据，一个通道数据为表示绿色(Green)的通道数据，一个通道数据为表示蓝色(Blue)的通道数据；I×I表示图像的尺寸。则通过第二网络对图像进行特征提取，得到C×F×F的特征图，其中，C表示通道数量，F×F表示特征图的尺寸。再通过特定尺寸的卷积层(例如1×1的卷积层)对特征图进行卷积处理，得到H×F×F的特征图，其中，H表示通道数量，每个通道可确定一个关键点，则可得到H个关键点。其中，通过识别H×F×F的特征图中的高斯峰，将高斯峰的顶点坐标作为关键点的坐标，采用这种方式确定出H个关键点。

[0096] 进一步的，将获得的身体关键点输入至第三网络，从而确定各个身体关键点的位置分类类别。示例性的，以前述五个特定区域为例，则本实施例通过第三网络确定各个关键点对应的特定区域的标签。

[0097] 本发明实施例还提供了一种图像处理装置。图4为本发明实施例的图像处理装置的组成结构示意图一；如图4所示，所述装置包括获取单元31、第一确定单元32、第二确定单元33和匹配单元34；其中，

[0098] 所述获取单元31，用于获得待检测的图像；

[0099] 所述第一确定单元32，用于确定所述图像中表征目标对象脸部的第一检测框；所述第一检测框为M个；

[0100] 所述第二确定单元33，用于确定所述图像中表征目标对象身体的第二检测框；所述第二检测框为N个；其中，M和N均为非负整数；

[0101] 所述匹配单元34，用于确定M个第一检测框和N个第二检测框中满足匹配关系的K个第一检测框和第二检测框；K为非负整数，K小于等于M，且K小于等于N；基于M、N和K确定所述图像中的目标对象的数量。

[0102] 在本发明的一些可选实施例中，所述匹配单元34，用于遍历所述M个第一检测框，确定每个第一检测框与各个第二检测框的交并比；基于每个第一检测框与各个第二检测框的交并比确定满足匹配关系的第一检测框和第二检测框。

[0103] 在本发明的一些可选实施例中，所述匹配单元34，用于确定每个第一检测框与各个第二检测框的交并比中的最大交并比；判断所述最大交并比是否大于预设阈值；响应于所述最大交并比大于所述预设阈值的情况，确定所述最大交并比对应的第一检测框和第二检测框满足匹配关系。

[0104] 在本发明的一些可选实施例中，所述第一确定单元32，用于通过第一网络对所述图像进行特征提取，基于提取的特征确定所述图像中表征目标对象脸部的第一检测框；

[0105] 所述第二确定单元33，用于通过第二网络对所述图像进行特征提取，基于提取的特征确定所述图像中表征目标对象身体的第二检测框。

[0106] 在本发明的一些可选实施例中，如图5所示，所述装置还包括分类单元35和第三确定单元36；其中，

[0107] 所述第二确定单元33，还用于获得所述图像中的各个目标对象的身体关键点；

[0108] 所述分类单元35，用于确定所述身体关键点对应的位置分类类别；所述位置分类类别表明所述身体关键点所在位置在所述图像中的多个特定区域中的一个特定区域内；

[0109] 所述第三确定单元36，用于基于各个身体关键点对应的位置分类类别确定各个目标对象所在的区域。

[0110] 在本发明的一些可选实施例中，所述第二确定单元33，用于通过第二网络对所述图像进行特征提取，基于提取的特征确定所述图像中表征目标对象身体的第二检测框和各个目标对象的身体关键点。

[0111] 在本发明的一些可选实施例中，所述分类单元35，用于通过第三网络确定所述关键点对应的位置分类类别；所述第三网络基于包含有身体关键点的位置信息和特定区域的标注信息的样本图像训练获得。

[0112] 在本发明的一些可选实施例中，在各个特定区域为座舱中的各个座位的情况下，所述身体关键点对应的位置分类类别为所述身体关键点对应的座位；所述第三确定单元36，用于基于一个目标对象的身体关键点对应的座位，确定该目标对象所在的座位；还用于根据座舱中各个目标对象所在的座位，确定所述座舱中的各个座位的状态。

[0113] 在本发明的一些可选实施例中，所述第三确定单元36，用于统计一个目标对象的多个身体关键点中、对应于相同座位的身体关键点数量；确定最大身体关键点数量对应的座位为所述目标对象所在的座位。

[0114] 本发明实施例中，所述图像处理装置中的获取单元31、第一确定单元32、第二确定单元33、匹配单元34、分类单元35和第三确定单元36，在实际应用中均可由所述装置中的中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现。

[0115] 需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

[0116] 本发明实施例还提供了一种电子设备。图6为本发明实施例的电子设备的组成结构示意图，如图6所示，所述电子设备40包括存储器42、处理器41及存储在存储器42上并可在处理器41上运行的计算机程序，所述处理器41执行所述程序时实现本发明实施例所述图像处理方法的步骤。

[0117] 可选地，电子设备40中的各个组件可通过总线系统43耦合在一起。可理解，总线系统43用于实现这些组件之间的连接通信。总线系统43除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统43。

[0118] 可以理解，存储器42可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器42旨在包括但不限于这些和任意其它适合类型的存储器。

[0119] 上述本发明实施例揭示的方法可以应用于处理器41中，或者由处理器41实现。处理器41可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器41中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器41可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器41可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器42，处理器41读取存储器42中的信息，结合其硬件完成前述方法的步骤。

[0120] 在示例性实施例中，电子设备40可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、FPGA、通用处理器、控制器、MCU、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。

[0121] 在示例性实施例中，本发明实施例还提供了一种计算机可读存储介质，例如包括计算机程序的存储器42，上述计算机程序可由电子设备40的处理器41执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。

[0122] 本发明实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述图像处理方法的步骤。

[0123] 本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

[0124] 本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

[0125] 本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

[0126] 在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

[0127] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

[0128] 另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

[0129] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

[0130] 或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

[0131] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。