模型生成方法、目标检测方法、装置、设备及介质

摘要

本申请涉及大场景超分辨率图像目标检测技术领域，公开了一种模型生成方法、目标检测方法、装置、设备及介质，模型生成方法包括：利用各超分辨率图像的真实框构成各图像的样本集合；从样本集合中选择一真实框，根据选择的真实框对超分辨率图像裁切，得到裁切图像；从超分辨率图像的样本集合中删除裁切图像包含的真实框，返回执行从样本集合中选择一真实框的步骤，直至样本集合为空集；利用各超分辨率图像的裁切图像及其包含的真实框作为第一训练集，对第一模型进行训练，得到第一目标检测模型。本申请公开的技术方案，通过每次从样本集合中删除裁切图像包含的真实框及重复执行至样本集合为空集解决过采样和欠采样问题，提高模型性能。

权利要求

1.一种模型生成方法，其特征在于，包括：

获取大场景数据集中各超分辨率图像包含的真实框，利用各所述超分辨率图像包含的真实框构成各所述超分辨率图像对应的样本集合；

从所述超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像；

从所述超分辨率图像对应的样本集合中删除所述第一裁切图像包含的真实框，返回执行所述从所述超分辨率图像对应的样本集合中选择一真实框的步骤，直至所述超分辨率图像对应的样本集合为空集；

利用各所述超分辨率图像对应的各所述第一裁切图像及各所述第一裁切图像包含的真实框作为第一训练集，利用所述第一训练集对第一模型进行训练，得到第一目标检测模型；

根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像，包括：以选择的真实框为中心进行上下左右的扩充，确定裁切位置；

根据所述裁切位置对所述超分辨率图像进行裁切，得到所述第一裁切图像；

以选择的真实框为中心进行上下左右的扩充，确定裁切位置，包括：以选择的真实框的中心位置（x,y）为中心，以 作为向左扩充的尺寸利用得到所述裁切位置的左边位置 ，以 作为向右扩充的尺寸利用 得到所述裁切位置的右边位置 ，以 作为

向上扩充的尺寸利用 得到所述裁切位置的上边位置 ，以作为向下扩充的尺寸利用 得到所述裁切位置的下边位置

；

其中， 分别为左边、右边、上边、下边四个位置的裁切系数， 和 为设定目标的宽和高，且 、 、、 ， 和 分别为相应超分辨率图

像的宽和高， 和 为计算出的所述第一裁切图像的宽和高。

2.根据权利要求1所述的模型生成方法，其特征在于，在利用所述第一训练集对第一模型进行训练，得到第一目标检测模型之后，还包括：利用所述第一目标检测模型对所述第一训练集进行预测，得到各所述超分辨率图像对应的预测结果；

根据各所述超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各所述超分辨率图像对应的预测错误样本；

根据所述超分辨率图像对应的各预测错误样本对所述超分辨率图像进行裁切，得到各预测错误样本所对应的第二裁切图像；

利用所述超分辨率图像中除所述第二裁切图像包含的真实框之外的剩余真实框构成所述超分辨率图像对应的样本集合，执行所述从所述超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像；从所述超分辨率图像对应的样本集合中删除所述第一裁切图像包含的真实框，返回执行所述从所述超分辨率图像对应的样本集合中选择一真实框的步骤，直至所述超分辨率图像对应的样本集合为空集的步骤；

利用各所述超分辨率图像对应的各裁切图像及各所述裁切图像包含的真实框作为第二训练集，利用所述第二训练集对第二模型进行训练，得到第二目标检测模型；其中，所述裁切图像包括对对应的预测错误样本进行裁切得到的第二裁切图像及将除第二裁切图像包含的真实框之外的剩余真实框构成样本集合并对样本集合中的真实框进行裁切时得到的第一裁切图像。

3.根据权利要求2所述的模型生成方法，其特征在于，根据所述超分辨率图像对应的各预测错误样本对所述超分辨率图像进行裁切，得到各预测错误样本对应的第二裁切图像，包括：选择所述超分辨率图像对应的预测错误样本中的一预测错误样本，根据选择的预测错误样本对所述超分辨率图像进行裁切，得到选择的预测错误样本对应的第二裁切图像；

从所述超分辨率图像对应的预测错误样本中删除所述第二裁切图像中包含的预测错误样本，返回执行所述选择所述超分辨率图像对应的预测错误样本中的一预测错误样本的步骤，直至所述超分辨率图像对应的预测错误样本被选择完为止。

4.根据权利要求3所述的模型生成方法，其特征在于，在利用所述第二训练集对第二模型进行训练，得到第二目标检测模型之前，还包括：对所述第一目标检测模型进行调整，将调整后的所述第一目标检测模型作为所述第二模型；

在利用所述第二训练集对第二模型进行训练，得到第二目标检测模型之后，还包括：将所述第二目标检测模型作为所述第一目标检测模型，将所述第二训练集作为所述第一训练集，返回执行所述利用所述第一目标检测模型对所述第一训练集进行预测，得到各所述超分辨率图像对应的预测结果的步骤，直至所述第二目标检测模型收敛为止。

5.根据权利要求4所述的模型生成方法，其特征在于，还包括：对所述第一目标检测模型及每次训练得到的所述第二目标检测模型做快照。

6.根据权利要求3所述的模型生成方法，其特征在于，在利用所述第二训练集对第二模型进行训练，得到第二目标检测模型之后，还包括：将所述第二目标检测模型作为所述第一目标检测模型，将所述第二训练集作为所述第一训练集，返回执行所述利用所述第一目标检测模型对所述第一训练集进行预测，得到各所述超分辨率图像对应的预测结果的步骤；

其中，各次训练时所采用的所述第二模型相同，且各次训练时所采用的所述第二模型与所述第一模型相同；

或，各次训练时所采用的所述第二模型不同，且各次训练时所采用的所述第二模型与所述第一模型不同。

7.根据权利要求2所述的模型生成方法，其特征在于，在根据各所述超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各所述超分辨率图像对应的预测错误样本之后，还包括：删除各所述超分辨率图像中的异常真实框及各所述超分辨率图像对应的预测错误样本中的异常真实框。

8.根据权利要求1所述的模型生成方法，其特征在于，在根据所述裁切位置对所述超分辨率图像进行裁切，得到所述第一裁切图像之后，还包括：根据所述裁切位置确定所述第一裁切图像包含的真实框，并确定所述超分辨率图像中与所述第一裁切图像包含的真实框对应的真实框；

根据所述超分辨率图像中与所述第一裁切图像包含的真实框对应的真实框、所述第一裁切图像包含的真实框，计算所述第一裁切图像包含的各真实框对应的IOU；

从所述第一裁切图像包含的各真实框中删除对应的IOU小于阈值的真实框。

9.根据权利要求1所述的模型生成方法，其特征在于，在根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像之后，还包括：对所述第一裁切图像及其包含的真实框进行保存，并对所述第一裁切图像进行命名；

其中，所述第一裁切图像中的命名中包含所述超分辨率图像的名称、针对所述第一训练集的切图次数、对所述超分辨率图像的切图次数。

10.根据权利要求1所述的模型生成方法，其特征在于，在获取各超分辨率图像包含的真实框之后，还包括：从各所述超分辨率图像包含的真实框中删除异常真实框。

11.一种目标检测方法，其特征在于，包括：

对待检测超分辨率图像进行裁切，得到裁切图像；

将所述裁切图像输入到目标检测模型中，得到检测结果；所述目标检测模型利用如权利要求1至10任一项所述的模型生成方法得到；

对所述检测结果进行拼接，得到所述待检测超分辨率图像的目标检测结果。

12.一种模型生成装置，其特征在于，包括：

获取模块，用于获取大场景数据集中各超分辨率图像包含的真实框，利用各所述超分辨率图像包含的真实框构成各所述超分辨率图像对应的样本集合；

选择模块，用于从所述超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像；

第一删除模块，用于从所述超分辨率图像对应的样本集合中删除所述第一裁切图像包含的真实框，返回执行所述从所述超分辨率图像对应的样本集合中选择一真实框的步骤，直至所述超分辨率图像对应的样本集合为空集；

第一训练模块，用于利用各所述超分辨率图像对应的各所述第一裁切图像及各所述第一裁切图像包含的真实框作为第一训练集，利用所述第一训练集对第一模型进行训练，得到第一目标检测模型；

所述选择模块包括：

扩充单元，用于以选择的真实框为中心进行上下左右的扩充，确定裁切位置；

裁切单元，用于根据所述裁切位置对所述超分辨率图像进行裁切，得到所述第一裁切图像；

所述扩充单元包括：

得到子单元，用于以选择的真实框的中心位置（x,y）为中心，以 作为向左扩充的尺寸利用 得到所述裁切位置的左边位置 ，以 作为向右扩充的尺寸利用 得到所述裁切位置的右边位置 ，以

作为向上扩充的尺寸利用 得到所述裁切位置的上边位置

，以 作为向下扩充的尺寸利用 得到所述裁切位置

的下边位置 ；其中， 分别为左边、右边、上边、下边四个位置的裁切系数， 和 为设定目标的宽和高，且 、、 、

， 和 分别为相应超分辨率图像的宽和高， 和 为计算出的所述第一裁切图像的宽和高。

13.一种目标检测装置，其特征在于，包括：

裁切模块，用于对待检测超分辨率图像进行裁切，得到裁切图像；

得到结果模块，用于将所述裁切图像输入到目标检测模型中，得到检测结果；所述目标检测模型利用如权利要求1至10任一项所述的模型生成方法得到；

拼接模块，用于对所述检测结果进行拼接，得到所述待检测超分辨率图像的目标检测结果。

14.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至10任一项所述的模型生成方法的步骤或如权利要求11所述的目标检测方法的步骤。

15.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的模型生成方法的步骤或如权利要求11所述的目标检测方法的步骤。

说明书

模型生成方法、目标检测方法、装置、设备及介质

技术领域

[0001] 本申请涉及大场景超分辨率图像目标检测技术领域，更具体地说，涉及一种模型生成方法、目标检测方法、装置、电子设备及可读存储介质。

背景技术

[0002] 超分辨率大场景对象检测中，场景平均覆盖平方千米级范围，可同时观测数千人，百米外人脸清晰可识别，视频分辨率近10亿像素，因此，现有算力无法满足将整张图像输入到模型中进行训练或推理。

[0003] 目前，多采用锚框切图算法对超分辨率图像进行切图，得到裁切图像，并将裁切图像作为训练集来对模型进行训练，后续则利用训练得到的模型进行目标检测。其中，目前的锚框切图算法每次均采用随机采样方法从超分辨率图像中选择样本，具体是以目标为导向，根据样本的真实标注去随机选择样本，然后，根据选择的样本进行切图。但是，由于超分辨率图像中密集人群所占比重明显大于其他区域，因此，上述方式就会导致密集人群区域被多次采样，出现过采样现象，且上述采样策略并不能保证图像中所有目标都能参与训练，即上述采样策略存在无法覆盖所有目标的欠采样问题，从而会影响到模型性能。

[0004] 综上所述，如何解决现有模型生成过程中的过采样和欠采样的问题，以提高模型性能，是目前本领域技术人员亟待解决的技术问题。

发明内容

[0005] 有鉴于此，本申请的目的是提供一种模型生成方法、目标检测方法、装置、电子设备及可读存储介质，用于解决现有模型生成过程中的过采样和欠采样的问题，以提高模型性能。

[0006] 为了实现上述目的，本申请提供如下技术方案：

[0007] 一种模型生成方法，包括：

[0008] 获取大场景数据集中各超分辨率图像包含的真实框，利用各所述超分辨率图像包含的真实框构成各所述超分辨率图像对应的样本集合；

[0009] 从所述超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像；

[0010] 从所述超分辨率图像对应的样本集合中删除所述第一裁切图像包含的真实框，返回执行所述从所述超分辨率图像对应的样本集合中选择一真实框的步骤，直至所述超分辨率图像对应的样本集合为空集；

[0011] 利用各所述超分辨率图像对应的各所述第一裁切图像及各所述第一裁切图像包含的真实框作为第一训练集，利用所述第一训练集对第一模型进行训练，得到第一目标检测模型。

[0012] 优选的，在利用所述第一训练集对第一模型进行训练，得到第一目标检测模型之后，还包括：

[0013] 利用所述第一目标检测模型对所述第一训练集进行预测，得到各所述超分辨率图像对应的预测结果；

[0014] 根据各所述超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各所述超分辨率图像对应的预测错误样本；

[0015] 根据所述超分辨率图像对应的各预测错误样本对所述超分辨率图像进行裁切，得到各预测错误样本所对应的第二裁切图像；

[0016] 利用所述超分辨率图像中除所述第二裁切图像包含的真实框之外的剩余真实框构成所述超分辨率图像对应的样本集合，执行所述从所述超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像；从所述超分辨率图像对应的样本集合中删除所述第一裁切图像包含的真实框，返回执行所述从所述超分辨率图像对应的样本集合中选择一真实框的步骤，直至所述超分辨率图像对应的样本集合为空集的步骤；

[0017] 利用各所述超分辨率图像对应的各裁切图像及各所述裁切图像包含的真实框作为第二训练集，利用所述第二训练集对第二模型进行训练，得到第二目标检测模型；其中，所述裁切图像包括对对应的预测错误样本进行裁切得到的第二裁切图像及将除第二裁切图像包含的真实框之外的剩余真实框构成样本集合并对样本集合中的真实框进行裁切时得到的第一裁切图像。

[0018] 优选的，根据所述超分辨率图像对应的各预测错误样本对所述超分辨率图像进行裁切，得到各预测错误样本对应的第二裁切图像，包括：

[0019] 选择所述超分辨率图像对应的预测错误样本中的一预测错误样本，根据选择的预测错误样本对所述超分辨率图像进行裁切，得到选择的预测错误样本对应的第二裁切图像；

[0020] 从所述超分辨率图像对应的预测错误样本中删除所述第二裁切图像中包含的预测错误样本，返回执行所述选择所述超分辨率图像对应的预测错误样本中的一预测错误样本的步骤，直至所述超分辨率图像对应的预测错误样本被选择完为止。

[0021] 优选的，在利用所述第二训练集对第二模型进行训练，得到第二目标检测模型之前，还包括：

[0022] 对所述第一目标检测模型进行调整，将调整后的所述第一目标检测模型作为所述第二模型；

[0023] 在利用所述第二训练集对第二模型进行训练，得到第二目标检测模型之后，还包括：

[0024] 将所述第二目标检测模型作为所述第一目标检测模型，将所述第二训练集作为所述第一训练集，返回执行所述利用所述第一目标检测模型对所述第一训练集进行预测，得到各所述超分辨率图像对应的预测结果的步骤，直至所述第二目标检测模型收敛为止。

[0025] 优选的，还包括：

[0026] 对所述第一目标检测模型及每次训练得到的所述第二目标检测模型做快照。

[0027] 优选的，在利用所述第二训练集对第二模型进行训练，得到第二目标检测模型之后，还包括：

[0028] 将所述第二目标检测模型作为所述第一目标检测模型，将所述第二训练集作为所述第一训练集，返回执行所述利用所述第一目标检测模型对所述第一训练集进行预测，得到各所述超分辨率图像对应的预测结果的步骤；

[0029] 其中，各次训练时所采用的所述第二模型相同，且各次训练时所采用的所述第二模型与所述第一模型相同；

[0030] 或，各次训练时所采用的所述第二模型不同，且各次训练时所采用的所述第二模型与所述第一模型不同。

[0031] 优选的，在根据各所述超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各所述超分辨率图像对应的预测错误样本之后，还包括：

[0032] 删除各所述超分辨率图像中的异常真实框及各所述超分辨率图像对应的预测错误样本中的异常真实框。

[0033] 优选的，根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像，包括：

[0034] 以选择的真实框为中心进行上下左右的扩充，确定裁切位置；

[0035] 根据所述裁切位置对所述超分辨率图像进行裁切，得到所述第一裁切图像。

[0036] 优选的，以选择的真实框为中心进行上下左右的扩充，确定裁切位置，包括：

[0037] 以选择的真实框的中心位置（x,y）为中心，以 作为向左扩充的尺寸利用得到所述裁切位置的左边位置 ，以 作为向右扩充的尺寸利用 得到所述裁切位置的右边位置 ，以 作为
向上扩充的尺寸利用 得到所述裁切位置的上边位置 ，以
作为向下扩充的尺寸利用 得到所述裁切位置的下边位置
；

[0038] 其中， 分别为左边、右边、上边、下边四个位置的裁切系数， 和 为设定目 标的宽和高 ，且 、 、、 ， 和 分别为相应超分辨率图
像的宽和高， 和 为计算出的所述第一裁切图像的宽和高。

[0039] 优选的，在根据所述裁切位置对所述超分辨率图像进行裁切，得到所述第一裁切图像之后，还包括：

[0040] 根据所述裁切位置确定所述第一裁切图像包含的真实框，并确定所述超分辨率图像中与所述第一裁切图像包含的真实框对应的真实框；

[0041] 根据所述超分辨率图像中与所述第一裁切图像包含的真实框对应的真实框、所述第一裁切图像包含的真实框，计算所述第一裁切图像包含的各真实框对应的IOU；

[0042] 从所述第一裁切图像包含的各真实框中删除对应的IOU小于阈值的真实框。

[0043] 优选的，在根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像之后，还包括：

[0044] 对所述第一裁切图像及其包含的真实框进行保存，并对所述第一裁切图像进行命名；其中，所述第一裁切图像中的命名中包含所述超分辨率图像的名称、针对所述第一训练集的切图次数、对所述超分辨率图像的切图次数。

[0045] 优选的，在获取各超分辨率图像包含的真实框之后，还包括：

[0046] 从各所述超分辨率图像包含的真实框中删除异常真实框。

[0047] 一种目标检测方法，包括：

[0048] 对待检测超分辨率图像进行裁切，得到裁切图像；

[0049] 将所述裁切图像输入到目标检测模型中，得到检测结果；所述目标检测模型利用如上述任一项所述的模型生成方法得到；

[0050] 对所述检测结果进行拼接，得到所述待检测超分辨率图像的目标检测结果。

[0051] 一种模型生成装置，包括：

[0052] 获取模块，用于获取大场景数据集中各超分辨率图像包含的真实框，利用各所述超分辨率图像包含的真实框构成各所述超分辨率图像对应的样本集合；

[0053] 选择模块，用于从所述超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对所述超分辨率图像进行裁切，得到第一裁切图像；

[0054] 第一删除模块，用于从所述超分辨率图像对应的样本集合中删除所述第一裁切图像包含的真实框，返回执行所述从所述超分辨率图像对应的样本集合中选择一真实框的步骤，直至所述超分辨率图像对应的样本集合为空集；

[0055] 第一训练模块，用于利用各所述超分辨率图像对应的各所述第一裁切图像及各所述第一裁切图像包含的真实框作为第一训练集，利用所述第一训练集对第一模型进行训练，得到第一目标检测模型。

[0056] 一种目标检测装置，包括：

[0057] 裁切模块，用于对待检测超分辨率图像进行裁切，得到裁切图像；

[0058] 得到结果模块，用于将所述裁切图像输入到目标检测模型中，得到检测结果；所述目标检测模型利用如上述任一项所述的模型生成方法得到；

[0059] 拼接模块，用于对所述检测结果进行拼接，得到所述待检测超分辨率图像的目标检测结果。

[0060] 一种电子设备，包括：

[0061] 存储器，用于存储计算机程序；

[0062] 处理器，用于执行所述计算机程序时实现如上述任一项所述的模型生成方法的步骤和/或如上述所述的目标检测方法的步骤。

[0063] 一种可读存储介质所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的模型生成方法的步骤和/或如上述所述的目标检测方法的步骤。

[0064] 本申请提供了一种模型生成方法、目标检测方法、装置、电子设备及可读存储介质，其中，模型生成方法包括：获取大场景数据集中各超分辨率图像包含的真实框，利用各超分辨率图像包含的真实框构成各超分辨率图像对应的样本集合；从超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像；从超分辨率图像对应的样本集合中删除第一裁切图像包含的真实框，返回执行从超分辨率图像对应的样本集合中选择一真实框的步骤，直至超分辨率图像对应的样本集合为空集；利用各超分辨率图像对应的各第一裁切图像及各第一裁切图像包含的真实框作为第一训练集，利用第一训练集对第一模型进行训练，得到第一目标检测模型。

[0065] 本申请公开的上述技术方案，利用获取到的大场景数据集中各超分辨率图像包含的真实框分别构成各超分辨率图像对应的样本集合，然后，对于每一超分辨率图像而言，从相应超分辨率图像对应的样本集合中选择一真实框，并根据所选择的真实框来对相应超分辨率图像进行裁切而得到第一裁切图像，且从样本集合中删除第一裁切图像包含的真实框，之后，返回执行从样本集合中选择一真实框的步骤，即对相应超分辨率图像对应的样本集合重复执行一真实框选择、基于所选择的真实框进行裁切、从样本集合中删除裁切图像包含的真实框的步骤，直至相应超分辨率图像对应的样本集合为空集为止。之后，利用各超分辨率图像对应的所有第一裁切图像及各第一裁切图像包含的真实框作为第一训练集而对第一模型进行训练，以得到第一目标检测模型。在上述过程中，通过每次从样本集合中删除第一裁切图像包含的真实框来避免重复执行从样本集合选择一真实框时选择到重复的真实框作为第一训练集中的元素，从而有效解决过采样的问题，且通过对样本集合重复进行选择、裁切及删除的动作直至样本集合为空集及让相应超分辨率图像对应的所有裁切图像包含的真实框参与到第一训练集中而使得相应超分辨率图像中所有的真实框均能作为第一训练集中的元素，从而有效解决欠采样的问题，进而有效提高最终得到的第一目标检测模型的性能，以便于提高目标检测的性能。

附图说明

[0066] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

[0067] 图1为一超分辨率图像的示意图；

[0068] 图2为现有锚框切图算法的流程图；

[0069] 图3为本申请实施例提供的一种模型生成方法的流程图；

[0070] 图4为本申请实施例提供的锚框切图算法的流程图；

[0071] 图5为本申请实施例提供的另一种模型生成方法的流程图；

[0072] 图6为本申请实施例提供的又一种模型生成方法的流程图；

[0073] 图7为本申请实施例提供的再一种模型生成方法的流程图；

[0074] 图8为本申请实施例提供的一种目标检测方法的流程图；

[0075] 图9为本申请实施例提供的一种模型生成装置的结构示意图；

[0076] 图10为本申请实施例提供的一种目标检测装置的结构示意图；

[0077] 图11为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

[0078] 目标检测是计算机视觉领域中最重要的研究方向之一，常见的公开数据集有COCO（common objects in context，上下文中的常见对象）、VOC（Visual Object Classes，视觉对象类）、object365（对象365）等，而基于这些公开数据集的算法有YOLO（You only look once，你只需看一次）、CenterNet（其是对物体的中心点进行定位，并在此基础上回归出物体的其他属性，它是一个端到端可微分、更简化快捷精度更高的方法）等，但在现实场景中，摄像头采集到图像分辨率远远大于公开的数据集，导致现有模型较难适配现实场景。

[0079] PANDA（gigaPixel‑level humANcentric viDeo dAtaset，大规模十亿像素级别的视频数据集）数据集是第一个面向真实场景，具有超分辨率大场景对象检测数据集，如图1所示，其示出了一超分辨率图像的示意图，场景平均覆盖平方千米级范围，可同时观测数千人，百米外人脸清晰可识别，视频分辨率近10亿像素，但现有算力无法满足将整张图像输入到模型中训练或推理，若单纯的降低图像分辨率会丢失大量细节和小目标，这样就导致基于COCO等常用数据集相关算法无法适配这样的场景。

[0080] 目前，多采用锚框切图算法来处理超分辨率大场景对象检测任务，采用以目标为导向，根据样本的真实标注去随机选择样本，并自适应裁切图像，具体地，对于一张图像而言，每次均采用随机采样方法从该图像中选择样本而进行裁切。具体可以参见图2，其示出了现有锚框切图算法的流程图，现有锚框切图算法在切图过程中会根据每张超分辨率图像的真实标签去随机选择一个目标框进行裁切。但是，由于超分辨率图像中密集人群所占比重明显大于其他区域，因此，现有锚框切图算法会导致密集人群区域会被多次采样，出现过采样现象。另外，现有锚框切图算法并不能保证超分辨率图像中的所有目标都参与训练，从而会影响到模型性能。

[0081] 为此，本申请提供一种模型生成方法、目标检测方法、装置、电子设备及可读存储介质，用于解决现有模型生成过程中存在密集人员过采样的问题和无法确保所有目标参与训练的欠采样的问题，以提高模型性能。

[0082] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0083] 参见图3和图4，其中，图3示出了本申请实施例提供的一种模型生成方法的流程图，图4示出了本申请实施例提供的锚框切图算法的流程图。本申请实施例提供的一种模型生成方法，可以包括：

[0084] S11：获取大场景数据集中各超分辨率图像包含的真实框，利用各超分辨率图像包含的真实框构成各超分辨率图像对应的样本集合。

[0085] 首先，可以依次获取大场景数据集中各超分辨率图像包含的真实框（GT，ground truth box），其中，这里提及的真实框具体为标注真实框，且标注真实框具体可以是通过人工或者其他方式标注得到的，而且这里提及的获取各超分辨率图像包含的真实框指的是分别获取各超分辨率图像包含的所有真实框。另外，需要说明的是，上述提及的大场景数据集具体可为面向真实场景、具有超分辨率大场景对象检测的数据集，且大场景数据集中的超分辨率图像的分辨率比较高（近10亿像素）。

[0086] 然后，可以利用所获取到的各超分辨率图像包含的真实框分别构成各超分辨率图像对应的样本集合GT0。

[0087] S12：从超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像。

[0088] 对于每个超分辨率图像而言，可以从相应超分辨率图像对应的样本集合GT0中选择（具体可随机选择）一真实框gt，然后，可以根据所选择的一真实框gt对相应超分辨率图像进行裁切，得到第一裁切图像。其中，具体可以以所选择的一真实框gt的中心位置为中心而对相应超分辨率图像进行裁切，以得到相应超分辨率图像对应的第一裁切图像，且可以对所得到的相应超分辨率图像对应的第一裁切图像以及第一裁切图像所包含的真实框GT2进行保存，从而使得后续能够将第一裁切图像以及第一裁切图像所包含的真实框GT2作为第一训练集中的元素而对相应模型进行训练，以使得现有算力能够满足对超分辨率图像进行模型训练，而且无需通过降低超分辨率图像的分辨率来进行模型训练，从而便于提高模型性能，进而便于在利用训练得到的模型对超分辨率图像进行目标检测时可以提高检测性能。

[0089] S13：从超分辨率图像对应的样本集合中删除第一裁切图像包含的真实框，返回执行从超分辨率图像对应的样本集合中选择一真实框的步骤，直至超分辨率图像对应的样本集合为空集。

[0090] 在对相应超分辨率图像执行完步骤S12的操作之后，则可以从该相应超分辨率图像对应的样本集合GT0中删除经过步骤S12所得到的第一裁切图像包含的真实框GT1，以得到删除第一裁切图像包含的真实框GT2的样本集合GT0。之后，可以返回执行从超分辨率图像对应的样本集合中选择一真实框的步骤，即返回执行步骤S12，也即对于相应超分辨率图像重复执行步骤S12和步骤S13，直至相应超分辨率图像对应的样本集合GT0为空集为止。

[0091] 通过每次执行完步骤S12后即从相应超分辨率图像的样本集合GT0中删除第一裁切图像所包含的真实框GT1可以避免在对相应超分辨率图像对应的样本集合GT0重复进行一真实框的选择时选择到相同的真实框来作为第一训练集中的元素，即可以有效避免对相应超分辨率图像中的真实框进行重复选择，从而有效解决过采样的问题。而且通过重复执行步骤S12和步骤S13直至相应超分辨率图像对应的样本集合GT0为空集为止可以保证相应超分辨率图像中所有的真实框均能作为第一训练集中的元素，从而有效解决现有技术中所存在的无法保证所有目标都能参与训练的问题，进而提高模型性能。

[0092] 需要说明的是，对于各超分辨率图像而言，可以先将各超分辨率图像中的第一个超分辨率图像作为当前超分辨率图像而执行上述过程（具体可从步骤S11开始，此时，则是获取当前超分辨率图像包含的真实框，利用当前超分辨率图像包含的真实框构成当前超分辨率图像对应的样本集合，从当前超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对当前超分辨率图像进行裁切，得到第一裁切图像；从当前超分辨率图像对应的样本集合中删除第一裁切图像包含的真实框，返回执行从当前超分辨率图像对应的样本集合中选择一真实框的步骤，直至当前超分辨率图像对应的样本集合为空集），然后，将下一个超分辨率图像作为当前超分辨率图像而执行上述过程……直至对最后一个超分辨率图像完成上述过程为止，即本申请可以依次对各超分辨率图像执行上述过程。当然，也可以同时对多个超分辨率图像（两个、三个或者所有的超分辨率图像，同时执行所选择的超分辨率图像数量可以根据算力进行确定）执行上述过程，直至所有超分辨率图像均执行完上述过程，本申请对此不做限定。

[0093] 经过步骤S11‑步骤S13可以在保证所有真实框完整的前提下尽可能地保留原数据集的分布，以便于提高模型性能。

[0094] S14：利用各超分辨率图像对应的各第一裁切图像及各第一裁切图像包含的真实框作为第一训练集，利用第一训练集对第一模型进行训练，得到第一目标检测模型。

[0095] 经过步骤S12和步骤S13可以将各超分辨率图像裁切成可训练的超分辨率图像（也即裁切成对应的第一裁切图像）。在经过步骤S12和步骤S13之后，则可以利用每个超分辨率图像对应的各第一裁切图像及各第一裁切图像包含的真实框作为第一训练集，并可以利用第一训练集对第一模型进行训练，以得到第一目标检测模型，从而便于后续能够利用所得到的第一目标检测模型来对待检测超分辨率图像进行目标检测。

[0096] 其中，在利用第一训练集对第一模型进行训练之前，可以先选择YOLO系列、Faster RCNN（Region‑Convolutional Neural Network，更快的区域卷积神经网络）、Mask RCNN（掩膜区域卷积神经网络）、SSD（Single Shot MultiBox Detector，是一种目标检测算法，其属于单阶段法，且使用多特征图用于检测）、RetinaNet（是由Facebook人工智能研究所引入的，旨在解决密集检测问题，其是一个复合网络，包括主干网络、目标分类子网、目标回归子网）、CenterNet等模型中选择合适模型，然后，在选择完合适模型之后，对所选择的合适模型设置相关超参数，并将设置完相关超参数的合适模型作为第一模型，以便于提高模型性能。

[0097] 需要说明的是，在本申请中，可以利用锚框切图算法进行离线切图，其中，离线切图可以是在对所有超分辨率图像均执行完步骤S12‑步骤S13后，将所有超分辨率图像对应的各第一裁切图像及各裁切图像包含的真实框作为第一训练集而对第一模型进行训练；当然，也可以利用锚框切图算法进行在线切图，即在训练过程中，作为桥接超分辨率图像和训练模型之间的预处理，其中，在线切图可以是在对一个超分辨率图像完成步骤S12‑步骤S13后，就将该超分辨率图像对应的各第一裁切图像及各裁切图像包含的真实框作为第一训练集而对第一模型进行训练，同时还可以对其他超分辨率图像执行锚框切图的过程，也即在线切图过程中可以一边进行切图一边进行训练。

[0098] 经过本申请的上述过程不仅可以解决现有锚框切图算法所存在的密集人员过采样的问题和无法确保所有目标参与训练的欠采样的问题，以提高模型性能，而且提升了对象检测精度，避免采用滑窗切图（设置固定尺寸窗口，以固定步长在原始超分辨率图像中进行滑动，每次仅处理与滑窗重叠部分的图像）所存在的重叠区域不足而导致的样本流失和重叠区域内样本过采样的问题。

[0099] 本申请公开的上述技术方案，利用获取到的大场景数据集中各超分辨率图像包含的真实框分别构成各超分辨率图像对应的样本集合，然后，对于每一超分辨率图像而言，从相应超分辨率图像对应的样本集合中选择一真实框，并根据所选择的真实框来对相应超分辨率图像进行裁切而得到第一裁切图像，且从样本集合中删除第一裁切图像包含的真实框，之后，返回执行从样本集合中选择一真实框的步骤，即对相应超分辨率图像对应的样本集合重复执行一真实框选择、基于所选择的真实框进行裁切、从样本集合中删除裁切图像包含的真实框的步骤，直至相应超分辨率图像对应的样本集合为空集为止。之后，利用各超分辨率图像对应的所有第一裁切图像及各第一裁切图像包含的真实框作为第一训练集而对第一模型进行训练，以得到第一目标检测模型。在上述过程中，通过每次从样本集合中删除第一裁切图像包含的真实框来避免重复执行从样本集合选择一真实框时选择到重复的真实框作为第一训练集中的元素，从而有效解决过采样的问题，且通过对样本集合重复进行选择、裁切及删除的动作直至样本集合为空集及让相应超分辨率图像对应的所有裁切图像包含的真实框参与到第一训练集中而使得相应超分辨率图像中所有的真实框均能作为第一训练集中的元素，从而有效解决欠采样的问题，进而有效提高最终得到的第一目标检测模型的性能，以便于提高目标检测的性能。

[0100] 参见图5和图6，其中，图5示出了本申请实施例提供的另一种模型生成方法的流程图，图6示出了本申请实施例的得到又一种模型生成方法的流程图，其中，图6中的获取各超分辨率图像的真实框，根据各超分辨率图像的真实框构成第一训练集，利用第一训练集对第一模型进行训练，得到第一目标检测模型这一步骤对应上述提及的步骤S11‑步骤S14。本申请实施例提供的一种模型生成方法，在利用第一训练集对第一模型进行训练，得到第一目标检测模型之后，还可以包括：

[0101] 利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果；

[0102] 根据各超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各超分辨率图像对应的预测错误样本；

[0103] 根据超分辨率图像对应的各预测错误样本对超分辨率图像进行裁切，得到各预测错误样本所对应的第二裁切图像；

[0104] 利用超分辨率图像中除第二裁切图像包含的真实框之外的剩余真实框构成超分辨率图像对应的样本集合，执行从超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像；从超分辨率图像对应的样本集合中删除第一裁切图像包含的真实框，返回执行从超分辨率图像对应的样本集合中选择一真实框的步骤，直至超分辨率图像对应的样本集合为空集的步骤；

[0105] 利用各超分辨率图像对应的各裁切图像及各裁切图像包含的真实框作为第二训练集，利用第二训练集对第二模型进行训练，得到第二目标检测模型；其中，裁切图像包括对对应的预测错误样本进行裁切得到的第二裁切图像及将除第二裁切图像包含的真实框之外的剩余真实框构成样本集合并对样本集合中的真实框进行裁切时得到的第一裁切图像。

[0106] 在本申请中，在利用第一训练集对第一模型进行训练，得到第一目标检测模型之后，可以利用第一目标检测模型对第一训练集做预测，并挑选出识别错误的目标，以挖掘训练集中的难样本（模型只有准确的识别出难样本才能提高模型精度，且难样本多潜藏在当前识别错误的目标中），并利用步骤S11‑步骤S13的锚框切图算法优先裁切识别错误的目标，再次产生训练集，并利用再次产生的训练集进行模型训练，从而提高模型精度。

[0107] 具体地，在利用第一训练集对第一模型进行训练，得到第一目标检测模型之后，可以执行如下操作：

[0108] 1）先利用第一目标检测模型对第一训练集进行预测，以得到各超分辨率图像对应的预测结果（其中，预测结果即为各超分辨率图像对应的预测真实框），并对各超分辨率图像对应的预测结果进行保存；其中，在利用第一目标检测模型对第一训练集进行预测时，是分别将各超分辨率图像对应的第一裁切图像输入到第一目标检测模型中，以得到各超分辨率图像对应的第一裁切图像的预测结果，并分别将各超分辨率图像对应的第一裁切图像的预测结果进行融合并转换成相应超分辨率图像的预测结果；

[0109] 2）分别将各超分辨率图像对应的预测结果与相应超分辨率图像包含的真实框进行比较，以对应得到各超分辨率图像对应的预测错误样本（预测错误样本具体包含未被检测到的真实框以及检测到但分类错误的真实框）；

[0110] 3）对于每个超分辨率图像而言，可以根据相应超分辨率图像对应的各预测错误样本来对相应超分辨率图像进行裁切，以得到相应超分辨率图像对应的预测错误样本所对应的第二裁切图像，并可以对所得到的第二裁切图像以及第二裁切图像所包含的真实框进行保存，从而使得后续能够将第二裁切图像以及第二裁切图像所包含的真实框作为第二训练集中的元素而对相应模型进行训练；其中，可以依次对每个超分辨率图像执行该步骤，也可以同时对多个超分辨率图像执行该步骤，本申请对此不做限定；通过3）这一步骤实现优先对预测错误样本进行裁切；

[0111] 4）利用相应超分辨率图像中除经过3）得到的第二裁切图像包含的真实框之外的剩余真实框构成相应超分辨率图像对应的样本集合，并执行从超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像；从超分辨率图像对应的样本集合中删除第一裁切图像包含的真实框，返回执行从超分辨率图像对应的样本集合中选择一真实框的步骤，直至超分辨率图像对应的样本集合为空集的步骤，即仍采用步骤S12和步骤S13的随机采样方法进行锚框切图，也即执行与步骤S12和步骤S13一样的步骤，直至利用剩余真实框构成的相应超分辨率图像对应的样本集合为空集为止；其中，步骤4）中的利用相应超分辨率图像中除经过3）得到的第二裁切图像包含的真实框之外的剩余真实框构成相应超分辨率图像对应的样本集合可以避免在相应超分辨率图像中选择到重复的样本来作为第二训练集中的元素，以有效避免出现过采样的问题。

[0112] 经过步骤3）和步骤4）可以实现对所有超分辨率图像的预测错误样本以及除相应第二裁切图像包含的真实框之外的剩余真实框构成的样本集合的裁切；

[0113] 5）利用各超分辨率图像对应的各裁切图像及各裁切图像包含的真实框作为第二训练集，并利用第二训练集对第二模型进行训练，以得到第二目标检测模型；其中，这里提及的超分辨率图像对应的裁切图像具体包括对该超分辨率图像对应的预测错误样本进行裁切所得到的第二裁切图像（即进行步骤3）所得到的第二裁切图像）以及将该超分辨率图像中除第二裁切图像包含的真实框之外的剩余真实框所构成的样本集合并对该样本集合中的真实框进行裁切所得到的第一裁切图像（即进行步骤4）所得到的第一裁切图像）。

[0114] 通过上述过程可以实现超分辨率大场景训练集中难样本的挖掘，并优先对难样本进行裁切，再次产生训练集，以便于提升第二目标检测模型的性能。且由于第二训练集是在第一目标检测模型识别错误的基础上产生的，这就迫使第二模型更加关注识别错误样本，另外，第二训练集与第一训练集虽隶属同源，但这两个数据集仍有较大差异，因此，上述过程相当于进一步丰富了训练集。

[0115] 需要说明的是，在得到第二目标检测模型之后，后续在对待检测超分辨率图像进行目标检测时，可以分别利用第一目标检测模型和第二目标检测模型对待检测超分辨率图像进行检测，以得到与第一目标检测模型对应的目标检测结果、与第二目标检测模型对应的检测结果，然后，可以将与第一目标检测模型对应的目标检测结果、与第二目标检测模型对应的检测结果进行融合（具体可以加权融合等），以得到待检测超分辨率图像对应的目标检测结果。

[0116] 本申请实施例提供的一种模型生成方法，根据超分辨率图像对应的各预测错误样本对超分辨率图像进行裁切，得到各预测错误样本对应的第二裁切图像，可以包括：

[0117] 选择超分辨率图像对应的预测错误样本中的一预测错误样本，根据选择的预测错误样本对超分辨率图像进行裁切，得到选择的预测错误样本对应的第二裁切图像；

[0118] 从超分辨率图像对应的预测错误样本中删除第二裁切图像中包含的预测错误样本，返回执行选择超分辨率图像对应的预测错误样本中的一预测错误样本的步骤，直至超分辨率图像对应的预测错误样本被选择完为止。

[0119] 在本申请中，在根据超分辨率图像对应的各预测错误样本对超分辨率图像进行裁切，得到各预测错误样本对应的第二裁切图像时，可以仿照步骤S12和步骤S13的方式进行裁切，以避免将重复的真实框作为第二训练集中的元素，并保证相应超分辨率图像对应的各预测错误样本均能作为第二训练集中的元素，从而便于提高第二目标检测模型的性能。

[0120] 具体地，对相应超分辨率图像对应的各预测错误样本仿照步骤S12和步骤S13的方式进行裁切的具体实现过程如下所示：

[0121] a）选择相应超分辨率图像对应的预测错误样本中的一预测错误样本，然后，根据所选择的预测错误样本对相应超分辨率图像进行裁切，具体以所选择的预测错误样本为中心而对相应超分辨率图像进行裁切，以得到所选择的预测错误样本对应的第二裁切图像；

[0122] b）从上述超分辨率图像对应的预测错误样本中删除步骤a）所得到的第二裁切图像中包含的预测错误样本，以避免对预测错误样本进行重复选择。然后，返回执行选择超分辨率图像对应的预测错误样本中的一预测错误样本的步骤，即返回执行步骤a），直至相应超分辨率图像对应的预测错误样本被选择完为止，以保证相应超分辨率图像对应的所有预测错误样本均能够参与到裁切中，从而便于提高模型性能。

[0123] 参见图7，其示出了本申请实施例提供的再一种模型生成方法的流程图。本申请实施例提供的一种模型生成方法，在利用第二训练集对第二模型进行训练，得到第二目标检测模型之前，还可以包括：

[0124] 对第一目标检测模型进行调整，将调整后的第一目标检测模型作为第二模型；

[0125] 在利用第二训练集对第二模型进行训练，得到第二目标检测模型之后，还可以包括：

[0126] 将第二目标检测模型作为第一目标检测模型，将第二训练集作为第一训练集，返回执行利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果的步骤，直至第二目标检测模型收敛为止。

[0127] 在本申请中，在利用第二训练集对第二模型进行训练，得到第二目标检测模型之前，可以对经过步骤S14所得到的第一目标检测模型进行调整，具体地，可以调低原有的学习率，并设置其他相关超参数。然后，可以将调整后的第一目标检测模型作为第二模型，也即可以利用所得到的第二训练集对调整后的第一目标检测模型进行训练，以进一步提高第一目标检测模型的性能。

[0128] 另外，在前述基础上，在利用第二训练集对第二模型进行训练，得到第二目标检测模型之后，也即在利用第二训练集对调整后的第一目标检测模型进行训练之后，可以将训练得到的第二目标检测模型作为第一目标检测模型，并将第二训练集作为第一训练集，然后，返回执行利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果的步骤，直至第二目标检测模型收敛为止，以最终得到一个收敛的第二目标检测模型。后续在对待检测超分辨率图像进行目标检测时，则可以利用最终所得到的收敛的第二目标检测模型对待检测超分辨率图像进行目标检测。

[0129] 通过上述过程实现每次均对上一次训练得到的目标检测模型进行调整，并将调整后的目标检测模型作为当前次的训练对象，从而便于提高最终所得到的第二目标检测模型的性能。

[0130] 本申请实施例提供的一种模型生成方法，还可以包括：

[0131] 对第一目标检测模型及每次训练得到的第二目标检测模型做快照。

[0132] 在本申请中，还可以对经过步骤S14所得到的第一目标检测模型进行快照，而且还可以在前述重复执行“利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果”到“利用第二训练集对第二模型进行训练，得到第二目标检测模型步骤时所得到的第二目标检测模型”的所有步骤时，对每次训练得到的第二目标检测模型做快照，这样每次所做的快照即为一个目标检测模型，从而可以得到多个结构相同但参数不同的目标检测模型。然后，后续在对待检测超分辨率图像进行目标检测时，可以利用各个快照对待检测超分辨率图像进行目标检测，并将各快照所得到的目标检测结果进行融合（其中，在采用加权融合时，各个快照对应的目标检测结果的权重可以不同，且时间靠后的快照所对应的目标检测结果的权重可以比时间靠前的快照所对应的目标检测结果的权重大），以得到待检测超分辨率图像对应的目标检测结果。

[0133] 本申请实施例提供的一种模型生成方法，在利用第二训练集对第二模型进行训练，得到第二目标检测模型之后，还可以包括：

[0134] 将第二目标检测模型作为第一目标检测模型，将第二训练集作为第一训练集，返回执行利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果的步骤；

[0135] 其中，各次训练时所采用的第二模型相同，且各次训练时所采用的第二模型与第一模型相同；

[0136] 或，各次训练时所采用的第二模型不同，且各次训练时所采用的第二模型与第一模型不同。

[0137] 在本申请中，除了每次均对上一次训练得到的目标检测模型进行调整，并将调整后的目标检测模型作为当前次的训练对象之外，针对新产生的训练集（即每次产生的第二训练集），选择与步骤S14相同的模型或者不同的模型进行重新训练，以提高模型多样性。具体地，在利用第二训练集对第二模型进行训练，得到第二目标检测模型之后，可以将将第二目标检测模型作为第一目标检测模型，将第二训练集作为第一训练集，返回执行利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果的步骤，其中，各次训练时所采用的第二模型均相同，且各次训练时所采用的第二模型与步骤S14所采用的第一模型相同，或者，各次训练时所采用的第二模型均不相同，且各次训练时所采用的第二模型与步骤S14所采用的第一模型也不相同。当然，也可以是各次训练时所采用的第二模型之间有部分相同，且各次训练时所采用的第二模型中有与步骤S14中所采用的第一模型相同的第二模型。

[0138] 通过上述过程可以得到一个第一目标检测模型和多个第二目标检测模型，相应地，在对待检测超分辨率图像进行目标检测时，则可以分别利用第一目标检测模型、多个第二目标检测模型来对待检测超分辨率图像进行检测，以得到对应的目标检测结果，之后，可以对所有的目标检测结果进行融合，以得到待检测超分辨率图像对应的目标检测结果。

[0139] 本申请实施例提供的一种模型生成方法，在根据各超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各超分辨率图像对应的预测错误样本之后，还可以包括：

[0140] 删除各超分辨率图像中的异常真实框及各超分辨率图像对应的预测错误样本中的异常真实框。

[0141] 在本申请中，在根据各超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各超分辨率图像对应的预测错误样本之后，还可以删除各超分辨率图像中的异常真实框以及各超分辨率图像对应的预测错误样本中的异常真实框，以避免异常真实框对模型的训练造成干扰，从而提高训练得到的模型性能，并减少模型训练过程中的计算量。其中，上述提及的异常真实框具体如遮挡严重目标等。

[0142] 本申请实施例提供的一种模型生成方法，根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像，可以包括：

[0143] 以选择的真实框为中心进行上下左右的扩充，确定裁切位置；

[0144] 根据裁切位置对超分辨率图像进行裁切，得到第一裁切图像。

[0145] 在本申请中，在根据选择真实框对超分辨率图像进行裁切，得到第一裁切图像时，可以基于所选择的真实框的位置进行裁切，具体地，可以以所选择的真实框为中心进行上、下、左、右四个方向的扩充，以确定裁切位置（其中，所扩充的范围不能超过超分辨率图像的范围）。然后，根据裁切位置对超分辨率图像进行裁切，从而得到与所选择的真实框对应的第一裁切图像，进而便于基于裁切图像进行模型训练。

[0146] 本申请实施例提供的一种模型生成方法，以选择的真实框为中心进行上下左右的扩充，确定裁切位置，可以包括：

[0147] 以选择的真实框的中心位置（x,y）为中心，以 作为向左扩充的尺寸利用得到裁切位置的左边位置 ，以 作为向右扩充的尺寸利用 得到裁切位置的右边位置 ，以 作为向上扩充
的尺寸利用 得到裁切位置的上边位置 ，以 作为向下扩
充的尺寸利用 得到裁切位置的下边位置 ；

[0148] 其中， 分别为左边、右边、上边、下边四个位置的裁切系数， 和 为设定目 标的宽和高 ，且 、 、、 ， 和 分别为相应超分辨率图
像的宽和高， 和 为计算出的第一裁切图像的宽和高。

[0149] 在本申请中，在以选择真实框为中心进行上下左右的扩充，确定裁切位置时，具体可以以选择的真实框的中心位置（x,y）为中心，按照如下方式得到裁切位置：

[0150]

[0151]

[0152]

[0153]

[0154] 其中， 分别为左边、右边、上边、下边四个位置的裁切系数， 和为设定目标（其中，设定目标具体可以为人体）的宽和高， 、 、 、分别向左扩充、向右扩充、向上扩充、向下扩充所对应得到的裁切位置的左边位置、右边位置、上边位置、下边位置，且 、
、 、
， 和 分别为相应超分辨率图像的宽和高， 和 为理论上所计算出的第一裁切图像的宽和高。其中， 、 中的“小于”情况
针对的是利用上述公式计算出的裁切位置超过超分辨率图像时的情况，以 为例，当利用 所计算出的 超过 时（此时理论上第一裁切图像
宽度方向上有一部分位于超分辨率图像右侧的外部），则经过
限定 ，而沿着此时的 进行裁切时，即
会出现 小于理论上所计算出的第一裁切图像的宽的情况，也即
为实际裁切到的第一裁切图像的宽。

[0155] 通过上述方式可以实现在不超过超分辨率图像范围的基础上实现根据所选择的真实框来对超分辨率图像进行裁切，以提高裁切的便利性，且便于根据裁切位置进行第一裁切图像包含的真实框的确定和后续真实框的选择等。

[0156] 本申请实施例提供的一种模型生成方法，在根据裁切位置对超分辨率图像进行裁切，得到第一裁切图像之后，还可以包括：

[0157] 根据裁切位置确定第一裁切图像包含的真实框，并确定超分辨率图像中与第一裁切图像包含的真实框对应的真实框；

[0158] 根据超分辨率图像中与第一裁切图像包含的真实框对应的真实框、第一裁切图像包含的真实框，计算第一裁切图像包含的各真实框对应的IOU；

[0159] 从第一裁切图像包含的各真实框中删除对应的IOU小于阈值的真实框。

[0160] 在本申请中，在根据裁切位置对超分辨率图像进行裁切，得到第一裁切图像之后，可以根据裁切位置确地第一裁切图像中所包含的真实框GT1，并根据裁切位置确定原始超分辨率图像（即相应的包含有所有真实框的超分辨率图像）中与第一裁切图像包含的真实框GT1对应的真实框。然后，可以根据超分辨率图像中与第一裁切图像包含的真实框GT1对应位置的真实框、第一裁切图像包含的真实框GT1，利用 计算第一裁切图像包含的各真实框对应的IOU（Intersection‑Over‑Union，交并比）；其中，，且 具体代表真实框在相应图像的面积， 。之后，从第一裁切图像包含的真实框GT1中删除对应的IOU小于阈值的真实框，并将删除对应的IOU小于阈值的真实框后的集合记为GT2，也即上述操作之后得到的第一裁切图像包含的真实框GT2。
其中，阈值的大小为0.8，当然，也可以根据实际情况而将阈值设置为其他值。

[0161] 通过上述过程可以删除第一裁切图像中不完整的真实框，以避免对模型精度造成影响，从而便于提高模型性能。当然，本申请的上述操作只是在第一裁切图像中删除了IOU小于阈值的真实框，而并没有从原始图像中进行删除，因此，这些真实框还是能够参与到后续的真实框选择和裁切中，从而加入到第一训练集中来对模型进行训练。

[0162] 本申请实施例提供的一种模型生成方法，在根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像之后，还可以包括：

[0163] 对第一裁切图像及其包含的真实框进行保存，并对第一裁切图像进行命名；其中，第一裁切图像中的命名中包含超分辨率图像的名称、针对第一训练集的切图次数、对超分辨率图像的切图次数。

[0164] 在本申请中，在根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像之后，还可以对第一裁切图像及其包含的真实框进行保存，并对第一裁切图像进行命名，且第一裁切图像中的命名中包含超分辨率图像的名称、针对第一训练集的切图次数、对超分辨率图像的切图次，以便于相关人员可以根据第一裁切图像的命名获取相关信息，且便于在预测错误样本识别过程中能够根据第一裁切图像的命名进行相应超分辨率图像对应的预测结果的获取。

[0165] 具体地，本申请可以将第一裁切图像命名为：大图名_clip_X _gt_xx.jpg，其中，大图名为相应超分辨率图像的名称，clip_X中X表示针对第一训练集的第几次切图（即针对第一训练集的切图次数）、xx表示相应超分辨率图像的第几次切图（即对相应超分辨率图像的切图次数）。相应地，在利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果时，可以将各超分辨率图像对应的第一裁切图像输入到第一目标检测模型中，以得到各超分辨率图像对应的第一裁切图像的预测结果，然后，根据第一裁切图像的命名规则（大图名_clip_X _gt_xx.jpg），对相应超分辨率图像对应的第一裁切图像的预测结果进行融合并转换成相应超分辨率图像的预测结果，从而提高相应超分辨率图像预测结果获取的准确性。

[0166] 需要说明的是，在利用超分辨率图像中除第二裁切图像包含的真实框之外的剩余真实框构成超分辨率图像对应的样本集合，执行从超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像；从超分辨率图像对应的样本集合中删除第一裁切图像包含的真实框，返回执行从超分辨率图像对应的样本集合中选择一真实框的步骤，直至超分辨率图像对应的样本集合为空集的步骤的过程中，则在对此过程中所生成的第一裁切图像进行命名时，则第一裁切图像的命名中所包含的是针对第二训练集的切图次数，以便于后续根据第一裁切图像的命名规则来对相应超分辨率图像对应的第一裁切图像的预测结果进行融合并转换成相应超分辨率图像的预测结果。

[0167] 本申请实施例提供的一种模型生成方法，在获取各超分辨率图像包含的真实框之后，还可以包括：

[0168] 从各超分辨率图像包含的真实框中删除异常真实框。

[0169] 在本申请中，在获取各超分辨率图像包含的真实框之后，还可以从各超分辨率图像所包含的真实框中删除异常真实框，以避免异常真实框对模型的训练造成干扰，从而提高训练得到的模型性能，并减少模型训练过程中的计算量。其中，上述提及的异常真实框具体如遮挡严重目标等。

[0170] 本申请实施例还提供了一种目标检测方法，参见图8，其示出了本申请实施例提供的一种目标检测方法的流程图，可以包括：

[0171] S81：对待检测超分辨率图像进行裁切，得到裁切图像；

[0172] S82：将裁切图像输入到目标检测模型中，得到检测结果；目标检测模型利用上述任一种模型生成方法得到；

[0173] S83：对检测结果进行拼接，得到待检测超分辨率图像的目标检测结果。

[0174] 在本申请中，在进行目标检测时，可以先对待检测超分辨率图像进行裁切，以得到裁切图像。然后，将裁切图像输入到利用上述任一种模型生成方法所得到的目标检测模型中，以得到与裁切图像对应的检测结果。之后，可以对待检测超分辨率图像裁切得到的各裁切图像分别对应的检测结果进行拼接，以得到待检测超分辨率图像的目标检测结果。由于上述任一种模型生成方法所生成的目标检测模型均具有较好的性能，因此，在对待检测超分辨率图像进行目标检测时即可提高目标检测的准确性和精度。

[0175] 另外，需要说明的是，在利用上述模型生成方法所生成的多个目标检测模型对待检测超分辨率图像进行检测时，可以是在得到裁切图像之后，将裁切图像分别输入到多个目标检测模型中，以得到各目标检测模型对应的检测结果，然后，对各目标检测模型对应的检测结果进行融合，以得到裁切图像对应的最终检测结果，之后，对各裁切图像对应的最终检测结果进行拼接，以得到待检测超分辨率图像的目标检测结果。当然，也可以是在得到裁切图像之后，将裁切图像分别输入到各目标检测模型中，以得到各目标检测模型对应的检测结果，然后，对同一目标检测模型对应的各裁切图像的检测结果进行拼接，以得到待检测超分辨率图像在各目标检测模型的目标检测结果，然后，将待检测超分辨率图像在各目标检测模型的目标检测结果进行融合，以得到待检测超分辨率图像的目标检测结果。

[0176] 需要说明的是，关于本申请实施例所提供的目标检测方法中关于目标检测模型以及融合的具体过程可以参见本申请实施例提供的一种模型生成方法中对应部分的详细说明，在此不再赘述。

[0177] 本申请实施例还提供了一种模型生成装置，参见图9，其示出了本申请实施例提供的一种模型生成装置的结构示意图，可以包括：

[0178] 获取模块91，用于获取大场景数据集中各超分辨率图像包含的真实框，利用各超分辨率图像包含的真实框构成各超分辨率图像对应的样本集合

[0179] 选择模块92，用于从超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像；

[0180] 第一删除模块93，用于从超分辨率图像对应的样本集合中删除第一裁切图像包含的真实框，返回执行从超分辨率图像对应的样本集合中选择一真实框的步骤，直至超分辨率图像对应的样本集合为空集；

[0181] 第一训练模块94，用于利用各超分辨率图像对应的各第一裁切图像及各第一裁切图像包含的真实框作为第一训练集，利用第一训练集对第一模型进行训练，得到第一目标检测模型。

[0182] 本申请实施例提供的一种模型生成装置，还可以包括：

[0183] 预测模块，用于在利用第一训练集对第一模型进行训练，得到第一目标检测模型之后，利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果；

[0184] 得到模块，用于根据各超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各超分辨率图像对应的预测错误样本；

[0185] 裁切模块，用于根据超分辨率图像对应的各预测错误样本对超分辨率图像进行裁切，得到各预测错误样本所对应的第二裁切图像；

[0186] 构成模块，用于利用超分辨率图像中除第二裁切图像包含的真实框之外的剩余真实框构成超分辨率图像对应的样本集合，执行从超分辨率图像对应的样本集合中选择一真实框，根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像；从超分辨率图像对应的样本集合中删除第一裁切图像包含的真实框，返回执行从超分辨率图像对应的样本集合中选择一真实框的步骤，直至超分辨率图像对应的样本集合为空集的步骤；

[0187] 第二训练模块，用于利用各超分辨率图像对应的各裁切图像及各裁切图像包含的真实框作为第二训练集，利用第二训练集对第二模型进行训练，得到第二目标检测模型；其中，裁切图像包括对对应的预测错误样本进行裁切得到的第二裁切图像及将除第二裁切图像包含的真实框之外的剩余真实框构成样本集合并对样本集合中的真实框进行裁切时得到的第一裁切图像。

[0188] 本申请实施例提供的一种模型生成装置，裁切模块可以包括：

[0189] 选择单元，用于选择超分辨率图像对应的预测错误样本中的一预测错误样本，根据选择的预测错误样本对超分辨率图像进行裁切，得到选择的预测错误样本对应的第二裁切图像；

[0190] 第一删除单元，用于从超分辨率图像对应的预测错误样本中删除第二裁切图像中包含的预测错误样本，返回执行选择超分辨率图像对应的预测错误样本中的一预测错误样本的步骤，直至超分辨率图像对应的预测错误样本被选择完为止。

[0191] 本申请实施例提供的一种模型生成装置，还可以包括：

[0192] 调整模块，用于在利用第二训练集对第二模型进行训练，得到第二目标检测模型之前，对第一目标检测模型进行调整，将调整后的第一目标检测模型作为第二模型；

[0193] 第一作为模块，用于在利用第二训练集对第二模型进行训练，得到第二目标检测模型之后，将第二目标检测模型作为第一目标检测模型，将第二训练集作为第一训练集，返回执行利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果的步骤，直至第二目标检测模型收敛为止。

[0194] 本申请实施例提供的一种模型生成装置，还可以包括：

[0195] 做快照模块，用于对第一目标检测模型及每次训练得到的第二目标检测模型做快照。

[0196] 本申请实施例提供的一种模型生成装置，还可以包括：

[0197] 第二作为模块，用于在利用第二训练集对第二模型进行训练，得到第二目标检测模型之后，将第二目标检测模型作为第一目标检测模型，将第二训练集作为第一训练集，返回执行利用第一目标检测模型对第一训练集进行预测，得到各超分辨率图像对应的预测结果的步骤；其中，各次训练时所采用的第二模型相同，且各次训练时所采用的第二模型与第一模型相同；或，各次训练时所采用的第二模型不同，且各次训练时所采用的第二模型与第一模型不同

[0198] 本申请实施例提供的一种模型生成装置，还可以包括：

[0199] 第二删除模块，用于在根据各超分辨率图像对应的预测结果及相应超分辨率图像包含的真实框，得到各超分辨率图像对应的预测错误样本之后，删除各超分辨率图像中的异常真实框及各超分辨率图像对应的预测错误样本中的异常真实框。

[0200] 本申请实施例提供的一种模型生成装置，选择模块92可以包括：

[0201] 扩充单元，用于以选择的真实框为中心进行上下左右的扩充，确定裁切位置；

[0202] 裁切单元，用于根据裁切位置对超分辨率图像进行裁切，得到第一裁切图像。

[0203] 本申请实施例提供的一种模型生成装置，扩充单元可以包括：

[0204] 得到子单元，用于以选择的真实框的中心位置（x,y）为中心，以 作为向左扩充的尺寸利用 得到裁切位置的左边位置 ，以 作为向右扩充的尺寸利用 得到裁切位置的右边位置 ，以
作为向上扩充的尺寸利用 得到裁切位置的上边位置 ，以
作为向下扩充的尺寸利用 得到裁切位置的下边位置
；其中， 分别为左边、右边、上边、下边四个位置的裁切系数， 和 为
设定目标的宽和高，且 、 、
、 ， 和 分别为相应超分辨率图
像的宽和高， 和 为计算出的第一裁切图像的宽和高。

[0205] 本申请实施例提供的一种模型生成装置，选择模块92还可以包括：

[0206] 确定单元，用于在根据裁切位置对超分辨率图像进行裁切，得到第一裁切图像之后，根据裁切位置确定第一裁切图像包含的真实框，并确定超分辨率图像中与第一裁切图像包含的真实框对应的真实框；

[0207] 计算单元，用于根据超分辨率图像中与第一裁切图像包含的真实框对应的真实框、第一裁切图像包含的真实框，计算第一裁切图像包含的各真实框对应的IOU；

[0208] 第二删除单元，用于从第一裁切图像包含的各真实框中删除对应的IOU小于阈值的真实框。

[0209] 本申请实施例提供的一种模型生成装置，还可以包括：

[0210] 保存模块，用于在根据选择的真实框对超分辨率图像进行裁切，得到第一裁切图像之后，对第一裁切图像及其包含的真实框进行保存，并对第一裁切图像进行命名；其中，第一裁切图像中的命名中包含超分辨率图像的名称、针对第一训练集的切图次数、对超分辨率图像的切图次数。

[0211] 本申请实施例提供的一种模型生成装置，还可以包括：

[0212] 第三删除模块，用于在获取各超分辨率图像包含的真实框之后，从各超分辨率图像包含的真实框中删除异常真实框。

[0213] 本申请实施例提供的一种模型生成装置中相关部分的说明可以参见本申请实施例提供的一种模型生成方法中对应部分的详细说明，在此不再赘述。

[0214] 本申请实施例还提供了一种目标检测装置，参见图10，其示出了本申请实施例提供的一种目标检测装置的结构示意图，可以包括：

[0215] 裁切模块101，用于对待检测超分辨率图像进行裁切，得到裁切图像；

[0216] 得到结果模块102，用于将裁切图像输入到目标检测模型中，得到检测结果；目标检测模型利用上述任一种模型生成方法得到；

[0217] 拼接模块103，用于对检测结果进行拼接，得到待检测超分辨率图像的目标检测结果。

[0218] 本申请实施例提供的一种目标检测装置中相关部分的说明可以参见本申请实施例提供的一种目标检测方法中对应部分的详细说明，在此不再赘述。

[0219] 本申请实施例还提供了一种电子设备，参见图11，其示出了本申请实施例提供的一种电子设备的结构示意图，可以包括：

[0220] 存储器111，用于存储计算机程序；

[0221] 处理器112，用于执行存储器111存储的计算机程序时可实现任一种模型生成方法的步骤和/或目标检测方法的步骤。

[0222] 本申请实施例提供的一种电子设备中相关部分的说明可以参见本申请实施例提供的一种模型生成方法、一种目标检测方法中对应部分的详细说明，在此不再赘述。

[0223] 本申请实施例还提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时可实现任一种模型生成方法的步骤和/或目标检测方法的步骤。

[0224] 该可读存储介质可以包括：U盘、移动硬盘、只读存储器（Read‑Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

[0225] 本申请实施例提供的一种可读存储介质中相关部分的说明可以参见本申请实施例提供的一种模型生成方法、一种目标检测方法中对应部分的详细说明，在此不再赘述。

[0226] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

[0227] 对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。