本发明公开了一种图像感兴趣区域自动生成方法及系统及图像处理方法，涉及图像处理领域，包括：采集预设场景下拍摄的第一图像，标注第一图像中的预设目标，得到训练数据；采集训练数据中的预设目标的位置信息；基于预设目标的位置信息，得到预设目标在预设场景下的第一位置图；利用训练数据训练目标识别网络，得到训练后的目标识别网络；采集预设场景下拍摄的第二图像，利用训练后的目标识别网络识别第二图像中的预设目标，得到若干个预设目标的第二位置图；融合第一位置图与若干个第二位置图生成感兴趣区域，本发明能够自动标定图像中的感兴趣区域，提高计算机视觉软件开发的工作效率，节约人力及经济成本。
1.一种图像感兴趣区域自动生成方法，其特征在于，所述方法包括：采集预设场景下拍摄的若干个第一图像，标注第一图像中的预设目标，得到训练数据；
基于采集的预设目标的位置信息，得到预设目标在预设场景下的第一位置图；
利用训练数据训练目标识别网络，得到训练后的目标识别网络；
采集预设场景下拍摄的多个第二图像，利用训练后的目标识别网络识别第二图像中的预设目标，得到若干个预设目标的第二位置图；
2.根据权利要求1所述的图像感兴趣区域自动生成方法，其特征在于，第二图像的个数大于第一图像的个数。
3.根据权利要求1所述的图像感兴趣区域自动生成方法，其特征在于，所述方法还包括：杂波过滤生成感兴趣区域；
4.根据权利要求3所述的图像感兴趣区域自动生成方法，其特征在于，所述杂波过滤生成的感兴趣区域，具体为：对图像进行边缘检测，消除检测出的边长小于5像素的斑点。
5.根据权利要求3所述的图像感兴趣区域自动生成方法，其特征在于，所述二值化杂波过滤后的感兴趣区域，具体包括：将图像中大于1的像素置为1，其余像素置为0。
6.根据权利要求1所述的图像感兴趣区域自动生成方法，其特征在于，所述基于预设目标的位置信息，得到预设目标在预设场景下的第一位置图，具体包括：基于预设目标的位置信息，利用高斯核卷积将预设目标转换为覆盖预设目标的一块圆斑，得到预设目标在预设场景下的第一位置图。
7.根据权利要求6所述的图像感兴趣区域自动生成方法，其特征在于，利用高斯核卷积将预设目标转换为覆盖预设目标的一块圆斑采用的公式为：其中，G(x,y)为单一的目标出现位置图，x为横坐标，y为纵坐标，π为圆周率，σ为高斯核大小，e为自然常数。
8.根据权利要求1所述的图像感兴趣区域自动生成方法，其特征在于，融合第一位置图与若干个第二位置图生成感兴趣区域采用的公式为：ROI＝∑mG(x,y)
其中，ROI为感兴趣区域，m为图片编号，G(x,y)为单一的目标出现位置图。
9.一种图像感兴趣区域自动生成系统，其特征在于，所述系统包括：训练数据获得单元，用于采集预设场景下拍摄的若干个第一图像，标注第一图像中的预设目标，得到训练数据；
预设目标位置信息采集单元，用于采集训练数据中的预设目标的位置信息；
第一位置图获得单元，用于基于采集的预设目标的位置信息，得到预设目标在预设场景下的第一位置图；
训练单元，用于利用训练数据训练目标识别网络，得到训练后的目标识别网络；
第二位置图获得单元，用于采集预设场景下拍摄的多个第二图像，利用训练后的目标识别网络识别第二图像中的预设目标，得到若干个预设目标的第二位置图；
感兴趣区域生成单元，用于融合第一位置图与若干个第二位置图生成感兴趣区域。
10.一种图像处理方法，其特征在于，所述方法包括：采集原始图像；
采用权利要求1-8中任意一个所述的图像感兴趣区域自动生成方法处理原始图像，得到原始图像中的感兴趣区域；
将感兴趣区域图与原始图像相乘，剔除原始图像中的固定背景，保留下目标可能出现的区域，得到感兴趣区域处理后的新图像；
将感兴趣区域处理后的新图像输入到神经网络中进行处理，包括但不限于：目标识别、检测、计数中的一种或几种。
一种图像感兴趣区域自动生成方法及系统及图像处理方法
技术领域
[0001] 本发明涉及视频图像处理领域，具体地，涉及一种图像感兴趣区域自动生成方法及系统及图像处理方法。
背景技术
[0002] 在图像处理领域，感兴趣区域(ROI)是从图像中选择的一个图像区域，这个区域是图像分析重点关注的区域。圈定该区域以便进行进一步处理。使用ROI圈定你想读的目标，可以减少处理时间，增加精度。传统的感兴趣区域划分是需要人工提前在图像上标定出一个范围，对于不同的场景都需要重新标定。
[0003] 在大数据的应用中，开发人员需要标注极大规模的数据后才能使用，通常数据标注是需要人工手动标注的，这存在极大的时间及金钱的成本消耗。
[0004] 如果直接减少标注数据的使用量，会直接降低感兴趣区域的划定准确性，出现漏划的问题。若为了提升感兴趣区域的划定准确性，而大量使用标注数据，则会产生巨大的成本问题。
发明内容
[0005] 本发明提供了一种图像感兴趣区域自动生成方法及系统及图像处理方法，用以自动标定图像中的感兴趣区域。本方法及系统能避免在不同场景划定图像中感兴趣区域时都需要重新手动划定的麻烦，提高计算机视觉软件开发的工作效率。本方法及系统减少了标记数据的需求，节约了人力及经济成本。
[0006] 为实现上述目的，本发明提供了一种图像感兴趣区域自动生成方法，所述方法包括：
[0007] 采集预设场景下拍摄的若干个第一图像，标注第一图像中的预设目标，得到训练数据；
[0008] 采集训练数据中的预设目标的位置信息；
[0009] 基于采集的预设目标的位置信息，得到预设目标在预设场景下的第一位置图；
[0010] 利用训练数据训练目标识别网络，得到训练后的目标识别网络；
[0011] 采集预设场景下拍摄的多个第二图像，利用训练后的目标识别网络识别第二图像中的预设目标，得到若干个预设目标的第二位置图；
[0012] 融合第一位置图与若干个第二位置图生成感兴趣区域。
[0013] 其中，本方法的原理为：本方法基于半监督学习与大数据理论，通过预训练网络识别场景中的目标，记录已识别目标的位置，利用高斯核卷积及相关图像处理技术自动生成该场景的感兴趣区域。能避免在不同场景标定图像中感兴趣区域时都需要重新手动标定的麻烦，能提高计算机视觉软件开发的工作效率，减少了标记数据的需求，节约了人力及经济成本。同时，可以显著增加可使用的数据量，从而提升感兴趣区域的划定精度。本方法及系统减少使用感兴趣区域的工程难度，使感兴趣区域处理能更广泛使用于计算机视觉领域的工程实践中，从而提升计算机处理图像的准确性和效率。
[0014] 优选的，第二图像的个数大于第一图像的个数。即只需要少量已标记数据即可完成大量无标记数据的处理。
[0015] 优选的，所述方法还包括：
[0016] 杂波过滤生成感兴趣区域；
[0017] 二值化杂波过滤后的感兴趣区域。
[0018] 其中，杂波过滤处理可以有效消除图像中的斑点，即去除一些周边的噪点，提高感兴趣区域的划定精度，然后将场景分割成目标可能出现的目标区域以及目标不太可能出现的背景区域。
[0019] 优选的，杂波过滤生成感兴趣区域，具体为：对图像进行边缘检测，消除检测出的边长小于5像素的斑点。
[0020] 优选的，二值化杂波过滤后的感兴趣区域，具体包括：将图像中大于1的像素置为1，其余像素置为0。
[0021] 优选的，所述基于预设目标的位置信息，得到预设目标在预设场景下的第一位置图，具体包括：基于预设目标的位置信息，利用高斯核卷积将预设目标转换为覆盖预设目标的一块圆斑，得到预设目标在预设场景下的第一位置图。
[0022] 优选的，利用高斯核卷积将预设目标转换为覆盖预设目标的一块圆斑采用的公式为：
[0023]
[0024] 其中，G(x,y)为单一的目标出现位置图，x为横坐标，y为纵坐标，π为圆周率，σ为高斯核大小，e为自然常数。
[0025] 优选的，融合第一位置图与若干个第二位置图生成感兴趣区域采用的公式为：
[0026] ROI＝∑mG(x,y)
[0027] 其中，ROI为感兴趣区域，m为图片编号，G(x,y)为单一的目标出现位置图。融合第一位置图与若干个第二位置图生成感兴趣区域能充分利用大数据的优势，在统计学上尽量使所获得目标出现位置概率逼近真实情况，使本方法得到的感兴趣区域覆盖范围更加全面、准确。
[0028] 同时，本发明还提供了一种图像感兴趣区域自动生成系统，所述系统包括：
[0029] 训练数据获得单元，用于采集预设场景下拍摄的若干个第一图像，标注第一图像中的预设目标，得到训练数据；
[0030] 预设目标位置信息采集单元，用于采集训练数据中的预设目标的位置信息；
[0031] 第一位置图获得单元，用于基于采集的预设目标的位置信息，得到预设目标在预设场景下的第一位置图；
[0032] 训练单元，用于利用训练数据训练目标识别网络，得到训练后的目标识别网络；
[0033] 第二位置图获得单元，用于采集预设场景下拍摄的多个第二图像，利用训练后的目标识别网络识别第二图像中的预设目标，得到若干个预设目标的第二位置图；
[0034] 感兴趣区域生成单元，用于融合第一位置图与若干个第二位置图生成感兴趣区域。
[0035] 其中，本系统还包括：
[0036] 杂波过滤单元，用于杂波过滤生成感兴趣区域；
[0037] 二值化单元，用于二值化杂波过滤后的感兴趣区域。
[0038] 本发明还提供了一种图像处理方法，所述方法包括：
[0039] 采集原始图像；
[0040] 采用所述的图像感兴趣区域自动生成方法处理原始图像，得到原始图像中的感兴趣区域；
[0041] 将感兴趣区域图与原始图像相乘，剔除原始图像中的固定背景，保留下目标可能出现的区域，得到感兴趣区域处理后的新图像；
[0042] 将感兴趣区域处理后的新图像输入神经网络中进行处理，包括但不限于：目标识别、检测、计数中的一种或几种。
[0043] 本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0044] 本方法及系统为解决常规感兴趣区域需要人为划定、对于不同场景需要重新划定感兴趣区域，耗时耗力的问题，提出了一种基于半监督学习及大数据融合的感兴趣区域自动划定方法及系统，本方法及系统利用基于大数据的方式，从图像中遮蔽掉场景中的背景区域，从而划定感兴趣区域。本方法及系统能自动从场景中划定出背景外的区域，解决了软件开发人员面对新场景时需要重新人为划定感兴趣区域，去除背景干扰的麻烦，能有效提高软件开发人员的工作效率与开发进度。同时本方法及系统使用的半监督学习的方式，能减少对标记数据的需求量，提升数据的利用率，从而节约成本。
附图说明
[0045] 此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；
[0046] 图1是本发明中图像中感兴趣区域的自动生成方法的流程示意图；
[0047] 图2是本发明中图像中感兴趣区域的自动生成系统的组成示意图。
具体实施方式
[0048] 为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
[0049] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0050] 实施例一
[0051] 本发明实施例一提出了一种图像中感兴趣区域的自动生成方法，本方法基于半监督学习与大数据理论，通过预训练网络对场景中的目标进行识别，记录已识别目标的位置，利用高斯核卷积及相关图像处理技术自动生成该场景的感兴趣区域。
[0052] 其中，请参考图1，感兴趣区域自动生成流程如下：
[0053] 采集预设场景下拍摄的若干图像，标注图像中的预设目标，得到训练数据；
[0054] 利用训练数据训练目标识别网络，得到训练后的目标识别网络，目标识别网络能够识别出图像中的预设目标，其中，目标识别网络可以为包括但不限于传统的VGG、Resnet、SSD或YOLO算法网络，也可是自定义的算法网络；
[0055] 采集已有的训练数据中目标的位置；
[0056] 统计已有训练数据中的目标位置；利用高斯核卷积将上述步骤的识别到的目标转换为覆盖目标的一块圆斑。这样得到了一个目标在预设场景下可能出现的第一位置图。其数学原理如下所示：
[0057]
[0058] 其中，x为横坐标，y为纵坐标，π为圆周率，σ为高斯核大小，e为自然常数。
[0059] 利用半监督学习原理，扩充目标位置数据。使用预先训练的网络对目标场景进行无感兴趣区域处理图片的目标识别。大量采集识别目标后图片，得到大量含有目标的第二位置图。
[0060] 感兴趣区域生成。将第一位置图与生成的各张目标第二位置图全部融合到一张图中：
[0061] ROI＝∑mG(x,y)
[0062] 其中ROI为感兴趣区域，m为图片编号，G(x,y)为单一的目标出现位置图。
[0063] 对感兴趣区域做杂波过滤。对图像做边缘检测，消除检测出的边长小于5像素的斑点。
[0064] 将感兴趣区域做二值化处理。将图像中小于1像素值的像素置为0，其余像素像素值置为1。获得可以直接用于切割原始图像的感兴趣区域图。
[0065]
[0066] 其中，a为像素值。
[0067] 实施例二，请参考图2，本发明实施例二提供了一种图像感兴趣区域自动生成系统，所述系统包括：
[0068] 训练数据获得单元，用于采集预设场景下拍摄的若干个第一图像，标注第一图像中的预设目标，得到训练数据；
[0069] 预设目标位置信息采集单元，用于采集训练数据中的预设目标的位置信息；
[0070] 第一位置图获得单元，用于基于预设目标的位置信息，得到预设目标在预设场景下的第一位置图；
[0071] 训练单元，用于利用训练数据训练目标识别网络，得到训练后的目标识别网络；
[0072] 第二位置图获得单元，用于采集预设场景下拍摄的多个第二图像，利用训练后的目标识别网络识别第二图像中的预设目标，得到若干个预设目标的第二位置图；
[0073] 感兴趣区域生成单元，用于融合第一位置图与若干个第二位置图生成感兴趣区域。
[0074] 其中，本系统还包括：
[0075] 杂波过滤单元，用于杂波过滤生成感兴趣区域；
[0076] 二值化单元，用于二值化杂波过滤后的感兴趣区域。
[0077] 实施例三
[0078] 本发明实施例三提供了一种图像处理方法，所述方法包括：
[0079] 采集原始图像；
[0080] 采用所述的图像感兴趣区域自动生成方法处理原始图像，得到原始图像中的感兴趣区域；
[0081] 将感兴趣区域图与原始图像相乘，剔除原始图像中的固定背景，保留下目标可能出现的区域，得到感兴趣区域处理后的新图像；
[0082] 将感兴趣区域处理后的新图像输入到神经网络中进行处理，包括但不限于：目标识别、检测、计数中的一种或几种。
[0083] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0084] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
