仪表图像样本制作方法及系统、存储介质、电子设备转让专利
申请号 : CN202011162752.X
文献号 : CN112367461B
文献日 : 2021-12-17
发明人 : 哈谦
申请人 : 京东方科技集团股份有限公司
摘要 :
权利要求 :
1.一种仪表图像样本制作方法,其特征在于,包括:向恒定参数装置发送恒定参数指令,以使所述恒定参数装置根据所述恒定参数指令控制目标对象的参数,所述恒定参数指令包括目标参数;
控制拍摄装置在预设轨道上进行运动,并在所述拍摄装置运动的过程中,控制所述拍摄装置对所述目标对象进行拍摄,以生成目标信息;
基于目标检测算法对所述目标信息进行目标检测处理,以得到与所述目标信息对应的目标图像样本,将所述目标参数配置为所述目标图像样本的标签,并基于所述目标图像样本生成神经网络模型的训练样本。
2.根据权利要求1所述的仪表图像样本制作方法,其特征在于,在所述预设轨道上设置有第一终点和第二终点;
在向恒定参数装置发送恒定参数指令之前,所述方法还包括:向运动装置发送归零指令,以使所述运动装置在所述预设轨道上从当前位置运动至所述第一终点或所述第二终点,其中,所述拍摄装置跟随所述运动装置进行运动。
3.根据权利要求2所述的仪表图像样本制作方法,其特征在于,控制拍摄装置在预设轨道上进行运动,包括:
通过控制所述运动装置,以使所述拍摄装置跟随所述运动装置在所述预设轨道的所述第一终点和所述第二终点之间做往返运动。
4.根据权利要求1所述的仪表图像样本制作方法,其特征在于,控制所述拍摄装置对所述目标对象进行拍摄,以生成目标信息,包括:控制所述拍摄装置每间隔预设时间段对所述目标对象进行拍摄,以生成所述目标信息。
5.根据权利要求1所述的仪表图像样本制作方法,其特征在于,基于目标检测算法对所述目标信息进行目标检测处理,以得到与所述目标信息对应的目标图像样本,包括:获取所述目标信息对应的多个目标图像帧,基于所述目标检测算法在各所述目标图像帧中确定所述目标对象对应的目标区域,并根据各所述目标区域的位置坐标在所述目标图像帧中截取所述目标图像样本。
6.根据权利要求1所述的仪表图像样本制作方法,其特征在于,在控制拍摄装置在预设轨道上进行运动之前,所述方法还包括:在向所述恒定参数装置发送所述恒定参数指令之后的预设时刻,开启所述拍摄装置。
7.根据权利要求3所述的仪表图像样本制作方法,其特征在于,所述方法还包括:在所述运动装置在所述第一终点和所述第二终点之间进行一次往返运动之后,向所述恒定参数装置发送参数变更指令,以使所述恒定参数装置根据所述参数变更指令控制所述目标对象的参数上升或下降预设参数;
将上升或下降所述预设参数之后的所述目标对象的参数作为新的目标参数,执行所述权利要求1至6中的样本制作方法,直到所述目标对象的参数达到参数阈值。
8.一种仪表图像样本制作系统,其特征在于,所述样本制作系统包括目标对象、恒定参数装置、拍摄装置、控制装置,其中:所述恒定参数装置,用于接收所述控制装置发送的恒定参数指令,并根据所述恒定参数指令控制目标对象的参数,所述恒定参数指令包括目标参数;
所述拍摄装置,用于在所述控制装置的控制下,在预设轨道上进行运动,并在运动的过程中对所述目标对象进行拍摄,以生成目标信息;
所述控制装置,用于执行权利要求1至7任一项所述的仪表图像样本制作方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的仪表图像样本制作方法。
10.一种电子设备,其特征在于,包括:一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至7中任一项所述的仪表图像样本制作方法。
说明书 :
仪表图像样本制作方法及系统、存储介质、电子设备
技术领域
背景技术
中,采用大量的高质量图像样本对人工智能模型进行训练,是影响其图像处理效果的重要
因素之一。
发明内容
数指令控制目标对象的参数,所述恒定参数指令包括目标参数;控制拍摄装置在预设轨道
上进行运动,并在所述拍摄装置运动的过程中,控制所述拍摄装置对所述目标对象进行拍
摄,以生成目标信息;基于目标检测算法对所述目标信息进行目标检测处理,以得到与所述
目标信息对应的目标图像样本,将所述目标参数配置为所述目标图像样本的标签,并基于
所述目标图像样本生成神经网络模型的训练样本。
令,以使所述运动装置在所述预设轨道上从当前位置运动至所述第一终点或所述第二终
点,其中,所述拍摄装置跟随所述运动装置进行运动。
点和所述第二终点之间做往返运动。
生成所述目标信息。
目标图像帧,并基于所述目标检测算法在各所述目标图像帧中确定所述目标对象对应的目
标区域,根据各所述目标区域的位置坐标在所述目标图像帧中截取所述目标图像样本。
以使所述恒定参数装置根据所述参数变更指令控制所述目标对象的参数上升或下降预设
参数;将上升或下降所述预设参数之后的所述目标对象的参数作为新的目标参数,执行上
述示例性实施例中的仪表图像样本制作方法,直到所述目标对象的参数达到参数阈值。
置根据所述恒定参数指令控制目标对象的参数,所述恒定参数指令包括目标参数;运动控
制模块,用于控制拍摄装置在预设轨道上进行运动,并在所述拍摄装置运动的过程中,控制
所述拍摄装置对所述目标对象进行拍摄,以生成目标信息;目标检测模块,用于基于目标检
测算法对所述第一目标图像进行目标检测处理,以得到与所述目标信息对应的目标图像样
本,将所述目标参数配置为所述目标图像样本的标签,并基于所述目标图像样本生成神经
网络模型的训练样本。
接收所述控制装置发送的恒定参数指令,并根据所述恒定参数指令控制目标对象的参数,
所述恒定参数指令包括目标参数;所述拍摄装置,用于在所述控制装置的控制下,在预设轨
道上进行运动,并在运动的过程中对所述目标对象进行拍摄,以生成目标信息;所述控制装
置,用于执行上述示例性实施例中的仪表图像样本制作方法。
得所述一个或多个处理器实现如上述实施例中所述的仪表图像样本制作方法。
制拍摄装置在预设轨道上进行运动,并在拍摄装置运动的过程中,控制拍摄装置对目标对
象进行拍摄,以生成目标信息;最后,基于目标检测算法对目标信息进行目标检测处理,以
得到与目标信息对应的目标图像样本,将目标参数配置为目标图像样本的标签,并基于目
标图像样本生成神经网络模型的训练样本。本公开中的仪表图像样本制作方法一方面能够
通过自动控制恒定参数装置、拍摄装置实现自动化的目标图像样本制作流程,目标图像样
本和目标图像样本的标签制作过程中无需人工参与,提高了目标图像样本制作的效率;另
一方面,能够通过运动着的拍摄装置对目标对象进行拍摄生成目标信息,并通过对目标信
息进行目标检测处理得到目标图像样本,该目标图像样本包含了目标对象多个角度的图像
信息,从而使得利用该目标图像样本作为训练样本训练得到的神经网络模型自身具有倾斜
矫正能力。
附图说明
的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
这些附图获得其他的附图。
具体实施方式
全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,
或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方
法、装置、实现或者操作以避免模糊本公开的各方面。
这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
中,通常采用的方法是人工图像采集方法,但是人工采集的方法费时费力,存在图像样本制
作效率低等问题。
括以下步骤:
神经网络模型的训练样本。
制作过程中无需人工参与,提高了目标图像样本制作的效率;另一方面,能够通过运动着的
拍摄装置对目标对象进行拍摄生成目标信息,并通过对目标信息进行目标检测处理得到目
标图像样本,该目标图像样本包含了目标对象多个角度的图像信息,从而使得利用该目标
图像样本作为训练样本训练得到的神经网络模型自身具有倾斜矫正能力。
中,本公开示例性实施方式的仪表图像样本制作方法由控制装置来执行,控制装置可以是
具有计算与发送接收数据功能的电子设备,例如,可以是计算机,还可以是终端设备等,本
公开对此不作具体限定。
以通过向恒定参数装置发送指令,从而使恒定参数装置控制目标对象的参数;控制装置还
可以与拍摄装置连接,控制装置控制拍摄装置在预设轨道上进行往返运动,并控制拍摄装
置在运动的同时,对目标对象进行拍摄。
为温度为例进行说明,对于目标对象的参数的改变也应当属于本实施例保护的范围。
置,本公开对此不作具体限定。
的恒定参数装置。
20°的目标图像样本,则,目标温度可以设置为10°,还可设置为20°,即可以设置为温度范围
内的任一温度,本公开对此不作具体限定。
跟随运动装置进行同步运动。另外,运动装置还可以与控制装置连接,控制装置可以通过控
制运动装置的运动,进一步实现控制拍摄装置的运动。
线轨道,还可以是曲线轨道。图2示出了一维预设轨道的结构示意图,如图2所示,该预设轨
道为一维直线轨道210,在该一维直线轨道210上设置有第一终点211和第二终点212,可以
在一维直线轨道水平方向上的中垂线上设置目标对象。
多个矩形嵌套形成的二维矩形轨道310,在该二维矩形轨道310上设置有第一终点311和第
二终点312,可以在二维矩形轨道的中心点设置目标对象。
成的二维直线轨道的下方,还可以设置与多个直线轨道形成的二维直线轨道的中间位置,
本公开对此不作具体限定。图4示出了二维直线轨道的另一结构示意图,如图4所示,该预设
轨道为多个直线轨道形成的二维直线轨道410,在该二维直线轨道410上设置有第一终点
411和第二终点412,可以在二维直线轨道的中间位置设置目标对象。
该目标图像样本训练的模型自身具有一定的倾斜矫正能力。
道上运动时,无论拍摄装置位于预设轨道中的任一位置,拍摄装置所拍摄的目标图像中均
存在目标对象。其中,拍摄装置的拍摄参数在整个仪表图像样本制作过程中固定不变,以保
证目标图像样本的准确度。
二终点可以位于同一位置,第一终点和第二终点也可以位于不同位置。比如,若二维轨道是
一个圆形或矩形时,第一终点和第二终点位于同一位置;若二维轨道是由多个圆形或多个
矩形嵌套形成时,第一终点和第二终点位于不同位置。
点。其中,归零指令包括第一终点或第二终点的位置坐标。
预设时刻可以根据实际情况进行设定,预设时刻设定的标准是:恒定参数装置在某一时间
段内可以将目标对象的参数升高或降低至目标参数,则预设时刻即为与发送恒定参数指令
对应的时刻间隔该某一时间段的时刻。该某一时间段,可以根据在发送恒定参数指令之前
的目标对象的参数和恒定参数装置的参数控制效率计算得到。
将目标对象的参数发送至控制装置。
装置在预设轨道上的运动轨迹为:从第一终点沿着预设轨道运动至第二终点,再从第二终
点沿预设轨道运动至第一终点;若运动装置在接收到归零指令后,运动至第二终点时,则运
动装置在预设轨道上的运动轨迹为:从第二终点沿着预设轨道运动至第一终点,再从第一
终点沿预设轨道运动至第二终点。
置可以首先在二维矩形轨道310的最外圈运动一圈,再改变运动装置的位置,在与最外圈相
邻的内圈运动一圈,直到运动至目标对象的位置,再根据先内圈再外圈的方式完成一次往
返运动。另外,运动装置也可以在二维直线轨道410上做“Z”字形的往返运动,本公开对运动
装置在预设轨道上的运动形式不作具体限定。
设时间段可以根据实际情况进行设定,比如,可以是1s,也可以是2s,本公开对此不作具体
限定。
生成神经网络模型的训练样本。
图像信息利用目标检测算法进行处理;若目标信息为视频信息,则在视频信息中逐帧获取
目标图像帧,对目标图像帧利用目标检测算法进行处理。
积神经网络应用于整个目标图像帧。YOLO算法可以按照一定规则在目标图像帧上产生一系
列的候选区域,并使用卷积神经网络对候选区域的位置和类别进行预测,从而得到候选区
域中存在目标对象的概率。若目标对象的中心落在一个候选区域中,则该候选区域负责检
测目标对象。因此,以YOLO算法处理可以最终得到目标对象在目标图像帧中的目标区域。
其中,基于目标检测算法对各目标图像帧进行目标检测处理,以得到与各目标图像帧对应
的目标图像样本,包括:基于目标检测算法在各目标图像帧中确定目标对象对应的目标区
域,根据各目标区域的位置坐标在目标图像帧中截取目标图像样本。
法可以通过调用训练后的目标检测模型来实现,节省了目标检测模型样本的获取。
的第二目标区域,基于第二目标区域的位置坐标在第二帧目标图像帧中截取第二目标图
像,将第二目标图像作为第二图像样本。
息中的多个目标图像帧一一读取并目标检测处理完,将处理后的多个图像样本作为目标图
像样本。
际情况进行设定,比如,可以将目标图像样本的像素大小调整为224*224,还可以是其它尺
寸,本公开对此不作具体限定。
夹,并以目标参数命名该文件夹;在步骤S603中,获取目标信息中的目标图像帧;在步骤
S604中,基于目标检测算法对目标图像帧进行目标检测处理;在步骤S605中,判断该目标图
像帧中是否存在目标对象,若目标图像帧中不存在目标图像帧,则执行步骤S603,读取当前
目标图像帧的下一帧目标图像帧;在步骤S606中,若目标图像帧中存在目标图像帧,则获取
目标区域,并根据目标区域的位置坐标在目标图像帧中截取目标图像样本;在步骤S607中,
对目标图像样本的尺寸进行尺寸调整;在步骤S608中,将尺寸调整后的目标图像样本命名
为N,并存储在上述文件夹中。其中,序号N为正整数,N由0 开始累加;在步骤S609中,判断当
前目标图像帧是否为目标信息中的最后一帧目标图像帧;若当前目标图像帧不是目标信息
中的最后一帧目标图像帧,则读取当前目标图像帧的下一帧目标图像帧,并执行步骤S603
至步骤S609;在步骤S610中,若当前目标图像帧是目标信息中的最后一帧目标图像帧,则关
闭拍摄装置。
或多个目标图像样本打上标签,该标签可以是目标参数。
图像样本和目标图像样本的标签同时对神经网络模型进行训练。
目标对象的参数上升或下降预设参数;将上升或下降预设参数之后的目标对象的参数作为
新的目标参数,重复上述实施例中的仪表图像样本制作方法,直到目标对象的参数达到参
数阈值。
更指令就为上升预设温度;若目标温度为20°,温度范围为10°~20°,则该参数变更指令就
为下降预设温度,本公开对此不作具体限定。
20°,则温度阈值就为10°,本公开对此也不作具体限定。
至第一终点或第二终点;在步骤S720 中,向恒定参数装置发送恒定参数指令,以使恒定参
数装置控制目标对象的参数;在步骤S730中,在向恒定参数装置发送恒定参数指令之后的
预设时刻,开启拍摄装置;在步骤S740中,控制拍摄装置在预设轨道上进行一次往返运动,
并控制拍摄装置对目标对象进行拍摄,以生成目标信息;在步骤S750中,在目标信息的生成
过程中,同时基于目标检测算法对目标信息进行目标检测处理,以得到与目标信息对应的
目标图像样本;在步骤S760中,以目标对象的当前参数作为标签,标记目标图像样本;在步
骤S770中,判断目标对象的参数是否达到参数阈值;在步骤S780中,若目标对象的参数未达
到参数阈值,则向恒定参数装置发送参数变更指令,并重复执行步骤S720至步骤S770;在步
骤S790中,若目标对象的参数达到参数阈值,结束仪表图像样本制作流程。
骤S609;若目标对象的参数未发生变化,则重复执行步骤S603至步骤S609。
功能。所述的程序可以存储于一种计算机可读存储介质中,该存储介质可以是只读存储器,
磁盘或光盘等。
处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行
的。
的实施例。
前位置运动至第一终点或第二终点,其中,拍摄装置跟随运动装置进行运动。
图像帧对应的目标图像样本。
中截取目标图像样本。
装置发送参数变更指令,以使恒定参数装置根据参数变更指令控制目标对象的参数上升或
下降预设参数;将上升或下降预设参数之后的目标对象的参数作为新的目标参数,执行上
述的仪表图像样本制作方法,直到目标对象的参数达到参数阈值。
的实施例。
地:
道上从当前位置运动至第一终点或第二终点,其中,拍摄装置903跟随运动装置进行运动,
在预设轨道上设置有第一终点和第二终点。
或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或
者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统
称为“电路”、“模块”或“系统”。
组件(包括存储单元1020和处理单元 1010)的总线1030、显示单元1040。
示例性实施方式的步骤。例如,所述处理单元1010可以执行如图1中所示的步骤S110,向恒
定参数装置发送恒定参数指令,以使恒定参数装置根据恒定参数指令控制目标对象201的
参数,恒定参数指令包括目标参数;步骤S120,控制拍摄装置在预设轨道上进行运动,并在
拍摄装置运动的过程中,控制拍摄装置对目标对象进行拍摄,以生成目标信息;步骤S130,
基于目标检测算法对目标信息进行目标检测处理,以得到与目标信息对应的目标图像样
本,将目标参数配置为目标图像样本的标签,并基于目标图像样本生成神经网络模型的训
练样本。
模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
的局域总线。
得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制
解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且,电子设备1000
还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公
共网络,例如因特网)通信。如图10所示,网络适配器1060通过总线1030与电子设备1000的
其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1000使用其它硬件和/或软
件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、 RAID系
统、磁带驱动器以及数据备份存储系统等。
实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失
性存储介质(可以是 CD‑ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算
设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的
方法。
以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所
述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发
明各种示例性实施方式的步骤。
例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以
是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者
与其结合使用。
半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举
的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读
存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器
(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介
质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其
结合使用的程序。
过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户
计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算
设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远
程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网
(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商
来通过因特网连接)。
序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或
惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求
指出。