基于图像处理的物体安全监测方法及控制端转让专利
申请号 : CN202110621778.4
文献号 : CN113077506B
文献日 : 2021-08-10
发明人 : 钟松杏 , 张阳川 , 林宇鹏 , 吴泽琛
申请人 : 深圳联合安防科技有限公司 , 厦门安科科技有限公司
摘要 :
权利要求 :
1.基于图像处理的物体安全监测方法,其特征在于,包括步骤:S1、获取待处理图像数据,识别并截取所述待处理图像数据中的待检测物体的平面数据;
S2、计算并得到所述平面数据中每一个位置的原始光照强度,获取预先采集的光照强度补偿关系,依据所述光照强度补偿关系对所述平面数据上的每一个位置的原始光照强度进行换算,得到换算后的相对光照强度,所述光照强度补偿关系为在标准垂直面上所采集的不同位置之间的光照强度比例系数;
S3、根据所述平面数据中每一个位置的所述相对光照强度得到所述待检测物体上待检测面的倾斜程度和平整程度;
步骤S2具体包括以下步骤:
S21、将所述平面数据按照预设裁剪方式分割成多个局部面数据,当所述预设裁剪方式为按行裁剪执行步骤S22,当所述预设裁剪方式为按列裁剪则执行步骤S23,当所述预设裁剪方式为按方格裁剪则执行步骤S24;
S22、对每一个所述局部面数据进行光照强度的平均值计算,得到每一个所述局部面数据的第一原始平均值,获取预先采集的第一光照强度补偿关系,依据所述第一光照强度补偿关系对所述平面数据上的每一个位置的第一原始平均值进行换算,得到换算后的第一相对平均值,之后执行步骤S31,所述第一光照强度补偿关系为在标准垂直面上所采集的不同行之间的光照强度比例系数;
S23、对每一个所述局部面数据进行光照强度的平均值计算,得到每一个所述局部面数据的第二原始平均值,获取预先采集的第二光照强度补偿关系,依据所述第二光照强度补偿关系对所述平面数据上的每一个位置的第二原始平均值进行换算,得到换算后的第二相对平均值,之后执行步骤S32,所述第二光照强度补偿关系为在标准垂直面上所采集的不同列之间的光照强度比例系数;
S24、对每一个所述局部面数据进行光照强度的平均值计算,得到每一个所述局部面数据的第三原始平均值,获取预先采集的第三光照强度补偿关系和第四光照强度补偿关系,依据所述第三光照强度补偿关系对每一个所述局部面数据的第三原始平均值进行换算,得到换算后的第三相对平均值,依据所述第四光照强度补偿关系对每一个所述局部面数据上每一个位置的光照强度进行换算,得到换算后的相对位置光照强度,对每一个所述局部面数据的所有相对位置光照强度进行方差计算,得到局部面方差值,之后执行步骤S33和步骤S34,所述第三光照强度补偿关系为在标准垂直面上所采集的不同方格之间的光照强度比例系数,所述第四光照强度补偿关系为在标准垂直面上所采集的每一个方格内的不同位置之间的光照强度比例系数;
步骤S3具体包括以下步骤:
S31、根据每一个所述局部面数据在整个待检测面的位置和对应的第一相对平均值得到所述待检测面在垂直方向上的倾斜程度;
S32、根据每一个所述局部面数据在整个待检测面的位置和对应的第二相对平均值得到所述待检测面在水平方向上的倾斜程度;
S33、根据每一个所述局部面数据在整个待检测面的位置和对应的第三相对平均值得到所述待检测面在每一个方格内的平整程度;
S34、根据每一个所述局部面数据所对应的局部面方差值得到所述待检测面在每一个方格内的平整程度;
根据所述标准垂直面在不同的标准光照强度下所得到的参考光照强度拟合成标准‑参考光照强度曲线,对所述标准垂直面所拍摄的图片经过所述光照强度补偿关系之后所得到的光照强度即为参考光照强度,所述标准光照强度为光照强度传感器所采集的当前环境光照强度;
步骤S31具体包括以下步骤:
S311、获取实时标准光照强度,根据所述实时标准光照强度和所述标准‑参考光照强度曲线得到实时参考光照强度;
S312、将所有所述第一相对平均值进行求平均值和方差,得到实时光照强度平均值和第一实时光照强度方差;
S313、判断所述实时参考光照强度和所述实时光照强度平均值的差值是否在平均值阈值内且所述第一实时光照强度方差是否在垂直方差阈值内,若是,则所述待检测面在垂直方向上的倾斜程度为无倾斜,否则根据每一个所述第一相对平均值与所述实时参考光照强度的大小关系确定其对应位置的倾斜方向和倾斜角度;
步骤S32具体包括以下步骤:
S321、将所有所述第二相对平均值进行求平均值和方差,得到实时光照强度平均值和第二实时光照强度方差;
S322、判断所述实时参考光照强度和所述实时光照强度平均值的差值是否在平均值阈值内且所述第二实时光照强度方差是否在水平方差阈值内,若是,则所述待检测面在水平方向上的倾斜程度为无倾斜,否则根据每一个所述第二相对平均值与所述实时参考光照强度的大小关系确定其对应位置的倾斜方向和倾斜角度;
步骤S33具体包括以下步骤:
S331、将所有所述第三相对平均值进行求平均值和方差,得到实时光照强度平均值和第三实时光照强度方差;
S332、判断所述实时参考光照强度和所述实时光照强度平均值的差值是否在平均值阈值内且所述第三实时光照强度方差是否在第一方格方差阈值内,若是,则所述待检测面在每一个方格上的平整程度均为初步平整,否则根据每一个所述第三相对平均值与所述实时参考光照强度的大小关系确定对应的方格的平整程度为不平整;
步骤S34具体包括以下步骤:
对每一个所述局部面数据判断所对应的局部面方差值是否在第二方格方差阈值内且该所述局部面数据所对应的方格已标记平整程度为初步平整,若是,则对应的方格的平整程度为平整,否则将所述局部面方差值超过所述第二方格方差阈值的所述局部面数据所对应的方案的平整程度确定为不平整;
步骤S34之后还包括以下步骤:对每一个被认为存在倾斜的行、列位置以及每一个被确定为不平整的方格进行标记显示。
2.根据权利要求1所述的基于图像处理的物体安全监测方法,其特征在于,步骤S21中所述按方格裁剪设置有多次,且按照裁剪顺序每一次所裁剪的方格尺寸逐渐减小;
若所述按方格裁剪为首次,则直接执行步骤S24,并判断步骤S33和步骤34中所得到的每一个方格内的平整程度是否存在一个方格为不平整的,若存在,则将平整程度为不平整的方格进行第二次的按方格裁剪,得到第二次裁剪后的局部面数据之后执行步骤S24,如此循环,直至所述按方格裁剪的次数到达最大次数,得到的每一个最小尺寸的方格内的平整程度。
3.根据权利要求2所述的基于图像处理的物体安全监测方法,其特征在于,还包括步骤:
在所述按方格裁剪的次数达到两次之后,若当次平整程度为不平整的当次方格处于与上一次平整程度为平整的上一次方格相邻的位置,则将相邻的上一次方格按照当次所裁剪的方格尺寸进行裁剪之后,将与所述当次方格相邻的上一次子方格所对应的局部面数据代入步骤S24以得到所述上一次子方格的平整程度。
4.根据权利要求2所述的基于图像处理的物体安全监测方法,其特征在于,首次所述按方格裁剪在行列上的裁剪格子分别为[1,4]。
5.根据权利要求2所述的基于图像处理的物体安全监测方法,其特征在于,若所述待检测物体的平面为由多个同等尺寸的部件拼接而成的,则所述按方格裁剪的最小格子尺寸等于拼接所用的部件。
6.根据权利要求5所述的基于图像处理的物体安全监测方法,其特征在于,所述标准垂直面为拼接所用的部件的标准垂直面。
7.根据权利要求1所述的基于图像处理的物体安全监测方法,其特征在于,步骤S1具体包括步骤:
S1、获取待处理图像数据,使用faster RCNN识别并截取所述待处理图像数据中的待检测物体的平面数据。
8.基于图像处理的物体安全监测终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一所述的基于图像处理的物体安全监测方法。
说明书 :
基于图像处理的物体安全监测方法及控制端
技术领域
背景技术
仪等设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值。图
像处理技术一般包括图像压缩,增强和复原,匹配、描述和识别3个部分。
平整。
发明内容
强度进行换算,得到换算后的相对光照强度,所述光照强度补偿关系为在标准垂直面上所
采集的不同位置之间的光照强度比例系数;
理的物体安全监测方法。
待处理图像数据中的待检测物体的平面数据之后,根据平面数据中每一个位置的原始光照
强度通过预先采集的光照强度补偿关系进行换算之后,得到可以用来比较的相对光照强
度,从而根据不同位置的相对光照强度来判断待检测物体上待检测面的整体倾斜程度和局
部平整程度。
附图说明
具体实施方式
强度进行换算,得到换算后的相对光照强度,所述光照强度补偿关系为在标准垂直面上所
采集的不同位置之间的光照强度比例系数;
数据,识别并截取待处理图像数据中的待检测物体的平面数据之后,根据平面数据中每一
个位置的原始光照强度通过预先采集的光照强度补偿关系进行换算之后,得到可以用来比
较的相对光照强度,从而根据不同位置的相对光照强度来判断待检测物体上待检测面的整
体倾斜程度和局部平整程度。
设裁剪方式为按方格裁剪则执行步骤S24;
度补偿关系对所述平面数据上的每一个位置的第一原始平均值进行换算,得到换算后的第
一相对平均值,之后执行步骤S31,所述第一光照强度补偿关系为在标准垂直面上所采集的
不同行之间的光照强度比例系数;
度补偿关系对所述平面数据上的每一个位置的第二原始平均值进行换算,得到换算后的第
二相对平均值,之后执行步骤S32,所述第二光照强度补偿关系为在标准垂直面上所采集的
不同列之间的光照强度比例系数;
系,依据所述第三光照强度补偿关系对每一个所述局部面数据的第三原始平均值进行换
算,得到换算后的第三相对平均值,依据所述第四光照强度补偿关系对每一个所述局部面
数据上每一个位置的光照强度进行换算,得到换算后的相对位置光照强度,对每一个所述
局部面数据的所有相对位置光照强度进行方差计算,得到局部面方差值,之后执行步骤S33
和步骤S34,所述第三光照强度补偿关系为在标准垂直面上所采集的不同方格之间的光照
强度比例系数,所述第四光照强度补偿关系为在标准垂直面上所采集的每一个方格内的不
同位置之间的光照强度比例系数;
光照强度比例系数的换算,同时,在后续计算的时候,只需要裁剪区域的光照强度进行平均
之后再进行换算和后续的计算,而对于整体倾斜来说,只需要裁剪区域之间的比对即可,无
需细化到局部的比较,从而在保证能实时监测物体倾斜程度和定位倾斜大小方向的同时大
幅度降低计算量以降低对终端处理能力的要求;此外,对于局部的平整度来说,将其裁剪成
不同的方格,由不同方格的均值来判断该方格内是否存在局部不平整的现象,不仅无需对
整个面上的所有位置进行一起计算从而降低了计算量,而且能够定位到发生局部不平整的
现象,从而能实时监测和定位到不平整位置的同时大幅度降低计算量以降低对终端处理能
力的要求。即上述实施方式能实时监测整体倾斜程度和局部平整程度,并能快速定位到倾
斜大小方向和不平整位置。
平整的方格进行第二次的按方格裁剪,得到第二次裁剪后的局部面数据之后执行步骤S24,
如此循环,直至所述按方格裁剪的次数到达最大次数,得到的每一个最小尺寸的方格内的
平整程度。
接采用最小方格的方式裁剪,则对于较大位置不平整被裁剪后存在数据失真问题,从而无
法很好的反映较大区域的不平整,另外,对于裁剪的方格越小,则方格的数量越多,影响因
子的数量变多,在设置阈值过大过小都会有可能造成结果的误差;另一方面,也避免了方格
过大而无法定位到发生不平整的具体位置的问题。而采用了逐层缩小检测范围,首次的方
格大、数量少,能覆盖较大区域的不平整以更好的设置合理的阈值以达到更好的检测结果,
之后不断缩小,最终定位到发生不平整的具体位置。即上述实施方式在保持平整程度的检
测准确性的同时能快速定位到不平整的具体位置。
裁剪的方格尺寸进行裁剪之后,将与所述当次方格相邻的上一次子方格所对应的局部面数
据代入步骤S24以得到所述上一次子方格的平整程度。
位置,则相邻格子之间是有可能构成一个较大的不平整区域,只是因为当次方格对于上一
次方格的影响未达到认为上一次方格为不平整的情况,由此,将其相邻的当次方格的上一
次子方格也进行平整度检测,从而更加精准的识别出不平整位置。
关系之后所得到的光照强度即为参考光照强度,所述标准光照强度为光照强度传感器所采
集的当前环境光照强度;
垂直方向上的倾斜程度为无倾斜,否则根据每一个所述第一相对平均值与所述实时参考光
照强度的大小关系确定其对应位置的倾斜方向和倾斜角度;
水平方向上的倾斜程度为无倾斜,否则根据每一个所述第二相对平均值与所述实时参考光
照强度的大小关系确定其对应位置的倾斜方向和倾斜角度;
面在每一个方格上的平整程度均为初步平整,否则根据每一个所述第三相对平均值与所述
实时参考光照强度的大小关系确定对应的方格的平整程度为不平整;
平整程度为平整,否则将所述局部面方差值超过所述第二方格方差阈值的所述局部面数据
所对应的方案的平整程度确定为不平整;
境光照强度以进行光照强度的转换,从而使得在实时条件下不同光照强度所对应的最终检
测光照强度数值也具有参考和比较的价值,以用来判断其是否整体倾斜或是否存在局部不
平整。
基于图像处理的物体安全监测方法。
数据,识别并截取待处理图像数据中的待检测物体的平面数据之后,根据平面数据中每一
个位置的原始光照强度通过预先采集的光照强度补偿关系进行换算之后,得到可以用来比
较的相对光照强度,从而根据不同位置的相对光照强度来判断待检测物体上待检测面的整
体倾斜程度和局部平整程度。
算,得到换算后的相对光照强度,光照强度补偿关系为在标准垂直面上所采集的不同位置
之间的光照强度比例系数;
体包括以下步骤:
格裁剪则执行步骤S24;
剪的次数只有两次,也不代表图2中诸如c5这个格子代表的就是爬架网,其具体根据爬架的
应用场景进行适应性的裁剪和对应到次数,比如一个爬架是由27*9组成,首次按照3*3裁
剪,则首次的方格为9*3个爬架组成,则第二次按照3*3裁剪之后的方格为3*1方格,由此,当
行或列上已经是最小的采集方格时,则可以考虑停止,即按方格裁剪的最小格子尺寸的行
或列上有一个尺寸等于爬架网即可。
平面数据上的每一个位置的第一原始平均值进行换算,得到换算后的第一相对平均值,之
后执行步骤S31,第一光照强度补偿关系为在标准垂直面上所采集的不同行之间的光照强
度比例系数;
况下作为标准垂直面,由此可以通过多次采集等手段来保证光照强度补偿关系的相对精确
性。
光照强度是相对于原始光照强度的,因此将换算之后的光照强度称为相对光照强度。同时,
上述的第一原始平均值是对原始光照强度的平均值计算,而换算之后的平均值是相对于第
一原始平均值的,因此将换算之后的平均值称为第一相对平均值。
平面数据上的每一个位置的第二原始平均值进行换算,得到换算后的第二相对平均值,之
后执行步骤S32,第二光照强度补偿关系为在标准垂直面上所采集的不同列之间的光照强
度比例系数;
第三光照强度补偿关系对每一个局部面数据的第三原始平均值进行换算,得到换算后的第
三相对平均值,依据第四光照强度补偿关系对每一个局部面数据上每一个位置的光照强度
进行换算,得到换算后的相对位置光照强度,对每一个局部面数据的所有相对位置光照强
度进行方差计算,得到局部面方差值,之后执行步骤S33和步骤S34,第三光照强度补偿关系
为在标准垂直面上所采集的不同方格之间的光照强度比例系数,第四光照强度补偿关系为
在标准垂直面上所采集的每一个方格内的不同位置之间的光照强度比例系数;
关系之后所得到的光照强度即为参考光照强度,标准光照强度为光照强度传感器所采集的
当前环境光照强度,一般情况下,我们认为通过光照强度传感器所采集的环境光照强度是
标准的,因此将其命名为标准光照强度。
数值按照光照强度补偿关系之后,所有原始的光照强度值就都转换为作为参考的那个光照
强度数值,具体见下面示例的100。
为纵轴坐标值,放入坐标系中,采用现有技术就可以拟合成符合这一组数据的曲线和对应
的公式。
摄所用的摄像头与标准垂直面的距离和角度和在后续监测时的保持一致。
先对标准垂直面都进行了光照强度的计算,则不同位置之间就有不同的光照强度数值,只
要任意确定一个光照强度作为1,其他数据以及原始的光照强度数值的比例关系就可以换
算为光照强度补偿关系,比如有两个位置的光照强度数值分别为100和110,若以100这个位
置的光照强度数值作为1,则110这个位置的比例系数就是约等于0.9091,这样1和0.9091之
间就形成了一个光照强度补偿关系,由此,待检测面的所有位置都可以依次类推以形成光
照强度补偿关系。
得到的,由此根据不同位置之间的相对光照强度可以知晓这个待检测面和标准垂直面之间
的偏差,从而计算出其倾斜程度。
较。应当注意的是,这是在其他等同实施例中,而非本实施例中,因此,这段的描述不应当影
响本实施例中后续的描述。
照强度就得到监测过程中这个采集时刻下的一个实时参考光照强度。
前参考的那个光照强度值,即实时参考光照强度的数值100。
可以判断出,因此需要平均值和方差的同时计算。
程度为无倾斜,否则根据每一个第一相对平均值与实时参考光照强度的大小关系确定其对
应位置的倾斜方向和倾斜角度;
值出入较大,从而通过判断平均值和实时参考光照强度的大小关系确定其位置,并根据两
者的差值确定倾斜方向和倾斜角度。
强度”,但为了和实时监测中即步骤S1至步骤S3中的原始光照强度区分,此处称为原始的光
照强度,那么对于图片中待检测面每一个位置都有一个原始的光照强度,选取其中一个作
为参考数值,即为参考光照强度,这样待检测面每一个位置的原始的光照强度就和这个参
考光照强度进行对应转换得到光照强度补偿关系。而此时,光照强度传感器在摄像头对标
准垂直面进行拍摄得到图片的同时得到一个当前的环境光照强度即为标准光照强度。
始的光照强度作为参考光照强度,因为不同光照环境下右上顶点的原始的光照强度不同,
则参考光照强度不同。而光照强度传感器也一一对应采集到多个标准光照强度,将多个参
考光照强度和多个标准光照强度一一对应就拟合成了标准‑参考光照强度曲线,这样前期
的数据采集工作便完成了。
通过标准‑参考光照强度曲线转换后的数值称为实时参考光照强度。
程度为无倾斜,否则根据每一个第二相对平均值与实时参考光照强度的大小关系确定其对
应位置的倾斜方向和倾斜角度;
的平整程度均为初步平整,否则根据每一个第三相对平均值与实时参考光照强度的大小关
系确定对应的方格的平整程度为不平整;
为平整,否则将局部面方差值超过第二方格方差阈值的局部面数据所对应的方案的平整程
度确定为不平整;
平整的方格进行第二次的按方格裁剪,得到第二次裁剪后的局部面数据之后执行步骤S24,
如此循环,直至按方格裁剪的次数到达最大次数,得到的每一个最小尺寸的方格内的平整
程度。
骤S24循环。
的方格尺寸进行裁剪之后,将与当次方格相邻的上一次子方格所对应的局部面数据代入步
骤S24以得到上一次子方格的平整程度。
S33和S34之后得到的结果为编号为c5的方格不平整,则不存在与上一次方格相邻,因此无
需进行其他方格的裁剪检测。若此时得到的结果为编号为c8的方格不平整,则相邻有第二
行第三列的大方格,该大方格中编号为f2的小方格与编号为c5的小方格相邻,因此,将编号
为f2的方格所对应的局部面数据代入步骤S24以得到其平整程度。若此时得到的结果为编
号为c7的方格不平整,则有编号为b9、e3和f1三个方格与其相邻,则三个都进行再次监测。
是编号为b9、e3和f1的这一步就已经能监测出不平整的大区域。而再大区域的不平整则已
经造成了倾斜,因此在步骤S32至S34就可以识别出了。
剪数值大于单次裁剪的最大数的N次方数且小于单次裁剪的最大数的N+1次方数,则按方格
裁剪的次数为N+1,N为正整数;
因此,35*13爬架网按方格裁剪的次数为3。
两两组合,得到每一次按方格裁剪的裁剪数量,其中,可选数值为1的优先级最低,两两组合
中部件行数量为从大到小排列且部件列数量为从小到大排列来进行同一排列位置上的组
合;
其小于的3个可选数值分别为4、3和3。对于部件列数量13来说,其三个可选数值很多,接近
且小于的有2*2*4=16、1*4*4=16以及2*3*3=18,其中,可选数值为1的优先级最低,因此与部
件列数量最接近且其小于的3个可选数值分别为2、2和4。
次为3*4,即分别为8、6、12。
后向上取整的数作为列方格数量,并按照从上到下以及从左到右依次裁剪得到多个局部面
数据。
个局部面数据。
每一次裁剪的格子数量并保证其更加合理有效,从而使得按方格裁剪方式来计算整个平面
的倾斜程度和平整程度的结果更加准确。
例二或实施例三的步骤。
在本发明的专利保护范围内。