散斑图像质量评价方法、电子设备及存储介质

摘要

本发明实施例涉及图像处理领域，公开了一种散斑图像质量评价方法、电子设备及存储介质。通过针对散斑图像中的感兴趣区域，采用第一尺寸的模板在所述感兴趣区域滑动生成多个模板窗口；以所述感兴趣区域边界向外扩张预设尺寸形成第一滑动范围，采用与所述第一尺寸相同大小的窗口在所述第一滑动范围滑动生成多个滑动窗口；针对每个模板窗口，统计以模板窗口边界向外扩张所述预设尺寸所围成的区域上生成的各滑动窗口与模板窗口的像素值的差的绝对值之和，从差的绝对值之和中选择一个所述差的绝对值之和生成用于表征模板窗口中散斑点随机性的随机结果；以模板窗口的随机结果对感兴趣区域中散斑点的随机性进行评价，以确保后续深度解算的可行性。

权利要求

1.一种散斑图像质量评价方法，其特征在于，包括：

针对散斑图像中的感兴趣区域，采用第一尺寸的模板在所述感兴趣区域滑动生成多个模板窗口；

以所述感兴趣区域边界向外扩张预设尺寸形成第一滑动范围，采用与所述第一尺寸相同大小的窗口在所述第一滑动范围滑动生成多个滑动窗口；

针对每个模板窗口，统计以所述模板窗口边界向外扩张所述预设尺寸所围成的区域上生成的各所述滑动窗口与所述模板窗口的像素值的差的绝对值之和，从所述差的绝对值之和中选择一个所述差的绝对值之和生成用于表征所述模板窗口中散斑点随机性的随机结果；

以所述模板窗口的随机结果的均值作为第二类指标，对所述感兴趣区域中散斑点的随机性进行评价，所述第二类指标越小，散斑点的随机性越好；

所述从所述差的绝对值之和中选择一个所述差的绝对值之和生成用于表征所述模板窗口中散斑点随机性的随机结果，包括：从所述差的绝对值之和中，剔除基于以所述模板窗口的中心点坐标点相邻的预设数量的像素点为中心点的所述滑动窗口所计算得到的所述差的绝对值之和；

对所述剔除后保留的所述差的绝对值之和进行归一化和反序处理，并将处理后的所述差的绝对值之和按从大到小的顺序进行排序，选择次大的所述差的绝对值之和作为所述模板窗口的随机结果。

2.根据权利要求1所述的散斑图像质量评价方法，其特征在于，所述针对散斑图像中的感兴趣区域，采用第一尺寸的模板在所述感兴趣区域滑动生成多个模板窗口，包括：针对所述散斑图像中的感兴趣区域，采用小于所述感兴趣区域尺寸的所述第一尺寸的模板，以所述模板的中心点对齐遍历所述感兴趣区域中的所有像素点，生成以所述感兴趣区域中各所述像素点为中心点的多个模板窗口。

3.根据权利要求1所述的散斑图像质量评价方法，其特征在于，所述以所述感兴趣区域边界向外扩张预设尺寸形成第一滑动范围，采用与所述第一尺寸相同大小的窗口在所述第一滑动范围滑动生成多个滑动窗口，包括：以所述感兴趣区域边界向外扩张预设尺寸形成所述第一滑动范围，采用与所述第一尺寸相同大小的窗口，以所述窗口的中心点对齐遍历所述第一滑动范围中的所有像素点，生成以所述第一滑动范围中各所述像素点为中心点的多个滑动窗口。

4.根据权利要求1所述的散斑图像质量评价方法，其特征在于，所述感兴趣区域是对所述散斑图像中散斑点进行区域分割形成的散斑区域；对所述散斑图像中散斑点进行区域分割形成散斑区域，包括：以所述散斑图像的中心散斑块作为中心模板，对所述散斑图像进行匹配搜索，得到多个搜索窗口，确定所述中心模板与各所述搜索窗口之间的零均值归一化互相关值，以及各所述搜索窗口的中心点坐标；

基于各所述搜索窗口对应的所述零均值归一化互相关值，以及各所述搜索窗口的中心点坐标对各所述搜索窗口进行聚类，得到多个第一团簇，每个所述第一团簇包含至少一个所述搜索窗口；

针对每个所述第一团簇，根据该第一团簇中各所述搜索窗口对应的所述零均值归一化互相关值，以及各所述搜索窗口的中心点坐标，确定一个所述散斑区域。

5.根据权利要求4所述的散斑图像质量评价方法，其特征在于，所述基于各所述搜索窗口对应的所述零均值归一化互相关值，以及各所述搜索窗口的中心点坐标对各所述搜索窗口进行聚类，得到多个第一团簇，包括：对各所述搜索窗口按其对应的所述零均值归一化互相关值进行聚类，得到多个第二团簇，每个所述第二团簇包含至少一个所述搜索窗口；

对各所述第二团簇按其对应的团簇中心点坐标进行聚类，得到所述多个第一团簇；

其中，所述第二团簇的团簇中心点坐标为所述第二团簇所包含的各所述搜索窗口的中心点坐标的平均值。

6.根据权利要求4所述的散斑图像质量评价方法，其特征在于，所述针对每个所述第一团簇，根据该第一团簇中各所述搜索窗口对应的所述零均值归一化互相关值，以及各所述搜索窗口的中心点坐标，确定一个所述散斑区域，包括：针对每个所述第一团簇，提取所述第一团簇中所述零均值归一化互相关值最小的第一数量的所述搜索窗口；

对所述第一数量的所述搜索窗口的中心点坐标求取平均值，并以该平均值作为中心点坐标，形成一个具有预设尺寸的所述散斑区域。

7.根据权利要求1‑3、4‑6任一项所述的散斑图像质量评价方法，其特征在于，所述方法还包括：对所述感兴趣区域中的散斑点进行位置检测，确定所述散斑点的位置；

根据所述感兴趣区域中，所述散斑点的位置、非散斑点的位置，确定所述感兴趣区域的散斑点密度和散斑点尺寸；

根据所述感兴趣区域中，所述散斑点的位置的像素值、非散斑点的位置的像素值，确定所述感兴趣区域中散斑点的平均亮度、亮度均匀性和对比度；

以所述感兴趣区域的散斑点密度和散斑点尺寸作为第一类指标、以所述感兴趣区域中散斑点的平均亮度和对比度作为第三类指标、以所述感兴趣区域中散斑点的亮度均匀性作为第四类指标，分别对所述感兴趣区域中散斑点的质量进行评价。

8.根据权利要求7所述的散斑图像质量评价方法，其特征在于，所述方法还包括：按如下指标类型的优先级顺序对所述感兴趣区域中散斑点的质量进行评价：所述第一类指标优先于所述第二类指标优先于所述第三类指标优先于所述第四类指标。

9.根据权利要求7所述的散斑图像质量评价方法，其特征在于，所述对所述感兴趣区域中的散斑点进行位置检测，确定所述散斑点的位置，包括：对所述感兴趣区域采用高斯金字塔进行上采样，对上采样得到的图像进行边缘检测得到多个像素点团簇，对每个所述像素点团簇进行多边形封闭曲线拟合，形成一个椭圆；每个所述椭圆对应为一个散斑点区域；

对形成的所述椭圆进行筛选，并将筛选后保留的椭圆对齐到所述感兴趣区域中，确定出所述感兴趣区域中所述散斑点的位置。

10.根据权利要求1所述的散斑图像质量评价方法，其特征在于，所述针对散斑图像中的感兴趣区域，采用第一尺寸的模板在所述感兴趣区域滑动生成多个模板窗口之前，还包括：对所述散斑图像进行局部归一化处理，得到所述局部归一化处理后的所述散斑图像。

11.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至10中任一所述的散斑图像质量评价方法。

12.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一所述的散斑图像质量评价方法。

说明书

散斑图像质量评价方法、电子设备及存储介质

技术领域

[0001] 本发明实施例涉及图像处理领域，特别涉及一种散斑图像质量评价方法、电子设备及存储介质。

背景技术

[0002] 随着三维测量技术和三维视觉应用的蓬勃发展，场景的三维信息获取变的尤为重要。常见的三维传感器件可分为被动式相机和主动式相机。被动式相机简单，但其三维场景深度解算不够精确，尤其是针对复杂场景。主动式相机逐渐成为行业主流，常见的时间飞跃(Time of Flight，TOF)相机、单双目结构光相机可以为场景提供较为有效的三维信息。

[0003] 特别是针对人脸识别场景，单目结构光几乎成为行业内标配，可实现高精度深度解算和人脸识别。结构光成像的硬件系统包括投射器和相机，投射器将点阵、线阵或面阵编码结构光投射至场景，相机用于接收被高度调制的结构光影像。对于人脸识别的近距离场景，相机实时接收场景的散斑图像，并基于三角测量技术实时解算出场景深度图，用于后续应用。基于深度图的三维人脸识别技术比较依赖深度图像的精度，而散斑质量的好坏关系着深度解算的精度和准确性，进而影响到三维人脸识别的好坏。

[0004] 目前，对于散斑图像的质量评价主要集中在散斑的亮度上，而对于散斑点的随机性很少涉及。散斑点的随机性表现为散斑图像中散斑点的局部随机性大小，随机性越大，表示散斑图像质量越高，其用于立体匹配深度解算的可行性越高。如何对散斑图像中散斑点的随机性进行有效评价，对于提高后续深度解算的可行性有着至关重要的意义。

发明内容

[0005] 本发明实施方式的目的在于提供一种散斑图像质量评价方法、电子设备及存储介质，能够对散斑图像中散斑点的随机性进行有效评价，以确保后续深度解算的可行性。

[0006] 为解决上述技术问题，本发明的实施方式提供了一种散斑图像质量评价方法，包括：

[0007] 针对散斑图像中的感兴趣区域，采用第一尺寸的模板在所述感兴趣区域滑动生成多个模板窗口；

[0008] 以所述感兴趣区域边界向外扩张预设尺寸形成第一滑动范围，采用与所述第一尺寸相同大小的窗口在所述第一滑动范围滑动生成多个滑动窗口；

[0009] 针对每个模板窗口，统计以所述模板窗口边界向外扩张所述预设尺寸所围成的区域上生成的各所述滑动窗口与所述模板窗口的像素值的差的绝对值之和，从所述差的绝对值之和中选择一个所述差的绝对值之和生成用于表征所述模板窗口中散斑点随机性的随机结果；

[0010] 以所述模板窗口的随机结果的均值作为第二类指标，对所述感兴趣区域中散斑点的随机性进行评价，所述第二类指标越小，散斑点的随机性越好。

[0011] 本发明的实施方式还提供了一种电子设备，包括：

[0012] 至少一个处理器；以及，

[0013] 与所述至少一个处理器通信连接的存储器；其中，

[0014] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的散斑图像质量评价方法。

[0015] 本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的散斑图像质量评价方法。

[0016] 本发明实施方式相对于现有技术而言，通过针对散斑图像中的感兴趣区域，采用第一尺寸的模板在感兴趣区域滑动生成多个模板窗口；以感兴趣区域边界向外扩张预设尺寸形成第一滑动范围，采用与第一尺寸相同大小的窗口在第一滑动范围滑动生成多个滑动窗口；针对每个模板窗口，统计以模板窗口边界向外扩张预设尺寸所围成的区域上生成的各滑动窗口与模板窗口的像素值的差的绝对值之和，从差的绝对值之和中选择一个差的绝对值之和生成用于表征所述模板窗口中散斑点随机性的随机结果；以模板窗口的随机结果的均值作为第二类指标，对感兴趣区域中散斑点的随机性进行评价，第二类指标越小，散斑点的随机性越好。本方案通过在感兴趣区域构造多个模板窗口，在包含感兴趣区域的更大区域的第一滑动范围内构造多个滑动窗口；针对每个模板窗口，根据该模板窗口所在区域及周边的滑动窗口与该模板窗口的像素值的差的绝对值之和来评价该模板窗口中散斑点的随机性，确定模板窗口的随机结果；进而基于各模板窗口的随机结果对感兴趣区域的随机性进行评价。随机性评价结果的好坏可以预测该感兴趣区域在后续深度解算的可行性，从而确保深度解算结果的有效性。

附图说明

[0017] 一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

[0018] 图1是根据本发明实施方式的散斑图像质量评价方法的具体流程图一；

[0019] 图2是根据本发明实施方式的散斑图像数据收集示意图；

[0020] 图3是根据本发明实施方式的随机性计算示意图；

[0021] 图4a是根据本发明实施方式的感兴趣区域的散斑图；

[0022] 图4b是根据本发明实施方式的感兴趣区域的随机结果图；

[0023] 图5是根据本发明实施方式的散斑图像质量评价方法的具体流程图二；

[0024] 图6是根据本发明实施方式的电子设备的结构示意图。

具体实施方式

[0025] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

[0026] 本发明的一实施方式涉及一种散斑图像质量评价方法，如图1所示，本实施例提供的散斑图像质量评价方法，包括如下步骤。

[0027] 步骤101：针对散斑图像中的感兴趣区域，采用第一尺寸的模板在感兴趣区域滑动生成多个模板窗口。

[0028] 其中，所述散斑图像可以是人脸识别场景中利用深度相机拍摄的关于人脸的散斑图像。

[0029] 如图2所示，为散斑图像数据收集示意图，包括工装台和定位板。其中，工装台包括相机和散斑投射器，投射器用于向场景中投射散斑，相机用于接收散斑图像；定位板用于距离定位，采集过程中应尽可能保证相机光轴与定位板所在平面垂直，角度不超过5度。

[0030] 在实践中，针对人脸识别场景的散斑图像质量评价，在距离工装台0.3‑1米距离范围内，摆放平面模具板、正弦模具板和人头模作为场景物。整个采集场景需要确保相机可以采集到含有场景物的散斑图像。特别的，在0.3‑1米范围内，每隔0.05米采集一组散斑图像，总计需要采集多组散斑图像，并针对采集得到的散斑图像进行量化指标计算，并基于计算的指标对散斑图像的质量进行评价。

[0031] 在一个例子中，在执行本步骤之前，可先对获取到的散斑图像进行局部归一化处理，得到局部归一化处理后的散斑图像。

[0032] 具体地，可采用如下公式对散斑图像进行局部归一化处理：

[0033] ………………………（1）

[0034] 其中，G(i,j)、G’(i,j)依次为局部灰度归一化处理前后坐标为(i,j)的像素点P的灰度值，avg、std依次为取以点P为中心的邻域窗口内灰度的平均值和标准差。

[0035] 例如，采用局部灰度归一化（Local Contrast Normalization，LCN），分别对散斑图像上坐标为(i,j)的像素点P，其灰度值为G(i,j)，取以点P为中心的邻域窗口k*k（k为常量值），计算窗口内灰度的平均值avg，标准差std，然后按照如上公式（1），计算局部灰度归一化后的灰度值G’(i,j)。

[0036] LCN方法，可以解决散斑影像亮度不均衡的问题。

[0037] 针对局部归一化处理后的散斑图像，可以从中选择出感兴趣区域（Region of Interest，ROI）。关于ROI的选取，可以是通过人工从散斑图像中框选的散斑区域，也可以是对散斑图像中散斑点进行区域分割形成的散斑区域（每个散斑区域作为一个ROI），也可以将整张散斑图像作为一个ROI。因此，从一张散斑图像中可以确定至少一个ROI作为质量评价的对象。

[0038] 其中，本实施例，对散斑图像中散斑点进行区域分割的具体方法不做限定，以下给出了区域分割的一种实现方式，包括如下步骤：

[0039] 步骤一：以散斑图像的中心散斑块作为中心模板，对散斑图像进行匹配搜索，得到多个搜索窗口，确定中心模板与各搜索窗口之间的零均值归一化互相关值，以及各搜索窗口的中心点坐标。

[0040] 具体地，以散斑图像中位于中心位置处的散斑块作为模板，记为中心模板。中心模板中的散斑点呈中心对称分布，且不会随着被投射物体表面状态不同而变形，形态较为稳定。以中心散斑块作为中心模板在散斑图像上进行匹配搜索得到多个搜索窗口。例如，假设中心散斑块尺寸宽高为w0和h0；匹配搜索完毕后得到N个搜索窗口，每个搜索窗口的宽高尺寸均为w0和h0。计算中心模板与各搜索窗口之间的零均值归一化互相关（Zero‑normalized cross‑correlation，ZNCC）值，这样每个搜索窗口对应一个ZNCC值和一个中心点坐标，则共计产生N个ZNCC值{Z_1,Z_2,...,Z_N}以及N个中心点坐标{(x_1,y_1),(x_2,y_2),...,(x_N, y_N)}。

[0041] 关于ZNCC的计算公式如下：

[0042] ………………………（2）

[0043] 其中，n为中心模板中像素点个数，(x,y)为像素点所在搜索窗口或中心模板中的坐标位置，f(x,y)为搜索窗口中(x,y)处的像素值，p(x,y)为中心模板中(x,y)处的像素值，sf为搜索窗口的像素标准差，sp为中心模板的像素标准差，uf和up依次为搜索窗口和中心模板的像素均值。

[0044] 步骤二：基于各搜索窗口对应的零均值归一化互相关值，以及各搜索窗口的中心点坐标对各搜索窗口进行聚类，得到多个第一团簇，每个第一团簇包含至少一个搜索窗口。

[0045] 具体地，遵循ZNCC值越接近的搜索窗口期望聚类为同一团簇、中心点坐标越接近的搜索窗口期望聚类为同一团簇的原则，对各搜索窗口进行聚类，得到多个团簇，且每个团簇被记为第一团簇。在每个第一团簇中包含至少一个搜索窗口。

[0046] 在一个例子中，本步骤二可以通过如下执行过程实现。

[0047] 对各搜索窗口按其对应的零均值归一化互相关值进行聚类，得到多个第二团簇，每个第二团簇包含至少一个搜索窗口；对各第二团簇按其对应的团簇中心点坐标进行聚类，得到多个第一团簇；其中，第二团簇的团簇中心点坐标为第二团簇所包含的各搜索窗口的中心点坐标的平均值。

[0048] 例如，可继续针对上述N个窗口的ZNCC值进行聚类，即ZNCC值相近的搜索窗口聚合在一起，得到P个第二团簇{1,2,...,P}，每个第二团簇中的搜索窗口个数若干；之后，对P个第二团簇团簇进行坐标聚类，即对每个第二团簇中所包含的各搜索窗口的中心点坐标求取平均值，并将该平均值作为该第二团簇的团簇中心点坐标，将团簇中心点坐标相近的第二团簇聚合到一起，得到Q个新的团簇{1,2,...,Q}，分别记为第一团簇，每个第一团簇中的窗口个数若干。

[0049] 步骤三：针对每个第一团簇，根据该第一团簇中各搜索窗口对应的零均值归一化互相关值，以及各搜索窗口的中心点坐标，确定一个散斑区域。

[0050] 具体地，根据第一团簇中各搜索窗口对应的零均值归一化互相关值，可以大致筛选出散斑区域所包含的搜索窗口，而根据各搜索窗口的中心点坐标可以更精确的确定散斑区域的位置。

[0051] 在一个例子中，本步骤三可以通过如下执行过程实现。

[0052] 针对每个第一团簇，提取第一团簇中零均值归一化互相关值最小的第一数量的搜索窗口；对第一数量的搜索窗口的中心点坐标求取平均值，并以该平均值作为中心点坐标，形成一个具有预设尺寸的散斑区域。

[0053] 例如，可继续针对上述得到的Q个第一团簇中的每个第一团簇执行如下处理，得到每个第一团簇对应的一个散斑区域。

[0054] 对第一团簇内的所有搜索窗口进行ZNCC值排序，保留ZNCC值最小的m个搜索窗口；对m个搜索窗口的ZNCC值求取平均值作为该第一团簇的ZNCC值；对m个搜索窗口的中心点坐标求取平均值，将其作为该第一团簇的中心点，并以该中心点作为该团簇对应的散斑区域的中心点坐标，以(w0,h0)为宽高构造散斑区域。

[0055] 进一步的，Q个团簇可以得到Q个散斑区域，其中每个散斑区域对应有一个ZNCC值（第一团簇的ZNCC值）和一个中心点坐标，对Q个ZNCC值进行从大到小排序，取前K个ZNCC值对应的散斑区域作为最终的散斑区域。每个散斑区域可作为一个感兴趣区域执行后续步骤。

[0056] 在确定了感兴趣区域后，可以采用第一尺寸的模板在感兴趣区域滑动生成多个模板窗口。本实施例中，对感兴趣区域以及各种模板的具体形状不做限定，可优先选择矩形。

[0057] 在一个例子中，可针对散斑图像中的感兴趣区域，采用小于感兴趣区域尺寸的第一尺寸的模板，以模板的中心点对齐遍历感兴趣区域中的所有像素点，生成以感兴趣区域中各像素点为中心点的多个模板窗口。

[0058] 如图3所示，每个框的标注在其左下方，W0为散斑图像，W1为ROI，W2为模板，W3为模板最大滑动范围。已知一张散斑图像W0，从图像中选取一个W1作为ROI，在ROI内，以第一尺寸为BxB的正方形窗口W2作为模板，窗口尺寸内要求包含3 5个散斑点。由于需要计算ROI内~每个像素点对应的随机性大小，因此模板的滑动范围在ROI的基础上向外扩大，对于W1作为ROI的区域，假设W1的宽高为(width, height)，则在行方向上各扩充B/2个像素，列方向上各扩充B/2个像素，得到新的滑动范围W3，其宽高为(width+B,height+B)。因此对于模板W2来说，其滑动范围限定在W3内，从W3左上角开始取第一个模板，此时模板中心点坐标和W1的起始点坐标重合，依次从左到右从上到下，直至模板的中心点坐标和W1右下角终点坐标重合，即模板右下角坐标和W3右下角终点坐标重合。模板中心点坐标和W1的每个像素点坐标重合时，模板所对应的W1中的区域记为一个模板窗口。因此，W1中最终可产生与W1所包含像素点数目相同数量的模板窗口。

[0059] 步骤102：以感兴趣区域边界向外扩张预设尺寸形成第一滑动范围，采用与第一尺寸相同大小的窗口在第一滑动范围滑动生成多个滑动窗口。

[0060] 具体地，为分析每个模板窗口相对其周边区域中散斑点的随机性，可以感兴趣区域边界向外整体扩张预设尺寸形成第一滑动范围（感兴趣区域包含在第一滑动范围内），然后采用与模板窗口的第一尺寸大小相同的窗口在该第一滑动范围滑动，从而生成多个滑动窗口。

[0061] 在一个例子中，可以感兴趣区域边界向外扩张预设尺寸形成第一滑动范围，采用与第一尺寸相同大小的窗口，以窗口的中心点对齐遍历第一滑动范围中的所有像素点，生成以第一滑动范围中各像素点为中心点的多个滑动窗口。

[0062] 如图3所示，以W1的行方向左右各100像素，列方向上下各5像素值范围作为预设尺寸向外扩张形成第一滑动范围，采用与第一尺寸（BxB）相同大小的窗口在第一滑动范围进行滑动。由于窗口在滑动时，是以窗口的中心点对齐遍历第一滑动范围中的所有像素点进行滑动，因此窗口的最大滑动范围应是在第一滑动范围的基础上在行方向上各扩充B/2个像素，列方向上各扩充B/2个像素，得到新的滑动范围W5，其宽高为(width+B+200,height+B+10)。因此对于窗口W4来说，其滑动范围限定在W5内，从W5左上角开始取第一个窗口，此时窗口左上角起始点坐标和W5的左上角起始点坐标重合，依次从左到右从上到下，直至窗口的右下角终点坐标和W5右下角终点坐标重合。窗口中心点坐标和第一滑动范围的每个像素点坐标重合时，窗口所对应的第一滑动范围中的区域记为一个滑动窗口。因此，W5中最终可产生与第一滑动范围所包含像素点数目相同数量的滑动窗口。

[0063] 步骤103：针对每个模板窗口，统计以模板窗口边界向外扩张预设尺寸所围成的区域上生成的各滑动窗口与模板窗口的像素值的差的绝对值之和，从差的绝对值之和中选择一个差的绝对值之和生成用于表征模板窗口中散斑点随机性的随机结果。

[0064] 关于差的绝对值之和（Sum of Absolute Differences，SAD）的计算公式如下：

[0065] ………………………（3）

[0066] 其中，(x,y)为像素点所在滑动窗口或模板窗口中的中心点的坐标位置，n、m为滑动窗口或模板窗口分别在x方向、,y方向上的半径，Iw（x+i, y+j）为滑动窗口中（x+i, y+j）处的像素值，I（c x+i, y+j）为模板窗口中（x+i, y+j）处的像素值。

[0067] 如图3所示，对于每一个当前模板窗口而言，需要在该模板窗口的行方向左右各100像素，列方向上下各5像素值范围内以相同尺寸（第一尺寸）的窗口遍历各像素点取滑动窗口（滑动窗口的中心点为遍历的各像素点），并将各滑动窗口和当前模板窗口分别计算SAD值。假设对当前模板窗口而言，总计取M个滑动窗口和其计算SAD值，在得到M个SAD值后进行SAD值筛选，从中确定一个SAD值，并对该SAD值进行处理，生成当前模板窗口的随机结果，以表征该前模板窗口相对于其所在的局部区域的随机性。

[0068] 在一个例子中，从差的绝对值之和中选择一个差的绝对值之和生成用于表征模板窗口中散斑点随机性的随机结果，包括：从差的绝对值之和中，剔除基于以模板窗口的中心点坐标点相邻的预设数量的像素点为中心点的滑动窗口所计算得到的差的绝对值之和；对剔除后保留的差的绝对值之和进行归一化和反序处理，并将处理后的差的绝对值之和按从大到小的顺序进行排序，选择次大的差的绝对值之和作为模板窗口的随机结果。

[0069] 如图3所示，在筛选差的绝对值之和时，筛选策略如下：

[0070] 假设当前模板窗口为W2，剔除与W2的中心点坐标相邻的左右各3个像素，上下各5个像素作为中心点的滑动窗口所对应的的SAD值；接着，对剔除后保留的SAD值进行归一化和反序处理，并对处理后的各ASD值按从大到小排序，选择次大的SAD值作为该模板窗口的SAD值（排序最大的SAD值所对应的滑动窗口与模板窗口重合，不予选择）。

[0071] 之后，在每个模板窗口的中心点所在的W1区域坐标处填入此模板窗口的SAD值，可形成感兴趣区域的随机结果图，从而可对感兴趣区域的随机性一目了然。

[0072] 如图4a、4b所示依次为感兴趣区域的散斑图和随机结果图的示例图。

[0073] 实践中，在计算感兴趣区域的随机结果过程中存在两个循环：

[0074] 循环1：对于需要计算随机性的ROI，第一次以该ROI的第一个像素点作为模板中心点，构建模板P；在形如h*w大小的ROI中，以模板P的中心点对齐遍历ROI中所有像素点，即需要遍历h*w次，形成总计h*w个模板窗口。

[0075] 循环2：对于每个当前模板窗口需要在其自身左右各100像素，上下各5像素进行窗口滑动，并计算每个滑动窗口和当前模板的SAD值，之后进行SAD筛选操作。

[0076] 当模板窗口遍历完毕后，整个ROI内的每个坐标处均填入一个经过归一化和反序处理后的SAD值，得到该ROI的随机结果图。

[0077] 步骤104：以模板窗口的随机结果的均值作为第二类指标，对感兴趣区域中散斑点的随机性进行评价，第二类指标越小，散斑点的随机性越好。

[0078] 具体地，在得到ROI中各模板窗口的随机结果后，通过计算模板窗口的随机结果的均值作为第二类指标，对感兴趣区域中散斑点的随机性进行评价，该第二类指标越小，散斑点的随机性越好，后续深度解算的可行性越高。例如，在得到ROI的随机结果图后，对图中各像素点上的像素值（处理后的SAD值）进行和均值和方差统计，以对ROI中的散斑块的随机性进行量化对比。当然也可将ROI的随机结果图转换为伪彩图以便可视化对比。对于整张散斑图像，可以针对某一块ROI进行随机性计算，以评估不同区域的随机性好坏。

[0079] 与相关技术相比，本实施例通过针对散斑图像中的感兴趣区域，采用第一尺寸的模板在感兴趣区域滑动生成多个模板窗口；以感兴趣区域边界向外扩张预设尺寸形成第一滑动范围，采用与第一尺寸相同大小的窗口在第一滑动范围滑动生成多个滑动窗口；针对每个模板窗口，统计以模板窗口边界向外扩张预设尺寸所围成的区域上生成的各滑动窗口与模板窗口的像素值的差的绝对值之和，从差的绝对值之和中选择一个差的绝对值之和生成用于表征所述模板窗口中散斑点随机性的随机结果；以模板窗口的随机结果的均值作为第二类指标，对感兴趣区域中散斑点的随机性进行评价，第二类指标越小，散斑点的随机性越好。本方案通过在感兴趣区域构造多个模板窗口，在包含感兴趣区域的更大区域的第一滑动范围内构造多个滑动窗口；针对每个模板窗口，根据该模板窗口所在区域及周边的滑动窗口与该模板窗口的像素值的差的绝对值之和来评价该模板窗口中散斑点的随机性，确定模板窗口的随机结果；进而基于各模板窗口的随机结果对感兴趣区域的随机性进行评价。随机性评价结果的好坏可以预测该感兴趣区域在后续深度解算的可行性，从而确保深度解算结果的有效性。

[0080] 本发明的另一实施方式涉及一种散斑图像质量评价方法，该方法可作为前述实施例中的散斑图像质量评价方法的补充方案。如图5所示，上述散斑图像质量评价方法还可包括如下步骤。

[0081] 步骤201：对感兴趣区域中的散斑点进行位置检测，确定散斑点的位置。

[0082] 具体地，可以根据散斑点与非散斑点的亮度差对感兴趣区域中的散斑点进行位置检测，确定散斑点的位置，包括如确定散斑点的坐标、大小和形状。

[0083] 在一个例子中，对感兴趣区域中的散斑点进行位置检测，确定散斑点的位置，可包括如下步骤：

[0084] 步骤一：对感兴趣区域采用高斯金字塔进行上采样，对上采样得到的图像进行边缘检测得到多个像素点团簇，对每个像素点团簇进行多边形封闭曲线拟合，形成一个椭圆；每个椭圆对应为一个散斑点区域。

[0085] 具体的，针对散斑图像中的ROI可采取但不局限于高斯金字塔进行上采样，将该ROI放大两倍后进行边缘（散斑点与非散斑点之间的界限）检测，经过边缘检测后得到一张二值图像。该二值图像可包含N（N≥1）个像素点团簇，每个团簇为一组相近临像素点的点集。针对每个点集进行多边形封闭曲线拟合，并求解其最大外接矩形，接着求解该矩形的最大内接椭圆，并得到该内接椭圆的相关参数（质心、长短轴、仰角）。此时，N个像素点团簇可以得到N个椭圆，每个椭圆则对应为一个散斑点所在的区域。

[0086] 步骤二：对形成的椭圆进行筛选，并将筛选后保留的椭圆对齐到感兴趣区域中，确定出感兴趣区域中散斑点的位置。

[0087] 具体地，由于对散斑点检测时检测出多组近临像素点的点集，进而拟合出多个椭圆，但这些椭圆中包含了大量的重复检测和不符合条件的椭圆，因此需要对这些椭圆进行进一步筛选，以保留有效的椭圆，筛选规则如下：

[0088] 1）对上述N个椭圆的质心坐标以y坐标进行降序排列，判断排序后两两相邻的椭圆质心x坐标的差值，若x坐标之间差值小于两个像素距离，则仅保留两者中的任意一个椭圆即可，同时剔除另一个椭圆，依次遍历所有的椭圆质心坐标直到结束；

[0089] 2）计算保留的所有椭圆的长轴均值，将每个椭圆的长轴和长轴均值作比较，并将长轴小于长轴均值1/2、长轴比长轴均值大两倍及两倍以上、长短轴比例大于3的椭圆全部剔除，剩余的椭圆即为筛选后得到的椭圆。

[0090] 3）由于散斑图像中的散斑点近似为椭圆且为不规则的斜椭圆，此处将每个椭圆使2 2
用一般方程表示（ Ax+By+Cx+Dy+E=0（A>0，B>0，且A≠B））。

[0091] 经过1）、2）、3）步骤后便得上采样后的ROI中每个散斑点的位置信息和椭圆轮廓的近似表示。

[0092] 由于筛选后得到的椭圆是上采样后的感兴趣区域中的椭圆，因此还要将将筛选后保留的椭圆对齐到感兴趣区域中，以确定出感兴趣区域中对应的椭圆的位置，这些椭圆所在的位置才是真正的散斑点的位置。

[0093] 步骤202：根据感兴趣区域中，散斑点的位置、非散斑点的位置，确定感兴趣区域的散斑点密度和散斑点尺寸。

[0094] 具体地，散斑图像的散斑点密度和散斑点大小不随外界环境的变化而变化，不受图像采集方式的变化而变化，即当散斑投射器固定后，在任何场景下投射出的散斑点个数和散斑点尺寸不变，因此散斑点密度和大小的量化指标放在一起考虑更为合理，并可作为散斑图像的固有属性。针对散斑点密度和尺寸的计算方式如下：

[0095] 对于ROI，通过上述位置检测对散斑点拟合处理得到ROI中各散斑点的椭圆方程。假设检测出的椭圆个数为M，ROI的宽高分别为w和h，则密度p=M/(w*h)（单位：个/每pixel平方），即密度为散斑点个数和ROI面积的比值。

[0096] 散斑点的尺寸使用椭圆的长短轴的像素数量表示，对M个椭圆的长短轴的像素数量求均值得到近似的尺寸L（单位：pixel），即：

[0097]

[0098] 其中M指椭圆个数，a,b分别指每个椭圆的长短轴的像素数量。

[0099] 步骤203：根据感兴趣区域中，散斑点的位置的像素值、非散斑点的位置的像素值，确定感兴趣区域中散斑点的平均亮度、亮度均匀性和对比度。

[0100] 针对ROI，通过上述位置检测对散斑点拟合处理得到ROI中各散斑点的椭圆方程。依次遍历ROI中每个像素点，判断该像素点的位置与椭圆的位置关系，若该像素点在椭圆内则将其标记为散斑点像素，否则标记为背景（噪声）像素。

[0101] 散斑点平均亮度为统计ROI内所有属于散斑点的像素值大小，取平均后得到pattern_avg即为感兴趣区域中散斑点的平均亮度。

[0102] 散斑点的亮度均匀性为uniform = (pattern_max‑pattern_min)/pattern_avg,其中pattern_max为散斑点上的最大像素值，pattern_min为散斑点上的最小像素值。

[0103] 背景（噪声）点平均亮度为统计ROI内不属于散斑点的像素值大小，取平均得到noise_avg。

[0104] 针对散斑图像中ROI计算其亮度对比度，先计算该ROI中背景（噪声）点的平均亮度，即统计ROI内不属于散斑点的像素值大小，取平均得到noise_avg作为背景（噪声）点的平均亮度；然后计算亮度对比度（散斑点亮度均值和噪声均值的比值）S = pattern_avg/noise_avg。

[0105] 步骤204：以感兴趣区域的散斑点密度和散斑点尺寸作为第一类指标、以感兴趣区域中散斑点的平均亮度和对比度作为第三类指标、以感兴趣区域中散斑点的亮度均匀性作为第四类指标，分别对感兴趣区域中散斑点的质量进行评价。

[0106] 具体地，针对以上用于对感兴趣区域中散斑点的质量进行评价的量化指标进行如下的汇总、并给出重要性排序以及阈值建议：

[0107] 第一类指标：

[0108] 1）散斑点密度：仅考察当ROI为中心散斑块时的散斑点密度大小；

[0109] 2）散斑点尺寸：优先考察当ROI为中心散斑块的散斑点尺寸大小，边缘散斑点尺寸大小可作为辅助参考；

[0110] 本实施例中采用的散斑点密度阈值为0.015 0.030，散斑点尺寸阈值为5 9 ~ ~pixel。指标位于相应阈值范围内的散斑图像的质量更好。

[0111] 第二类指标：

[0112] 散斑随机性：同时考察中心散斑块随机性和边缘散斑块随机性，该指标数值越小越好。本实施例采用的中心散斑块阈值为0.5，边缘散斑块阈值为0.75。

[0113] 第三类指标：

[0114] 散斑点的平均亮度和对比度：优先保证散斑点的平均亮度符合要求时，再考察对比度。优先考察中心散斑块的平均亮度和对比度，边缘散斑块的平均亮度和对比度可作为辅助参考。本实施例用的平均亮度阈值为80 170，位于该阈值范围内的散斑图像的质量更~好；对比度数值越大越好，采用的阈值为2.0。

[0115] 第四类指标：

[0116] 散斑点的亮度均匀性：由于亮度均匀性和平均亮度指标有强相关性，且亮度均匀性对于散斑质量评估的贡献较弱，所以当第三类指标满足要求时可以不考察第四类指标或使用第四类指标辅助研判。在实际使用时，可优先保证第三类指标符合要求的前提下，再考虑是否需要评估均匀性指标，本实施例采用的第四类指标阈值为1.5 2.5，位于该阈值范围~内的散斑图像的质量更好。

[0117] 具体地，在对感兴趣区域中散斑点的质量进行评价的上述各类指标可以单独使用，也可以按一定优先级顺序依次使用。

[0118] 例如，可按如下指标类型的优先级顺序对感兴趣区域中散斑点的质量进行评价：第一类指标优先于第二类指标优先于第三类指标优先于第四类指标。

[0119] 与相关技术相比，本实施例在基于散斑点的随机性对散斑图进行评价的基础上，又分别引入了散斑点密度、散斑点尺寸、散斑点的平均亮度和对比度，以及散斑点的亮度均匀性这四类指标对ROI中散斑的质量进行评价，并为每种类型指标设置评价优先级，从而全面、合理的对ROI中散斑的质量进行评价。

[0120] 本发明的另一实施方式涉及一种电子设备，如图6所示，包括至少一个处理器302；以及，与至少一个处理器302通信连接的存储器301；其中，存储器301存储有可被至少一个处理器302执行的指令，指令被至少一个处理器302执行，以使至少一个处理器302能够执行上述任一方法实施例。

[0121] 其中，存储器301和处理器302采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器302和存储器301的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器302处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器302。

[0122] 处理器302负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器301可以被用于存储处理器302在执行操作时所使用的数据。

[0123] 本发明另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

[0124] 即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read‑OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。

[0125] 本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。