一种煤流量检测方法及条件生成对抗网络的训练方法

摘要

本申请公开了一种煤流量检测方法及条件生成对抗网络的训练方法，涉及煤矿开采技术领域，其中煤流量检测方法包括：获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。本申请的煤流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，增强煤流量识别的效果。

权利要求

1.一种生成条件生成对抗网络的训练方法，其特征在于，所述条件生成对抗网络应用于煤流量检测中，所述训练方法包括以下步骤：基于第一样本图像、第一模型样本数据和煤流假图，迭代训练所述条件生成对抗网络中的判别器，以得到目标判别器，使得所述目标判别器将所述第一样本图像判定为真，且将所述煤流假图判定为假，其中，所述第一样本图像为煤流的深度图，所述煤流假图为所述条件生成对抗网络中的条件生成器生成的深度图，所述第一模型样本数据中包括煤流的三维模型信息；

基于第二样本图像和第二模型样本数据，迭代训练所述条件生成器，以得到目标条件生成器，使得所述目标条件生成器生成的煤流假图被所述目标判别器判定为真，其中，所述第二样本图像为煤流的三维毫米波热图，所述第二模型样本数据中包括煤流的三维模型信息；

基于所述目标判别器和所述目标条件生成器，得到目标条件生成对抗网络。

2.根据权利要求1所述的生成条件生成对抗网络的训练方法，其特征在于，所述第一样本图像、所述第一模型样本数据和所述煤流假图对应于同一煤流样本，所述第二样本图像和所述第二模型样本数据对应于同一煤流样本。

3.一种煤流量检测方法，其特征在于，包括：

获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；

基于如权利要求1或2所述的目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；

根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。

4.根据权利要求3所述的煤流量检测方法，其特征在于，所述基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像，包括：将所述第一煤流模型数据和所述第二煤流模型数据确定为条件输入信息；

将所述第一采集图像确定为随机噪声信息；

将所述条件输入信息和所述随机噪声信息输入所述目标条件生成对抗网络，生成所述目标图像。

5.根据权利要求4所述的煤流量检测方法，其特征在于，所述第一采集图像为基于毫米波雷达采集的三维毫米波热图，所述目标图像为深度图。

6.根据权利要求4所述的煤流量检测方法，其特征在于，所述第一煤流模型数据中包括所述煤流的三维模型信息，所述第二煤流模型数据中包括预设煤流的三维模型信息。

7.根据权利要求4所述的煤流量检测方法，其特征在于，所述根据所述目标图像，获取所述煤流对应的瞬时煤流量，包括：根据所述目标图像，得到所述煤流对应的三维点云；

获取所述三维点云表征的煤堆的体积；

根据所述体积，得到所述煤流对应的瞬时煤流量。

8.一种煤流量检测装置，其特征在于，包括：

第一获取模块，用于获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；

生成模块，用于基于如权利要求1或2所述的目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；

第二获取模块，用于根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。

9.一种生成条件生成对抗网络的训练装置，其特征在于，所述条件生成对抗网络应用于煤流量检测中，所述训练装置包括：第一训练模块，用于基于第一样本图像、第一模型样本数据和煤流假图，迭代训练所述条件生成对抗网络中的判别器，以得到目标判别器，使得所述目标判别器将所述第一样本图像判定为真，且将所述煤流假图判定为假，其中，所述第一样本图像为煤流的深度图，所述煤流假图为所述条件生成对抗网络中的条件生成器生成的深度图，所述第一模型样本数据中包括煤流的三维模型信息；

第二训练模块，用于基于第二样本图像和第二模型样本数据，迭代训练所述条件生成器，以得到目标条件生成器，使得所述目标条件生成器生成的煤流假图被所述目标判别器判定为真，其中，所述第二样本图像为煤流的三维毫米波热图，所述第二模型样本数据中包括煤流的三维模型信息；

组成模块，用于基于所述目标判别器和所述目标条件生成器，得到目标条件生成对抗网络。

10.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求3‑7中任一项所述的煤流量检测方法，或者实现如权利要求1‑2中任一项所述的生成条件生成对抗网络的训练方法。

说明书

一种煤流量检测方法及条件生成对抗网络的训练方法

技术领域

[0001] 本申请涉及煤矿开采技术领域，尤其涉及一种煤流量检测方法及条件生成对抗网络的训练方法。

背景技术

[0002] 在煤矿开采中，煤流量检测是带式输送机实现智能调速的前提，由于输送线路长且连续运转，作业环境恶劣，常常伴随有粉尘、烟雾等干扰因素。目前带式运输机煤流量检
测大多使用摄像机、激光雷达和毫米波雷达等设备来获得煤流量信息，其中毫米波雷达对
光的依赖性较差，而且可以穿透粉尘、烟雾等，为煤流量检测提供了更多有利的特性，然而
使用毫米波雷达进行成像时存在分辨率较低且存在多路径反射和镜面反射的问题，相关技
术中毫米波成像系统使用人体尺寸的机械可控阵列来提高分辨率，它们隔离了近场中成像
的物体以消除多路径反射，并围绕物体旋转阵列以解决镜面反射问题。然而这种设计非常
地笨重，对于煤矿环境来说并不适用。

[0003] 因此，如何在适用于煤矿环境的同时增强煤流量检测的效果成为亟待解决的问题。

发明内容

[0004] 本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

[0005] 为此，本申请的第一个目的在于提出一种煤流量检测方法。

[0006] 本申请的第二个目的在于提出一种条件生成对抗网络的训练方法。

[0007] 本申请的第三个目的在于提出一种煤流量检测装置。

[0008] 本申请的第四个目的在于提出一种条件生成对抗网络的训练装置。

[0009] 本申请的第五个目的在于提出一种电子设备。

[0010] 为了实现上述目的，本申请第一方面实施例提供了一种煤流量检测方法，该方法包括：获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据；基于目标
条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型
数据，生成所述煤流对应的目标图像；根据所述目标图像，获取所述煤流对应的瞬时煤流
量，以得到预设时间内的煤流总量。

[0011] 另外，根据本申请上述实施例的一种煤流量检测方法，还可以具有如下附加的技术特征：

[0012] 根据本申请的一个实施例，所述基于目标条件生成对抗网络，根据所述第一采集图像、所述第一煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像，包
括：将所述第一煤流模型数据和所述第二煤流模型数据确定为条件输入信息；将所述第一
采集图像确定为随机噪声信息；将所述条件输入信息和所述随机噪声信息输入所述目标条
件生成对抗网络，生成所述目标图像。

[0013] 根据本申请的一个实施例，所述第一采集图像为基于毫米波雷达采集的三维毫米波热图，所述目标图像为深度图。

[0014] 根据本申请的一个实施例，所述第一煤流模型数据中包括所述煤流的三维模型信息，所述第二煤流模型数据中包括预设煤流的三维模型信息。

[0015] 根据本申请的一个实施例，所述根据所述目标图像，获取所述煤流对应的瞬时煤流量，包括：根据所述目标图像，得到所述煤流对应的三维点云；获取所述三维点云表征的
煤堆的体积；根据所述体积，得到所述煤流对应的瞬时煤流量。

[0016] 为了实现上述目的，本申请第二方面实施例提供了一种条件生成对抗网络的训练方法，该方法包括：基于第一样本图像、第一模型样本数据和煤流假图，迭代训练所述条件
生成对抗网络中的判别器，以得到目标判别器，使得所述目标判别器将所述第一样本图像
判定为真，且将所述煤流假图判定为假，其中，所述第一样本图像为煤流的深度图，所述煤
流假图为所述条件生成对抗网络中的条件生成器生成的深度图，所述第一模型样本数据中
包括煤流的三维模型信息；基于第二样本图像和第二模型样本数据，迭代训练所述条件生
成器，以得到目标条件生成器，使得所述目标条件生成器生成的煤流假图被所述目标判别
器判定为真，其中，所述第二样本图像为煤流的三维毫米波热图，所述第二模型样本数据中
包括煤流的三维模型信息；基于所述目标判别器和所述目标条件生成器，得到目标条件生
成对抗网络。

[0017] 另外，根据本申请上述实施例的一种条件生成对抗网络的训练方法，还可以具有如下附加的技术特征：

[0018] 根据本申请的一个实施例，所述第一样本图像、所述第一模型样本数据和所述煤流假图对应于同一煤流样本，所述第二样本图像和所述第二模型样本数据对应于同一煤流
样本。

[0019] 为了实现上述目的，本申请第三方面实施例提供了一种煤流量检测装置，该装置包括：第一获取模块，用于获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流
模型数据；生成模块，用于基于目标条件生成对抗网络，根据所述第一采集图像、所述第一
煤流模型数据和所述第二煤流模型数据，生成所述煤流对应的目标图像；第二获取模块，用
于根据所述目标图像，获取所述煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。

[0020] 另外，根据本申请上述实施例的一种煤流量检测装置，还可以具有如下附加的技术特征：

[0021] 根据本申请的一个实施例，所述生成模块，进一步用于：将所述第一煤流模型数据和所述第二煤流模型数据确定为条件输入信息；将所述第一采集图像确定为随机噪声信
息；将所述条件输入信息和所述随机噪声信息输入所述目标条件生成对抗网络，生成所述
目标图像。

[0022] 根据本申请的一个实施例，所述第一采集图像为基于毫米波雷达采集的三维毫米波热图，所述目标图像为深度图。

[0023] 根据本申请的一个实施例，所述第一煤流模型数据中包括所述煤流的三维模型信息，所述第二煤流模型数据中包括预设煤流的三维模型信息。

[0024] 根据本申请的一个实施例，所述第二获取模块，进一步用于：根据所述目标图像，得到所述煤流对应的三维点云；获取所述三维点云表征的煤堆的体积；根据所述体积，得到
所述煤流对应的瞬时煤流量。

[0025] 为了实现上述目的，本申请第四方面实施例提供了一种条件生成对抗网络的训练装置，该装置包括：第一训练模块，用于基于第一样本图像、第一模型样本数据和煤流假图，
迭代训练所述条件生成对抗网络中的判别器，以得到目标判别器，使得所述目标判别器将
所述第一样本图像判定为真，且将所述煤流假图判定为假，其中，所述第一样本图像为煤流
的深度图，所述煤流假图为所述条件生成对抗网络中的条件生成器生成的深度图，所述第
一模型样本数据中包括煤流的三维模型信息；第二训练模块，用于基于第二样本图像和第
二模型样本数据，迭代训练所述条件生成器，以得到目标条件生成器，使得所述目标条件生
成器生成的煤流假图被所述目标判别器判定为真，其中，所述第二样本图像为煤流的三维
毫米波热图，所述第二模型样本数据中包括煤流的三维模型信息；组成模块，用于基于所述
目标判别器和所述目标条件生成器，得到目标条件生成对抗网络。

[0026] 另外，根据本申请上述实施例的一种煤流量检测装置，还可以具有如下附加的技术特征：

[0027] 根据本申请的一个实施例，所述第一样本图像、所述第一模型样本数据和所述煤流假图对应于同一煤流样本，所述第二样本图像和所述第二模型样本数据对应于同一煤流
样本。

[0028] 为了实现上述目的，本申请第五方面实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所
述程序时，实现如本申请第一方面实施例中任一项所述的煤流量检测方法，或者第二方面
实施例中任一项所述的条件生成对抗网络的训练方法。

[0029] 本申请实施例提供的一种煤流量检测方法及条件生成对抗网络的训练方法，利用训练好的目标条件生成对抗网络，结合煤流的第一煤流模型数据和预设的第二煤流模型数
据，根据煤流的第一采集图像生成对应的目标图像，根据该目标图像获取煤流对应的瞬时
煤流量，以得到预设时间内的煤流总量，本申请的煤流量检测方法结构简单，能够适用于煤
矿环境中对煤流量进行检测，且结合煤流的模型数据和采集图像生成目标图像，使得目标
图像能够更加清晰地表征煤流的信息，增强煤流量检测的效果。

附图说明

[0030] 图1是本申请一个实施例公开的一种煤流量检测方法的流程示意图。

[0031] 图2为本申请另一个实施例公开煤流量检测方法的流程示意图。

[0032] 图3为本申请另一个实施例公开煤流量检测方法的流程示意图。

[0033] 图4为基于三维点云计算煤堆体积的示意图。

[0034] 图5是本申请一个实施例公开的一种条件生成对抗网络的训练方法的流程示意图。

[0035] 图6为本申请一个实施例公开的一种条件生成对抗网络的训练方法的训练框图。

[0036] 图7是本申请一个实施例公开的一种煤流量检测装置的结构示意图。

[0037] 图8是本申请一个实施例公开的一种条件生成对抗网络的训练装置的结构示意图。

[0038] 图9为本申请一个实施例公开的一种电子设备的结构示意图。

具体实施方式

[0039] 为了更好的理解上述技术方案，下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申
请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本
公开，并且能够将本申请的范围完整的传达给本领域的技术人员。

[0040] 下面参考附图描述本申请实施例的一种煤流量检测方法及条件生成对抗网络的训练方法。

[0041] 图1是本申请一个实施例公开的一种煤流量检测方法的流程示意图。

[0042] 如图1所示，本申请实施例提出的煤流量检测方法，具体包括以下步骤：

[0043] S101，获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据。

[0044] 本申请实施例的煤流量检测方法的执行主体可为本申请实施例提供的煤流量检测装置，该煤流量检测装置可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备
工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设
备。

[0045] 本申请实施例中，对输送的煤流进行实时图像采集，获取煤流的第一采集图像，以及实时获取煤流的第一煤流模型数据。其中第一采集图像可以为基于毫米波雷达获取的三
维毫米波热图，第一煤流模型数据中可以包括煤流的三维模型信息，例如第一煤流模型数
据可以为三维的CAD煤流真实模型对应的数据，第一煤流模型可以借助毫米波雷达或借助
深度相机等设备来进行建模。此外，本申请还获取预设的第二煤流模型数据，该第二煤流模
型为提前构建的、已知的煤流模型，无需在实际煤流量检测中进行实时测量构建，同样的，
第二煤流模型数据中可以包括预设煤流的三维模型信息。

[0046] S102，基于目标条件生成对抗网络，根据第一采集图像、第一煤流模型数据和第二煤流模型数据，生成煤流对应的目标图像。

[0047] 在本申请实施例中，预先对构建的条件生成对抗网络进行训练，得到目标条件生成对抗网络。将实时采集或测量得到的当前煤流对应的第一采集图像和第一煤流模型数据
以及预设的第二煤流模型数据输入目标条件生成对抗网络（Conditional Generative 
Adversarial Network，简称CGAN），以生成煤流对应的目标图像，其中目标图像可以为包含
煤流量深度信息的高分辨率深度图。

[0048] 在本申请实施例中，通过训练使得目标条件生成对抗网络能够学习处理镜面反射和多路径反射对三维毫米波热图的影响，使得目标条件生成对抗网络能够结合第一煤流模
型数据和第二煤流模型数据，根据第一采集图像生成一个高分辨率的深度图。

[0049] 不难理解的，CGAN网络的输出是煤流量的高频形状，在立体相机帧中以2D深度图的形式来表示预测的煤流量的高频形状，其中，CGAN网络用来预测深度图中每个像素的深
度，且由于三维毫米波热图较大的传感带宽，可以在深度维度上实现高分辨率。该网络能够
准确捕获三维毫米波热图中的低频和高频分量，生成工矿环境下煤矿皮带煤流量的高分辨
率深度图。

[0050] S103，根据目标图像，获取煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。

[0051] 在本申请实施例中，根据包含深度信息的目标图像，获取对应的瞬时煤流量。例如一帧第一采集图像对应的时间为 ，则上述煤流对应的瞬时煤流量为 时间内带式输送机
传送的煤流量，由此可以在预设时间内，对带式输送机上传送的煤流进行图像采集以及获
取第一煤流模型数据，基于第一采集图像、第一煤流模型数据和预设的第二煤流模型数据
分别对每一个 内的煤流量进行检测，从而得到预设时间内的煤流总量，其中预设时间可
以为预先设置的煤流总量的检测时间，如带式输送机一次传送任务的工作时间。

[0052] 在一些实施例中，为减少计算量可以根据预设时间T来设置瞬时煤流量 的检测次数，例如 ，即在预设时间T内需要连续进行100次瞬时煤流量的计算，其中j表示
检测次数或瞬时煤流量的计算次数，j=1，2，……，100，为减少计算量，可以将 代替
来表示 时间内的煤流总量，其中k表示为了减少计算量而采取的检测次数或瞬
时煤流量的计算次数，k=1，2，……，20，由此在预设时间T内只需继续20次瞬时煤流量计算
即可。

[0053] 综上，本申请实施例的煤流量检测方法，利用目标条件生成对抗网络，结合煤流的第一煤流模型数据和预设的第二煤流模型数据，根据煤流的第一采集图像生成对应的目标
图像，根据该目标图像获取对应的瞬时煤流量，以得到预设时间内的煤流总量，本申请的煤
流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数
据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，增强煤流量
识别的效果。

[0054] 在上述实施例的基础上，如图2所示，在上述步骤S102中“基于目标条件生成对抗网络，根据第一采集图像、第一煤流模型数据和第二煤流模型数据，生成煤流对应的目标图
像”可以包括以下步骤：

[0055] S201，将第一煤流模型数据和第二煤流模型数据确定为条件输入信息。

[0056] 在本申请实施例中，将实测的第一煤流模型数据和已知的第二煤流模型数据确定为目标条件生成对抗网络的条件输入信息。

[0057] S202，将第一采集图像确定为随机噪声信息。

[0058] 在本申请实施例中，将实测的第一采集图像确定为目标条件生成对抗网络的随机噪声信息。

[0059] S203，将条件输入信息和随机噪声信息输入目标条件生成对抗网络，生成目标图像。

[0060] 在本申请实施例中，将条件输入信息和随机噪声信息输入目标条件生成对抗网络，生成基于条件输入信息的深度图作为目标图像，例如针对煤流的具体方向的煤流深度
图。

[0061] 在一些实施例中，将实测的第一煤流模型数据和已知的第二煤流模型数据作为条件输入信息，将实测的第一采集图像作为随机噪声信息输入目标条件生成对抗网络中的目
标条件生成器，生成基于条件输入信息的煤流深度图，该煤流深度图经过目标判别器判别
为真后，作为目标条件生成对抗网络的输出，即为目标图像。

[0062] 在上述实施例的基础上，如图3所示，上述步骤S103中“根据目标图像，获取煤流对应的瞬时煤流量”，进一步可包括以下步骤：

[0063] S301，根据目标图像，得到当前煤流对应的三维点云。

[0064] 在一些实施例中，根据目标图像中包含的煤流量的深度信息，构建煤流对应的三维点云，三维点云经过网格化形成连续的表面，可用于表征煤流对应的煤堆。如图4中所示
的根据一帧第一采集图像生成的目标图像得到的、经过三角网格化的三维点云，其中第一
采集图像为毫米波雷达通过发射毫米波光束对皮带上的煤流进行图像获取得到的。

[0065] S302，获取三维点云表征的煤堆的体积。

[0066] 在一些实施例中，根据网格化后的三维点云，计算三维点云表征的煤堆的体积。

[0067] 实施中，可采用离散化的方法来计算体积，将点云数据三角网格化后，得到的数个三角形保存在数组中，该数组为N*3的数组，其中N行表示点云数组中所有的点构成了N个三
角形，即每一行代表一个三角形，每一行的三个元素代表三角形顶点的索引，例如(8，6，7)
表示点云数组中的第8个点、第6个点和第7个点组成的一个三角形，其中点云数组中包括网
格化后的三维点云中全部点在点云坐标系下的坐标，该点云数组可以为M*3的数组，M为全
部点的个数，每一行的三个元素表示一个点在XYZ轴的坐标。

[0068] 将每一个上述三角形投影到点云坐标系的XOY面，得到对应的投影三角形，基于投影三角形的面积计算每个上述三角形对应的三棱柱的体积，以此计算整个三维点云的体
积。在一些实施例中，可以基于点云坐标系，确定网格化后的三维点云的顶面，计算顶面中
每个三角形对应的三棱柱的体积，以此计算三维点云对应的体积。

[0069] 例如，如图4所示，点云数组中的三个点组成的第i个三角形 的三个顶点的坐标为 , 和 ，三角形 投影到XOY
面得到投影三角形 ，基于下列公式可根据三角形 的三个顶点的坐标计算得
到投影三角形 的边长：

[0070]

[0071] 其中，a、b和c分别为投影三角形 的三个边长。

[0072] 在实施中，可以基于下列公式计算得到投影三角形的面积：

[0073]

[0074]

[0075] 在本申请实施例中，以投影三角形 的面积 作为三角形 对应的三棱柱的底面积，以三角形 的三个顶点到XOY面的高 、 和 的平均值
作为该三棱柱的高，计算该三棱柱的体积，其中，体积计算公式如下：

[0076]

[0077] 则，当前煤流对应的煤堆的体积为：

[0078]

[0079] S303，根据体积，得到煤流对应的瞬时煤流量。

[0080] 在本申请实施例中，根据煤流对应的煤堆的体积，确定煤流对应的瞬时煤流量，其中，煤流量的计算公式为：

[0081]

[0082] 其中，为煤炭的散密度值。

[0083] 综上，本申请实施例的煤流量检测方法，利用目标条件生成对抗网络，结合煤流的第一煤流模型数据和预设的第二煤流模型数据，根据煤流的第一采集图像生成对应的目标
图像，根据该目标图像获取对应的瞬时煤流量，以得到预设时间内的煤流总量，本申请的煤
流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数
据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，通过目标条
件生成对抗网络学习处理原始毫米波热图中的镜面反射和多路径反射的问题，得到高分辨
率的深度图，基于该深度图增强煤流量识别的效果。

[0084] 图5是本申请一个实施例公开的一种条件生成对抗网络的训练方法的流程示意图。

[0085] 如图5所示，本申请实施例提出的条件生成对抗网络的训练方法，具体包括以下步骤：

[0086] S501，基于第一样本图像、第一模型样本数据和煤流假图，迭代训练条件生成对抗网络中的判别器，以得到目标判别器，使得目标判别器将第一样本图像判定为真，且将煤流
假图判定为假，其中，第一样本图像为煤流的深度图，煤流假图为条件生成对抗网络中的条
件生成器生成的深度图，第一模型样本数据中包括煤流的三维模型信息。

[0087] 本申请实施例的条件生成对抗网络的训练方法的执行主体可为本申请实施例提供的条件生成对抗网络的训练装置，该条件生成对抗网络的训练装置可为具有数据信息处
理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工
作站、服务器，计算机、用户终端及其他设备。

[0088] 在本申请实施例中，基于第一样本图像、模型样本数据和第二样本图像构建训练数据集，其中第一样本图像为煤流的深度图，将该煤流对应的三维CAD煤流模型作为第一模
型样本数据，第二样本图像为该煤流对应的三维毫米波热图。其中第一样本图像可以通过
图像采集设备采集，例如，基于宽基线立体相机系统捕获煤流实况的高分辨率2D深度图，第
二样本图像可以基于毫米波雷达采集，例如基于针对煤矿环境定制的毫米波成像模块来捕
获3D毫米波热图。作为一种可行的实施方式，还可以基于煤块的三维CAD模型和毫米波光线
追踪算法来合成数据以扩大训练数据集。

[0089] 其中，煤流假图为条件生成对抗网络中的条件生成器以上述煤流对应的三维CAD煤流模型为条件，根据该煤流对应的第二样本图像生成的深度图。

[0090] 基于第一样本图像、第一模型样本数据和煤流假图，对条件生成对抗网络中的判别器进行多轮迭代训练，将训练好的判别器作为目标判别器，通过迭代训练使得目标判别
器能够将第一样本图像判定为真，且将煤流假图判定为假。

[0091] 在本申请实施例中，将第一样本图像作为条件生成对抗网络的真值输入信息，将第一模型样本数据作为条件生成对抗网络的条件输入信息。

[0092] S502，基于第二样本图像和第二模型样本数据，迭代训练条件生成器，以得到目标条件生成器，使得目标条件生成器生成的煤流假图被目标判别器判定为真，其中，第二样本
图像为煤流的三维毫米波热图，第二模型样本数据中包括煤流的三维模型信息。

[0093] 在本申请实施例中，将与第二样本图像对应于同一个煤流的模型样本数据确定为第二模型样本数据，将第二模型样本数据作为条件输入信息，将第二样本图像作为随机噪
声信息，对条件生成对抗网络中的条件生成器进行多轮迭代训练，得到训练好的目标条件
生成器，使得该目标条件生成器生成的煤流假图能够被目标判别器判定为真。具体为，将条
件生成器生成的煤流假图和第二模型样本数据输入目标判别器，对该煤流假图进行判别，
基于判别结果调整条件生成器的参数，再根据下一煤流样本对应的第二样本图像和第二模
型样本数据进行下一轮训练，直至得到目标条件生成器。

[0094] 需要说明的是，上述第一模型样本数据和第二模型样本数据中的“第一”和“第二”只是为了区分不同煤流样本对应的模型样本数据，针对同一个煤流样本而言，第一模型样
本数据与第二模型样本数据相同。

[0095] S503，基于目标判别器和目标条件生成器，得到目标条件生成对抗网络。

[0096] 举例说明，如图6所示，以三维毫米波热图作为随机噪声，以煤流模型数据作为条件输入信息，以相机的2D深度图作为真值输入信息。我们以 表示真实数据分布，z表示
随机噪声， 表示噪声分布，条件生成器Ｇ学习到的数据分布为 ，条件生成器基于生成映
射函数在条件输入信息下将随机噪声z转化为煤流假图数据；判别器D基于判别映射函数在
条件输入信息下判别输入判别器的数据x来自真实数据data而不是条件生成器输出的生成
数据（煤流假图）的概率。

[0097] 在 训 练 时 ，固 定 条 件 生 成 器 G ，调 整 判 别 器 D 的 参 数 使 得的期望最大化，固定判别器D，调整条件生成器G的参数
使得 的期望最小化。这个优化过程可以归结为一个“二元极小极大博弈
（Minimax Two‑player Game）”问题，条件生成对抗网络的目标函数为带有条件概率的二元
极大极小博弈，其中目标函数如下：

[0098]

[0099] 其中， 表示在真值输入信息作为判别器D的输入信息x时，判别器D在条件输入信息下判定x来自真实数据data的概率， 表示在真实数据分布
下 的期望值， 表示条件生成器G在条件输入信息下生成的煤流假图数据，
表示在煤流假图数据 作为判别器D的输入信息x时，判别器D在条件输入
信息下判定输入信息 来自真实数据的概率， 表示判别器D在条件输入
信息下判定输入信息 来自煤流假图数据的概率， 表示
在噪声分布下 的期望值。

[0100] 综上，本申请实施例的条件生成对抗网络的训练方法，基于第一样本图像、第一模型样本数据和煤流假图，迭代训练条件生成对抗网络中的判别器，以得到目标判别器，使得
目标判别器将第一样本图像判定为真，且将煤流假图判定为假，其中，第一样本图像为煤流
的深度图，煤流假图为条件生成对抗网络中的条件生成器生成的深度图，第一模型样本数
据中包括煤流的三维模型信息；基于第二样本图像和第二模型样本数据，迭代训练条件生
成器，以得到目标条件生成器，使得目标条件生成器生成的煤流假图被目标判别器判定为
真，其中，第二样本图像为煤流的三维毫米波热图，第二模型样本数据中包括煤流的三维模
型信息；基于目标判别器和目标条件生成器，得到目标条件生成对抗网络。本申请以毫米波
热图作为第二样本图像，以相机采集的深度图作为第一样本图像，同时结合煤流的模型样
本数据作为条件输入信息，对条件生成对抗网络进行训练，使得条件生成对抗网络能够学
习处理原始毫米波热图中的镜面反射和多路径反射，得到目标条件生成对抗网络，该目标
条件生成对抗网络能够根据实测的三维毫米热图生成高分辨率的深度图，以增强煤流量检
测的效果，且基于目标条件生成对抗网络获取高分辨率煤流深度图的设备结构简单，便于
在煤矿场景下实施。

[0101] 图7是本申请一个实施例公开的一种煤流量检测装置的结构示意图。

[0102] 如图7所示，该煤流量检测装置700，包括：第一获取模块701、生成模块702和第二获取模块703，其中，

[0103] 第一获取模块701，用于获取煤流的第一采集图像、第一煤流模型数据和预设的第二煤流模型数据。

[0104] 生成模块702，用于基于目标条件生成对抗网络，根据第一采集图像、第一煤流模型数据和第二煤流模型数据，生成煤流对应的目标图像。

[0105] 第二获取模块703，用于根据目标图像，获取煤流对应的瞬时煤流量，以得到预设时间内的煤流总量。

[0106] 需要说明的是，上述对煤流量检测方法实施例的解释说明，也适用于本申请实施例的煤流量检测装置，具体过程此处不再赘述。

[0107] 根据本申请的一个实施例，生成模块702，进一步用于：将第一煤流模型数据和第二煤流模型数据确定为条件输入信息；将第一采集图像确定为随机噪声信息；将条件输入
信息和随机噪声信息输入目标条件生成对抗网络，生成目标图像。

[0108] 根据本申请的一个实施例，第一采集图像为基于毫米波雷达采集的三维毫米波热图，目标图像为深度图。

[0109] 根据本申请的一个实施例，第一煤流模型数据中包括煤流的三维模型信息，第二煤流模型数据中包括预设煤流的三维模型信息。

[0110] 根据本申请的一个实施例，第二获取模块703，进一步用于：根据目标图像，得到当前煤流对应的三维点云；获取三维点云表征的煤堆的体积；根据体积，得到当前煤流对应的
瞬时煤流量。

[0111] 综上，本申请实施例的煤流量检测装置，利用目标条件生成对抗网络，结合煤流的第一煤流模型数据和预设的第二煤流模型数据，根据煤流的第一采集图像生成对应的目标
图像，根据该目标图像获取对应的瞬时煤流量，以得到预设时间内的煤流总量，本申请的煤
流量检测方法结构简单，能够适用于煤矿环境中对煤流量进行检测，且结合煤流的模型数
据和采集图像生成目标图像，使得目标图像能够更加清晰地表征煤流的信息，增强煤流量
识别的效果。

[0112] 图8是本申请一个实施例公开的一种条件生成对抗网络的训练装置的结构示意图。

[0113] 如图8所示，该条件生成对抗网络的训练装置800，包括：第一训练模块801、第二训练模块802和组成模块803，其中，

[0114] 第一训练模块801，用于基于第一样本图像、第一模型样本数据和煤流假图，迭代训练条件生成对抗网络中的判别器，以得到目标判别器，使得目标判别器将第一样本图像
判定为真，且将煤流假图判定为假，其中，第一样本图像为煤流的深度图，煤流假图为条件
生成对抗网络中的条件生成器生成的深度图，第一模型样本数据中包括煤流的三维模型信
息。

[0115] 第二训练模块802，用于基于第二样本图像和第二模型样本数据，迭代训练条件生成器，以得到目标条件生成器，使得目标条件生成器生成的煤流假图被目标判别器判定为
真，其中，第二样本图像为煤流的三维毫米波热图，第二模型样本数据中包括煤流的三维模
型信息。

[0116] 组成模块803，用于基于目标判别器和目标条件生成器，得到目标条件生成对抗网络。

[0117] 需要说明的是，上述对条件生成对抗网络的训练方法实施例的解释说明，也适用于本申请实施例的条件生成对抗网络的训练装置，具体过程此处不再赘述。

[0118] 根据本申请的一个实施例，第一样本图像、第一模型样本数据和煤流假图对应于同一煤流样本，第二样本图像和第二模型样本数据对应于同一煤流样本。

[0119] 综上，本申请实施例的条件生成对抗网络的训练装置，基于第一样本图像、第一模型样本数据和煤流假图，迭代训练条件生成对抗网络中的判别器，以得到目标判别器，使得
目标判别器将第一样本图像判定为真，且将煤流假图判定为假，其中，第一样本图像为煤流
的深度图，煤流假图为条件生成对抗网络中的条件生成器生成的深度图，第一模型样本数
据中包括煤流的三维模型信息；基于第二样本图像和第二模型样本数据，迭代训练条件生
成器，以得到目标条件生成器，使得目标条件生成器生成的煤流假图被目标判别器判定为
真，其中，第二样本图像为煤流的三维毫米波热图，第二模型样本数据中包括煤流的三维模
型信息；基于目标判别器和目标条件生成器，得到目标条件生成对抗网络。本申请以毫米波
热图作为第二样本图像，以相机采集的深度图作为第一样本图像，同时结合煤流的模型样
本数据作为条件输入信息，对条件生成对抗网络进行训练，使得条件生成对抗网络能够学
习处理原始毫米波热图中的镜面反射和多路径反射，得到目标条件生成对抗网络，该目标
条件生成对抗网络能够根据实测的三维毫米热图生成高分辨率的深度图，以增强煤流量检
测的效果，且基于目标条件生成对抗网络获取高分辨率煤流深度图的设备结构简单，便于
在煤矿场景下实施。

[0120] 为了实现上述实施例，本申请还提出了一种电子设备900，如图9所示，包括存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序，处理器执行
程序时，实现前述的煤流量检测方法或者条件生成对抗网络的训练方法。

[0121] 在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

[0122] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者
隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，
除非另有明确具体的限定。

[0123] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任
一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技
术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结
合和组合。

[0124] 尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述
实施例进行变化、修改、替换和变型。