基于联合学习的语义边缘检测方法、装置、系统及介质

摘要

本发明公开了基于联合学习的语义边缘检测方法、装置、系统及存储介质，方法包括：预先构建生成对抗网络和边缘检测网络；获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。本发明实施例通过在统一的框架内构建生成对抗网络和边缘检测网络进行联合学习，同时执行噪声学习任务和边缘检测任务，形成闭环训练结构，能有效提高各任务的性能，使得联合学习后得到的边缘检测网络具有更加精确和清晰的语义边缘检测效果。

权利要求

1.一种基于联合学习的语义边缘检测方法，其特征在于，包括如下步骤：预先构建生成对抗网络和边缘检测网络；

获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；

将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果；

所述生成对抗网络包括用于生成模拟真实噪声样本的生成器网络，以及用于对所述模拟真实噪声样本进行真伪识别以及分类的判别器网络，通过生成器网络和判别器网络之间的对抗性优化，从训练的边缘噪声样本数据中生成模拟真实边缘噪声分布的合成样本；

所述获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络，包括：获取边缘噪声样本并将其输入至所述生成器网络，通过所述生成器网络生成模拟真实噪声样本；

将所述模拟真实噪声样本经所述判别器网络识别真伪后输入至所述边缘检测网络；

根据当前输入的模拟真实噪声样本以及边缘检测网络的损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络；

根据所述边缘检测结果调节所述生成对抗网络的参数直到边缘检测结果达到期望值，得到完成联合学习训练的生成对抗网络和边缘检测网络。

2.根据权利要求1所述的基于联合学习的语义边缘检测方法，其特征在于，所述构建边缘检测网络，具体包括：

构建用于边缘检测的卷积神经网络，以及用于训练所述卷积神经网络的损失函数，其中所述卷积神经网络包括用于对语义边缘进行分类预测的边缘细化层。

3.根据权利要求2所述的基于联合学习的语义边缘检测方法，其特征在于，所述损失函数包括交叉熵损失、NMS损失以及方向损失。

4.根据权利要求2所述的基于联合学习的语义边缘检测方法，其特征在于，所述边缘细化层具体通过计算边缘法线方向进行边缘分类预测。

5.根据权利要求4所述的基于联合学习的语义边缘检测方法，其特征在于，所述根据当前输入的模拟真实噪声样本以及损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络，包括：获取判别器网络识别为真的模拟真实噪声样本并将其输入至所述卷积神经网络；

通过所述损失函数对所述卷积神经网络输出的边缘检测结果进行误差评价；

根据误差评价结果调节所述卷积神经网络的权重参数，并将所述边缘检测结果反馈至所述生成对抗网络。

6.一种基于联合学习的语义边缘检测装置，其特征在于，所述装置包括：构建模块，用于预先构建生成对抗网络和边缘检测网络；

联合学习模块，用于获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；

检测模块，用于将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果；

其中所述生成对抗网络包括用于生成模拟真实噪声样本的生成器网络，以及用于对所述模拟真实噪声样本进行真伪识别以及分类的判别器网络，通过生成器网络和判别器网络之间的对抗性优化，从训练的边缘噪声样本数据中生成模拟真实边缘噪声分布的合成样本；

所述联合学习模块具体用于获取边缘噪声样本并将其输入至所述生成器网络，通过所述生成器网络生成模拟真实噪声样本；将所述模拟真实噪声样本经所述判别器网络识别真伪后输入至所述边缘检测网络；根据当前输入的模拟真实噪声样本以及边缘检测网络的损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络；

根据所述边缘检测结果调节所述生成对抗网络的参数直到边缘检测结果达到期望值，得到完成联合学习训练的生成对抗网络和边缘检测网络。

7.一种基于联合学习的语义边缘检测系统，其特征在于，所述系统包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1‑5任一项所述的基于联合学习的语义边缘检测方法。

8.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1‑5任一项所述的基于联合学习的语义边缘检测方法。

说明书

基于联合学习的语义边缘检测方法、装置、系统及介质

技术领域

[0001] 本发明涉及图像处理技术领域，尤其涉及基于联合学习的语义边缘检测方法、装置、系统及存储介质。

背景技术

[0002] 图像边缘是识别一个物体的重要线索，例如在缺少很大一部分边界的情况下，也还是可以仅从草图中识别物体，而边缘也被证明对三维重建、定位和图像生成很有用。

[0003] 然而，目前对图像边界进行精确标注速度非常慢，否则达不到精度的要求，因此，大多数现有数据集包含显著的标注噪声，这可能是大多数的检测器输出厚边界预测的根本
原因，而厚边界预测对下游任务来说是不可取的。

[0004] 因此，现有技术还有待于改进和发展。

发明内容

[0005] 鉴于上述现有技术的不足，本发明的目的在于提供基于联合学习的语义边缘检测方法、装置、系统及存储介质，旨在解决现有技术中的语义边缘预测过厚的问题。

[0006] 本发明的技术方案如下：

[0007] 一种基于联合学习的语义边缘检测方法，其包括如下步骤：

[0008] 预先构建生成对抗网络和边缘检测网络；

[0009] 获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成联合学
习训练的生成对抗网络和边缘检测网络；

[0010] 将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。

[0011] 所述的基于联合学习的语义边缘检测方法中，所述生成对抗网络包括用于生成模拟真实噪声样本的生成器网络，以及用于对所述模拟真实噪声样本进行真伪识别以及分类
的判别器网络。

[0012] 所述的基于联合学习的语义边缘检测方法中，所述构建边缘检测网络，具体包括：

[0013] 构建用于边缘检测的卷积神经网络，以及用于训练所述卷积神经网络的损失函数，其中所述卷积神经网络包括用于对语义边缘进行分类预测的边缘细化层。

[0014] 所述的基于联合学习的语义边缘检测方法中，所述损失函数包括交叉熵损失、NMS损失以及方向损失。

[0015] 所述的基于联合学习的语义边缘检测方法中，所述边缘细化层具体通过计算边缘法线方向进行边缘分类预测。

[0016] 所述的基于联合学习的语义边缘检测方法中，所述获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习
训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测网
络，包括：

[0017] 获取边缘噪声样本并将其输入至所述生成器网络，通过所述生成器网络生成模拟真实噪声样本；

[0018] 将所述模拟真实噪声样本经所述判别器网络识别真伪后输入至所述边缘检测网络；

[0019] 根据当前输入的模拟真实噪声样本以及损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络；

[0020] 根据所述边缘检测结果调节所述生成对抗网络的参数直到边缘检测结果达到期望值，得到完成联合学习训练的生成对抗网络和边缘检测网络。

[0021] 所述的基于联合学习的语义边缘检测方法中，所述根据当前输入的模拟真实噪声样本以及损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成
对抗网络，包括：

[0022] 获取判别器网络识别为真的模拟真实边缘噪声样本并将其输入至所述卷积神经网络；

[0023] 通过所述损失函数对所述卷积神经网络输出的边缘检测结果进行误差评价；

[0024] 根据误差评价结果调节所述卷积神经网络的权重参数，并将所述边缘检测结果反馈至所述生成对抗网络。

[0025] 本发明又一实施例还提供了一种基于联合学习的语义边缘检测系统，所述系统包括至少一个处理器；以及，

[0026] 与所述至少一个处理器通信连接的存储器；其中，

[0027] 所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于联合学习的语义边缘检测方
法。

[0028] 本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器
执行时，可使得所述一个或多个处理器执行上述的基于联合学习的语义边缘检测方法。

[0029] 本发明的另一实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所
述程序指令被处理器执行时，使所述处理器执行上述的基于联合学习的语义边缘检测方
法。

[0030] 有益效果：本发明公开了基于联合学习的语义边缘检测方法、装置、系统及存储介质，相比于现有技术，本发明实施例通过在统一的框架内构建生成对抗网络和边缘检测网
络进行联合学习，同时执行噪声学习任务和边缘检测任务，形成闭环训练结构，能有效提高
各任务的性能，使得联合学习后得到的边缘检测网络具有更加精确和清晰的语义边缘检测
效果。

附图说明

[0031] 下面将结合附图及实施例对本发明作进一步说明，附图中：

[0032] 图1为本发明提供的基于联合学习的语义边缘检测方法较佳实施例的流程图；

[0033] 图2为本发明提供的基于联合学习的语义边缘检测方法较佳实施例中步骤S200的流程图；

[0034] 图3为本发明提供的基于联合学习的语义边缘检测方法较佳实施例中步骤S203的流程图；

[0035] 图4为本发明提供的基于联合学习的语义边缘检测装置较佳实施例的功能模块示意图；

[0036] 图5为本发明提供的基于联合学习的语义边缘检测系统较佳实施例的硬件结构示意图。

具体实施方式

[0037] 为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。以下
结合附图对本发明实施例进行介绍。

[0038] 请参阅图1，图1为本发明提供的基于联合学习的语义边缘检测方法较佳实施例的流程图。如图1所示，其包括如下步骤：

[0039] S100、预先构建生成对抗网络和边缘检测网络；

[0040] S200、获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期望值时得到完成
联合学习训练的生成对抗网络和边缘检测网络；

[0041] S300、将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。

[0042] 本实施例中，先构建相应的生成对抗网络和边缘检测网络，生成对抗网络(GAN)在生成高质量数据方面具有良好表现，通常由一个生成器网络和一个判别器网络组成，即本
实施例中所述生成对抗网络包括用于生成模拟真实噪声样本的生成器网络，以及用于对所
述模拟真实噪声样本进行真伪识别以及分类的判别器网络，通过这两个网络之间的对抗性
优化，能够从训练的边缘噪声样本数据中生成模拟真实边缘噪声分布的合成样本，因此本
实施例获取边缘噪声样本后根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络
进行噪声学习和边缘检测的联合学习任务，同时执行噪声学习任务和边缘检测任务以形成
闭环训练结构，最终当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络
和边缘检测网络，该边缘检测网络由于在训练过程中加入了生成对抗网络的噪声学习，完
成联合学习的生成对抗网络可生成无限接近真实边界信号的模拟真实噪声样本，在边缘检
测时通过该模拟真实噪声样本进行边缘检测训练，可实现标注噪声的显式推理来学习清
晰、精确的语义边界，产生更加准确的语义边缘预测。

[0043] 具体实施时，所述构建边缘检测网络的步骤具体包括：

[0044] 构建用于边缘检测的卷积神经网络，以及用于训练所述卷积神经网络的损失函数，其中所述卷积神经网络包括用于对语义边缘进行分类预测的边缘细化层。

[0045] 本实施例中，所述边缘检测网络采用卷积神经网络，并且在所述卷积神经网络中加入了用于对语义边缘进行分类预测的边缘细化层，同时针对加入的边缘细化层，用于训
练所述卷积神经网络的损失函数也相应的增加了损失项，具体所述损失函数包括交叉熵损
失、NMS损失以及方向损失。

[0046] 具体来说，语义边缘检测可以定义为在给定输入图像x的情况下，预测k个对象类的边界映射的任务；令 ∈{0,1}，表示像素m是否属于k类，边缘检测的目标是计算概率
图 ，通常假设其分解为一组按Bernoulli分布建模的像素概率，它是用卷积神
经网络f计算的，具有k个sigmoid函数输出以及参数θ，因此，允许每个像素属于多个类，以
处理多类遮挡边界的情况。

[0047] 具体的，语义边界学习通常采用的标准二进制交叉熵损失进行训练，为了处理边缘和非边缘像素之间的高度不平衡，使用一个加权术项 来处理，其中
为所有类中的非边缘像素数， 为像素的总数。在多类场景中，假设类是独立的，
因此，在学习中交叉熵损失可表示为：

[0048]

[0049] 进一步地，针对边缘细化层的训练通过NMS损失进行，其中所述边缘细化层具体通过计算边缘法线方向进行边缘分类预测，并在每个边界像素上沿法线采样5个位置，在这些
位置执行softmax（一种逻辑回归模型），帮助增强边界像素，提高边缘预测的精确性，具体
实施时，对于类k的每个真实值边界像素p，将其沿法向方向的响应归一化为
，其中 ，其中，t∈{−L，−L + 
1，…， L}， L表示像素pt与p沿法线的最大距离，使用基本三角学和估计二阶导数的固定卷
积层从真值边界图计算法向 ，参数τ表示softmax的温度，优选的所述L = 2，τ =0.1，当
然也可根据需要设置为其它数值。

[0050] 直观地说，所述边缘细化层希望得到的是真实边界像素p沿其法线方向实现最高响应，因此通过一个额外的损失(即NMS损失)来做到这一点，所述NMS损失用h计算的预测分
类分布推向狄拉克函数目标分布:

[0051]

[0052] 进一步地，针对方向损失，由于理想情况下，预测边界的法线方向应该与真实边界计算的法线方向相似，因此将误差定义为角域中的平均平方损失函数: 
，其中 是边界像素p中的真实法线方向， 是预
测边界计算的法线方向。

[0053] 基于上述的具有新的边缘细化层以及相应损失函数的卷积神经网络训练得到最终的边缘检测网络，由于采用了卷积神经网络，因此可插入到任何端到端边缘检测器的顶
部，强制边缘检测器预测沿边缘法向的最大响应，同时也使其方向规则化。通过这样做，可
以缓解预测过厚边界的问题，并直接优化非最大抑制边，实现更加薄且精准的边缘预测。

[0054] 进一步地，请参阅图2，所述步骤S200包括如下步骤：

[0055] S201、获取边缘噪声样本并将其输入至所述生成器网络，通过所述生成器网络生成模拟真实噪声样本；

[0056] S202、将所述模拟真实噪声样本经所述判别器网络识别真伪后输入至所述边缘检测网络；

[0057] S203、根据当前输入的模拟真实噪声样本以及损失函数对所述边缘检测网络进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络；

[0058] S204、根据所述边缘检测结果调节所述生成对抗网络的参数直到边缘检测结果达到期望值，得到完成联合学习训练的生成对抗网络和边缘检测网络。

[0059] 本实施例中，具体的联合学习包括两个阶段，第一阶段中先将现有少数的边缘噪声样本输入至生成器网络中，生成新的模拟真实噪声样本，之后将所述模拟真实噪声样本
输入至所述判别器网络进行真伪判别。具体来说，所述生成器网络具有编码模块和译码模
块，更具体地，生成器网络通过自定义图形卷积层分离图像的风格和内容，再经过编码与译
码生成新的图像，其中编码模块是一个残差网络，由卷积层、残差块组成，通过残差网络来
提取图像特征，将图像压缩成一定数量的特征向量；译码模块也是由卷积层和残差块组成，
利用反卷积层，从特征向量中还原出低级特征，最后生成图像。所述判别器网络则可通过对
抗性学习来判断此时生成器网络生成的图像是“真”还是“假”并输出相应的标签，即通过生
成器网络和判别器网络之间的生成对抗性优化，可输出与真实边界噪声接近的模拟真实噪
声样本。

[0060] 第二阶段中，将经过判别器网络识别后的模拟真实噪声样本输入至所述边缘检测网络中，通过损失函数进行边缘检测训练，反馈边缘检测结果至所述生成对抗网络，根据所
述边缘检测结果调节所述生成对抗网络的参数以加强生成对抗网络生成的质量，使得生成
器网络输出的模拟真实噪声样本尽量接近真实的边界噪声，形成训练闭环结构，直到边缘
检测结果达到期望值，以实现联合训练学习的目的，大大提高了边缘检测的效果。

[0061] 进一步地，请参阅图3，所述步骤S203包括如下步骤：

[0062] S2031、获取判别器网络识别为真的模拟真实噪声样本并将其输入至所述卷积神经网络；

[0063] S2032、通过所述损失函数对所述卷积神经网络输出的边缘检测结果进行误差评价；

[0064] S2033、根据误差评价结果调节所述卷积神经网络的权重参数，并将所述边缘检测结果反馈至所述生成对抗网络。

[0065] 本实施例中，首先通过生成对抗网络对边缘噪声样本进行学习，以产生与真实边界接近的模拟真实噪声样本，实现精准的标注噪声，此时判别器网络对生成器网络生成的
边缘噪声样本的识别结果为真，之后通过生成对抗网络产生的模拟真实噪声样本来对边缘
检测网络进行训练，具体将具有精准标注噪声的模拟真实噪声样本输入至卷积神经网络，
通过所述损失函数对所述卷积神经网络输出的边缘检测结果进行误差评价，根据误差评价
结果反向传播调节所述卷积神经网络的权重参数，并反馈边缘检测结果至生成对抗网络，
通过使用真实的边界信号训练边界网络，能够学习并产生更准确的预测，同时联合学习训
练调整参数的方案也有助于得到性能更好的边缘检测网络。

[0066] 由以上方法实施例可知，本发明提供的基于联合学习的语义边缘检测方法通过在统一的框架内构建生成对抗网络和边缘检测网络进行联合学习，同时执行噪声学习任务和
边缘检测任务，形成闭环训练结构，能有效提高各任务的性能，使得联合学习后得到的边缘
检测网络具有更加精确和清晰的语义边缘检测效果。

[0067] 需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺
序，亦即，可以并行执行，亦可以交换执行等等。

[0068] 本发明另一实施例提供一种基于联合学习的语义边缘检测装置，如图4所示，装置1包括：

[0069] 构建模块11，用于预先构建生成对抗网络和边缘检测网络；

[0070] 联合学习模块12，用于获取边缘噪声样本，根据所述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学习训练，当边缘检测结果达到期
望值时得到完成联合学习训练的生成对抗网络和边缘检测网络；

[0071] 检测模块13，用于将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结果。

[0072] 所述构建模块11、联合学习模块12和检测模块13依次连接，具体实施方式请参考上述对应的方法实施例，此处不再赘述。

[0073] 本发明另一实施例提供一种基于联合学习的语义边缘检测系统，如图5所示，系统10包括：

[0074] 一个或多个处理器110以及存储器120，图5中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图5中以通过总线连接为例。

[0075] 处理器110用于完成系统10的各种控制逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM（Acorn RISC 
Machine）或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的
任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可
以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处
理器结合DSP和/或任何其它这种配置。

[0076] 存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于联合学习的语义边缘
检测方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、
指令以及单元，从而执行系统10的各种功能应用以及数据处理，即实现上述方法实施例中
的基于联合学习的语义边缘检测方法。

[0077] 存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统10使用所创建的数据等。
此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一
个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可
选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至系统10。
上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0078] 一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的基于联合学习的语义边缘检测方法，例如，执行以上描述的图1
中的方法步骤S100至步骤S300。

[0079] 本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描
述的图1中的方法步骤S100至步骤S300。

[0080] 作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦ROM(EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速
缓存存储器的随机存取存储器(RAM)。通过说明丽非限制，RAM可以以诸如同步RAM(SRAM)、
动态RAM、(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强型SDRAM
(ESDRAM)、Synchlink DRAM(SLDRAM)以及直接Rambus(兰巴斯)RAM(DRRAM)之类的许多形式
得到。本文中所描述的操作环境的所公开的存储器组件或存储器旨在包括这些和/或任何
其他适合类型的存储器中的一个或多个。

[0081] 本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被
处理器执行时，使所述处理器执行上述方法实施例的基于联合学习的语义边缘检测方法。
例如，执行以上描述的图1中的方法步骤S100至步骤S300。

[0082] 综上所述，本发明公开的基于联合学习的语义边缘检测方法、装置、系统及存储介质中，所述方法包括：预先构建生成对抗网络和边缘检测网络；获取边缘噪声样本，根据所
述边缘噪声样本对所述生成对抗网络和边缘检测网络进行噪声学习和边缘检测的联合学
习训练，当边缘检测结果达到期望值时得到完成联合学习训练的生成对抗网络和边缘检测
网络；将待检测图像输入至所述完成联合学习训练的边缘检测网络后输出语义边缘检测结
果。本发明实施例通过在统一的框架内构建生成对抗网络和边缘检测网络进行联合学习，
同时执行噪声学习任务和边缘检测任务，形成闭环训练结构，能有效提高各任务的性能，使
得联合学习后得到的边缘检测网络具有更加精确和清晰的语义边缘检测效果。

[0083] 以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以
位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或
者全部模块来实现本实施例方案的目的。

[0084] 通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术
方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机
软件产品可以存在于计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以
使得一台计算机电子设备（可以是个人计算机，服务器，或者网络电子设备等）执行各个实
施例或者实施例的某些部分的方法。

[0085] 除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能
包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地
还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个
或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或
操作是否被包括或者将在任何特定实施方式中被执行的逻辑。

[0086] 已经在本文中在本说明书和附图中描述的内容包括能够提供基于联合学习的语义边缘检测方法、装置、系统及存储介质的示例。当然，不能够出于描述本公开的各种特征
的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许
多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况
下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书
和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明
书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用
了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。