一种移动web深度学习协作的方法及系统专利检索-深度学习机器学习人工智能人工智能专利检索查询-专利查询网

积极推动地理标志专门立法

2022-03-10 地理标志，立法，知识产权
保护知识产权是对创新最大的激励

2022-03-10 保护知识产权，创新，激励
谢商华：加快制定知识产权基本法

2022-03-10 知识产权基本法
擦亮“双奥之城”品牌

2022-03-10 双奥，知识产权
让冰雪运动“热”力全开

2022-03-10 冰雪运动，知识产权
携手共奋进　走好强国路

2022-03-10 强国，知识产权
坚持创新引领　方能稳中求进

2022-03-10 创新，稳中求进，知识产权
答好“两张卷” 奋进新征程

2022-03-10 知识产权
专家解读政府工作报告中的创新和知识产权相关部署

2022-03-10 政府工作报告，创新，知识产权
今年政府工作报告指出：加强知识产权保护和运用

2022-03-10 政府工作报告，知识产权保护

一种移动web深度学习协作的方法及系统

阅读：255发布：2021-02-24

IPRDB可以提供一种移动web深度学习协作的方法及系统专利检索，专利查询，专利分析的服务。并且本发明实施例提供一种移动web深度学习协作的方法及系统。该方法包括：通过移动web浏览器加载目标任务，对目标任务进行预处理，并向边缘服务器发送深度学习计算请求；边缘服务器根据深度学习计算请求和当前上下文信息，计算压缩深度神经网络模型需求，并向移动web浏览器返回满足的压缩深度神经网络模型；移动web浏览器接收并执行压缩深度神经网络的前馈过程，得到第一任务计算结果，并将第一层卷积层作为共享层的暂存结果；移动web浏览器计算第一任务计算结果的标准交叉熵，若判断标准交叉熵大于预设阈值，则接收第一任务计算结果。本发明实施例提出的移动Web深度学习协作，有效降低了模型的传输和前馈计算时延。，下面是一种移动web深度学习协作的方法及系统专利的具体信息内容。

权利要求

1.一种移动web深度学习协作的方法，其特征在于，包括：

通过移动web浏览器加载目标任务，对所述目标任务进行预处理，并向边缘服务器发送深度学习计算请求；

所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，在缓存模型库中查询是否存在满足预设条件的压缩深度神经网络模型，若存在，则向所述移动web浏览器返回所述压缩深度神经网络模型；

所述移动web浏览器接收所述压缩深度神经网络模型，并执行所述压缩深度神经网络模型的前馈过程，得到第一任务计算结果，并将所述压缩深度神经网络模型的第一层卷积层作为共享层的暂存结果；

所述移动web浏览器计算所述第一任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果。

2.根据权利要求1所述的一种移动web深度学习协作的方法，其特征在于，所述方法还包括：若所述压缩深度神经网络模型不满足预设条件，则所述边缘服务器将所述压缩深度神经网络模型需求同步至云端服务器，由所述云端服务器基于上下文感知压缩算法执行所述压缩深度神经网络模型需求；

所述边缘服务器向所述移动web浏览器返回空模型结果，同时返回所述云端服务器执行所述压缩深度神经网络模型需求得到的第二任务计算结果。

3.根据权利要求1所述的一种移动web深度学习协作的方法，其特征在于，所述方法还包括：若判断所述标准交叉熵小于等于预设阈值，则所述移动web浏览器将所述暂存结果作为参数向所述边缘服务器发送计算请求；

所述边缘服务器根据所述计算请求，计算除所述共享层之外的未压缩的全精度网络的前馈过程，得到第三任务计算结果，并将所述第三任务计算结果返回至所述移动web浏览器。

4.根据权利要求2所述的一种移动web深度学习协作的方法，其特征在于，所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，并向所述移动web浏览器返回满足预设条件的压缩深度神经网络模型，之后还包括：执行所述边缘服务器与所述云端服务器之间的模型缓存更新机制，所述模型缓存更新机制具体包括：在所述边缘服务器的缓存模型库中存储供所述边缘服务器高频调用的压缩深度神经网络模型；

获取缓存模型调用算法，以供所述边缘服务器向所述云端服务器调用除高频调用之外的压缩深度神经网络模型。

5.根据权利要求2所述的一种移动web深度学习协作的方法，其特征在于，所述上下文感知压缩算法具体包括：通过预先执行未压缩深度神经网络模型，记录所述未压缩深度神经网络模型中每个滤波器的执行时延和内存占用大小，在所述云端服务器上生成测量值，将所述测量值存入度量表中；

基于所述度量表，移除所述未压缩深度神经网络模型每层中若干滤波器，进一步减少滤波器数量和特征映射数量，得到部分简化的网络模型；

将所述部分简化的网络模型中每层进行剪枝，得到修剪的网络模型；

重复训练所述修剪的网络模型，直至所述修剪的网络模型收敛。

6.根据权利要求1所述的一种移动web深度学习协作的方法，其特征在于，所述移动web浏览器计算所述任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果，具体包括：所述移动web浏览器获取所述压缩深度神经网络模型中分支计算的一维矩阵结果；

计算所述一维矩阵的标准交叉熵，若判断所述一维矩阵的标准交叉熵大于所述预设阈值，则将所述一维矩阵中最大值对应的计算结果作为所述第一任务计算结果。

7.一种移动web深度学习协作的系统，其特征在于，包括：

预处理模块，用于通过移动web浏览器加载目标任务，对所述目标任务进行预处理，并向边缘服务器发送深度学习计算请求；

第一计算模块，用于所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，在缓存模型库中查询是否存在满足预设条件的压缩深度神经网络模型，若存在，则向所述移动web浏览器返回所述压缩深度神经网络模型；

执行模块，用于所述移动web浏览器接收所述压缩深度神经网络模型，并执行所述压缩深度神经网络模型的前馈过程，得到第一任务计算结果，并将所述压缩深度神经网络模型的第一层卷积层作为共享层的暂存结果；

第一判断模块，用于所述移动web浏览器计算所述第一任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果。

8.根据权利要求7所述的一种移动web深度学习协作的系统，其特征在于，所述系统还包括：第二计算模块，用于若所述压缩深度神经网络模型不满足预设条件，所述边缘服务器将所述压缩深度神经网络模型需求同步至云端服务器，由所述云端服务器基于上下文感知压缩算法执行所述压缩深度神经网络模型需求；

第一返回模块，用于所述边缘服务器向所述移动web浏览器返回空模型结果，同时返回所述云端服务器执行所述压缩深度神经网络模型需求得到的第二任务计算结果。

9.根据权利要求7所述的一种移动web深度学习协作的系统，其特征在于，所述系统还包括：第二判断模块，用于若判断所述标准交叉熵小于等于预设阈值，所述移动web浏览器将所述暂存结果作为参数向所述边缘服务器发送计算请求；

第二返回模块，用于所述边缘服务器根据所述计算请求，计算除所述共享层之外的未压缩的全精度网络的前馈过程，得到第三任务计算结果，并将所述第三任务计算结果返回至所述移动web浏览器。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述一种移动web深度学习协作的方法的步骤。

说明书全文

一种移动web深度学习协作的方法及系统

技术领域

[0001] 本发明涉及移动互联网技术领域，尤其涉及一种移动web深度学习协作的方法及系统。

背景技术

[0002] 随着神经网络应用的领域越来越广泛，其中的深度学习已然成功地在原生平台中应用了大量的计算密集型任务，如图像识别，语音识别和自然语言处理。相关研究将深度学习与跨平台Web技术相结合，可以有效地为用户提供轻量级，跨平台的智能服务。

[0003] 由于缺乏优化的低级API，Web现在无法以高性能方式支持高级深度学习用例。因此，万维网联盟的网络社区小组正在积极推动深度学习的创新，孵化和研究，以促进网络的发展。例如，万维网联盟增强现实社区小组正在开发网络技术，以便能够创建关于增强现实，深度学习和Web交叉的深度学习网络体验，或者更简单地说是增强Web。此外，深度学习对象识别技术，作为移动Web AR的主要组成部分，可以帮助购物中心的用户，增强娱乐体验，改善教育和培训，并显着提高治疗质量。近年来，基于移动智能终端的应用大量涌现，这些智能应用能够充分利用移动终端设备的硬件资源提供更为轻量、便捷的服务。然而，这种方案需要下载并安装特定的应用程序(APP)后，才能够体验到深度学习等智能技术。因此基于移动终端的深度学习解决方案仍旧存在着大规模普适化应用难的问题。然而，这种方案需要下载安装相关的应用程序(APP)后，才能体验到深度学习技术。而万维网(WWW)技术以其天然的跨平台性，为深度学习技术的大规模普适化提供了全新的入口与途径。不再受限于特定的应用程序，互联网用户只需要通过点击特定的超链接，便可以从终端设备浏览器直接体验到深度学习技术，极大的降低了深度学习智能应用大规模推广的门槛与成本。但万维网在应用深度学习时，仍受限于处理大量数据产生高时延，低数据吞吐量，造成大量计算资源的浪费。

[0004] 因此，需要提出一种在移动网络进行深度学习的方法，能提高数据处理速度，降低数据交互时延，提升系统吞吐量。

发明内容

[0005] 本发明实施例提供一种移动web深度学习协作的方法及系统，用以解决现有技术中移动网络进行深度学习时高时延，低吞吐量的缺陷。

[0006] 第一方面，本发明实施例提供一种移动web深度学习协作的方法，包括：

[0007] 通过移动web浏览器加载目标任务，对所述目标任务进行预处理，并向边缘服务器发送深度学习计算请求；

[0008] 所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，在缓存模型库中查询是否存在满足预设条件的压缩深度神经网络模型，若存在，则向所述移动web浏览器返回所述压缩深度神经网络模型；

[0009] 所述移动web浏览器接收所述压缩深度神经网络模型，并执行所述压缩深度神经网络模型的前馈过程，得到第一任务计算结果，并将所述压缩深度神经网络模型的第一层卷积层作为共享层的暂存结果；

[0010] 所述移动web浏览器计算所述第一任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果。

[0011] 优选地，所述方法还包括：

[0012] 若所述压缩深度神经网络模型不满足预设条件，则所述边缘服务器将所述压缩深度神经网络模型需求同步至云端服务器，由所述云端服务器基于上下文感知压缩算法执行所述压缩深度神经网络模型需求；

[0013] 所述边缘服务器向所述移动web浏览器返回空模型结果，同时返回所述云端服务器执行所述压缩深度神经网络模型需求得到的第二任务计算结果。

[0014] 优选地，所述方法还包括：

[0015] 若判断所述标准交叉熵小于等于预设阈值，则所述移动web浏览器将所述暂存结果作为参数向所述边缘服务器发送计算请求；

[0016] 所述边缘服务器根据所述计算请求，计算除所述共享层之外的未压缩的全精度网络的前馈过程，得到第三任务计算结果，并将所述第三任务计算结果返回至所述移动web浏览器。

[0017] 优选地，所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，并向所述移动web浏览器返回满足预设条件的压缩深度神经网络模型，之后还包括：

[0018] 执行所述边缘服务器与所述云端服务器之间的模型缓存更新机制，所述模型缓存更新机制具体包括：

[0019] 在所述缓存模型库中存储供所述边缘服务器高频调用的压缩深度神经网络模型；

[0020] 获取缓存模型调用算法，以供所述边缘服务器向所述云端服务器调用除高频调用之外的压缩深度神经网络模型。

[0021] 优选地，所述上下文感知压缩算法具体包括：

[0022] 通过预先执行未压缩深度神经网络模型，记录所述未压缩深度神经网络模型中每个滤波器的执行时延和内存占用大小，在所述云端服务器上生成测量值，将所述测量值存入度量表中；

[0023] 基于所述度量表，移除所述未压缩深度神经网络模型每层中若干滤波器，进一步减少滤波器数量和特征映射数量，得到部分简化的网络模型；

[0024] 将所述部分简化的网络模型中每层进行剪枝，得到修剪的网络模型；

[0025] 重复训练所述修剪的网络模型，直至所述修剪的网络模型收敛。

[0026] 优选地，所述移动web浏览器计算所述第一任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果，具体包括：

[0027] 所述移动web浏览器获取所述压缩深度神经网络模型中分支计算的一维矩阵结果；

[0028] 计算所述一维矩阵的标准交叉熵，若判断所述一维矩阵的标准交叉熵大于所述预设阈值，则将所述一维矩阵中最大值对应的计算结果作为所述第一任务计算结果。

[0029] 第二方面，本发明实施例提供一种移动web深度学习协作的系统，包括：

[0030] 预处理模块，用于通过移动web浏览器加载目标任务，对所述目标任务进行预处理，并向边缘服务器发送深度学习计算请求；

[0031] 第一计算模块，用于所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，在缓存模型库中查询是否存在满足预设条件的压缩深度神经网络模型，若存在，则向所述移动web浏览器返回所述压缩深度神经网络模型；

[0032] 执行模块，用于所述移动web浏览器接收所述压缩深度神经网络模型，并执行所述压缩深度神经网络模型的前馈过程，得到第一任务计算结果，并将所述压缩深度神经网络模型的第一层卷积层作为共享层的暂存结果；

[0033] 第一判断模块，用于所述移动web浏览器计算所述第一任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果。

[0034] 优选地，所述系统还包括：

[0035] 第二计算模块，用于若所述压缩深度神经网络模型不满足预设条件，所述边缘服务器将所述压缩深度神经网络模型需求同步至云端服务器，由所述云端服务器基于上下文感知压缩算法执行所述压缩深度神经网络模型需求；

[0036] 第一返回模块，用于所述边缘服务器向所述移动web浏览器返回空模型结果，同时返回所述云端服务器执行所述压缩深度神经网络模型需求得到的第二任务计算结果。

[0037] 优选地，所述系统还包括：

[0038] 第二判断模块，用于若判断所述标准交叉熵小于等于预设阈值，所述移动web浏览器将所述暂存结果作为参数向所述边缘服务器发送计算请求；

[0039] 第二返回模块，用于所述边缘服务器根据所述计算请求，计算除所述共享层之外的未压缩的全精度网络的前馈过程，得到第三任务计算结果，并将所述第三任务计算结果返回至所述移动web浏览器。

[0040] 第三方面，本发明实施例提供一种电子设备，包括：

[0041] 存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述一种移动web深度学习协作的方法的步骤。

[0042] 本发明实施例提供的一种移动web深度学习协作的方法及系统，通过基于“端+边缘+云”架构的移动Web深度学习协作，有效压缩了深度神经网络模型，并加速神经网络在移动Web浏览器上的前馈推理，降低模型的传输和前馈计算时延，解决了在移动Web上运行深度神经网络算法所需的大量计算与移动Web浏览器有限计算资源之间的矛盾，有效提升系统的吞吐量，降低深度神经网络任务的计算时延，同时边缘的协作推理机制也保证深度神经网络计算的精确度。

附图说明

[0043] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0044] 图1为本发明实施例提供的一种移动web深度学习协作的方法流程图；

[0045] 图2为本发明实施例提供的上下文感知压缩算法流程图；

[0046] 图3为本发明实施例提供的一种移动web深度学习协作的系统结构图；

[0047] 图4为本发明实施例提供的电子设备的结构框图。

具体实施方式

[0048] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0049] 图1为本发明实施例提供的一种移动web深度学习协作的方法流程图，如图1所示，包括：

[0050] S1，通过移动web浏览器加载目标任务，对所述目标任务进行预处理，并向边缘服务器发送深度学习计算请求；

[0051] S2，所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，在缓存模型库中查询是否存在满足预设条件的压缩深度神经网络模型，若存在，则向所述移动web浏览器返回所述压缩深度神经网络模型；

[0052] S3，所述移动web浏览器接收所述压缩深度神经网络模型，并执行所述压缩深度神经网络模型的前馈过程，得到第一任务计算结果，并将所述压缩深度神经网络模型的第一层卷积层作为共享层的暂存结果；

[0053] S4，所述移动web浏览器计算所述第一任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果。

[0054] 具体地，在步骤S1中，移动用户利用任意安装移动Web浏览器的终端设备，通常通过前端页面上传或者摄像头等传感器采集图像、声音或视频等目标任务；然后移动Web浏览器对这些目标任务进行预处理，主要包括目标任务的压缩、尺寸格式调整及归一化等操作；完成目标任务的预处理后，即通过web前端相关的API接口形式向邻近的边缘服务器发送深度学习计算请求。

[0055] 在步骤S2中，当边缘服务器通过API接口接收到移动用户的深度学习计算请求后，该请求是实时更新的，通过API接口获取当前请求用户的上下文信息，包括移动终端设备的计算力和网络状态，即移动用户实时请求压缩模型时，通过监控网络状况并结合移动终端的CPU频率，并结合上下文信息计算压缩深度神经网络模型的需求，在缓存模型库中查找是否存在满足要求，即符合预设条件的压缩深度神经网络模型，若存在，则返回适合当前请求用户的压缩深度神经网络模型。该压缩深度神经网络模型能够面对不同的移动设备和上下文，提供执行时延和传输时延最低的压缩模型，以供移动终端用户完成深度神经网络任务的计算，并且满足用户对时延和移动能量消耗的要求。

[0056] 在步骤S3中，移动web浏览器接收到满足要求的压缩深度神经网络模型后，进一步地在前端执行压缩深度神经网络模型的前馈计算过程，获得计算结果，记为第一任务计算结果，同时将压缩深度神经网络模型的第一层卷积层暂存在共享层中，作为暂存结果，该暂存结果供精度不满足时与边缘服务器端进行协作。

[0057] 在步骤S4中，得到第一任务计算结果后，移动web浏览器进一步计算第一任务计算结果的标准交叉熵，通过判断该标准交叉熵是否满足预设阈值，若标准交叉熵大于预设阈值，则认为第一任务计算结果满足要求，将第一任务计算结果输出反馈至移动web用户，以满足后续的计算任务需求。

[0058] 本发明实施例通过构建基于“端+边缘+云”的架构，来实现移动web的深度学习协作，有效压缩了深度神经网络模型，并加速了神经网络在移动Web浏览器上的前馈推理，降低了模型的传输和前馈计算时延。

[0059] 在上述实施例的基础上，作为一种可选实施例，所述方法还包括：

[0060] 若所述压缩深度神经网络模型不满足预设条件，则所述边缘服务器将所述压缩深度神经网络模型需求同步至云端服务器，由所述云端服务器基于上下文感知压缩算法执行所述压缩深度神经网络模型需求；

[0061] 所述边缘服务器向所述移动web浏览器返回空模型结果，同时返回所述云端服务器执行所述压缩深度神经网络模型需求得到的第二任务计算结果。

[0062] 具体地，若边缘服务器在缓存模型库中没有查询到满足预设条件的压缩深度神经网络模型，则将将该上下文所需的压缩深度神经网络模型需求同步至云端GPU服务器上进行深度神经网络模型压缩；边缘服务器同时向移动Web浏览器返回空模型以表明在边缘服务器完成任务的前馈计算，并将执行压缩深度神经网络模型需求得到的计算结果，记为第二任务计算结果，返回至移动Web浏览器。

[0063] 本发明实施例通过在边缘服务器无法查询得到满足要求的压缩深度神经网络模型的基础上，进一步执行由云端服务器进行模型压缩的任务，确保满足了多场景模型压缩需求，深化了云端服务器在执行数据压缩处理过程中的重要性。

[0064] 在上述实施例的基础上，作为一种可选实施例，所述方法还包括：

[0065] 若判断所述标准交叉熵小于等于预设阈值，则所述移动web浏览器将所述暂存结果作为参数向所述边缘服务器发送计算请求；

[0066] 所述边缘服务器根据所述计算请求，计算除所述共享层之外的未压缩的全精度网络的前馈过程，得到第三任务计算结果，并将所述第三任务计算结果返回至所述移动web浏览器。

[0067] 具体地，若判断计算得到的标准交叉熵不能满足预设阈值，即小于等于预设阈值，则将共享层的输出结果推送至边缘服务器，并将其作为边缘服务器未压缩神经网络的剩余层的输入，并完成剩余的全精度神经网络前馈计算，获得最终的目标任务识别结果，将该识别结果反馈至移动Web浏览器，完成深度神经网络任务的计算。

[0068] 本发明实施例在判断标准交叉熵无法满足预设阈值后，将共享层的暂存结果推送至边缘服务器，仅需执行剩余层的网络计算，边缘端提供的协作机制有效地对压缩模型计算精度的不足进行了补充，从而确保了深度神经网络任务计算结果的准确性。

[0069] 在上述实施例的基础上，作为一种可选实施例，所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，并向所述移动web浏览器返回满足预设条件的压缩深度神经网络模型，之后还包括：

[0070] 执行所述边缘服务器与所述云端服务器之间的模型缓存更新机制，所述模型缓存更新机制具体包括：

[0071] 在所述缓存模型库中存储供所述边缘服务器高频调用的压缩深度神经网络模型；

[0072] 获取缓存模型调用算法，以供所述边缘服务器向所述云端服务器调用除高频调用之外的压缩深度神经网络模型。

[0073] 具体地，执行边缘服务器与云端服务器之间的压缩模型缓存更新机制，仅在边缘服务器上缓存高频使用的压缩深度神经网络模型，同时提供缓存模型调用算法，以确保那些请求量较少的模型在云端服务器中仍然可以被调用。该缓存更新机制主要通过分析移动用户的需求，结合历史请求信息从而确定在有限的边缘服务器模型缓存队列中缓存最优的压缩神经网络模型。

[0074] 本发明实施例通过实时执行压缩模型缓存更新机制，使得存储在边缘服务器上被高频调用的压缩深度神经网络模型能最接近用户需求响应，能够提高移动Web用户的模型请求命中率，大大缩短了模型数据请求时间，同时又提供缓存模型调用算法，使得剩余模型能实时在云端服务器上被调用，更全面地满足了压缩模型的需求响应。

[0075] 在上述实施例的基础上，作为一种可选实施例，图2为本发明实施例提供的上下文感知压缩算法流程图，如图2所示，所述上下文感知压缩算法具体包括：

[0076] 101，通过预先执行未压缩深度神经网络模型，记录所述未压缩深度神经网络模型中每个滤波器的执行时延和内存占用大小，在所述云端服务器上生成测量值，将所述测量值存入度量表中；

[0077] 102，基于所述度量表，移除所述未压缩深度神经网络模型每层中若干滤波器，进一步减少滤波器数量和特征映射数量，得到部分简化的网络模型；

[0078] 103，将所述部分简化的网络模型中每层进行剪枝，得到修剪的网络模型；

[0079] 104，重复训练所述修剪的网络模型，直至所述修剪的网络模型收敛。

[0080] 具体地，在步骤101中，通过预先执行完整的深度神经网络模型，并记录层中每个滤波器的执行时延和内存占用大小，在标准云服务器上生成直接度量的测量值，例如推理延迟和模型传输延迟，一般通过模型大小和网络条件进行估计，将测量值汇总生成度量表。

[0081] 在步骤102中，在得到度量表之后，通过该度量表指导移除未压缩深度神经网络模型每层中适当数量的滤波器，这里是直接移除整个滤波器而不是仅移除部分参数权重，能进一步地减少滤波器数量和特征映射数量，之后保留N个滤波器，该N值由具有最大二范数的测量值确定，移除若干滤波器后得到具有部分简化结构的网络模型。

[0082] 在步骤103中，为了在移除部分滤波器后保持最大化的精度，将部分简化的网络模型进行剪枝操作，从第一层开始，迭代执行到下一层，当一个层被修剪和调整后，重复移动到下一层进行类似的剪枝，得到修剪的网络模型。

[0083] 在步骤104中，重新训练修剪的网络模型，以促进修剪网络的泛化能力，与训练初始网络相比，这将花费更少的时间，因为它具有更少的滤波器，直至最终的模型收敛。

[0084] 本发明实施例通过引入上下文感知压缩算法，对模型整体结构进行压缩剪枝，大大简化了网络结构，使得网络实现轻载化，减轻网络负担。

[0085] 在上述实施例的基础上，作为一种可选实施例，所述移动web浏览器计算所述任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果，具体包括：

[0086] 所述移动web浏览器获取所述压缩深度神经网络模型中分支计算的一维矩阵结果；

[0087] 计算所述一维矩阵的标准交叉熵，若判断所述一维矩阵的标准交叉熵大于所述预设阈值，则将所述一维矩阵中最大值对应的计算结果作为所述第一任务计算结果。

[0088] 具体地，移动web浏览器首先获取压缩深度神经网络模型中分支计算的一维矩阵结果，并计算该一维矩阵的标准交叉熵，判断该标准交叉熵是否大于预设阈值，如果满足，则将该一维矩阵中最大值对应的计算结果，即第一任务计算结果输出至移动web浏览器。

[0089] 本发明实施例细化了标准交叉熵的输出过程，能进一步通过标准交叉熵的值判断计算结果的精度，从而提供更准确的移动用户模型需求。

[0090] 图3为本发明实施例提供的一种移动web深度学习协作的系统结构图，如图3所示，包括：预处理模块31、第一计算模块32、执行模块33和第一判断模块34；其中：

[0091] 预处理模块31用于通过移动web浏览器加载目标任务，对所述目标任务进行预处理，并向边缘服务器发送深度学习计算请求；第一计算模块32用于所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，并向所述移动web浏览器返回满足预设条件的压缩深度神经网络模型；执行模块33用于所述移动web浏览器接收所述压缩深度神经网络模型，并执行所述压缩深度神经网络模型的前馈过程，得到第一任务计算结果，并将所述压缩深度神经网络模型的第一层卷积层作为共享层的暂存结果；第一判断模块34用于所述移动web浏览器计算所述第一任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果。

[0092] 本发明实施例提供的系统用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，涉及的算法流程与对应的方法算法流程相同，此处不再赘述。

[0093] 本发明实施例通过构建基于“端+边缘+云”的架构，来实现移动web的深度学习协作，有效压缩了深度神经网络模型，并加速了神经网络在移动Web浏览器上的前馈推理，降低了模型的传输和前馈计算时延。

[0094] 在上述实施例的基础上，作为一种可选实施例，所述系统还包括：第二计算模块35和第一返回模块36；其中：

[0095] 第二计算模块35用于若所述压缩深度神经网络模型不满足预设条件，所述边缘服务器将所述压缩深度神经网络模型需求同步至云端服务器，由所述云端服务器基于上下文感知压缩算法执行所述压缩深度神经网络模型需求；第一返回模块36用于所述边缘服务器向所述移动web浏览器返回空模型结果，同时返回所述云端服务器执行所述压缩深度神经网络模型需求得到的第二任务计算结果。

[0096] 本发明实施例通过在边缘服务器无法查询得到满足要求的压缩深度神经网络模型的基础上，进一步执行由云端服务器进行模型压缩的任务，确保满足了多场景模型压缩需求，深化了云端服务器在执行数据压缩处理过程中的重要性。

[0097] 在上述实施例的基础上，作为一种可选实施例，所述系统还包括：第二判断模块37和第二返回模块38；其中：

[0098] 第二判断模块37用于若判断所述标准交叉熵小于等于预设阈值，所述移动web浏览器将所述暂存结果作为参数向所述边缘服务器发送计算请求；第二返回模块38用于所述边缘服务器根据所述计算请求，计算除所述共享层之外的未压缩的全精度网络的前馈过程，得到第三任务计算结果，并将所述第三任务计算结果返回至所述移动web浏览器。

[0099] 本发明实施例在判断标准交叉熵无法满足预设阈值后，将共享层的暂存结果推送至边缘服务器，仅需执行剩余层的网络计算，边缘端提供的协作机制有效地对压缩模型计算精度的不足进行了补充，从而确保了深度神经网络任务计算结果的准确性。

[0100] 在上述实施例的基础上，作为一种可选实施例，所述系统还包括更新模块39，所述更新模块39具体用于：

[0101] 执行所述边缘服务器与所述云端服务器之间的模型缓存更新机制，所述模型缓存更新机制具体包括：

[0102] 在所述缓存模型库中存储供所述边缘服务器高频调用的压缩深度神经网络模型；

[0103] 获取缓存模型调用算法，以供所述边缘服务器向所述云端服务器调用除高频调用之外的压缩深度神经网络模型。

[0104] 本发明实施例通过实时执行压缩模型缓存更新机制，使得存储在边缘服务器上被高频调用的压缩深度神经网络模型能最接近用户需求响应，能够提高移动Web用户的模型请求命中率，大大缩短了模型数据请求时间，同时又提供缓存模型调用算法，使得剩余模型能实时在云端服务器上被调用，更全面地满足了压缩模型的需求响应。

[0105] 在上述实施例的基础上，作为一种可选实施例，所述第二计算模块35中的上下文感知压缩算法具体包括：

[0106] 101，通过预先执行未压缩深度神经网络模型，记录所述未压缩深度神经网络模型中每个滤波器的执行时延和内存占用大小，在所述云端服务器上生成测量值，将所述测量值存入度量表中；

[0107] 102，基于所述度量表，移除所述未压缩深度神经网络模型每层中若干滤波器，进一步减少滤波器数量和特征映射数量，得到部分简化的网络模型；

[0108] 103，将所述部分简化的网络模型中每层进行剪枝，得到修剪的网络模型；

[0109] 104，重复训练所述修剪的网络模型，直至所述修剪的网络模型收敛。

[0110] 本发明实施例通过引入上下文感知压缩算法，对模型整体结构进行压缩剪枝，大大简化了网络结构，使得网络实现轻载化，减轻网络负担。

[0111] 在上述实施例的基础上，作为一种可选实施例，所述第一判断模块34具体用于：

[0112] 所述移动web浏览器获取所述压缩深度神经网络模型中分支计算的一维矩阵结果；

[0113] 计算所述一维矩阵的标准交叉熵，若判断所述一维矩阵的标准交叉熵大于所述预设阈值，则将所述一维矩阵中最大值对应的计算结果作为所述第一任务计算结果。

[0114] 本发明实施例细化了标准交叉熵的输出过程，能进一步通过标准交叉熵的值判断计算结果的精度，从而提供更准确的移动用户模型需求。

[0115] 图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：通过移动web浏览器加载目标任务，对所述目标任务进行预处理，并向边缘服务器发送深度学习计算请求；所述边缘服务器根据所述深度学习计算请求和当前的上下文信息，计算压缩深度神经网络模型需求，在缓存模型库中查询是否存在满足预设条件的压缩深度神经网络模型，若存在，则向所述移动web浏览器返回所述压缩深度神经网络模型；所述移动web浏览器接收所述压缩深度神经网络模型，并执行所述压缩深度神经网络模型的前馈过程，得到第一任务计算结果，并将所述压缩深度神经网络模型的第一层卷积层作为共享层的暂存结果；所述移动web浏览器计算所述第一任务计算结果的标准交叉熵，若判断所述标准交叉熵大于预设阈值，则接收所述第一任务计算结果。

[0116] 此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

[0117] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

[0118] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

[0119] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

标题	发布/更新时间	阅读量
量子深度学习-专利编号CN107004162A	2020-05-11	205
地球物理深度学习-专利编号CN110462445A	2020-05-13	414
基于距离的深度学习-专利编号CN110197252A	2020-05-11	270
加速的深度学习-专利编号CN110869946A	2020-05-11	615
语音医嘱深度学习方法-专利编号CN108986925A	2020-05-12	410
深度学习自主运行方法-专利编号CN110298445A	2020-05-13	820
深度学习平台及方法-专利编号CN109447248A	2020-05-13	970
深度学习系统及其方法-专利编号CN110473198A	2020-05-12	414
模块化深度学习模型-专利编号CN108701453A	2020-05-12	705
一种深度学习房屋-专利编号CN208236029U	2020-05-11	955

一种移动web深度学习协作的方法及系统

一种移动web深度学习协作的方法及系统

技术领域

背景技术

发明内容

附图说明

具体实施方式

IPRDB

热门服务

关于我们

友情链接

联系方式