共享多媒体信息标注方法、装置、电子设备和存储介质

摘要

本申请涉及计算机技术领域，提供一种共享多媒体信息标注方法、装置、电子设备和存储介质，用以解决网络恢复后大量数据写扩散，引发IO冲击，导致负载增加的问题，其中，方法包括：服务器在接收到来自第一客户端的多个标注共享请求之后，获取多个标注共享请求中各自携带的标注操作信息集合，然后，针对各个标注操作信息集合，基于各个标注操作信息中包含的执行时间，分别从各个标注操作信息集合中，筛选出目标操作信息，进而将目标操作信息集合发送给至少一个第二客户端。这样，减少了下发到客户端的数据量和信令数量，降低了服务器和客户端负载。

权利要求

1.一种共享多媒体信息标注方法，其特征在于，应用于服务器侧，该方法包括：

接收多个标注共享请求，其中，所述多个标注共享请求是网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，每个标注共享请求中携带一个标注操作信息集合，每个标注操作信息中包含对应的标注操作的执行时间，所述第一客户端与所述网络会议中的至少一个第二客户端在各自的操作界面中，均呈现共享多媒体信息；

基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合；

将所述目标操作信息集合发送给所述至少一个第二客户端，以使所述至少一个第二客户端基于所述目标操作信息集合中包含的各个目标操作信息，对所述共享多媒体信息进行标注。

2.如权利要求1所述的方法，其特征在于，所述基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合，包括：分别针对所述各个标注操作信息集合执行以下操作：

基于所述各个标注操作信息中包含的执行时间，从一个标注操作信息集合包含的各个标注操作信息中，筛选出符合预设时间条件的标注操作信息，作为候选操作信息；

从筛选出的各个候选操作信息中，提取出符合预设数目的候选操作信息，作为目标操作信息。

3.如权利要求2所述的方法，其特征在于，所述基于所述各个标注操作信息中包含的执行时间，从一个标注操作信息集合包含的各个标注操作信息中，筛选出符合预设时间条件的标注操作信息，作为候选操作信息，包括：分别针对所述一个标注操作信息集合包含的各个标注操作信息，执行以下操作：

若一个标注操作信息中包含的执行时间，与相应的参考时间之间的差值，不大于预设的第一差值阈值，则确定所述一个标注操作信息符合预设时间条件，并将所述一个标注操作信息作为候选操作信息；其中，所述参考时间为：所述一个标注操作信息集合对应的标注共享请求的接收时间。

4.如权利要求2所述的方法，其特征在于，所述从筛选出的各个候选操作信息中，提取出符合预设数目的候选操作信息，作为目标操作信息，包括：基于所述各个候选操作信息中包含的执行时间，对所述各个候选操作信息进行排序，得到标注序列；

基于所述预设数目，以及所述各个候选操作信息的总数目，确定抽取比例；

按照所述抽取比例，从所述标注序列中，提取出部分候选操作信息，作为所述目标操作信息。

5.如权利要求1、2或3所述的方法，其特征在于，所述服务器中针对每个第二客户端设置有对应的消息队列，所述将所述目标操作信息集合发送给所述至少一个第二客户端，包括：通过所述至少一个第二客户端各自对应的消息队列，将所述目标操作信息集合，分别推送给所述至少一个第二客户端；或者，将所述目标操作信息集合，分别存储至所述至少一个第二客户端各自对应的消息队列，以使所述至少一个第二客户端按照预设的拉取频率，通过各自对应的消息队列拉取所述目标操作信息集合。

6.一种共享多媒体信息标注方法，其特征在于，应用于网络会议中的第二客户端，包括：接收来自服务器的目标操作信息集合；其中，所述目标操作信息集合是根据所述服务器接收到多个标注共享请求之后，基于所述多个标注共享请求各自携带的标注操作信息集合中，各个标注操作信息包含的对应的标注操作的执行时间，分别从各个标注操作信息集合中筛选出的预设数目的符合预设时间条件的标注操作信息得到的，所述多个标注共享请求是所述网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，所述第一客户端与所述第二客户端在各自的操作界面中，均呈现共享多媒体信息；

基于所述目标操作信息集合，对所述共享多媒体信息进行标注。

7.如权利要求6所述的方法，其特征在于，每个目标操作信息中还包含对应的标注操作在所述共享多媒体信息中的执行位置；

则所述基于所述目标操作信息集合，对所述共享多媒体信息进行标注，包括：

基于所述目标操作信息集合中各个目标操作信息包含的执行时间，对所述各个目标操作信息进行排序，得到目标序列；

基于各个目标操作信息中包含的执行位置，采用预设的插值算法，在所述目标序列中，插入各个补偿标注操作信息；

基于插入各个补偿标注操作信息后的目标序列，对所述共享多媒体信息进行标注。

8.如权利要求7所述的方法，其特征在于，所述基于各个目标操作信息中包含的执行位置，采用预设的插值算法，在所述目标序列中，插入各个补偿标注操作信息，包括：针对所述目标序列中每两个相邻的目标操作信息，分别执行以下操作：

若两个相邻的目标操作信息各自包含的执行位置之间的距离，大于预设的距离阈值，则基于所述两个相邻的目标操作信息各自包含的执行位置，采用预设的插值算法，得到补偿位置；其中，所述两个相邻的目标操作信息各自包含的执行时间之间的差值，不大于预设的第二时间阈值；

基于所述补偿位置，以及所述两个相邻的目标操作信息，得到一个补偿标注操作信息；

将所述一个补偿标注操作信息插入所述两个相邻的目标操作信息之间。

9.如权利要求6、7或8所述的方法，其特征在于，所述接收来自服务器的目标操作信息集合，包括：按照预设的拉取频率，从所述服务器中对应所述第二客户端设置的消息队列中，拉取各个目标操作信息，得到所述目标操作信息集合；或者，通过所述服务器中对应所述第二客户端设置的消息队列，获取所述服务器推送的各个目标操作信息，得到所述目标操作信息集合。

10.一种共享多媒体信息标注装置，其特征在于，包括：

接收单元，用于接收多个标注共享请求，其中，所述多个标注共享请求是网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，每个标注共享请求中携带一个标注操作信息集合，每个标注操作信息中包含对应的标注操作的执行时间，所述第一客户端与所述网络会议中的至少一个第二客户端在各自的操作界面中，均呈现共享多媒体信息；

筛选单元，用于基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合；

发送单元，用于将所述目标操作信息集合发送给所述至少一个第二客户端，以使所述至少一个第二客户端基于所述目标操作信息集合中包含的各个目标操作信息，对所述共享多媒体信息进行标注。

11.如权利要求10所述的装置，其特征在于，所述基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合时，所述筛选单元具体用于：分别针对所述各个标注操作信息集合执行以下操作：

基于所述各个标注操作信息中包含的执行时间，从一个标注操作信息集合包含的各个标注操作信息中，筛选出符合预设时间条件的标注操作信息，作为候选操作信息；

从筛选出的各个候选操作信息中，提取出符合预设数目的候选操作信息，作为目标操作信息。

12.如权利要求11所述的装置，其特征在于，所述基于所述各个标注操作信息中包含的执行时间，从一个标注操作信息集合包含的各个标注操作信息中，筛选出符合预设时间条件的标注操作信息，作为候选操作信息时，所述筛选单元具体用于：分别针对所述一个标注操作信息集合包含的各个标注操作信息，执行以下操作：

若一个标注操作信息中包含的执行时间，与相应的参考时间之间的差值，不大于预设的第一差值阈值，则确定所述一个标注操作信息符合预设时间条件，并将所述一个标注操作信息作为候选操作信息；其中，所述参考时间为：所述一个标注操作信息集合对应的标注共享请求的接收时间。

13.一种共享多媒体信息标注装置，其特征在于，包括：

接收单元，用于接收来自服务器的目标操作信息集合；其中，所述目标操作信息集合是根据所述服务器接收到多个标注共享请求之后，基于所述多个标注共享请求各自携带的标注操作信息集合中，各个标注操作信息包含的对应的标注操作的执行时间，分别从各个标注操作信息集合中筛选出的预设数目的符合预设时间条件的标注操作信息得到的，所述多个标注共享请求是所述网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，所述第一客户端与所述第二客户端在各自的操作界面中，均呈现共享多媒体信息；

标注单元，用于基于所述目标操作信息集合，对所述共享多媒体信息进行标注。

14.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～5中任一所述方法的步骤，或者执行权利要求6～9中任一所述方法的步骤。

15.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1～5中任一所述方法的步骤，或者执行权利要求6～9中任一所述方法的步骤。

说明书

共享多媒体信息标注方法、装置、电子设备和存储介质

技术领域

[0001] 本申请涉及计算机技术领域，提供共享多媒体信息标注方法、装置、电子设备和存储介质。

背景技术

[0002] 随着计算机技术的不断发展，为了提高会议效率并降低成本，在线会议应运而生。通过在线会议进行文档或者屏幕共享时，各个参会者均可以对共享的文档或者屏幕进行标注，例如，标注箭头、线、圆、矩形等，以便进行突出文档或者讲解重点。

[0003] 相关技术中，目标客户端响应于参会者的标注操作，通过服务器将标注操作信息分别发送给其他客户端。其他客户端获取到标注操作信息之后，将标注操作信息对应的标注操作呈现在操作界面中。

[0004] 然而，在网络不稳定的情况下，目标客户端无法进行数据传输，导致目标客户端中堆积多个标注操作的标注操作信息。在网络恢复后，堆积的多个标注操作的标注操作信息会同时到达服务器，造成大量数据写扩散，给系统带来输入/输出(Input/Output，IO)冲击，增加了服务器和客户端负载。

发明内容

[0005] 本申请实施例提供一种文档标注共享方法、装置、电子设备和存储介质，用以解决网络恢复后大量数据写扩散，引发IO冲击，导致负载增加的技术问题。

[0006] 第一方面，本申请实施例提供一种共享多媒体信息标注方法，应用于服务器侧，包括：

[0007] 接收多个标注共享请求，其中，所述多个标注共享请求是网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，每个标注共享请求中携带一个标注操作信息集合，每个标注操作信息中包含对应的标注操作的执行时间，所述第一客户端与所述网络会议中的至少一个第二客户端在各自的操作界面中，均呈现共享多媒体信息；

[0008] 基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合；

[0009] 将所述目标操作信息集合发送给所述至少一个第二客户端，以使所述至少一个第二客户端基于所述目标操作信息集合中包含的各个目标操作信息，对所述共享多媒体信息进行标注。

[0010] 第二方面，本申请实施例中提供一种共享多媒体信息标注方法，应用于第二客户端，包括：

[0011] 接收来自服务器的目标操作信息集合；其中，所述目标操作信息集合是根据所述服务器接收到多个标注共享请求之后，基于所述多个标注共享请求各自携带的标注操作信息集合中，各个标注操作信息包含的对应的标注操作的执行时间，分别从各个标注操作信息集合中筛选出的预设数目的符合预设时间条件的标注操作信息得到的，所述多个标注共享请求是所述网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，所述第一客户端与所述第二客户端在各自的操作界面中，均呈现共享多媒体信息；

[0012] 基于所述目标操作信息集合，对所述共享多媒体信息进行标注。

[0013] 第三方面，本申请实施例提供一种共享多媒体信息标注装置，包括：

[0014] 接收单元，用于接收多个标注共享请求，其中，所述多个标注共享请求是网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，每个标注共享请求中携带一个标注操作信息集合，每个标注操作信息中包含对应的标注操作的执行时间，所述第一客户端与所述网络会议中的至少一个第二客户端在各自的操作界面中，均呈现共享多媒体信息；

[0015] 筛选单元，用于基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合；

[0016] 发送单元，用于将所述目标操作信息集合发送给所述至少一个第二客户端，以使所述至少一个第二客户端基于所述目标操作信息集合中包含的各个目标操作信息，对所述共享多媒体信息进行标注。

[0017] 可选的，所述从筛选出的各个候选操作信息中，提取出符合预设数目的候选操作信息，作为目标操作信息时，所述筛选单元具体用于：

[0018] 基于所述各个候选操作信息中包含的执行时间，对所述各个候选操作信息进行排序，得到标注序列；

[0019] 基于所述预设数目，以及所述各个候选操作信息的总数目，确定抽取比例；

[0020] 按照所述抽取比例，从所述标注序列中，提取出部分候选操作信息，作为所述目标操作信息。

[0021] 可选的，所述服务器中针对每个第二客户端设置有对应的消息队列，所述将所述目标操作信息集合发送给至少一个第二客户端时，所述发送单元具体用于：

[0022] 通过所述至少一个第二客户端各自对应的消息队列，将所述目标操作信息集合，分别推送给所述至少一个第二客户端；或者，

[0023] 将所述目标操作信息集合，分别存储至所述至少一个第二客户端各自对应的消息队列，以使所述至少一个第二客户端按照预设的拉取频率，通过各自对应的消息队列拉取所述目标操作信息集合。

[0024] 第四方面，本申请实施例中提供一种共享多媒体信息标注装置，包括：

[0025] 接收单元，用于接收来自服务器的目标操作信息集合；其中，所述目标操作信息集合是根据所述服务器接收到多个标注共享请求之后，基于所述多个标注共享请求各自携带的标注操作信息集合中，各个标注操作信息包含的对应的标注操作的执行时间，分别从各个标注操作信息集合中筛选出的预设数目的符合预设时间条件的标注操作信息得到的，所述多个标注共享请求是所述网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，所述第一客户端与所述第二客户端在各自的操作界面中，均呈现共享多媒体信息；

[0026] 标注单元，用于基于所述目标操作信息集合，对所述共享多媒体信息进行标注。

[0027] 可选的，每个目标操作信息中还包含对应的标注操作在所述共享多媒体信息中的执行位置；

[0028] 则所述基于所述目标操作信息集合，对所述共享多媒体信息进行标注时，所述标注单元具体用于：

[0029] 基于所述目标操作信息集合中各个目标操作信息包含的执行时间，对所述各个目标操作信息进行排序，得到目标序列；

[0030] 基于各个目标操作信息中包含的执行位置，采用预设的插值算法，在所述目标序列中，插入各个补偿标注操作信息；

[0031] 基于插入各个补偿标注操作信息后的目标序列，对所述共享多媒体信息进行标注。

[0032] 可选的，所述基于各个目标操作信息中包含的执行位置，采用预设的插值算法，在所述目标序列中，插入各个补偿标注操作信息时，所述标注单元具体用于：

[0033] 针对所述目标序列中每两个相邻的目标操作信息，分别执行以下操作：

[0034] 若两个相邻的目标操作信息各自包含的执行位置之间的距离，大于预设的距离阈值，则基于所述两个相邻的目标操作信息各自包含的执行位置，采用预设的插值算法，得到补偿位置；其中，所述两个相邻的目标操作信息各自包含的执行时间之间的差值，不大于预设的第二时间阈值；

[0035] 基于所述补偿位置，以及所述两个相邻的目标操作信息，得到一个补偿标注操作信息；

[0036] 将所述一个补偿标注操作信息插入所述两个相邻的目标操作信息之间。

[0037] 可选的，所述接收来自服务器的目标操作信息集合时，所述接收单元具体用于：

[0038] 按照预设的拉取频率，从所述服务器中对应所述第二客户端设置的消息队列中，拉取各个目标操作信息，得到所述目标操作信息集合；或者，

[0039] 通过所述服务器中对应所述第二客户端设置的消息队列，获取所述服务器推送的各个目标操作信息，得到所述目标操作信息集合。

[0040] 第五方面，本申请实施例提供一种电子设备，包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行上述第一方面中方法的步骤，或者执行第二方面中方法的步骤。

[0041] 第六方面，本申请实施例提供一种计算机可读存储介质，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行上述第一方面中方法的步骤，或者执行第二方面中方法的步骤。

[0042] 本申请实施例中，服务器在接收到来自第一客户端的多个标注共享请求之后，获取多个标注共享请求中各自携带的标注操作信息集合，然后，针对各个标注操作信息集合，基于各个标注操作信息中包含的执行时间，分别从各个标注操作信息集合中，筛选出目标操作信息，进而将目标操作信息集合发送给至少一个第二客户端。

[0043] 这样，在进行网络会议过程中，若第一客户端通信网络异常导致标注操作信息堆积，那么在通信网络恢复正常，第一客户端中堆积的标注操作信息同时发送给服务器时，服务器可以对接收到的各个标注操作信息进行筛选，将筛选出的标注操作信息，发送给第二客户端，而不再是将全部的标注操作信息发送给第二客户端，减少了下发到第二客户端的数据量，从而在一定程度上避免了大量信息对服务器和第二客户端的冲击，减轻了服务器和第二客户端的负载，同时降低了第二客户端的流量消耗，此外，服务器接收到多个请求标注共享请求后，只需要将筛选出的标注操作信息一次性发送给第二客户端，减少了服务器和第二客户端的IO次数，从而减少了信令开销，避免产生信令风暴，提升了网络会议系统的可用性和标注效率。

[0044] 本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

[0045] 此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

[0046] 图1为本申请实施例中提供的一种可能的操作界面的示意图；

[0047] 图2为本申请实施例中提供的一种可能的应用场景示意图；

[0048] 图3为本申请实施例中提供的一种服务器与客户端之间的交互示意图；

[0049] 图4为本申请实施例中提供的一种服务器侧的共享多媒体信息的标注方法的流程示意图；

[0050] 图5a为本申请实施例中提供的一种从一个标注操作信息集合筛选候选操作信息的逻辑示意图；

[0051] 图5b为本申请实施例中提供的一种筛选目标操作信息的逻辑示意图；

[0052] 图5c为本申请实施例中提供的一种从多个标注操作信息集合中筛选目标操作信息的逻辑示意图；

[0053] 图6为本申请实施例中提供的一种消息队列的示意图；

[0054] 图7为本申请实施例中提供的一种第二客户端侧的共享多媒体信息的标注方法的流程示意图；

[0055] 图8为本申请实施例中提供的一种第二客户端侧的补偿标注操作信息的插入方法的流程示意图；

[0056] 图9a为本申请实施例中提供的一种补偿位置的示意图；

[0057] 图9b为本申请实施例中提供的一种第一客户端中的标注示意图；

[0058] 图9c为本申请实施例中提供的一种第二客户端中的标注示意图；

[0059] 图10为本申请实施例中提供的一种共享多媒体信息标注装置的组成结构示意图；

[0060] 图11为本申请实施例中提供的另一种共享多媒体信息标注装置的组成结构示意图；

[0061] 图12为本申请实施例中提供的一种电子设备的硬件组成结构示意图；

[0062] 图13为本申请实施例中提供的一种终端设备的硬件组成结构示意图。

具体实施方式

[0063] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。

[0064] 下面对本申请实施例中涉及的部分概念进行介绍。

[0065] 共享多媒体信息：多媒体信息包括文本，声音和图像等一种或多种媒体形式。本申请实施例中，共享多媒体信息是指各个客户端中共享的多媒体信息，例如，共享屏幕、共享文档、共享白板等。

[0066] 标注操作：标注操作是指各个客户端均可在共享多媒体信息中执行的操作，用于对多媒体信息进行指向性标注，例如，各个客户端均可在共享文档中标注箭头、圆、矩形等图像以便进行突出重点。

[0067] 网络会议：以网络(例如互联网、局域网)为通信媒介的互动模式，参会对象的语音、视频等形式的多媒体数据会被实时同步到会议发起者和其他的参会对象，从而突破参会对象在空间距离上的交流限制。本申请实施例中，网络会议也可以称为在线会议。

[0068] 随着计算机技术的不断发展，为了提高会议效率并降低成本，在线会议应运而生。通过在线会议进行文档或者屏幕共享时，各个参会者均可以对共享的文档或者屏幕进行标注，例如，参阅图1所示，标注箭头、线、圆、矩形等，以便进行突出文档或者讲解重点。

[0069] 相关技术中，目标客户端响应于参会者的标注操作，通过服务器将标注操作信息分别发送给其他客户端。其他客户端获取到标注操作信息之后，将标注操作信息对应的标注操作呈现在操作界面中。然而，在网络不稳定的情况下，目标客户端无法进行数据传输，导致目标客户端中堆积多个标注操作的标注操作信息。在网络恢复后，堆积的多个标注操作的标注操作信息会同时到达服务器，造成大量数据写扩散，给系统带来IO冲击，导致IO故障。

[0070] 以三个参会者为例，三个参会者的终端中分别安装有客户端A、客户端B、客户端C。相关技术中，客户端A响应于参会者A的标注操作，通过服务器将标注操作信息分别发送给客户端B和客户端C。以客户端B为例，客户端B获取到标注操作信息之后，将标注操作信息对应的标注操作呈现在操作界面中。

[0071] 然而，在网络不稳定的情况下，客户端A无法进行数据传输，导致客户端A中堆积多个标注操作的标注操作信息。在网络恢复后，堆积的多个标注操作的标注操作信息会同时到达服务器，造成大量数据写扩散。

[0072] 由于相关技术中在数据堆积的情况下，会造成大量数据写扩散，导致服务器和客户端负载增加，因此，本申请实施例中，服务器在接收到来自第一客户端的多个标注共享请求之后，获取多个标注共享请求中各自携带的标注操作信息集合，然后，针对各个标注操作信息集合，基于各个标注操作信息中包含的执行时间，分别从各个标注操作信息集合中，筛选出目标操作信息，进而将目标操作信息集合发送给至少一个第二客户端。这样，当第一客户端中堆积的标注操作信息同时发送给服务器时，服务器可以对接收到的各个标注操作信息进行筛选，将筛选出的标注操作信息，发送给第二客户端，而不再是将全部的标注操作信息发送给第二客户端，减少了下发到第二客户端的数据量，此外，服务器接收到多个请求标注共享请求后，只需要将筛选出的标注操作信息一次性发送给第二客户端，从而减少了服务器和第二客户端的IO次数，减少了信令风暴对服务器和第二服务器的冲击，降低了服务器和客户端负载，提高了系统可用性。

[0073] 以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。

[0074] 参阅图2所示，其为本申请实施例中提供的一种可能的应用场景的示意图，该应用场景图中包括两个终端设备210和一个服务器230，可通过终端设备210登录操作界面220。终端设备210与服务器230之间可以通过通信网络进行通信。

[0075] 在本申请实施例中，终端设备210为用户使用的电子设备，该电子设备可以但不限于是个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居、智能语音交互设备、车载终端等。各终端设备210通过通信网络与服务器230进行通信，在一种可选的实施方式中，通信网络是有线网络或无线网络，因此终端设备210以及服务器230可通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

[0076] 服务器230可以是独立的物理服务器230，也可以是多个物理服务器230构成的服务器230集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器230。其中，多个服务器230可组成为一区块链，而服务器230为区块链上的节点。

[0077] 本申请实施例中，用户通过终端设备210可登陆客户端，获取相关的操作界面220，终端设备210可响应用户在操作界面220中触发的各种操作。其中，操作界面220可以是在线会议界面、在线白板界面、共享画稿界面等。例如，用户A执行标注操作时，终端设备210响应标注操作，对客户端的在线会议界面进行标注等。用户可以在两个终端设备210的客户端中的任意一个客户端中，发起信息共享，例如，用户A在客户端中执行在线会议创建操作时，终端设备210响应在线会议创建操作，在客户端中显示在线会议界面并进行在线会议等。

[0078] 本申请实施例中，客户端可以是社交软件，例如即时通讯软件、企业即时通讯软件，播客类软件等，还可以是小程序、网页等，在此不做具体限定。其中，终端设备上需要安装有客户端，服务器则是与软件或是网页、小程序等类型的客户端相对应的服务器。

[0079] 其中，用户通过客户端进行互动性的、指示重点的在线标注，例如，用户可以直接通过即时通讯软件、企业即时通讯软件进行在线会议，也可以在即时通讯软件、企业即时通讯软件中对操作界面中的共享多媒体信息内容进行标注，例如，对共享屏幕、共享文档进行标注。再例如，用户也可以通过播客类软件，对操作界面中的共享多媒体信息内容，例如，对在线白板、共享画稿界面进行标注。

[0080] 由于参与信息共享的客户端，均可以在共享多媒体信息上进行标注，因此，标注操作信息无法和音频数据一样进行混音处理，因此，本申请实施例中，将共享多媒体信息和标注操作信息，作为两种数据流进行传输。

[0081] 也就是说，对于信息共享的发起者所在的客户端，以及信息共享的参与者所在的客户端而言，信息共享的发起者所在的客户端中产生两种数据流，一种是本地的共享多媒体信息数据流，一种是本地的标注操作信息数据流。信息共享的发起者所在的客户端中也可以接收两种数据流，一种是来自其他客户端的共享多媒体信息数据流，一种是来自其他客户端的标注操作信息数据流。

[0082] 相应的，对于信息共享的参与者所在的客户端，信息共享的参与者所在的客户端也可以产生两种数据流，一种是本地的共享多媒体信息数据流，一种是本地的标注操作信息数据流。信息共享的发起者所在的客户端中也可以接收两种数据流，一种是来自其他客户端的共享多媒体信息数据流，一种是来自其他客户端的标注操作信息数据流。

[0083] 信息共享的发起者所在的客户端和信息共享的参与者所在的客户端，均可以通过服务器获取到来自其他客户端的共享多媒体信息数据流，和来自其他客户端的标注操作信息数据流，然后将两者共同绘制在操作界面上。

[0084] 服务器中可以部署有共享多媒体信息后台和消息系统后台，其中，共享多媒体信息后台用于实现各个客户端之间共享多媒体信息的传输，消息系统后台用于实现各个客户端之间标注操作信息的传输。

[0085] 下面，仅以在线会议为例，对第一客户端与服务器之间的交互过程进行说明，其中，第一客户端可以是图2中的任意一个客户端。在线会议场景中，共享多媒体信息后台也可以称为音视频后台，共享多媒体信息也可以称为音视频信息。

[0086] 参阅图3所示，第一客户端与音视频后台和消息系统后台之间的交互过程如下：

[0087] S301、第一客户端将本地音视频信息发送至音视频后台。

[0088] S302、音视频后台将本地音视频信息发送给第二客户端。

[0089] 共享多媒体信息后台可以通过广播方式，将本地音频信息发送给第二客户端。第二客户端是指除第一客户端之外的客户端。

[0090] S303、第一客户端向消息系统后台发送标注操作共享请求，该标注操作共享请求中携带标注操作信息集合。

[0091] S304、消息系统后台将标注操作信息集合发送给第二客户端。

[0092] S305、第一客户端接收来自音视频后台的其他音视频信息。

[0093] S306、第一客户端接收来自消息系统后台的其他标注操作信息集合。

[0094] S307、第一客户端基于其他标注操作信息集合，对其他音视频信息进行标注。

[0095] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

[0096] 下面，仅以网络会议场景为例，对本申请进行说明。

[0097] 参阅图4所示，其为本申请实施例中提供的一种共享多媒体信息标注方法的流程示意图，该方法应用于服务器侧，具体流程如下：

[0098] S401、服务器接收多个标注共享请求，其中，多个标注共享请求是网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，每个标注共享请求中携带一个标注操作信息集合，每个标注操作信息中包含对应的标注操作的执行时间，第一客户端与网络会议中的至少一个第二客户端在各自的操作界面中，均呈现共享多媒体信息。

[0099] 本申请实施例中，异常状态用于表征通信网络的网络异常，若通信网络处于异常状态，那么第一客户端将无法与服务器进行数据传输。异常状态用于表征通信网络的网络正常，若通信网络处于正常状态，则第一客户端可以与服务器进行数据传输。

[0100] 共享多媒体信息包括但不限于是共享音频、共享视频、共享白板、共享画稿、共享文档、共享屏幕等。

[0101] 第一客户端和至少一个第二客户端均参与网络会议。作为第一种示例，第一客户端可以是网络会议的发起者，相应的，至少一个第二客户端是该网络会议的参与者。作为第二种示例，至少一个第二客户端中的一个第二客户端可以是网络会议的发起者，相应的，至少一个第二客户端中的其他第二客户端和第一客户端是该网络会议的参与者。作为第二种示例，第一客户端和至少一个第二客户端均可以是网络会议的参与者。本申请对此不作限定，在此不再赘述。

[0102] 第一客户端和至少一个第二客户端均可以在各自的操作界面中，对共享多媒体信息进行标注。下文中，仅以第一客户端对共享多媒体信息进行标注，至少一个第二客户端在各自的操作界面呈现的共享多媒体信息中，同步显示该标注的过程为例，对本申请中的共享多媒体信息标注过程进行说明。

[0103] 由于移动网络接入的不确定性，用户在实际使用的过程中会遇到弱网络的情况，此时通信网络处于异常状态，网络不稳定，在网络不稳定时，第一客户端在获取到用户在操作界面中触发的标注操作之后，无法将相应的标注共享请求发送给服务器，使得在网络不稳定期间，第一客户端中堆积多个标注共享请求，每个标注共享请求携带一个标注操作信息集合。在通信网络由异常状态恢复至正常状态时，即网络恢复时，第一客户端会将堆积的多个标注共享请求发送给服务器。

[0104] 本申请实施例中，第一客户端可以响应于操作界面中触发的标注操作集合，获取相应的一个标注操作信息集合，在该操作信息集合包含的各个标注操作信息中，每个标注操作信息对应一个标注操作。示例性的，每个标注操作信息中可以包含对应的标注操作的执行时间。

[0105] 需要说明是，本申请实施例中，每个标注操作信息中还可以包含以下信息中的至少一项：标注类型、操作时间、操作持续时长。其中，标注类型用于表征该标注操作的类型，例如，标注类型可以是圆、箭头、点、文字等，操作时间用于表征该标注操作的操作时刻，操作持续时长用于表征该标注操作的持续时长。

[0106] 例如，服务器接收来自第一客户端的标注共享请求1和标注共享请求2，其中，标注共享请求1中携带标注操作信息集合A，标注共享请求2中携带标注操作信息集合B，每个标注操作信息中均包含对应的标注操作的执行时间。

[0107] 需要说明的是，本申请实施例中，多个标注共享请求之间的接收时间之间的时间间隔满足预设的时间间隔阈值，示例性的，预设的时间间隔可以为1秒。也就是说，服务器接收到的多个标注共享请求，可以是同一时刻接收到的，也可以是不同时刻接收到的，本申请对此不作限定。

[0108] S402、服务器基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出目标操作信息，得到目标操作信息集合。

[0109] 由于网络恢复后，服务器接收到的各个标注操作信息集合中，包含大量的重复无效的标注操作信息，因此，本申请实施例中，服务器可以对接收的各个标注操作信息集合中包含的各个标注操作信息进行筛选，以减少无效信息的数量，一定程度上降低无效信息对后端系统的冲击，同时减少客户端的流量消耗。

[0110] 下文中仅以标注操作信息集合x为例进行说明，对目标操作信息的筛选过程进行说明，标注操作信息集合x为各个标注操作信息集合中的任意一个标注操作信息集合。标注操作信息集合x中包含标注操作信息x1、标注操作信息x2、……、标注操作信息xn。其中，n的取值为正整数。

[0111] 具体的，服务器筛选目标操作信息时，可以采用但不限于以下方式中的任意一种：

[0112] 方式a1：服务器基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合。

[0113] 具体的，服务器分别针对各个标注操作信息集合执行以下操作：

[0114] a1‑1、服务器基于标注操作信息x1、标注操作信息x2、……、标注操作信息xn中各自包含的执行时间，从注操作信息x1、标注操作信息x2、……、标注操作信息xn中，筛选出符合预设时间条件的标注操作信息，作为候选操作信息。

[0115] 考虑到在进行互动标注、指示重点的在线标注的场景中，即使将第一客户端中累积的超期的标注操作信息，下发到其他客户端(即第二客户端)，其他客户端也不会根据超期的标注操作信息，对共享多媒体内容进行标注，因此，服务器可以直接丢弃超期的标注操作信息，而不再将超期的标注操作信息下发给其他客户端，以实现减少大量数据对后端系统的冲击和客户端的流量消耗，同时不影响用户使用体验。

[0116] 具体的，服务器可以分别针对标注操作信息集合x中包含标注操作信息x1、标注操作信息x2、……、标注操作信息xn，执行以下操作：

[0117] 若标注操作信息i中包含的执行时间，与相应的参考时间之间的差值，不大于预设的第一差值阈值，则确定标注操作信息i符合预设时间条件，并将标注操作信息i作为候选操作信息。其中，参考时间为：标注操作信息集合x对应的标注共享请求x的接收时间。

[0118] 上述操作仅以标注操作信息i为例进行说明，标注操作信息i可以是标注操作信息x1、标注操作信息x2、……、标注操作信息xn中的任意一个标注操作信息。

[0119] 需要说明的是，本申请实施例中，标注操作信息集合x中可以包含预设采样时长内的各个标注操作信息，为了保证用户使用体验，采样时长的时间单位可以设置为秒，例如，预设采样时长可以是1秒，也可以是2秒，因此，标注操作信息x1、标注操作信息x2、……、标注操作信息xn各自包含的执行时间的时间单位可以是毫秒。相应的，预设的第一差值阈值也可以是毫秒级的，例如，预设第一差值阈值为10毫秒。

[0120] 以标注操作信息集合x为操作信息集合A为例，参阅图5a所示，操作信息集合A中包含100个标注操作信息，分别为标注操作信息A1、标注操作信息A2、……、标注操作信息A100，其中，标注操作信息A1、标注操作信息A2、……、标注操作信息A100中包含的执行时间依次递增。假设，预设的第一差值阈值为10毫秒，标注操作信息A4与参考时间之间的差值，大于10毫秒，而标注操作信息A5与参考时间之间的差值，小于10毫秒，显然，从标注操作信息5至标注操作信息100的各个标注操作信息，与参考时间的差值，均不大于10毫秒，因此，服务器可以确定标注操作信息5至标注操作信息100符合预设时间条件，并将标注操作信息5至标注操作信息100作为候选操作信息。

[0121] 显然，针对操作信息集合A，服务器仅将操作信息集合A中的标注操作信息5至标注操作信息100作为候选操作信息，而不符合预设时间条件的标注操作信息A1至标注操作信息A4将不再发送给其他客户端，这样，仅发送符合预设时间条件的标注操作信息，既不会其他客户端的表现造成任何影响，又能减少传输数据量，从而减少了大量数据对后端系统的冲击和客户端的流量消耗。

[0122] a1‑2、服务器从筛选出的各个候选操作信息中，提取出符合预设数目的候选操作信息，作为目标操作信息。

[0123] 为了保证用户使用体验，采样时长的时间单位设置为秒时，在一个采样时长内，用户触发的标注操作的标注类型是相同，也就是说，在一个采样时长内，用户一般仅能在共享多媒体内容中拖动一个图案，因此，在标注操作信息集合x中包含的各个标注操作信息中，相邻的标注操作信息对应的标注操作之间的差距是极小的。

[0124] 若大量的标注操作信息被下发到第二客户端，不仅需要耗费大量流量进行数据传输，此外，第二客户端基于标注操作信息对共享多媒体信息进行标注时，会耗费中央处理器(Central Processing Unit，CPU)和内存资源，导致资源利用率低，为提高服务器和客户端中的资源利用率，同时进一步减少流量消耗和IO次数，本申请实施例中，服务器可以采用以下方式提取出符合预设数目的候选操作信息，作为目标操作信息：

[0125] 服务器可以基于各个候选操作信息中包含的执行时间，对各个候选操作信息进行排序，得到标注序列，并基于预设数目和各个候选操作信息的总数目，确定抽取比例，以及按照抽取比例，从标注序列中，提取出部分候选操作信息，作为目标操作信息。

[0126] 由于当每秒传输帧数(Frames Per Second，FPS)达到24时，用户看到的图像就会相对的连续，因此，本申请实施例中，针对每个标注操作集合，服务器只需要保证每秒包含24个标注操作信息，就可以保证操作界面中标注操作的连续，例如，当采样时长为1秒时，可以将预设数目设置为24，当采样时长为2秒时，可以将预设数目设置为48。

[0127] 仍以标注操作信息集合A为例，参阅图5b所示，候选操作信息包括：标注操作信息A5、标注操作信息A6、标注操作信息A7、……、标注操作信息A100，假设，采样时长为1秒，预设数目为24，服务器基于标注操作信息A5至标注操作信息A100各自包含的执行时间，对标注操作信息A5至标注操作信息A100进行排序，得到标注序列：标注操作信息A5、标注操作信息A6、标注操作信息A7、……、标注操作信息A100，并基于预设数目24和总数目96，确定抽取比例为4:1，然后，按照4:1的抽取比例，从标注序列的每4个相邻的候选操作信息中，抽取一个候选操作信息作为目标操作信息，即抽取出标注操作信息A5、标注操作信息A9、……、标注操作信息A96，作为目标操作信息。

[0128] 相较于标注操作信息集合A，标注操作信息集合A中包含100个标注操作信息，而对标注操作信息集合A中包含的各个标注操作信息进行筛选后，目标操作信息的数目仅为24个，明显减少了下发至第二客户端的数据量，这样，减少流量消耗的同时，也减少了CPU和内存资源消耗。

[0129] 需要说明的是，服务器按照抽取比例m：1，从标注序列中，提取部分候选操作信息时，可以从相邻的m个候选操作信息中，随机提取一个候选操作信息，作为目标操作信息，也可以从相邻的m个候选操作信息中，从指定位置提取一个候选操作信息作为目标操作信息，本申请对此不做限定，在此不再赘述。本申请实施例中，可以将按照抽取比例，提取出候选操作信息的过程称为压缩过程。

[0130] 需要说明的是，本申请实施例中，若服务器接收到的标注操作信息集合x中，各个标注操作信息是已按照执行时间排序后的，即接收到有序的标注操作信息集合x，则可将有序的标注操作信息集合x称为标注序列x，相应的，在执行a1‑2，不需要再进行排序，可以直接基于预设数目和各个候选操作信息的总数目，确定抽取比例，以及按照抽取比例，从标注序列中，提取出部分候选操作信息，作为目标操作信息。

[0131] 方式a2：服务器基于各个标注操作信息中包含的执行时间，从获得的各个标注操作信息集合中，筛选出符合预设时间条件的标注操作信息，作为候选操作信息，并将筛选出的候选操作信息，作为目标操作信息。

[0132] 需要说明的是，在操作a2中，服务器也可以针对各个标注操作信息集合，从各个标注操作信息集合中，分别筛选出符合预设时间条件的标注操作信息，作为候选操作信息，然后，将筛选出的候选操作信息，作为目标操作信息。由于从各个标注操作信息集合中，分别筛选出符合预设时间条件的标注操作信息，作为候选操作信息的过程与上文中a1‑1相同，在此不再赘述。

[0133] 方式a3：服务器分别针对各个标注操作信息集合执行以下操作：基于标注操作信息集合x中各个标注操作信息包含的执行时间，从标注操作信息集合x包含的各个标注操作信息中，提取出符合预设数目的标注操作信息，作为目标操作信息。

[0134] 由于从标注操作信息集合x包含的各个标注操作信息中，提取出符合预设数目的标注操作信息，作为目标操作信息的过程，与上文a1‑2中，从筛选出的各个候选操作信息中，提取出符合预设数目的候选操作信息，作为目标操作信息的过程类似，在此不再赘述。

[0135] S403、服务器将目标操作信息集合发送给至少一个第二客户端，以使至少一个第二客户端基于目标操作信息集合中包含的各个目标操作信息，对共享多媒体信息进行标注。

[0136] 例如，参阅图5c所示，服务器从标注操作信息集合A中，获取到24个目标操作信息：标注操作信息A5、标注操作信息A9、……、标注操作信息A96，从标注操作信息集合B中，获取到24个目标操作信息：标注操作信息B1、标注操作信息B6、……、标注操作信息B93，基于获取到的48个目标操作信息，得到目标操作信息集合，进而，将目标操作信息集合分别发送给至少一个第二客户端。显然，相较于现有技术中，服务器接收到一个共享标注操作请求，则需要向第二客户端发送一次标注操作信息，在接收到多个共享标注请求的情况下，则需要向第二客户端多次发送相应的标注操作信息，而本申请实施例中，服务器接收到多个共享标注请求的情况下，只需要将第二客户端发送一次目标操作信息集合，减少了IO次数，进而减少了IO开销。

[0137] 为了提高信息传输效率，本申请实施例中，服务器与客户端之间的交互，可以基于消息队列进行。具体的，服务器中针对每个第二客户端设置有对应的消息队列，例如，针对客户端A设置有消息队列A，针对客户端B设置有消息队列B，针对客户端C设置有消息队列C，执行S303时，服务器可以采用但不限于以下方式：

[0138] 方式b1、服务器通过至少一个第二客户端各自对应的消息队列，将目标操作信息集合，分别推送(push)给至少一个第二客户端。

[0139] 例如，参阅图6所示，服务器通过消息队列A，将目标操作信息集合推送给客户端A，通过消息队列B，将目标操作信息集合推送给客户端B，通过消息队列C，将目标操作信息集合推送给客户端C。

[0140] 方式b2、服务器将目标操作信息集合，分别存储至至少一个第二客户端各自对应的消息队列，以使至少一个第二客户端按照预设的拉取频率，通过各自对应的消息队列拉取(pull)目标操作信息集合。

[0141] 例如，仍参阅图6所示，服务器将目标操作信息集合分别存储至消息队列A、消息队列B、消息队列C中，进而客户端A可以按照客户端A中预设的拉取频率1，通过消息队列A拉取目标操作信息集合，客户端B可以按照客户端B中预设的拉取频率2，通过消息队列B拉取目标操作信息集合，客户端C可以按照客户端C中预设的拉取频率3，通过消息队列C拉取目标操作信息集合。

[0142] 显然，采用上述方式b1时，由服务器主动将目标操作信息推送给客户端，保证了消息传输的及时性。采用上述方式b2时，由第二客户端主动获取目标操作信息，因此，第二客户端可以根据自身当前的资源使用情况，通过调节拉取频率，拉取目标操作信息，从而合理利用资源，提高资源利用率。

[0143] 接下来，仅以第二客户端x为例，对至少一个第二客户端获取上述目标操作信息集合，并基于上述目标操作信息集合，对共享多媒体信息进行标注的过程进行说明。其中，第二客户端x为至少一个第二客户端中的任意一个第二客户端。

[0144] 参阅图7所示，其为本申请实施例中提供的一种共享多媒体信息的标注方法的流程示意图，应用于第二客户端x，具体流程如下：

[0145] S701、第二客户端x接收来自服务器的目标操作信息集合。

[0146] 具体的，为了提高信息传输效率，第二客户端x可以采用但不限于以下两种方式获取目标操作信息集合：

[0147] 方式c1、第二客户端x按照预设的拉取频率，从服务器中对应第二客户端x设置的消息队列中，拉取各个目标操作信息，得到目标操作信息集合。

[0148] 方式c2、第二客户端x通过服务器中对应第二客户端x设置的消息队列，获取服务器推送的各个目标操作信息，得到目标操作信息集合。

[0149] 显然，采用上述方式c1时，由第二客户端主动获取目标操作信息，因此，第二客户端可以根据自身当前的资源使用情况，通过调节拉取频率，拉取目标操作信息，从而合理利用资源，提高资源利用率。采用上述方式b1时，由服务器主动将目标操作信息推送给客户端，保证了消息传输的及时性。由于方式c1、方式c2分别与方式b2、方式b1对应，因此不再赘述。

[0150] S702、第二客户端x基于目标操作信息集合，对共享多媒体信息进行标注。

[0151] 考虑到服务器侧筛选出预设数目的过程中，会由于丢弃部分标注操作信息，导致标注操作之间的位置偏移相对较大，从而出现较大幅度的瞬移问题，针对该情况，本申请实施例中，在相邻两个标注操作的执行位置之间存在较大距离时，对相邻两个标注操作进行补偿，以解决瞬移问题，保证用户使用体验，同时避免因数据延迟到达造成的标注与共享多媒体信息不同步的问题。

[0152] 具体的，每个目标操作信息中还包含对应的标注操作在共享多媒体信息中的执行位置，则执行S702时，第二客户端x执行以下操作：

[0153] S7021、第二客户端x基于目标操作信息集合中各个目标操作信息包含的执行时间，对各个目标操作信息进行排序，得到目标序列。

[0154] 例如，目标操作信息集合中包含：标注操作信息A5、标注操作信息A9、……、标注操作信息A96、标注操作信息B1、标注操作信息B6、……、标注操作信息B93，第二客户端x基于目标操作信息集合中各个目标操作信息包含的执行时间，对各个目标操作信息进行排序，得到目标序列：标注操作信息A5、标注操作信息A9、……、标注操作信息A96、标注操作信息B1、标注操作信息B6、……、标注操作信息B93。

[0155] S7022、第二客户端x基于各个目标操作信息中包含的执行位置，采用预设的插值算法，在目标序列中，插入各个补偿标注操作信息。

[0156] 为了避免因标注操作之间的位置偏移，导致的标注瞬移问题，针对目标序列中每两个相邻的目标操作信息，通过合理的进行插值优化，减少两个标准操作的执行位置之间位置偏移，提升标注的绘制流畅度，具体的，参阅图8所示，执行S7022时，第二客户端x针对目标序列中每两个相邻的目标操作信息，分别执行以下操作：

[0157] S70221、若目标操作信息x1和目标操作信息x2各自包含的执行位置之间的距离，大于预设的距离阈值，则第二客户端x基于目标操作信息x1和目标操作信息x2各自包含的执行位置，采用预设的插值算法，得到补偿位置；其中，目标操作信息x1、目标操作信息x2为：目标序列中任意两个相邻的目标操作信息，目标操作信息x1、目标操作信息x2各自包含的执行时间之间的差值，不大于预设的第二时间阈值。

[0158] 预设的插值算法可以采用但不限于线性插值算法。线性插值法是指使用连接两个已知量的直线来确定在这两个已知量之间的一个未知量的值的方法。

[0159] 以目标操作信息x1是标注操作信息A5，目标操作信息x2是标注操作信息A9为例，参阅图9a所示，标注操作信息A5中包含的执行位置w‑A5，和标注操作信息A9包含的执行位置w‑A9之间的距离，大于预设的距离阈值，则第二客户端x基于执行位置w‑A5和执行位置w‑A9，采用线性插值算法，得到补偿位置w‑0。

[0160] S70222、第二客户端x基于补偿位置，以及目标操作信息x1和目标操作信息x2，得到一个补偿标注操作信息。

[0161] 例如，第二客户端x基于补偿位置w‑0，以及标注操作信息A5和标注操作信息A9，得到补偿标注操作信息0，该补偿标注操作信息可以包含补偿标注操作对应的补偿位置、标注类型等。其中，补偿时间根据补偿位置确定，标注类型和标注操作信息A5和标注操作信息A9中包含的标注类型相同。

[0162] S70223、第二客户端x将补偿标注操作信息m插入目标操作信息x1和目标操作信息x2之间。

[0163] 例如，第二客户端x将补偿标注操作信息0，插入标注操作信息A5和标注操作信息A9之间。

[0164] S7023、第二客户端x基于插入各个补偿标注操作信息后的目标序列，对共享多媒体信息进行标注。

[0165] 仅以目标序列中包含的标注操作信息B1为例，参阅图9b所示，在第一客户端中，第一客户端响应于用户触发的标注操作B1，在共享文档中标注一个圆，参阅图9c所示，第二客户端x得到的目标序列中，包含该标注操作B1对应的标注操作信息B1，第二客户端x基于标注操作信息B1，在第二客户端中对共享文档执行标注操作B1，即在共享文档中标注一个圆。

[0166] 基于相同的发明构思，本申请实施例提供一种共享多媒体信息标注装置。

[0167] 如图10所示，其为共享多媒体信息的标注装置1000的结构示意图，可以包括：

[0168] 接收单元1001，用于接收多个标注共享请求，其中，所述多个标注共享请求是网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，每个标注共享请求中携带一个标注操作信息集合，每个标注操作信息中包含对应的标注操作的执行时间，所述第一客户端与所述网络会议中的至少一个第二客户端在各自的操作界面中，均呈现共享多媒体信息；

[0169] 筛选单元1002，用于基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合；

[0170] 发送单元1003，用于将所述目标操作信息集合发送给所述至少一个第二客户端，以使所述至少一个第二客户端基于所述目标操作信息集合中包含的各个目标操作信息，对所述共享多媒体信息进行标注。

[0171] 可选的，基于各个标注操作信息中包含的执行时间，分别从获得的各个标注操作信息集合中，筛选出预设数目的符合预设时间条件的标注操作信息，作为目标操作信息，得到目标操作信息集合时，筛选单元1002具体用于：

[0172] 分别针对各个标注操作信息集合执行以下操作：基于各个标注操作信息中包含的执行时间，从一个标注操作信息集合包含的各个标注操作信息中，筛选出符合预设时间条件的标注操作信息，作为候选操作信息，并从筛选出的各个候选操作信息中，提取出符合预设数目的候选操作信息，作为目标操作信息。

[0173] 可选的，基于各个标注操作信息中包含的执行时间，从一个标注操作信息集合包含的各个标注操作信息中，筛选出符合预设时间条件的标注操作信息，作为候选操作信息时，筛选单元1002具体用于：

[0174] 分别针对一个标注操作信息集合包含的各个标注操作信息，执行以下操作：

[0175] 若一个标注操作信息中包含的执行时间，与相应的参考时间之间的差值，不大于预设的第一差值阈值，则确定一个标注操作信息符合预设时间条件，并将一个标注操作信息作为候选操作信息；其中，参考时间为：一个标注操作信息集合对应的标注共享请求的接收时间。

[0176] 可选的，从筛选出的各个候选操作信息中，提取出符合预设数目的候选操作信息，作为目标操作信息时，筛选单元1002具体用于：

[0177] 基于各个候选操作信息中包含的执行时间，对各个候选操作信息进行排序，得到标注序列；

[0178] 基于预设数目，以及各个候选操作信息的总数目，确定抽取比例；

[0179] 按照抽取比例，从标注序列中，提取出部分候选操作信息，作为目标操作信息。

[0180] 可选的，服务器中针对每个第二客户端设置有对应的消息队列，将目标操作信息集合发送给至少一个第二客户端时，发送单元1003具体用于：

[0181] 通过至少一个第二客户端各自对应的消息队列，将目标操作信息集合，分别推送给至少一个第二客户端；或者，

[0182] 将目标操作信息集合，分别存储至至少一个第二客户端各自对应的消息队列，以使至少一个第二客户端按照预设的拉取频率，通过各自对应的消息队列拉取目标操作信息集合。

[0183] 基于相同的发明构思，本申请实施例提供一种共享多媒体信息的标注装置。如图11所示，其为共享多媒体信息的标注装置1100的结构示意图，可以包括：

[0184] 接收单元1101，用于接收来自服务器的目标操作信息集合；其中，所述目标操作信息集合是根据所述服务器接收到多个标注共享请求之后，基于所述多个标注共享请求各自携带的标注操作信息集合中，各个标注操作信息包含的对应的标注操作的执行时间，分别从各个标注操作信息集合中筛选出的预设数目的符合预设时间条件的标注操作信息得到的，所述多个标注共享请求是所述网络会议中的第一客户端在通信网络由异常状态恢复至正常状态时发送的，所述第一客户端与所述第二客户端在各自的操作界面中，均呈现共享多媒体信息；

[0185] 标注单元1102，用于基于目标操作信息集合，对共享多媒体信息进行标注。

[0186] 可选的，每个目标操作信息中还包含对应的标注操作在共享多媒体信息中的执行位置；

[0187] 则基于目标操作信息集合，对共享多媒体信息进行标注时，标注单元1002具体用于：

[0188] 基于目标操作信息集合中各个目标操作信息包含的执行时间，对各个目标操作信息进行排序，得到目标序列；

[0189] 基于各个目标操作信息中包含的执行位置，采用预设的插值算法，在目标序列中，插入各个补偿标注操作信息；

[0190] 基于插入各个补偿标注操作信息后的目标序列，对共享多媒体信息进行标注。

[0191] 可选的，基于各个目标操作信息中包含的执行位置，采用预设的插值算法，在目标序列中，插入各个补偿标注操作信息时，标注单元1002具体用于：

[0192] 针对目标序列中每两个相邻的目标操作信息，分别执行以下操作：

[0193] 若两个相邻的目标操作信息各自包含的执行位置之间的距离，大于预设的距离阈值，则基于两个相邻的目标操作信息各自包含的执行位置，采用预设的插值算法，得到补偿位置；其中，两个相邻的目标操作信息各自包含的执行时间之间的差值，不大于预设的第二时间阈值；

[0194] 基于补偿位置，以及两个相邻的目标操作信息，得到一个补偿标注操作信息；

[0195] 将一个补偿标注操作信息插入两个相邻的目标操作信息之间。

[0196] 可选的，接收来自服务器的目标操作信息集合时，接收单元1001具体用于：

[0197] 按照预设的拉取频率，从服务器中对应第二客户端设置的消息队列中，拉取各个目标操作信息，得到目标操作信息集合；或者，

[0198] 通过服务器中对应第二客户端设置的消息队列，获取服务器推送的各个目标操作信息，得到目标操作信息集合。

[0199] 为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

[0200] 关于上述实施例中的装置，其中各个单元执行请求的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

[0201] 所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

[0202] 在介绍了本申请示例性实施方式的享多媒体信息标注方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。

[0203] 图12是根据一示例性实施例示出的一种电子设备1200的框图，该装置包括：

[0204] 处理器1210；

[0205] 用于存储处理器1210可执行指令的存储器1220；

[0206] 其中，处理器1210被配置为执行指令，以实现本申请实施例中的共享多媒体信息标注方法，例如图4、图7或图8中所示的步骤。

[0207] 在示例性实施例中，还提供了一种包括操作的存储介质，例如包括操作的存储器1220，上述操作可由电子设备1200的处理器1210执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、便携式紧凑盘只读存储器(Compact Disk Read Only Memory，CD‑ROM)、磁带、软盘和光数据存储设备等。

[0208] 基于同一发明构思，参阅图13所示，本申请实施例还提供了一种终端设备1300，该终端设备1300可以为智能手机、平板电脑，手提电脑或PC等电子设备。

[0209] 该终端设备1300包括显示单元1340、处理器1380以及存储器1320，其中，显示单元1340包括显示面板1341，用于显示由用户输入的信息或提供给用户的信息以及终端设备
1300的各种操作界面等，在本申请实施例中主要用于显示终端设备1300中已安装的应用程序的操作界面、快捷窗口等。可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)或OLED(Organic Light‑Emitting Diode，有机发光二极管)等形式来配置显示面板1341。

[0210] 处理器1380用于读取计算机程序，然后执行计算机程序定义的方法，例如处理器1380读取应用，从而在该终端设备1300上运行应用，在显示单元1340上显示操作界面。处理器1380可以包括一个或多个通用处理器，还可包括一个或多个DSP(Digital Signal Processor，数字信号处理器)，用于执行相关操作，以实现本申请实施例所提供的技术方案。

[0211] 存储器1320一般包括内存和外存，内存可以为RAM，ROM，以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。存储器1320用于存储计算机程序和其他数据，该计算机程序包括应用程序等，其他数据可包括操作系统或应用程序被运行后产生的数据，该数据包括系统数据(例如操作系统的配置参数)和用户数据。本申请实施例中程序指令存储在存储器1320中，处理器1380执行存储器1320中的程序指令，实现前文论述的共享多媒体信息标注方法。

[0212] 此外，终端设备1300还可以包括显示单元1340，用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与终端设备1300的用户设置以及功能控制有关的信号输入等。具体地，本申请实施例中，该显示单元1340可以包括显示面板1341。显示面板1341例如触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板1341上或在显示面板1341的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，显示面板1341可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1380，并能接收处理器1380发来的命令并加以执行。在本申请实施例中，若用户对操作界面中的控件进行选中操作，则在显示面板1341中的触摸检测装置检测到触摸操作，则将检测到的触摸操作对应的信号发送的触摸控制器，触摸控制器将信号转换成触点坐标发送给处理器1380，处理器1380根据接收到的触点坐标确定用户选中的控件。

[0213] 其中，显示面板1341可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元1340，终端设备1300还可以包括输入单元1330，输入单元1330可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。图13中是以输入单元1330包括图像输入设备1331和其它输入设备1332为例。

[0214] 除以上之外，终端设备1300还可以包括用于给其他模块供电的电源1390、音频电路1360、近场通信模块1370和RF电路1310。终端设备1310还可以包括一个或多个传感器1350，例如加速度传感器、光传感器、压力传感器等。音频电路1360具体包括扬声器1361和麦克风1362等，例如用户可以使用语音控制，终端设备1300可以通过麦克风1362采集用户的声音，可以用户的声音进行控制，并在需要提示用户时，通过扬声器1361播放对应的提示音。

[0215] 基于同一发明构思，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的共享多媒体信息标注方法。

[0216] 在一些可能的实施方式中，本申请提供的共享多媒体信息标注方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的共享多媒体信息标注方法中的步骤，例如，计算机设备可以执行如图4、图7或图8中所示的步骤。

[0217] 程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM或闪存)、光纤、CD‑ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。

[0218] 本申请的实施方式的程序产品可以采用CD‑ROM并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。

[0219] 可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

[0220] 显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。