一种基于弱网环境下的音视频处理方法及人工智能服务中心转让专利
申请号 : CN202011068362.6
文献号 : CN112153393B
文献日 : 2021-08-17
发明人 : 刘风华
申请人 : 南京硅基智能科技有限公司
摘要 :
权利要求 :
1.一种基于弱网环境下的音视频处理方法,其特征在于,应用于人工智能服务中心,所述人工智能服务中心与多个音视频播放设备通信连接,所述方法包括:根据所述音视频播放设备向第一音视频服务器发送音视频推送请求时同步发送的网络环境配置信息,从所述第一音视频服务器中获取所述第一音视频服务器基于所述音视频推送请求向所述音视频播放设备推送的音视频信息的传输质量信息;
根据所述传输质量信息和所述网络环境配置信息判断所述音视频播放设备是否处于弱网环境下;
当判定所述音视频播放设备处于弱网环境下时,基于所述传输质量信息、所述网络环境配置信息以及其余在所述人工智能服务中心注册的音视频服务器的配置信息,将所述音视频推送请求同步转发给至少一个第二音视频服务器,以使得所述至少一个第二音视频服务器基于所述音视频推送请求向所述音视频播放设备继续推送音视频信息;
所述根据所述传输质量信息和所述网络环境配置信息判断所述音视频播放设备是否处于弱网环境下的步骤,包括:
从所述网络环境配置信息中获得传输质量配置信息;
判断所述传输质量配置信息与所述传输质量信息是否匹配;
当所述传输质量配置信息与所述传输质量信息不匹配时,判定所述音视频播放设备处于弱网环境下;
所述基于所述传输质量信息、所述网络环境配置信息以及其余在所述人工智能服务中心注册的音视频服务器的配置信息,将所述音视频推送请求同步转发给至少一个第二音视频服务器的步骤,包括:
从所述网络环境配置信息中获取与所述传输质量信息相关联的弱网原因的目标网络环境配置信息;
从所述目标网络环境配置信息中获取弱网络状态节点信息和所述弱网络状态节点信息的网络协议信息;所述弱网络状态节点信息和所述网络协议信息使用的网络传输控制通道均为第一网络传输控制通道;
根据所述网络协议信息对所述弱网络状态节点信息进行处理,生成所述弱网络状态节点信息的状态服务更新信息;
对所述弱网络状态节点信息和所述状态服务更新信息进行弱网络特征提取,从提取得到的当前弱网络特征信息中确定与所述状态服务更新信息对应的第一弱网络网元信息对应的第二弱网络网元信息;
对所述第一弱网络网元信息和所述第二弱网络网元信息进行聚类融合,得到第三弱网络网元信息;
根据所述第三弱网络网元信息输出所述弱网络状态节点信息对应的扩展网络状态节点分布;所述扩展网络状态节点分布使用的网络传输控制通道为第二网络传输控制通道;
根据其余在所述人工智能服务中心注册的音视频服务器的配置信息查找与所述扩展网络状态节点分布匹配的目标音视频服务器,作为至少一个第二音视频服务器;
将所述音视频推送请求同步转发给至少一个第二音视频服务器。
2.根据权利要求1所述的基于弱网环境下的音视频处理方法,其特征在于,所述根据所述网络协议信息对所述弱网络状态节点信息进行处理,生成所述弱网络状态节点信息的状态服务更新信息的步骤,包括:
对所述弱网络状态节点信息进行弱网络特征提取,对得到的所述弱网络状态节点信息对应的第一弱网络特征进行网络制式识别,根据所识别到的网络制式得到所述弱网络状态节点信息对应的第一网络制式节点集合;
对所述网络协议信息进行弱网络特征提取,对得到的所述网络协议信息对应的第二弱网络特征进行网络制式识别,根据所识别到的网络制式得到所述网络协议信息对应的第二网络制式节点集合;
获取所述第一网络制式节点集合中保存的第一传输单元信息,以及将所述第一传输单元信息转换为对应的第一传输单元配置;
获取所述第二网络制式节点集合中多个关键传输单元各自保存的第二传输单元信息,以及将每个所述第二传输单元信息转换为对应的第二传输单元配置;
计算每个所述第二传输单元配置与所述第一传输单元配置的相同传输单元配置;
对每个所述第二传输单元配置对应的相同传输单元配置进行排序,根据排序结果从多个所述第二传输单元配置中选出多个相似传输单元配置;
对所述多个相似传输单元配置进行聚类处理,得到聚类单元簇;
将所述聚类单元簇所对应的传输单元服务构成的序列确定为所述弱网络状态节点信息的状态服务更新信息。
3.根据权利要求1所述的基于弱网环境下的音视频处理方法,其特征在于,所述对所述弱网络状态节点信息和所述状态服务更新信息进行弱网络特征提取,从提取得到的当前弱网络特征信息中确定与所述状态服务更新信息对应的第一弱网络网元信息对应的第二弱网络网元信息的步骤,包括:
对所述弱网络状态节点信息和所述状态服务更新信息进行弱网络特征提取,得到所述弱网络状态节点信息和所述状态服务更新信息的弱网络特征中映射的当前弱网络特征信息;所述当前弱网络特征信息包括多个弱网络网元节点的分布特征信息;
从所述当前弱网络特征信息包含的多个弱网络网元节点的分布特征信息中确定所述第一弱网络网元信息的相似分布特征信息,并将所述相似分布特征信息作为所述第二弱网络网元信息。
4.根据权利要求1所述的基于弱网环境下的音视频处理方法,其特征在于,所述对所述第一弱网络网元信息和所述第二弱网络网元信息进行聚类融合,得到第三弱网络网元信息的步骤,包括:
将所述第一弱网络网元信息和所述第二弱网络网元信息分别输入预设的状态分布解析模型中,以使所述状态分布解析模型分别输出所述第一弱网络网元信息和所述第二弱网络网元信息各自的有效弱网络网元信息,得到第一目标弱网络网元信息和第二目标弱网络网元信息;
对所述第一目标弱网络网元信息进行信息挖掘计算,得到第一网元信息挖掘信息;对所述第一目标弱网络网元信息进行弱网络特征提取,并对提取得到的弱网络网元信息进行信息挖掘计算,得到第二网元信息挖掘信息,计算所述第一网元信息挖掘信息和所述第二网元信息挖掘信息的融合挖掘信息,得到与所述第一目标弱网络网元信息对应的第一弱网络网元集;
对所述第二目标弱网络网元信息进行信息挖掘计算,得到第三网元信息挖掘信息,对所述第二目标弱网络网元信息进行弱网络特征提取,并对提取得到的弱网络网元信息进行信息挖掘计算,得到第四网元信息挖掘信息,计算所述第三网元信息挖掘信息和所述第四网元信息挖掘信息的融合挖掘信息,得到与所述第二目标弱网络网元信息对应的第二弱网络网元集;
计算所述第一弱网络网元集和所述第二弱网络网元集两者的融合网元集,将得到的融合网元集作为所述第三弱网络网元信息。
5.根据权利要求1所述的基于弱网环境下的音视频处理方法,其特征在于,所述根据所述第三弱网络网元信息输出所述弱网络状态节点信息对应的扩展网络状态节点分布的步骤,包括:
获取所述第三弱网络网元信息中的多个弱网络状态节点分布的通信端口向量、以及与每个弱网络状态节点分布的通信端口向量组合对应的弱网络状态节点分布解析策略,所述弱网络状态节点分布的通信端口向量包括第一弱网络状态节点分布的通信端口向量和第二弱网络状态节点分布的通信端口向量,其中,所述第一弱网络状态节点分布的通信端口向量和第二弱网络状态节点分布的通信端口向量为相互之间存在映射关联弱网络状态节点分布的通信端口向量组合;
对所述第三弱网络网元信息进行链接预测,以输出每个第一弱网络状态节点分布的通信端口向量组合对应的第一基础链接预测向量、以及所述第三弱网络网元信息对应的目标链接预测向量;
计算所述目标链接预测向量和每个所述第一基础链接预测向量之间的关联度,以得到对应的每条第一弱网络状态节点分布的通信端口向量和所述第三弱网络网元信息之间的链接预测向量接近程度;
识别出每个第一弱网络状态节点分布的通信端口向量中的所有向量片段、以及每个第一弱网络状态节点分布的通信端口向量各自对应的通信链路权重;
根据所述所有向量片段和所述通信链路权重,生成对应的弱网络状态节点分布的通信端口向量的分布簇;
根据所述弱网络状态节点分布解析策略生成每个弱网络状态节点分布的通信端口向量组合对应的分布簇范围;
利用所述分布簇范围对应的每条分布簇,得到每个弱网络状态节点分布的通信端口向量各自的第一统计描述组;
根据所述第二弱网络状态节点分布的通信端口向量组合每个弱网络状态节点分布的通信端口向量组合对应的第一基础链接预测向量进行聚类,得到每个弱网络状态节点分布的通信端口向量的第二统计描述组;
根据所述第一统计描述组和第二统计描述组之间的共同通信端口向量,在所述多个弱网络状态节点分布的通信端口向量中确定出目标弱网络状态节点分布的通信端口向量;
将所述目标弱网络状态节点分布的通信端口向量组合对应的第一基础链接预测向量作为第二链接预测向量,并将所述第二链接预测向量添加至所述第三弱网络网元信息中,以输出所述弱网络状态节点信息对应的扩展网络状态节点分布。
6.一种人工智能服务中心,其特征在于,所述人工智能服务中心包括处理器、机器可读存储介质和网络接口,所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述网络接口用于与至少一个在线服务终端通信连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行权利要求1‑5中任意一项所述的基于弱网环境下的音视频处理方法。
说明书 :
一种基于弱网环境下的音视频处理方法及人工智能服务中心
技术领域
背景技术
播放设备通信的音视频服务器出现异常,或者音视频播放设备自身的配置与音视频服务器
不兼容导致的,如此反复尝试的方案会导致整体数据传输的周期严重拉长,降低了用户体
验。
发明内容
视频推送请求时,单独基于人工智能服务中心获取其同步发送的网络环境配置信息,考虑
到第一音视频服务器通常推送的音视频信息的传输质量信息与音视频播放设备同步,因此
可以同时从第一音视频服务器中其推送的音视频信息的传输质量信息,并根据传输质量信
息和网络环境配置信息判断音视频播放设备是否处于弱网环境下,当判定音视频播放设备
处于弱网环境下时,基于传输质量信息、网络环境配置信息以及其余在人工智能服务中心
注册的音视频服务器的配置信息,将音视频推送请求同步转发给至少一个第二音视频服务
器继续推送,从而通过准确切换到其余视频服务器,避免音视频播放设备自身的配置与音
视频服务器不兼容导致的整体数据传输的周期严重拉长的情况。
视频推送请求向所述音视频播放设备推送的音视频信息的传输质量信息;
述音视频推送请求同步转发给至少一个第二音视频服务器,以使得所述至少一个第二音视
频服务器基于所述音视频推送请求向所述音视频播放设备继续推送音视频信息。
视频推送请求同步转发给至少一个第二音视频服务器的步骤,包括:
制通道均为第一网络传输控制通道;
息对应的第二弱网络网元信息;
道;
状态节点信息对应的第一网络制式节点集合;
第二网络制式节点集合;
态服务更新信息对应的第一弱网络网元信息对应的第二弱网络网元信息的步骤,包括:
征信息;所述当前弱网络特征信息包括多个弱网络网元节点的分布特征信息;
弱网络网元信息。
弱网络网元信息各自的有效弱网络网元信息,得到第一目标弱网络网元信息和第二目标弱
网络网元信息;
息进行信息挖掘计算,得到第二网元信息挖掘信息,计算所述第一网元信息挖掘信息和所
述第二网元信息挖掘信息的融合挖掘信息,得到与所述第一目标弱网络网元信息对应的第
一弱网络网元集;
息进行信息挖掘计算,得到第四网元信息挖掘信息,计算所述第三网元信息挖掘信息和所
述第四网元信息挖掘信息的融合挖掘信息,得到与所述第二目标弱网络网元信息对应的第
二弱网络网元集;
所述弱网络状态节点分布的通信端口向量包括第一弱网络状态节点分布的通信端口向量
和第二弱网络状态节点分布的通信端口向量,其中,所述第一弱网络状态节点分布的通信
端口向量和第二弱网络状态节点分布的通信端口向量为相互之间存在映射关联弱网络状
态节点分布的通信端口向量组合;
目标链接预测向量;
间的链接预测向量接近程度;
分布的通信端口向量的第二统计描述组;
量;
中,以输出所述弱网络状态节点信息对应的扩展网络状态节点分布。
态节点分布的通信端口向量组合对应的网络质量分析策略;
数;
确定每个所述第一基础链接预测向量各自的优先级参数;
端口向量的加权融合链接预测参数;
量组合对应的第一统计描述组。
括:
器基于所述音视频推送请求向所述音视频播放设备推送的音视频信息的传输质量信息;
配置信息,将所述音视频推送请求同步转发给至少一个第二音视频服务器,以使得所述至
少一个第二音视频服务器基于所述音视频推送请求向所述音视频播放设备继续推送音视
频信息
述处理器之间通过总线系统相连,所述网络接口用于与至少一个音视频播放设备通信连
接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读
存储介质中的程序、指令或代码,以执行第一方面或者第一方面中任意一个可能的实现方
式中的基于弱网环境下的音视频处理方法。
的实现方式中的基于弱网环境下的音视频处理方法。
置信息,考虑到第一音视频服务器通常推送的音视频信息的传输质量信息与音视频播放设
备同步,因此可以同时从第一音视频服务器中其推送的音视频信息的传输质量信息,并根
据传输质量信息和网络环境配置信息判断音视频播放设备是否处于弱网环境下,当判定音
视频播放设备处于弱网环境下时,基于传输质量信息、网络环境配置信息以及其余在人工
智能服务中心注册的音视频服务器的配置信息,将音视频推送请求同步转发给至少一个第
二音视频服务器继续推送,从而通过准确切换到其余视频服务器,避免音视频播放设备自
身的配置与音视频服务器不兼容导致的整体数据传输的周期严重拉长的情况。
附图说明
范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这
些附图获得其它相关的附图。
具体实施方式
施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附
图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标
号代表相同结构或操作。
的目的,则可通过其他表达来替换所述词语。
示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者
设备也可能包含其它的步骤或元素。
处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数
步操作。
所述人工智能服务中心100通信连接的音视频播放设备200。图1所示的基于弱网环境下的
音视频处理方法系统10仅为一种可行的示例,在其它可行的实施例中,该基于弱网环境下
的音视频处理方法系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其
它的组成部分。
境下的音视频处理方法,具体人工智能服务中心100和音视频播放设备200的执行步骤部分
可以参照以下方法实施例的详细描述。
以由图1中所示的人工智能服务中心100执行,下面对该基于弱网环境下的音视频处理方法
进行详细介绍。
推送请求向音视频播放设备200推送的音视频信息的传输质量信息。
推送请求同步转发给至少一个第二音视频服务器,以使得至少一个第二音视频服务器基于
音视频推送请求向音视频播放设备200继续推送音视频信息。
状态下时用户手动上传网络环境配置信息。并且,网络环境配置信息通常占用的字节较小,
因此即便在处于弱网环境下,也可以较快地发送给人工智能服务中心100。
音视频推送请求同步转发给至少一个第二音视频服务器,这样,至少一个第二音视频服务
器可以基于音视频推送请求向音视频播放设备200继续推送音视频信息。例如,在一些优选
的实现方式中,至少一个第二音视频服务器可以预先获取当前音视频播放信息的播放进
度,然后基于播放进度获取位于该播放进度之后的音视频信息进行推送,或者当第二音视
频服务器超过两个时,可以获取位于该播放进度之后不同阶段的音视频信息进行推送,从
而可以进一步提高推送效率。
质量信息和网络环境配置信息判定音视频播放设备200处于弱网环境下时,基于传输质量
信息、网络环境配置信息以及其余在人工智能服务中心注册的音视频服务器的配置信息,
将音视频推送请求同步转发给至少一个第二音视频服务器继续推送,从而通过准确切换到
其余视频服务器,避免音视频播放设备200自身的配置与音视频服务器不兼容导致的整体
数据传输的周期严重拉长的情况。
可以从网络环境配置信息中获得传输质量配置信息,然后判断传输质量配置信息与传输质
量信息是否匹配,当传输质量配置信息与传输质量信息不匹配时,判定音视频播放设备200
处于弱网环境下。
均为第一网络传输控制通道。
到的网络制式得到弱网络状态节点信息对应的第一网络制式节点集合。然后,对网络协议
信息进行弱网络特征提取,对得到的网络协议信息对应的第二弱网络特征进行网络制式识
别,根据所识别到的网络制式得到网络协议信息对应的第二网络制式节点集合。
多个关键传输单元各自保存的第二传输单元信息,以及将每个第二传输单元信息转换为对
应的第二传输单元配置。由此,可以计算每个第二传输单元配置与第一传输单元配置的相
同传输单元配置,病对每个第二传输单元配置对应的相同传输单元配置进行排序,根据排
序结果从多个第二传输单元配置中选出多个相似传输单元配置。这样,可以对多个相似传
输单元配置进行聚类处理,得到聚类单元簇,然后将聚类单元簇所对应的传输单元服务构
成的序列确定为弱网络状态节点信息的状态服务更新信息。
的当前弱网络特征信息。当前弱网络特征信息包括多个弱网络网元节点的分布特征信息。
然后,从当前弱网络特征信息包含的多个弱网络网元节点的分布特征信息中确定第一弱网
络网元信息的相似分布特征信息,并将相似分布特征信息作为第二弱网络网元信息。
息对应的第二弱网络网元信息。
信息和第二弱网络网元信息各自的有效弱网络网元信息,得到第一目标弱网络网元信息和
第二目标弱网络网元信息。同时,对第一目标弱网络网元信息进行信息挖掘计算,得到第一
网元信息挖掘信息。对第一目标弱网络网元信息进行弱网络特征提取,并对提取得到的弱
网络网元信息进行信息挖掘计算,得到第二网元信息挖掘信息,计算第一网元信息挖掘信
息和第二网元信息挖掘信息的融合挖掘信息,得到与第一目标弱网络网元信息对应的第一
弱网络网元集。
网元信息进行信息挖掘计算,得到第四网元信息挖掘信息,计算第三网元信息挖掘信息和
第四网元信息挖掘信息的融合挖掘信息,得到与第二目标弱网络网元信息对应的第二弱网
络网元集。这样,可以计算第一弱网络网元集和第二弱网络网元集两者的融合网元集,将得
到的融合网元集作为第三弱网络网元信息。
弱网络状态节点分布的通信端口向量包括第一弱网络状态节点分布的通信端口向量和第
二弱网络状态节点分布的通信端口向量。
链接预测向量。
预测向量接近程度。
策略。
根据响应特征分析策略对弱网络状态节点分布的通信端口向量进行响应特征分析,生成弱
网络状态节点分布的通信端口向量组合对应的响应特征分析值。这样,可以将网络质量特
征值和响应特征分析值的特征值范围区间确定为对应弱网络状态节点分布的通信端口向
量组合的分布簇范围。
布的通信端口向量的第二统计描述组。
出弱网络状态节点信息对应的扩展网络状态节点分布。
接预测扰动参数,然后对每个第一基础链接预测向量组合对应的所有链接预测扰动参数进
行融合,得到每个第一基础链接预测向量组合对应的融合链接预测参数。由此,可以根据每
个第一基础链接预测向量组合对应的融合链接预测参数,对所有第一基础链接预测向量按
序排列,以根据每个第一基础链接预测向量排列后的顺序,确定每个第一基础链接预测向
量各自的优先级参数,从而可以根据每个第一基础链接预测向量各自的优先级参数,对每
个第一基础链接预测向量各自对应的融合链接预测参数进行处理,生成每个弱网络状态节
点分布的通信端口向量的加权融合链接预测参数。
信端口向量组合对应的第一统计描述组。
下的音视频处理装置300进行功能模块的划分,也即该基于弱网环境下的音视频处理装置
300所对应的以下各个功能模块可以用于执行上述人工智能服务中心100执行的各个方法
实施例。其中,该基于弱网环境下的音视频处理装置300可以包括获取模块310、判断模块
320以及转发模块330,下面分别对该基于弱网环境下的音视频处理装置300的各个功能模
块的功能进行详细阐述。
音视频推送请求向音视频播放设备200推送的音视频信息的传输质量信息。其中,获取模块
310可以用于执行上述的步骤S110,关于获取模块310的详细实现方式可以参照上述针对步
骤S110的详细描述即可。
320的详细实现方式可以参照上述针对步骤S120的详细描述即可。
将音视频推送请求同步转发给至少一个第二音视频服务器,以使得至少一个第二音视频服
务器基于音视频推送请求向音视频播放设备200继续推送音视频信息。其中,转发模块330
可以用于执行上述的步骤S130,关于转发模块330的详细实现方式可以参照上述针对步骤
S130的详细描述即可。
全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模
块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,获取模块310
可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以
程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以
上获取模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一
起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。
在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻
辑电路或者软件形式的指令完成。
或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列
(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程
序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器
(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以
集成在一起,以片上系统(system‑on‑a‑chip,SOC)的形式实现。
理器110、机器可读存储介质120、总线130以及收发器140。
310、判断模块320以及转发模块330),使得处理器110可以执行如上方法实施例的基于弱网
环境下的音视频处理方法,其中,处理器110、机器可读存储介质120以及收发器140通过总
线130连接,处理器110可以用于控制收发器140的收发动作,从而可以与前述的音视频播放
设备200进行数据收发。
Digital Signal Processor,DSP)、专用集成电路(英文:Application
SpecificIntegrated Circuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以
是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完
成,或者用处理器中的硬件及软件模块组合执行完成。
结构(Extended Industry Standard Architecture,EISA)总线等。总线130可以分为地址
总线、数据总线、控制总线等。为便于表示,本发明附图中的总线并不限定仅有一根总线或
一种类型的总线。
理方法。
会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所
以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一种
可能的实现方式”、“一种可能的示例”、和/或“示例性地”并不一定是指同一实施例。此外,
本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介
绍和描述的实施例。