一种多CPU异构处理视频数据的方法转让专利

申请号 : CN202010034941.2

文献号 : CN111277727A

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 王健陈东亮朱健立李庆新李浩然

申请人 : 天地伟业技术有限公司

摘要 :

本发明提供了一种多CPU异构处理视频数据的方法,包括以下步骤:S1.业务芯片将前端码流从数字通道取出发送至AI芯片;S2.AI芯片接收由业务芯片传递的码流方向的码流传输;S3.AI芯片的LocalChn通道根据配置分别获取本地视频的编码结果发送给业务芯片;S4.业务芯片端对接收AI芯片传回的编码视频抽象成另一个类型的数字通道;S5.业务芯片端对数字通道与接收前端视频的IPChn数字通道进行统一管理;S6.AI芯片将智能算法结果回送业务芯片,AI芯片将算法结果封装为PB格式,通过对应的ALG通道发送给业务芯片;S7.所有配置命令,含全局和各通道的,以及AI芯片端状态上报,使用命令通道传输。本发明所述的AI芯片与业务芯片之间进行视频转发交互,保证稳定的进行网传与录像存储。

权利要求 :

1.一种多CPU异构处理视频数据的方法,其特征在于包括以下步骤:

S1.业务芯片将前端码流从数字通道取出,调用ALG通道提供的接口逐帧发送至AI芯片;

S2.AI芯片接收由业务芯片传递的码流方向的码流传输,根据配置将码流送至不同业务分析;

S3.AI芯片的LocalChn通道根据配置分别获取本地视频输入编码结果、画面合成编码结果、音频输入编码结果,通过ALG通道模块接口逐帧发送给业务芯片;

S4.业务芯片端对接收AI芯片传回的编码视频的RemoteEncChn通道进行统一管理,抽象成另一个类型的数字通道;

S5.业务芯片端对数字通道与接收前端视频的IPChn数字通道进行统一管理;

S6.AI芯片根据配置把需要进行智能分析的视频送入算法模块进行视频分析,智能算法结果回送业务芯片,AI芯片将算法结果封装为PB格式,通过对应的ALG通道发送给业务芯片;

S7.所有配置命令,含全局和各通道的,以及AI芯片端状态上报,使用命令通道传输。

2.根据权利要求1所述的一种多CPU异构处理视频数据的方法,其特征在于:所述步骤S2中的业务分析包括:算法业务分析、画面合成业务分析,开启算法业务分析则将码流送算法业务进行分析,开启画面合成则把码流送画面合成业务进行画面合成。

3.根据权利要求1所述的一种多CPU异构处理视频数据的方法,其特征在于:所述步骤S4中的RemoteEncChn通道用于接收AI芯片向业务芯片方向的码流传输。

4.根据权利要求1所述的一种多CPU异构处理视频数据的方法,其特征在于:所述步骤5中的数字通道管理方式与IPChn的管理方式保持一至。

5.根据权利要求1所述的一种多CPU异构处理视频数据的方法,其特征在于:所述步骤S6中所述通过PB封装格式发送解决了两个芯片异构锁带来的数据兼容性问题。

6.根据权利要求1所述的一种多CPU异构处理视频数据的方法,其特征在于:所述步骤S7中的通道的通信方式,采用提供一条双向命令通道,及多条无差别的数据通通道。每一条数据通道采用分时复用方式,支持多路码流和消息的混合传输。

7.根据权利要求1所述的一种多CPU异构处理视频数据的方法,其特征在于:所述步骤S4中的业务芯片及AI芯片业务根据数据中自带的类型和通道号等参数进行区别分发。

说明书 :

一种多CPU异构处理视频数据的方法

技术领域

[0001] 本发明属于音视频监控领域,尤其是涉及一种多CPU异构处理视频数据的方法。

背景技术

[0002] 智能网络审讯主机是一款针对政法行业审讯业务开发的多功能审讯设备,具备审讯监管、本地智能行为分析判断、异常报警、实时刻录、音视频混合、编解码输出等功能。
[0003] 设备硬件方案采用一款32位业务芯片+一款64位AI视频处理芯片的网络级联的方案,业务芯片负责网络接入、SATA存储、外设管理、显示输出等功能。AI视频处理芯片负责智
能算法、4K视频输入编码、画面合成、混音、显示输出等功能。两款芯片间通过干兆网络互
连。
[0004] 本架构的重点和难点是两款芯片间的,多种码流类型的双向码流数据收发的实现。该方案的实现即本申请注明的“一种多CPU异构处理视频数据的方案”。

发明内容

[0005] 有鉴于此,本发明旨在提出一种多CPU异构处理视频数据的方法,以解决业务芯片性能业务运行的不稳定、AI芯片处理功能比较单一的问题。
[0006] 为达到上述目的,本发明的技术方案是这样实现的:
[0007] 一种多CPU异构处理视频数据的方法,包括以下步骤:
[0008] S1.业务芯片将前端码流从数字通道取出,调用ALG通道提供的接口逐帧发送至AI芯片;
[0009] S2.AI芯片接收由业务芯片传递的码流方向的码流传输,根据配置将码流送至不同业务分析;
[0010] S3.AI芯片的LocalChn通道根据配置分别获取本地视频输入编码结果、画面合成编码结果、音频输入编码结果,通过ALG通道模块接口逐帧发送给业务芯片;
[0011] S4.业务芯片端对接收AI芯片传回的编码视频的RemoteEncChn通道进行统一管理,抽象成另一个类型的数字通道;
[0012] S5.业务芯片端对数字通道与接收前端视频的IPChn数字通道进行统一管理;
[0013] S6.AI芯片根据配置把需要进行智能分析的视频送入算法模块进行视频分析,智能算法结果回送业务芯片,AI芯片将算法结果封装为PB格式,通过对应的ALG通道发送给业
务芯片;
[0014] S7.所有配置命令,含全局和各通道的,以及AI芯片端状态上报,使用命令通道传输。
[0015] 进一步的,所述步骤S2中的业务分析包括:算法业务分析、画面合成业务分析,开启算法业务分析则将码流送算法业务进行分析,开启画面合成则把码流送画面合成业务进
行画面合成。
[0016] 进一步的,所述步骤S4中的RemoteEncChn通道用于接收AI芯片向业务芯片方向的码流传输。
[0017] 进一步的,所述步骤5中的数字通道管理方式与IPChn的管理方式保持一至。
[0018] 进一步的,所述步骤S6中所述通过PB封装格式发送解决了两个芯片异构锁带来的数据兼容性问题。
[0019] 进一步的,所述步骤S7中的通道的通信方式,采用提供一条双向命令通道,及多条无差别的数据通通道。每一条数据通道采用分时复用方式,支持多路码流和消息的混合传
输。
[0020] 进一步的,所述步骤S4中的业务芯片及AI芯片业务根据数据中自带的类型和通道号等参数进行区别分发。
[0021] 相对于现有技术,本发明所述的一种多CPU异构处理视频数据的方法具有以下优势:
[0022] (1)本发明所述的AI芯片的性能优势,同时做到多路智能分析和4K视频输入输出:AI芯片负责接收业务层的视频数据,对视频数据进行智能分析,根据业务芯片下发配置进
行,音频混合及视频合成,4K视频解码显示,接入模拟信号进4K行编码传回业务芯片。
[0023] (2)本发明所述的业务芯片只做总控的作用,负责响应客户操作命令,网络视频接入,存储刻录,与AI芯片之间进行视频转发交互,能够保证稳定的进行网传与录像存储。
[0024] (3)本发明所述的AI芯片能够支持1到8路本地视频和前端相机接入视频随意合成显示、支持最大4路音频混合。

附图说明

[0025] 构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
[0026] 图1为本发明实施例所述的一种多CPU异构处理视频数据的方法的示意图。

具体实施方式

[0027] 需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
[0028] 在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对
本发明的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,除非另有说明,“多个”
的含义是两个或两个以上。
[0029] 在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语
在本发明中的具体含义。
[0030] 下面将参考附图并结合实施例来详细说明本发明。
[0031] 一种多CPU异构处理视频数据的方法,包括以下步骤:
[0032] S1.业务芯片将前端码流从数字通道取出,调用ALG通道提供的接口逐帧发送至AI芯片;
[0033] S2.AI芯片接收由业务芯片传递的码流方向的码流传输,根据配置将码流送至不同业务分析;
[0034] S3.AI芯片的LocalChn通道根据配置分别获取本地视频输入编码结果、画面合成编码结果、音频输入编码结果,通过ALG通道模块接口逐帧发送给业务芯片;
[0035] S4.业务芯片端对接收AI芯片传回的编码视频的RemoteEncChn通道进行统一管理,抽象成另一个类型的数字通道;
[0036] S5.业务芯片端对数字通道与接收前端视频的IPChn数字通道进行统一管理;
[0037] S6.AI芯片根据配置把需要进行智能分析的视频送入算法模块进行视频分析,智能算法结果回送业务芯片,AI芯片将算法结果封装为PB格式,通过对应的ALG通道发送给业
务芯片;
[0038] S7.所有配置命令,含全局和各通道的,以及AI芯片端状态上报,使用命令通道传输。
[0039] 所述步骤S2中的业务分析包括:算法业务分析、画面合成业务分析,开启算法业务分析则将码流送算法业务进行分析,开启画面合成则把码流送画面合成业务进行画面合
成。
[0040] 所述步骤S4中的RemoteEncChn通道用于接收AI芯片向业务芯片方向的码流传输。
[0041] 所述步骤5中的数字通道管理方式与IPChn的管理方式保持一至。
[0042] 所述步骤S6中所述通过PB封装格式发送解决了两个芯片异构锁带来的数据兼容性问题。
[0043] 述步骤S7中的通道的通信方式,采用提供一条双向命令通道,及多条无差别的数据通通道。每一条数据通道采用分时复用方式,支持多路码流和消息的混合传输。
[0044] 所述步骤S4中的业务芯片及AI芯片业务根据数据中自带的类型和通道号等参数进行区别分发。
[0045] 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。