用于多摄像头的图像数据交换方法、装置、系统和汽车

摘要

本申请提供了一种用于多摄像头的图像数据交换方法、装置、系统和汽车，所述方法包括：通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，所述接收接口与所述摄像头传感芯片的接口协议对应；基于图像处理芯片对应的图像接口数量对所述待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，并对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据；将所述目标图像帧数据输入所述图像处理芯片，供所述图像处理芯片对所述目标图像帧数据进行数据处理，应用本方法能够有助于改善图像系统的兼容性。

权利要求

1.一种用于多摄像头的图像数据交换方法，其特征在于，所述方法包括：通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，所述接收接口与所述摄像头传感芯片的接口协议对应；

基于图像处理芯片对应的图像接口数量对所述待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；

根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，并对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据；

将所述目标图像帧数据输入所述图像处理芯片，供所述图像处理芯片对所述目标图像帧数据进行数据处理。

2.根据权利要求1所述的方法，其特征在于，所述通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，包括：若所述摄像头传感芯片接口为串行输入接口，通过预设数量的串行接收接口对来自所述串行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据；

若所述摄像头传感芯片接口为并行输入接口，确定所述并行输入接口的接口数量，基于所述并行输入接口的接口数量，预设同等数量的并行接收接口；

通过并行接收接口对来自所述并行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据。

3.根据权利要求2所述的方法，其特征在于，所述通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，还包括：若所述摄像头传感芯片生成的图像帧数据对应的像素位宽超过串行接收接口的传输像素位宽，对所述生成的图像帧数据的像素进行拆分，将拆分后的像素依次发送至所述图像处理芯片；

若所述摄像头传感芯片生成的图像帧数据对应的像素位宽超过并行接收接口的传输像素位宽，对所述生成的图像帧数据的像素进行拆分，拆分后的像素用于发送至所述图像处理芯片。

4.根据权利要求1所述的方法，其特征在于，所述根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，包括：确定所述图像同步信号的帧同步信号和行同步信号；

基于所述解析标准对所述帧同步信号和行同步信号的数据宽度进行延长，获取展宽后的图像同步信号。

5.根据权利要求1所述的方法，其特征在于，在所述对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据之前，所述方法还包括：若所述图像数据对应的单个时钟周期的数据宽度中包含多个有效像素；

将每一个有效像素均匀分布至每一个时钟周期，得到有效像素均匀分布的图像数据。

6.根据权利要求1所述的方法，其特征在于，所述对所述选通图像帧数据的图像数据进行重映射，包括：根据高低位对齐的方式对所述图像数据进行重映射，得到适配所述图像处理芯片的图像数据；

其中，

若所述图像数据的输入位宽低于所述图像处理芯片的指定位宽，在指定位置对所述图像数据进行补零对齐操作，得到适配所述图像处理芯片的图像数据；

若所述图像数据的输入位宽高于所述图像处理芯片的指定位宽，在指定位置对所述图像数据进行数据截取操作，得到适配所述图像处理芯片的图像数据。

7.根据权利要求1所述的方法，其特征在于，在将所述目标图像帧数据输入所述图像处理芯片之前，所述方法还包括：若所述摄像头传感芯片生成的图像像素宽度超过接口传输像素宽度，对所述目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，所述拼接图像数据用于输入所述图像处理芯片。

8.根据权利要求7所述的方法，其特征在于，所述对所述目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，包括：若所述目标图像帧数据来自串行输入接口，将所述目标图像帧数据的图像数据对应的像素进行垂直拼接，获得拼接图像数据；

若所述目标图像帧数据来自并行输入接口，确定所述目标图像帧数据对应的至少两个并行接收接口；

将来自至少两个并行接收接口的所述目标图像帧数据的图像数据进行水平拼接，获得拼接图像数据。

9.一种用于多摄像头的图像交换装置，其特征在于，所述装置包括：接收模块，用于通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，所述接收接口与所述摄像头传感芯片的接口协议对应；

选通模块，用于基于图像处理芯片对应的图像接口数量对所述待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；

处理模块，用于根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，并对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据；

输入模块，用于将所述目标图像帧数据输入所述图像处理芯片，供所述图像处理芯片对所述目标图像帧数据进行数据处理。

10.一种用于多摄像头的图像数据交换系统，其特征在于，所述系统包括：摄像头传感芯片、数据交换装置和图像处理芯片；

所述摄像头传感芯片用于获取摄像头采集的图像帧数据；

所述数据交换装置包括：

接收模块，用于通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，所述接收接口与所述摄像头传感芯片的接口协议对应；

选通模块，用于基于图像处理芯片对应的图像接口数量对所述待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；

处理模块，用于根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，并对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据；

输入模块，用于将所述目标图像帧数据输入所述图像处理芯片；

所述图像处理芯片，用于对所述目标图像帧数据进行数据处理。

11.一种汽车，所述汽车包含多个摄像头和对应的摄像头传感芯片，所述多个摄像头传感芯片生成的图像帧数据通过权利要求1 8任一项所述的图像数据交换方法进行处理。

~

说明书

用于多摄像头的图像数据交换方法、装置、系统和汽车

技术领域

[0001] 本申请涉及图像处理技术领域，尤其涉及一种用于多摄像头的图像数据交换方法、装置、系统和汽车。

背景技术

[0002] 当下车规市场上的摄像头包括有后视摄影、环视摄影、以及为覆盖的L2及以下级别的自动驾驶辅助功能等设置的前侧后摄像等。针对不同类型的摄像头传感芯片（Contact Image Sensor，CIS），摄像头传感芯片核心算法存在差异，通常需要使用不同解决方案进行数据的集中处理。

[0003] 近些年来，为了减轻中央处理器（central processing unit，CPU）的计算负荷，选择将一些批量重复的图像处理算法集成到硬件中，做到资源的统一调度以加速图像处理的速度。但如果用单一的图像信号处理芯片(Image Signal Processor, ISP)处理单幅图像，往往会算力过剩无法发挥ISP的全部性能，且在实际使用场景下，由于不同的CIS所适配的ISP通常存在差异，如果直接将CIS生成的图像交给ISP进行处理，在前后端模块的数据匹配上容易遇到问题，无法满足现实的图像处理需求。

发明内容

[0004] 本申请提供了一种用于多摄像头的图像数据交换方法、装置、系统和汽车，以至少解决现有技术中存在的以上技术问题。

[0005] 根据本申请实施例的第一方面，提供了一种用于多摄像头的图像数据交换方法，所述方法包括：通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，所述接收接口与所述摄像头传感芯片的接口协议对应；基于图像处理芯片对应的图像接口数量对所述待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，并对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据；将所述目标图像帧数据输入所述图像处理芯片，供所述图像处理芯片对所述目标图像帧数据进行数据处理。

[0006] 在一可实施方式中，所述通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，包括：若所述摄像头传感芯片接口为串行输入接口，通过预设数量的串行接收接口对来自所述串行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据；若所述摄像头传感芯片接口为并行输入接口，确定所述并行输入接口的接口数量，基于所述并行输入接口的接口数量，预设同等数量的并行接收接口；通过并行接收接口对来自所述并行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据。

[0007] 在一可实施方式中，所述通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，还包括：若所述摄像头传感芯片生成的图像帧数据对应的像素位宽超过串行接收接口的传输像素位宽，对所述生成的图像帧数据的像素进行拆分，将拆分后的像素依次发送至所述图像处理芯片；若所述摄像头传感芯片生成的图像帧数据对应的像素位宽超过并行接收接口的传输像素位宽，对所述生成的图像帧数据的像素进行拆分，拆分后的像素用于发送至所述图像处理芯片。

[0008] 在一可实施方式中，所述根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，包括：确定所述图像同步信号的帧同步信号和行同步信号；基于所述解析标准对所述帧同步信号和行同步信号的数据宽度进行延长，获取展宽后的图像同步信号。

[0009] 在一可实施方式中，在所述对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据之前，所述方法还包括：若所述图像数据对应的单个时钟周期的数据宽度中包含多个有效像素；将每一个有效像素均匀分布至每一个时钟周期，得到有效像素均匀分布的图像数据。

[0010] 在一可实施方式中，所述对所述选通图像帧数据的图像数据进行重映射，，包括：根据高低位对齐的方式对所述图像数据进行重映射，得到适配所述图像处理芯片的图像数据；其中，若所述图像数据的输入位宽低于所述图像处理芯片的指定位宽，在指定位置对所述图像数据进行补零对齐操作，得到适配所述图像处理芯片的图像数据；若所述图像数据的输入位宽高于所述图像处理芯片的指定位宽，在指定位置对所述图像数据进行数据截取操作，得到适配所述图像处理芯片的图像数据。

[0011] 在一可实施方式中，在将所述目标图像帧数据输入所述图像处理芯片之前，所述方法还包括：若所述摄像头传感芯片生成的图像像素宽度超过接口传输像素宽度，对所述目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，所述拼接图像数据用于输入所述图像处理芯片。

[0012] 在一可实施方式中，所述对所述目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，包括：若所述目标图像帧数据来自串行输入接口，将所述目标图像帧数据的图像数据对应的像素进行垂直拼接，获得拼接图像数据；若所述目标图像帧数据来自并行输入接口，确定所述目标图像帧数据对应的至少两个并行接收接口；将来自至少两个并行接收接口的所述目标图像帧数据的图像数据进行水平拼接，获得拼接图像数据。

[0013] 根据本申请实施例的第二方面，提供了一种用于多摄像头的图像交换装置，所述装置包括：接收模块，用于通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，所述接收接口与所述摄像头传感芯片的接口协议对应；选通模块，用于基于图像处理芯片对应的图像接口数量对所述待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；处理模块，用于根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，并对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据；输入模块，用于将所述目标图像帧数据输入所述图像处理芯片，供所述图像处理芯片对所述目标图像帧数据进行数据处理。

[0014] 在一可实施方式中，所述接收模块，包括：获取子模块，用于若所述摄像头传感芯片接口为串行输入接口，通过预设数量的串行接收接口对来自所述串行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据；设置子模块，用于若所述摄像头传感芯片接口为并行输入接口，确定所述并行输入接口的接口数量，基于所述并行输入接口的接口数量，预设同等数量的并行接收接口；所述获取子模块，用于还通过并行接收接口对来自所述并行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据。

[0015] 在一可实施方式中，所述接收模块，还包括：拆分子模块，用于若所述摄像头传感芯片生成的图像帧数据对应的像素位宽超过串行接收接口的传输像素位宽，对所述生成的图像帧数据的像素进行拆分，将拆分后的像素依次发送至所述图像处理芯片；所述拆分子模块，还用于若所述摄像头传感芯片生成的图像帧数据对应的像素位宽超过并行接收接口的传输像素位宽，对所述生成的图像帧数据的像素进行拆分，拆分后的像素用于发送至所述图像处理芯片。

[0016] 在一可实施方式中，所述处理模块，包括：确定子模块，用于确定所述图像同步信号的帧同步信号和行同步信号；展宽子模块，用于基于所述解析标准对所述帧同步信号和行同步信号的数据宽度进行延长，获取展宽后的图像同步信号。

[0017] 在一可实施方式中，所述装置还包括：均分模块，用于若所述图像数据对应的单个时钟周期的数据宽度中包含多个有效像素，将每一个有效像素均匀分布至每一个时钟周期，得到有效像素均匀分布的图像数据。

[0018] 在一可实施方式中，所述处理模块，包括：重映射子模块，用于根据高低位对齐的方式对所述图像数据进行重映射，得到适配所述图像处理芯片的图像数据；其中，若所述图像数据的输入位宽低于所述图像处理芯片的指定位宽，在指定位置对所述图像数据进行补零对齐操作，得到适配所述图像处理芯片的图像数据；若所述图像数据的输入位宽高于所述图像处理芯片的指定位宽，在指定位置对所述图像数据进行数据截取操作，得到适配所述图像处理芯片的图像数据。

[0019] 在一可实施方式中，所述装置还包括：拼接模块，用于若所述摄像头传感芯片生成的图像像素宽度超过接口传输像素宽度，对所述目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，所述拼接图像数据用于输入所述图像处理芯片。

[0020] 在一可实施方式中，所述拼接模块，包括：水平拼接子模块，用于若所述目标图像帧数据来自串行输入接口，将所述目标图像帧数据的图像数据对应的像素进行垂直拼接，获得拼接图像数据；垂直拼接子模块，用于若所述目标图像帧数据来自并行输入接口，确定所述目标图像帧数据对应的至少两个并行接收接口；将来自至少两个并行接收接口的所述目标图像帧数据的图像数据进行水平拼接，获得拼接图像数据。

[0021] 根据本申请的第三方面，提供了一种用于多摄像头的图像数据交换系统，所述系统包括：摄像头传感芯片、数据交换装置和图像处理芯片；所述摄像头传感芯片用于获取摄像头采集的图像帧数据；所述数据交换装置包括：接收模块，用于通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，所述接收接口与所述摄像头传感芯片的接口协议对应；选通模块，用于基于图像处理芯片对应的图像接口数量对所述待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；处理模块，用于根据所述图像处理芯片的解析标准对所述选通图像帧数据的图像同步信号进行展宽，并对所述选通图像帧数据的图像数据进行重映射，得到适配所述图像处理芯片的目标图像帧数据；输入模块，用于将所述目标图像帧数据输入所述图像处理芯片；所述图像处理芯片，用于对所述目标图像帧数据进行数据处理。

[0022] 根据本申请的第四方面，提供了一种汽车，所述汽车包含多个摄像头和对应的摄像头传感芯片，所述多个摄像头传感芯片生成的图像帧数据通过上述可实施方式任一项所述的图像数据交换方法进行处理。

[0023] 根据本申请的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请所述的方法。

[0024] 根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请所述的方法。

[0025] 本申请实施例提供的一种用于多摄像头的图像数据交换方法、装置、系统和汽车，利用不同协议的接收接口接收来自多摄像头的多种类型的摄像头传感芯片的待处理图像帧数据，并对这些待处理图像帧数据进行选通、展宽、重映射等操作，针对不同类型的摄像头传感芯片存在的不同工作模式和不同数据格式，均能够提供统一的支持，从而对来自多摄像头传感芯片的待处理图像帧数据中的有效信息进行提取并预处理，实现了针对待处理图像帧数据的统一调度和预处理。

[0026] 应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

[0027] 通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

[0028] 在附图中，相同或对应的标号表示相同或对应的部分。

[0029] 图1示出了本申请实施例一种用于多摄像头的图像数据交换方法的实现流程示意图；

[0030] 图2示出了本申请实施例一种用于多摄像头的图像数据交换方法的实现场景示意图；

[0031] 图3示出了本申请实施例一种用于多摄像头的图像数据交换方法的实现场景流程示意图；

[0032] 图4示出了本申请实施例一种用于多摄像头的图像数据交换装置的实现模块示意图；

[0033] 图5示出了本申请实施例一种用于多摄像头的图像数据交换系统的实现装置示意图；

[0034] 图6示出了本申请实施例一种电子设备的组成结构示意图。

具体实施方式

[0035] 为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0036] 图1示出了本申请实施例一种用于多摄像头的图像数据交换方法的实现流程示意图。图2示出了本申请实施例一种用于多摄像头的图像数据交换方法的实现场景示意图。

[0037] 参见图1和图2，根据本申请实施例的第一方面，提供了一种用于多摄像头的图像数据交换方法，方法包括：操作101，通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，接收接口与摄像头传感芯片的接口协议对应；操作102，基于图像处理芯片对应的图像接口数量对待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；操作103，根据图像处理芯片的解析标准对选通图像帧数据的图像同步信号进行展宽，并对选通图像帧数据的图像数据进行重映射，得到适配图像处理芯片的目标图像帧数据；操作104，将目标图像帧数据输入图像处理芯片，供图像处理芯片对目标图像帧数据进行数据处理。

[0038] 本申请实施例提供的一种用于多摄像头的图像数据交换方法，可以应用于连接在摄像头传感芯片和图像处理芯片之间的图像交换装置。图像交换装置具体可以为图像交换芯片、图像交换器、图像交换系统、图像交换设备、图像交换模块的任一种。图像交换装置也可以直接集成于图像处理芯片上，作为图像处理芯片的图像处理模块使用。

[0039] 本申请实施例利用不同协议的接收接口接收来自多摄像头的多种协议类型的摄像头传感芯片的待处理图像帧数据，并对这些待处理图像帧数据进行选通、展宽、重映射等操作，针对不同类型的摄像头传感芯片存在的不同工作模式和不同数据格式，均能够提供统一的支持，从而对来自多摄像头传感芯片的待处理图像帧数据中的有效信息进行提取并预处理，实现了针对待处理图像帧数据的统一调度和预处理，有利于使图像处理芯片能够更高效地进行精细化处理。

[0040] 在本方法操作101中，不同的摄像头传感芯片传输的待处理图像帧数据包括图像同步信号和图像数据，具体的数据内容包括但不限于：像素时钟信号（pixclk）、帧同步信号(Vertical Sync,vsync)、行同步信号（Horizontal Sync，hsync）、有效输入数据（data_en）、像素数据（pixdata）。基于不同的摄像头传感芯片的接口，摄像头传感芯片通过对应的接口将待处理图像帧数据以物理方式传输到图像处理芯片的过程中，利用本申请实施例提供的图像交换装置对待处理图像帧数据通过物理层、协议层和应用层的转换，并根据待处理图像帧数据的不同数据类型，采用对应的映射关系，将其还原成指定的数据包格式。指定的数据包格式可以在raw6 bit‑raw24 bit位宽之间根据需要设定。

[0041] 其中，摄像头传感芯片的输入接口可以包含针对不同数据类型的串行输入接口或并行输入接口，摄像头传感芯片的输入接口与对应厂商的设计相关，本申请实施例对此不进行限制。本申请实施例在确定摄像头传感芯片的输入接口及对应的数据类型之后，基于摄像头传感芯片的输入接口及对应的数据类型在图像交换装置上设置对应的图像接收接口，以实现能够支持不同摄像头传感芯片接口协议和数据格式的目的。

[0042] 其中，摄像头传感芯片的数据格式包括但不限于：主流供应商的接口对应的raw数据格式。接口协议类型包括但不限于：Mipi D phy，csi para等的接口协议类型。基于图像交换装置具有多个不同协议的接收接口，图像交换装置通常可以同时接收来自多个摄像头传感芯片的大量待处理图像帧数据。

[0043] 在本方法操作102中，基于图像处理芯片的图像接口数量存在限制，通常，图像处理芯片的图像接口数量会小于图像交换装置传输的待处理图像帧数据的数量。本申请实施例可以通过数据选择器（multiplexer，mux）对待处理图像帧数据进行选通，从待处理图像帧数据中决定将被输入图像处理芯片进行数据处理的选通图像帧数据。

[0044] 例如，在一种实施场景中，通过图像交换装置接收的来自不同摄像头传感芯片的待处理图像帧数据为X份，图像处理芯片的图像接口数量为N个，且N＜X，通过数据选择器对X份待处理图像帧数据进行选通，确定N份选通图像帧数据。

[0045] 在本方法操作103和操作104中，基于图像处理芯片具有预先设定好的解析方法对选通图像帧数据进行解析，本申请可以根据图像处理芯片的解析方法确定对应的解析标准，解析标准包括但不限于：对选通图像帧数据中各类数据内容的限制，如对有效输入数据宽度的限制等。本申请基于解析标准，对选通图像帧数据进行展宽和重映射，使处理后得到的目标图像帧数据能够适配于图像处理芯片的解析方法，将目标图像帧数据输入图像处理芯片的图像处理单元，使图像处理单元通过对应的解析方法对目标图像帧数据进行更高效地精细化处理。应用本方法，使不同的摄像头传感芯片和图像处理芯片通过图像交换装置能够适用于多种图像格式、多种工作模式下的应用场景。

[0046] 本方法还可以将图像交换装置与图像处理芯片固定连接，形成固定的接口数据映射关系，从而有效实现多种不同类型的摄像头传感芯片的使用场景下的图像交换装置和图像处理芯片的复用，解决了当下日益丰富的摄像头传感芯片和图像处理芯片接口信号之间的匹配冲突问题。

[0047] 在一可实施方式中，操作101，通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，包括：若摄像头传感芯片接口为串行输入接口，通过预设数量的串行接收接口对来自串行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据。

[0048] 具体的，常规的摄像头传感芯片的输入接口分为串行输入接口和并行输入接口两种类型。

[0049] 当摄像头传感芯片采用串行输入接口的情况下，如Mipi D phy Tx接口。在该场景下，图像交换装置设置对应的接收接口，如设置D phy Datalane模拟端口，接收待处理图像帧数据。图像交换装置将待处理图像帧数据对应的差分信号通过物理层、协议层和应用层的转换，并将转换后的数据根据不同的数据类型，按照图像交换装置预设的映射关系，还原成多bit位宽数据包的格式。

[0050] 由于D phy接收接口最多支持四个通道同时传输图像信息，当摄像头传感芯片在D phy接收接口的通道全开的模式下传输图像，通过D phy接收接口进行图像的物理传输、信号转换和映射还原，针对每一个D phy接收接口，图像交换装置可以实时还原出四幅来自摄像头传感芯片的图像和对应的图像同步信号。本申请实施例提供的图像交换装置上可以设置n个D phy接收接口，以使在通道全开的模式下，图像交换装置可以实时还原出4n幅图像，其中，n为大于等于1的正整数。

[0051] 在一可实施方式中，操作101，包括：首先，若摄像头传感芯片接口为并行输入接口，确定并行输入接口的接口数量，基于并行输入接口的接口数量，预设同等数量的并行接收接口；然后，通过并行接收接口对来自并行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据。

[0052] 当摄像头传感芯片采用并行输入接口的情况下，如csi para格式。csi para格式的接口可以直接和图像处理芯片外部用于输入输出的管腿（PAD）相连接。由于并行输入接口通常没有统一的协议规范，导致来自并行输入接口的待处理图像帧数据的图像同步信号会根据不同摄像头厂商的实际设计情况衍生出多种工作模式。本申请实施例的图像交换装置根据摄像头传感芯片的接口输入格式，设置有对应的接收接口格式，从而为并行输入接口提供对应的传输通道，并行接收接口的传输通道的数量可以根据使用该类接口的摄像头传感芯片的数量确定，例如，根据摄像头传感芯片确定需要m个并行输入接口，图像交换装置设置m个并行接收接口以获取来自摄像头传感芯片的待处理图像帧数据，其中，m可以为大于等于1的正整数。

[0053] 在一可实施方式中，操作101，通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，还包括：若摄像头传感芯片生成的图像帧数据对应的像素位宽超过串行接收接口的传输像素位宽，对生成的图像帧数据的像素进行拆分，将拆分后的像素依次发送至图像处理芯片。

[0054] 针对串行输入接口，在实际应用中，受限于不同摄像头传感芯片对Mipi D_phy协议的不同版本支持，摄像头传感芯片生成的待处理图像帧数据的单个像素位宽在部分应用场景中会超过传输通道的位宽限制，在该情况下，摄像头传感芯片的输入接口在解析时会将单个像素的有效信息拆分成两个像素前后依次发送，实现待处理图像帧数据的传输目的。对应的，图像交换装置在将图像帧数据传输至图像处理芯片之前，需要对传输过来的像素进行垂直拼接，实现原始的待处理图像帧数据的还原。

[0055] 在一可实施方式中，操作101，包括：若摄像头传感芯片生成的图像帧数据对应的像素位宽超过并行接收接口的传输像素位宽，对生成的图像帧数据的像素进行拆分，拆分后的像素用于解析和发送至图像处理芯片。

[0056] 针对并行输入接口，受限于硬件设计，接口资源通常十分有限，例如，直接将并行输入接口与图像处理芯片的PAD相连。摄像头传感芯片生成的待处理图像帧数据的也会出现单个像素位宽超过并行输入接口的最大像素位宽。在该场景下，可以通过借用其他并行接收接口的资源，借用数量可以依据单像素位宽超过并行接收接口的最大像素位宽的倍数确定。例如，单像素位宽超过并行接收接口的最大像素位宽的1.5倍数，则可以借用一条并行接收接口。对单个像素进行拆分后，通过两条并行接收接口将待处理图像帧数据传输至图像交换芯片。对应的，图像交换装置需要对传输过来的像素进行水平拼接，实现原始的待处理图像帧数据的还原。

[0057] 在一可实施方式中，操作102，根据图像处理芯片的解析标准对选通图像帧数据的图像同步信号进行展宽，包括：首先，确定图像同步信号的帧同步信号和行同步信号；然后，基于解析标准对帧同步信号和行同步信号的数据宽度进行延长，获取展宽后的图像同步信号。

[0058] 在本申请的数据展宽操作中，选通图像帧数据可以是来自串行输入接口，也可以来自串行输入接口。根据解析标准的要求，将选通图像帧数据中的帧同步信号和行同步信号的数据宽度进行延长，使图像同步信号可以适应图像处理芯片对目标图像帧数据的解析方法。

[0059] 在一可实施方式中，在操作103，对选通图像帧数据的图像数据进行重映射，得到适配图像处理芯片的目标图像帧数据之前，方法还包括：若图像数据对应的单个时钟周期的数据宽度中包含多个有效像素；将每一个有效像素均匀分布至每一个时钟周期，得到有效像素均匀分布的图像数据。

[0060] 在对图像同步信号进行展宽的同时，如果来自输入接口的选通图像帧数据的图像数据的单个时钟周期的数据宽度中包含多个有效像素，有效像素可以为有效的raw格式的像素。可以将每个像素截取并均匀分摊到每一个时钟周期，进而使图像数据的数据宽度能够匹配图像处理芯片的有效数据宽度。

[0061] 在一可实施方式中，操作103，对选通图像帧数据的图像数据进行重映射，得到适配图像处理芯片的目标图像帧数据，包括：根据高低位对齐的方式对图像数据进行重映射，得到适配图像处理芯片的图像数据。

[0062] 在图像数据被均匀分布到每一个时钟周期后，需要将图像数据按照高低位对齐的方式进行重映射，以方便的图像处理芯片对图像数据的再加工和处理。

[0063] 其中，若图像数据的输入位宽低于图像处理芯片的指定位宽，在指定位置对图像数据进行补零对齐操作，得到适配图像处理芯片的图像数据。如果有效像素均匀分布的图像数据中像素位宽低于图像处理芯片输入要求的像素位宽，可以在指定位置对图像数据进行补零对齐操作，图像数据进行补零对齐操作的指定位置可以是在高位或者低位的任意位置。

[0064] 其中，若图像数据的输入位宽高于图像处理芯片的指定位宽，在指定位置对图像数据进行数据截取操作，得到适配图像处理芯片的目标图像帧数据。

[0065] 如果有效像素均匀分布的图像数据中像素位宽低于图像处理芯片输入要求的像素位宽，可以需要在指定位置对图像数据进行溢出数据的截取操作，图像数据进行溢出数据的截取操作的指定位置可以是在高位或者低位的任意位置。

[0066] 在一可实施方式中，在将目标图像帧数据输入图像处理芯片之前，方法还包括：若摄像头传感芯片生成的图像像素宽度超过接口传输像素宽度，对目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，拼接图像数据用于输入图像处理芯片。

[0067] 如果来自输入接口的图像数据属于上述实施方式中像素位宽超过输入接口的传输像素位宽的情况，可以在图像数据重映射之后，在目标图像帧数据输入图像处理芯片之前，根据接收接口的接口类型对图像数据进行像素拼接。

[0068] 在一可实施方式中，对目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，包括：若目标图像帧数据来自串行输入接口，将图像数据对应的像素进行垂直拼接，获得拼接图像数据；

[0069] 受限于不同摄像头传感芯片对Mipi D_phy协议的不同版本支持，存在摄像头传感芯片输入数据的单个像素的宽度过大的情况，接收接口解析时会将单个像素的有效信息拆分成两个像素前后依次发送，在此场景下，图像交换装置在目标图像帧数据输入到图像处理芯片之前，将原始的像素提前还原拼接出来，即垂直拼接。

[0070] 例如，如果是Mipi csi D_phy接口对应的单个像素的是宽度过长，可以单个像素拆分成两个或两个以上的像素进行解析，然后图像交换装置将前后的两个或两个以上的像素进行拼接，获得拼接图像数据，即实现对原始像素的还原，然后一并输入至图像处理芯片。

[0071] 在一可实施方式中，对目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，包括：若目标图像帧数据来自并行输入接口，确定目标图像帧数据对应的至少两个并行接收接口；将两个并行接收接口的目标图像帧数据进行水平拼接，获得拼接图像数据。

[0072] 如果是csi para协议的输入接口对应的单个像素的是宽度过宽，可以借用其他csi para协议的接收接口的资源，例如，存在接收接口csi para1和csi para2。如果csi para1接收接口为主要接收数据接口，csi para2接收接口在闲置的情况下，可以充当起填充像素位宽的作用，也就是将csi para2的所有的接口资源都临时改成csi para1的pixdata的接口。例如，将csi para2针对vsync，hsync, data_en, pixdata的接口资源都临时改成csi para1的pixdata的接口，这样csi para接收接口的raw数据格式支持可以做到最大的扩展。在没有额外增加设计面积的情况下，csi para的接口既可以独立工作又可以合并为一个通道。这两种拼接方式都有利于更好的支持原始数据格式，使得摄像头传感芯片的输入接口的输入数据的最宽范围可以从raw6 bit达到 raw24 bit。如此，可以灵活地借用闲置接口资源以达到扩充数据位宽的目的。

[0073] 图3示出了本申请实施例一种用于多摄像头的图像数据交换方法的实现场景流程示意图。

[0074] 为方便上述实施方式的整体理解，以下提供一种应用本方法的具体实施场景。

[0075] 结合图2和图3，在该具体实施场景中，本方法应用于图像交换装置，图像交换装置可以集成于图像处理芯片上；也可以设置成图像处理芯片，用于连接多个摄像头对应的摄像头传感芯片和图像处理芯片。

[0076] 当图像交换装置为单独的图像处理芯片的情况下，图像处理装置包括与摄像头传感芯片连接的接收接口、与图像处理芯片连接的输入接口和用于进行图像帧数据预处理的处理模块。

[0077] 当图像交换装置为集成在图像处理芯片上时，图像处理装置的接收接口可以直接利用图像处理芯片的接收接口，且无需设置针对图像处理芯片的输入接口。

[0078] 首先，当多个摄像头传感芯片生成待处理图像帧数据的情况下，摄像头传感芯片选择对应的数据通道类型，数据通道类型为Mipi csi D phy data 和csi pata data。

[0079] 如摄像头传感芯片对应的数据通道类型为Mipi csi data，通过Mipi D_phy Tx接口将待处理图像帧数据传输至图像交换装置的接收接口。当图像交换装置集成于图像处理芯片上时，图像处理芯片上可以设置供图像交换装置使用的Mipi D_phy Tx模拟端口。

[0080] 该步骤中，通过Mipi D_phy Tx接口的待处理的图像帧数据以物理的方式传输到图像处理芯片的Mipi D_phy Rx的模拟端口或图像交换装置的Mipi D_phy Tx接收接口，图像交换装置通过Mipi csi controller，将待处理的图像帧数据的差分信号通过物理层、协议层和应用层进行转换，将待处理的图像帧数据根据不同数据类型，按照一定映射关系，还原成多bit位宽数据包的格式。由于Mipi D_phy Rx端口最多支持4个通道同时传输图像信息，如果摄像头传感芯片在通道全开的模式下输出图像，通过Mipi D_phy Rx接口的物理传输、Mipi csi controller的转换，最多在Mipi csi controller的输出端口，可以实时还原出4幅图像和图像同步信号。Mipi D_phy Tx模拟端口在图像处理芯片上可以集成n个，对应可以还原出4n幅图像和图像同步信号。

[0081] 如摄像头传感芯片对应的数据通道类型为csi pata data，通过csi para格式接口将待处理图像帧数据传输至图像交换装置的接收接口。

[0082] 在该步骤中，csi para格式的接口可以直接和图像处理芯片外部PAD相连接，由于csi para格式没有统一的协议规范，导致图像同步信号根据不同摄像头厂商的类型，又通常会衍生出多种工作模式，所以为了增强图像处理芯片支持格式的兼容性，图像交换装置需要为csi para格式图像帧提供传输通道，csi para的接口数量可以按照实际需求设置为m个，利用m个csi para的接口进行图像传输。

[0083] 需要补充的，已知针对csi para格式接口的待处理图像帧数据，其包含的各类数据通过不同的通道进行传输，在csi para格式的接收接口，需要对数据帧进行合并，从而获得待处理图像帧数据。

[0084] 然后，图像交换装置通过Mipi D_phy Tx接口或csi para格式接口可以获得4n+m幅图像，局限于图像处理芯片支持的图像端口数量为k，通常最多只有k(k<=4n+m)幅图像可以有效进入到图像处理芯片的图像处理单元中。基于此，4n+m幅图像在图像交换装置中首先会经过mux开关的选通，确定k幅有效图像，对这k幅有效图像的图像同步信号进行展宽，具体是将hsync_pulse, vsync_pulse，使图像同步信号可以适应图像处理芯片对图像帧的解析方法。

[0085] 在图像同步信号展宽的同时，如果是输入端的单时钟周期的数据宽度中包含多个有效的raw格式的像素，可以将每个像素截取并均匀地分摊到每个时钟周期上，这样做的目的也是为了匹配图像处理芯片接收端口的有效数据宽度。

[0086] 然后，在图像数据被均匀分布到每个时钟周期后，需要将图像数据按照高低位对齐的方式进行重映射，以方便后续图像处理芯片的再加工和处理。具体方法是：如果像素位宽低于图像处理芯片输入要求的像素位宽，需要在高位或者低位进行补零对齐操作。如果像素位宽高于图像处理芯片输入要求的像素位宽，需要在高位或者低位进行溢出数据的截取操作。

[0087] 在数据重映射后，如有数据合并要求的，可以进行数据合并。

[0088] 在一种具体实施场景中，由于不同摄像头传感芯片对Mipi D_phy协议的不同版本支持，如果接收接口接收的单个像素的宽度过大，图像处理装置在Mipi csi D_phy解析时会将单个像素的有效信息拆分成两个像素前后依次发送，在此场景下，需要在图像帧输入到图像处理芯片的图像处理单元之前，将原始的像素提前还原拼接出来。基于此，纵向上，如果是Mipi csi D_phy进来的单个像素数据过长，可以将前后两个有效数据进行拼接，原始像素得以还原。

[0089] 在另一种具体实施场景中，当单像素位宽超过了csi para支持的最大像素位宽时，摄像头的图像无法匹配到ISP的数据端口，图像处理就没法得到最大的满足，基于此，横向上，如果图像交换装置的单个并行接收接口的像素位宽过宽，可以借用另一条csi para的端口资源。假设并行接收接口的数量为2，如果csi para1端口为主要接收数据端口，csi para2端口在闲置的情况下，可以充当起填充像素位宽的作用，也就是将csi para2用于接收vsync， hsync, data_en, pixdata这类数据的端口资源都临时改成csi para1的pixdata的端口，这样csi para端口的raw数据格式支持可以做到最大的扩展。在没有额外增加设计面积的情况下，csi para的端口既可以独立工作又可以合并为一个通道。这两种拼接方式都有利于更好的支持原始数据格式，使得图像处理芯片的输入端的数据最宽范围可以从raw6 bit达到raw24 bit。

[0090] 图4示出了本申请实施例一种用于多摄像头的图像数据交换装置的实现模块示意图。

[0091] 参见图4，根据本申请实施例的第二方面，提供了一种用于多摄像头的图像交换装置，装置包括：接收模块301，用于通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，接收接口与摄像头传感芯片的接口协议对应；选通模块302，用于基于图像处理芯片对应的图像接口数量对待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；处理模块303，用于根据图像处理芯片的解析标准对选通图像帧数据的图像同步信号进行展宽，并对选通图像帧数据的图像数据进行重映射，得到适配图像处理芯片的目标图像帧数据；输入模块304，用于将目标图像帧数据输入图像处理芯片，供图像处理芯片对目标图像帧数据进行数据处理。

[0092] 在一可实施方式中，接收模块301，包括：获取子模块3011，用于若摄像头传感芯片接口为串行输入接口，通过预设数量的串行接收接口对来自串行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据；设置子模块3012，用于若摄像头传感芯片接口为并行输入接口，确定并行输入接口的接口数量，基于并行输入接口的接口数量，预设同等数量的并行接收接口；获取子模块3011，用于还通过并行接收接口对来自并行输入接口的图像帧数据进行转换和映射，获取指定格式的待处理图像帧数据。

[0093] 在一可实施方式中，接收模块301，还包括：拆分子模块3013，用于若摄像头传感芯片生成的图像帧数据对应的像素位宽超过串行接收接口的传输像素位宽，对生成的图像帧数据的像素进行拆分，将拆分后的像素依次发送至图像处理芯片；拆分子模块3013，还用于若摄像头传感芯片生成的图像帧数据对应的像素位宽超过并行接收接口的传输像素位宽，对生成的图像帧数据的像素进行拆分，拆分后的像素用于发送至图像处理芯片。

[0094] 在一可实施方式中，处理模块303，包括：确定子模块3031，用于确定图像同步信号的帧同步信号和行同步信号；展宽子模块3032，用于基于解析标准对帧同步信号和行同步信号的数据宽度进行延长，获取展宽后的图像同步信号。

[0095] 在一可实施方式中，装置还包括：若图像数据对应的单个时钟周期的数据宽度中包含多个有效像素，将每一个有效像素均匀分布至每一个时钟周期，得到有效像素均匀分布的图像数据。

[0096] 在一可实施方式中，处理模块303，包括：重映射子模块3033，用于根据高低位对齐的方式对图像数据进行重映射，得到适配图像处理芯片的图像数据；其中，若图像数据的输入位宽低于图像处理芯片的指定位宽，在指定位置对图像数据进行补零对齐操作，得到适配图像处理芯片的图像数据；若图像数据的输入位宽高于图像处理芯片的指定位宽，在指定位置对图像数据进行数据截取操作，得到适配图像处理芯片的目标图像帧数据。

[0097] 在一可实施方式中，装置还包括：拼接模块305，用于若摄像头传感芯片生成的图像像素宽度超过接口传输像素宽度，对目标图像帧数据的图像数据进行像素拼接，获得拼接图像数据，拼接图像数据用于输入图像处理芯片。

[0098] 在一可实施方式中，拼接模块305，包括：水平拼接子模块3051，用于若目标图像帧数据来自串行输入接口，将图像数据对应的像素进行垂直拼接，获得拼接图像数据；垂直拼接子模块3052，用于若目标图像帧数据来自并行输入接口，确定目标图像帧数据对应的至少两个并行接收接口；将两个并行接收接口的目标图像帧数据进行水平拼接，获得拼接图像数据。

[0099] 图5示出了本申请实施例一种用于多摄像头的图像数据交换系统的实现装置示意图。

[0100] 结合图2和图5，根据本申请的第三方面，提供了一种用于多摄像头的图像数据交换系统，系统包括：摄像头传感芯片401、数据交换装置402和图像处理芯片403；摄像头传感芯片401用于获取摄像头采集的图像帧数据；数据交换装置402包括：接收模块，用于通过多种协议的接收接口接收来自多个摄像头传感芯片的待处理图像帧数据，接收接口与摄像头传感芯片的接口协议对应；选通模块，用于基于图像处理芯片对应的图像接口数量对待处理图像帧数据进行选通，获取指定数量的选通图像帧数据；处理模块，用于根据图像处理芯片的解析标准对选通图像帧数据的图像同步信号进行展宽，并对选通图像帧数据的图像数据进行重映射，得到适配图像处理芯片的目标图像帧数据；输入模块，用于将目标图像帧数据输入图像处理芯片；图像处理芯片403，用于对目标图像帧数据进行数据处理。

[0101] 根据本申请的第四方面，提供了一种汽车，汽车包含多个摄像头和对应的摄像头传感芯片，多个摄像头传感芯片生成的图像帧数据通过上述可实施方式任一项的图像数据交换方法进行处理。其中，摄像头传感芯片可以是汽车上所有摄像头对应的芯片，利用本方法，能够将汽车上由不同厂家生产的摄像头生成的数据通过硬件形成的数据交换装置进行预处理，并输入图像处理芯片的图像处理单元，进行图像处理。

[0102] 根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

[0103] 图6示出了可以用来实施本申请的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

[0104] 如图6所示，设备500包括计算单元501，其可以根据存储在只读存储器（ROM）502中的计算机程序或者从存储单元508加载到随机访问存储器（RAM）503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出（I/O）接口505也连接至总线504。

[0105] 设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

[0106] 计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如用于多摄像头的图像数据交换方法。例如，在一些实施例中，用于多摄像头的图像数据交换方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的用于多摄像头的图像数据交换方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行用于多摄像头的图像数据交换方法。

[0107] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

[0108] 用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0109] 在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD‑ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0110] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

[0111] 可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

[0112] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

[0113] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

[0114] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

[0115] 以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。