多屏拼接显示处理方法和装置

摘要

本发明涉及多屏拼接显示处理方法和实现其解决方案的功能模块构架，尤其适用于对高分辨率图像进行多屏拼接显示处理。为了改善多屏拼接显示处理图像尤其是高分辨率图像的实时性，给出多屏拼接显示处理方法和装置，其中的方法，在调度前处理的本地化转换中进行图像分割，将一幅完整图像分割成多幅子图像；调度后处理的图像缩放具有与需在对应的拼接单元屏幕显示的各幅子图像分别对应的并行的多个，单屏图像处理还对属于同一幅完整图像且已经过图像缩放的各幅子图像进行图像拼接。

权利要求

1.多屏拼接显示处理方法，依次进行调度前处理、高速串行总线调度、调度后处理和屏幕拼接显示，其中，调度前处理依次进行本地化转换和高速串行化，其中的本地化转换依次进行格式转换和帧率转换，帧率转换依次进行帧缓存和帧同步读取，调度后处理具有与各拼接单元屏幕分别对应的并行的多个，每个调度后处理依次进行解高速串行、单屏图像处理和显示输出，其中的单屏图像处理对需在对应的拼接单元屏幕显示的图像进行图像缩放，其特征是，

所述的调度前处理具有并行的多个，每个所述的调度前处理：在本地化转换中进行图像分割，将一幅完整图像分割成多幅子图像，使得图像在被分割之前为一路，在被分割之后分成多条子路，每幅子图像占用一条子路；高速串行化具有与各幅子图像分别对应的并行的多个，所述的每个调度后处理：其解高速串行和其单屏图像处理中的图像缩放均具有与需在对应的拼接单元屏幕显示的各幅子图像分别对应的并行的多个；单屏图像处理还对属于同一幅完整图像且已经过图像缩放的各幅子图像进行图像拼接，在与需显示来自多个调度前处理的拼接单元屏幕对应的单屏图像处理中还对已经过图像拼接的图像进行图像叠加。

2.根据权利要求1的多屏拼接显示处理方法，其特征是，对位于帧缓存区内的图像进行所述的图像分割。

3.多屏拼接显示处理装置，由前至后依次包括调度前处理装置、高速串行总线调度装置、调度后处理装置和屏幕拼接显示装置，其中调度前处理装置由前至后依次包括本地化转换装置和高速串行化装置，其中的本地化转换装置由前至后依次包括格式转换装置和帧率转换装置，帧率转换由前至后依次包括帧缓存区和帧同步读取装置，调度后处理装置具有与各拼接单元屏幕分别对应的并联的多个，每个调度后处理装置由前至后依次包括解高速串行装置、单屏图像处理装置和显示输出装置，其中的单屏图像处理装置包括对需在对应的拼接单元屏幕显示的图像进行图像缩放的图像缩放装置，其特征是，所述的调度前处理装置具有并联的多个，每个所述的调度前处理装置：其中的本地化转换装置包括图像分割装置，用于将一幅完整图像分割成多幅子图像，使得图像在被分割之前为一路，在被分割之后分成多条子路，每幅子图像占用一条子路；高速串行化装置具有与各幅子图像分别对应的并联的多个，所述的每个调度后处理装置：其解高速串行装置和其单屏图像处理装置中的图像缩放装置均具有与需在对应的拼接单元屏幕显示的各幅子图像分别对应的并联的多个；单屏图像处理装置还包括对属于同一幅完整图像且已经过图像缩放的各幅子图像进行图像拼接的图像拼接装置，在与需显示来自多个调度前处理的拼接单元屏幕对应的单屏图像处理装置中还包括对已经过图像拼接的图像进行图像叠加的图像叠加装置。

4.根据权利要求4的多屏拼接显示处理装置，其特征是，所述的图像分割装置用于对位于帧缓存区内的图像进行所述的分割。

说明书

多屏拼接显示处理方法和装置

技术领域

[0001] 本发明涉及多屏拼接显示处理方法和实现其解决方案的功能模块构架，尤其适用于对高分辨率图像进行多屏拼接显示处理。

背景技术

[0002] 在需要大屏幕显示图像的场合，可以将多个屏幕拼接起来组成一个大屏幕，进行多屏拼接显示，每个屏幕负责显示图像的其中一个部分，每个屏幕称为一个拼接单元屏幕。例如要在如图1的由四个拼接单元屏幕a、b、c、d组成的大屏幕上在一帧时刻同时显示完整图像甲和完整图像乙，可以采用如图2的多屏拼接显示处理方法，依次进行调度前处理、高速串行总线调度、调度后处理和屏幕拼接显示。调度前处理依次进行本地化转换和高速串行化，其中的本地化转换依次进行格式转换和帧率转换：格式转换是指将所输入的外部格式的模拟或数字图像信号转换成本地格式的数字信号，帧率转换是指使用帧缓存区将信号的帧率转换成本地帧率，为了避免因写入和读出的时间差引致的图像撕裂问题，帧缓存区应有至少三个，将这至少三个帧缓存区中的各帧图像轮流读出；其中的高速串行化是指将信号转换成适合进行高速串行总线传输的状态，包括打包、编码、串行转换等步骤。

[0003] 在需要在大屏幕上一帧时刻显示多幅完整图像的情况下，要求并行地进行多个调度前处理，本例为了在大屏幕上同时显示完整图像甲和完整图像乙，需同时进行两个调度前处理。每个调度前处理中的帧率转换使用至少三个帧缓存区，如图8所示，以帧同步的形式并行地读出完整图像甲和完整图像乙。高速串行总线调度的任务是将来自调度前处理的信号调度给分别与拼接单元屏幕a、b、c、d对应的四个并行的调度后处理。根据图1可知，调度后处理a需处理完整图像甲的上部和完整图像乙的左上部，调度后处理b只需处理完整图像乙的右上部，调度后处理c需处理完整图像甲的下部和完整图像乙的左下部，调度后处理d只需处理完整图像乙的右下部，因此在进行高速串行总线调度时对调度后处理a、c需提供完整图像甲和完整图像乙的信号，而对调度后处理b、d只需至少提供完整图像乙即可，由各个调度后处理进行剪切；高速串行总线调度也可以根据各个调度后处理需处理的部分对完整图像甲和完整图像乙进行剪切后向各个调度后处理提供其需要处理的部分。

[0004] 每个调度后处理依次进行解高速串行、单屏图像处理和显示输出，其中的单屏图像处理对需在对应的拼接单元屏幕显示的图像进行图像缩放。以调度后处理a为例，如图6，其解高速串行和其单屏图像处理中的图像缩放均具有与需在对应的拼接单元屏幕显示的完整图像甲和完整图像乙分别对应的并行的两个，其单屏图像处理对已经过图像缩放的完整图像甲和完整图像乙进行图像叠加，再予以显示输出。如果只需显示完整图像甲而无需同时显示完整图像乙，则调度前处理可以省略图2中的调度前处理乙，调度后处理可以省略对乙的解高速串行、对乙的图像缩放以及图像叠加(包括省略图6所示调度后处理a中的解高速串行a乙、图像缩放a乙和图像叠加a)。

[0005] 当输入高分辨率图像时，一帧完整图像在本地化处理完毕至图像缩放之前所需传输的数据量就会大大增加，传输帧率就会下降，影响到后续的图像缩放处理帧率。即使能够保持原传输帧率，对高分辨率图像进行图像缩放的处理帧率也会远远低于对普通图像的处理帧率，最终导致多屏拼接显示处理的实时性变差。

发明内容

[0006] 发明目的

[0007] 本发明旨在改善多屏拼接显示处理图像尤其是高分辨率图像的实时性。

[0008] 技术方案

[0009] 为此本发明提供多屏拼接显示处理方法，依次进行调度前处理、高速串行总线调度、调度后处理和屏幕拼接显示，其中，

[0010] 调度前处理依次进行本地化转换和高速串行化，其中的本地化转换依次进行格式转换和帧率转换，帧率转换依次进行帧缓存和帧同步读取，

[0011] 调度后处理具有与各拼接单元屏幕分别对应的并行的多个，每个调度后处理依次进行解高速串行、单屏图像处理和显示输出，其中的单屏图像处理对需在对应的拼接单元屏幕显示的图像进行图像缩放，

[0012] 其特征是，

[0013] 所述的调度前处理：在本地化转换中进行图像分割，将一幅完整图像分割成多幅子图像，使得图像在被分割之前为一路，在被分割之后分成多条子路，每幅子图像占用一条子路；高速串行化具有与各幅子图像分别对应的并行的多个，

[0014] 所述的每个调度后处理：其解高速串行和其单屏图像处理中的图像缩放均具有与需在对应的拼接单元屏幕显示的各幅子图像分别对应的并行的多个；单屏图像处理还对属于同一幅完整图像且已经过图像缩放的各幅子图像进行图像拼接。

[0015] 本发明还提供多屏拼接显示处理装置，由前至后依次包括调度前处理装置、高速串行总线调度装置、调度后处理装置和屏幕拼接显示装置，其中

[0016] 调度前处理装置由前至后依次包括本地化转换装置和高速串行化装置，其中的本地化转换装置由前至后依次包括格式转换装置和帧率转换装置，帧率转换由前至后依次包括帧缓存区和帧同步读取装置，

[0017] 调度后处理装置具有与各拼接单元屏幕分别对应的并联的多个，每个调度后处理装置由前至后依次包括解高速串行装置、单屏图像处理装置和显示输出装置，其中的单屏图像处理装置包括对需在对应的拼接单元屏幕显示的图像进行图像缩放的图像缩放装置，[0018] 其特征是，

[0019] 所述的调度前处理装置：其中的本地化转换装置包括图像分割装置，用于将一幅完整图像分割成多幅子图像，使得图像在被分割之前为一路，在被分割之后分成多条子路，每幅子图像占用一条子路；高速串行化装置具有与各幅子图像分别对应的并联的多个，[0020] 所述的每个调度后处理装置：其解高速串行装置和其单屏图像处理装置中的图像缩放装置均具有与需在对应的拼接单元屏幕显示的各幅子图像分别对应的并联的多个；单屏图像处理装置还包括对属于同一幅完整图像且已经过图像缩放的各幅子图像进行图像拼接的图像拼接装置。

[0021] 有益效果

[0022] 上述技术方案在调度前处理的本地化转换中将一幅完整图像分割成多幅子图像，在调度后处理的每个单屏图像处理中并行地对多幅子图像进行图像缩放，在图像缩放后再拼接恢复到分割前的状态，即可在对应的拼接单元屏幕上显示。上述技术方案的有益效果体现在(1)在调度前处理中将一幅完整图像分割成多幅子图像并相应地分多路传输，提高了传输帧率，(2)现有技术对一幅大的未分割图像进行图像缩放，图像缩放的处理帧率低；本发明对多幅子图像并行地进行图像缩放，图像缩放的处理帧率高，(3)在给定的处理帧率要求下，对一幅大的未分割图像进行图像缩放，需要性能优越但价格高昂的图像缩放设备；
对多幅小的子图像并行地进行图像缩放，只需多组性能较差但价格低廉的图像缩放芯片，总成本仍低于一组性能优越、价格高昂的图像缩放芯片。上述技术方案通过分路传输提高了传输帧率，通过分路处理提高了图像缩放的处理帧率，最终使得多屏拼接显示处理高分辨率图像也能够具有较佳的实时性。

附图说明

[0023] 图1是在由四个拼接单元屏幕a、b、c、d组成的大屏幕上在一帧时刻同时显示完整图像甲和完整图像乙的示意图。

[0024] 图2是多屏拼接显示处理方法的流程图。

[0025] 图3是本发明对完整图像甲进行本地化转换实施方式一的流程图。

[0026] 图4是本发明对完整图像甲进行本地化转换实施方式二的流程图。

[0027] 图5是本发明对完整图像甲进行本地化转换实施方式三的流程图。

[0028] 图6是背景技术为拼接单元屏幕a进行调度后处理的流程图。

[0029] 图7是本发明为拼接单元屏幕a进行调度后处理的流程图。

[0030] 图8是背景技术帧率转换的流程图。

[0031] 图9是本发明对完整图像甲进行进行本地化转换实施方式一、二的帧率转换的流程图。

[0032] 图10是本发明对完整图像甲进行进行本地化转换实施方式三中的帧率转换的流程图。

具体实施方式

[0033] 在如图1的由四个拼接单元屏幕a、b、c、d组成的大屏幕上在一帧时刻同时显示完整图像甲和完整图像乙，可以采用如图2的多屏拼接显示处理方法，依次进行调度前处理、高速串行总线调度、调度后处理和屏幕拼接显示。

[0034] 调度前处理依次进行本地化转换和高速串行化。本地化转换依次进行格式转换和帧率转换：格式转换是指将所输入的外部格式的模拟或数字图像信号转换成本地格式的数字信号，帧率转换是指对信号依次进行帧缓存和帧同步读取将其帧率转换成本地帧率。在本地化转换中还进行图像分割，将完整图像甲分割成N幅子图像，将完整图像乙分割成M幅子图像(N、M均为大于1的自然数)，使得图像在被分割之前为一路，在被分割之后分成N条子路，每幅子图像占用一条子路。高速串行化是指将信号转换成适合进行高速串行总线传输的状态，包括打包、编码、串行转换等步骤。高速串行化具有与各幅子图像分别对应的并行的N个。为了在大屏幕上同时显示完整图像甲和完整图像乙(或更多幅完整图像)，需同时进行两个(或更多个)调度前处理。以对完整图像甲的本地化转换为例，本地化转换有三种实施方式，下文详述。

[0035] 本地化转换实施方式一

[0036] 如图3，先对完整图像甲进行图像分割，分割成N幅子图像，然后分别并行地对各子路中的子图像进行本地化格式转换，再分别并行地进行帧率转换。在图像分割之后进行的格式转换不能保证本属同一幅完整图像的各幅子图像以帧同步的形式提供到各个格式转换中，因而在进行帧率转换时容易导致本属同一幅完整图像的各幅子图像中的一部分被错误地划入位于甲图像帧前/后的图像帧进行帧同步，导致最终显示的多帧图像出现图像撕裂的问题。本实施例中的图像分割可以采用外接设备来完成，该外接设备会需要在进行图像分割之前先将图像转换成该外接设备格式的信号，但这种转换不属于本文所称的“格式转换”的范畴——本文所称的“格式转换”是指将非本地格式转换成本地格式，不是指转换成该外接设备格式等其它格式。因为使用该外接设备进行图像分割所得的图像信号是该外接设备格式的信号，所以在图像分割完毕后还需要对信号进行本文所称的格式转换(见图3中的格式转换1、2、……、N)，将该外接设备格式的每一路子图像转换成本地格式。

[0037] 本地化转换实施方式二

[0038] 如图4，先对完整图像甲进行格式转换，然后进行图像分割，分割成N幅子图像，再分别并行地对各子路中的子图像进行帧率转换。本实施方式的图像分割位于格式转换之后，即对完整图像进行格式转换，而在图像分割之后马上进行帧率转换，保证本属同一幅完整图像的各幅子图像以帧同步的形式输出，解决了因格式转换不同步引致的图像撕裂的问题。

[0039] 本地化转换实施方式一和本地化转换实施方式二的帧率转换

[0040] 如图9，对完整图像甲的调度前处理中有并行的N个帧率转换，每个帧率转换的帧缓存使用至少三个帧缓存区轮流暂存所收到的本地协议格式的N幅子图像，每个帧率转换的帧同步读取就相应地以与乙的帧率转换帧同步的形式分别读出同属于甲的N幅子图像。

[0041] 本地化转换实施方式三及其帧率转换

[0042] 如图5，先对完整图像甲进行格式转换，然后使用至少三个帧缓存区进行帧率转换，在帧率转换中对位于帧缓存区内的图像进行图像分割，分割成N幅子图像；帧同步读取就相应地以与乙的帧率转换帧同步的形式分别读出同属于甲的N幅子图像到N条传输分路。本实施方式因一路图像在帧缓存区内被分割后立即在帧同步读取步骤中以帧同步的形式被读出到各个分路，就进一步确保了该图像在一路分多路时各路中的子图像不会被错误地划分到其它图像帧。而且其不仅能够解决因格式转换不同步引致的图像撕裂的问题，还能够简化系统结构：(1)无需为图像分割步骤另设一个存储空间，同时可以节约图像分割步骤的专用存储空间与帧率转换步骤所用硬件之间的线路；(2)帧率转换处的输入只有一路，无须设置多条输入分路，同时可以节约帧率转换处的输入线路。

[0043] 高速串行总线调度的任务是将来自调度前处理的信号调度给分别与拼接单元屏幕a、b、c、d对应的四个并行的调度后处理。根据图1可知，调度后处理a需处理完整图像甲的上部和完整图像乙的左上部，调度后处理b只需处理完整图像乙的右上部，调度后处理c需处理完整图像甲的下部和完整图像乙的左下部，调度后处理d只需处理完整图像乙的右下部，因此在进行高速串行总线调度时对调度后处理a、c需提供完整图像甲和完整图像乙的信号，而对调度后处理b、d只需至少提供完整图像乙即可，由各个调度后处理进行剪切；高速串行总线调度也可以根据各个调度后处理需处理的部分对完整图像甲和完整图像乙进行剪切后向各个调度后处理提供其需要处理的部分。

[0044] 每个调度后处理依次进行解高速串行、单屏图像处理和显示输出，其中的单屏图像处理对需在对应的拼接单元屏幕显示的图像进行图像缩放。以调度后处理a为例，如图7，其对应的拼接单元屏幕a需显示完整图像甲中的na幅子图像和完整图像乙中的ma幅子图像(na为不大于N的自然数，ma为不大于M的自然数)，其解高速串行和其单屏图像处理中的图像缩放均具有与完整图像甲中的na幅子图像分别对应的并行的na个和与完整图像乙中的ma幅子图像分别对应的并行的ma个。单屏图像处理对已经过图像缩放且同属于完整图像甲和同属于完整图像乙的各幅子图像分别进行图像拼接，对已经过图像拼接的分别对应于甲和乙的两幅图像进行图像叠加，再予以显示输出。如果只需显示完整图像甲而无需同时显示完整图像乙，则调度前处理可以省略图2中的调度前处理乙，调度后处理可以省略对乙的解高速串行、对乙的图像缩放和图像叠加(包括省略图7所示调度后处理a中的解高速串行a乙、图像缩放a乙和图像叠加a)。

[0045] 调度后处理c与调度后处理a类似，不赘述。调度后处理b、d与调度后处理a省略对甲的解高速串行、对甲的图像缩放和图像叠加后类似，也不赘述。

[0046] 表述数量时，本文所述的“多”是指大于等于二，例如“多个”是指大于等于两个，“多幅”是指大于等于两幅，等等。

[0047] 本文提及的方法中的全部或部分步骤可以通过计算机程序指令控制计算机系统来完成，计算机程序指令存储在计算机可读存储介质中。