一种画面合成方法、装置、电子设备及存储介质

摘要

本申请实施例提供了一种画面合成方法、装置、电子设备及存储介质，该方法包括：获取多个显示窗口分别对应的多路图像数据，多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个显示窗口具有预设的大小和位置；根据多个显示窗口各自的大小和位置，对多路图像数据进行拼接，形成待显示的合成画面数据；通过指定输出视频层向显示端输出合成画面数据；从指定输出视频层中获取合成画面数据。在本申请实施例的画面合成方法中，从输出视频层中获取合成画面数据，不需要重新生成一路合成画面，减少因额外生成一路合成画面而造成的处理资源的消耗，能够方便的获取合成画面的图像数据，处理资源的消耗少。

权利要求

1.一种画面合成方法，其特征在于，包括：

获取多个显示窗口分别对应的多路图像数据，所述多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个所述显示窗口具有预设的大小和位置；

根据所述多个显示窗口各自的大小和位置，对所述多路图像数据进行拼接，形成待显示的合成画面数据；

通过指定输出视频层向显示端输出所述合成画面数据；

在所述指定输出视频层输出所述合成画面数据之前或者正在输出的过程中，保持从所述指定输出视频层中获取所述合成画面数据的当前待输出的视频帧，其中，所述当前待输出的视频帧包括所述多路图像数据中的多个视频帧；按照所述当前待输出的视频帧的时间戳，判断是否已经获取过相同时间戳的视频帧；若未获取过相同时间戳的视频帧，将所述当前待输出的视频帧进行编码；得到能够进行单独保存的合成画面数据。

2.根据权利要求1所述的方法，其特征在于，所述获取多个显示窗口分别对应的多路图像数据，包括：确定所述多个显示窗口分别对应的多个信号源通道，其中所述信号源通道至少包括：模拟信号通道和/或数字信号通道和/或网络信号通道；

从所述多个信号源通道分别获取所述多个显示窗口分别对应的多路图像数据。

3.根据权利要求2所述的方法，其特征在于，在所述获取多个显示窗口分别对应的多路图像数据之后，所述方法还包括：对所述多路图像数据进行数据处理；

针对所述多路图像数据中通过所述模拟信号通道获取的图像数据，所述数据处理至少包括以下处理方式中的一种或多种：模数信号转换、图像去噪、图像增强；

针对所述多路图像数据中通过所述数字信号通道和/或所述网络信号通道获取的图像数据，所述数据处理至少包括以下处理方式中的一种或多种：数据解析、数据格式转化、数据解码；

所述根据所述多个显示窗口各自的大小和位置，对所述多路图像数据进行拼接，包括：根据所述各个显示窗口各自的大小和位置，对经过数据处理后的多路图像数据进行拼接。

4.根据权利要求1所述的方法，其特征在于，所述根据所述多个显示窗口各自的大小和位置，对所述多路图像数据进行拼接，包括：针对所述多个显示窗口中的每一个显示窗口，将该显示窗口对应的图像数据，按该显示窗口的大小进行缩放；

按该显示窗口的位置，将缩放后的图像数据拼接至所述合成画面数据中相应的位置。

5.根据权利要求1所述的方法，其特征在于，所述通过指定输出视频层向显示端输出所述合成画面数据，包括：当所述合成画面数据为亮度和色差信号YUV格式的合成画面数据时，将所述YUV格式的合成画面数据转换为红绿蓝颜色表示法RGB格式的合成画面数据；

通过指定输出视频层向显示端输出所述RGB格式的合成画面数据；

所述从所述指定输出视频层中获取所述合成画面数据，包括：从所述指定输出视频层中获取所述YUV格式的合成画面数据。

6.一种画面合成装置，其特征在于，包括：

获取模块，用于获取多个显示窗口分别对应的多路图像数据，所述多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个所述显示窗口具有预设的大小和位置；

拼接模块，用于根据所述多个显示窗口各自的大小和位置，对所述多路图像数据进行拼接，形成待显示的合成画面数据；

输出模块，用于通过指定输出视频层向显示端输出所述合成画面数据；

合成画面获取模块，用于在所述指定输出视频层输出所述合成画面数据之前或者正在输出的过程中，从所述指定输出视频层中获取所述合成画面数据，得到能够进行单独保存的合成画面数据，其中，所述合成画面获取模块，包括：视频帧获取子模块，用于保持从所述指定输出视频层中获取所述合成画面数据的当前待输出的视频帧，其中，所述当前待输出的视频帧包括所述多路图像数据中的多个视频帧；时间戳判断子模块，用于按照所述当前待输出的视频帧的时间戳，判断是否已经获取过相同时间戳的视频帧；视频帧编码子模块，用于若未获取过相同时间戳的视频帧，将所述当前待输出的视频帧进行编码。

7.根据权利要求6所述的装置，其特征在于，所述获取模块，具体用于：确定所述多个显示窗口分别对应的多个信号源通道，其中所述信号源通道至少包括：模拟信号通道和/或数字信号通道和/或网络信号通道；从所述多个信号源通道分别获取所述多个显示窗口分别对应的多路图像数据。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：处理模块，用于对所述多路图像数据进行数据处理；

针对所述多路图像数据中通过所述模拟信号通道获取的图像数据，所述数据处理至少包括以下处理方式中的一种或多种：模数信号转换、图像去噪、图像增强；

针对所述多路图像数据中通过所述数字信号通道和/或所述网络信号通道获取的图像数据，所述数据处理至少包括以下处理方式中的一种或多种：数据解析、数据格式转化、数据解码；

所述拼接模块，具体用于：

根据所述各个显示窗口各自的大小和位置，对经过数据处理后的多路图像数据进行拼接。

9.根据权利要求6所述的装置，其特征在于，所述拼接模块，具体用于：针对所述多个显示窗口中的每一个显示窗口，将该显示窗口对应的图像数据，按该显示窗口的大小进行缩放；按该显示窗口的位置，将缩放后的图像数据拼接至所述合成画面数据中相应的位置。

10.根据权利要求6所述的装置，其特征在于，所述输出模块包括：格式转换子模块，用于当所述合成画面数据为亮度和色差信号YUV格式的合成画面数据时，将所述YUV格式的合成画面数据转换为红绿蓝颜色表示法RGB格式的合成画面数据；

画面输出子模块，用于通过指定输出视频层向显示端输出所述RGB格式的合成画面数据；

所述合成画面获取模块，具体用于从所述指定输出视频层中获取所述YUV格式的合成画面数据。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1‑5任一所述的方法步骤。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1‑5任一所述的方法步骤。

说明书

一种画面合成方法、装置、电子设备及存储介质

技术领域

[0001] 本申请涉及图像处理技术领域，特别是涉及一种画面合成方法、装置、电子设备及存储介质。

背景技术

[0002] 在视频监控领域中，经常需要同时显示出多个监控位置的画面，例如，一栋建筑的多个位置处都安装有摄像头等监控设备。通过硬盘录像机等设备，可以同时获取多个位置所安装的摄像头所采集的图像数据。并采用分屏的方式，分别在多个分屏窗口中显示出多个不同的图像数据，将多个分屏窗口组成一个合成画面输出显示。然而，由于整体显示屏幕上多个显示窗口各自所显示的图像数据分别来自多个不同的信号源，例如，来自多个不同位置的摄像头，各显示窗口中的图像数据为互相独立的图像数据。所以，如果需要在硬盘录像机中提取并存储合成画面，就会十分困难。

[0003] 发明人在研究中发现，当需要在硬盘录像机本地提取及存储合成画面时，需要利用硬盘录像机中的处理资源，按照正在输出的合成画面的分屏信息，生成一路相同的合成画面，从而实现硬盘录像机本地提取及存储合成画面。但采用上述方法，需要消耗硬盘录像机大量的处理资源仿照正在输出的合成画面生成用于本地提取的合成画面，尤其是在硬盘录像机本身负载很高时，大大影响了硬盘录像机的性能，容易造成卡顿及黑屏等情况。

发明内容

[0004] 本申请实施例的目的在于提供一种画面合成方法、装置、电子设备及存储介质，能够实现减少处理资源的消耗。具体技术方案如下：

[0005] 第一方面，本申请实施例提供了一种画面合成方法，所述方法包括：

[0006] 获取多个显示窗口分别对应的多路图像数据，所述多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个所述显示窗口具有预设的大小和位置；

[0007] 根据所述多个显示窗口各自的大小和位置，对所述多路图像数据进行拼接，形成待显示的合成画面数据；

[0008] 通过指定输出视频层向显示端输出所述合成画面数据；

[0009] 从所述指定输出视频层中获取所述合成画面数据。

[0010] 可选的，所述获取多个显示窗口分别对应的多路图像数据，包括：

[0011] 确定所述多个显示窗口分别对应的多个信号源通道，其中所述信号源通道至少包括：模拟信号通道和/或数字信号通道和/或网络信号通道；

[0012] 从所述多个信号源通道分别获取所述多个显示窗口分别对应的多路图像数据。

[0013] 可选的，在所述获取多个显示窗口分别对应的多路图像数据之后，所述方法还包括：

[0014] 对所述多路图像数据进行数据处理；

[0015] 针对所述多路图像数据中通过所述模拟信号通道获取的图像数据，所述数据处理至少包括以下处理方式中的一种或多种：模数信号转换、图像去噪、图像增强；

[0016] 针对所述多路图像数据中通过所述数字信号通道和/或所述网络信号通道获取的图像数据，所述数据处理至少包括以下处理方式中的一种或多种：数据解析、数据格式转化、数据解码；

[0017] 所述根据所述多个显示窗口各自的大小和位置，对所述多路图像数据进行拼接，包括：

[0018] 根据所述各个显示窗口各自的大小和位置，对经过数据处理后的多路图像数据进行拼接。

[0019] 可选的，所述根据所述多个显示窗口各自的大小和位置，对所述多路图像数据进行拼接，包括：

[0020] 针对所述多个显示窗口中的每一个显示窗口，将该显示窗口对应的图像数据，按该显示窗口的大小进行缩放；

[0021] 按该显示窗口的位置，将缩放后的图像数据拼接至所述合成画面数据中相应的位置。

[0022] 可选的，所述通过指定输出视频层向显示端输出所述合成画面数据，包括：

[0023] 当所述合成画面数据为亮度和色差信号YUV格式的合成画面数据时，将所述YUV格式的合成画面数据转换为红绿蓝颜色表示法RGB格式的合成画面数据；

[0024] 通过指定输出视频层向显示端输出所述RGB格式的合成画面数据；

[0025] 所述从所述指定输出视频层中获取所述合成画面数据，包括：

[0026] 从所述指定输出视频层中获取所述YUV格式的合成画面数据。

[0027] 可选的，所述从所述指定输出视频层中获取所述合成画面数据，包括：

[0028] 保持从所述指定输出视频层中获取所述合成画面数据的当前待输出的视频帧；

[0029] 按照所述当前待输出的视频帧的时间戳，判断是否已经获取过相同时间戳的视频帧；

[0030] 若未获取过相同时间戳的视频帧，将所述当前待输出的视频帧进行编码。

[0031] 第二方面，本申请实施例提供了一种画面合成装置，包括：

[0032] 获取模块，用于获取多个显示窗口分别对应的多路图像数据，所述多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个所述显示窗口具有预设的大小和位置；

[0033] 拼接模块，用于根据所述多个显示窗口各自的大小和位置，对所述多路图像数据进行拼接，形成待显示的合成画面数据；

[0034] 输出模块，用于通过指定输出视频层向显示端输出所述合成画面数据；

[0035] 合成画面获取模块，用于从所述指定输出视频层中获取所述合成画面数据。

[0036] 可选的，所述获取模块，具体用于：

[0037] 确定所述多个显示窗口分别对应的多个信号源通道，其中所述信号源通道至少包括：模拟信号通道和/或数字信号通道和/或网络信号通道；从所述多个信号源通道分别获取所述多个显示窗口分别对应的多路图像数据。

[0038] 可选的，本申请实施例的画面合成装置还包括：

[0039] 处理模块，用于对所述多路图像数据进行数据处理；

[0040] 针对所述多路图像数据中通过所述模拟信号通道获取的图像数据，所述数据处理至少包括以下处理方式中的一种或多种：模数信号转换、图像去噪、图像增强；

[0041] 针对所述多路图像数据中通过所述数字信号通道和/或所述网络信号通道获取的图像数据，所述数据处理至少包括以下处理方式中的一种或多种：数据解析、数据格式转化、数据解码；

[0042] 所述拼接模块，具体用于：

[0043] 根据所述各个显示窗口各自的大小和位置，对经过数据处理后的多路图像数据进行拼接。

[0044] 可选的，所述拼接模块，具体用于：

[0045] 针对所述多个显示窗口中的每一个显示窗口，将该显示窗口对应的图像数据，按该显示窗口的大小进行缩放；按该显示窗口的位置，将缩放后的图像数据拼接至所述合成画面数据中相应的位置。

[0046] 可选的，所述输出模块包括：

[0047] 格式转换子模块，用于当所述合成画面数据为亮度和色差信号YUV格式的合成画面数据时，将所述YUV格式的合成画面数据转换为红绿蓝颜色表示法RGB格式的合成画面数据；

[0048] 画面输出子模块，用于通过指定输出视频层向显示端输出所述RGB格式的合成画面数据；

[0049] 所述合成画面获取模块，具体用于从所述指定输出视频层中获取所述YUV格式的合成画面数据。

[0050] 可选的，所述合成画面获取模块，包括：

[0051] 视频帧获取子模块，用于保持从所述指定输出视频层中获取所述合成画面数据的当前待输出的视频帧；

[0052] 时间戳判断子模块，用于按照所述当前待输出的视频帧的时间戳，判断是否已经获取过相同时间戳的视频帧；

[0053] 视频帧编码子模块，用于若未获取过相同时间戳的视频帧，将所述当前待输出的视频帧进行编码。

[0054] 第三方面，本申请实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

[0055] 存储器，用于存放计算机程序；

[0056] 处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的画面合成方法。

[0057] 第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的画面合成方法。

[0058] 本申请实施例提供的一种画面合成方法、装置、电子设备及存储介质，本申请实施例中，获取多个显示窗口分别对应的多路图像数据，多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个显示窗口具有预设的大小和位置；根据多个显示窗口各自的大小和位置，对多路图像数据进行拼接，形成待显示的合成画面数据；通过指定输出视频层向显示端输出合成画面数据；从指定输出视频层中获取合成画面数据。在本申请实施例中，从输出视频层中获取合成画面数据，不需要重新生成一路合成画面，减少因额外生成一路合成画面而造成的处理资源的消耗，能够方便的获取合成画面的图像数据，处理资源的消耗少。并且通过电子设备自身的软件及硬件就可以得到合成画面的图像数据，相比于引入FPGA(Field Programmable Gate Array，现场可编程门阵列)模块等其他的硬件设备，降低了成本。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

[0059] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0060] 图1为本申请实施例提供的画面合成方法的流程图；

[0061] 图2为本申请实施例提供的显示窗口的示意图；

[0062] 图3为本申请实施例提供的合成画面的示意图；

[0063] 图4为本申请实施例提供的画面合成装置的结构图；

[0064] 图5为本申请实施例提供的电子设备的结构图。

具体实施方式

[0065] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0066] 首先，对本申请实施例中的术语进行解释：

[0067] DSP(Digital Signal Processing)：也称数字信号处理器，是一种特别适合于进行数字信号处理运算的微处理器，其主要应用是实时快速地实现各种数字信号处理算法。

[0068] FPGA:(Field－Programmable Gate Array)，即现场可编程门阵列，它是作为专用集成电路领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。

[0069] YUV:一种颜色编码方法，Y"表示明亮度(Luma)，也就是灰阶值；而"U"和"V"表示的则是色度(Chroma)。

[0070] 画面拼接：当一幅显示画面有多个窗口组成时，需要用到画面拼接技术，我们将单个画面上各个独立的窗口称为通道，每个通道有自己的视频源，将这些通道组合在一个画面上就叫画面拼接。

[0071] IPC：IP(Internet Protocol，网络协议)Camera的缩写词，即网络摄像机。相比于传统的模拟摄像机它可以在前端就完成图像的采集并编码压缩成数字信号，从而可以直接接入网络交换及路由设备。

[0072] 视频层：DSP的视频输出模块，从内存相应位置读取视频数据送往视频层执行输出显示功能，视频层可以分为标清视频层和高清视频层。

[0073] 相关技术中，通过增加FPGA(Field Programmable Gate Array，现场可编程门阵列)模块，来新增加一个合成画面通道，并利用该新增的合成画面通道生成合成画面，从而对合成画面进行编码存储。或当需要在硬盘录像机本地提取及存储合成画面时，需要利用硬盘录像机中的处理资源，按照正在输出的合成画面的分屏信息，生成一路相同的合成画面，从而实现硬盘录像机本地提取及存储合成画面。但是增加FPGA模块增加了硬件成本，提高了获取合成画面的成本，并且由于FPGA模块的数据处理能力低于硬盘录像机的数据处理能力，会限制获取的合成画面的质量，例如在组成合成画面的码流路数较多时，会造成合成画面中部分码流对应的图像区域黑屏，或造成合成画面分辨率较低等。而利用硬盘录像机自身的处理资源，需要消耗大量的处理资源仿照正在输出的合成画面生成用于本地提取的合成画面，尤其是在硬盘录像机本身负载很高时，大大影响了硬盘录像机的性能，容易造成卡顿及黑屏等情况。

[0074] 有鉴于此，本申请实施例提供了一种画面合成方法，参见图1，该方法包括：

[0075] 步骤110，获取多个显示窗口分别对应的多路图像数据，多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个显示窗口具有预设的大小和位置。

[0076] 本申请实施例可以应用于电子设备，电子设备可以是计算机、服务器等设备，由于本申请实施例主要可以应用于监控系统中，所以优选的，电子设备可以为NVR(Network Video Recorder，网络硬盘录像机)、DVR(Digital Video Recorder，数字视频录像机)、监控服务器等。

[0077] 电子设备一般可以连接有显示屏幕，例如，DVR等设备可以具有显示器，从而用户能够通过该显示器，对DVR所接收到的或者所保存的图像数据进行本地预览。

[0078] 通过对电子设备进行相关的配置，可以使得显示屏幕进行分屏显示，例如，可以将整个屏幕划分为4分屏、6分屏、9分屏等。并且其中一个或多个分屏区域可以组成一个显示窗口。例如，参见图2，图2中，整个屏幕被设置为9分屏。即整个屏幕被划分为9个分屏显示区域。其中显示窗口201由4个分屏区域构成，剩余的显示窗口202至显示窗口206，各自均为1个分屏显示区域构成。其中每一个显示窗口可以显示一路图像数据。即在图2所示的显示屏幕中，一共可以显示6路的图像数据。

[0079] 显示屏幕中的每一个显示窗口的大小和位置，可以预先进行设置。所以在本申请实施例中，在步骤110，获取多个显示窗口分别对应的多路图像数据之前。本申请实施例提供的画面合成方法中，还可以包括：

[0080] 步骤100，确定多个显示窗口的大小和位置。

[0081] 具体的，用户可以通过手动选择或控制的方式，对显示屏幕中的多个分屏区域进行选择和组合，从而确定出显示窗口在显示屏幕上的排布方式。例如，可以如图2所示，将连接在一起的4个分屏区域确定为一个显示窗口。另外的多个分屏区域，分别作为一个显示窗口。

[0082] 或者，电子设备中也可以预先设置好多种显示规则，每一种显示规则，对应着一种显示窗口的排布方式。电子设备可以根据预设的显示规则，自动确定出对应的显示窗口的排布方式。

[0083] 当确定出显示窗口的排布方式之后，电子设备就可以确定出每一个显示窗口的大小和位置。其中显示窗口的大小是指显示窗口的尺寸，一般可以用像素来表示，例如可以为800×600等等。显示窗口的位置是指每一个显示窗口在显示屏幕中的相对位置。

[0084] 每一个显示窗口中，将会显示一路的图像数据，多个显示窗口可以同时显示多路的图像数据。所以，当电子设备确定出了多个显示窗口之后。电子设备就可以获取每一个显示窗口分别对应的一路图像数据。

[0085] 电子设备可以通过多种方式获取多个显示窗口分别对应的多路图像数据。例如，电子设备可以为DVR，从而可以通过网线，从所连接的IPC(IP Camera，网络摄像机)获取IPC所拍摄的图像数据。也可以同时通过视频线或数据线，从所连接的模拟摄像机获取该模拟摄像机所拍摄的图像数据。或者，还可以通过数据线等方式，或者所连接的其他电子设备，例如电脑、移动硬盘等设备中所保存的图像数据。

[0086] 具体的，在本申请实施例中，步骤110，获取多个显示窗口分别对应的多路图像数据，可以包括：

[0087] 步骤111，确定多个显示窗口分别对应的多个信号源通道，其中信号源通道至少包括：模拟信号通道和/或数字信号通道和/或网络信号通道。

[0088] 步骤112，从多个信号源通道分别获取多个显示窗口分别对应的多路图像数据。

[0089] 每一个显示窗口可以对应一个信号源通道，该信号源通道会接收到相应的图像数据。例如，在DVR设备中，不同的输入接口，可以为不同的信号源通道。针对每一个显示窗口，可以确定出该显示窗口相应的信号源通道。例如，用户可以设置每一个显示窗口，显示哪一个摄像机所拍摄的视频图像。由于不同的摄像机对应不同的信号源通道，从而可以确定出每一个显示窗口对应的信号源通道。

[0090] 信号源通道可以具有多种形式，其中，模拟信号通道用于接收模拟信号类型的图像数据，例如，模拟信号通道可以通过相应的接口连接至模拟摄像机。数字信号通道可以用于接收数字信号格式的图像数据，例如，可以通过相应的接口连接至数字摄像机等设备。网络信号通道可以用于接收网络信号格式的图像数据，例如，可以通过相应的接口连接至IPC等设备。当然在实际应用中，还可以包括其他类型的信号源通道，在此不再赘述。

[0091] 在获取具体的图像数据时，电子设备可以通过每个显示窗口分别对应的信号源通道，获取该信号源通道中所传输及处理的图像数据。

[0092] 在本申请实施例中，电子设备可以同时和多个模拟摄像机以及多个IPC等相连接。电子设备可以同时获取多路不同类型的信号源通道中的图像数据。例如，图2中的显示窗口
201，可以对应一个模拟信号通道，即该显示窗口201中最终所显示的图像数据为该模拟信号通道对应的模拟摄像机所拍摄的视频画面；显示窗口202至显示窗口206，分别对应不同的网络信号通道，从而该显示窗口中最终所显示的图像数据为，不同的IPC所拍摄的视频画面。

[0093] 步骤120，根据多个显示窗口各自的大小和位置，对多路图像数据进行拼接，形成待显示的合成画面数据。

[0094] 由于多个显示窗口各自的大小和位置，实际上反应了最终所显示的合成画面中的各个子画面的大小和位置。而各个子画面即为各个显示窗口各自所显示的图像数据。

[0095] 所以，电子设备在获取了多个显示窗口分别对应的多路图像数据之后，就可以根据已知的各个显示窗口大小和位置，对多路的图像数据进行拼接。从而可以形成完整的待显示的合成画面数据。将该合成画面数据在显示屏幕上进行显示，就可以在显示屏幕中直接显示出完整的合成画面，而不是一个一个相互独立的子画面。

[0096] 具体的，为了能够更加准确的实现对多路图像数据进行拼接，在本申请实施例中，步骤120中的，根据多个显示窗口各自的大小和位置，对多路图像数据进行拼接，可以包括：

[0097] 第一步，针对多个显示窗口中的每一个显示窗口，将该显示窗口对应的图像数据，按该显示窗口的大小进行缩放。

[0098] 每一个显示窗口具有固定的大小，例如，可以为640×480或者更小。图像数据一般可以为一帧或多帧的视频图像，从而可以将该图像数据进行缩放。形成与相应的显示窗口同样大小的图像数据。

[0099] 第二步，按该显示窗口的位置，将缩放后的图像数据拼接至合成画面数据中相应的位置。

[0100] 当对图像数据完成缩放后，就可以按显示窗口的位置，将缩放后的图像数据进行拼接。

[0101] 例如，各个显示窗口的大小和位置如图2所示。其中，各个显示窗口对应的图像数据进行缩放后，可以得到与显示窗口大小相同的图像数据。如，每一个显示窗口对应的图像数据为一帧视频图像，缩放后可以得到对应每一个显示窗口的一帧视频图像。然后按照各个显示窗口的位置，对每一帧视频图像进行拼接，从而可以得到图3所示的合成画面。图3中子画面301与显示窗口201大小及位置相同，子画面302至子画面306的大小和位置，分别与显示窗口202至显示窗口206相同。从而当整体的合成画面显示在显示屏幕上时，则可以与各个显示窗口完全对应。当完成对多路视频图像的拼接后，就可以得到合成画面数据，例如该合成画面数据可以是一帧合成画面。

[0102] 步骤130，通过指定输出视频层向显示端输出合成画面数据。

[0103] 得到合成画面数据之后，就可以通过对应的视频层(指定输出视频层)将该合成画面数据输出到显示端，例如，将合成画面数据传输到对应的标清视频层显示窗口，通过该标清视频层输出合成画面数据到显示端进行显示。

[0104] DVR或者NVR等设备中所采用的DSP具有视频层。该视频层为DSP的视频输出模块，该输出模块能够从内存相应位置读取图像数据或者合成画面数据送往视频层执行输出显示功能，视频层可以分为标清视频层和高清视频层等多个视频层。在本申请实施例中，采用标清视频层为例进行描述。

[0105] DVR或者NVR等设备中的DSP可以通过相应的视频或图像处理模块和输出模块，完成对多路图像数据进行拼接，从而得到合成画面数据。然后DSP就可以将该合成画面数据输出至标清视频层，并在该标清视频层完成对合成画面数据的显示。

[0106] 步骤140，从指定输出视频层中获取合成画面数据。

[0107] 在指定输出视频层输出合成画面数据之前或者正在输出的过程中，可以直接从该指定输出视频层中对该合成画面数据进行提取，从而得到能够进行单独保存的合成画面数据。具体的，提取的方法可以是对该合成画面数据进行复制，从而得到所要提取的合成画面数据。例如，当合成画面数据输出至标清视频层之后，就可以从该标清视频层中提取出合成画面数据。例如，将输出至视频层的合成画面数据进行复制，并输出至内存或硬盘等其他预设存储位置，从而实现对合成画面数据的提取。

[0108] 由于上述步骤中的过程不断的进行，即可以不断的获取连续的多个显示窗口分别对应的多路图像数据，并进行拼接，然后形成合成画面数据，并进行显示。在显示屏幕中显示出连续不断的视频图像。所以，也可以对合成画面数据进行持续的提取，即所提取的合成画面数据可以为数据流的形式。

[0109] 所得到的合成画面数据中由于包含了多个显示窗口分别对应的多个图像数据。当用户对该合成画面数据进行播放或显示时，可以同步的观看到多个显示窗口中所分别显示的图像数据。

[0110] 在本申请实施例中，从输出视频层中获取合成画面数据，不需要重新生成一路合成画面，减少因额外生成一路合成画面而造成的处理资源的消耗，能够方便的获取合成画面的图像数据，处理资源的消耗少，从而能够减少卡顿及黑屏等情况。并且通过电子设备自身的软件及硬件就可以得到合成画面的图像数据，相比于引入FPGA模块等其他的硬件设备，降低了成本，相比于FPGA模块，能够增加获取的合成画面的质量。

[0111] 本申请实施例在实际应用时，所获取的多路图像数据可以为YUV(Luma  And Chroma，亮度和色差信号)，从而进行拼接所得到的合成画面数据同样可以为YUV格式的数据。而YUV格式的数据直接在显示屏幕中进行显示时，期限是效果并不理想。所以，在本申请实施例中，可选的，上述步骤130，通过指定输出视频层向显示端输出所述合成画面数据，包括：

[0112] 步骤131，当合成画面数据为亮度和色差信号YUV格式的合成画面数据时，将YUV格式的合成画面数据转换为RGB(Red Green Blue，红绿蓝颜色表示法)格式的合成画面数据。

[0113] 通过指定输出视频层将YUV格式的合成画面数据转换为RGB格式的合成画面数据。

[0114] 步骤132，通过指定输出视频层向显示端输出RGB格式的合成画面数据。

[0115] 上述步骤140，从指定输出视频层中获取合成画面数据，包括：

[0116] 从指定输出视频层中获取YUV格式的合成画面数据。

[0117] 在得到了YUV格式的合成画面数据之后，可以通过指定输出视频层对其进行转化，将YUV格式的合成画面数据转换为RGB格式的合成画面数据。然后再将该RGB格式的合成画面数据输出进行显示，并且在显示之前，还可以对YUV格式的合成画面数据进行提取。

[0118] 在本申请实施例提供的画面合成方法可以应用于DVR或者NVR等设备中。这些设备中可以采用DSP(Digital Signal Processing，数字信号处理器)对图像数据等进行处理。

[0119] 结合上述的实施例，在实际应用中，还可以电子设备所获取的多路图像数据进行进一步的处理，以使得能够对多路图像数据进行更准确的拼接，并且提高所得到的合成画面数据的质量。所以，在本申请实施例中，在步骤110，获取多个显示窗口分别对应的多路图像数据之后，本申请实施例提供的画面合成方法还包括：

[0120] 步骤113，对多路图像数据进行数据处理。其中，针对多路图像数据中通过模拟信号通道获取的图像数据，数据处理至少包括以下处理方式中的一种或多种：模数信号转换、图像去噪、图像增强。

[0121] 针对多路图像数据中通过数字信号通道和/或网络信号通道获取的图像数据，数据处理至少包括以下处理方式中的一种或多种：数据解析、数据格式转化、数据解码。

[0122] 电子设备在获取了多路图像数据之后，可以根据不同类型的图像数据，进行不同的处理。例如，电子设备为DVR或NVR时，可以通过DSP芯片的VPSS(Video Process Sub‑System，视频前处理单元)视频处理模块，对各路的图像数据分别且具有针对性的进行处理。

[0123] 具体的，通过模拟信号通道获取的图像数据，可以为模拟信号形式的图像数据，例如可以为模拟相机所拍摄的图像数据。电子设备获取到该模拟信号形式的图像数据，可以对该图像数据进行模数信号转换，转化为数字信号。还可以对图像数据进行图像去噪，例如去除图像数据中的噪点，或者对模拟信号形式的图像数据进行滤波，从而去掉干扰等等。还可以对图像数据进行图像增强，从而提高最终该图像数据的显示质量。

[0124] 通过数字信号通道和/或网络信号通道获取的图像数据，可以为数字信号形式、或者为网络数据的形式。针对该类型的图像数据，可以对所获取的图像数据进行数据解析、数据格式转化、数据解码等操作。例如，IPC所发送的图像数据，可以过网络以网络数据的形式进行发送，所以当接收到该图像数据之后，可以首先对其进行解析，例如对图像数据封装格式解析，进行数据完整性校验；还可以对图像数据的格式进行转化，使得电子设备的内部硬件单元能够更好的进行识别；由于在传输过程中需要对IPC等摄像机所拍摄的图像数据进行编码，所以在获取到图像数据后，还可以对图像数据进行相应的解码，然后在执行后续的步骤。

[0125] 在本方申请实施例中，在完成了对多路图像数据的处理之后，相应的，步骤120，根据多个显示窗口各自的大小和位置，对多路图像数据进行拼接，包括：

[0126] 根据各个显示窗口各自的大小和位置，对经过数据处理后的多路图像数据进行拼接。

[0127] 电子设备在对各路图像数据分别完成处理后，就可以将经过数据处理后的多路图像数据，按各个分别对应的显示窗口大小和位置进行拼接。具体的过程，与上述实施例中的过程一致，不再赘述。

[0128] 结合上述的各个实施例，可选的，在本申请实施例提供的画面合成方法中，在上述步骤140，从指定输出视频层中获取合成画面数据之后，该方法还包括：

[0129] 步骤150，将所提取的合成画面数据进行编码。

[0130] 提取到合成画面数据之后，就可以对该合成画面数据进行编码，例如，可以采用H.264或H.265等各种编码方式进行编码，具体的，编码可以通过软件或硬件的方式进行，例如，可以采用DVR中的编码器进行合成画面数据的编码。

[0131] 由于合成画面数据的提取可以是一个连续的过程，即所提取的合成画面数据可以为数据流的形式，从而在编码的过程中，也是持续的对数据流进行编码。

[0132] 步骤160，保存或发送编码后的合成画面数据。

[0133] 对完成编码的合成画面数据，可以采用多种方式进行处理，例如，可以对已经编码后的合成画面数据进行本地保存，如在DVR中的本地硬盘中保存该编码后的合成画面数据。或者，还可以对编码后的合成画面数据进行打包或封装，然后通过网络或其他传输方式，对该编码后的合成画面数据进行发送，如，DVR可以将编码后的合成画面数据发送至监控服务器等其他设备中。

[0134] 在本申请实施例中，通过对提取的合成画面数据进行编码，然后能够将编码后的合成画面数据进行保存或发送，从而能够对合成画面数据进行进一步的利用，例如，可以远程的对合成画面数据进行查看及分析。

[0135] 结合上述的各个实施例，下面结合一个具体的应用场景，来对本申请实施例提供的画面合成方法的各个步骤进行描述。

[0136] 电子设备可以为DVR设备，该DVR设备可以连接有多个模拟摄像头和IPC。

[0137] 用户可以对DVR设备进行设置，在DVR的显示屏幕上的确定出多个显示窗口，并且确定出每一个显示窗口的大小和位置。

[0138] 然后通过用户设置，或者DVR根据内部程序预设的规则，确定出每一个显示窗口对应的信号源通道。例如，第一显示窗口将要用于显示区域A的图像，从而第一显示窗口对应于区域A所安装的摄像头所连接的信号源通道。

[0139] DVR可以通过各个信号源通道接收多路图像数据，多路图像数据中可以包括模拟信号类型的YUV格式的图像数据，以及数字信号或网络信号类型的YUV格式的图像数据。并且DVR在获取了多路图像数据之后，可以根据不同的图像数据类型，进行相应的处理，例如，模数转化、去噪、解析、解码等等。

[0140] 模拟摄像头和IPC通过相应的信号源通道向DVR传输的图像数据，可以为一帧一帧的视频图像，即DVR所获取的图像数据为一帧一帧的连续的视频图像。在实际应用中，DVR每获取一帧视频图像，就可以对该一帧视频图像进行相应的处理并执行后续的步骤。

[0141] 所以，当所获取的图像数据是一帧视频图像时。相应的，步骤120，对多路图像数据进行拼接，形成待显示的合成画面数据，可以包括：

[0142] 对多个视频图像进行拼接，形成待显示的一帧合成画面图像。

[0143] DVR可以同步的获取多个信号源通道中的多个多路图像数据，即可以同步的获取对应多个信号源通道的多个视频图像。每一个视频图像对会在对应的显示窗口中进行显示。所以，可以按上述实施例中的方法，按各个显示窗口各自的大小和位置，对多个视频图像进行拼接，从而能够形成待显示的一帧合成画面图像。例如，DVR中的DSP芯片的视频输出模块会将来自不同信号源通道的，并且按各个显示窗口的大小进行缩放的YUV格式的多个视频图像，拼接成一张704×576大小的YUV格式的合成画面图像。

[0144] 相应的，上述步骤140，从指定输出视频层中获取合成画面数据，包括：

[0145] 步骤141，保持从指定输出视频层中获取合成画面数据的当前待输出的视频帧。

[0146] 每得到一帧合成画面图像后，就可以将该合成画面图像进行输出，从而进行显示。例如，将该YUV格式的合成画面图像转成RGB格式的合成画面图像，并送往硬件显示模块完成标清视频层输出显示。并且，在将该一帧合成画面图像输出显示之前，或在输出显示的过程中，可以从指定输出视频层中提取出该一帧合成画面图像。

[0147] 由于DVR通过各个信号源通道可以连续的获取多路的一帧一帧的视频图像，并且每获取一帧视频图像，仅进行相应的处理，并进行拼接形成一帧合成画面图像。所以，形成合成画面图像的过程也是连续不断的，从而保证了在显示屏幕上所显示出的合成画面是动态的视频影像。相应的，对合成画面图像的提取也是连续不断的，即连续的提取出一帧一帧的合成画面图像。然后可以对该一帧一帧的合成画面图像进行编码，并进行保存和发送。

[0148] 步骤142，按照当前待输出的视频帧的时间戳，判断是否已经获取过相同时间戳的视频帧。

[0149] 因为图像输出频率可能与图像采集频率不同，且可能会存在输出延时的情况，所以指定输出视频层可能会连续输出两帧完全相同的视频帧。为了节约存储空间及处理资源，在已经获取过相同时间戳的视频帧时，不再获取及编码当前待输出的视频帧。

[0150] 可选的，上述步骤142，按照当前待输出的视频帧的时间戳，判断是否已经获取过相同时间戳的视频帧，包括：

[0151] 步骤1421，将本次所提取的一帧合成画面图像的第一时间戳与所上一次提取的一帧合成画面图像的第二时间戳进行比对。

[0152] 每一帧合成画面图像在生成时，都可以带有相应的时间戳，该时间戳可以是生成合成画面图像时的时间，也可以是该合成画面图像中所包含的各个视频图像所具有的时间戳等多种形式的时间戳，该时间戳可以用来区分不同的合成画面图像。

[0153] 所以，当提取出了一帧合成画面图像之后，就可以获取该合成画面图像的第一时间戳，然后可以和上一次所提取出的一帧合成画面图像的第二时间戳进行比对。从而判断是否发生了重复提取。

[0154] 步骤1421，若第一时间戳和第二时间戳不同，则判定未获取过相同时间戳的视频帧；若相同，则判定已经获取过相同时间戳的视频帧。

[0155] 若第一时间戳和第二时间戳不同，则表示本次提取的合成画面图像与上一次所提取的合成画面图像不同，没有发生重复提取，从而可以保存本次所提取的一帧合成画面图像。

[0156] 若第一时间戳和第二时间戳相同，则表示本次提取的合成画面图像与上一次所提取的合成画面图像为相同的图像。所以，可以舍弃本次所提取的合成画面图像。从而避免了保存重复的合成画面图像，节省了资源。

[0157] 步骤143，若未获取过相同时间戳的视频帧，将所述当前待输出的视频帧进行编码。

[0158] 参见图4，图4为本申请实施例提供的画面合成装置的结构图，其中包括：

[0159] 获取模块401，用于获取多个显示窗口分别对应的多路图像数据，上述多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个上述显示窗口具有预设的大小和位置；

[0160] 拼接模块402，用于根据上述多个显示窗口各自的大小和位置，对上述多路图像数据进行拼接，形成待显示的合成画面数据；

[0161] 输出模块403，用于通过指定输出视频层向显示端输出上述合成画面数据；

[0162] 合成画面获取模块404，用于从上述指定输出视频层中获取上述合成画面数据。

[0163] 在本申请实施例中，从输出视频层中获取合成画面数据，通过电子设备自身的软件及硬件就可以得到合成画面的图像数据，不需要引入FPGA模块等其他的硬件设备，降低了成本。并且由于合成画面是通过硬盘录像机等设备自身的软件及硬件得到的，相比于FPGA模块，能够增加获取的合成画面的质量。不需要重新生成一路合成画面，减少因额外生成一路合成画面而造成的处理资源的消耗，能够方便的获取合成画面的图像数据，处理资源的消耗少，从而能够减少卡顿及黑屏等情况。

[0164] 可选的，在本申请实施例提供的画面合成装置中，上述装置还包括：

[0165] 设置模块，用于确定多个显示窗口的大小和位置。

[0166] 可选的，在本申请实施例提供的画面合成装置中，上述获取模块401，具体用于：

[0167] 确定上述多个显示窗口分别对应的多个信号源通道，其中上述信号源通道至少包括：模拟信号通道和/或数字信号通道和/或网络信号通道；从上述多个信号源通道分别获取上述多个显示窗口分别对应的多路图像数据。

[0168] 可选的，在本申请实施例提供的画面合成装置中，上述装置还包括：

[0169] 处理模块，用于对上述多路图像数据进行数据处理；

[0170] 针对上述多路图像数据中通过上述模拟信号通道获取的图像数据，上述数据处理至少包括以下处理方式中的一种或多种：模数信号转换、图像去噪、图像增强；

[0171] 针对上述多路图像数据中通过上述数字信号通道和/或上述网络信号通道获取的图像数据，上述数据处理至少包括以下处理方式中的一种或多种：数据解析、数据格式转化、数据解码；

[0172] 上述拼接模块402，具体用于：

[0173] 根据上述各个显示窗口各自的大小和位置，对经过数据处理后的多路图像数据进行拼接。

[0174] 可选的，在本申请实施例提供的画面合成装置中，上述拼接模块402，具体用于：

[0175] 针对上述多个显示窗口中的每一个显示窗口，将该显示窗口对应的图像数据，按该显示窗口的大小进行缩放；按该显示窗口的位置，将缩放后的图像数据拼接至上述合成画面数据中相应的位置。

[0176] 可选的，上述输出模块403包括：

[0177] 格式转换子模块，用于当上述合成画面数据为亮度和色差信号YUV格式的合成画面数据时，将上述YUV格式的合成画面数据转换为红绿蓝颜色表示法RGB格式的合成画面数据；

[0178] 画面输出子模块，用于通过指定输出视频层向显示端输出上述RGB格式的合成画面数据；

[0179] 上述合成画面获取模块404，具体用于从上述指定输出视频层中获取上述YUV格式的合成画面数据。

[0180] 可选的，上述合成画面获取模块404，包括：

[0181] 视频帧获取子模块，用于保持从上述指定输出视频层中获取上述合成画面数据的当前待输出的视频帧；

[0182] 时间戳判断子模块，用于按照上述当前待输出的视频帧的时间戳，判断是否已经获取过相同时间戳的视频帧；

[0183] 视频帧编码子模块，用于若未获取过相同时间戳的视频帧，将上述当前待输出的视频帧进行编码。

[0184] 可选的，在本申请实施例提供的画面合成装置中，所述装置还包括：

[0185] 存储及发送模块，用于将所提取的所述合成画面数据进行编码；保存或发送编码后的合成画面数据。

[0186] 本申请实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，

[0187] 存储器503，用于存放计算机程序；

[0188] 处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：

[0189] 获取多个显示窗口分别对应的多路图像数据，上述多个显示窗口为显示屏幕中预设的多个显示窗口或多个显示位置，每一个上述显示窗口具有预设的大小和位置；

[0190] 根据上述多个显示窗口各自的大小和位置，对上述多路图像数据进行拼接，形成待显示的合成画面数据；

[0191] 通过指定输出视频层向显示端输出上述合成画面数据；

[0192] 从上述指定输出视频层中获取上述合成画面数据。

[0193] 可选的，上述处理器501，用于执行存储器503上所存放的程序时，还可以实现上述任一画面合成方法。

[0194] 上述电子设备提到的通信总线可以是PCI(Peripheral  Component Interconnect，外设部件互连标准)总线或EISA(Extended Industry  Standard Architecture，扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

[0195] 通信接口用于上述电子设备与其他设备之间的通信。

[0196] 存储器可以包括RAM(Random Access Memory，随机存取存储器)，也可以包括NVM(Non‑Volatile Memory，非易失性存储器)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

[0197] 上述的处理器可以是通用处理器，包括CPU(Central Processing Unit，中央处理器)、NP(Network Processor，网络处理器)等；还可以是DSP(Digital Signal Processor，数字信号处理器)、ASIC(Application Specific Integrated Circuit，专用集成电路)、FPGA(Field‑Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

[0198] 在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的画面合成方法。

[0199] 在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的画面合成方法。

[0200] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程设备。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

[0201] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

[0202] 本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

[0203] 以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。