本发明涉及一种基于国产处理器的多源视频采集切换和显示系统和方法，属于视频显示领域。本发明包括视频板、网络交换机和状态控制板，视频板连接到网络交换机，第n+1块视频板接大屏，其余0～n块视频板完成视频采集和编码功能，第n+1块视频板与状态控制板之间通过UART串口通信获取显示模式和需要显示的视频流信息；网络交换机完成千兆网络交换功能，所有视频板编码成的网络视频流以及其它需要显示的网络视频流均接入网络交换机实现视频流的快速切换；状态控制板采集按键信息，获取显示模式和需显示视频源信息后，通过UART将控制命令发送给视频板，同时接收视频板的状态信息并通过另一个UART显示在状态显示屏上。本发明满足了现代信息化作战系统需求。
1.一种基于国产处理器的多源视频采集切换和显示系统，其特征在于，该系统包括1块或多块视频板、网络交换机和状态控制板，
各个视频板之间完全独立，所有视频板通过1000Base‑T连接到网络交换机实现网络视频流的共享，第n+1块视频板接大屏，实现视频采集、解码和多窗口融合显示功能，其余0～n块视频板完成视频采集和编码功能，第n+1块视频板与状态控制板之间通过UART串口通信获取显示模式和需要显示的视频流信息；
网络交换机完成千兆网络交换功能，通过多通道PHY芯片实现多路1000Base‑T以太网接口，所有视频板编码成的网络视频流以及其它需要显示的网络视频流均接入网络交换机实现视频流的快速切换；
状态控制板采集按键信息，获取显示模式和需显示视频源信息后，通过UART将控制命令发送给视频板，同时接收视频板的状态信息并通过另一个UART显示在状态显示屏上；
当视频源不大于8路时，采用1块视频板，完成8路视频源采集，同时解码网络接口的网络视频流，按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示；当视频源大于8路时，则需要n+1块视频板，其中第0～n块视频板完成多路视频源采集并编码成网络视频流共享到网络交换机上，每个视频板完成8路，第n+1块视频板完成剩余路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后也是按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示。
2.如权利要求1所述的基于国产处理器的多源视频采集切换和显示系统，其特征在于，视频板以海思Hi3559国产处理器为核心，通过Hi3559丰富的外设接口实现各种接口。
3.如权利要求1所述的基于国产处理器的多源视频采集切换和显示系统，其特征在于，状态控制板为国产单片机兆易创新的GD32F407，具有多路GPIO口用于采集按键和多路UART用于通信。
4.如权利要求1所述的基于国产处理器的多源视频采集切换和显示系统，其特征在于，视频板软件与状态控制板软件通过UART进行通信，视频板软件包括硬件层、操作系统层、支撑层和应用层，应用层流程为：视频源通过VICAP和VIPROC组件采集后，输出给VPSS组件进行处理，同时视频流通过RTSP客户端接收待显示的视频流给视频解码模块VDEC进行解码，解码后视频数据输出给VPSS组件，最终VPSS组件将处理好的所有视频数据输出给视频输出VO的HDMI接口进行上屏显示。
5.一种基于如权利要求1‑4任一项所述的系统的基于国产处理器的多源视频采集切换和显示方法，其特征在于，该方法包括如下步骤：
S1、当视频源不大于8路时，1块基于国产处理器的视频板完成8路视频源采集，同时解码网络接口的网络视频流，按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示；当视频源大于8路时，采用n+1块视频板，其中第0～n块视频板完成多路视频源采集并编码成网络视频流共享到网络交换机上，每个视频板完成8路，第n+1块视频板完成剩余路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示；
S2、第n+1块视频板国产处理器通过UART与状态控制板的国产单片机进行通信，获取国产单片机采集到的显示模式和需要显示的视频源信息，并将视频板状态信息回复给国产单片机，国产单片机通过另一个UART将视频板状态信息显示在状态指示屏上；
S3、最后视频板国产处理器按照显示模式将指定的视频源显示到指定位置并通过HDMI接口上屏显示。
6.如权利要求5所述的基于国产处理器的多源视频采集切换和显示方法，其特征在于，当视频源不大于8路时，1块视频板对视频源进行采集，即通过捕获子模块VICAP 和处理子模块VIPROC进行处理后输出给显示模块的VPSS组件。
7.如权利要求5所述的基于国产处理器的多源视频采集切换和显示方法，其特征在于，当视频源大于8路1080P时，视频板软件的视频采集模块实时接收视频数据并存放到DDR，视频编码模块将DDR的视频数据通过VEDU编码器实现网络码流实时生成；视频板软件内部集成了rtsp客户端，rtsp客户端通过网络交换机接收网络码流，采用IO多路复用接收多路码流，rtsp客户端接收到多路码流后以多线程方式将每一路码流传送至VDEC解码器进行解码，后传入VPSS视频处理子系统，VPSS视频处理子系统缩放后直接传至VO视频输出模块的HDMI接口进行上屏显示。
8.如权利要求5所述的基于国产处理器的多源视频采集切换和显示方法，其特征在于，国产单片机以中断方式实时监测是否有按键按下，如果有按键按下，国产单片机将按键的控制命令发送给视频板国产处理器，国产处理器按照按键命令切换显示模式和视频源，国产单片机同时监测国产处理器的回复信息，当回复信息是周期信息或者状态信息时，更新状态指示屏的显示信息。
9.如权利要求5‑8任一项所述的基于国产处理器的多源视频采集切换和显示方法，其特征在于，当视频源为20路时，采用3块视频板，其中第1、2块视频板完成16路视频源采集并编码成网络视频流共享到网络交换机上，第3块视频板完成4路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后也是按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示。
基于国产处理器的多源视频采集切换和显示系统和方法
技术领域
[0001] 本发明属于视频显示领域，具体涉及一种基于国产处理器的多源视频采集切换和显示系统和方法。
背景技术
[0002] 当前信息化作战系统中，指挥员要同时观察战场态势、目标轨迹、作战数据演算、摄像头视频以及其他指挥中心的大屏图像等多源视频，而大多数指挥中心的大屏显示基于DVI矩阵进行接入和切换，扩展性差、定制性强、支持的视频源种类有限，无法满足多源视频的快速接入和扩展需求。
[0003] 近年来，由于网络技术的迅速发展和普及，基于网络的视频流编解码技术、多路网络视频切换和多窗口融合显示技术得到了快速发展和应用。迫切需要基于网络技术对指挥中心的多源视频切换和显示进行改进。
发明内容
[0004] (一)要解决的技术问题
[0005] 本发明要解决的技术问题是如何提供一种基于国产处理器的多源视频采集切换和显示系统和方法，以解决大多数指挥中心的大屏显示基于DVI矩阵进行接入和切换，扩展性差、定制性强、支持的视频源种类有限，无法满足多源视频的快速接入和扩展需求的问题。
[0006] (二)技术方案
[0007] 为了解决上述技术问题，本发明提出一种基于国产处理器的多源视频采集切换和显示系统，该系统包括1块或多块视频板、网络交换机和状态控制板，
[0008] 各个视频板之间完全独立，所有视频板通过1000Base‑T连接到网络交换机实现网络视频流的共享，第n+1块视频板接大屏，实现视频采集、解码和多窗口融合显示功能，其余0～n块视频板完成视频采集和编码功能，第n+1块视频板与状态控制板之间通过UART串口通信获取显示模式和需要显示的视频流信息；
[0009] 网络交换机完成千兆网络交换功能，通过多通道PHY芯片实现多路1000Base‑T以太网接口，所有视频板编码成的网络视频流以及其它需要显示的网络视频流均接入网络交换机实现视频流的快速切换；
[0010] 状态控制板采集按键信息，获取显示模式和需显示视频源信息后，通过UART将控制命令发送给视频板，同时接收视频板的状态信息并通过另一个UART显示在状态显示屏上。
[0011] 进一步地，当视频源不大于8路时，采用1块视频板，完成8路视频源采集，同时解码网络接口的网络视频流，按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示；当视频源大于8路时，则需要n+1块视频板，其中第0～n块视频板完成多路视频源采集并编码成网络视频流共享到网络交换机上，每个视频板完成8路，第n+1块视频板完成剩余路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后也是按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示。
[0012] 进一步地，视频板以海思Hi3559国产处理器为核心，通过Hi3559丰富的外设接口实现各种接口。
[0013] 进一步地，状态控制板以国产单片机兆易创新的GD32F407为主，具有多路GPIO口用于采集按键和多路UART用于通信。
[0014] 进一步地，视频板软件与状态控制板软件通过UART进行通信，视频板软件包括硬件层、操作系统层、支撑层和应用层，应用层流程为：视频源通过VICAP和VIPROC组件采集后，输出给VPSS组件进行处理，同时视频流通过RTSP客户端接收待显示的视频流给视频解码模块VDEC进行解码，解码后视频数据输出给VPSS组件，最终VPSS组件将处理好的所有视频数据输出给视频输出VO的HDMI接口进行上屏显示。
[0015] 本发明提供一种基于基于国产处理器的多源视频采集切换和显示方法，其特征在于，该方法包括如下步骤：
[0016] S1、当视频源不大于8路时，1块基于国产处理器的视频板完成8路视频源采集，同时解码网络接口的网络视频流，按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示；当视频源大于8路时，采用n+1块视频板，其中第0～n块视频板完成多路视频源采集并编码成网络视频流共享到网络交换机上，每个视频板完成8路，第n+1块视频板完成剩余路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示；
[0017] S2、第n+1块视频板国产处理器通过UART与状态控制板的国产单片机进行通信，获取国产单片机采集到的显示模式和需要显示的视频源信息，并将视频板状态信息回复给国产单片机，国产单片机通过另一个UART将视频板状态信息显示在状态指示屏上；
[0018] S3、最后视频板国产处理器按照显示模式将指定的视频源显示到指定位置并通过HDMI接口上屏显示。
[0019] 进一步地，当视频源不大于8路时，1块视频板对视频源进行采集，即通过捕获子模块VICAP和处理子模块VIPROC进行处理后输出给显示模块的VPSS组件。
[0020] 进一步地，当视频源大于8路1080P时，视频板软件的视频采集模块实时接收视频数据并存放到DDR，视频编码模块将DDR的视频数据通过VEDU编码器实现网络码流实时生成；视频板软件内部集成了rtsp客户端，rtsp客户端通过网络交换机接收网络码流，采用IO多路复用接收多路码流，rtsp客户端接收到多路码流后以多线程方式将每一路码流传送至VDEC解码器进行解码，后传入VPSS视频处理子系统，VPSS视频处理子系统缩放后直接传至V0视频输出模块的HDMI接口进行上屏显示。
[0021] 进一步地，国产单片机以中断方式实时监测是否有按键按下，如果有按键按下，国产单片机将按键的控制命令发送给视频板国产处理器，国产处理器按照按键命令切换显示模式和视频源，国产单片机同时监测国产处理器的回复信息，当回复信息是周期信息或者状态信息时，更新状态指示屏的显示信息。
[0022] 进一步地，当视频源为20路时，采用3块视频板，其中第1、2块视频板完成16路视频源采集并编码成网络视频流共享到网络交换机上，第3块视频板完成4路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后也是按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示。
[0023] (三)有益效果
[0024] 本发明提出一种基于国产处理器的多源视频采集切换和显示系统和方法，本发明以网络交换机为视频切换核心，视频编解码技术实现多源视频的快速接入，多窗口融合技术展示更多辅助决策信息，提供了一种扩展性强、接入灵活，支持视频源种类丰富的显示系统，满足了现代信息化作战系统需求，使指挥员对战场态势的把握更加准确，决策形成更加迅速。
附图说明
[0025] 图1为本发明基于国产处理器的多源视频采集切换和显示的技术方案。
[0026] 图2为本发明的软件总体框图；
[0027] 图3为本发明的应用软件流程图；
[0028] 图4为视频板软件和状态控制板软件交互流程图。
具体实施方式
[0029] 为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
[0030] 本发明涉及视频采集、网络视频编解码、视频处理、视频切换、融合显示技术领域，尤其涉及多源视频实时采集和解码，并进行多路视频处理、切换、多窗口融合显示技术。
[0031] 本发明所要解决的技术问题，就是针对现有方法的缺点，提供一种基于国产处理器的多源视频采集切换和显示系统和方法。本发明重点设计一个软硬件技术方案来实现该方法。
[0032] 本技术方案由1块或多块视频板、网络交换机和状态控制板构成，各个视频板之间完全独立，没有互连关系，所有视频板通过1000Base‑T连接到网络交换机实现网络视频流的共享，但只有第n+1块视频板接大屏，需要实现视频采集、解码和多窗口融合显示功能，其余0～n块视频板只需要完成视频采集和编码功能，第n+1块视频板与状态控制板之间通过UART串口通信获取显示模式和需要显示的视频流信息。技术方案原理框图见图1所示。
[0033] 视频板主要完成8路1080p视频采集、解码(编码)和多窗口融合显示功能，视频板既有编码功能也有解码功能，当视频源不大于8路时，需要1块视频板，主要完成8路视频源采集，同时解码网络接口的网络视频流，按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示。当视频源大于8路(假如20路)时，则需要3块视频板，其中第1、2块视频板完成16路视频源采集并编码成网络视频流共享到网络交换机上，第3块视频板完成4路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后也是按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示。视频板以海思Hi3559国产处理器为核心，通过Hi3559丰富的外设接口实现各种接口：
[0034] 1)内嵌2通道DDR4内存控制器，扩展DDR4颗粒，最大容量可达8GB；
[0035] 2)集成2个GMAC，支持RGMII/RMII接口，通过PHY芯片对外提供2路1000Base‑T网络接口，其中1路与网络交换机连接后实现网络视频流接入；
[0036] 3)支持HDMI2.0，最大支持4K@60fps输出，可直接显示输出给HDMI接口大屏；
[0037] 4)串行输入最大支持到16xLane(8*2lane)的8路1080P MIPI/LVDS接口，通过ADV7482等视频接口芯片完成DVI接口到MIPI接口的转换，若视频源接口不是DVI，只需更换视频接口芯片即可，接入灵活；
[0038] 5)支持5个UART接口，通过其中1个UART接口与状态控制板通信实现显示模式和需要显示的视频源信息获取和视频板状态的回复。
[0039] 网络交换机主要完成千兆网络交换功能，通过多通道PHY芯片实现12路1000Base‑T以太网接口，其中2路通过电转光模块，实现2路光纤接口，所有视频板编码成的网络视频流以及其它需要显示的网络视频流均接入网络交换机实现视频流的快速切换。
[0040] 状态控制板主要采集按键信息，获取显示模式和需显示视频源信息后，通过UART将控制命令发送给视频板，同时接收视频板的状态信息并通过另一个UART显示在状态显示屏上。状态控制板以国产单片机兆易创新的GD32F407为主，具有多路GPIO口用于采集按键和多路UART用于通信。
[0041] 本技术方案在软件上包括视频板软件和状态控制板软件，视频板软件和状态控制板软件总体框图见图2所示。视频板软件与状态控制板软件通过UART进行通信，视频板软件包括硬件层、操作系统层、支撑层和应用层：
[0042] ·硬件层：由海思处理器Hi3559加上必要的外围器件构成。外围芯片包括Flash、DDR、视频接口芯片、音频接口芯片、网络PHY等；
[0043] ·操作系统层：运行Linux操作系统和引导固件；
[0044] ·支撑层包含媒体处理平台和外围驱动：
[0045] ·媒体处理平台：屏蔽操作系统差异，支持媒体处理平台运行在Linux操作系统上，控制芯片完成相应的媒体处理功能。它对应用层屏蔽了硬件处理细节，并为应用层提供API接口完成相应功能，VICAP、VIPROC、VEDU、VDEC、VPSS、VO是MPP(media process platform)——媒体处理平台的组件；
[0046] ·外围驱动：除媒体软件处理平台外，为国产处理器的其他相关硬件处理单元提供相应的驱动；
[0047] ·应用层：基于媒体软件处理平台及外围驱动，由用户开发的应用软件系统，包括视频采集模块、视频编码模块、rtsp客户端、视频解码模块和显示模块，其应用层流程图见图3所示。视频源通过VICAP和VIPROC组件采集后，输出给VPSS组件进行处理，同时视频流通过RTSP客户端接收待显示的视频流给视频解码模块进行解码，解码后视频数据输出给VPSS组件，最终VPSS组件将处理好的所有视频数据输出给VO的HDMI接口进行上屏显示。
[0048] 状态控制板软件主要完成状态控制功能，通过按键触中断，向视频板软件发送显示模式切换和视频源切换等控制命令。
[0049] 本发明解决所述技术问题采用的技术方案包括以下步骤：
[0050] S1、当视频源不大于8路时，需要1块基于海思Hi3559国产处理器的视频板，主要完成8路视频源采集，同时解码网络接口的网络视频流，按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示。当视频源大于8路(假如20路)时，则需要n+1块视频板，其中第0～n块视频板完成多路视频源采集并编码成网络视频流共享到网络交换机上，每个视频板完成8路，第n+1块视频板完成剩余路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后也是按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示，这样就解决了多源、多路和切换问题，利于快速接入、扩展系统，该方案每块视频板支持8路1080P的MIPI/LVDS串行接口的视频输入采集，多路1080P网络视频流进入国产处理器进行解码处理。例如当视频源大于8路(假如20路)时，则需要3块视频板，其中第1、2块视频板完成16路视频源采集并编码成网络视频流共享到网络交换机上，第3块视频板完成4路视频源采集，同时解码网络交换机中需要显示的网络视频流，最后也是按照UART收到的显示模式和需要显示的视频源进行多窗口融合显示，这样就解决了多源、多路和切换问题，利于快速接入、扩展系统，该方案每块视频板支持8路1080P的MIPI/LVDS串行接口的视频输入采集，
16路1080P网络视频流进入国产处理器进行解码处理；
[0051] S2、第n+1块视频板国产处理器通过UART与状态控制板的国产单片机进行通信，获取国产单片机采集到的显示模式(单屏、4分屏或多分屏)和需要显示的视频源等按键信息，并将视频板状态信息回复给国产单片机，国产单片机通过另一个UART将视频板状态信息显示在状态指示屏上；
[0052] S3、最后视频板国产处理器按照显示模式将指定的视频源显示到指定位置并通过HDMI接口上屏显示。
[0053] 本发明的关键点在于：
[0054] ①完成多路视频源采集和编码：当视频源不大于8路时，只需配置1块视频板对视频源进行采集，即通过捕获子模块VICAP和处理子模块VIPROC进行处理后输出给显示模块的VPSS组件；当视频源大于8路1080P时，需要配置多块视频板(每块视频板支持最多8路1080P视频源)对视频源进行采集、编码成网络视频流给网络交换机，由于网络的普遍性，这样就解决了多源、多路和切换问题，通过网络实现了快速接入、扩展系统。实现方法上主要通过视频板软件的视频采集模块和视频编码模块来实现，视频采集模块负责实时接收视频数据并存放到DDR，视频编码模块负责将DDR的视频数据通过VEDU编码器实现网络码流实时生成。
[0055] ②解码需上屏显示的视频流：如图3所示，视频板软件内部集成了rtsp客户端，rtsp客户端通过网络交换机接收网络码流，rtsp协议本身是基于TCP/UDP传输数据,因为多路视频流来自不同的网络地址所以需要IO多路复用接收多路码流，rtsp客户端接收到多路码流后以多线程方式将每一路码流传送至VDEC(解码器)进行解码(未在屏幕上显示的码流对应的线程处于暂停状态)，后传入VPSS(视频处理子系统)模块。
[0056] ③视频板国产处理器通过UART获取状态控制板国产单片机采集到的显示模式(单屏、4分屏或多分屏)和需上屏显示的视频源等按键信息，同时视频板将状态信息通过UART反馈给状态控制板，视频板软件和状态控制板软件交互流程图见图4所示，国产单片机以中断方式实时监测是否有按键按下，如果有按键按下，国产单片机将按键的控制命令发送给视频板国产处理器，国产处理器按照按键命令切换显示模式和视频源，国产单片机同时监测国产处理器的回复信息，当回复信息是周期信息或者状态信息时，更新状态指示屏的显示信息；
[0057] ④最后视频板国产处理器将采集的和网络流解码完成后的视频按照显示模式将指定的视频源通过VPSS(视频处理子系统)缩放后直接传至V0(视频输出)的HDMI接口进行上屏显示。
[0058] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
