视频帧处理方法、装置、存储介质及电子设备转让专利
申请号 : CN202110564498.4
文献号 : CN113038273B
文献日 : 2021-08-10
发明人 : 孟照南 , 张帆 , 周达 , 管自新 , 张志强
申请人 : 湖北芯擎科技有限公司
摘要 :
权利要求 :
1.一种视频帧处理方法,其特征在于,应用于电子设备,所述电子设备包括第一拼接模组,所述第一拼接模组包括信号处理模块、与所述信号处理模块连接的多个图像处理模块、以及与所述多个图像处理模块连接的图像拼接模块,每个所述图像处理模块与对应第一显示像素接口连接,所述视频帧处理方法包括:获取拼接指令,所述拼接指令包括通过所述第一显示像素接口输入的视频帧的属性信息、以及拼接规则,不同所述第一显示像素接口用于输入不同路视频帧;
根据所述属性信息和所述拼接规则,确定每个所述图像处理模块对应的数据输出时序段和数据有效时序段,所述数据输出时序段指的是用于控制对应图像处理模块向所述图像拼接模块的数据传输的时段,所述数据有效时序段对应的是对应图像处理模块输出从对应第一显示像素接口处得到的行像素数据给所述图像拼接模块的时段;
根据所述数据输出时序段、所述数据有效时序段和所述信号处理模块,控制所述第一显示像素接口经由所述图像处理模块向所述图像拼接模块传输相应视频帧中的像素数据,包括:当所述信号处理模块中的第一计数器到达任意的所述数据输出时序段时,通过所述信号处理模块向相应图像处理模块发送输出指令;当接收到所述输出指令的所述图像处理模块中的第二计数器未到达相应数据有效时序段时,通过相应图像处理模块拉低所述第一显示像素接口的反压信号,以停止向相应图像处理模块传输相应视频帧;通过相应图像处理模块向所述图像拼接模块传输预设像素数据;
通过所述图像拼接模块对所述像素数据进行拼接。
2.根据权利要求1所述的视频帧处理方法,其特征在于,所述根据所述属性信息和所述拼接规则,确定每个所述图像处理模块对应的数据输出时序段和数据有效时序段,包括:根据所述属性信息和所述拼接规则,确定每路所述视频帧中像素数据的拼接坐标;
根据所述拼接坐标,确定每个所述图像处理模块对应的数据输出时序段和数据有效时序段。
3.根据权利要求1所述的视频帧处理方法,其特征在于,在通过所述信号处理模块向相应图像处理模块发送输出指令之后,还包括:当接收到所述输出指令的所述图像处理模块中的第二计数器到达相应数据有效时序段时,通过相应图像处理模块拉高相应第一显示像素接口的反压信号,以向相应图像处理模块传输相应视频帧;
将相应图像处理模块中接收到的所述视频帧中的像素数据,传输至所述图像拼接模块。
4.根据权利要求1所述的视频帧处理方法,其特征在于,在确定每个所述图像处理模块对应的数据输出时序段和数据有效时序段之后,还包括:当所述信号处理模块中的第一计数器未到达所述数据输出时序段时,通过所述信号处理模块向相应图像处理模块发送停止输出指令;
通过接收到所述停止输出指令的所述图像处理模块,检测相应第一显示像素接口传输的数据有效信号的状态;
当所述状态为无效状态时,通过接收到所述停止输出指令的所述图像处理模块拉高相应第一显示像素接口的反压信号;
当所述状态为有效状态时,通过接收到所述停止输出指令的所述图像处理模块拉低相应第一显示像素接口的反压信号。
5.根据权利要求1所述的视频帧处理方法,其特征在于,在通过所述图像拼接模块对所述像素数据进行拼接时,还包括:
通过所述信号处理模块生成所述像素数据对应的控制信号。
6.根据权利要求1‑5中任一项所述的视频帧处理方法,其特征在于,所述电子设备还包括第二拼接模组;所述信号处理模块和所述图像拼接模块,通过第二显示像素接口与所述第二拼接模组连接,所述视频帧处理方法还包括:通过所述第二拼接模组拉低所述第二显示像素接口的反压信号,以使所述第一拼接模组停止向所述第二拼接模组进行数据传输;或者,通过所述第二拼接模组拉高所述第二显示像素接口的反压信号,以使所述第一拼接模组向所述第二拼接模组进行数据传输。
7.一种视频帧处理装置,其特征在于,应用于电子设备,所述电子设备包括第一拼接模组,所述第一拼接模组包括信号处理模块、与所述信号处理模块连接的多个图像处理模块、以及与所述多个图像处理模块连接的图像拼接模块,每个所述图像处理模块与对应第一显示像素接口连接,所述视频帧处理装置包括:获取单元,用于获取拼接指令,所述拼接指令包括通过所述第一显示像素接口输入的视频帧的属性信息、以及拼接规则,不同所述第一显示像素接口用于输入不同路视频帧;
确定单元,用于根据所述属性信息和所述拼接规则,确定每个所述第一显示像素接口的数据输入时序段、每个所述图像处理模块的数据输出时序段、以及每个所述数据输出时序段中的数据有效时序段,所述数据输出时序段指的是用于控制对应图像处理模块向所述图像拼接模块的数据传输的时段,所述数据有效时序段对应的是对应图像处理模块输出从对应第一显示像素接口处得到的行像素数据给所述图像拼接模块的时段;
控制单元,用于当所述信号处理模块中的第一计数器到达任意的所述数据输出时序段时,通过所述信号处理模块向相应图像处理模块发送输出指令;当接收到所述输出指令的所述图像处理模块中的第二计数器未到达相应数据有效时序段时,通过相应图像处理模块拉低所述第一显示像素接口的反压信号,以停止向相应图像处理模块传输相应视频帧;通过相应图像处理模块向所述图像拼接模块传输预设像素数据;
拼接单元,用于通过所述图像拼接模块对所述像素数据进行拼接。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现上述权利要求1至6任一项所述的视频帧处理方法中的步骤。
9.一种电子设备,其特征在于,包括第一拼接模组、存储器和处理器;所述第一拼接模组包括信号处理模块、与所述信号处理模块连接的多个图像处理模块、以及与所述多个图像处理模块连接的图像拼接模块,每个所述图像处理模块与对应第一显示像素接口连接;
所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,以执行权利要求1至6任一项所述的视频帧处理方法中的步骤。
说明书 :
视频帧处理方法、装置、存储介质及电子设备
技术领域
背景技术
基于安卓系统的应用,不同的操作系统会进行隔离。或者在操作系统中涉及多个不同的域/
CPU核,利用不同的域/CPU核来实现不同的应用,不同的域/CPU核之间会进行隔离。当不同
操作系统或者不同域或者不同CPU核下运行应用产生的视频(也即多路视频)需要显示在同
一个显示屏中的时候,就会涉及到视频的拼接,其中,视频拼接是将多路视频解码后,对画
面帧进行拉伸并重新布局编码为单路视频流。
在拼接软件中设定好拼接规则来实现视频拼接,之后,将拼接好的视频传输至显示器进行
显示。这种视频拼接方式需要提前将视频存储在本地,也即要提前下载或缓存好视频,无法
在实时拍摄的过程中直接进行视频拼接,拼接方式繁琐,使用局限性较强。
发明内容
像处理模块、以及与所述多个图像处理模块连接的图像拼接模块,每个所述图像处理模块
与对应第一显示像素接口连接,所述视频帧处理方法包括:
据有效时序段;
像处理模块、以及与所述多个图像处理模块连接的图像拼接模块,每个所述图像处理模块
与对应第一显示像素接口连接,所述视频帧处理装置包括:
帧;
出时序段中的数据有效时序段;
频帧中的像素数据;
处理模块传输相应视频帧;
应图像处理模块传输相应视频帧;
器。
制单元,用于:
骤。
述多个图像处理模块连接的图像拼接模块,每个所述图像处理模块与对应第一显示像素接
口连接;所述存储器存储有计算机程序,所述处理器用于运行所述存储器内的计算机程序,
以执行上述任一项视频帧处理方法中的步骤。
一显示像素接口用于输入不同路视频帧,接着,根据该属性信息和该拼接规则,确定每个该
图像处理模块对应的数据输出时序段和数据有效时序段,之后,根据该数据输出时序段、该
数据有效时序段和该信号处理模块,控制该第一显示像素接口经由该图像处理模块向该图
像拼接模块传输相应视频帧中的像素数据,之后,通过该图像拼接模块对该像素数据进行
拼接。本申请实施例通过在DPI处设置拼接模组硬件,从而可以在多路视频的实时拍摄过程
中进行视频拼接,既不影响现有视频拍摄流程,也无需将多路视频提前下载或缓存在本地,
方法简单,拼接效率高。
附图说明
具体实施方式
本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例,都属于本申请保护的范围。
不同操作系统或者不同域或者不同CPU核的智能手机、平板电脑、笔记本电脑、智能电视、智
能机器人、个人计算机(Personal Computer,PC)、服务器以及智能车载设备,等等。
频的视频拼接、屏幕共享等场景,视频可以是任一系统/域/CPU核下的运行应用产生的实时
拍摄画面,或者网络下载画面等。为描述本申请技术方案,本申请实施例以电子设备为智能
车载设备,视频帧处理装置集成在智能车载系统内且实现视频拼接为例进行说明。
系统或者不同域或者不同CPU核下的DPI(Display Pixel Interface,显示像素接口)连接,
用于接收DPI或其他拼接模组传输过来的视频,并对这些视频进行拼接,以将多个视频合并
为一个视频。其中,在不同操作系统或者不同域或者不同CPU核中,DPI和DPU(display
processing unit,显示处理单元)连接,DPU与应用程序连接,DPU用于接收并处理应用程序
的视频数据。
应用程序的视频数据,这些应用程序可以具有视频拍摄功能,或者具有从外界获取视频数
据的功能,当需要对不同域的视频数据进行拼接时,可以将这些视频数据传输至拼接模组,
边传输边拼接,从而无需将视频先保存到操作系统的内存中,最后拼接视频可以通过显示
屏显示。
模组可以对至少两路视频数据进行拼接,这些视频数据可以是原始视频,也可以是拼接过
的视频,具体组合设置可以根据用户的需求而定。以下将以电子设备包括第一拼接模组为
例,对视频帧处理方法进行详细说明。
模块、与该信号处理模块连接的多个图像处理模块、以及与该多个图像处理模块连接的图
像拼接模块,每个该图像处理模块与对应第一显示像素接口DPI连接。该视频帧处理方法包
括以下步骤:
显示,此时,系统可以自动使生成拼接指令。拼接指令也可以是用户手动使生成的,比如车
载设备或者系统界面上可以提供使视频拼接功能的实体按键或虚拟按键,当用户点击该按
键时,可以使对默认应用程序产生的视频进行拼接显示。
括帧同步信号Vsync、行同步信号Hsync和数据有效信号DE等。通过DPI可以实现像素数据和
控制信号的并行传输,而DPI对视频数据的传输可以通过反压信号ready来控制,当反压信
号ready拉高时,可以进行视频数据的正常传输,当反压信号ready拉低时,只能进行同步时
钟信号CLK的传输,其余信号都会暂停传输。
左右拼接,图5中视频帧A和视频帧B是叠加拼接,而对于尺寸不同的多个视频帧,当为非叠
加方式拼接时,比如简单的左右、上下等拼接方式,一般会使它们具有相同行数或者相同列
数,从而在拼接过程中,会存在dummy行数据的填充,dummy行数据一般是指默认颜色值的像
素数据,Dummy行数据可以基于拼接比例填充在最终拼接视频里,拼接比例通常根据需求而
定。
了2行视频帧A的像素数据和1行视频帧B的像素数据时,需要填充1行dummy数据,而若拼接
比例为3:2,表示在得到最终拼接视频C的过程中,拼接了3行视频帧A的像素数据和2行视频
帧B的像素数据时,需要填充1行dummy数据,当然,若拼接比例为1:1,则表示拼接了1行视频
帧A的像素数据,就拼接1行视频帧B的像素数据,不需要填充dummy行数据。其中,拼接规则
可以是系统默认设置的,也可以是用户选择的,比如可以提供一个拼接规则选择界面,通过
该界面向用户展示多种拼接规则选项,以便用户从中选择所需的选项。
DPI那边的行像素数据给图像拼接模块,也可以传输预设像素数据(也即默认的dummy行数
据)给图像拼接模块,而当传输的是DPI那边的行像素数据时,还需拉高对应DPI的反压信
号,以使DPI将那边的行像素数据传过来,当传输的是dummy行数据时,需拉低对应DPI的反
压信号,以暂停DPI那边行像素数据的传输。数据有效时序段对应的是图像处理模块输出从
DPI那边拿到的行像素数据给图像拼接模块的时段,也即DE有效阶段。
段,且若不存在dummy行数据的填充,比如上述图4中视频帧A和B的拼接就不需要填充dummy
行数据,这种情况下,可以直接将数据有效时序段作为图像处理模块的数据输出时序段,而
若存在dummy行数据的填充,比如上述图6中的拼接视频帧C,则在确定出每个视频帧对应的
数据有效时序段的同时,还需根据dummy行数据的拼接坐标确定dummy行对应的时序段,基
于数据有效时序段和dummy行时序段,确定图像处理模块的数据输出时序段。通常,如果涉
及dummy行数据的填充,视频帧中像素点的拼接坐标通常存在间断区域,该间断区域也即
dummy行数据的拼接坐标区域,比如,对于上述图6中的视频帧A和B,若拼接坐标(x,y)中x代
表列数,y代表行数,拼接比例为2:1,则在拼接视频帧中,(0 1919,0 719)是视频帧A的行数
~ ~
据对应的拼接坐标,(1920 2739,0 719)是视频帧B和dummy的行数据对应的拼接坐标,其
~ ~
中,每间隔1行视频帧B的行数据,存在一行dummy数据,比如,(1920 2739,1)是视频帧B行数
~
据的拼接坐标,(1920 2739,2)是dummy行的拼接坐标。
~
有效时序段为M1,image B对应的数据输出时序段为H2,数据有效时序段为M2。
了哪个图像位置(比如图6中的视频帧A或视频帧B),进而确定到达了哪个图像处理模块的
数据输出时序段。每个图像处理模块中可以设置三个计数器(也即第二计数器),这三个计
数器主要用于记录已输出的行数,其相对于信号处理模块中的第一计数器是独立工作的。
第二计数器用于确定是否到达了数据有效时序段,当到达了数据有效时序段时,图像处理
模块向图像拼接模块输出实时视频帧行数据,当第二计数器未到达数据有效时序段,但是
第一计数器到达数据输出时序段时,图像处理模块向图像拼接模块输出dummy行数据。
以及记录单个视频帧中总共发送了多少行视频帧像素数据的计数器3,单个循环总长是基
于拼接规则来定的,比如视频帧A和视频帧B的拼接规则是2:1时,单个循环就包括2行视频
帧像素数据、1行dummy数据。当单个循环走完时,计数器1和计数器2会清零重新开始计数,
而计数器3会等到信号处理模块向图像处理模块传输帧开始信号时才会清零重新开始计
数。通常情况下,如果计数器3记录的总行数已经到达视频帧像素数据的总行数,那么剩下
的像素数据都发dummy行数据。
信号处理模块会向相应图像处理模块发送输出指令(比如valid为1的信号),而图像处理模
块接收到该输出指令后,会基于自身内置的第二计数器的计数情况,确定是需要向图像拼
接模块发送视频帧像素数据,还是dummy行数据,并进行相应操作,也即,请继续参见图7,上
述步骤S103具体可以包括:
图像处理模块传输相应视频帧;
输出指令(比如valid为1的信号),而图像处理模块接收到该输出指令后,若自身的第二计
数器到达数据有效时序段,比如到达图8中的M1或M2,则需要拉高相应第一显示像素接口
DPI的反压信号,以从DPI中获取实时视频帧,并通过图像处理模块将实时视频帧中的像素
数据传输至图像拼接模块。
相应图像处理模块传输相应视频帧;
传输dummy行数据,需要拉低相应第一显示像素接口DPI的反压信号,并将dummy行数据传输
至图像拼接模块。
而DPI需要拉高反压信号ready以尽快渡过这个阶段,因此,在进行视频拼接时,需要考虑行
消隐时段的影响。具体的,在上述步骤S102之后,该视频帧处理方法还可以包括:
指令的该图像处理模块拉低相应第一显示像素接口的反压信号。
(比如valid为0的信号),而图像处理模块接收到该停止输出指令后,会判断DPI是否进入行
消隐时段,如果进入行消隐时段(也即未到达数据输出时序段,但数据有效信号DE处于无效
状态),则拉高对应第一显示像素接口DPI的反压信号,以使该DPI尽快渡过该行消隐时段,
而如果没有进入行消隐时段(也即未到达数据输出时序段,且数据有效信号DE处于有效状
态),则拉低对应第一显示像素接口DPI的反压信号,此时,相应DPI只会向图像处理模块传
输同步时钟信号CLK,其余信号都会暂停传输,等待下一次图像处理模块接收输出指令。
反压信号ready被拉高时,相应DPI可以正常传输视频帧数据(比如像素数据和控制信号)或
者快速渡过行消隐时段,故可以将数据有效时序段和行消隐时序段作为相应DPI的数据输
入时序段,在数据输入时序段内,相应DPI的反压信号会被拉高,在数据输入时序段之外,相
应DPI的反压信号会被拉低,比如,在图8中,若视频帧A和视频帧B对应的第一显示像素接口
分别为 DPI A和DPI B,则对于DPI A,其数据输入时序段可以为L1,对于DPI B,其数据输入
时序段可以为L2。
进行视频帧传输时,其余DPI处于只传输CLK的阶段。而对于叠加拼接,比如图5中的视频A和
视频B,拼接形成具有画中画效果的视频C,DPI A和DPI B对应的数据输入时序段会存在重
叠时段,也即会存在需要DPI A和DPI B同时进行视频帧传输的时段。
不同拼接规则设定不同的拼接算法,之后基于用户选择或者系统优选的拼接规则来选取合
适的拼接算法进行像素数据的拼接。
要用于接收并处理像素数据,故当通过图像拼接模块形成新视频帧的像素数据时,还需形
成新的控制信号,也即,在执行上述步骤S105的过程中,该视频帧处理方法还可以包括步
骤:通过该信号处理模块生成该像素数据对应的控制信号。
单次拼接涉及的视频帧数量、以及总拼接次数可以根据需求而定,比如,请参见图9,可以是
对三路视频帧A、B、D分两次拼接得到视频帧E,其中,第一次拼接是对视频帧A和B,得到视频
帧C,第二次拼接可以是对视频帧C和视频帧D,得到视频帧E。而对于多次拼接,通常需要设
置多个拼接模组,也即,该电子设备还可以包括第二拼接模组,其中,该信号处理模块和该
图像拼接模块,通过第二显示像素接口与该第二拼接模组连接,该视频帧处理方法还包括:
有多个拼接模组的结构,拼接模组之间通过DPI实现传输,比如在图9中,第二显示像素接口
DPI C实现第一拼接模组和第二拼接模组间像素数据和控制信号的传输,且第二拼接模组
可以通过拉高或拉低DPI C的反压信号ready,来控制DPI C。
用于输入不同路视频帧,接着,根据该属性信息和该拼接规则,确定每个该图像处理模块对
应的数据输出时序段和数据有效时序段,之后,根据该数据输出时序段、该数据有效时序段
和该信号处理模块,控制该第一显示像素接口经由该图像处理模块向该图像拼接模块传输
相应视频帧中的像素数据,之后,通过该图像拼接模块对该像素数据进行拼接。本申请实施
例通过在DPI处设置拼接模组硬件,从而可以在多路视频的实时拍摄过程中进行视频拼接,
既不影响现有视频拍摄流程,也无需将多路视频提前下载或缓存在本地,方法简单,拼接效
率高。
设备包括但不限于拥有不同操作系统或者不同域或者不同CPU核的智能手机、平板电脑、笔
记本电脑、智能电视、智能机器人、个人计算机(Personal Computer,PC)、服务器以及智能
车载设备,等等。
模块连接的多个图像处理模块、以及与该多个图像处理模块连接的图像拼接模块,每个该
图像处理模块与对应第一显示像素接口DPI连接。该视频帧处理装置包括获取单元10、确定
单元20、控制单元30以及拼接单元40,其中:
显示,此时,系统可以自动使生成拼接指令。拼接指令也可以是用户手动使生成的,比如车
载设备或者系统界面上可以提供使视频拼接功能的实体按键或虚拟按键,当用户点击该按
键时,可以使对默认应用程序产生的视频进行拼接显示。
括帧同步信号Vsync、行同步信号Hsync和数据有效信号DE等。通过DPI可以实现像素数据和
控制信号的并行传输,而DPI对视频数据的传输可以通过反压信号ready来控制,当反压信
号ready拉高时,可以进行视频数据的正常传输,当反压信号ready拉低时,只能进行同步时
钟信号CLK的传输,其余信号都会暂停传输。
左右拼接,图5中视频帧A和视频帧B是叠加拼接,而对于尺寸不同的多个视频帧,当为非叠
加方式拼接时,比如简单的左右、上下等拼接方式,一般会使它们具有相同行数或者相同列
数,从而在拼接过程中,会存在dummy行数据的填充,dummy行数据一般是指默认颜色值的像
素数据,Dummy行数据可以基于拼接比例填充在最终拼接视频里,拼接比例通常根据需求而
定。
了2行视频帧A的像素数据和1行视频帧B的像素数据时,需要填充1行dummy数据,而若拼接
比例为3:2,表示在得到最终拼接视频C的过程中,拼接了3行视频帧A的像素数据和2行视频
帧B的像素数据时,需要填充1行dummy数据,当然,若拼接比例为1:1,则表示拼接了1行视频
帧A的像素数据,就拼接1行视频帧B的像素数据,不需要填充dummy行数据。其中,拼接规则
可以是系统默认设置的,也可以是用户选择的,比如可以提供一个拼接规则选择界面,通过
该界面向用户展示多种拼接规则选项,以便用户从中选择所需的选项。
中的数据有效时序段。
DPI那边的行像素数据给图像拼接模块,也可以传输预设像素数据(也即默认的dummy行数
据)给图像拼接模块,而当传输的是DPI那边的行像素数据时,还需拉高对应DPI的反压信
号,以使DPI将那边的行像素数据传过来,当传输的是dummy行数据时,需拉低对应DPI的反
压信号,以暂停DPI那边行像素数据的传输。数据有效时序段对应的是图像处理模块输出从
DPI那边拿到的行像素数据给图像拼接模块的时段,也即DE有效阶段。
段,且若不存在dummy行数据的填充,比如上述图4中视频帧A和B的拼接就不需要填充dummy
行数据,这种情况下,可以直接将数据有效时序段作为图像处理模块的数据输出时序段,而
若存在dummy行数据的填充,比如上述图6中的拼接视频帧C,则在确定出每个视频帧对应的
数据有效时序段的同时,还需根据dummy行数据的拼接坐标确定dummy行对应的时序段,基
于数据有效时序段和dummy行时序段,确定图像处理模块的数据输出时序段。通常,如果涉
及dummy行数据的填充,视频帧中像素点的拼接坐标通常存在间断区域,该间断区域也即
dummy行数据的拼接坐标区域,比如,对于上述图6中的视频帧A和B,若拼接坐标(x,y)中x代
表列数,y代表行数,拼接比例为2:1,则在拼接视频帧中,(0 1919,0 719)是视频帧A的行数
~ ~
据对应的拼接坐标,(1920 2739,0 719)是视频帧B和dummy的行数据对应的拼接坐标,其
~ ~
中,每间隔1行视频帧B的行数据,存在一行dummy数据,比如,(1920 2739,1)是视频帧B行数
~
据的拼接坐标,(1920 2739,2)是dummy行的拼接坐标。
~
有效时序段为M1,image B对应的数据输出时序段为H2,数据有效时序段为M2。
素数据。
了哪个图像位置(比如图6中的视频帧A或视频帧B),进而确定到达了哪个图像处理模块的
数据输出时序段。每个图像处理模块中可以设置三个计数器(也即第二计数器),这三个计
数器主要用于记录已输出的行数,其相对于信号处理模块中的第一计数器是独立工作的。
第二计数器用于确定是否到达了数据有效时序段,当到达了数据有效时序段时,图像处理
模块向图像拼接模块输出实时视频帧行数据,当第二计数器未到达数据有效时序段,但是
第一计数器到达数据输出时序段时,图像处理模块向图像拼接模块输出dummy行数据。
以及记录单个视频帧中总共发送了多少行视频帧像素数据的计数器3,单个循环总长是基
于拼接规则来定的,比如视频帧A和视频帧B的拼接规则是2:1时,单个循环就包括2行视频
帧像素数据、1行dummy数据。当单个循环走完时,计数器1和计数器2会清零重新开始计数,
而计数器3会等到信号处理模块向图像处理模块传输帧开始信号时才会清零重新开始计
数。通常情况下,如果计数器3记录的总行数已经到达视频帧像素数据的总行数,那么剩下
的像素数据都发dummy行数据。
信号处理模块会向相应图像处理模块发送输出指令(比如valid为1的信号),而图像处理模
块接收到该输出指令后,会基于自身内置的第二计数器的计数情况,确定是需要向图像拼
接模块发送视频帧像素数据,还是dummy行数据,并进行相应操作,也即,上述控制单元30具
体可以用于:
图像处理模块传输相应视频帧;
输出指令(比如valid为1的信号),而图像处理模块接收到该输出指令后,若自身的第二计
数器到达数据有效时序段,比如到达图8中的M1或M2,则需要拉高相应第一显示像素接口
DPI的反压信号,以从DPI中获取实时视频帧,并通过图像处理模块将实时视频帧中的像素
数据传输至图像拼接模块。
相应图像处理模块传输相应视频帧;
传输dummy行数据,需要拉低相应第一显示像素接口DPI的反压信号,并将dummy行数据传输
至图像拼接模块。
而DPI需要拉高反压信号ready以尽快渡过这个阶段,因此,在进行视频拼接时,需要考虑行
消隐时段的影响。具体的,在该确定单元20确定每个该图像处理模块对应的数据输出时序
段和数据有效时序段之后,该控制单元30还用于:
指令的该图像处理模块拉低相应第一显示像素接口的反压信号。
(比如valid为0的信号),而图像处理模块接收到该停止输出指令后,会判断DPI是否进入行
消隐时段,如果进入行消隐时段(也即未到达数据输出时序段,但数据有效信号DE处于无效
状态),则拉高对应第一显示像素接口DPI的反压信号,以使该DPI尽快渡过该行消隐时段,
而如果没有进入行消隐时段(也即未到达数据输出时序段,且数据有效信号DE处于有效状
态),则拉低对应第一显示像素接口DPI的反压信号,此时,相应DPI只会向图像处理模块传
输同步时钟信号CLK,其余信号都会暂停传输,等待下一次图像处理模块接收输出指令。
反压信号ready被拉高时,相应DPI可以正常传输视频帧数据(比如像素数据和控制信号)或
者快速渡过行消隐时段,故可以将数据有效时序段和行消隐时序段作为相应DPI的数据输
入时序段,在数据输入时序段内,相应DPI的反压信号会被拉高,在数据输入时序段之外,相
应DPI的反压信号会被拉低,比如,在图8中,若视频帧A和视频帧B对应的第一显示像素接口
分别为 DPI A和DPI B,消隐时段为Q,则对于DPI A,其数据输入时序段可以为L1,对于DPI
B,其数据输入时序段可以为L2。
进行视频帧传输时,其余DPI处于只传输CLK的阶段。而对于叠加拼接,比如图5中的视频帧A
和视频帧B,拼接形成具有画中画效果的视频帧C,DPI A和DPI B对应的数据输入时序段会
存在重叠时段,也即会存在需要DPI A和DPI B同时进行视频帧传输的时段。
前为不同拼接规则设定不同的拼接算法,之后基于用户选择或者系统优选的拼接规则来选
取合适的拼接算法进行像素数据的拼接。
要用于接收并处理像素数据,故当通过图像拼接模块形成新视频帧的像素数据时,还需形
成新的控制信号,也即,在通过该图像拼接模块对该像素数据进行拼接的过程中,该拼接单
元40还用于:通过该信号处理模块生成该像素数据对应的控制信号。
际单次拼接涉及的视频数量、以及总拼接次数可以根据需求而定,比如,请参见图9,可以是
对视频帧A、B、D分两次拼接得到视频帧E,其中,第一次拼接是对视频帧A和B,得到视频帧C,
第二次拼接可以是对视频帧C和视频帧D,得到视频帧E。而对于多次拼接,通常需要设置多
个拼接模组,也即,该电子设备还可以包括第二拼接模组;该信号处理模块和该图像拼接模
块,通过第二显示像素接口与该第二拼接模组连接,该视频帧处理装置还包括第三控制单
元,用于:
有多个拼接模组的结构,拼接模组之间通过DPI实现传输,比如在图9中,第二显示像素接口
DPI C实现第一拼接模组和第二拼接模组间像素数据和控制信号的传输,且第二拼接模组
可以通过拉高或拉低DPI C的反压信号ready,来控制DPI C。
再赘述。
示像素接口用于输入不同路视频帧,接着,确定单元20根据该属性信息和该拼接规则,确定
每个该图像处理模块对应的数据输出时序段和数据有效时序段,之后,控制单元30根据该
数据输出时序段、该数据有效时序段和该信号处理模块,控制该第一显示像素接口经由该
图像处理模块向该图像拼接模块传输相应视频帧中的像素数据,之后,拼接单元40通过该
图像拼接模块对该像素数据进行拼接。本申请实施例通过在DPI处设置拼接模组硬件,从而
可以在多路视频的实时拍摄过程中进行视频拼接,既不影响现有视频拍摄流程,也无需将
多路视频提前下载或缓存在本地,方法简单,拼接效率高。
元905、以及显示单元906等部件。本领域技术人员可以理解,图中示出的电子设备结构并不
构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同
的部件布置。其中:
用存储在存储器902内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行
整体监控。可选的,处理器可包括一个或多个处理核心;优选的,处理器可集成应用处理器
和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解
调处理器主要处理无线通信。可以理解地是,上述调制解调处理器也可以不集成到处理器
中。
要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的
应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使
用所创建的数据等。此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性
存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储
器902还可以包括存储器控制器,以提供处理器901对存储器902的访问。
常,RF电路903包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份
模块(SIM)卡、收发信机、耦合器、低噪声放大器(LNA,Low Noise Amplifier)、双工器等。此
外,RF电路903还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信
标准或协议,包括但不限于全球移动通讯系统(GSM,Global System of Mobile
communication)、通用分组无线服务(GPRS,General Packet Radio Service)、码分多址
(CDMA,Code Division Multiple Access)、宽带码分多址(WCDMA,Wideband Code
Division Multiple Access)、长期演进(LTE,Long Term Evolution)、电子邮件、短消息服
务(SMS,Short Messaging Service)等。
功耗管理等功能。电源904还可以包括一个或一个以上的直流或交流电源、再充电系统、电
源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
输入。具体地,在一个具体地实施例中,输入单元905可包括触敏表面以及其他输入设备。触
敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使
用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预
先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器
两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号
传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,
再送给处理器901,并能接收处理器901发来的命令并加以执行。此外,可以采用电阻式、电
容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元905还可以
包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量
控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
文本、图标、视频和其任意组合来构成。显示单元906包括多个硬件显示处理单元、视频帧处
理模块、显示屏等。其中,多个硬件显示处理单元、视频帧处理模块可集成在处理芯片中。其
中,显示屏可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal
Display)、有机发光二极管(OLED,Organic Light‑Emitting Diode)等形式来配置显示面
板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,
传送给处理器901以确定触摸事件的类型,随后处理器901根据触摸事件的类型在显示面板
上提供相应的视觉输出。虽然在图中,触敏表面与显示面板是作为两个独立的部件来实现
输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输
出功能。
图像处理模块、以及与该多个图像处理模块连接的图像拼接模块,每个该图像处理模块与
对应第一显示像素接口连接。具体在本实施例中,电子设备中的处理器901会按照如下的指
令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中,并由处理
器901来运行存储在存储器902中的应用程序,从而实现各种功能,如下:
拼接规则,确定每个该图像处理模块对应的数据输出时序段和数据有效时序段;根据该数
据输出时序段、该数据有效时序段和该信号处理模块,控制该第一显示像素接口经由该图
像处理模块向该图像拼接模块传输相应视频帧中的像素数据;通过该图像拼接模块对该像
素数据进行拼接。
前面的实施例,在此不再赘述。
可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本发明实施例提
供一种计算机可读存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加
载,以执行本发明实施例所提供的视频帧处理方法中任一实施例的步骤。
法所能实现的有益效果,详见前面的实施例,在此不再赘述。
实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人
员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明
书内容不应理解为对本申请的限制。