图像处理方法、装置、电子设备及存储介质转让专利
申请号 : CN202111176969.0
文献号 : CN113628304B
文献日 : 2021-12-03
发明人 : 孟照南 , 徐征 , 张帆
申请人 : 湖北芯擎科技有限公司
摘要 :
权利要求 :
1.一种图像处理方法,其特征在于,应用于图像处理装置,所述图像处理装置包括相互连接的主机、图像映射模组和存储模块,所述图像映射模组包括地址坐标转换模块、图像处理模块和数据返回模块,所述图像处理方法包括:所述地址坐标转换模块接收所述主机发送的填充帧图像读取命令,所述填充帧图像读取命令包括多个像素数据返回命令,各像素数据返回命令携带填充帧图像中不同组像素点的虚拟存储地址和像素传输长度;
所述地址坐标转换模块根据各像素数据返回命令和第一映射关系,得到各组像素点在所述填充帧图像中的坐标信息,根据所述坐标信息,生成并向所述图像处理模块发送各像素数据返回命令对应的坐标访问命令;
所述图像处理模块根据预设填充参数,确定各组像素点中各类像素点的第一分类信息,所述第一分类信息包括有效像素点或填充像素点,根据所述坐标访问命令和第二映射关系,得到各组像素点中有效像素点对应的真实存储地址和像素传输长度;
所述图像处理模块根据所述第一分类信息,生成并向所述数据返回模块发送各组中填充像素点对应的填充像素数据返回命令,和/或生成并向所述存储模块发送各组中有效像素点对应的有效像素数据返回命令,所述有效像素数据返回命令携带各组中有效像素点对应的真实存储地址和像素传输长度;
所述数据返回模块接收所述存储模块返回的各有效像素数据和/或直接生成各填充像素数据,并返回给所述主机。
2.如权利要求1所述的图像处理方法,其特征在于,所述图像映射模组还包括地址检查模块,在所述地址坐标转换模块接收所述主机发送的填充帧图像读取命令的步骤之前,还包括:
所述地址检查模块接收所述主机发送的总线访问命令,根据所述总线访问命令携带的存储地址,判断所述总线访问命令为填充帧图像读取命令或其他访问命令;
在所述总线访问命令为填充帧图像读取命令时,将所述填充帧图像读取命令发送给所述地址坐标转换模块;
在所述总线访问命令为其他访问命令时,将所述其他访问命令发送至所述存储模块。
3.如权利要求1所述的图像处理方法,其特征在于,所述填充帧图像为至少两幅图像拼接形成的拼接帧图像,所述图像处理模块包括至少两个子图像处理模块,所述地址坐标转换模块根据各像素数据返回命令和第一映射关系,得到各组像素点在所述填充帧图像中的坐标信息,根据所述坐标信息,生成并向所述图像处理模块发送各像素数据返回命令对应的坐标访问命令的步骤,包括:
所述地址坐标转换模块根据各像素数据返回命令和第一映射关系,得到各组像素点在所述拼接帧图像中的第一坐标信息;
所述地址坐标转换模块根据预设拼接方式,确定每组像素点中各类像素点的第二分类信息,所述第二分类信息包括各类像素点与各幅图像的归属关系;
所述地址坐标转换模块根据所述第二分类信息,将所述第一坐标信息转换为各组像素点在形成拼接帧图像的各副图像中的第二坐标信息;
根据所述第二坐标信息,生成并向各子图像处理模块发送对应的坐标访问命令。
4.如权利要求3所述的图像处理方法,其特征在于,所述图像处理模块根据预设填充参数,确定各组像素点中各类像素点的第一分类信息,所述第一分类信息包括有效像素点或填充像素点,根据所述坐标访问命令和第二映射关系,得到各组像素点中有效像素点对应的真实存储地址和像素传输长度的步骤,包括:各子图像处理模块根据预设填充参数,将每组像素点中属于对应图像的一类像素点确定为有效像素点或填充像素点;
在所述第一分类信息表征存在包括有效像素点的目标组像素点时,所述有效像素点对应的子图像处理模块根据所述坐标访问命令和第二映射关系,得到目标组像素点中有效像素点对应的真实存储地址和像素传输长度。
5.如权利要求4所述的图像处理方法,其特征在于,所述图像处理模块根据所述第一分类信息,生成并向所述数据返回模块发送各组中填充像素点对应的填充像素数据返回命令,和/或生成并向所述存储模块发送各组中有效像素点对应的有效像素数据返回命令,所述有效像素数据返回命令携带各组中有效像素点对应的真实存储地址和像素传输长度的步骤,包括:
在所述第一分类信息表征存在目标类像素点为有效像素点时,所述有效像素点对应的子图像处理模块生成并向所述存储模块发送有效像素数据返回命令;
在所述第一分类信息表征存在目标类像素点为填充像素点时,所述填充像素点对应的子图像处理模块生成并向所述数据返回模块发送填充像素数据返回命令。
6.如权利要求5所述的图像处理方法,其特征在于,所述图像映射模组还包括命令缓存模块,在所述数据返回模块接收所述存储模块返回的各有效像素数据和/或直接生成各填充像素数据,并返回给所述主机的步骤之前,还包括:所述图像处理模块根据所述第一分类信息和所述第二分类信息,确定每组像素点中各类像素点的排列顺序;
根据所述排列顺序,各子图像处理模块向所述命令缓存模块发送每组像素点对应的有效像素返回命令和/或填充像素数据返回命令。
7.如权利要求6所述的图像处理方法,其特征在于,所述数据返回模块接收所述存储模块返回的各有效像素数据和/或直接生成各填充像素数据,并返回给所述主机的步骤,包括:
所述命令缓存模块处理各返回命令,并根据所述排列顺序向所述数据返回模块发送处理后的各返回命令,处理后的各返回命令携带拼接参数;
所述数据返回模块接收所述存储模块返回的各有效像素数据和/或直接生成各填充像素数据,根据所述排列顺序和各返回命令携带的拼接参数,处理各组像素点对应的像素数据,并返回给所述主机。
8.一种图像处理装置,其特征在于,所述图像处理装置包括相互连接的主机、图像映射模组和存储模块,所述图像映射模组包括地址坐标转换模块、图像处理模块和数据返回模块;
所述地址坐标转换模块用于,接收所述主机发送的填充帧图像读取命令,所述填充帧图像读取命令包括多个像素数据返回命令,各像素数据返回命令携带填充帧图像中不同组像素点的虚拟存储地址和像素传输长度;
所述地址坐标转换模块还用于,根据各像素数据返回命令和第一映射关系,得到各组像素点在所述填充帧图像中的坐标信息,根据所述坐标信息,生成并向所述图像处理模块发送各像素数据返回命令对应的坐标访问命令;
所述图像处理模块用于,根据预设填充参数,确定各组像素点中各类像素点的第一分类信息,所述第一分类信息包括有效像素点或填充像素点,根据所述坐标访问命令和第二映射关系,得到各组像素点中有效像素点对应的真实存储地址和像素传输长度;
所述图像处理模块还用于,根据所述第一分类信息,生成并向所述数据返回模块发送各组中填充像素点对应的填充像素数据返回命令,和/或生成并向所述存储模块发送各组中有效像素点对应的有效像素数据返回命令,所述有效像素数据返回命令携带各组中有效像素点对应的真实存储地址和像素传输长度;
所述数据返回模块用于,接收所述存储模块返回的各有效像素数据和/或直接生成各填充像素数据,并返回给所述主机。
9.一种电子设备,其特征在于,包括存储器和处理器;所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序,以执行权利要求1至7任一项所述的图像处理方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现权利要求1至7任一项所述的图像处理方法中的步骤。
说明书 :
图像处理方法、装置、电子设备及存储介质
技术领域
背景技术
进行按比例填充。由于DPU只能做整帧的处理,需要先通过软件进行memcpy处理,即将图像
从内存拷贝出来并插入填充数据,然后才能在DPU中以超帧形式发出给外部芯片,然而,此
种方式需要在软件中完成处理,而软件的开发和维护成本较高,对运行环境的要求也较高,
且内存拷贝还会带来时间和带宽的消耗。
发明内容
处理模块和数据返回模块,所述图像处理方法包括:
素点的虚拟存储地址和像素传输长度;
各像素数据返回命令对应的坐标访问命令;
射关系,得到各组像素点中有效像素点对应的真实存储地址和像素传输长度;
效像素点对应的有效像素数据返回命令,所述有效像素数据返回命令携带各组中有效像素
点对应的真实存储地址和像素传输长度;
据返回模块;
同组像素点的虚拟存储地址和像素传输长度;
模块发送各像素数据返回命令对应的坐标访问命令;
第二映射关系,得到各组像素点中有效像素点对应的真实存储地址和像素传输长度;
各组中有效像素点对应的有效像素数据返回命令,所述有效像素数据返回命令携带各组中
有效像素点对应的真实存储地址和像素传输长度;
的步骤。
组和存储模块,图像映射模组包括地址坐标转换模块、图像处理模块和数据返回模块,在该
方法中,地址坐标转换模块先接收主机发送的针对填充帧图像的读取命令,该命令包括多
个像素数据返回命令,每个像素数据返回命令携带填充帧图像中一组像素点的虚拟存储地
址和像素传输长度,所有组像素点构成一个完整的填充帧图像,然后,对每组像素点,地址
坐标转换模块将虚拟存储地址映射为本组像素点在填充帧图像中的坐标信息,生成并向图
像处理模块发送该组像素数据返回命令对应的坐标访问命令,接着,图像处理模块根据预
设填充参数确定出每组像素点中哪一类像素点属于有效像素点,哪一类像素点属于填充像
素点,对于有效像素点,将其坐标信息进行映射得到各有效像素点对应的真实存储地址和
像素传输长度,并向存储模块发送携带该真实存储地址的有效像素数据返回命令,对于填
充像素点,直接向数据返回模块发送填充像素数据返回命令,最后,数据返回模块接收存储
模块返回的各有效像素数据和/或直接生成各填充像素数据,并返回给主机。通过上述方
法,在主机和存储模块之间增加一个硬件模组来实现了对图像的数据填充和拼接,不需要
软件进行内存拷贝和填充数据,节省了内存拷贝所带来的时间和带宽消耗,也节省了软件
开销。
附图说明
具体实施方式
本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施
例,都属于本申请保护的范围。
适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那
些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他
的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列
出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固
有的其它步骤或单元。
像读取命令,该命令包括多个像素数据读取命令,每个像素数据读取命令对应一个总线传
输,用于读取超帧中某一组像素点的像素数据,所有组像素点组合起来对应一个超帧。图像
映射模组20响应每一个像素数据读取命令,返回一组像素点的像素数据,并最终返回给主
机10。填充帧图像可以是单独帧图像,也可以是由至少两幅图像拼接形成的拼接帧图像,当
其为单独帧图像时,单独帧图像自身需要进行像素数据的填充,当其为拼接帧图像时,形成
拼接帧图像的两幅或多幅图像中,至少一幅图像需要进行像素数据的填充。
应于主机10发送的像素数据返回命令,从存储模块30中获取有效像素数据或在图像映射模
组20中直接生成填充像素数据,然后返回给主机10。
当图像映射模组20需要有效像素数据时,向存储模块30发送有效存储数据返回命令,则存
储模块30返回对应的有效存储数据,存储模块30与图像映射模组20之间通过接口进行连
接,实现命令和数据的传输。
读取命令,每个像素数据读取命令携带填充帧图像中不同组像素点的虚拟存储地址和像素
传输长度,其中像素传输长度为本次命令需要读取的像素点总数量。由于填充帧图像读取
命令携带虚拟存储地址,而直接根据虚拟存储地址无法直接读取到真实存储在内存中的图
像,需要先根据各像素数据返回命令和第一映射关系,得到每组像素点在填充帧图像中的
坐标信息,以确定需要获取的是填充帧图像中哪些像素点的像素数据,再根据这些像素点
的坐标信息,生成并向图像处理模块发送像素数据返回命令对应的坐标访问命令。
素数据的填充比例,在一幅图像中插入多行填充像素数据,通过原有的有效像素数据和插
入的填充像素数据共同形成完整的图像,该图像的尺寸与最终拼接所需的填充帧图像尺寸
一致,预设的填充比例可根据实际需要进行预先配置。以拼接帧图像为单独帧图像为例,最
终的填充帧图像为第一图像101,存储模块30中原本存储的图像为图像1,图像1需要先根据
预设的填充比例插入填充像素数据,才能形成第一图像101。
是填充像素点,如果是有效像素点,对应的像素数据为有效像素数据,则根据坐标访问命令
和第二映射关系,得到每组像素点中有效像素点对应的真实存储地址和像素传输长度,以
确定这些有效像素点的有效像素数据在存储模块中的真实存储地址、以及本次命令需要读
取的有效像素点总数量,且生成并向存储模块发送有效像素数据返回命令,有效像素数据
返回命令携带真实存储地址和像素传输长度;如果是填充像素点,对应的像素数据为填充
像素数据,则生成并向数据返回模块发送填充像素点对应的填充像素数据返回命令。
例提供的技术方案的限定,本领域普通技术人员可知,随着系统的演变和新业务场景的出
现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。以下分别进行详细说
明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
21、地址坐标转换模块22、图像处理模块23、命令选择模块24、命令缓存模块25和数据返回
模块26。
据接口2作为图像映射模组20的返回数据通道。存储模块30通过命令接口10与图像映射模
组20的命令选择模块24连接,通过数据接口1与图像映射模组20的数据返回模块26连接,其
中命令接口10作为图像映射模组20的读命令通道,数据接口1作为图像映射模组20的读数
据通道。
令接口12与图像处理模块23连接,图像处理模块23通过命令接口13与命令选择模块24连
接,通过命令接口14与命令缓存模块25连接。命令缓存模块25通过命令接口8与数据返回模
块26连接。
块,每个子图像处理模块用于处理形成拼接帧图像的两幅或多幅图像中的其中一幅图像,
为方便说明,图3以图像处理模块包括第一子图像处理模块231和第二子图像处理模块232
为例,但不以此为限,还可适用于更多图像的拼接和填充处理。
选择模块24连接,通过命令接口6与命令缓存模块25连接,第二子图像处理模块232通过命
令接口5与命令选择模块24连接,通过命令接口7与命令缓存模块25连接。
过相应的设置,将图3中的任意一个子图像处理模块作为单独帧图像的处理模块。本申请中
图像处理装置中图像处理模块的结构可根据需要设置,既可以仅用于处理单独的填充帧图
像,也可以仅用于处理拼接的填充帧图像,还可以同时用于处理单独和填充帧图像和拼接
的填充帧图像。为便于解释,以下实施例以图3中的结构可同时用于处理单独和拼接的填充
帧图像,且设置第一子图像处理模块231用于处理单独填充帧图像为例进行说明。
虚拟存储地址和像素传输长度。
拼接形成拼接帧图像。
要获取某个填充帧图像时,先给图像映射模组20发送填充帧图像读取命令,由于图像包括
多行像素点,每行像素点又包括多个像素点,而一次总线传输所能传输的像素点有限,对每
一行像素点,在获取像素数据时只能一组一组地依次获取,每组包括若干个顺序排列的像
素点。例如,一行包括1080个像素点,总线宽度为64bit,一个像素点为32bit,若一次总线传
输包括16个transfer,则一次总线传输也只能传输32个像素点的像素数据,这32个像素点
作为一组,一行需要多个总线传输才能将像素数据传输完成。因此,对于每个填充帧图像读
取命令,其包括多个像素数据返回命令,每个像素数据返回命令用于读取填充帧图像中的
一组像素点的像素数据,所有的像素数据返回命令均得到响应后,才能返回所有组像素点
的像素数据,得到一个完整的填充帧图像。
命令,其他访问命令可以是读取不需填充的非拼接帧图像,或者可以是访问这些图像的配
置文件等。每个总线访问命令均携带有存储地址,主机10发送的总线访问命令先通过命令
接口0发送到地址检查模块21,地址检查模块21检查总线访问命令中的存储地址,以判断该
总线访问命令为填充帧图像读取命令或其他访问命令。存储地址包括虚拟存储地址和真实
存储地址,其中真实存储地址是图像在存储模块30中真实存在的地址,可直接根据真实存
储地址从存储模块30中取出真实像素数据以及配置文件等;虚拟存储地址为自定义的存储
地址,其与真实存储地址之间具有映射关系,根据虚拟存储地址不能直接从存储模块30中
读取数据,而需要先将其进行映射为真实存储地址,再根据该真实存储地址去存储模块30
取数据。
于填充数据没有真实存储在存储模块30中,主机10在读取之前,并不清楚填充帧图像中的
各像素数据的真实存储情况,因此填充帧图像读取命令携带的均为虚拟存储地址。地址检
查模块21先根据总线访问命令携带的存储地址,确定该命令是填充帧图像读取命令还是其
他访问命令图像,再根据不同情况将总线访问命令发送给不同的模块。
像3中不同组像素点的虚拟存储地址和像素传输长度,地址检查模块21直接将该命令对应
的多个像素数据返回命令依次发送给命令选择模块24,再由命令选择模块24通过命令接口
10依次发送给存储模块30,在存储模块30中根据每个像素数据返回命令对应的真实存储地
址读取所需像素数据,并通过数据接口1发送给数据返回模块26。同时,地址检查模块21通
过命令接口11将每个像素数据返回命令发送给命令缓存模块25,命令缓存模块25再将每个
像素数据返回命令通过命令接口8发送给数据返回模块26,数据返回模块26根据命令缓存
模块25的具体命令内容去处理存储模块30返回的像素数据,并通过数据接口2返回给主机
10。
机10读取几个非拼接帧图像时使用的是多个不同的ID,则不需要使用命令接口11,因此此
时不需要考虑返回数据的顺序,可以乱序。
将该像素数据返回命令通过命令接口1发送给地址坐标转换模块22进行转换。
一幅图像记为第一图像,图像1的尺寸小于第一图像的尺寸。在填充帧图像为拼接帧图像
时,如图3所示,将拼接帧图像所需的原始图像记为图像1和图像2,其真实存储在存储模块
30中,将最终形成拼接帧图像时的两个图像记为第一图像和第二图像,图像1的尺寸小于或
等于第一图像的尺寸,图像2的尺寸也小于或等于第二图像的尺寸。
返回命令对应的坐标访问命令。
充帧图像中的坐标,并根据像素传输长度确定这一组其他像素点在填充帧图像中的位置。
例如,设填充帧图像的尺寸为X*Y,X表示像素点的列数,Y表示像素点的行数,以填充帧图像
的左上角为坐标原点(0,0),则第i行第j列的像素点坐标为(i‑1,j‑1),其中1≤i≤Y,1≤j
≤Y,且i和j为整数。在某个像素数据返回命令映射得到(0,i‑1)至(j‑1,i‑1)共j个坐标时,
根据该坐标信息后生成坐标访问命令,坐标访问命令用于表示需要读取第i行从(0,i‑1)开
始共j个像素点的像素数据。
该坐标访问命令。当填充帧图像为拼接帧图像时,由于图像处理模块包括第一子图像处理
模块231和第二子图像处理模块232,每个子图像处理模块仅用于处理一幅图像,因此需要
先将在填充帧图像的坐标信息转换成在每幅图像中的坐标信息,再生成不同的坐标访问命
令,并分别发送给对应的子图像处理模块。
预设拼接方式,确定每组像素点中各类像素点的第二分类信息,第二分类信息包括各类像
素点与各幅图像的归属关系;地址坐标转换模块根据所述第二分类信息,将第一坐标信息
转换为各组像素点在形成拼接帧图像的各副图像中的第二坐标信息;根据第二坐标信息,
生成并向各子图像处理模块发送对应的坐标访问命令。如图3所示,图像处理模块包括第一
子图像处理模块231和第二子图像处理模块232,对于由两幅图像拼接形成的拼接帧图像,
先确定出每组像素点中哪些像素点是属于第一图像的,哪些像素点是属于第二图像的,然
后,对于属于第一图像的一类像素点,地址坐标转换模块22生成第一坐标访问命令并发送
给第一子图像处理模块231,对于属于第二图像的一类像素点,地址坐标转换模块22生成第
二坐标访问命令并发送给第二子图像处理模块232,即每个子图像处理模块分别处理其中
一幅图像的坐标访问命令。
的第二分类信息不同。
示每行和每列像素点的数量。根据左右拼接方式可知,每行的2000个像素点中,(0,1)至
(1499,1)共1500个像素点属于第二图像,(1500,1)至(1999,1)共500个像素点属于第一图
像。对于拼接帧图像,将左上角作为坐标原点,对于第一图像和第二图像,也将对应图像中
的左上角作为坐标原点。
(31,1),然后根据左右拼接方式,确定这一组像素点全部属于第二图像,再将第一坐标信息
转换为在第二图像中的第二坐标信息。由于这些像素点在拼接帧图像中位于第2行的第1至
第32个,在第二图像中也位于第2行的第1至第32个,转换后得到的第二坐标信息也为(0,1)
至(31,1),根据第二坐标信息,生成访问第二图像中从(0,1)开始共32个像素点的第二坐标
访问命令并发送给第二子图像处理模块232。
(1480,1)至(1511,1),然后根据左右拼接方式可知,这些像素点中,前20个属于第二图像,
转换得到的在第二图像中的第二坐标信息为(1480,1)至(1499,1),因此生成访问第二图像
中从(1480,1)开始共20个像素点的第二坐标访问命令并发送给第二子图像处理模块232;
后12个属于第一图像,转换得到的在第一图像中的第二坐标信息为(0,1)至(11,1),因此生
成访问第一图像中从(0,1)开始共12个像素点的第一坐标访问命令并发送给第一子图像处
理模块231。
(1559,1)至(1590,1),然后根据左右拼接方式,确定这一组像素点全部属于第一图像,再将
第一坐标信息转换为在第一图像中的第二坐标信息。由于这些像素点在拼接帧图像中位于
第2行的第1560至第1591个,在第一图像中位于第2行的第60至第91个,转换后得到的第二
坐标信息也为(59,1)至(90,1),根据第二坐标信息,生成访问第一图像中从(59,1)开始共
32个像素点的第一坐标访问命令并发送给第一子图像处理模块231。
拼接方式可知,前1500行中,每行的2000个像素点均属于第二图像,后500行中,每行的2000
个像素点均属于第二图像。
(31,1),然后根据上下拼接方式,确定这一组像素点全部属于第二图像,再将第一坐标信息
转换为在第二图像中的第二坐标信息。由于这些像素点在拼接帧图像中位于第2行的第1至
第32个,在第二图像中也位于第2行的第1至第32个,转换后得到的第二坐标信息也为(0,1)
至(31,1),根据第二坐标信息,生成访问第二图像中从(0,1)开始共32个像素点的第二坐标
访问命令并发送给第二子图像处理模块232。
1799)至(31,1799),然后根据上下拼接方式,确定这一组像素点全部属于第一图像,再将第
一坐标信息转换为在第二图像中的第二坐标信息。由于这些像素点在拼接帧图像中位于第
1800行的第1至第32个,在第一图像中位于第300行的第1至第32个,转换后得到的第二坐标
信息也为(0,299)至(31,299),根据第二坐标信息,生成访问第一图像中从(0,299)开始共
32个像素点的第一坐标访问命令并发送给第一子图像处理模块231。
得到各组像素点中有效像素点对应的真实存储地址和像素传输长度。
理,具体为按比例填充像素数据,将小图像按比例拉伸到大尺寸的近似大小,填充后有效像
素数据和填充像素数据的整体能够符合拼接帧图像的要求。例如,主机10需要第一图像为
2000行,而真实的图像1只有1000行,则对于图像1还需要1000行的填充像素数据才能得到
2000行的第一图像。
邻行之间,填充比例为2:1,以Display1 Line表示显示有效像素数据的一行像素点,
Padding Line表示显示填充像素数据的一行像素点,每两行Display1 Line中间插入一行
Padding Line。根据预设填充参数,可以确定出图像1中哪行像素点为Display1 Line,哪行
像素点为Padding Line,将属于Display1 Line的像素点作为有效像素点,将属于Padding
Line的像素点作为填充像素点。然后,根据每组像素点在本幅图像中所处的位置,可确定每
组像素点中哪些像素点属于有效像素点,哪些像素点属于填充像素点。
地,以预设填充参数为有效像素数据和填充像素数据的行数比为2:1为例,则每三行作为一
个循环,当计数器的记录表示已经发送了两行有效像素数据后,下一行不会发送有效像素
数据,而是会发送填充有效数据,当计数器记录到发完一行填充像素数据后,完成一个循
环,并继续开始下一个循环的计数。此外,计数器还会记录已发送的有效像素数据的总行
数,当某个图像的所有有效像素数据行都被发送完成后,还没有达到填充帧行数的要求,则
剩余行的像素数据均发填充有效数据。通过计数器的方式,可以确定哪一行应该发有效像
素数据,哪一行应该返回填充像素数据,因此可以确定出哪一些像素点为有效像素点,哪一
些像素点为填充像素点。
点。对于其中的有效像素点,图像处理模块在接收到坐标访问命令后,根据第二映射关系将
坐标信息转换成真实存储地址和像素传输长度,真实存储地址用于表示该组像素点中第一
个有效像素点的有效像素数据在存储模块30中的真实存储位置,像素传输长度用于表示从
第一个有效像素点开始还要传输多少个像素点的有效像素数据。
存在包括有效像素点的目标组像素点时,有效像素点对应的子图像处理模块根据坐标访问
命令和第二映射关系,得到目标组像素点中有效像素点对应的真实存储地址和像素传输长
度。由于图像处理模块包括第一子图像处理模块231和第二子图像处理模块232,每个子图
像处理模块仅用于处理一幅图像的命令映射和分类,而根据预设拼接方式和预设拼接参数
的不同,结合图7至图9可知,每组像素点中各类像素点的类型可以分为以下几种情况:
7至图9中的Dispaly1 Line 0至Dispaly1 Line 7)。
像素点位于Dispaly1 Line 0)。
0,另一部分像素点位于第一图像的Padding Line 0)。
于图7中的第3行,且一部分像素点位于第二图像的Dispaly2 Line 2,另一部分像素点位于
第一图像的Padding Line 0)。
第一图像的Dispaly1 Line 7,另一部分像素点位于第一图像的Padding Line 7)。
素点是有效像素点还是填充像素点,对于有效像素点,根据第二映射关系确定出对应的真
实存储地址和像素传输长度。
接,因此拼接帧图像的最终呈现状态还有更多种情况,在此不再枚举。根据拼接情况的不
同,每组像素点的类型也会不同。
应的有效像素数据返回命令,有效像素数据返回命令携带各组中有效像素点对应的真实存
储地址和像素传输长度。
块30发送对应的有效像素数据返回命令,以进行有效像素数据的读取,填充像素点对应的
填充像素数据未存储在存储模块30中,图像处理模块生成并向数据返回模块26发送对应的
填充像素数据返回命令,以在图像映射模组20中直接生成填充像素数据。
令;在第一分类信息表征存在目标类像素点为填充像素点时,填充像素点对应的子图像处
理模块生成并向数据返回模块发送填充像素数据返回命令。
表征该组中所有像素点均有有效像素点,则第一子图像处理模块231向存储模块30发送对
应的邮箱像素数据返回命令。而以某一组像素点位于图6中第一图像的第3行为例,该组像
素点均为Padding Line 0,第一分类信息表征该组中所有像素点均有填充像素点,则第一
子图像处理模块231向数据返回模块26发送对应的填充像素数据返回命令。
信息表征该组中存在属于第二图像的有效像素点和属于第一图像的有效像素点,则第一子
图像处理模块231和第二子图像处理模块232分别向存储模块30发送对应的有效像素数据
返回命令。而以某一组像素点位于图7中的第3行,且一部分像素点位于第二图像的
Dispaly2 Line 2,另一部分像素点位于第一图像的Padding Line 0为例,第一分类信息和
第二分类信息表征该组中存在属于第二图像的有效像素点和属于第一图像的填充像素点,
则第二子图像处理模块232向存储模块30发送对应的有效像素数据返回命令,第一子图像
处理模块231向数据返回模块26发送对应的填充像素数据返回命令。
同的模块中存储或产生,需要根据计数器的记录情况,确定当前应该发送那种类型的命令。
以需要对图像1进行填充,且设定填充位置为图像1的相邻行之间,填充比例为2:1为例,则
计数器从第一行开始计算,在第一子图像处理模块231向存储模块30发送了两行像素点对
应的多个有效像素数据返回命令后,向数据返回模块26发送一行像素点对应的多个填充像
素数据返回命令,然后继续计数,每发送两行的有效像素数据返回命令,向数据返回模块26
发送一行的填充像素数据返回命令。
模块的处理结果,被第一子图像处理模块231通过命令接口4和/或被第二子图像处理模块
232通过命令接口5发送到命令选择模块24,因此,命令选择模块24可以接收来自三个不同
模块的命令,并根据各命令到来的先后顺序,依次发送给存储模块30。
据发送给数据返回模块26;数据返回模块26接收到填充像素数据返回命令后,生成一个固
定数值作为填充像素数据;存储模块30接收到其他访问命令后,也会根据该命令从真实存
储地址中读取所需的数据,并同样通过数据接口1将数据发送给数据返回模块26。然后,由
数据返回模块26将这些像素数据返回给主机10。
令缓存模块发送每组像素点对应的有效像素返回命令和/或填充像素数据返回命令。根据
第一分类信息可区分每组像素点中的有效像素点和填充像素点,根据第二分类信息可区分
每组中有效像素点与第一图像和第二图像的归属关系、以及每组中填充像素点与第一图像
和第二图像的归属关系,进而得到每组像素点中各类像素点的排列顺序。然后,按照该排列
顺序依次向命令缓存模块25发送各类像素点对应的返回命令。
接口7向命令缓存模块25发送有效像素数据返回命令,然后第一子图像处理模块231再通过
命令接口6向命令缓存模块25发送填充像素数据返回命令。
模块接收存储模块返回的各有效像素数据和/或直接生成各填充像素数据,并根据排列顺
序和各返回命令携带的拼接参数,处理各组像素点对应的像素数据,并返回给主机。
据返回模块26再根据各返回命令的具体内容,去处理存储模块30返回的有效像素数据和直
接生成的填充像素数据。在接收到返回命令时,命令缓存模块25将返回命令处理成数据返
回模块26可读取的格式,并添加拼接参数,拼接参数用于表示当前返回命令对应的像素数
据是否需要与下一条返回命令对应的像素数据进行拼接处理。当需要拼接时,处理后的返
回命令会携带需要等待下一条返回命令的描述,则在数据返回模块26接收到该条返回命令
后,不会马上处理,而是等待下一条返回命令过来之后,根据两条返回命令的内容去获取各
自的像素数据,并拼接成一个完整像素数据,该完整像素数据对应一个完整的组。当不需要
拼接时,处理后的返回命令可以携带不需要等待下一条返回命令的描述,或者默认不携带
该描述,则在数据返回模块26接收到该条返回命令后,直接处理即可,而不需要等待下一条
返回命令。
需的全部像素数据,不需要再进行拼接,因此该情况下第一子图像处理模块231或第二子图
像处理模块232发送给命令缓存模块25的有效像素返回命令,在处理后会表示不需要对像
素数据进行拼接,则数据返回模块26根据该有效像素返回命令,直接将从存储模块30取到
的有效像素数据返回给主机10即可。
将两种类型的像素数据拼接成一个完整组的像素数据后再返回给主机10。对于前者,命令
缓存模块25每发送一个返回命令给数据返回模块26,数据返回模块26会直接处理该命令,
并将该命令对应的像素数据返回给主机10。对于后者,命令缓存模块25按照排列顺序依次
发送两种类型像素点对应的返回命令,且在前一条返回命令中表示需要和下一条返回命令
一起处理,在后一条返回命令中表示不需要和下一条返回命令一起处理,则数据返回模块
26等两条返回命令都过来后,将存储模块30中取出的两个有效像素数据拼接成一个完整组
像素数据后返回、或者将存储模块30中取出的一个有效像素数据和在数据返回模块26中直
接生成的填充像素数据拼接成一个完整组像素数据后返回、或者将在数据返回模块26中直
接生成的两个填充像素数据拼接成一个完整组像素数据后返回。
接帧图像,由外部芯片将拼接后的两幅图像分别发送给不同的显示屏。
回命令,每个像素数据返回命令携带填充帧图像中一组像素点的虚拟存储地址和像素传输
长度,所有组像素点构成一个完整的填充帧图像,然后,对每组像素点,地址坐标转换模块
将虚拟存储地址映射为本组像素点在填充帧图像中的坐标信息,生成并向图像处理模块发
送该组像素数据返回命令对应的坐标访问命令,接着,图像处理模块根据预设填充参数确
定出每组像素点中哪一类像素点属于有效像素点,哪一类像素点属于填充像素点,对于有
效像素点,将其坐标信息进行映射得到各有效像素点对应的真实存储地址和像素传输长
度,并向存储模块发送携带该真实存储地址的有效像素数据返回命令,对于填充像素点,直
接向数据返回模块发送填充像素数据返回命令,最后,数据返回模块接收存储模块返回的
各有效像素数据和/或直接生成各填充像素数据,并返回给主机。通过上述方法,在主机和
存储模块之间增加一个硬件模组来实现了对图像的数据填充和拼接,不需要软件进行内存
拷贝和填充数据,节省了内存拷贝所带来的时间和带宽消耗,也节省了软件开销。
以包括相互连接的主机10、图像映射模组20和存储模块30,图像映射模组20包括地址坐标
转换模块22、图像处理模块和数据返回模块26,其中:
点的虚拟存储地址和像素传输长度;
数据返回命令对应的坐标访问命令;
得到各组像素点中有效像素点对应的真实存储地址和像素传输长度;
素点对应的有效像素数据返回命令,有效像素数据返回命令携带各组中有效像素点对应的
真实存储地址和像素传输长度;
填充帧图像读取命令或其他访问命令;在总线访问命令为填充帧图像读取命令时,将填充
帧图像读取命令发送给地址坐标转换模块22;在总线访问命令为其他访问命令时,将其他
访问命令发送至存储模块30。
令和第一映射关系,得到各组像素点在拼接帧图像中的第一坐标信息;根据预设拼接方式,
确定每组像素点中各类像素点的第二分类信息,第二分类信息包括各类像素点与各幅图像
的归属关系;根据所述第二分类信息,将第一坐标信息转换为各组像素点在形成拼接帧图
像的各副图像中的第二坐标信息;根据第二坐标信息,生成并向各子图像处理模块发送对
应的坐标访问命令。
有效像素点的目标组像素点时,有效像素点对应的子图像处理模块根据坐标访问命令和第
二映射关系,得到目标组像素点中有效像素点对应的真实存储地址和像素传输长度。
素数据返回命令;在第一分类信息表征存在目标类像素点为填充像素点时,填充像素点对
应的子图像处理模块生成并向数据返回模块26发送填充像素数据返回命令。
序,各子图像处理模块向命令缓存模块发送每组像素点对应的有效像素返回命令和/或填
充像素数据返回命令。
26还用于,接收存储模块30返回的各有效像素数据和/或直接生成各填充像素数据,并根据
排列顺序和各返回命令携带的拼接参数,处理各组像素点对应的像素数据,并返回给主机
10。
命令携带填充帧图像中一组像素点的虚拟存储地址和像素传输长度,所有组像素点构成一
个完整的填充帧图像,然后,对每组像素点,地址坐标转换模块将虚拟存储地址映射为本组
像素点在填充帧图像中的坐标信息,生成并向图像处理模块发送该组像素数据返回命令对
应的坐标访问命令,接着,图像处理模块根据预设填充参数确定出每组像素点中哪一类像
素点属于有效像素点,哪一类像素点属于填充像素点,对于有效像素点,将其坐标信息进行
映射得到各有效像素点对应的真实存储地址和像素传输长度,并向存储模块发送携带该真
实存储地址的有效像素数据返回命令,对于填充像素点,直接向数据返回模块发送填充像
素数据返回命令,最后,数据返回模块接收存储模块返回的各有效像素数据和/或直接生成
各填充像素数据,并返回给主机。通过上述方法,在主机和存储模块之间增加一个硬件模组
来实现了对图像的数据填充和拼接,不需要软件进行内存拷贝和填充数据,节省了内存拷
贝所带来的时间和带宽消耗,也节省了软件开销。
1002、输入单元1003、显示单元1004、传感器1005、音频电路1006、WiFi模块1007、包括有一
个或者一个以上处理核心的处理器1008、以及电源1009等部件。本领域技术人员可以理解,
图10中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部
件,或者行合某些部件,或者不同的部件布置。其中:
基站。存储器1002可用于存储软件程序以及模块,处理器1008通过运行存储在存储器1002
的软件程序以及模块,从而执行各种功能应用以及数据处理。输入单元1003可用于接收输
入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学
或者轨迹球信号输入。
出了WiFi模块1007,但是可以理解的是,其并不属于电子设备的必须构成,完全可以根据需
要在不改变申请的本质的范围内而省略。
1002内的数据,执行电子设备的各种功能和处理数据,从而对手机进行整体监控。
耗管理等功能。
程对应的可执行文件加载到存储器1002中,并由处理器1008来运行存储在存储器1002中的
应用程序,从而实现以下功能:
储地址和像素传输长度;地址坐标转换模块根据各像素数据返回命令和第一映射关系,得
到各组像素点在填充帧图像中的坐标信息,根据坐标信息,生成并向图像处理模块发送各
像素数据返回命令对应的坐标访问命令;图像处理模块根据预设填充参数,确定各组像素
点中各类像素点的第一分类信息,第一分类信息包括有效像素点或填充像素点,根据坐标
访问命令和第二映射关系,得到各组像素点中有效像素点对应的真实存储地址和像素传输
长度;图像处理模块根据第一分类信息,生成并向数据返回模块发送各组中填充像素点对
应的填充像素数据返回命令,和/或生成并向存储模块发送各组中有效像素点对应的有效
像素数据返回命令,有效像素数据返回命令携带各组中有效像素点对应的真实存储地址和
像素传输长度;数据返回模块接收存储模块返回的各有效像素数据和/或直接生成各填充
像素数据,并返回给主机。
储介质中,并由处理器进行加载和执行。
储地址和像素传输长度;地址坐标转换模块根据各像素数据返回命令和第一映射关系,得
到各组像素点在填充帧图像中的坐标信息,根据坐标信息,生成并向图像处理模块发送各
像素数据返回命令对应的坐标访问命令;图像处理模块根据预设填充参数,确定各组像素
点中各类像素点的第一分类信息,第一分类信息包括有效像素点或填充像素点,根据坐标
访问命令和第二映射关系,得到各组像素点中有效像素点对应的真实存储地址和像素传输
长度;图像处理模块根据第一分类信息,生成并向数据返回模块发送各组中填充像素点对
应的填充像素数据返回命令,和/或生成并向存储模块发送各组中有效像素点对应的有效
像素数据返回命令,有效像素数据返回命令携带各组中有效像素点对应的真实存储地址和
像素传输长度;数据返回模块接收存储模块返回的各有效像素数据和/或直接生成各填充
像素数据,并返回给主机。
果,详见前面的实施例,在此不再赘述。
例的说明只是用于帮助理解本申请的技术方案及其核心思想;本领域的普通技术人员应当
理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征
进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例的
技术方案的范围。