车载平视显示系统图像畸变矫正方法和装置转让专利
申请号 : CN201910270514.1
文献号 : CN109993713B
文献日 : 2021-11-05
发明人 : 邓苏南 , 周志鹏 , 刘毅 , 罗志平 , 李冰
申请人 : 阿波罗智联(北京)科技有限公司
摘要 :
权利要求 :
1.一种车载平视显示系统图像畸变矫正方法,其特征在于,包括:获取待投影的图像;
利用预设的矫正模型对所述待投影的图像进行矫正处理,得到矫正后的待投影的图像,所述矫正后的待投影的图像为存在畸变的图像;
将所述矫正后的待投影的图像输入目标车载平视显示系统进行投射显示,其中,所述预设的矫正模型为利用与所述目标车载平视显示系统对应的训练数据集及所述目标车载平视显示系统训练生成的;
所述利用预设的矫正模型对所述待投影的图像进行矫正处理之前,还包括:获取所述目标车载平视显示系统对应的训练数据集,其中训练数据集中包括输入图像集;
利用所述目标车载平视显示系统依次将所述输入图像集中的每个输入图像进行投射显示,采集每个输入图像对应的输出图像;
对每个输入图像及对应的输出图像进行深度学习,确定所述目标车载平视显示系统对应的图像处理模型;
根据所述图像处理模型及每个输入图像,确定每个输入图像对应的参考图像;
对每个输入图像对应的参考图像及输入图像进行深度学习,确定所述预设的矫正模型。
2.如权利要求1所述的方法,其特征在于,所述采集每个输入图像对应的输出图像,包括:
利用图像采集设备采集每个输入图像对应的输出图像;
所述对每个输入图像及对应的输出图像进行深度学习,确定所述目标车载平视显示系统对应的图像处理模型之前,还包括:确定所述图像采集设备的第一分辨率与所述输入图像对应的第二分辨率一致。
3.如权利要求2所述的方法,其特征在于,若所述图像采集设备的第一分辨率与所述输入图像对应的第二分辨率不同,则所述对每个输入图像及对应的输出图像进行深度学习,确定所述目标车载平视显示系统对应的图像处理模型之前,还包括:根据所述图像采集设备的第一分辨率及所述输入图像对应的第二分辨率,确定每个输出图像与对应的输入图像间的缩放矩阵;
所述对每个输入图像及对应的输出图像进行深度学习,确定所述目标车载平视显示系统对应的图像处理模型,包括:根据每个输出图像与对应的输入图像间的缩放矩阵、将每个输入图像进行缩放处理,得到缩放图像;
对每个缩放图像及对应的输出图像进行深度学习,确定所述目标车载平视显示系统对应的图像处理模型。
4.如权利要求1所述的方法,其特征在于,所述获取所述目标车载平视显示系统对应的训练数据集,包括:
利用预设的图像生成函数,生成所述目标车载平视显示系统对应的训练数据集;
所述对每个输入图像及对应的输出图像进行深度学习,确定所述目标车载平视显示系统对应的图像处理模型之后,还包括:判断所述图像处理模型的准确度是否大于阈值;
若否,则对所述预设的图像生成函数进行调整,以生成新的训练数据集。
5.如权利要求4所述的方法,其特征在于,所述对所述预设的图像生成函数进行调整,包括:
对所述预设的图像生成函数的取值和/或包含的元素数量进行调整。
6.一种车载平视显示系统图像畸变矫正装置,其特征在于,包括:第一获取模块,用于获取待投影的图像;
矫正模块,用于利用预设的矫正模型对所述待投影的图像进行矫正处理,得到矫正后的待投影的图像,所述矫正后的待投影的图像为存在畸变的图像;
显示模块,用于将所述矫正后的待投影的图像输入目标车载平视显示系统进行投射显示,其中,所述预设的矫正模型为利用与所述目标车载平视显示系统对应的训练数据集及所述目标车载平视显示系统训练生成的;
第二获取模块,用于获取所述目标车载平视显示系统对应的训练数据集,其中训练数据集中包括输入图像集;
采集模块,用于利用所述目标车载平视显示系统依次将所述输入图像集中的每个输入图像进行投射显示,采集每个输入图像对应的输出图像;
第一确定模块,用于对每个输入图像及对应的输出图像进行深度学习,确定所述目标车载平视显示系统对应的图像处理模型;
第二确定模块,用于根据所述图像处理模型及每个输入图像,确定每个输入图像对应的参考图像;
第三确定模块,用于对每个输入图像对应的参考图像及输入图像进行深度学习,确定所述预设的矫正模型。
7.如权利要求6所述的装置,其特征在于,所述采集模块,具体用于:利用图像采集设备采集每个输入图像对应的输出图像;
所述装置还包括:
第四确定模块,用于确定所述图像采集设备的第一分辨率与所述输入图像对应的第二分辨率一致。
8.如权利要求7所述的装置,其特征在于,若所述图像采集设备的第一分辨率与所述输入图像对应的第二分辨率不同,所述装置还包括:第五确定模块,用于根据所述图像采集设备的第一分辨率及所述输入图像对应的第二分辨率,确定每个输出图像与对应的输入图像间的缩放矩阵;
所述第一确定模块,具体用于:根据每个输出图像与对应的输入图像间的缩放矩阵、将每个输入图像进行缩放处理,得到缩放图像;
对每个缩放图像及对应的输出图像进行深度学习,确定所述目标车载平视显示系统对应的图像处理模型。
9.如权利要求6所述的装置,其特征在于,所述第二获取模块,具体用于:利用预设的图像生成函数,生成所述目标车载平视显示系统对应的训练数据集;
所述装置还包括:
判断模块,用于判断所述图像处理模型的准确度是否大于阈值;
生成模块,用于当所述图像处理模型的准确度小于或等于阈值时,对所述预设的图像生成函数进行调整,以生成新的训练数据集。
10.如权利要求9所述的装置,其特征在于,所述生成模块,具体用于:对所述预设的图像生成函数的取值和/或包含的元素数量进行调整。
11.一种计算机设备,其特征在于,包括处理器和存储器;
其中,所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于实现如权利要求1‑5中任一所述的车载平视显示系统图像畸变矫正方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑5中任一所述的车载平视显示系统图像畸变矫正方法。
说明书 :
车载平视显示系统图像畸变矫正方法和装置
技术领域
背景技术
面,图像通过挡风玻璃投射到车外会产生畸变、相差,使得图像的显示质量较差。
挡风玻璃设计不同的光学元件,不仅设计难度高,而且增加了车辆的成本。
发明内容
车载平视显示系统训练生成的。
后的待投影的图像输入目标车载平视显示系统进行投射显示,其中,预设的矫正模型为利
用与目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的。由
此,在对图像进行投影显示之前,先利用矫正模型对图像进行矫正处理,对图像矫正处理后
再输入车载平视显示系统进行投影显示,利用矫正模型进行畸变矫正,相比通过增加光学
元件的方式,设计难度低、且成本低。
集及所述目标车载平视显示系统训练生成的。
后的待投影的图像输入目标车载平视显示系统进行投射显示,其中,预设的矫正模型为利
用与目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的。由
此,在图像进行投影显示之前,先利用矫正模型对图像进行矫正处理,对图像矫正处理后再
输入车载平视显示系统进行投影显示,利用矫正模型进行畸变矫正,相比通过增加光学元
件的方式,设计难度低、且成本低。
畸变矫正方法。
正方法。
附图说明
具体实施方式
图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
设的矫正模型对待投影的图像进行矫正后再投影显示,实现对待投影的图像进行畸变矫
正。
其中,训练数据集中包含大量的图像。
大提高了投影显示质量。
画面畸变较小或者没有畸变,提高了用户观看体验。
型进行矫正处理,使得矫正后的后图像存在畸变。当矫正后的待投影图像输入至目标车载
平视显示系统投影至挡风玻璃时,矫正后的图像经过挡风玻璃的畸变作用后,最终投影显
示的图像正常显示。
的平视显示系统的体积也比较大。
示,由此,利用矫正模型进行畸变矫正,成本较低、减少了车载平视显示系统的体积,并且也
无需考虑前挡风玻璃的参数。
示系统图像畸变矫正方法的流程示意图。
的每帧图像为输入图像集中的图像。
个输入图像对应的投影图像,称为输出图像。
中,图像处理模型可用于确定输入图像与输出图像之间的关系。
实际对应的输出图像,计算损失函数,根据计算结果调整模型参数,直至训练完毕。
平视显示系统投影出的输入图像不存在畸变,那么可以根据图像处理模型和每个输入图
像,确定图像处理模型的输入,那么这里的确定的图像处理模型的输入,称为参考图像。
像为P1,也就是使投影的图像正常显示,那么模P1=C1(P0),这里P0即为参考图像。由此,在
已经输入图像P1和图像处理模型C1的情况下,可根据P1和C1确定参考图像。
图像进行一定的处理,从而能够正常显示待显示的图像。
预测的图像,与输入图像实际对应的参考图像,计算损失函数,根据计算结果调整模型参
数,直至训练完毕。
型。
此,根据输入图像和输出图像确定的图像处理模型会不准确,从而会导致矫正模型不准确。
第二分辨率一致。在确定输入图像与图像采集设备的分辨率一致的情况下,图像采集设备
采集的输出图像的分辨率与输入图像一致,对每个输入图像与输出图像进行深度学习,得
到图像处理模型。
应的输出图像进行深度学习,可以保证矫正模型的准确性。
平视显示系统图像畸变矫正方法的流程示意图。
输入图像与输出图像进行深度学习,会使得到的图像处理模型的准确性较低。
应的第二分辨率,确定每个输出图像与对应的输入图像之间的缩放矩阵。
输出图像对应的缩放矩阵可能相同,也可能不同。
的分辨率,与图像采集设备的分辨率一致。
用图像采集设备采集的输出图像的分辨率与缩放图像的分辨率一致。
程与上述实施例中记载的对输入图像与输出图像进行深度学习的过程相同,在此不再赘
述。
图像与对应的输入图像之间的缩放矩阵,利用缩放矩阵对每个输入图像进行缩放处理,利
用缩放处理得到的每个缩放图像及对应的输出图像,得到图像处理模型,从而保证了图像
处理模型的准确性及矫正模型的准确性。
视显示系统对应的训练数据集。
入图像集中的图像。
处理模型进行测试,根据模型预测的图像和实际的输出图像计算准确度,判断图像处理模
型的准确度是否大于阈值。
数据集,继续对图像处理模型进行训练。
取值。
参数取值实现。
后利用输入图像与参考图像,获取矫正模型。
集继续对图像处理模型进行训练,可以提高图像处理模型的准确度,进而提高矫正模型的
准确度。
目标车载平视显示系统训练生成的。
后的待投影的图像输入目标车载平视显示系统进行投射显示,其中,预设的矫正模型为利
用与目标车载平视显示系统对应的训练数据集及目标车载平视显示系统训练生成的。由
此,在图像进行投影显示之前,先利用矫正模型对图像进行矫正处理,对图像矫正处理后再
输入车载平视显示系统进行投影显示,利用矫正模型进行畸变矫正,相比通过增加光学元
件的方式,设计难度低、且成本低。
(包括系统存储器28和处理单元16)的总线18。
例来说,这些体系结构包括但不限于工业标准体系结构(Industry Standard
Architecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下
简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics Standards
Association;以下简称:VESA)局域总线以及外围组件互连(Peripheral Component
Interconnection;以下简称:PCI)总线。
进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,
存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动
器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱
动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read Only
Memory;以下简称:CD‑ROM)、数字多功能只读光盘(Digital Video Disc Read Only
Memory;以下简称:DVD‑ROM)或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动
器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产
品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本申请各
实施例的功能。
程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常
执行本申请所描述的实施例中的功能和/或方法。
得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解
调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可
以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:
LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图
所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示
出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动
器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
变矫正方法。
征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两
个,例如两个,三个等,除非另有明确具体的限定。
分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺
序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请
的实施例所属技术领域的技术人员所理解。
指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执
行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设
备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传
输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装
置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电
连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器
(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存
储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的
介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其
他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技
术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离
散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编
程门阵列(FPGA)等。
质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如
果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机
可读取存储介质中。
制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变
型。