投影校正方法、装置、存储介质和投影设备转让专利
申请号 : CN202111050693.1
文献号 : CN113489961B
文献日 : 2022-03-22
发明人 : 付啸天 , 张聪 , 胡震宇
申请人 : 深圳市火乐科技发展有限公司
摘要 :
权利要求 :
1.一种投影校正方法,其特征在于,所述方法包括:获取图像采集装置拍摄得到的目标图像;所述目标图像包含成像媒介的一部分,所述目标图像包括投影画面显示区域和成像媒介区域;
根据所述目标图像,确定所述成像媒介的部分边界,所述成像媒介的部分边界为多条相交或延长线相交的线段;
根据所述成像媒介的部分边界确定所述成像媒介各个顶点的坐标;
根据所述投影画面显示区域确定目标变换关系;
根据所述成像媒介各个顶点的坐标和所述目标变换关系,确定目标投影区域;
根据所述目标投影区域对所述投影画面显示区域进行校正,使得所述投影画面显示区域和所述成像媒介区域重合;
所述根据所述成像媒介的部分边界确定所述成像媒介各个顶点的坐标,包括:获取多条线段的交点的坐标、或多条线段的延长线的交点的坐标;
将所述交点的坐标作为所述成像媒介已知顶点的坐标;
根据所述交点的坐标、夹角以及预设的成像媒介边界的比例关系确定所述成像媒介其他顶点的坐标,所述夹角为多条线段相交的夹角或多条线段的延长线相交的夹角。
2.根据权利要求1所述的方法,其特征在于,所述根据所述投影画面显示区域确定目标变换关系,包括:
根据所述投影画面显示区域,以及投影设备的数字微镜器件DMD上预设的反射区域,确定目标变换关系;所述目标变换关系表示所述投影画面显示区域所处的成像平面与所述DMD的反射平面之间的变换关系。
3.根据权利要求2所述的方法,其特征在于,所述根据所述投影画面显示区域,以及投影设备的数字微镜器件DMD上预设的反射区域,确定目标变换关系,包括:根据所述目标图像,确定所述投影画面显示区域第一角点的坐标;
获取所述DMD上预设的反射区域中与所述第一角点对应的第二角点的坐标;
根据所述第一角点的坐标以及所述第二角点的坐标,确定所述目标变换关系。
4.根据权利要求2所述的方法,其特征在于,所述根据所述成像媒介各个顶点的坐标和所述目标变换关系,确定目标投影区域,包括:根据所述目标变换关系,将所述成像媒介各个顶点映射到所述反射平面,得到与所述成像媒介的各个顶点对应的反射平面上的点;
根据所述反射平面上的点确定所述目标投影区域。
5.根据权利要求1所述的方法,其特征在于,所述根据所述成像媒介的部分边界确定所述成像媒介各个顶点的坐标,包括:若多条线段的交点个数为预设值,将所述多条线段的交点的坐标作为所述成像媒介的各个顶点的坐标;
或若多条线段的延长线的交点个数为预设值,将所述多条线段的延长线的交点的坐标作为所述成像媒介的各个顶点的坐标。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标图像,确定所述成像媒介的部分边界,包括:
对所述目标图像进行边缘识别,提取出图像边缘特征;
对所述图像边缘特征进行降噪处理,再对降噪处理后图像边缘特征进行直线提取,将通过直线提取得到的线段作为所述成像媒介的部分边界。
7.一种投影校正装置,其特征在于,所述装置包括:获取模块,用于获取图像采集装置拍摄得到的目标图像;所述目标图像包含成像媒介的一部分,所述目标图像包括投影画面显示区域和成像媒介区域;
确定模块,用于根据所述目标图像,确定所述成像媒介的部分边界,所述成像媒介的部分边界为多条相交或延长线相交的线段;
所述确定模块,还用于根据所述成像媒介的部分边界确定所述成像媒介各个顶点的坐标;
所述确定模块,还用于根据所述投影画面显示区域确定目标变换关系;
所述确定模块,还用于根据所述成像媒介各个顶点的坐标和所述目标变换关系,确定目标投影区域;
校正模块,用于根据所述目标投影区域对所述投影画面显示区域进行校正,使得所述投影画面显示区域和所述成像媒介区域重合;
所述确定模块包括:
第一获取子模块,用于获取多条线段的交点的坐标、或多条线段的延长线的交点的坐标;
第一确定子模块,用于将所述交点的坐标作为所述成像媒介已知顶点的坐标;
所述第一确定子模块,还用于根据所述交点的坐标、夹角以及预设的成像媒介边界的比例关系确定所述成像媒介其他顶点的坐标,所述夹角为多条线段相交的夹角或多条线段的延长线相交的夹角。
8.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1‑6中任一项所述方法的步骤。
9.一种投影设备,其特征在于,包括:存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1‑6中任一项所述方法的步骤。
说明书 :
投影校正方法、装置、存储介质和投影设备
技术领域
背景技术
将短焦或超短焦投影设备与投影幕布配合使用,以使投影设备可以在投影幕布上投影出清
晰的图像。
这会影响投影设备的投影效果。同时,通过人工手动调节的方式,来调整投影画面对齐投影
幕布的边框,操作过程复杂,并且往往无法获得满足用户要求的投影效果。
发明内容
所述DMD的反射平面之间的变换关系。
所述DMD的反射平面之间的变换关系。
域,成像媒介的部分边界为多条相交或延长线相交的线段,然后根据成像媒介的部分边界
确定成像媒介各个顶点的坐标,再根据投影画面显示区域确定目标变换关系,并根据成像
媒介各个顶点的坐标和目标变换关系,确定目标投影区域,最后根据目标投影区域对投影
画面显示区域进行校正,使得投影画面显示区域和成像媒介区域重合。本公开可以根据成
像媒介对应的部分边界,结合目标变换关系,确定能够使投影画面显示区域和成像媒介区
域重合的目标投影区域,并利用目标投影区域校正投影画面显示区域,实现自动投影校正,
从而确保投影设备的投影与成像媒介对齐,操作简单,无需用户手动调节,就能获得满足用
户要求的投影效果。
附图说明
具体实施方式
中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附
权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
成像媒介。投影设备可以将自身播放的图像或视频投影至成像媒介上,以在成像媒介上显
示对应的投影画面。其中,投影设备可以为短焦或超短焦的投影仪,图像采集装置设置在投
影设备上,用于对投影画面和成像媒介所处的区域进行拍摄,成像媒介可以是投影幕布、墙
面、硬屏以及其他任意能够显示投影画面的器件,图像采集装置可以为摄像头或图像传感
器。
校正。例如,可以在投影设备上设置有相应的校正按钮,用户可以通过按下该校正按钮来向
投影设备发送校正指令。在投影设备开启自动对屏功能情况下,当投影设备检测到成像媒
介区域被完全包含在投影画面显示区域内、或投影画面显示区域与成像媒介区域部分重叠
时,可自动触发校正指令。
如棋盘格图像),通过该标定图像可获取投影画面的相关信息,例如投影画面的形状、投影
画面是否存在畸变等。之后可以由图像采集装置对该投影画面和成像媒介所处的区域进行
拍摄,得到目标图像,并进一步将目标图像发送至投影设备。其中,目标图像中包括图像采
集装置拍摄到的投影画面对应的投影画面显示区域,以及图像采集装置拍摄到的成像媒介
对应的成像媒介区域。
果要确定成像媒介的全部边界位置(即成像媒介的4条边的边界位置),则要求目标图像必
须包含成像媒介的全部4条边。然而,在实际情况中,由于投影设备与成像媒介形成的位姿
关系限制,可能会使图像采集装置得到的目标图像无法包含成像媒介的全部4条边,或者目
标图像中成像媒介的边的特征不强,使目标图像中成像媒介的某条边出现中间断开,缺少
成像媒介某条边的左右亮角等情况,这会导致无法确定成像媒介的全部边界位置,进而无
法准确地对投影画面的位置进行校正。另外,为了确保目标图像能够包含成像媒介的全部4
条边,对图像采集装置的镜头视野要求较高,图像采集装置需要采用鱼眼镜头。但是,鱼眼
镜头的价格较高,同时鱼眼镜头的体积较大,并且鱼眼镜头要超出投影设备的外壳才能使
视野外缘不受遮挡,这限制了投影设备的ID(英文:industrial design,中文:工业设计)设
计。
像媒介的一部分),并基于成像媒介的部分边界位置来对投影画面的位置进行校正。具体
地,首先投影设备可以对目标图像进行识别,来确定成像媒介的部分边界。其中,部分边界
可以为多条相交的线段,也可以为多条延长线相交的线段,每条线段可以是成像媒介区域
中一条完整的边,也可以是成像媒介区域中一条完整的边的一部分。
上边界为投影幕布上方的边框在目标图像中对应的边界,左边界为投影幕布左边的边框在
目标图像中对应的边界,右边界为投影幕布右边的边框在目标图像中对应的边界,下边界
为投影幕布下方的边框在目标图像中对应的边界。进一步的,由于不需要确定成像媒介的
全部边界位置,对图像采集装置的镜头视野要求较小。因此图像采集装置可以使用价格较
低、且体积较小的广角镜头或者普通视角镜头,以降低使用成本和所占结构空间范围,同时
可以满足投影设备的ID设计要求。
的上边界、左边界和右边界,首先投影设备可以利用上边界、左边界和右边界,确定成像媒
介上方的两个顶点的坐标,以及上边界、左边界和右边界之间形成的夹角角度。之后投影设
备可以根据已确定的两个顶点的坐标和夹角角度,结合预设的成像媒介的长宽比,确定成
像媒介下方的两个顶点的坐标。采用这样的方式,相当于利用部分边界确定的成像媒介的
两个顶点的位置,计算出成像媒介的另外两个顶点的位置。
系。其中,目标变换关系表示投影画面显示区域所处的成像平面与DMD的反射平面之间的变
换关系。反射区域可以理解为DMD的反射平面上预先设置的用于对投影设备所要投影的图
像进行反射的区域,例如可以为16:9的矩形区域。
与每个特征点对应的投影特征点,并确定每个投影特征点的坐标。最后可以根据每个特征
点的坐标和每个投影特征点的坐标,确定目标变换关系。其中,特征点的数量至少为4个。
面反射后,投射在成像媒介所处的平面上形成的,那么经过DMD反射的区域只需要限制在成
像媒介的各个顶点对应的反射平面上的点所围成的区域内,就可以确保投影画面与成像媒
介的边框对齐。在确定各个顶点对应的反射平面上的点之后,可以进一步根据反射平面上
的点确定目标投影区域。其中,目标投影区域可以理解为在成像媒介所处平面上,能够确保
投影画面与成像媒介的边框对齐的实际的投影区域。
投影设备的自动对屏。
介的部分边界为多条相交或延长线相交的线段,然后根据成像媒介的部分边界确定成像媒
介各个顶点的坐标,再根据投影画面显示区域确定目标变换关系,并根据成像媒介各个顶
点的坐标和目标变换关系,确定目标投影区域,最后根据目标投影区域对投影画面显示区
域进行校正,使得投影画面显示区域和成像媒介区域重合。本公开可以根据成像媒介对应
的部分边界,结合目标变换关系,确定能够使投影画面显示区域和成像媒介区域重合的目
标投影区域,并利用目标投影区域校正投影画面显示区域,实现自动投影校正,从而确保投
影设备的投影与成像媒介对齐,操作简单,无需用户手动调节,就能获得满足用户要求的投
影效果。
成像媒介已知顶点的坐标。然后可以根据已知顶点的坐标、多条线段相交的夹角的夹角角
度(例如,当投影设备采集的目标图像中包含成像媒介的3条边界时,代表3条边界的各条线
段之间形成的夹角有两个,即有两个夹角角度),以及成像媒介边界的比例关系确定成像媒
介其他顶点的坐标。
媒介在目标图像中形状不显示为矩形。在部分边界包括线段AB、AC和BD的情况下,部分边界
中多条线段的交点为成像媒介上方的两个顶点,即已知顶点的坐标为成像媒介上方的两个
顶点的坐标(即A、B的坐标),此时多条线段相交的夹角的夹角角度为线段AB、AC之间的夹角
角度以及AB、BD之间的夹角角度。之后投影设备可以根据已确定的两个顶点的坐标和夹角
角度,结合成像媒介边界的比例关系,确定成像媒介下方的两个顶点的坐标(即C、D的坐
标),此时其他顶点的坐标为成像媒介下方的两个顶点的坐标。
(或每条边界的一部分),此时多条线段的交点即为成像媒介的各个顶点,那么可以将多条
线段的交点的坐标作为成像媒介的各个顶点的坐标。另外,如果多条线段的延长线的交点
个数为4,则说明部分边界中包含成像媒介的每条边界(或每条边界的一部分),此时多条线
段的延长线的交点即为成像媒介的各个顶点,那么可以将多条线段的延长线的交点的坐标
作为成像媒介的各个顶点的坐标。
分,此时多条线段的交点个数为4,且分别为交点a、b、c和d,则可以直接将交点a、b、c和d作
为成像媒介的4个顶点。另外,在这种情况下,还可以直接将成像媒介区域的底边的两个交
点c和d直接连起来,从而得到成像媒介区域的下边界。
地,预设图像可以采用带有棋盘格的图像,如图6所示,投影设备的光机可以根据预设图像
发出相应的光,并经过DMD上的反射区域进行反射后,在成像媒介所处的区域内形成投影画
面(即实际上是将棋盘格投影至成像媒介上),此时图像采集装置拍摄得到的目标图像也包
括棋盘格,那么可以由投影设备使用棋盘格检测算法,对目标图像中的棋盘格进行检测,以
获取棋盘格的坐标,并根据预设图像的先验信息推算出投影画面显示区域的第一角点的坐
标,即图6中的投影画面的4个角点的坐标。
第二角点的坐标,确定目标变换关系。上述第二角点是DMD平面上的点,上述第一角点通过
目标变换关系变换可得到对应的第二角点。进一步地,为了确保投影设备的投影与成像媒
介的边框对齐,需要使反射区域的比例关系与成像媒介边界的比例关系保持一致,例如,当
成像媒介边界的比例关系为16:9时,反射区域的比例关系也需要为16:9。
并采用二值化处理的方式来对图像边缘特征进行降噪处理,以消除部分噪声。之后特征提
取模块可以利用预设的直线提取算法,对降噪处理后图像边缘特征进行直线提取,得到多
个线段(即可能为成像媒介区域的边界的线段),并将通过直线提取得到的线段作为成像媒
介的部分边界。另外,为了提高确定部分边界的准确性,特征提取模块可以在通过直线提取
得到多个线段后,采用由先验知识确定的分类树对通过直线提取得到多个线段进行分类,
以由分类树根据每个线段的角度、位置和长度等参数,从多个线段中选出成像媒介的部分
边界。
目标图像变得更有利于设备处理,从而便于分析与提取各种特征。具体地,投影设备中可以
设置有预处理模块,当投影设备接收到目标图像时,可以由预处理模块对目标图像进行预
处理。例如,首先,预处理模块可以获取目标图像的图像参数,并确定该图像参数是否满足
预设参数条件。其中,图像参数可以包括曝光参数和对比度,预设参数条件可以为曝光参数
和对比度是否处于预设的参数范围。在图像参数不满足预设参数条件的情况下,说明目标
图像的图像质量不满足预期,预处理模块可以对目标图像进行预处理操作,得到处理后的
目标图像。其中,预处理操作包括对比度增强、随机噪声去除、边缘特征增强和伪彩色处理
中的至少一种。
的目标图像。其中,对处理后的目标图像进行畸变校正的方式可以参考相关技术中的描述,
本公开对此不作详细限定。
介的部分边界为多条相交或延长线相交的线段,然后根据成像媒介的部分边界确定成像媒
介各个顶点的坐标,再根据投影画面显示区域确定目标变换关系,并根据成像媒介各个顶
点的坐标和目标变换关系,确定目标投影区域,最后根据目标投影区域对投影画面显示区
域进行校正,使得投影画面显示区域和成像媒介区域重合。本公开可以根据成像媒介对应
的部分边界,结合目标变换关系,确定能够使投影画面显示区域和成像媒介区域重合的目
标投影区域,并利用目标投影区域校正投影画面显示区域,实现自动投影校正,从而确保投
影设备的投影与成像媒介对齐,操作简单,无需用户手动调节,就能获得满足用户要求的投
影效果。
之间的变换关系。
介的部分边界为多条相交或延长线相交的线段,然后根据成像媒介的部分边界确定成像媒
介各个顶点的坐标,再根据投影画面显示区域确定目标变换关系,并根据成像媒介各个顶
点的坐标和目标变换关系,确定目标投影区域,最后根据目标投影区域对投影画面显示区
域进行校正,使得投影画面显示区域和成像媒介区域重合。本公开可以根据成像媒介对应
的部分边界,结合目标变换关系,确定能够使投影画面显示区域和成像媒介区域重合的目
标投影区域,并利用目标投影区域校正投影画面显示区域,实现自动投影校正,从而确保投
影设备的投影与成像媒介对齐,操作简单,无需用户手动调节,就能获得满足用户要求的投
影效果。
入/输出(I/O)接口304,以及通信组件305中的一者或多者。
作,这些数据例如可以包括用于在该投影设备300上操作的任何应用程序或方法的指令,以
及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器302
可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存
储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器
(Electrically Erasable Programmable Read‑Only Memory,简称EEPROM),可擦除可编程
只读存储器(Erasable Programmable Read‑Only Memory,简称EPROM),可编程只读存储器
(Programmable Read‑Only Memory,简称PROM),只读存储器(Read‑Only Memory,简称
ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件303可以包括屏幕和音频组件。其中
屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括
一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储
器302或通过通信组件305发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O
接口304为处理器301和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,
按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于该投影设备300与其他
设备之间进行有线或无线通信。无线通信,例如Wi‑Fi,蓝牙,近场通信(Near Field
Communication,简称NFC),2G、3G、4G、NB‑IOT、eMTC、或其他5G等等,或它们中的一种或几种
的组合,在此不做限定。因此相应的该通信组件305可以包括:Wi‑Fi模块,蓝牙模块,NFC模
块等等。
Signal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,
简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列
(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元
件实现,用于执行上述的投影校正方法。
可以为上述包括程序指令的存储器302,上述程序指令可由投影设备300的处理器301执行
以完成上述的投影校正方法。
执行上述的投影校正方法的代码部分。
单变型,这些简单变型均属于本公开的保护范围。
能的组合方式不再另行说明。