一种具有摄像头的终端和拍摄方法转让专利

申请号 : CN201780074317.1

文献号 : CN110024366B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 徐刚孙拓赵宏原朱家庆刘康仲侯锨锠李昕

申请人 : 华为技术有限公司

摘要 :

本申请实施例公开了一种具有摄像头的终端和拍摄方法,用于在不影响工业设计效果和屏幕画面的整体显示效果的情况下,将前置摄像头整合进显示区域中。所述终端包括:显示面板和至少一颗摄像头;所述至少一颗摄像头位于所述显示面板的背后,所述显示面板上与所述至少一颗摄像头位置对应的区域为第一区域,所述显示面板上第一区域之外的区域为第二区域,其中,所述第一区域的每个像素单元包括透明部分和非透明部分,所述第二区域的每个像素单元包括所述透明部分和所述非透明部分,所述第一区域中所述透明部分的比例大于所述第二区域中所述透明部分的比例。

权利要求 :

1.一种具有摄像头的终端,其特征在于,包括:

显示面板和至少一颗摄像头;

所述至少一颗摄像头位于所述显示面板的背后,所述显示面板上与所述至少一颗摄像头位置对应的区域为第一区域,所述显示面板上第一区域之外的区域为第二区域,其中,所述第一区域的每个像素单元包括透明部分和非透明部分,所述第二区域的每个像素单元包括所述透明部分和所述非透明部分,所述第一区域中所述透明部分的比例大于所述第二区域中所述透明部分的比例;

所述终端还包括:微动马达;所述摄像头为至少一颗摄像头;

所述微动马达与所述摄像头物理连接,所述微动马达用于带动所述至少一颗摄像头移动。

2.根据权利要求1所述的终端,其特征在于,所述透明部分为透明玻璃或者透明塑料膜,所述非透明部分包括设置于像素单元中设有薄膜晶体管器件和金属线的部分。

3.根据权利要求1或2所述的终端,其特征在于,第一区域的每英寸所拥有的像素数目PPI为第二区域的PPI的1/M,所述M大于1。

4.根据权利要求1或2所述的终端,其特征在于,所述第一区域中采用无内部补偿的像素电路,所述第二区域中采用有内部补偿的像素电路。

5.一种拍摄方法,适用于具有摄像头的终端,其特征在于,所述终端包括显示面板和至少一颗摄像头,所述至少一颗摄像头位于所述显示面板的背后,所述显示面板上与所述至少一颗摄像头位置对应的区域为第一区域,所述显示面板上第一区域之外的区域为第二区域,其中,所述第一区域的每个像素单元包括透明部分和非透明部分,所述第二区域的每个像素单元包括所述透明部分和所述非透明部分,所述第一区域中所述透明部分的比例大于所述第二区域中所述透明部分的比例,所述方法包括:获取所述摄像头在相对于所述显示面板不同位置快速拍摄的N张图片,所述N张图片中均有被所述第一区域中非透明部分遮挡形成的遮挡区域,所述N为大于1的正整数;

采用图像合成方法处理所述N张图片,得到所述遮挡区域完全被复原或部分被复原的图片;

所述终端还包括微动马达;

所述获取摄像头在相对于显示面板不同位置快速拍摄的N张图片包括:拍摄时,所述微动马达带动所述至少一颗摄像头移动;

在所述至少一颗摄像头移动的过程中,控制所述至少一颗摄像头在相对于所述显示面板的不同位置快速拍摄所述N张图片;

所述采用图像合成方法处理所述N张图片包括:

根据所述至少一颗摄像头移动时所述摄像头与所述显示面板的相对位置,处理所述N张图片。

6.根据权利要求5所述的方法,其特征在于,所述摄像头包括至少两个摄像头;

所述采用图像合成方法处理所述N张图片包括:

根据所述至少两个摄像头拍摄的图片对所述遮挡区域互补,处理所述N张图片。

7.根据权利要求5或6所述的方法,其特征在于,当得到所述遮挡区域部分被复原的图片时,所述方法还包括:采用图像处理算法处理所述遮挡区域部分被复原的图片,得到所述遮挡区域完全被复原的图片。

8.根据权利要求7所述的方法,其特征在于,所述采用图像处理算法处理所述遮挡区域部分被复原的图片包括:对所述遮挡区域部分被复原的图片中被遮挡的像素采用所述被遮挡的像素的临近像素的信息进行插值运算。

9.根据权利要求7所述的方法,其特征在于,所述采用图像处理算法处理所述遮挡区域部分被复原的图片包括:对所述遮挡区域部分被复原的图片中被遮挡的像素的物理信息进行识别;

依照识别出的所述物理信息的内容复原所述遮挡区域部分被复原的图片中被遮挡的像素的信息。

10.根据权利要求5、6、8或9所述的方法,其特征在于,第一区域的PPI为第二区域的PPI的1/M,所述M大于1,所述方法还包括:在所述第一区域将相邻M个像素的显示数据压缩为1个像素的显示数据进行显示。

11.根据权利要求10所述的方法,其特征在于,所述方法还包括:增加所述第一区域的整体亮度,使得所述第一区域与第二区域的亮度曲线的相似度大于预置数值。

12.根据权利要求5、6、8、9或11所述的方法,其特征在于,所述第一区域中采用了无内部补偿的像素电路,所述方法还包括:对所述第一区域的像素单元进行外部补偿。

13.根据权利要求5、6、8、9或11所述的方法,其特征在于,所述方法还包括:拍摄时,在所述显示面板中插入黑帧。

14.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求5-13任意一项所述的方法。

说明书 :

一种具有摄像头的终端和拍摄方法

技术领域

[0001] 本申请涉及终端技术领域,特别涉及一种具有摄像头的终端和拍摄方法。

背景技术

[0002] 随着市场对手机的屏幕占比的要求与日俱增,各大厂商纷纷推出全面屏概念的终端设备,如小米MIX、夏普Aquos Crystal等。目前终端设备发展的目标是屏幕占满整个终端前面板。
[0003] 目前,指纹/返回功能Home键等都有方案进行转移或者合入屏幕中,而前置摄像头方面,还没有较好的方案将其与屏幕的显示区域进行整合。有一个设想的方式是对屏幕进行异形切割,切掉屏幕的一部分,使用屏幕切割留出的空间进行摄像头等组件的安装。
[0004] 然而,若采用这种方式进行前置摄像头与屏幕的整合,被切割掉的部分将无法显示,在屏幕点亮状态下,会出现一个缺角或挖槽,导致工业设计(industrial design,ID)效果不理想,影响屏幕画面的整体显示效果,也增加显示屏的成本。

发明内容

[0005] 本申请实施例提供了一种具有摄像头的终端和拍摄方法,用于在不影响工业设计效果和屏幕画面的整体显示效果的情况下,将前置摄像头整合进显示区域中。
[0006] 本申请实施例的第一方面提供了一种具有摄像头的终端,包括:处理器、存储器、显示面板和至少一颗摄像头;所述至少一颗摄像头位于所述显示面板的背后;所述显示面板上与所述至少一颗摄像头位置对应的区域为第一区域,所述显示面板上第一区域之外的区域为第二区域,其中,所述第一区域的每个像素单元包括透明部分和非透明部分,所述第二区域的每个像素单元包括所述透明部分和所述非透明部分,所述第一区域中所述透明部分的比例大于所述第二区域中所述透明部分的比例。
[0007] 在一种可能的设计中,在本申请实施例第一方面的第一种实现方式中,所述透明部分为透明玻璃或者透明塑料膜,所述非透明部分包括设置于像素单元中设有薄膜晶体管器件和金属线的部分。本实现方式中,细化了透明部分和非透明部分的组成,使本申请实施例更加具有可操作性。
[0008] 在一种可能的设计中,在本申请实施例第一方面的第二种实现方式中,所述终端还包括:微动马达;所述微动马达包括壳体、
[0009] 在一种可能的设计中,所述终端还包括:微动马达;所述摄像头为至少一颗摄像头;
[0010] 所述微动马达与所述摄像头物理连接,所述微动马达用于带动所述至少一颗摄像头移动。
[0011] 在一种可能的设计中,在本申请实施例第一方面的第三种实现方式中,第一区域的每英寸所拥有的像素数目PPI为第二区域的PPI的1/M,所述M大于1。本实现方式中,第一区域的PPI为第二区域的PPI的1/M,且M大于1,使得第一区域的透明占比大于第二区域,增加了本申请实施例的实现方式。
[0012] 在一种可能的设计中,在本申请实施例第一方面的第四种实现方式中,所述第一区域中采用无内部补偿的像素电路,所述第二区域中采用有内部补偿的像素电路。本实现方式中,细化了使用无内部补偿的像素电路来增加透明占比,增加了本申请实施例的实现方式。
[0013] 本申请实施例的第二方面提供了一种拍摄方法,适用于具有摄像头的终端,所述终端包括显示面板和至少一颗摄像头,所述至少一颗摄像头位于所述显示面板的背后,所述显示面板上与所述至少一颗摄像头位置对应的区域为第一区域,所述显示面板上第一区域之外的区域为第二区域,其中,所述第一区域的每个像素单元包括透明部分和非透明部分,所述第二区域的每个像素单元包括所述透明部分和所述非透明部分,所述第一区域中所述透明部分的比例大于所述第二区域中所述透明部分的比例,所述拍摄方法包括:获取所述摄像头在相对于所述显示面板不同位置快速拍摄的N张图片,所述N张图片中均有被所述第一区域中非透明部分遮挡形成的遮挡区域,所述N为大于1的正整数;采用图像合成方法处理所述N张图片,得到所述遮挡区域完全被复原或部分被复原的图片。
[0014] 在一种可能的设计中,在本申请实施例第二方面的第一种实现方式中,所述终端还包括微动马达,所述微动马达用于与所述摄像头物理连接用于带动所述至少一颗摄像头移动。所述获取摄像头在相对于显示面板不同位置快速拍摄的N张图片包括:拍摄时,所述微动马达带动所述至少一颗摄像头移动;在所述至少一颗摄像头移动的过程中,控制所述至少一颗摄像头在相对于所述显示面板的不同位置快速拍摄所述N张图片;所述采用图像合成方法处理所述N张图片包括:根据所述至少一颗摄像头移动时所述摄像头与所述显示面板的相对位置,处理所述N张图片。本实现方式中,可以通过移动所述终端上的至少一颗摄像头来拍摄多张图片以进行处理,细化了本申请实施例的操作方式。
[0015] 在一种可能的设计中,在本申请实施例第二方面的第二种实现方式中,所述摄像头包括至少两个摄像头;所述采用图像合成方法处理所述N张图片包括:根据所述至少两个摄像头拍摄的图片对所述遮挡区域互补,处理所述N张图片。本实现方式中,当终端的摄像头至少有两个时,通过摄像头拍摄的照片互补来处理所述N张照片,使本申请实施例更具有可操作性。
[0016] 在一种可能的设计中,在本申请实施例第二方面的第三种实现方式中,当得到所述遮挡区域部分被复原的图片时,所述方法还包括:采用图像处理算法处理所述遮挡区域部分被复原的图片,得到所述遮挡区域完全被复原的图片。本实现方式中,还可以通过图像处理算法来复原遮挡区域,增加了本申请实施例的实现方式。
[0017] 在一种可能的设计中,在本申请实施例第二方面的第四种实现方式中,所述采用图像处理算法处理所述遮挡区域部分被复原的图片包括:对所述遮挡区域部分被复原的图片中被遮挡的像素采用所述被遮挡的像素的临近像素的信息进行插值运算。本实现方式中,采用临近像素的信息进行插值运算复原遮挡区域,使得本申请实施例更加细化具有可操作性。
[0018] 在一种可能的设计中,在本申请实施例第二方面的第五种实现方式中,所述采用图像处理算法处理所述遮挡区域部分被复原的图片包括:对所述遮挡区域部分被复原的图片中被遮挡的像素的物理信息进行识别;依照识别出的所述物理信息的内容复原所述遮挡区域部分被复原的图片中被遮挡的像素的信息。本实现方式中,根据物理信息处理复原遮挡区域,增加了本申请实施例的实现方式。
[0019] 在一种可能的设计中,在本申请实施例第二方面的第六种实现方式中,第一区域的PPI为第二区域的PPI的1/M,所述M大于1,所述方法还包括:在所述第一区域将相邻M个像素的显示数据压缩为1个像素的显示数据进行显示。本实现方式中,降低PPI后,压缩第一区域的显示数据,保障显示效果。
[0020] 在一种可能的设计中,在本申请实施例第二方面的第七种实现方式中,所述方法还包括:增加所述第一区域的整体亮度,使得所述第一区域与第二区域的亮度曲线的相似度大于预置数值。本实现方式中,降低PPI后,由于像素发光面占比减小,需要增强亮度,以保障显示效果。
[0021] 在一种可能的设计中,在本申请实施例第二方面的第八种实现方式中,所述第一区域中采用了无内部补偿的像素电路,所述方法还包括:对所述第一区域的像素单元进行外部补偿。本实现方式中,当第一区域使用无内部补偿的像素电路时,为消除色差,需要进行外部补偿。
[0022] 在一种可能的设计中,在本申请实施例第二方面的第九种实现方式中,所述方法还包括:拍摄时,在所述显示面板中插入黑帧。本实现方式中,在显示面板中插入黑帧,以避免摄像头前方的显示面板发光干扰。
[0023] 在一种可能的设计中,在本申请实施例第二方面的第十种实现方式中,所述拍摄时,在所述显示面板中插入黑帧包括;当接收到拍摄指令时,开始插入黑帧操作;当确认所述插入黑帧操作完成时,开始拍摄;当接收到拍摄完成的指令时,恢复画面。本实现方式中,细化了加入黑帧的时序,使本申请实施例更加具有可操作性。
[0024] 在一种可能的设计中,在本申请实施例第二方面的第十一种实现方式中,所述黑帧为全屏的黑帧;或,所述黑帧为修改所述第一区域为黑色画面的黑帧。本实现方式中,细化了黑帧可以是全屏的或者仅第一区域的,增加了本申请实施例的实现方式。
[0025] 本申请实施例第三方面提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
[0026] 本申请实施例第四方面提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
[0027] 本申请实施例提供的技术方案中,本申请实施例包括:将摄像头置于屏幕像素区的背后,摄像头前方的区域为显示屏的像素区的第一区域。本申请实施例中,摄像头位于屏幕像素区的背后,保证了屏幕的完整性和正常显示,且摄像头前方的第一区域具有透明部分,保证了摄像头的正常拍摄,实现了在不影响工业设计效果和屏幕画面的整体显示效果的情况下,将前置摄像头整合进显示区域中。

附图说明

[0028] 图1为本申请实施例中提供的具有摄像头的终端的部分结构的框图;
[0029] 图2为本申请实施例中终端中显示面板与摄像头的位置关系示意图;
[0030] 图3为本申请实施例中像素区中像素单元排布的一个示意图;
[0031] 图4为本申请实施例中原始图片拍摄的一个结果示意图;
[0032] 图5为本申请实施例中图片合成处理的一个示意图;
[0033] 图6a为本申请实施例中一颗摄像头拍摄图片的一个示意图;
[0034] 图6b为本申请实施例中一颗摄像头拍摄图片的另一个示意图;
[0035] 图7为本申请实施例中连接微动马达与摄像头的调整装置一个示意图;
[0036] 图8为本申请实施例中两颗摄像头拍摄图片的一个示意图;
[0037] 图9a为本申请实施例中图像处理一个示意图;
[0038] 图9b为本申请实施例中图像处理另一个示意图;
[0039] 图10为本申请实施例中降低每英寸所拥有的像素数目一个示意图;
[0040] 图11为本申请实施例中压缩显示数据一个示意图;
[0041] 图12为本申请实施例中7T1C电路的一个结构示意图;
[0042] 图13为本申请实施例中2T1C电路的一个结构示意图;
[0043] 图14为本申请实施例中拍摄方法一个流程示意图;
[0044] 图15为本申请实施例中拍摄方法另一个流程示意图。

具体实施方式

[0045] 下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0046] 在现有技术中,虽然可以将摄像头整合进显示区域中,达到全面屏的效果,但是其是通过切割掉屏幕的一部分用来放置摄像头模组从而实现的,这样会导致放置摄像头模组的区域无法进行画面显示,在屏幕点亮状态下,会出现一个缺角,因此工业设计效果不理想,影响屏幕画面的整体显示效果。
[0047] 在本申请技术方案中,终端为具有显示面板和前置摄像头的用户设备,与传统的终端相比,主要是将前置摄像头置于显示面板的背后。
[0048] 请参阅图1,为本申请实施例中提供的终端的部分结构的框图。
[0049] 该终端包括:显示面板101、至少一颗摄像头102。
[0050] 该终端还可以包括:处理器180和存储器120、无线保真(wireless fidelity,WIFI)模块170、射频(radio frequency,RF)电路110、输入单元131、显示单元140、音频电路160和传感器150等部件。本领域技术人员可以理解,图1中示出的终端结构并不构成对所述终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0051] 所述显示单元140可用于显示图像。所述显示单元140包括显示面板101。进一步的,触控面板131可覆盖显示面板101,当所述触控面板131检测到在其上或附近的触摸操作后,传送给所述处理器180以确定触摸事件的类型,随后所述处理器180根据触摸事件的类型在所述显示面板101上提供相应的视觉输出。虽然在图1中,所述触控面板131与所述显示面板101是作为两个独立的部件来实现终端的输入和输出功能,但是在某些实施例中,可以将所述触控面板131与所述显示面板101集成而实现终端的输入和输出功能。
[0052] 所述输入单元130可用于所述用户在设置界面上进行所述目标应用的选择、针对所述提示信息的反馈等。具体地,所述输入单元130可包括所述触控面板131以及其他输入设备132。所述触控面板131,也称为触摸屏,可收集用户在其上或附近的触摸操作,可选的,所述触控面板131可包括触摸检测装置和触摸控制器两个部分。其中,所述触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将所述信号传送给触摸控制器;所述触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,发送给所述处理器180,并能接收所述处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板131。除了所述触控面板131,所述输入单元130还可以包括其他输入设备132。具体地,所述其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0053] WIFI属于短距离无线传输技术,所述终端可以通过WIFI模块170收发电子邮件、浏览网页和访问流式媒体等,提供了无线的宽带互联网访问。
[0054] RF电路110通过总线与所述处理器180连接,负责向互联网发送数据或者从互联网接收数据,还可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给所述处理器180处理;另外,将设计上行的数据发送给基站。通常,所述RF电路110包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,LNA)、双工器等。此外,所述RF电路110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobile communication,GSM)、通用分组无线服务(general packet radio service,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
[0055] 所述存储器120可用于存储软件程序以及模块,所述处理器180通过运行存储在所述存储器120的软件程序以及模块,从而执行终端的各种功能应用以及数据处理。所述存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外,所述存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0056] 本申请实施例中,摄像头102位于显示面板101的背后;请参考图2所示的显示面板与摄像头的位置关系来理解:
[0057] 其中,显示面板可以包括玻璃盖板201、封装玻璃202、密封剂203、像素区204和薄膜晶体管玻璃205。
[0058] 像素区204上排布着像素单元,用于显示图像;
[0059] 薄膜晶体管玻璃205上集成有薄膜晶体管,用于驱动像素区204上的像素单元。
[0060] 摄像头前方的区域为显示面板的像素区204中的第一区域206,该第一区域206的每一个像素单元中包括透明部分和非透明部分,该第一区域206之外的区域为第二区域,所述第二区域的每个像素单元也包括透明部分和非透明部分。第一区域中所述透明部分的比例大于所述第二区域中所述透明部分的比例。请参考图3所示的像素区204的像素单元排布来理解。
[0061] 如图3所示,为像素区204中像素单元的排布一个示意图,其中均匀排布的均为像素单元301,各像素单元301包括透明部分302和非透明部分303,其中,透明部分302为透明玻璃或者透明塑料膜,非透明部分303包括设置于像素单元301中设有薄膜晶体管器件和金属线的部分。摄像头102可以透过这些透明部分拍摄到外界景物。
[0062] 需要说明的是,图3仅仅是像素区204中像素单元排布的一个示意,并不限定像素区204中像素单元的具体排布方式以及各像素单元的大小形状,其可以采用普通RGB排布方式,RGBB排布方式、PenTile排布方式或者其他的排布方式,此处不作限定。
[0063] 可以理解的是,该显示面板只需要具有上述透明部分即可,可选的,可以采用有机发光二极管(organic light-emitting diode,OLED)技术,微型发光二极管(micro light-emitting diode,MICRO LED)技术,或有源矩阵有机发光二极体(active-matrix organic light emitting diode,AMOLED)等形式来配置显示面板101,此处不作限定。
[0064] 在本申请实施例中,将摄像头102置于显示面板101的背后,保证了屏幕的完整性和正常显示,摄像头102前方的区域为显示面板101的像素区204的第一区域,该第一区域具有透明部分,保证了摄像头102的正常拍摄,实现了在不影响工业设计效果和屏幕画面的整体显示效果的情况下,将摄像头整合进显示区域中的效果。
[0065] 可以理解的是,因为显示面板表面贴有偏光片,显示面板表面的偏光片本身就有限制本身反射光的功能。同时非透明部分遮挡了摄像头,类似于百叶窗的效果,通过显示面板无法看到摄像头的轮廓,且摄像头放置的位置在终端的内部,整机内部本身光很暗,因此摄像头不会因为被用户发现而影响工业设计效果。
[0066] 进一步的,由于摄像头102前方的第一区域不仅具有透明部分,而且具有非透明部分,该非透明部分对摄像头102的拍摄具有遮挡效果,因此,拍摄出的原始照片可能会如图4所示,包括有交替间隔的遮挡区域。则终端可以对拍摄出的原始照片进行处理以得到复原后的照片。具体的处理方法有多种,下面选取其中几种进行描述:
[0067] 第一种处理方法:图片合成。
[0068] 可选的,通过调用该存储器120存储的操作指令,该处理器180可以执行如下操作:
[0069] 在调用所述摄像头102拍摄时,指示所述摄像头102在不同位置快速拍摄N张图片,其中,各图片中均有被所述非透明部分遮挡形成的遮挡区域,所述N为大于1的正整数;
[0070] 采用图像合成方法处理所述N张图片,得到遮挡区域被复原的图片。
[0071] 可以理解的是,拍摄的多张图片中,遮挡区域并不完全相同,例如在第一张图片中A区域被遮挡,但是在第2张图片中A区域没有被遮挡,因此,对多张图片进行合成可以得到遮挡区域被复原的图片。请参考图5进行理解:
[0072] 如图5所示,拍摄的两张图片,均有遮挡区域,然而每张图片的遮挡区域都不相同,将两张图片合成后,得到遮挡区域被复原的完整的图片。
[0073] 具体的,得到该多张具有不同遮挡区域的图片的方式可以有多种:
[0074] 方式一:终端中还可以包括微动马达,摄像头102也可以包括至少一颗摄像头;
[0075] 可选的,该处理器180执行上述指示所述摄像头102在不同位置快速拍摄N张图片的步骤时,具体可以执行如下步骤:
[0076] 指示所述微动马达推动所述至少一颗摄像头移动;
[0077] 在所述至少一颗摄像头移动的过程中,指示所述至少一颗摄像头相对于屏幕快速在不同位置拍摄N张图片;
[0078] 该处理器180执行上述采用图像合成方法处理所述N张图片的步骤时,具体可以执行如下步骤:
[0079] 根据所述至少一颗摄像头移动时摄像头与显示面板的相对位置,处理所述N张图片。
[0080] 可以理解的是,拍摄时,处理器180通过该微动马达带动摄像头102移动,在移动过程中拍摄不同角度的图片,拍摄完成之后,则处理器180可以根据摄像头102移动时摄像头102与显示面板101的相对位置对各照片进行合成,得到遮挡区域被复原的图片。请参考图
6a、6b进行理解。
[0081] 如图6a、6b所示,为一颗摄像头移动中拍摄图片的示意图,在图6a中,由于非透明部分的遮挡,摄像头拍摄出的原始图片中,物体有部分被遮挡,属于遮挡区域。摄像头在微动马达的带动下移动,当越过一个像素单元,由于摄像头与现实面板的相对位置不同,拍摄角度不同,此时摄像头拍摄出的原始图片中,物体被遮挡的区域也与之前拍摄的图片中遮挡区域不同,则得到该多张具有不同遮挡区域的图片。
[0082] 采用这种方式,即使只有一颗摄像头也能通过对拍摄出的多张照片处理后,得到遮挡区域被复原的图片。
[0083] 需要说明的是,由于遮挡摄像头的像素单元的结构尺寸在几十微米量级,因此,仅需要推动摄像头进行微距离的移动,即可穿过相当于半个像素的距离,从而得到多张具有不同遮挡区域的图片。
[0084] 需要说明的是,带动摄像头移动的微动马达为一种镜头驱动马达,其可能的形态有很多种,该微动马达通过与摄像头物理连接,带动至少一个摄像头向各方向进行位移。如图7所示,为微动马达与摄像头进行物理连接的调整装置的一个示例,该调整装置包括:壳体10;与摄像头相连的垂直滑块30、垂直调整机构40、与摄像头相连的水平滑块50、水平调整机构60,水平滑块50、垂直滑块30由壳体10底面依次置于中空的壳体10中,垂直调整机构40与垂直滑块30连接,水平调整机构60与水平滑块50连接,两个微动马达80分别控制垂直调整机构40和水平调整机构60,此外,盖板20封闭壳体10,上位于其角落的位置开设有长条形的限位孔24,在盖板20中间位置开设有与摄像头102相适配的镜头安装孔26。
[0085] 方式二:摄像头102也可以包括至少两颗摄像头;如图8所示,为两个摄像头拍摄图片的示意图;两个摄像头在显示屏后的位置不同,因此其拍摄角度不同,则两个摄像头拍摄出的图片的遮挡区域也不同。
[0086] 可选的,该处理器180执行上述采用图像合成方法处理所述N张图片的步骤时,具体可以执行如下步骤:
[0087] 根据所述至少两个摄像头拍摄的图片对遮挡区域互补,处理所述N张图片。
[0088] 采用这种方式,不需要对摄像头进行移动,也能得到多个遮挡区域不同的图片从而进行处理得到遮挡区域被复原的图片。
[0089] 第二种处理方法:图片数据处理。
[0090] 可选的,通过调用该存储器120存储的操作指令,该处理器180可以执行如下操作:
[0091] 拍摄一张图片,图片中存在被所述非透明部分遮挡形成的遮挡区域;
[0092] 采用图像处理算法处理该图片,得到遮挡区域被复原的图片。
[0093] 其中,采用图像处理算法处理图片的具体方式有多种:
[0094] 方式一:可选的,该处理器180执行该采用图像处理算法处理该图片的步骤时,具体可以执行如下步骤:
[0095] 对该图片中被遮挡的像素采用该图片中临近像素的信息进行插值运算。
[0096] 例如,图片中某个像素被遮挡,该像素左边的像素为红色,右边的像素为蓝色,则可以采用插值运算,综合该像素左右两边的像素信息计算得到的像素信息作为该被遮挡的像素的信息。可以理解的是,还可以采用其它临近像素的信息综合进行插值运算,此处不做限定。
[0097] 方式二:可选的,该处理器180执行该采用图像处理算法处理该图片的步骤时,具体可以执行如下步骤:
[0098] 对该图片中被遮挡像素的物理信息进行识别;
[0099] 依照识别出的物理信息的内容复原该图片中被遮挡的像素的信息。
[0100] 请参考图9a、9b进行理解。如图9a所示,为拍摄出的一张具有遮挡区域的图片,终端对该图片中被遮挡像素的物理信息识别得出,被遮挡的部分为人脸上眼睛的一部分以及脸的一部分,则可以依照眼睛和脸的一般构造,对该被遮挡像素的信息进行复原,最终得到如图9b所示的图片。
[0101] 第三种处理方法:先图片合成,再图片数据处理。
[0102] 可选的,通过调用该存储器120存储的操作指令,该处理器180可以执行如下操作:
[0103] 在调用所述摄像头102拍摄时,指示所述摄像头102在不同位置快速拍摄N张图片,其中,各图片中均有被所述非透明部分遮挡形成的遮挡区域,所述N为大于1的正整数;
[0104] 采用图像合成方法处理所述N张图片,得到遮挡区域被部分复原的图片;
[0105] 获取图片,图片中存在被所述非透明部分遮挡形成的遮挡区域;
[0106] 采用图像处理算法处理该图片,得到遮挡区域被复原的图片。
[0107] 其中,得到多张具有不同遮挡区域的图片的具体方式以及采用图像处理算法处理图片的具体方式与第一种处理方法和第二种处理方法中类似,此处不做赘述。
[0108] 可以理解的是,也可以先对图片进行数据处理再进行图片合成得到遮挡区域被复原的图片,还可以对上述各种处理方法进行其他的组合,此处不作限定。
[0109] 上面实施例中,采用各种不同的方式,能复原拍摄的图片中由于非透明部分遮挡形成的遮挡区域。进一步的,通过对像素结构或像素设计进行改变,能使得该第一区域206中透明部分的占比高于第二区域中透明部分的占比,使得拍摄得到的图片中遮挡区域更少或更小。
[0110] 下面描述其中两种提高第一区域206中透明部分占比的方法:
[0111] 第一种:降低每英寸所拥有的像素数目(pixels per inch,PPI)。
[0112] 可选的,通过改变像素设计,使得该第一区域206的PPI为第二区域的PPI的1/M,所述M大于1。
[0113] 请参考图10理解,如图10所示,降低该第一区域的PPI为第二区域的PPI的1/2,即减少了该第一区域206中一半的像素单元,因此该第一区域中各像素单元之间的透明部分大大增加了。需要说明的是,图10仅为降低PPI的示意图,在实际应用中,一般同时减少相邻的RGB三个像素以保障图像的正常显示。
[0114] 可选的,在第一区域206的PPI降低之后,相对于第二区域,其可显示数据的像素单元相应减少,则为了保证图像的显示效果,该处理器180还可以执行如下步骤:
[0115] 在所述第一区域206将相邻M个像素的显示数据压缩为1个像素的显示数据进行显示。
[0116] 可以理解的是,根据降低PPI的比例不同,压缩显示数据的比例相应改变,如图11所示,以第一区域206的PPI为其他区域PPI的1/2为例,需要将待显示图像中6个像素的显示数据压缩到该第一区域206相应的3个像素单元中,其中待显示图像的6个像素中R色的显示数据分别为R1、R2,G色的显示数据分别为G1、G2,B色的显示数据分别为B1、B2,则可以采用R3=(R1+R2)/2,G3=(G1+G2)/2,B3=(B1+B2)/2的计算方式,得到第一区域206相应的3个像素单元的显示数据为R3、G3、B3。
[0117] 可选的,在第一区域206的PPI降低之后,相对于第二区域,该第一区域206整体会发暗,因此,为了提高图像的显示效果,该处理器180还可以执行如下步骤:
[0118] 增加所述第一区域206的整体亮度,使得所述第一区域与第二区域的亮度曲线的相似度大于预置数值。
[0119] 具体的,处理器180可以指示显示面板101适度调整第一区域206像素的DTFT(控制Ipixel-Vdata曲线)的宽长比,提高在相同Vdata下像素的输出电流,按比例增加第一区域的整体亮度,使像素区204中该第一区域206与第二区域的亮度曲线的相似度大于预置数值。
[0120] 可以理解的是,还可以采用其他的方式增加该第一区域206的整体亮度,例如采用外部补偿的手段进行更精确的调控,或在进行显示数据压缩时对显示数据的颜色进行增加亮度的修正等,此处不做限定。
[0121] 第二种:改变电路结构。
[0122] 可选的,第一区域206中采用了相对于第二区域不同的像素电路,可以理解为第一区域206中采用的像素电路的元器件比第二区域采用的像素电路的元器件更少。由于像素电路简化,器件和连线数量减少,因此得到了更多的透明部分供摄像头使用。
[0123] 具体的简化像素电路的方式有很多,下面以其中一种为例进行描述:在第一区域中采用无内部补偿的像素电路。
[0124] 需要说明的是,显示面板101的像素区204中一般采用的是有内部补偿的像素电路,例如7T1C电路或具有更多薄膜晶体管的电路。其中,7T1C电路的具体电路结构如图12所示,即7个薄膜晶体管(Thin Film Transistor,TFT)和1个电容驱动一个像素单元,其中T1至T7即为电路中的7个TFT。
[0125] 而无内部补偿的像素电路一般为2T1C电路,具体电路结构如图13所示,即2个薄膜晶体管和1个电容驱动一个像素单元,其中开关TFT和驱动TFT即为电路中的2个TFT。
[0126] 在第一区域中使用无内部补偿的像素电路,例如使用2T1C电路,像素电路的结构更简单,器件和连线数量更少,则第一区域206的透明部分的占比更高了。
[0127] 可选的,由于在第一区域206使用了无内部补偿的像素电路,因此可能会与第二区域显示出色差,因此,该处理器180还可以用于执行如下步骤:
[0128] 对所述第一区域206的像素单元进行外部补偿。
[0129] 具体的进行外部补偿的操作主要步骤如下所示:
[0130] 1、抓取显示面板显示不同灰阶不同颜色的状态下,2T1C区域的显示亮度和颜色;
[0131] 2、通过计算得到每个小区域或者每个点显示的亮度与理想值的偏差;
[0132] 3、根据这个偏差计算这个显示状态下需要对2T1C区域各像素点数据电压进行的修正;
[0133] 4、将这个修正作为查找表写入集成电路(integrated circuit,IC)中,在实际显示中,由IC根据不同状况选取修正量,叠加入输出的Gamma电压中。
[0134] 通过对第一区域206的像素单元进行外部补偿,修正了第一区域与第二区域的色差,使得即使采用简化的像素电路,也能得到较好的显示效果。
[0135] 上面实施例中,采用各种不同的方式,提高了第一区域206中透明部分的占比。进一步的,在摄像头拍摄时,摄像头前方的显示面板的发光可能会干扰拍摄质量,因此,可以通过在拍摄时插入黑帧来避免此干扰。
[0136] 可选的,所述处理器180还用于执行如下步骤:
[0137] 调用所述摄像头拍摄时,在所述显示面板中插入黑帧。
[0138] 进一步的,为保证插入黑帧的时机正确,所述处理器180执行所示调用所述摄像头拍摄时,在所述显示面板中插入黑帧的步骤时,具体可以执行如下步骤:
[0139] 当接收到拍摄指令时,开始插入黑帧操作;
[0140] 当确认所述插入黑帧操作完成时,指示所述摄像头开始拍摄;
[0141] 当接收到拍摄完成的指令时,恢复画面。
[0142] 可以理解的是,黑帧可以是全屏的黑帧,也可以是修改第一区域206为黑色画面的黑帧,此处不作限定。
[0143] 需要说明的是,由于显示面板响应时间极短,在微秒量级,且目前摄像头的典型曝光时间小于一帧画面的时间,因此只需要做好摄像头图像采集和黑帧刷新的同步,即可既保证画面显示,又不影响拍摄效果。
[0144] 上面对本申请实施例中具有摄像头的终端进行了描述,下面对本申请实施例中的拍摄方法进行描述,可以理解的是,该拍摄方法基于本申请实施例中的上述具有摄像头的终端,该终端包括显示面板101和至少一颗摄像头102,所述至少一颗摄像头102位于所述显示面板101的背后,所述显示面板101上与所述至少一颗摄像头102位置对应的区域为第一区域206,所述显示面板101上第一区域206之外的区域为第二区域,其中,所述第一区域206的每个像素单元301包括透明部分302和非透明部分303,所述第二区域的每个像素单元包括所述透明部分和所述非透明部分,所述第一区域中所述透明部分的比例大于所述第二区域中所述透明部分的比例。可以理解的是,使第一区域中透明部分的比例大于第二区域中透明部分的比例的具体方式有两种,一种为降低第一区域的PPI,一种为简化第一区域的像素结构设计,下面分这两种情况分别对该拍摄方法进行描述:
[0145] 1、通过降低第一区域的PPI使第一区域中透明部分的比例大于第二区域中透明部分。
[0146] 请参阅图14,本申请实施例中拍摄方法一个实施例:
[0147] 1401、获取所述摄像头在相对于所述显示面板不同位置快速拍摄的N张图片;
[0148] 需要说明的是,所述N张图片中均有被所述第一区域中非透明部分遮挡形成的遮挡区域,所述N为大于1的正整数;
[0149] 可以理解的是,获取该N张图片可以有多种不同的方式,例如,终端中可以包括微动马达,拍摄时,该微动马达带动至少一颗摄像头移动,在该至少一颗摄像头移动的过程中,终端可以控制该至少一颗摄像头在相对于显示面板的不同位置快速拍摄该N张图片;或者,终端中存在位置不同的至少两颗摄像头,则该至少两颗摄像头拍摄时可以得到该N张图片。
[0150] 1402、采用图像合成方法处理所述N张图片,得到遮挡区域完全被复原或部分被复原的图片。
[0151] 可以理解的是,根据得到的该N张图片的方式不同,对该N张图片进行图像合成处理的具体方法也可以不同:若该N张图片是由微动马达带动至少一颗摄像头移动时在移动过程中拍摄得到的,则可以根据该至少一颗摄像头移动时摄像头与显示面板的相对位置,处理该N张图片;若该N张图片是由在不同位置的至少两颗摄像头拍摄得到的,则可以根据该至少两个摄像头拍摄的图片对所述遮挡区域互补,处理该N张图片。
[0152] 需要说明的是,通过图像合成方法处理得到的N张图片,可能得到遮挡区域被完全复原的图片,如图5所示。也可能处理后的图片中还存在部分遮挡区域,即得到的是遮挡区域部分被复原的图片。
[0153] 1403、采用图像处理算法处理所述遮挡区域部分被复原的图片,得到遮挡区域完全被复原的图片。
[0154] 对于得到的遮挡区域部分被复原的图片,可以采用图像处理算法处理该图片,得到遮挡区域被完全复原的图片。
[0155] 具体的采用图像处理算法处理所述遮挡区域部分被复原的图片的方式有多种:
[0156] 可以对遮挡区域部分被复原的图片中被遮挡的像素采用被遮挡的像素的临近像素的信息进行插值运算。例如,图片中某个像素被遮挡,该像素左边的像素为红色,右边的像素为蓝色,则可以采用插值运算,综合该像素左右两边的像素信息计算得到的像素信息作为该被遮挡的像素的信息。可以理解的是,还可以采用其它临近像素的信息综合进行插值运算,此处不做限定。
[0157] 还可以对所述遮挡区域部分被复原的图片中被遮挡的像素的物理信息进行识别,依照识别出的所述物理信息的内容复原所述遮挡区域部分被复原的图片中被遮挡的像素的信息。例如图9a所示,为一张具有遮挡区域的图片,终端对该图片中被遮挡像素的物理信息识别得出,被遮挡的部分为人脸上眼睛的一部分以及脸的一部分,则可以依照眼睛和脸的一般构造,对该被遮挡像素的信息进行复原,最终得到如图9b所示的图片。
[0158] 可以理解的是,步骤1401至1403可以在终端拍摄时执行,其中步骤1403仅在步骤1402中得到的图片为遮挡区域部分被复原的图片时执行,否则可以不执行。
[0159] 1404、在所述第一区域将相邻M个像素的显示数据压缩为1个像素的显示数据进行显示。
[0160] 需要说明的是,降低第一区域的PPI后,第一区域的像素单元减少。若降低第一区域的PPI为第二区域的PPI的1/M,则第一区域的像素单元也减少为1/M。请参考图10理解,如图10所示,降低该第一区域的PPI为第二区域的PPI的1/2,即减少了该第一区域206中一半的像素单元,因此该第一区域中各像素单元之间的透明部分大大增加了。需要说明的是,图10仅为降低PPI的示意图,在实际应用中,一般同时减少相邻的RGB三个像素以保障图像的正常显示。
[0161] 因此,在降低PPI之后,可以根据降低PPI的比例不同,压缩显示数据的比例相应改变,如图11所示,以第一区域206的PPI为其他区域PPI的1/2为例,需要将待显示图像中6个像素的显示数据压缩到该第一区域206相应的3个像素单元中,其中待显示图像的6个像素中R色的显示数据分别为R1、R2,G色的显示数据分别为G1、G2,B色的显示数据分别为B1、B2,则可以采用R3=(R1+R2)/2,G3=(G1+G2)/2,B3=(B1+B2)/2的计算方式,得到第一区域206相应的3个像素单元的显示数据为R3、G3、B3。
[0162] 1405、增加所述第一区域的整体亮度,使得所述第一区域与第二区域的亮度曲线的相似度大于预置数值。
[0163] 需要说明的是,在第一区域206的PPI降低之后,由于发光的像素单元减少,相对于第二区域,该第一区域206整体会发暗,因此,为了提高图像的显示效果,可以执行改步骤1405。
[0164] 具体的增加所述第一区域的整体亮度的方式有多种,例如可以适度调整第一区域206像素的DTFT(控制Ipixel-Vdata曲线)的宽长比,提高在相同Vdata下像素的输出电流,按比例增加第一区域的整体亮度,使像素区204中该第一区域206与第二区域的亮度曲线的相似度大于预置数值,也可以采用外部补偿的手段进行更精确的调控,或在进行显示数据压缩时对显示数据的颜色进行增加亮度的修正等,此处不做限定。
[0165] 可以理解的是,步骤1404和1405可以在终端开机时执行,也可以固化在系统中,此处不作限定。
[0166] 1406、拍摄时,在所述显示面板中插入黑帧。
[0167] 可以理解的是,由于摄像头置于显示面板背后,通过显示面板上的透明部分获取外界光线感光拍摄,则位于摄像头前方的显示面板的第一区域的发光会对摄像头获取外界光线有一定得到影响,因此,为了得到更优质的拍摄效果,拍摄时可以在显示面板中插入黑帧。
[0168] 为了保证插入黑帧的时机与拍摄的时机一致,可以控制拍摄和插入黑帧的时间同步,例如可以按如下步骤执行:当接收到拍摄指令时,开始插入黑帧操作;当确认所述插入黑帧操作完成时,开始拍摄;当接收到拍摄完成的指令时,恢复画面。
[0169] 可以理解的是,由于此步骤是为了避免第一区域的发光影响拍摄时对外界光线的获取,因此,该黑帧可以仅为修改第一区域为黑色画面的黑帧,也可以为全屏的黑帧,此处不作限定。
[0170] 本申请实施例中,通过降低第一区域的PPI使第一区域中透明部分的比例大于第二区域中透明部分,保证了摄像头的正常拍摄,实现了在不影响工业设计效果和屏幕画面的整体显示效果的情况下,将前置摄像头整合进显示区域中。采用图像合成方法处理得到的N张图片,保证了拍摄出的图片的完整性,若合成的图片为遮挡区域部分被复原的图片,还可以采用图像处理算法处理该图片,得到遮挡区域完全被复原的图片,进一步的保证了图片效果。且在第一区域将相邻M个像素的显示数据压缩为1个像素的显示数据进行显示,并增加所述第一区域的整体亮度,在保证拍摄的图片的效果的同时,使得显示面板能不受影响的显示图像,得到较好的显示效果。拍摄时,在显示面板中插入黑帧,避免了拍摄时第一区域的发光影响拍摄效果,提高了拍摄质量。
[0171] 2、通过简化像素结构使第一区域中透明部分的比例大于第二区域中透明部分。
[0172] 可以理解的是,简化像素结构可以在第一区域中使用无内部补偿像素电路,例如2T1C电路,在第二区域中使用有内部补偿的像素电路,例如7T1C电路。
[0173] 请参阅图15,本申请实施例中拍摄方法另一个实施例:
[0174] 1501、获取所述摄像头在相对于所述显示面板不同位置快速拍摄的N张图片;
[0175] 1502、采用图像合成方法处理所述N张图片,得到所述遮挡区域完全被复原或部分被复原的图片。
[0176] 1503、采用图像处理算法处理所述遮挡区域部分被复原的图片,得到所述遮挡区域被复原的图片。
[0177] 步骤1501至1503与步骤1401至1403类似,此处不作赘述。
[0178] 1504、拍摄时,在所述显示面板中插入黑帧。
[0179] 步骤1504与步骤1406类似,此处不作赘述。
[0180] 1505、对所述第一区域的像素单元进行外部补偿。
[0181] 可以理解的是,在第一区域采用无内部补偿的像素电路后,由于像素电路结构不同,可能会是的第一区域和第二区域产生色差,因此,可以对第一区域的像素单元进行外部补偿,具体的进行外部补偿的操作主要步骤如下所示:
[0182] 1、抓取显示面板显示不同灰阶不同颜色的状态下,2T1C区域的显示亮度和颜色;
[0183] 2、通过计算得到每个小区域或者每个点显示的亮度与理想值的偏差;
[0184] 3、根据这个偏差计算这个显示状态下需要对2T1C区域各像素点数据电压进行的修正;
[0185] 4、将这个修正作为查找表写入集成电路(integrated circuit,IC)中,在实际显示中,由IC根据不同状况选取修正量,叠加入输出的Gamma电压中。
[0186] 通过对第一区域206的像素单元进行外部补偿,修正了第一区域与第二区域的色差,使得即使采用简化的像素电路,也能得到较好的显示效果。
[0187] 本申请实施例中,通过简化第一区域像素单元的结构使第一区域中透明部分的比例大于第二区域中透明部分,保证了摄像头的正常拍摄,实现了在不影响工业设计效果和屏幕画面的整体显示效果的情况下,将前置摄像头整合进显示区域中。
[0188] 可以理解的是,上述两种使第一区域中透明部分的比例大于第二区域中透明部分的比例的方式仅是示例,在实际应用中,也可以采用其他的方式使得第一区域中透明部分的比例大于第二区域中透明部分的比例的方式,例如上述两种方式的组合等,此处不作限定。
[0189] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。