电子设备及图像处理方法转让专利
申请号 : CN201910682629.1
文献号 : CN112312055B
文献日 : 2021-11-09
发明人 : 肖晶 , 丁建新
申请人 : 华为技术有限公司
摘要 :
权利要求 :
1.一种电子设备,包括后盖、前置摄像头和后置摄像头,其特征在于,所述电子设备还包括:反光装置;
所述反光装置与所述后盖连接并可在使用状态和闲置状态间切换;当所述反光装置处于所述使用状态时,所述反光装置位于所述后置摄像头的物侧,且用于反射所述前置摄像头所在的方向的影像使得所述后置摄像头捕获到所述反光装置反射的影像;其中,物侧是指所述后置摄像头朝向被拍物体的一侧;
其中,所述反光装置为由柔性材料制成的反光膜;所述电子设备还包括设置于所述后盖内的驱动组件;所述反光装置通过所述驱动组件与所述后盖转动连接;所述驱动组件驱动所述反光装置移动而使得所述反光装置在所述使用状态和所述闲置状态间切换。
2.如权利要求1所述的电子设备,其特征在于,所述驱动组件包括驱动件、传动件以及固定件;所述传动件的一端安装于所述驱动件上,且另一端连接所述固定件;所述反光装置设置于所述固定件远离所述传动件的一端;所述驱动件用于驱动所述传动件转动,以带动所述固定件移动,进而带动所述反光装置运动至所述后置摄像头的物侧,而使得所述反光装置处于所述使用状态。
3.如权利要求2所述的电子设备,其特征在于,所述驱动件还用于驱动所述传动件转动,以带动所述固定件移动,进而带动所述反光装置远离所述后置摄像头的物侧,而使得所述反光装置处于所述闲置状态。
4.如权利要求1‑3任一项所述的电子设备,其特征在于,所述电子设备还包括镜头保护盖;所述镜头保护盖安装于所述后盖上且与所述后置摄像头对应;当所述反光装置处于所述使用状态时,所述反光装置呈特定的形状并贴合于所述镜头保护盖的内壁上。
5.如权利要求1所述的电子设备,其特征在于,所述电子设备还包括与所述后盖固定连接的载体,所述反光装置为涂覆在所述载体上的反光图层;当所述反光装置处于所述使用状态时,所述反光装置因通电而处于部分透光模式。
6.如权利要求5所述的电子设备,其特征在于,当所述反光装置处于所述闲置状态时,所述反光装置因断电而处于全透光模式。
7.如权利要求5‑6任一项所述的电子设备,其特征在于,所述载体为安装于所述后盖且与所述后置摄像头对应的镜头保护盖。
8.如权利要求1所述的电子设备,其特征在于,所述反光装置为反射镜,所述电子设备还包括承载件,所述承载件可拆卸的安装于所述后盖上且与所述后置摄像头对应;当所述反光装置处于所述使用状态时,所述承载件安装于所述后盖上而使得所述反光装置位于所述后置摄像头与所述承载件之间。
9.如权利要求8所述的电子设备,其特征在于,当所述反光装置处于所述闲置状态时,所述承载件与所述后盖分离。
10.如权利要求8所述的电子设备,其特征在于,所述电子设备还包括固定支架,所述固定支架支撑于所述承载件与所述后盖之间。
11.如权利要求8‑9任一项所述的电子设备,其特征在于,所述承载件为镜头保护盖。
12.一种电子设备,包括后盖、前置摄像头和后置摄像头,其特征在于,所述电子设备还包括:反光装置;
所述反光装置与所述后盖连接并可在使用状态和闲置状态间切换;当所述反光装置处于所述使用状态时,所述反光装置位于所述后置摄像头的物侧,且用于反射所述前置摄像头所在的方向的影像使得所述后置摄像头捕获到所述反光装置反射的影像;其中,物侧是指所述后置摄像头朝向被拍物体的一侧;
其中,所述电子设备还包括与所述后盖固定连接的载体,所述反光装置为涂覆在所述载体上的反光图层;当所述反光装置处于所述使用状态时,所述反光装置因通电而处于部分透光模式。
13.一种电子设备,包括后盖、前置摄像头和后置摄像头,其特征在于,所述电子设备还包括:反光装置;
所述反光装置与所述后盖连接并可在使用状态和闲置状态间切换;当所述反光装置处于所述使用状态时,所述反光装置位于所述后置摄像头的物侧,且用于反射所述前置摄像头所在的方向的影像使得所述后置摄像头捕获到所述反光装置反射的影像;其中,物侧是指所述后置摄像头朝向被拍物体的一侧;
其中,所述反光装置为反射镜,所述电子设备还包括承载件,所述承载件可拆卸的安装于所述后盖上且与所述后置摄像头对应;当所述反光装置处于所述使用状态时,所述承载件安装于所述后盖上而使得所述反光装置位于所述后置摄像头与所述承载件之间。
14.一种图像处理方法,应用于电子设备中,所述电子设备包括后盖、前置摄像头和后置摄像头,其特征在于,所述电子设备还包括反光装置,所述反光装置可在使用状态和闲置状态间切换;所述图像处理方法包括:当检测到用户开启前置摄像头的操作时,控制所述反光装置由闲置状态切换为使用状态;其中,所述反光装置的使用状态是指,所述反光装置位于所述后置摄像头的物侧,且用于反射所述前置摄像头所在的方向的影像使得所述后置摄像头捕获到所述反光装置反射的影像;物侧是指所述后置摄像头朝向被拍物体的一侧;
分别获取所述前置摄像头和所述后置摄像头所捕获到的图像;
对所述后置摄像头所捕获到的图像进行处理;
将所述前置摄像头所捕获的图像和处理后的所述后置摄像头所捕获的图像进行融合。
15.如权利要求14所述的图像处理方法,其特征在于,所述对所述后置摄像头所捕获到的图像进行处理,具体包括:对所述后置摄像头所捕获到的发生形变的图像进行图像还原,和/或,去掉所述后盖部分的图像。
16.如权利要求14或15所述的图像处理方法,其特征在于,所述将所述前置摄像头所捕获的图像和处理后的所述后置摄像头所捕获的图像进行融合,包括:确定所述前置摄像头所捕获的图像与处理后的所述后置摄像头所捕获的图像的重合区域并进行标定;
根据标定的位置将所述前置摄像头所捕获的图像与处理后的所述后置摄像头所捕获的图像对齐并进行融合;
对融合后的图像进行裁剪和/或缩放以获得合成图像。
17.如权利要求16所述的图像处理方法,其特征在于,当处理后的所述后置摄像头所捕获到的图像的高度和所述前置摄像头所捕获到的图像的高度不同时,以高度较低的图像的高度为基准高度,对超出所述基准高度的图像进行裁剪。
18.如权利要求14‑15任一项所述的图像处理方法,其特征在于,所述当检测到用户开启前置摄像头的操作时,控制所述反光装置由闲置状态切换为使用状态,包括:所述当检测到用户开启前置摄像头的操作时,确定对端电子设备的状态,当确定所述对端电子设备处于横屏状态时,控制反光装置由闲置状态切换为使用状态。
19.如权利要求16所述的图像处理方法,其特征在于,所述当检测到用户开启前置摄像头的操作时,控制所述反光装置由闲置状态切换为使用状态,包括:所述当检测到用户开启前置摄像头的操作时,确定对端电子设备的状态,当确定所述对端电子设备处于横屏状态时,控制反光装置由闲置状态切换为使用状态。
20.如权利要求17所述的图像处理方法,其特征在于,所述当检测到用户开启前置摄像头的操作时,控制所述反光装置由闲置状态切换为使用状态,包括:所述当检测到用户开启前置摄像头的操作时,确定对端电子设备的状态,当确定所述对端电子设备处于横屏状态时,控制反光装置由闲置状态切换为使用状态。
21.一种计算机可读存储介质,所述可读存储介质中存储有程序指令,所述程序指令用于供调用后执行权利要求14至20任意一项所述的方法。
说明书 :
电子设备及图像处理方法
技术领域
背景技术
应用中的视屏通话功能因其能增加通话双方的亲密度,拉近彼此之间的感情而受到很多用
户的喜爱。目前在视频通话时,本地电子设备通过开启前置摄像头,捕捉到本地使用用户的
图像,通过编码压缩之后通过网络发送到对端电子设备,对端电子设备解码后在屏幕上显
示。
现出来的,也是本地用户的上半身甚至是全脸,导致用户体验差。
发明内容
接的反光装置,所述反光装置可在使用状态和闲置状态间切换。当所述反光装置处于所述
使用状态时,所述反光装置位于所述后置摄像头的物侧,且用于反射所述前置摄像头所在
的方向的影像使得所述后置摄像头捕获到所述反光装置反射的影像;其中,物侧是指所述
后置摄像头朝向被拍物体的一侧。
前置摄像头所拍摄的图像进行融合以扩大前置摄像头所拍摄图像的视场角,提高用户在使
用电子设备进行视屏通话时的视觉体验。
接;所述驱动组件驱动所述反光装置移动而使得所述反光装置在所述使用状态和所述闲置
状态间切换。本实施方式中,由于反光装置为柔性材料制成的反光膜重量轻,进而需要较小
的动力即可驱动,且可以做到接近全反光。
件;所述反光装置设置于所述固定件远离所述传动件的一端;所述驱动件用于驱动所述传
动件转动,以带动所述固定件移动,进而带动所述反光装置运动至所述后置摄像头的物侧,
而使得所述反光装置处于所述使用状态。
置远离所述后置摄像头的物侧,而使得所述反光装置处于所述闲置状态。
呈特定的形状并贴合于所述镜头保护盖的内壁上。如此,可以对所述反光装置起到保护作
用。其中,镜头保护盖的内壁是指,镜头保护盖面向后置摄像头的表面。
置因通电而处于部分透光模式。在本实施方式中,由于反光图层的位置是固定不动的,不需
要使用机械传动,精度较高,且对工艺的需求较低,较容易实现。
状态时,所述承载件安装于所述后盖上而使得所述反光装置位于所述后置摄像头与所述承
载件之间。本实施方式中,由于所述承载件可拆卸的与所述后盖连接,可以根据用户的需求
而拆卸和安装,可以更灵活的满足用户需求。
产成本,所述承载件为镜头保护盖。
系:s>d1/tan(FOV1/2)–c,且s>d2/tan(FOV1/2)–c;其中,d1为后置摄像头到电子设备的一
个侧边的距离,d2为后置摄像头到电子设备的另一个侧边的距离,c为反光装置的光心到镜
面距离,FOV1为前置摄像头的视场角。
距离,d2为后置摄像头到电子设备的另一个侧边的距离,α为反光装置的成像面与反光装置
的水平面之间的夹角。
状态;所述处理器还用于分别获取所述前置摄像头和所述后置摄像头所捕获到的图像,并
对所述后置摄像头所捕获到的图像进行处理。所述处理器还用于将所述前置摄像头所捕获
的图像和处理后的所述后置摄像头所捕获的图像进行融合。
所述处理器去掉所述后盖部分的图像。如此,可以消除后盖的图像在后续图像合成的过程
中所造成的干扰。
图像与处理后的所述后置摄像头所捕获的图像的重合区域并进行标定;所述处理器根据标
定的位置将所述前置摄像头所捕获的图像与处理后的所述后置摄像头所捕获的图像对齐
并进行融合;所述处理器对融合后的图像进行裁剪和/或缩放以获得合成图像。通过该方法
可以使得融合后的图像衔接平滑,进一步提高了用户的视觉体验。
度,对超出所述基准高度的图像进行裁剪。如此,可以提高合成后图像的质量,避免了部分
图像凸出或缺失的情况发生。
的操作时,确定对端电子设备的状态,所述处理器还用于在确定所述对端电子设备处于横
屏状态时,控制反光装置由闲置状态切换为使用状态。
头。所述电子设备还包括反光装置;其中,所述反光装置可在使用状态和闲置状态间切换;
所述图像处理方法包括:当检测到用户开启前置摄像头的操作时,控制所述反光装置由闲
置状态切换为使用状态;其中,当所述反光装置处于所述使用状态时,所述反光装置位于所
述后置摄像头的物侧,且用于反射所述前置摄像头所在的方向的影像使得所述后置摄像头
捕获到所述反光装置反射的影像;其中,物侧是指所述后置摄像头朝向被拍物体的一侧;分
别获取所述前置摄像头和所述后置摄像头所捕获到的图像;对所述后置摄像头所捕获到的
图像进行处理;将所述前置摄像头所捕获的图像和处理后的所述后置摄像头所捕获的图像
进行融合。
的反光装置中的图像进行处理;将所述前置摄像头所捕获的图像和处理后的所述后置摄像
头所捕获的图像进行融合,进而可以增加前置摄像头所拍摄图像的视场角,使得在视屏过
程中,对端用户可以看到本地端用户更多的图像,而不仅限于本端用户的上半身图像,进而
提高了用户的视频通话体验。
图像。如此,可以消除后盖的图像在后续图像合成的过程中所造成的干扰。
置摄像头所捕获的图像的重合区域并进行标定;根据标定的位置将所述前置摄像头所捕获
的图像与处理后的所述后置摄像头所捕获的图像对齐并进行融合;对融合后的图像进行裁
剪和/或缩放以获得合成图像。通过该方法可以使得融合后的图像衔接平滑,进一步提高了
用户的视觉体验。
述基准高度的图像进行裁剪。如此,可以提高合成后图像的质量,避免了部分图像凸出或缺
失的情况发生。
对端电子设备的状态,当确定所述对端电子设备处于横屏状态时,控制反光装置由闲置状
态切换为使用状态。其中,“横屏状态”是指电子设备的水平方向的长度大于竖直方向的长
度的状态。在本实施方式中,只有检测到对端电子设备处于横屏状态时,才会执行本申请实
施例中的图像处理方法,更加满足用户的需求。
附图说明
具体实施方式
头所捕获的图像进行处理,进而达到增加前置摄像头所捕获的图像的视场角(Field of
View,FOV)的效果,以提升用户使用即时通讯软件进行视屏通话时的体验。
不限于搭载iOS、Android、Microsoft或者其他操作系统的便携式电子设备。上述便携式电
子设备也可以是其他便携式电子设备,诸如具有触敏表面(例如触控面板)的膝上型计算机
(laptop)等。还应当理解的是,在本申请其他一些实施例中,电子设备100也可以不是便携
式电子设备,而是具有触敏表面(例如触控面板)的台式计算机或者车载设备等,本申请实
施例对此不做限定。
头所捕获的图像进行处理,进而达到增加前置摄像头所捕获的图像的视场角的效果,从而
提升了用户使用即时通讯软件进行视屏通话时的体验。而在“视角增大”功能关闭的条件
下,当用户使用即时通讯软件进行视屏通话时,电子设备不执行该图像处理方法,即电子设
备不会对前置摄像头所获的图像进行处理,此时,前置摄像头所拍摄的图像的视场角不会
发生改变。本申请实施例中,用户可以根据自身的需求而选择是否需要启动该“视角增大”
功能,进而可以更好的满足用户的需求,提升用户体验。
时通讯软件进行视屏通话时将前置图像的视角进行增大。在本申请实施例中,电子设备在
用户使用即时通讯软件进行视屏通话时将前置图像的视角进行增大是指,在用户使用即时
通讯软件进行视屏通话时,视频通话的对方会看到更多的场景内容而不仅仅限于本地用户
的上半身甚至全脸。这里,“视角增大”功能支持电子设备在用户使用即时通讯软件进行视
屏通话时所提供的视角增大功能的方式可参照后续实施例的相关描述,在此暂不赘述。
142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器
170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头
193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195
等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁
传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温
度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件
的组合实现。
unit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字
信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器
(neural‑network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也
可以集成在一个或多个处理器中。
或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了
重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器
(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口
(mobile industry processor interface,MIPI),通用输入输出(general‑purpose
input/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或
通用串行总线(universal serial bus,USB)接口等。
的即时通讯软件有权限使用电子设备的增强功能的情况下,确定当前提供给用户的增强功
能。处理器110确定当前提供给用户的增强功能的方式可参照后续实施例的相关描述,在此
不再赘述。
多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,
闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器
110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实
现通过蓝牙耳机接听电话的功能。
也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功
能。所述I2S接口和所述PCM接口都可以用于音频通信。
于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160
中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无
线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
serial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实
现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的
显示功能。
通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接
口,UART接口,MIPI接口等。
电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口
还可以用于连接其他电子设备,例如AR设备等。
上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子
设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可
以通过电源管理模块141为电子设备供电。
194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,
电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141
也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可
以设置于同一个器件中。
复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电
磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对
经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移
动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通
信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理
后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输
出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是
独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块
150或其他功能模块设置在同一个器件中。
(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频
(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红
外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信
处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频
以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接
收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
无线通信技术可以包括全球移动通讯系统(global system for mobile communications,
GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(code
division multiple access,CDMA),宽带码分多址(wideband code division multiple
access,WCDMA),时分码分多址(time‑division code division multiple access,TD‑
SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所
述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系
统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidou
navigation satellite system,BDS),准天顶卫星系统(quasi‑zenith satellite
system,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active‑matrix
organic light emitting diode的,AMOLED),柔性发光二极管(flex light‑emitting
diode,FLED),Miniled,MicroLed,Micro‑oLed,量子点发光二极管(quantum dot light
emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N
为大于1的正整数。
示电子设备当前提供的增强功能所对应的控件。电子设备当前提供的增强功能所对应的控
件可用于监听启用对应的增强功能的操作。电子设备确定当前提供给用户的增强功能的方
式可参照后续实施例的相关描述,在此不再赘述。
理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以
对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
体(complementary metal‑oxide‑semiconductor,CMOS)光电晶体管。感光元件把光信号转
换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP
加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,
电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。在本申请实施例中,电子设
备100包括至少一个前置摄像头和至少一个后置摄像头。
里叶变换等。
家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解
等。
能。例如将音乐,视频等文件保存在外部存储卡中。
统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可
存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储
器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储
器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行
存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设
备100的各种功能应用以及数据处理。
中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器
110中。
170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设
置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设
备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音
来源,实现定向录音功能等。
蜂窝电信工业协会(cellular telecommunications industry association of the USA,
CTIA)标准接口。
传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个
具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备
100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压
力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信
号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操
作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用
于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈
值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖
动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备
100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自
动解锁等特性。
用于横竖屏切换,计步器等应用。
备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确
定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备
100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴
近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口
袋模式自动解锁与锁屏。
传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在
另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电
子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池
142的输出电压执行升压,以避免低温导致的异常关机。
上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触
摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触
摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音
频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音
信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解
析心率信息,实现心率检测功能。
号输入。
反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。
不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效
果。触摸振动反馈效果还可以支持自定义。
为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM
卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195
也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM
卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,
即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。
用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形
方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图
标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状
态栏、导航栏、Widget等可视的界面元素。
号的一个或多个信号强度指示符201C,电池状态指示符201D、时间指示符201E。
击主屏幕键205B时,电子设备100可显示主界面。当检测到用户点击多任务键205C时,电子
设备100可显示用户最近打开的任务。各导航键的命名还可以为其他,本申请对此不做限
制。不限于虚拟按键,导航栏205中的各导航键也可以实现为物理按键。
录的图标212、支付宝的图标213、图库的图标214、设置的图标215。用户界面21还可包括页
面指示符216。其他应用程序图标可分布在多个页面,页面指示符216可用于指示用户当前
浏览的是哪一个页面中的应用程序。用户可以左右滑动其他应用程序图标的区域,来浏览
其他页面中的应用程序图标。
述指令具体可以是用户单次按下主屏幕键的操作指令,也可以是用户在短时间内连续两次
按下主屏幕键的操作指令,还可以是用户在预定时间内长按主屏幕键的操作指令。在本申
请其他一些实施例中,主屏幕键还可以集成指纹识别器,以便用于在按下主屏幕键的时候,
随之进行指纹采集和识别。
角增大”的开关控件217A,还可以显示有其他功能(如Wi‑Fi、蓝牙、手电筒等等)的开关控
件。当检测到在窗口217中的开关控件217A上的操作(如在开关控件217A上的触摸操作)时,
响应于该操作,电子设备100可以开启“视角增大”功能。
开关控件217A的表现形式可以为文本信息或者图标。
该部分即时通讯软件可以是电子设备100默认设置的;也可以是用户自主设置的,本申请实
施例对此不做限制。
用于设置电子设备100的各项功能的应用程序,本申请实施例对该应用程序的名称不做限
制。该用户界面31可以是用户点击图2A所示的用户界面21中的设置图标215打开的用户界
面。
息,当前页面指示符302A还可以是图标。
项。
音设置项、视角增大设置项305A、安全和隐私设置项、用户和账号设置项等。各个设置项的
表现形式可包括图标和/或文本,本申请对此不做限制。各个设置项可用于监听触发显示对
应设置项的设置内容的操作(如触摸操作),响应于该操作,电子设备100可打开用于显示对
应设置项的设置内容的用户界面。
31。当前页面指示符307B和307C可用于指示当前页面,例如文本信息“设置”“视角增大”可
用于指示当前页面用于展示视角增大设置项的对应内容,不限于文本信息,当前页面指示
符307B和307C还可以是图标。
电子设备100可以开启“视角增大”功能。开关控件308的表现形式可以为文本信息或者图
标。
软件具有使用该电子设备100的视角增大功能的权限。该部分即时通讯软件可以是电子设
备100默认设置的,也可以是用户自主设置的,本申请实施例对此不做限制。
大”开关控件313‑316。
31。当前页面指示符311B和311C可用于指示当前页面,例如文本信息“设置”“视角增大”可
用于指示当前页面用于展示视角增大设置项的对应内容,不限于文本信息,当前页面指示
符311B和311C还可以是图标。
备100中安装的全部即时通讯软件。如图3C所示,当检测到在开关控件313‑316上的操作(如
在开关控件313‑316上的触摸操作)时,响应于该操作,电子设备100可以开启/关闭对应的
即时通讯软件使用电子设备100的视角增大功能的权限。例如,如图3C所示,当检测到在开
关控件313上的操作时,电子设备100可以允许即时通讯软件微信(Wechat)使用该电子设备
100具备的视角增大功能。开关控件313‑316的表现形式可以为文本信息或者图标。
100也可以默认开启“视角增大”增大功能,例如在开机后自动开启“视角增大”功能等。
者直接显示文本“视角增大”等。
个或多个视频通话时的相关控件。其中,视频通话的一方的图像(即电子设备本端用户的图
像)可以是电子设备100的摄像头193采集到的图像,该摄像头可以是前置摄像头,也可以是
后置摄像头。视频通话的另一方的图像(即对端用户的图像)可以是电子设备100通过提供
该“视频通话界面”的即时通讯软件程序接收到的其他电子设备100发送的图像。视频通话
时的相关控件可用于接收用户操作(例如触摸操作),响应于该用户操作,电子设备100可以
执行以下一项或多项:从视频通话切换到语音通话、挂断该视频通话或转换摄像头等。
点击图2A中的微信图标206,并选择联系人发起视频通话之后打开的用户界面。在另一些实
施例中,该用户界面41还可以是用户点击图2A中的微信图标206,并接受联系人发起的视频
通话之后打开的用户界面。在又一些实施例中,还可以是用户通过语音唤起的用户界面。
实施例中,该用户界面41还可包括可隐藏的导航栏(图中未示出),该导航栏可参照图2A中
的导航栏205。
送的图像。
本申请实施方式中,本端用户的图像是电子设备100的前置摄像头所采集到的图像。
通话切换为语音通话。
摄像头,或者,将后置摄像头转换为前置摄像头等。
图4B所示的界面,即在当前显示的界面上还显示一提示窗口408。提示窗口408中包括:“视
角增大”开启前的效果展示信息408A、“视角增大”开启后的效果展示信息408B、提示信息
408C、控件408D和控件408E。
本。
现形式可以为图标或文本(例如图4B中的文本“取消”)。
设备100可以停止显示提示窗口408,并且呈现电子设备100当前提供视角增大功能的本端
用户图像显示区域403所显示的图像效果(参图4C)。控件408D的表现形式可以为图标或文
本(例如图4B中的文本“开始体验”)。在本申请实施例中,在响应于检测到的作用于控件
408E上的操作后,本端用户图像的显示区域403所显示的图像视角会发生变化,请参图4C。
4C所示的UI界面。
的显示面为电子设备100的正面区域。请再一并参阅图5B,其中,前置摄像头193A安装于所
述显示屏102的一侧,后置摄像头193B安装于后盖102的一侧,进而使得前置摄像头193A和
后置摄像头193B相背设置。如此,前置摄像头193A和后置摄像头193B可以拍摄两个相反方
向的图像。在本申请实施例中,电子设备100设置有一个前置摄像头193A和一个后置摄像头
193B。在其他实施方式中,前置摄像头193A和后置摄像头193B的数量还可以是两个或者更
多,在此不做限定。
侧,且用于反射前置摄像头193A所在的方向的图像使得后置摄像头193B捕获到反光装置中
的图像;其中,物侧是指所述后置摄像头193B朝向被拍物体的一侧。处理器110用于对后置
摄像头193B所捕获到的图像进行处理并将处理后的图像和前置摄像头193A所捕获到的图
像进行融合后显示,进而达到增加前置摄像头193A所捕获的图像的视场角的目的。当反光
装置处于闲置状态时,后置摄像头193B可捕获后置摄像头193B所在方向的图像。
以通过和前置摄像头所拍摄的图像进行融合以扩大前置摄像头193A所拍摄图像的视场角,
提高用户在使用电子设备100进行视屏通话时的视觉体验。
包括驱动件104A、传动件104B以及固定件104C。传动件104B的一端安装于驱动件104A上,且
另一端连接固定件104C。反光装置103A设置于固定件104C远离传动件104B的一端。当驱动
件104A驱动传动件104B转动时,传动件104B可以带动固定件104C移动,进而带动反光装置
103A运动,使得反光装置103A在使用状态(如图6A所示)和闲置状态(如图6B所示)之间进行
切换。在本实施方式中,驱动件104A与处理器110电连接,并接收处理器110的控制以驱动传
动件104B转动。
104C带动反光装置103A从闲置状态切换至使用状态。其中,由于反光装置103A由柔性材料
制成,因此,在使用状态和闲置状态之间的切换过程中,反光装置103A的形状是不固定的。
而在使用状态时,反光装置103A呈特定形状,例如,可以为图6A中所示的凸面镜状,还可以
呈其他特定形状,在此不做限定。
不限定驱动组件104中的各个结构组件的类型及构成,只要能够驱动反光装置103A在使用
状态和闲置状态之间切换即可。
当反光装置103A处于闲置状态时,反光装置103A远离后置摄像头193B的物侧,即此时反光
装置103A不会对后置摄像头193B的视线进行遮挡,此时,后置摄像头193B可正常使用,以捕
获后置摄像头193B所在方向的图像。本实施方式中,由于反光装置103为柔性材料制成的反
光膜重量轻,进而需要较小的动力即可驱动,且可以做到接近全反光。
193B进行保护,以防止后置摄像头193B被刮伤。当反光装置103A处于使用状态时,反光装置
103A贴合于镜头保护盖105的内壁上。其中,镜头保护盖105的内壁是指,镜头保护盖105面
向后置摄像头193B的表面。当电子设备100只包括一个后置摄像头193B时,反光装置103B正
对后置摄像头193B(参图7B),当电子设备100包括两个后置摄像头193B时,反光装置103B位
于两个后置摄像头193B的中垂线上(参图7C)。
以呈其他形状,在此不做限定。当反光装置103B处于使用状态时,反光装置103B因通电而处
于部分透光模式(参图8A),此时,后置摄像头193B可以捕获反光装置103B中的图像。当反光
装置103B处于闲置状态时,反光装置103B因断电而处于全透光模式(参图8B),此时,后置摄
像头193B可以捕获后置摄像头193B所在方向的图像。在本实施方式中,反光图层由电致发
光材料构成。在本实施方式中,由于反光图层的位置是固定不动的,不需要使用机械传动,
精度较高,且对工艺的需求较低,较容易实现。
于后盖101上且与后置摄像头193B对应。在本实施方式中,反光装置103C可以呈梯形体状
(参图9B),还可以呈半球体状(参图9C)。在其他实施方式中,反光装置103C还可呈其他形
状,例如,三角体状、圆柱体状等,在此不做限定。当反光装置103C处于使用状态时,承载件
106安装于后盖101上而使得反光装置103C位于后置摄像头193B与承载件106之间,此时,后
置摄像头193B可以捕获反光装置103C中的图像。当反光装置103C处于闲置状态时,承载件
106与后盖101分离,即承载件106从后盖101上拆卸,此时,后置摄像头193B可以捕获后置摄
像头193B所在方向的图像。在一些实施方式中,承载件106可以是镜头保护盖105。
承载件106与后盖101之间。
摄像头193B与承载件106之间,此时,后置摄像头193B可以捕获反光装置103C中的图像。当
反光装置103C处于闲置状态时,承载件106滑动至远离后置摄像头103C的一侧,此时,后置
摄像头193B可以捕获后置摄像头193B所在方向的图像。
193A所在方向的影像会在反光装置103中成像,后置摄像头193B可通过捕获反光装置103中
的图像来获取前置摄像头193A所在方向的影像。如图10A所示,由于电子设备100的本体的
遮挡原因,只有电子设备100的本体两侧影像会反射到反光装置103中,从而被后置摄像头
193B捕获。为了使得前置摄像头193A所捕获的图像和后置摄像头193B所捕获的图像在融合
时无缝衔接(不存在盲区),在一些实施方式中,后置摄像头193B所捕获的图像和前置摄像
头193A所捕获的图像应存在重合区域,如图10A所示,I2和I1存在重合区域I4,I3和I1之间
存在重合区域I5,而I2和I3是否和I1存在重合区域是与反光装置103到后盖101之间的距离
有关。如图10B所示,当反光装置103到后盖101之间的距离较近时,I2和I3将不会和I1之间
存在重合区域。
边的距离是d2,反光装置103的光心到镜面距离为c,镜面到后置摄像头193B的距离是s,则
可得出反光装置103的遮挡角β为arc tan d1/(s+c)。其中,遮挡角β是指反光装置103的中
心与后置摄像头193B的连线L1和反光装置103的中心与电子设备100的一个侧边的连线L2
之间所呈的角。在本实施方式中,后置摄像头193B在当遮挡角α大于或者等于FOV1/2时,将
出现图10B中的情况,当遮挡角β小于FOV1/2时,将出现图10A中的情况。而从上述遮挡角α的
关系式中可以看出,遮挡角α的大小与d1、c和s三个数值有关,其中,电子设备100和反光装
置103确定后,d1和c就会是一个定值,只能通过调整s来调整遮挡角α的大小。因此,应设置s
>d1/tan(FOV1/2)–c以及s>d2/tan(FOV1/2)–c。
的减少镜面到后置摄像头193B的距离s。同时由于要得到较清晰的图像,应将反光装置103
的焦距F(图未示)尽量减小。
距离过远时,虽然前置摄像头193A方向的图像会反射到反光装置103中,但却无法被后置摄
像头193B捕获。假设反光装置103的成像面与反光装置103的水平面之间的夹角为α,若要通
过连线L2所形成的图像能够被后置摄像头193B捕获,应保证遮挡角β>2α。此外,与上述反光
装置103为凸面镜的原理类似,β还应小于FOV1/2,即2α应小于FOV1/2。因此,在本实施方式
中,应设置s>d1/tan(2α)以及s>d2/tan(2α)。
中,物侧是指所述后置摄像头193B朝向被拍物体的一侧。
像头193A与对端用户进行视屏通话,此时应执行该图像处理方法以对前置摄像头193A所拍
摄的图像的视场角进行扩大,进而提高用户的视屏通话体验。
于横屏状态时,控制反光装置由闲置状态切换为使用状态。其中,“横屏状态”是指电子设备
100的水平方向的长度大于竖直方向的长度的状态。
例如,当反射装置103为凸面镜时,反射到反射装置103中的影像会发生变形,进而使得后置
摄像头193B拍摄到的发生形变的图像。因此,需要使用还原算法将发生形变的图像还原为
原始图像。此外,由于后盖101的遮挡,反光装置103中会反射到后盖101的图像,因此,需要
对这部分图像进行处理,以便后续更好的和前置摄像头193B所拍摄的图像进行融合。
二前置图像区I3是指后置摄像头193B拍摄到的反光装置103中所反射的前置摄像头193A所
在方向的图像。后盖图像区101I是指后置摄像头193B拍摄到的反光装置103中所反射的后
盖101的部分图像。从图13A中可以看出只有第一前置图像区I2和第二前置图像区I3对增大
前置摄像头193A所拍摄到的图像的视场角有作用,而后盖图像区101I也就是在步骤S103中
需要进行处理的对象。
前置图像区I2之间的重合区域;第二重合区I5是指图像I1与第二前置图像区I3之间的重合
区域。在本实施方式中,第一前置图像区I2包括第一重合区I4。第二前置图像区I3包括第二
重合区I5。从图13A和图13B中可以看出,在步骤S104中,应先找出第一重合区域I4和第二重
合区域I5,才能更好的对前置摄像头193A和后置摄像头193B所拍摄的图像进行融合。
第一重合区域I5。
区域I4和前置摄像头193A捕获到的图像的第一重合区域I4对齐,且将处理后的后置摄像头
193B捕获到的图像的第二重合区域I5和前置摄像头193A捕获到的图像的第二重合区域I5
对齐。接着以重合的区域为基准将该两个图像进行拼接融合即可。
获到的图像存在几何形变、不处于同一水平高度的情况,在该情况下,需要对该两个图像进
行处理以使得该两个图像呈现图13B所示的状态。因此,在一些实施方式中,可以通过对后
置摄像头193B捕获到的图像进行几何恢复、伸缩、切割等操作,以使其恢复为图13B中的初
始状态。例如,假设后置摄像头193B捕获到的原图像为P1,几何恢复参数矩阵为G,则对P1进
行几何恢复,得到P2=P1*G,再对其进行伸缩,伸缩系数为S,得到P3=P2*S,最后对P3进行
切割,得到P4后再进行对齐。
像头193A捕获到的图像高度相同时,融合后的图像的高度是一致的,因此不需要对融合后
的图像进行裁剪,只需对融合后的图像进行缩放以满足当前显示窗口的需求即可。
16所示,当处理后的后置摄像头193B捕获到的图像的高度大于前置摄像头193A捕获到的图
像的高度时,即I2(I3)的高度大于I1的高度时,以I1’的高度为基准高度,并分别以第一切
割线Q1和第二切割线Q2对I2和I3进行裁剪。当处理后的后置摄像头193B捕获到的图像的高
度小于前置摄像头193A捕获到的图像的高度时,即I2(I3)的高度小于I1的高度时,以I2和
I3的高度为基准高度,并分别以第三切割线Q3和第四切割线Q4对I1’进行裁剪。需要说明的
是,由于I2和I3均是由后置摄像头193B所捕获的图像,因此,I2和I3的高度是相同的。
显示在本地电子设备100的本端用户图像的显示区域403和对端电子设备100的,对端用户
图像的显示区域402中,进而可以增大本地电子设备100的前置摄像头193A所捕获的图像的
视场角,使得在视屏过程中,对端用户可以看到本地端用户更多的图像,而不仅限于本端用
户的上半身图像,进而提高了用户的视频通话体验。
为依据本申请,某一些步骤可以采用其他顺序或者同时进行。
简称RAM)、软盘、硬盘或磁光盘的等计算机可读存储介质中的软件或计算机代码,或者可以
作为原始存储在远程记录介质或非瞬时的机器可读介质上、通过网络下载并且存储在本地
记录介质中的计算机代码,从而这里描述的方法可以利用通用计算机或特殊处理器或在诸
如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的可编程或专用硬件中以存储在
记录介质上的软件来呈现。如本领域能够理解的,计算机、处理器、微处理器、控制器或可编
程硬件包括存储器组件,例如,RAM、ROM、闪存等,当计算机、处理器或硬件实施这里描述的
处理方法而存取和执行软件或计算机代码时,存储器组件可以存储或接收软件或计算机代
码。另外,当通用计算机存取用于实施这里示出的处理的代码时,代码的执行将通用计算机
转换为用于执行这里示出的处理的专用计算机。
行上述的图像处理方法。
视为本申请的保护范围。