图像处理显示方法、分类模型的生成方法及其设备转让专利

申请号 : CN202310509890.8

文献号 : CN116229188B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 练振华

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请实施例提供一种图像处理显示方法、分类模型的生成方法及其设备,涉及图像处理技术,该方法包括:提取当前用户界面的颜色特征,该颜色特征包括当前用户界面的色调信息,将该颜色特征输入至预先获取的分类模型,得到当前用户界面的图标分类,该分类模型是基于样本图像的图标分类和颜色特征训练得到的;根据当前用户界面的图标分类,调整当前用户界面中的图标的颜色。该方法能够动态的对当前用户界面中的图标的颜色进行调整,从而使得当前用户界面中的图标的颜色与当前用户界面整体的颜色相适应,提高了用户界面的显示效果,且能够自动实现对当前用户界面中图标颜色的适应性调整,不需要用户手动调整,调整效率高,提升了用户体验。

权利要求 :

1.一种图像处理显示方法,其特征在于,包括:

提取当前用户界面的颜色特征,所述颜色特征包括所述当前用户界面的色调信息,所述当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;

将所述颜色特征输入至预先获取的分类模型,得到所述当前用户界面的图标分类,所述分类模型是基于样本图像的图标分类和颜色特征训练得到的,所述样本图像为用户界面图像;

根据所述当前用户界面的图标分类,调整所述当前用户界面中的图标的颜色。

2.根据权利要求1所述的图像处理显示方法,其特征在于,还包括:接收服务器发送的所述分类模型,所述分类模型是所述服务器采用朴素贝叶斯分类方法对数据集处理得到的,所述数据集中包括多个样本图像、所述样本图像的图标分类和颜色特征,所述样本图像的颜色特征包括所述样本图像的色调信息,所述样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色。

3.根据权利要求1所述的图像处理显示方法,其特征在于,所述提取当前用户界面的颜色特征,包括:获取所述当前用户界面的红绿蓝RGB值;

将所述当前用户界面的RGB值填充到RGB坐标系中;

根据所述当前用户界面的RGB值在所述RGB坐标系中的分布情况,确定所述当前用户界面的色调的RGB值;

根据所述当前用户界面的色调的RGB值,构造所述当前用户界面的颜色特征向量。

4.根据权利要求3所述的图像处理显示方法,其特征在于,所述根据所述当前用户界面的RGB值在所述RGB坐标系中的分布情况,确定所述当前用户界面的色调的RGB值,包括:根据预定义的主色调的色彩空间的尺寸和预设的移动步长,在所述RGB坐标系中确定像素点最多的色彩空间,根据所述像素点最多的色彩空间内的像素点的RGB值,确定所述主色调的RGB值;

确定所述当前用户界面上的RGB值在所述RGB坐标系的各坐标轴上的最小值、平均值和最大值;

根据预定义的各辅色调的色彩空间的范围,以及所述当前用户界面上的RGB值在所述各坐标轴上的最小值、平均值和最大值,确定所述各辅色调的色彩空间,根据所述各辅色调的色彩空间内的像素点的RGB值,确定所述各辅色调的RGB值。

5.根据权利要求3所述的图像处理显示方法,其特征在于,所述获取所述当前用户界面的红绿蓝RGB值,包括:将所述当前用户界面的图片格式转换为位图格式,得到所述当前用户界面的位图信息;

从所述当前用户界面的位图信息中提取像素点的RGB值;

对所述当前用户界面中提取到的像素点进行下采样,得到所述当前用户界面的RGB值。

6.根据权利要求1‑5任一项所述的图像处理显示方法,其特征在于,所述提取当前用户界面的颜色特征,包括:当监测到终端的当前用户界面发生变化时,获取所述当前用户界面的图像数据;

根据所述当前用户界面的图像数据,提取所述当前用户界面的颜色特征。

7.根据权利要求1‑5任一项所述的图像处理显示方法,其特征在于,所述当前用户界面中包括操作系统的部分界面以及所述操作系统上运行的应用的应用界面,所述根据所述当前用户界面的图标分类,调整所述当前用户界面中的图标的颜色,包括:通过所述应用调整以下至少一类图标的颜色:所述操作系统的部分界面上的图标,所述应用界面上的图标。

8.一种分类模型的生成方法,其特征在于,包括:

获取数据集,所述数据集中包括多个样本图像以及所述样本图像的实际图标分类,所述样本图像为用户界面图像;

提取所述样本图像的颜色特征,所述样本图像的颜色特征包括所述样本图像的色调信息,所述样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;

对所述数据集中样本图像的颜色特征和实际图标分类进行处理得到分类模型;

将所述分类模型发送给终端。

9.根据权利要求8所述的分类模型的生成方法,其特征在于,所述对所述数据集中样本图像的颜色特征和实际图标分类进行处理得到分类模型,包括:根据所述数据集中样本图像的颜色特征和实际图标分类,确定所述数据集中各样本图像属于各个分类的后验概率;

对于各样本图像,根据朴素贝叶斯分类方法的假设,从所述样本图像属于各个分类的后验概率中,确定最大后验概率;

根据所述数据集中样本图像的实际图标分类和最大后验概率,确定候选分类模型;

对所述数据集进行多轮处理,得到多个候选分类模型;

从所述多个候选分类模型中确定所述分类模型。

10.根据权利要求9所述的分类模型的生成方法,其特征在于,所述从所述多个候选分类模型中确定所述分类模型,包括:从所述数据集中抽取部分样本图像组成测试集;

将所述测试集中各样本图像的颜色特征输入所述候选分类模型,得到所述候选分类模型对应的预测结果,所述候选分类模型对应的预测结果中包括所述测试集中各样本图像的预测图标分类;

根据所述候选分类模型对应的预测结果和所述测试集中各样本图像的实际图标分类,计算所述测试集中的各样本图像的分类相似度;

根据所述测试集中的各样本图像的分类相似度,确定大于相似度阈值的训练样本的比例;

根据所述多个候选分类模型对应的所述比例,确定比值最高的候选分类模型为所述分类模型。

11.根据权利要求8‑10任一项所述的分类模型的生成方法,其特征在于,所述提取样本图像的颜色特征,包括:获取所述样本图像的红绿蓝RGB值;

将所述样本图像的RGB值填充到RGB坐标系中;

根据所述样本图像的RGB值在所述RGB坐标系中的分布情况,确定所述样本图像的色调的RGB值;

根据所述样本图像的色调的RGB值,构造所述样本图像的颜色特征向量。

12.根据权利要求11所述的分类模型的生成方法,其特征在于,所述根据所述样本图像的RGB值在所述RGB坐标系中的分布情况,确定所述样本图像的色调的RGB值,包括:根据预定义的主色调的色彩空间的尺寸和预设的移动步长,在所述RGB坐标系中确定像素点最多的色彩空间,根据所述像素点最多的色彩空间内的像素点的RGB值,确定所述主色调的RGB值;

确定所述样本图像上的RGB值在所述RGB坐标系的各坐标轴上的最小值、平均值和最大值;

根据预定义的各辅色调的色彩空间的范围,以及所述样本图像上的RGB值在所述各坐标轴上的最小值、平均值和最大值,确定所述各辅色调的色彩空间,根据所述各辅色调的色彩空间内的像素点的RGB值,确定所述各辅色调的RGB值。

13.根据权利要求11所述的分类模型的生成方法,其特征在于,所述获取所述样本图像的红绿蓝RGB值,包括:将所述样本图像的图片格式转换为位图格式,得到所述样本图像的位图信息;

从所述样本图像的位图信息中提取像素点的RGB值;

对所述样本图像中提取到的像素点进行下采样,得到所述样本图像的RGB值。

14.一种图像处理显示装置,其特征在于,包括:

特征提取模块,用于提取当前用户界面的颜色特征,所述颜色特征包括所述当前用户界面的色调信息,所述当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;

分类模块,用于将所述颜色特征输入至预先获取的分类模型,得到所述当前用户界面的图标分类,所述分类模型是基于样本图像的图标分类和颜色特征训练得到的,所述样本图像为用户界面图像;

调整模块,用于根据所述当前用户界面的图标分类,调整所述当前用户界面中的图标的颜色。

15.一种分类模型的生成装置,其特征在于,包括:

获取模块,用于获取数据集,所述数据集中包括多个样本图像以及所述样本图像的实际图标分类,所述样本图像为用户界面图像;

特征提取模块,用于提取所述样本图像的颜色特征,所述样本图像的颜色特征包括所述样本图像的色调信息,所述样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;

生成模块,用于对所述数据集中样本图像的颜色特征和实际图标分类进行处理得到分类模型;

分发模块,用于将所述分类模型发送给终端。

16.一种终端,其特征在于,包括:

处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行权利要求1至7中任一项所述的方法。

17.一种服务器,其特征在于,包括:

处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行权利要求8至13中任一项所述的方法。

18.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1‑7或8‑13中任一项所述的方法。

说明书 :

图像处理显示方法、分类模型的生成方法及其设备

技术领域

[0001] 本申请实施例涉及图像分类领域,尤其涉及一种图像处理显示方法、分类模型的生成方法及其设备。

背景技术

[0002] 用户界面(User Interface,简称UI)是电子设备和用户之间进行交互和信息交换的媒介,UI是介于用户与硬件之间,为彼此之间交互沟通而设计的相关软件,UI设计包括了人机交互与图形用户界面(Graphical User Interface,简称 GUI)设计。
[0003] GUI是一种人与计算机通信的界面显示格式,允许用户使用鼠标等输入设备操纵屏幕上的图标或菜单选项,以选择命令、调用文件、启动程序或执行其它一些日常任务。GUI内的图标的颜色通常为固定颜色,但是GUI的背景颜色或者整体颜色可能是变化的,当GUI的背景颜色或者整体颜色变化后,GUI内的图标的颜色可能与GUI的背景颜色或者整体颜色不匹配,导致GUI的显示效果差,不符合用户预期。

发明内容

[0004] 本申请实施例提供一种图像处理显示方法、分类模型的生成方法及其设备,提高了用户界面的显示效果。
[0005] 第一方面,本申请实施例提供一种图像处理显示方法,所述方法包括:提取当前用户界面的颜色特征,所述颜色特征包括所述当前用户界面的色调信息,所述当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;将所述颜色特征输入至预先获取的分类模型,得到所述当前用户界面的图标分类,所述分类模型是基于样本图像的图标分类和颜色特征训练得到的,所述样本图像为用户界面图像;根据所述当前用户界面的图标分类,调整所述当前用户界面中的图标的颜色。
[0006] 第二方面,本申请实施例提供一种分类模型的生成方法,所述方法包括:获取数据集,所述数据集中包括多个样本图像以及所述样本图像的实际图标分类,所述样本图像为用户界面图像;提取所述样本图像的颜色特征,所述样本图像的颜色特征包括所述样本图像的色调信息,所述样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;对所述数据集中样本图像的颜色特征和实际图标分类进行处理得到分类模型。
[0007] 第三方面,本申请实施例提供一种图像处理显示装置,所述装置包括:特征提取模块,用于提取当前用户界面的颜色特征,所述颜色特征包括所述当前用户界面的色调信息,所述当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;分类模块,用于将所述颜色特征输入至预先获取的分类模型,得到所述当前用户界面的图标分类,所述分类模型是基于样本图像的图标分类和颜色特征训练得到的,所述样本图像为用户界面图像;调整模块,用于根据所述当前用户界面的图标分类,调整所述当前用户界面中的图标的颜色。
[0008] 第四方面,本申请实施例提供一种分类模型的生成装置,所述装置包括:获取模块,用于获取数据集,所述数据集中包括多个样本图像以及所述样本图像的实际图标分类,所述样本图像为用户界面图像;特征提取模块,用于提取所述样本图像的颜色特征,所述样本图像的颜色特征包括所述样本图像的色调信息,所述样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;生成模块,用于对所述数据集中样本图像的颜色特征和实际图标分类进行处理得到分类模型;分发模块,用于将所述分类模型发送给终端。
[0009] 第五方面,本申请实施例提供一种终端,所述终端包括:处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行如上述第一方面所述的方法。
[0010] 第六方面,本申请实施例提供一种服务器,所述服务器包括:处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行如上述第二方面所述的方法。
[0011] 第七方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序使得计算机执行如上述第一方面或者第二方面所述的方法。
[0012] 第八方面,本申请实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述第一方面或者第二方面所述的方法。
[0013] 本申请实施例提供的技术方案,通过提取当前用户界面的颜色特征,该颜色特征包括所述当前用户界面的色调信息,将该颜色特征输入至预先获取的分类模型,得到当前用户界面的图标分类,该分类模型是基于样本图像的图标分类和颜色特征训练得到的,样本图像为用户界面图像;根据当前用户界面的图标分类,调整当前用户界面中的图标的颜色。该方法能够动态的对当前用户界面中的图标的颜色进行调整,从而使得当前用户界面中的图标的颜色与当前用户界面整体的颜色相适应,提高了用户界面的显示效果,且能够自动实现对当前用户界面中图标颜色的适应性调整,不需要用户手动调整,调整效率高,提升了用户体验。

附图说明

[0014] 为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0015] 图1为本申请实施例提供的方法的一种实施环境的示意图;
[0016] 图2为终端和服务器的功能模块的一种示意图;
[0017] 图3是本申请实施例一提供的图像处理显示方法的流程图;
[0018] 图4为用户界面中图标的颜色调整前后的对比示意图;
[0019] 图5为本申请实施例二提供的当前用户界面的颜色特征的提取方法的流程图;
[0020] 图6为将当前用户界面的RGB值填充到RGB坐标系的一种示意图;
[0021] 图7为本申请实施例三提供的分类模型的生成方法的流程图;
[0022] 图8为本申请实施例四提供的图像处理显示装置的结构示意;
[0023] 图9为本申请实施例五提供的分类模型的生成装置的结构示意图;
[0024] 图10为本申请实施例六提供的终端的一种结构示意图。

具体实施方式

[0025] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0026] 需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027] 本申请涉及人工智能技术,其中,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
[0028] 人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0029] 具体涉及人工智能中的机器学习(Machine Learning, ML),机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
[0030] 本申请还涉及图像处理(image processing),图像处理是指用计算机对图像进行分析,以达到所需结果的技术。图像处理包括但不限于:图像压缩、图像编码、图像增强和图像分类等,图像分类利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。常用的图像分类方法包括但不限于:基于色彩特征的图像分类、基于纹理的图像分类、基于形状的图像分类或者基于空间关系的图像分类。
[0031] 本申请实施例提供一种图像处理显示方法和分类模型的生成方法,图1为本申请实施例提供的方法的一种实施环境的示意图,如图1所示,该实施环境包括:终端110、终端120、终端130、和服务器140,终端110、终端120、终端130通过有线或者无线网络与服务器
140通信。
[0032] 终端不限于图中所示的设备,终端可以为手机、平板电脑、台式电脑、便携式笔记本电脑、智能语音交互设备、智能家电等多种形式的设备。终端中运行有应用,示例性的,该应用可以是传统应用软件,可以是云应用软件,可以实现为宿主应用程序中的小程序或应用模块,也可以是某个网页平台,在此不进行限定。
[0033] 可选地,上述应用可以是游戏应用、电子商务应用、短视频应用、音频应用、小说应用、内容交互应用、即时通讯应用等,在此不进行具体限制。
[0034] 以终端110为例,终端110上的应用在运行过程中,应用界面上显示的内容是动态变化的,相应的,应用界面上的颜色也是动态变化的,或者,用户对应用的桌面主体更换后,应用的背景颜色发生变化。而应用中的图标的颜色是固定的,是在应用开发时设置的一个默认颜色,图标的颜色一旦设置之后,基本不会发生变化。
[0035] 在计算机软件领域,图标是指具有明确指代含义的计算机图形,它可以是程序标识、数据标识、命令选择、模式信号或切换开关、状态指示等,例如,终端110的桌面图标包括程序标识、数据标识(例如文件标识)和状态指示标识(状态栏中的电量标识、wifi标识等),应用界面中的图标是功能标识。
[0036] 当应用界面上的颜色发生变化后,图标的颜色可能与应用界面的颜色发生显示冲突,影响图标的显示或者图标的显示效果不佳,不符合用户预期。
[0037] 一种场景下,应用的图标的颜色和应用界面的背景颜色相同,此时,用户可能看不到图标,例如,图标的颜色为白色,而应用界面的背景颜色也为白色,则图标显示后用户看不到图标。
[0038] 另一种场景下,应用的图标的颜色和应用界面的整体颜色相近,图标的显示效果不佳。
[0039] 在一种场景下,应用的图标的颜色和应用界面的整体颜色不协调,视觉效果差,例如,应用的图标的颜色为红色,应用界面的整体颜色为蓝色或者绿色。
[0040] 现有方案中,如果需要改变应用的图标的颜色,则需要对应用的代码进行修改,重新设置代码中图标的颜色,并更新应用的版本,应用的图标的颜色更改成本较高,并且无法解决上述提到的颜色冲突问题。
[0041] 本申请实施例提供的方法中,终端110用于提取当前用户界面的颜色特征,该颜色特征包括当前用户界面的色调信息,当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;将颜色特征输入至预先获取的分类模型,得到当前用户界面的图标分类;根据当前用户界面的图标分类,调整当前用户界面中的图标的颜色。
[0042] 该方法中,能够根据当前用户界面的颜色,对当前用户界面中的图标的颜色适应性调整,使得当前用户界面中的图标的颜色与当前用户界面整体的颜色匹配,提高了当前用户界面的显示效果。
[0043] 服务器140用于获取数据集,数据集中包括多个样本图像、样本图像的图标分类和颜色特征,样本图像为用户界面图像,样本图像的颜色特征包括样本图像的色调信息,样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;使用机器学习方法对数据集进行学习得到分类模型,并将分类模型下发给终端,以使得终端基于该分类模型调整用户界面上的图标的颜色。
[0044] 该分类模型对大量样本图像的图标和颜色特征进行学习、分析得到的一个分类算法,该分类模型以图像的颜色特征作为输入,得到图像中图标的分类,不同的图标分类对应的图标的颜色不同。
[0045] 服务器140可以采用朴素贝叶斯分类方法进行学习得到分类模型,也可以采用神经网络训练得到分类模型,还可以采用其他分类方法学习得到分类模型,例如,决策树分类、基于规则分类等。
[0046] 可选的,终端还可以基于网络请求,向服务器140反馈分类模型的分类效果,服务器140可以基于分类效果对分类模型进行调整。
[0047] 服务器140可以部署在独立的物理服务器上,也可以部署在多个物理服务器构成的服务器集群或者分布式系统,还可以部署在提供云服务、云数据库、云安全、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器上。
[0048] 图2为终端和服务器的功能模块的一种示意图,如图2所示,服务器140用于生成分类模型,以及对分类模型进行管理,服务器140包括以下模块:UI数据采集模块、分类模型生成模块、分类模型分发模块和分类模型反馈模块。
[0049] UI数据采集模块用于:采集UI图像,示例性的,可以从UI设计库中抽取设计图稿作为UI图像,还可以从线上应用中利用自动化脚本从应用加载的页面截取真实场景下的UI效果图作为UI图像,将采集到UI图像存放到数据库仓库或者图像内存分发网络(Content Delivery Network,简称CDN)节点中。
[0050] UI数据采集模块还用于:对UI图像进行标注和清洗,将标注后的样本图像和标注信息存储到UI数据集,UI数据集下述也称为数据集,其中,标注信息是指样本图像的图标分类。可选的,还可以采用人工方式对UI图像进行标注和清洗,依次对UI图像进行标注,如果该UI图像不符合要求,则丢弃该UI图像,如果该UI图像符合要求,则标注UI图像的图标分类。
[0051] 分类模型生成模块用于:提取UI数据集中的样本图像的颜色特征,对UI数据集中的样本图像的图标分类和颜色特征进行处理,生成分类模型。
[0052] 分类模型分发模块用于:将分类模型分发给终端,终端可以周期性向服务器请求最新的分类模型,或者,服务器140在分发模型更新后,主动向终端下发最新的分类模型。
[0053] 分类模反馈模块用于:接收终端反馈的分类模型的分类效果,对分类效果进行处理,基于分类效果确定是否对分类模型进行更新。
[0054] 以终端110为例,终端110包括图像采集模块、图像预处理模块和分类模型同步模块和图标设置模块。该图像采集模块、图像预处理模块和分类模型同步模块和图标设置模块可以集成在图标自适应组件,该图标自适应组件可以位于终端110的任意一个应用上。
[0055] 图像采集模块用于:采集当前用户界面的图像信息,可以从绘制缓存中采集原始的页面渲染图像信息。
[0056] 图像预处理模块用于:用于根据当前用户界面的图像信息提取当前用户界面的颜色特征。
[0057] 分类模型同步模块用于:用于和服务器通信,从服务器处获取分类模型,该模块可以周期性向服务器请求最新的分类模型。
[0058] 图标设置模块用于:基于图像预处理模块提取的颜色特征,通过分类模型预测得到当前用户界面的图标分类,调用图标更新方法,根据图标分类设置图标的颜色。
[0059] 在介绍了本申请实施例涉及到的一些概念之后,下面结合附图对本申请实施例提供的一种图像处理显示方法和分类模型的生成方法进行具体说明。
[0060] 图3是本申请实施例一提供的图像处理显示方法的流程图,本实施例方法可以由终端执行,如图3所示,本实施例的方法包括以下步骤。
[0061] S101、提取当前用户界面的颜色特征。
[0062] 本实施例的方法可以由终端上的应用执行,当应用中增加了图标自适应调整功能时,在应用运行过程中,则应用会提取当前用户界面的颜色特征,执行本实施例提供的方法对当前用户界面的图标的颜色进行调整。
[0063] 可选的,还可以设置图标自适应调整选项,用户可以根据需要选择开启或者关闭图标自适应调整功能,当用户选择开启图标自适应调整功能后,在应用运行过程中,应用会执行本实施例的方法,当用户选择关闭图标自适应调整功能后,在应用运行过程中,应用不会执行本实施例的方法。
[0064] 终端的用户界面是动态变化的,当前用户界面即终端上当前时刻显示的用户界面,当前用户界面上显示有图标。当前用户界面可以是应用的应用界面,也可以是终端的显示界面,终端的显示界面上显示的内容可能包括以下至少一种:终端的桌面,终端上运行的应用的应用界面。应用界面和终端的桌面上可能显示有图标。
[0065] 例如,用户打开新闻应用后,在终端上显示有新闻应用的应用界面,还显示有终端的信息栏,新闻应用的应用界面和终端的信息栏组成了终端的显示界面。其中,终端的信息栏为终端的桌面的一部分,终端的信息栏可以为手机桌面的顶端显示的状态栏,该状态栏中包括运营商图标、时间图标、电池图标、WIFI图标、蓝牙图标、网络下载速度图标等。终端的信息栏还可以为电脑桌面的底部显示的任务栏,在任务栏中显示有当前打开的应用的图标、天气图标、音量图标、时间图标、电池图标等。可以理解,不同类型或者不同版本的终端的信息栏的位置以及信息栏上显示的图标可能不同,这里只是举例说明。
[0066] 应用界面上包括一些图标,包括但不限于对应用进行控制的图标,同一应用的界面也是动态变化的。
[0067] 当前用户界面的颜色特征用于反映当前用户界面整体的颜色分布,该颜色特征可以为红、绿、蓝(Red‑Green‑Blue,RGB)特征,或者色调、亮度、饱和度(Hue‑Intensity‑Saturation,简称HIS)颜色特征,或者色调、饱和度、亮度分量(Hue‑ Saturation‑Value 简称HSV)颜色特征等。颜色特征可以采用向量、直方图等方式进行表示。
[0068] 一种示例性方式中,提取当前用户界面的色调信息,当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色。提取每个色调的RGB值,将提取的色调的RGB值组成一个特征向量,该特征向量为当前用户界面的颜色特征。
[0069] 主色调用于反映当前用户界面的整体的色彩,例如,当前用户界面的主色调为白色、绿色、蓝色、红色等。
[0070] 当前用户界面中可能包括很多的颜色,除了主色调,还包括其他一些辅色调,辅色调可以根据颜色的亮度将颜色分为了柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色,这些辅色调在当前用户界面中占据的像素点的个数没有主色调占据的像素点多。
[0071] 一种实现方式中,当监测到终端的当前用户界面发生变化时,获取当前用户界面的图像数据,根据当前用户界面的图像数据,提取当前用户界面的颜色特征。
[0072] 终端的当前用户界面的图像数据需要经过渲染引擎的渲染后显示给用户,该图像数据可以存储在绘制缓存中,通过监测绘制缓存中图像数据的变化,确定当前用户界面是否发生变化。可以理解,不同设备使用的渲染引擎、图像数据的格式、图像数据的存储位置可能是不一样的。
[0073] 以windows系统为例,通过windows对象添加窗口变化监测函数,该窗口变化监测函数用于监测用户界面是否发生变化。当监测到用户界面发生变化时,通过getDecorView函数获取当前的窗口的视图(view)对象,调用getDrarwingCache方法获取窗口图像数据,windows系统中的窗口即用户界面。
[0074] S102、将颜色特征输入至分类模型,得到当前用户界面的图标分类,该分类模型是基于样本图像的图标分类和颜色特征训练得到的,样本图像为用户界面图像。
[0075] 该分类模型用于基于图片的颜色特征对图片进行分类,得到图片的图标分类,图片的图标分类是指图片中的图标的分类,不同图标分类对应的图标的颜色不同,不同图标分类对应的图标的位置或者大小也可能不同。
[0076] 该分类模型可以是服务器预定义的模型,也可以是服务器基于机器学习得到的模型,机器学习包括但不限于神经网络模型,朴素贝叶斯分类方法等。终端从服务器处接收分类模型,基于该分类模型对象当前用户界面的图标分类进行预测。可选的,服务器还可以对分类模型进行更新,并将更新后的分类模型分发到终端。
[0077] 该分类模型是基于样本图像的图标分类和颜色特征训练得到的,训练分类模型时使用的样本图像的颜色特征与上述当前用户界面的颜色特征相同,样本图像的颜色特征包括样本图像的色调信息,样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色。
[0078] S103、根据当前用户界面的图标分类,调整当前用户界面中的图标的颜色。
[0079] 不同的图标分类对应不同的图标属性,该图标属性包括图标的颜色属性,颜色属性中包括目标颜色或者目标颜色区间。当颜色属性中的颜色信息为目标颜色时,根据该颜色属性中包括的目标颜色,将当前用户界面中需要调整的图标的颜色调整为目标颜色。当颜色属性中的颜色信息为目标颜色区间时,可以从目标颜色区间中选择一种颜色或者多种颜色对用户界面中的图标进行调整。
[0080] 示例性的,当用户界面中包括多个图标时,对于每个图标,根据图标的对比度,从目标颜色区间中选择一种颜色对图标进行调整。
[0081] 可以理解,当前用户界面中可能包括很多图标,本实施例的方法,可以只对当前用户界面中的部分图标的颜色进行调整,也可以对当前用户界面中的全部图标的颜色进行调整。在对当前用户界面中的部分图标的颜色进行调整时,可以只对预先设定的某种类型的图标的颜色进行调整,或者对预先设定的某个图标的颜色进行调整。
[0082] 可选的,该图标属性还包括图标的尺寸信息、位置信息、层级信息等,图标的尺寸信息用于指示图标的大小,图标的位置信息用于指示图标在界面中的位置,例如,指示图标位于界面的上、中、下。相应的,还可以对图标的尺寸信息、位置信息、层级信息等进行调整,进一步提高用户界面的显示效果。
[0083] 如果当前用户界面是应用的应用界面,则根据应用界面的图标分类,对应用界面中的图标的颜色进行调整。
[0084] 如果当前用户界面是终端的显示界面,则终端的显示界面上包括操作系统的部分界面以及操作系统上运行的应用程序的应用界面,其中,操作系统的界面即终端的桌面,此时,可以通过应用调整以下至少一类图标的颜色:操作系统的部分界面上的图标,应用界面上的图标。
[0085] 本实施例中,该应用除了对自身界面上的图标的颜色进行调整外,还可以调用操作系统,对操作系统的部分界面上的图标的颜色进行调整,操作系统的部分界面是指操作系统可视化的界面,也即用户能够看到的操作系统的界面,可以理解,由于应用界面显示在操作系统上,应用界面会遮挡到操作系统的部分界面,因此,操作系统只有部分界面是可视化的。
[0086] 图4为用户界面中图标的颜色调整前后的对比示意图,如图4所示,调整前用户界面中操作系统的状态栏的图标调整前的颜色为白色,与应用界面的背景颜色一样,因此,状态栏中的部分图标可视化效果差,状态栏的图标调整后的颜色变为了黑色,应用界面的背景颜色为白色,状态栏的图标调整后的颜色与应用界面的背景颜色相适应,从而提高了用户界面的显示效果。
[0087] 终端的显示界面上还可能显示有其他应用的应用界面,即终端的显示界面上显示有多个应用的应用界面,例如,终端的显示界面上显示有应用1的应用界面、应用2的应用界面和操作系统的部分界面,应用1具有图标自适应调整功能,而应用2不具有图标自适应调整功能,则应用1在运行过程中,可以对应用1的应用界面和/或操作系统的图标进行调整,但是无法对应用2的应用界面的图标进行调整。
[0088] 本实施例中,提取当前用户界面的颜色特征,该颜色特征包括当前用户界面的色调信息,将该颜色特征输入至预先获取的分类模型,得到当前用户界面的图标分类,该分类模型是基于样本图像的图标分类和颜色特征训练得到的,样本图像为用户界面图像;根据当前用户界面的图标分类,调整当前用户界面中的图标的颜色。该方法能够动态的对当前用户界面中的图标的颜色进行调整,从而使得当前用户界面中的图标的颜色与当前用户界面整体的颜色相适应,提高了用户界面的显示效果。
[0089] 在实施例一的基础上,本申请实施例二提供一种当前用户界面的颜色特征的提取方法,用于对实施例一中的步骤S101进行说明。图5为本申请实施例二提供的当前用户界面的颜色特征的提取方法的流程图,如图5所示,本实施例提供的方法包括以下步骤。
[0090] S1011、获取当前用户界面的RGB值。
[0091] 一种可选实现方式中,如果当前用户界面的格式为位图格式(bitmap),则从当前用户界面的位图信息中提取像素点的RGB值。如果当前用户界面的格式不是位图格式,则将当前用户界面的图片格式转换为位图格式,得到当前用户界面的位图信息,从当前用户界面的位图信息中提取像素点的RGB值。可以使用位图转换工具BitmapFactory将当前用户界面的图片格式转化为位图格式。
[0092] 可选的,在当前用户界面的体积大于一定的体积阈值时,可以对当前用户界面中提取到的像素点进行下采样,得到当前用户界面的RGB值,通过下采样了减少了当前用户界面的体积,图像的体积可以理解为图像中像素点的个数,图像的体积越大,图像中包括的像素点的个数越多,图像的存储空间以及处理所需的处理资源越大,为了兼顾当前用户界面的颜色特征提取的效率,可以对当前用户界面中提取到的像素点进行下采样,减少后续需要处理的像素点的个数。
[0093] S1012、根据当前用户界面的RGB值,确定当前用户界面的色调的RGB值,当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色。
[0094] 一种实现方式中,将当前用户界面的RGB值填充到RGB坐标系中,根据当前用户界面的RGB值在RGB坐标系中的分布情况,确定当前用户界面的色调的RGB值。
[0095] RGB坐标系以R、G、B三个通道作为坐标轴建立的坐标系,示例性的,R、G、B三个通道的取值范围为0‑255,图6为RGB坐标系的一种示意图,立方体所示区域为RGB坐标系的范围,当前用户界面的RGB值会填充到正方体所示区域内。
[0096] 步骤S1011中获取的当前用户界面的RGB值可以存放于数组中,在建立RGB坐标系后,将数组中存放的像素点的RGB值填充到RGB坐标系中,然后对RGB坐标系中的像素点进行统计,确定当前用户界面的色调的RGB值。
[0097] 对于主色调,可以通过如下方式确定主色调的RGB值:根据预定义的主色调的色彩空间的尺寸和预设的移动步长,在RGB坐标系中确定像素点最多的色彩空间,根据像素点最多的色彩空间内的像素点的RGB值,确定主色调的RGB值。
[0098] 主色调的色彩空间的尺寸可以预先设定,例如为一个64*64*64大小的色彩空间,当前用户界面的RGB值填充到RGB坐标系后,像素点在RGB坐标系中的分布并不是均匀的,有些区域的像素点多,有些区域的像素点少。可以从RGB坐标系的某个顶点开始,以预设的移动步长,移动主色调的色彩空间,该预设的移动步长为1个或者多个像素点,每次移动主色调的色彩空间后,统计主色调的色彩空间内的像素点的个数。通过移动主色调的色彩空间遍历RGB坐标系,得到像素点最多的色彩空间,根据像素点最多的色彩空间内的像素点的RGB值,确定主色调的RGB值。
[0099] 可选的,可以确定像素点最多的色彩空间内位于中心点处的像素的RGB值为主色调的RGB值,或者,对像素点最多的色彩空间内的像素点的RGB进行排序,根据排序结果取中值作为主色调的RGB值,或者,计算像素点最多的色彩空间内的像素点的RGB的平均值,将该平均值作为主色调的RGB值。
[0100] 对于辅色调,可以确定当前用户界面上的RGB值在RGB坐标系的各坐标轴上的最小值、平均值和最大值;根据预定义的各辅色调的色彩空间的范围,以及当前用户界面上的RGB值在各坐标轴上的最小值、平均值和最大值,确定各辅色调的色彩空间,根据各辅色调的色彩空间内的像素点的RGB值,确定各辅色调的RGB值。
[0101] 示例性的,各辅色调的色彩空间的范围如下:
[0102] 柔和色调的色彩空间的范围为:R(0,mid)、G(mid,255)、B(mid,255)。
[0103] 深色柔和色调的色彩空间的范围为:R(mid,max)、G(mid,255)、B(mid,255)。
[0104] 浅色柔和色调的色彩空间的范围为:R(mid,max)、G(mid,255)、B(0,min)。
[0105] 鲜明色色调的色彩空间的范围为:R(0,mid)、G(mid,255)、B(0,min)。
[0106] 深色鲜明色色调的色彩空间的范围为:R(mid,max)、G(mid,max)、B(0,255)。
[0107] 浅色鲜明色色调的色彩空间的范围为:R(mid,max)、G(mid,max)、B(mid,max)。
[0108] 其中,min、mid、max表示当前用户界面上的RGB值在各坐标轴上的最小值、平均值和最大值,0表示坐标系的原点,255表示各坐标轴的顶点,各坐标轴的顶点,也可以理解为各坐标轴的最大取值。
[0109] 当前用户界面上的RGB值在各坐标轴上的平均值可以根据各坐标轴上的RGB的平均值,也可以取各坐标轴上的RGB的中值。
[0110] 上述坐标系中各坐标轴的顶点取值为255,即R、G、B的最大取值为255,可以理解,在不同坐标系中坐标轴的顶点可能不同,相应的,上述各辅色调的色彩空间的范围适应性调整即可。
[0111] 在确定各辅色调的色彩空间后,可以取各辅色调的色彩空间的中心位置的像素点的RGB值、各辅色调的色彩空间的RGB值的平均值或者各辅色调的色彩空间的RGB值的中值作为各辅色调的RGB值。
[0112] S1013、根据当前用户界面的色调的RGB值,构造当前用户界面的颜色特征向量。
[0113] 示例性的,如果当前用户界面的色调包括主色、柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色共7个色调,则可以构造一个3*7的特征向量:[[主色],[柔和色],[深色柔和色],[ 浅柔和色],[ 鲜明色],[ 深色鲜明色],[ 浅色鲜明色]],特征向量中的每个元素为一个色调的RGB值。
[0114] 本实施例中,获取所述当前用户界面的RGB值,根据当前用户界面的RGB值,确定当前用户界面的色调的RGB值,当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;根据当前用户界面的色调的RGB值,构造当前用户界面的颜色特征向量作为当前用户界面的颜色特征,该方式确定的颜色特征能够反应当前用户界面的色彩构成,从而能够提高基于该颜色特征调整后的图标的颜色的准确性,进而提高了用户界面的显示效果,且能够自动实现对当前用户界面中图标颜色的适应性调整,不需要用户手动调整,调整效率高,提升了用户体验。
[0115] 在实施例一和实施例二的基础上,本申请实施例三提供一种分类模型的生成方法,由服务器生成实施例一中分类模型,并将分类模型发送给终端。
[0116] 图7为本申请实施例三提供的分类模型的生成方法的流程图,如图7所示,本实施例提供的方法包括以下步骤。
[0117] S201、获取数据集,该数据集中包括多个样本图像以及样本图像的实际图标分类,样本图像为用户界面图像。
[0118] 服务器可以从UI设计库中抽取设计图稿作为UI图像,还可以从线上应用中利用自动化脚本从应用加载的页面截取真实场景下的UI效果图作为UI图像,从采集的UI图像中确定符合要求的图像作为样本图像,并标注样本图像的图标分类,样本图像的实际图标分类为机器或者用户标注的图标分类。
[0119] S202、提取样本图像的颜色特征。
[0120] 服务器侧采用与终端侧相同的方法提取图像的颜色特征,当样本图像的颜色特征采用色调的RGB值时,服务器获取样本图像的RGB值,根据样本图像的RGB值,确定样本图像的色调的RGB值,样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;根据样本图像的色调的RGB值,构造样本图像的颜色特征向量。
[0121] 示例性的,将样本图像的RGB值填充到RGB坐标系中,根据样本图像的RGB值在RGB坐标系中的分布情况,确定样本图像的色调的RGB值。
[0122] 对于样本图像的主色调的RGB值,可以采用如下方式确定主色调的RGB值:根据预定义的主色调的色彩空间的尺寸和预设的移动步长,在RGB坐标系中确定像素点最多的色彩空间,根据像素点最多的色彩空间内的像素点的RGB值,确定主色调的RGB值。
[0123] 对于样本图像的辅色调的RGB值,可以采用如下方式确定辅色调的RGB值:确定样本图像上的RGB值在RGB坐标系的各坐标轴上的最小值、平均值和最大值;根据预定义的各辅色调的色彩空间的范围,以及样本图像上的RGB值在各坐标轴上的最小值、平均值和最大值,确定各辅色调的色彩空间,根据各辅色调的色彩空间内的像素点的RGB值,确定各辅色调的RGB值。
[0124] 示例性的,各辅色调的色彩空间的范围如下:
[0125] 柔和色调的色彩空间的范围为:R(0,mid)、G(mid,255)、B(mid,255)。
[0126] 深色柔和色调的色彩空间的范围为:R(mid,max)、G(mid,255)、B(mid,255)。
[0127] 浅色柔和色调的色彩空间的范围为:R(mid,max)、G(mid,255)、B(0,min)。
[0128] 鲜明色色调的色彩空间的范围为:R(0,mid)、G(mid,255)、B(0,min)。
[0129] 深色鲜明色色调的色彩空间的范围为:R(mid,max)、G(mid,max)、B(0,255)。
[0130] 浅色鲜明色色调的色彩空间的范围为:R(mid,max)、G(mid,max)、B(mid,max)。
[0131] 其中,min、mid、max表示样本图像上的RGB值在各坐标轴上的最小值、平均值和最大值,0表示坐标系的原点,255表示各坐标轴的顶点。
[0132] 样本图像的各色调的具体实现方式参照实施例二中相关描述,这里不再赘述。
[0133] S203、对数据集中样本图像的颜色特征和实际图标分类进行处理得到分类模型。
[0134] 一种实现方式中,服务器采用神经网络模型训练,对数据集中的样本数据进行训练,得到分类模型。另一种实现方式中,采用朴素贝叶斯分类方法,对数据集中样本图像的颜色特征和实际图标分类进行处理,确定分类模型。这里只是举例说明,才可以采用其他方法生成分类模型。
[0135] 朴素贝叶斯的思想基础为:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。在本申请应用场景下,待分类项即一个样本图像的颜色特征向量,假设样本图像用 表示,则 的颜色特征向量表示为, 为 的一个特征,i的取值为1,2,……N,假设在模型空间中共有C种分类,记为 ,若将样本图像 分为第j类,则该类就是在已知样本图像 条件
下后验概率最大的分类,则样本图像 的分类公式(1)可以表示为:
[0136] (1)
[0137] 其中, 表示样本图像 已知的条件下,样本图像 属于第k个分类 后验概率,max表示取最大值运算, 为第j个分类。
[0138] 基于上述分类公式,需要计算 ,即根据数据集中样本图像的颜色特征和实际图标分类,确定数据集中各样本图像属于各个分类的后验概率,根据贝叶斯公式可得:
[0139] (2)
[0140] 由于分母对于所有分类是一样的,因此只要将分子最大化即可。朴素贝叶斯采用了特征独立性假设,也就是假设 中的所有特征 之间是独立的,不相互影响的,都独立的对分类结果产生影响,已知 是一个向量, 是它的特征,将这些特征都
看作是一个随机变量,那么 为联合分布率 ,可以表示为各个随机变量
的边缘分布律的乘积 ,所以,公式(2)可以转换为如下公式(3):
[0141] (3)
[0142] 求公式(3)的极大值,即为求它的极大似然估计,假设 满足正态分布,则需要统计数据集中 的相对频率以及每个特征属性划分对每个类别的条件概率估计,从而能够得到 。
[0143] 在确定数据集中各样本图像属于各个分类的后验概率后,对于各样本图像,根据朴素贝叶斯分类方法的假设,从样本图像属于各个分类的后验概率中,确定最大后验概率,即公式(1)中等式右侧的取值。然后,根据数据集中样本图像的实际图标分类和样本图像的最大后验概率,确定用于对数据集中的样本图像进行分类的候选分类模型,即对公式(1)进行求解,求解公式(1)中的函数F(·), 函数F(·)即为候选分类模型。
[0144] 对数据集进行多轮处理,得到多个候选分类模型,从多个候选分类模型中确定分类模型,即从多个候选分类模型中选择一个分类效果最好的候选分类模型作为分类模型。
[0145] 可以从数据集中抽取部分样本图像组成测试集,使用测试集测试各个候选分类模型的分类效果,从多个候选分类模型中确定一个分类效果最好的分类模型,示例性的,通过如下方式从多个候选分类模型中确定分类模型:
[0146] 步骤一、将测试集中各样本图像的颜色特征输入候选分类模型,得到候选分类模型对应的预测结果,候选分类模型对应的预测结果中包括测试集中各样本图像的预测图标分类。
[0147] 步骤二、根据候选分类模型对应的预测结果和测试集中各样本图像的实际图标分类,计算测试集中的各样本图像的分类相似度。
[0148] 对于每个候选分类模型,将测试集中的各样本图像的颜色特征输入候选分类模型,能够得到各样本图像的预测图标分类,样本图像的实际图标分类是已知的,即预先标注的图标分类,根据样本图像的预测图标分类和实际图标分类,得到样本图像的分类相似度,样本图像的分类相似度用于反映实际图标分类和候选分类模型预测得到的预测图标分类是否相似,从而能够判断候选分类模型对该样本图像的分类是否准确。
[0149] 可选的,可以通过计算样本图像的预测图标分类和实际图标分类的余弦值,得到样本图像的分类相似度。示例性的,图标分类包括多个图标属性,多个图标属性构成向量,计算样本图像的预测图标分类和实际图标分类的相似度,即计算样本图像的预测图标分类对应的向量和实际图标分类对应的向量的相似度。
[0150] 步骤三、根据测试集中的各样本图像的分类相似度,确定大于相似度阈值的训练样本的比例。
[0151] 各个候选分类模型单独进行测试,在基于某个候选分类模型的预测结果计算得到测试集中的各样本图像的分类相似度后,可以进一步确定分类相似度大于相似度阈值的训练样本的数量,该相似度阈值为预先设定的固定值,示例性的,该相似度阈值为80%,那么当样本图像的预测图标分类和实际图标分类的相似度大于80%时,才认为候选分类模型的预测结果是准确的。
[0152] 在确定测试集中分类相似度大于相似度阈值的训练样本的数量后,根据分类相似度大于相似度阈值的训练样本的数量和测试集的总数量,得到大于相似度阈值的训练样本的比例。例如,假设测试集中有10000个样本图像,其中,有7389个样本图像的分类的相似度大于80%,则大于相似度阈值的训练样本的比例为73.89%。大于相似度阈值的训练样本的比例越大,说明候选分类模型的预测结果越准确。
[0153] 步骤四、根据多个候选分类模型对应的比例,确定比值最高的候选分类模型为分类模型。
[0154] 大于相似度阈值的训练样本的比例通过步骤一至步骤三,可以得到每个候选分类模型对应的比例,候选分类模型对应的比例是指基于候选分类模型的预测结果得到的大于相似度阈值的训练样本的比例,大于相似度阈值的训练样本的比例越大,说明候选分类模型的预测结果越准确,选择比例最高的候选分类模型作为最终的分类模型。
[0155] S204、将分类模型发送给终端。
[0156] 服务器生成分类模型后,可以将分类模型主动推送给各终端,也可以在接收到终端的请求时,将分类模型发送给终端。例如,在接收到终端对应用的版本更新触发操作时,将分类模型携带在更新数据中发送给终端。
[0157] 本实施例中,获取数据集,数据集中包括多个样本图像以及样本图像的实际图标分类,样本图像为用户界面图像;提取样本图像的颜色特征,对数据集中样本图像的颜色特征和实际图标分类进行处理得到分类模型。该方法通过对大量的用户界面图像进行机器学习,得到用于对样本图像的图标进行分类的分类模型,能够满足分类模型的分类准确性。
[0158] 为便于更好的实施本申请实施例的图像处理显示方法,本申请实施例还提供一种图像处理显示装置。图8为本申请实施例四提供的图像处理显示装置的结构示意图,其中,该图像处理显示装置100可以包括:特征提取模块11,用于提取当前用户界面的颜色特征,所述颜色特征包括所述当前用户界面的色调信息,所述当前用户界面的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;分类模块12,用于将所述颜色特征输入至预先获取的分类模型,得到所述当前用户界面的图标分类,所述分类模型是基于样本图像的图标分类和颜色特征训练得到的,所述样本图像为用户界面图像;调整模块13,用于根据所述当前用户界面的图标分类,调整所述当前用户界面中的图标的颜色。
[0159] 在一些可实现方式中,还包括接收模块,用于:接收服务器发送的所述分类模型,所述分类模型是所述服务器采用朴素贝叶斯分类方法对数据集处理得到的,所述数据集中包括多个样本图像、所述样本图像的图标分类和颜色特征,所述样本图像为用户界面图像,所述样本图像的颜色特征包括所述样本图像的色调信息,所述样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色。
[0160] 在一些可实现方式中,所述特征提取模块11具体用于:获取所述当前用户界面的红绿蓝RGB值;将所述当前用户界面的RGB值填充到RGB坐标系中;根据所述当前用户界面的RGB值在所述RGB坐标系中的分布情况,确定所述当前用户界面的色调的RGB值;根据所述当前用户界面的色调的RGB值,构造所述当前用户界面的颜色特征向量。
[0161] 在一些可实现方式中,所述特征提取模块11具体用于:根据预定义的主色调的色彩空间的尺寸和预设的移动步长,在所述RGB坐标系中确定像素点最多的色彩空间,根据所述像素点最多的色彩空间内的像素点的RGB值,确定所述主色调的RGB值;确定所述当前用户界面上的RGB值在所述RGB坐标系的各坐标轴上的最小值、平均值和最大值;根据预定义的各辅色调的色彩空间的范围,以及所述当前用户界面上的RGB值在所述各坐标轴上的最小值、平均值和最大值,确定所述各辅色调的色彩空间,根据所述各辅色调的色彩空间内的像素点的RGB值,确定所述各辅色调的RGB值。
[0162] 在一些可实现方式中, 所述各辅色调的色彩空间的范围如下:所述柔和色调的色彩空间的范围为:R(0,mid)、G(mid,255)、B(mid,255);所述深色柔和色调的色彩空间的范围为:R(mid,max)、G(mid,255)、B(mid,255);所述浅色柔和色调的色彩空间的范围为:R(mid,max)、G(mid,255)、B(0,min);所述鲜明色色调的色彩空间的范围为:R(0,mid)、G(mid,255)、B(0,min);所述深色鲜明色色调的色彩空间的范围为:R(mid,max)、G(mid,max)、B(0,255);所述浅色鲜明色色调的色彩空间的范围为:R(mid,max)、G(mid,max)、B(mid,max);其中,min、mid、max表示所述当前用户界面上的RGB值在所述各坐标轴上的最小值、平均值和最大值,0表示所述坐标系的原点,255表示所述各坐标轴的顶点。
[0163] 在一些可实现方式中,所述特征提取模块11具体用于:将所述当前用户界面的图片格式转换为位图格式,得到所述当前用户界面的位图信息;从所述当前用户界面的位图信息中提取像素点的RGB值;对所述当前用户界面中提取到的像素点进行下采样,得到所述当前用户界面的RGB值。
[0164] 在一些可实现方式中,所述特征提取模块11具体用于:当监测到终端的当前用户界面发生变化时,获取所述当前用户界面的图像数据;根据所述当前用户界面的图像数据,提取所述当前用户界面的颜色特征。
[0165] 在一些可实现方式中,所述当前用户界面中包括操作系统的部分界面以及所述操作系统上运行的应用的应用界面,所述调整模块13具体用于:通过所述应用调整以下至少一类图标的颜色:所述操作系统的部分界面上的图标,所述应用界面上的图标。
[0166] 为便于更好的实施本申请实施例的分类模型的生成方法,本申请实施例还提供一种分类模型的生成装置。图9为本申请实施例五提供的分类模型的生成装置的结构示意图,其中,该分类模型的生成装置200可以包括:获取模块21,用于获取数据集,所述数据集中包括多个样本图像以及所述样本图像的实际图标分类,所述样本图像为用户界面图像;特征提取模块22,用于提取所述样本图像的颜色特征,所述样本图像的颜色特征包括所述样本图像的色调信息,所述样本图像的色调包括主色调以及以下辅色调中至少一个:柔和色、深色柔和色、浅色柔和色、鲜明色、深色鲜明色和浅色鲜明色;生成模块23,用于对所述数据集中样本图像的颜色特征和实际图标分类进行处理得到分类模型;分发模块24,用于将所述分类模型发送给终端。
[0167] 在一些可实现方式中,所述生成模块23具体用于:采用朴素贝叶斯分类方法,对所述数据集中样本图像的颜色特征和实际图标分类进行处理,确定所述分类模型。
[0168] 在一些可实现方式中,所述生成模块23具体用于:根据所述数据集中样本图像的颜色特征和实际图标分类,确定所述数据集中各样本图像属于各个分类的后验概率;对于各样本图像,根据朴素贝叶斯分类方法的假设,从所述样本图像属于各个分类的后验概率中,确定最大后验概率;根据所述数据集中样本图像的实际图标分类和最大后验概率,确定候选分类模型;对所述数据集进行多轮处理,得到多个候选分类模型;从所述多个候选分类模型中确定所述分类模型。
[0169] 在一些可实现方式中,所述生成模块23具体用于:从所述数据集中抽取部分样本图像组成测试集;将所述测试集中各样本图像的颜色特征输入所述候选分类模型,得到所述候选分类模型对应的预测结果,所述候选分类模型对应的预测结果中包括所述测试集中各样本图像的预测图标分类;根据所述候选分类模型对应的预测结果和所述测试集中各样本图像的实际图标分类,计算所述测试集中的各样本图像的分类相似度;根据所述测试集中的各样本图像的分类相似度,确定大于相似度阈值的训练样本的比例;根据所述多个候选分类模型对应的所述比例,确定比值最高的候选分类模型为所述分类模型。
[0170] 在一些可实现方式中,所述特征提取模块22具体用于:获取所述样本图像的RGB值;将所述样本图像的RGB值填充到RGB坐标系中;根据所述样本图像的RGB值在所述RGB坐标系中的分布情况,确定所述样本图像的色调的RGB值;根据所述样本图像的色调的RGB值,构造所述样本图像的颜色特征向量。
[0171] 在一些可实现方式中,所述特征提取模块22具体用于:根据预定义的主色调的色彩空间的尺寸和预设的移动步长,在所述RGB坐标系中确定像素点最多的色彩空间,根据所述像素点最多的色彩空间内的像素点的RGB值,确定所述主色调的RGB值;确定所述样本图像上的RGB值在所述RGB坐标系的各坐标轴上的最小值、平均值和最大值;根据预定义的各辅色调的色彩空间的范围,以及所述样本图像上的RGB值在所述各坐标轴上的最小值、平均值和最大值,确定所述各辅色调的色彩空间,根据所述各辅色调的色彩空间内的像素点的RGB值,确定所述各辅色调的RGB值。
[0172] 在一些可实现方式中, 所述各辅色调的色彩空间的范围如下:所述柔和色调的色彩空间的范围为:R(0,mid)、G(mid,255)、B(mid,255);所述深色柔和色调的色彩空间的范围为:R(mid,max)、G(mid,255)、B(mid,255);所述浅色柔和色调的色彩空间的范围为:R(mid,max)、G(mid,255)、B(0,min);所述鲜明色色调的色彩空间的范围为:R(0,mid)、G(mid,255)、B(0,min);所述深色鲜明色色调的色彩空间的范围为:R(mid,max)、G(mid,max)、B(0,255);所述浅色鲜明色色调的色彩空间的范围为:R(mid,max)、G(mid,max)、B(mid,max);其中,min、mid、max表示所述样本图像上的RGB值在所述各坐标轴上的最小值、平均值和最大值,0表示所述坐标系的原点,255表示所述各坐标轴的顶点。
[0173] 在一些可实现方式中,所述特征提取模块22具体用于:将所述样本图像的图片格式转换为位图格式,得到所述样本图像的位图信息;从所述样本图像的位图信息中提取像素点的RGB值;对所述样本图像中提取到的像素点进行下采样,得到所述样本图像的RGB值。
[0174] 应理解的是,装置实施例与方法实施例可以相互对应,类似的描述可以参照方法实施例。为避免重复,此处不再赘述。
[0175] 上文中结合附图从功能模块的角度描述了本申请实施例的图像处理显示装置100和分类模型的生成装置200。应理解,该功能模块可以通过硬件形式实现,也可以通过软件形式的指令实现,还可以通过硬件和软件模块组合实现。具体地,本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成,结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。可选地,软件模块可以位于随机存储器,闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法实施例中的步骤。
[0176] 如图10所示,图10为本申请实施例六提供的终端的一种结构示意图,该终端可以是图1所示的终端。该终端300包括有一个或者一个以上处理核心的处理器31、有一个或一个以上计算机可读存储介质的存储器32及存储在存储器32上并可在处理器上运行的计算机程序以及显示屏33。其中,处理器31与存储器32、显示屏33电性连接。本领域技术人员可以理解,图中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0177] 处理器31是终端300的控制中心,利用各种接口和线路连接整个终端300的各个部分,通过运行或加载存储在存储器32内的软件程序和/或模块,以及调用存储在存储器32内的数据,执行终端300的各种功能和处理数据,从而对终端300进行整体处理。
[0178] 显示屏33可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。显示屏33可以触控显示屏,触控显示屏可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light‑Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器31,并能接收处理器31发来的命令并加以执行。触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器31以确定触摸事件的类型,随后处理器31根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中,可以将触控面板与显示面板集成到显示屏33而实现输入和输出功能。但是在某些实施例中,触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即显示屏33也可以作为输入单元36的一部分实现输入功能。
[0179] 可选的,如图10所示,终端300还包括:射频电路34、音频电路35、输入单元36以及电源37。其中,处理器31分别与射频电路34、音频电路35、输入单元36以及电源37电性连接。本领域技术人员可以理解,图10中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0180] 射频电路34可用于收发射频信号,以通过无线通信与网络设备或其他计算机设备建立无线通讯,与网络设备或其他计算机设备之间收发信号。
[0181] 音频电路35可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路35可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路35接收后转换为音频数据,再将音频数据输出处理器31处理后,经射频电路34以发送给比如另一计算机设备,或者将音频数据输出至存储器32以便进一步处理。音频电路35还可能包括耳塞插孔,以提供外设耳机与计算机设备的通信。
[0182] 输入单元36可用于接收输入的数字、字符信息或对象特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
[0183] 电源37用于给终端300的各个部件供电。可选的,电源37可以通过电源管理系统与处理器31逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源37还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0184] 尽管图10中未示出,终端300还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
[0185] 本申请实施例还提供一种服务器,处理器和存储器,所述存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,以执行上述方法实施例中服务器执行的方法步骤。所述服务器的结构与终端结构类似,可参照图10所示的终端结构,可以理解,所述服务器可以比终端包括更多或者更少的部件。
[0186] 本申请还提供了一种计算机存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法,该计算机可以为图1所示的终端或者服务器。
[0187] 本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得电子设备执行上述方法实施例中的相应流程,为了简洁,在此不再赘述。该计算机可以为图1所示的终端或者服务器。
[0188] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0189] 作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
[0190] 以上实施例,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以该权利要求的保护范围为准。