图像处理方法、智能终端及存储介质转让专利

申请号 : CN202211314785.0

文献号 : CN115379214B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘雨田

申请人 : 深圳传音控股股份有限公司

摘要 :

本申请提出了一种图像处理方法、智能终端及存储介质,该图像处理方法包括以下步骤:获取或者确定待处理块的融合区域尺寸;根据所述融合区域尺寸确定所述待处理块的预测结果;根据所述预测结果进行图像编码和/或解码处理。本申请在针对图像块进行预测的过程中直接选取出具有较大可能性被使用的融合区域尺寸,以基于该融合区域尺寸确定待处理块的预测结果用于进行图像编码和/或解码处理,有效地降低了图像编码时间以确保了视频的整体编解码效率,提升了用户体验。

权利要求 :

1.一种图像处理方法,其特征在于,包括以下步骤:

S10:获取或者确定待处理块的融合区域尺寸,所述融合区域尺寸为GPM模式下由分割线划分的融合区域的尺寸;

S20:根据所述融合区域尺寸确定所述待处理块的预测结果;

S30:根据所述预测结果对所述待处理块进行图像编码或解码处理;

所述S10步骤,包括:

根据预设图像块模板,获取或者确定所述融合区域尺寸,所述预设图像块模板为所述待处理块使用基于模板的预测模式时的图像块模板。

2.如权利要求1所述的方法,其特征在于,所述获取或者确定所述融合区域尺寸,包括步骤:S21:在已处理图像区域中确定图像块模板的相似模板;

S22:对所述相似模板应用至少一个融合尺寸,以获取或者确定所述融合区域尺寸。

3.如权利要求2所述的方法,其特征在于,所述S21步骤包括:根据分割线确定所述图像块模板的第一模板和/或第二模板,在已处理图像区域中确定所述第一模板和/或所述第二模板各自的相似模板;

所述S22步骤包括:根据融合尺寸候选列表中的至少一个融合尺寸确定至少一个融合结果,根据至少一个所述融合结果获取或确定至少一个所述融合尺寸中的至少一个为所述融合区域尺寸。

4.如权利要求3所述的方法,其特征在于,所述获取或者确定所述融合区域尺寸,包括步骤:S31:在相似模板中确定相似模板比较区域;

S32:将融合尺寸候选列表中的至少一个融合尺寸应用于所述相似模板比较区域得到至少一个融合结果;

S33:根据所述至少一个融合结果,获取或确定融合区域尺寸。

5.如权利要求4所述的方法,其特征在于,所述相似模板包括:所述图像块模板的第一模板的第一相似模板和/或所述图像块模板的第二模板的第二相似模板,所述S31步骤,包括:根据所述第一相似模板所在的图像区域确定第一相似模板比较区域,和/或,根据所述第二相似模板所在的图像区域确定第二相似模板比较区域;

所述S33步骤,包括:根据分割线在所述图像块模板中的位置确定图像块模板比较区域,将所述至少一个融合结果与所述图像块模板比较区域进行比较,以获取或确定所述融合区域尺寸。

6.一种智能终端,其特征在于,包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。

7.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。

说明书 :

图像处理方法、智能终端及存储介质

技术领域

[0001] 本申请涉及图像处理技术领域,具体涉及一种图像处理方法、智能终端及存储介质。

背景技术

[0002] 现有多功能视频编码编解码器标准(H.266)中提出了GPM(Geometric partitioning mode,几何分割模式)模式。GPM模式可以针对视频序列中运动物体的边界部分进行更精细的划分,从而使得编解码性能得到一定程度的提高。
[0003] 在构思及实现本申请过程中,发明人发现至少现有标准存在如下问题:现如今采用的GPM模式中对于融合区域的宽度是固定的,但视频序列中运动物体的边界宽度却存在多种情况,这就导致了GPM模式采用固定的融合区域宽度对视频图像中的图像块进行预测,实际并不会均是合适的。因此,有必要提出一种创新的图像处理方法来提高GPM模式对视频图像的预测精度以及图像的编解码性能。
[0004] 前面的叙述在于提供一般的背景信息,并不一定构成现有技术。

发明内容

[0005] 针对上述技术问题,本申请提供一种图像处理方法、智能终端及存储介质,使得在针对图像块进行预测的过程中,能够直接选取出具有较大可能性被使用的融合区域尺寸,从而有效地降低图像编码时间以确保视频的整体编解码效率。
[0006] 本申请提供一种图像处理方法,可应用于智能终端,包括以下步骤:
[0007] S10:获取或者确定待处理块的融合区域尺寸;
[0008] S20:根据所述融合区域尺寸确定所述待处理块的预测结果;
[0009] S30:根据所述预测结果对所述待处理块进行图像编码或解码处理。
[0010] 本申请还提供一种图像处理装置,包括:
[0011] 第一确定模块,用于获取或者确定待处理块的融合区域尺寸;
[0012] 第二确定模块,用于根据所述融合区域尺寸确定所述待处理块的预测结果;
[0013] 处理模块,用于根据所述预测结果对所述待处理块进行图像编码或解码处理。
[0014] 本申请还提供一种智能终端,包括:存储器、处理器,其中,所述存储器上存储有图像处理程序,所述图像处理程序被所述处理器执行时实现如上任一所述图像处理方法的步骤。
[0015] 本申请还提供一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述图像处理方法的步骤。
[0016] 如上所述,本申请的图像处理方法,包括步骤:S10:获取或者确定待处理块的融合区域尺寸;S20:根据所述融合区域尺寸确定所述待处理块的预测结果;S30:根据所述预测结果对所述待处理块进行图像编码或解码处理。通过上述技术方案,可以实现在针对图像块进行预测的过程中直接选取出具有较大可能性被使用的融合区域尺寸,以基于该融合区域尺寸确定待处理块的预测结果用于对该待处理块进行图像编码或者解码处理,从而,在提高了对图像的预测精度的同时,有效地降低了图像编码时间以提高了视频图像的整体编解码性能,进而提升了用户体验。

附图说明

[0017] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0018] 图1为实现本申请各个实施例的一种移动终端的硬件结构示意图;
[0019] 图2为本申请实施例提供的一种通信网络系统架构图;
[0020] 图3a是本申请实施例提供的一种角度分布示意图;
[0021] 图3b是本申请实施例提供的一种在角度φi下对应的多种偏移的示意图;
[0022] 图3c是本申请实施例提供的一种划分模式的示意图;
[0023] 图4是根据第一实施例示出的图像处理方法的流程示意图;
[0024] 图5是根据第一实施例提供的构建最可能融合尺寸候选列表的示意图;
[0025] 图6是根据第二实施例示出的图像处理方法的流程示意图;
[0026] 图7是本申请实施例提供的一种基于 Hessian 范式的划分边界的示意图;
[0027] 图8是本申请实施例提供的一种GPM模式下使用的帧内模板匹配搜索的示意图;
[0028] 图9是本申请实施例提供的一种在GPM模式下使用的帧间模板匹配搜索的示意图;
[0029] 图10是根据第三实施例示出的图像处理方法的流程示意图;
[0030] 图11a是本申请实施例提供的一种当前模板比较区域和当前模板的示意图;
[0031] 图11b是本申请实施例提供的一种相似模板比较区域和相似模板的示意图;
[0032] 图11c是本申请实施例提供的一种重叠区域的示意图;
[0033] 图12a、图12b和图12c是本申请实施例提供的一种相似模板比较区域Bc1的权重W2的取值分布图;
[0034] 图12d、图12e和图12f是本申请实施例提供的一种相似模板比较区域Bc1的权重W2的取值分布图;
[0035] 图13是本申请实施例提供的一种GPM分割线所在的直线经过的采样的示意图;
[0036] 图14是本申请实施例示出的一种图像处理装置的示意图。
[0037] 本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

[0038] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0039] 需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
[0040] 应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
[0041] 应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0042] 取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
[0043] 需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
[0044] 应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
[0045] 在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
[0046] 智能终端可以以各种形式来实施。例如,本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等智能终端,以及诸如数字TV、台式计算机等固定终端。
[0047] 后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本申请的实施方式的构造也能够应用于固定类型的终端。
[0048] 请参阅图1,其为实现本申请各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括: RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元
108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0049] 下面结合图1对移动终端的各个部件进行具体的介绍:
[0050] 射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM (Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(Code Division Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、TD‑SCDMA(Time Division‑Synchronous Code Division Multiple Access,时分同步码分多址)、FDD‑LTE(Frequency Division 
Duplexing‑ Long Term Evolution,频分双工长期演进)、TDD‑LTE (Time Division Duplexing‑ Long Term Evolution,分时双工长期演进)和5G等。
[0051] WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
[0052] 音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
[0053] A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音
频信号的过程中产生的噪声或者干扰。
[0054] 移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。可选地,光传感器包括环境光传感器及接近传感器,可选地,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
[0055] 显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light‑Emitting Diode,OLED)等形式来配置显示面板1061。
[0056] 用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。可选地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
[0057] 可选地,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
[0058] 接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
[0059] 存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,可选地,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0060] 处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,可选地,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。
[0061] 移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
[0062] 尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
[0063] 为了便于理解本申请实施例,下面对本申请的移动终端所基于的通信网络系统进行描述。
[0064] 请参阅图2,图2为本申请实施例提供的一种通信网络系统架构图,该通信网络系统为通用移动通信技术的LTE系统,该LTE系统包括依次通讯连接的UE(User Equipment,用户设备)201, E‑UTRAN(Evolved UMTS Terrestrial Radio Access Network,演进式UMTS陆地无线接入网)202,EPC(Evolved Packet Core,演进式分组核心网)203和运营商的IP业务204。
[0065] 可选地,UE201可以是上述终端100,此处不再赘述。
[0066] E‑UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地,eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接,eNodeB2021连接到EPC203,eNodeB2021可以提供UE201到EPC203的接入。
[0067] EPC203可以包括MME(Mobility Management Entity,移动性管理实体)2031, HSS(Home Subscriber Server,归属用户服务器)2032,其它MME2033, SGW(Serving Gate Way,服务网关)2034, PGW(PDN Gate Way,分组数据网络网关)2035和PCRF(Policy and Charging Rules Function,政策和资费功能实体)2036等。可选地,MME2031是处理UE201和EPC203之间信令的控制节点,提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能,并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送,PGW2035可以提供UE 201的IP地址分配以及其它功能,PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点,它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。
[0068] IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem,IP多媒体子系统)或其它IP业务等。
[0069] 虽然上述以LTE系统为例进行了介绍,但本领域技术人员应当知晓,本申请不仅仅适用于LTE系统,也可以适用于其他无线通信系统,例如GSM、CDMA2000、WCDMA、TD‑SCDMA、5G以及未来新的网络系统(如6G)等,此处不做限定。
[0070] 基于上述移动终端硬件结构以及通信网络系统,提出本申请各个实施例。
[0071] 为便于理解,下面先对本申请实施例可能涉及到的专业术语进行解释。
[0072] 一、帧间预测模式
[0073] 在对图像进行编码的过程中,对图像块进行预测是一个必不可少的步骤,通过对图像块进行预测得到预测块,构造能量较小的残差块,减少传输比特。对图像块的预测可以通过一些预设的预测模式实现,预测模式可以包括帧间预测模式和帧内预测模式。相比于帧内预测模式,帧间预测模式利用像素之间的相关性来去除时间冗余,是一种编码效率更高的预测模式。
[0074] 二、几何划分模式(Geometric partitioning mode,GPM)
[0075] 简称GPM模式,是下一代视频压缩标准(Versatile Video Coding,VVC)针对图像中运动物体的边界部分所采用的预测模式。相比于其他预测模式,GPM模式可以对图像中运动物体的边界进行更为精细的划分,通过分割线和运动物体的边界进行贴合,将运动物体的边缘编码单元(Code unit)划分为非矩形的子编码单元进行单向预测,从而得到整个编码单元的预测值。
[0076] 图3a是一种角度分布示意图,可以发现,并且每条分割线对应的角度是不同的,将角度标记为φ(i=1 i  24)。图3a未完全示出所有角度。每种角度下最多有4种偏移,如图3b~所示。图3b是本申请实施例提供的一种在角度φi下对应的4种偏移的示意图。其中,将偏移标记为ρ(j=0 j  3)。可选地,可以共组合出64种划分模式,如图3c所示。图3c是本申请实施~
例提供的一种划分模式的示意图。该划分模式包括不同角度和偏移组合构成的至少一种划分方式。可以发现,在不同的角度以及不同的偏移下,分割线的位置是不同的,并且图像块可以使用的分割线的数量也是不同的。所有分割线中的任一条分割线均是GPM模式应用于图像块的一种实现方式。可选地,根据GPM模式索引可以确定出偏移ρj和角度φi。
[0077] 第一实施例
[0078] 请参见图4,图4是根据第一实施例示出的一种图像处理方法的流程示意图。在本实施例中,该图像处理方法的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群,该计算机设备可以是智能终端(如前述移动终端100),也可以是服务器,此处,以本实施例中的执行主体为智能终端为例进行说明。
[0079] 需要说明的是,在视频编码或者解码的过程中,编码端的编码器通常将输入的视频帧分割为多个图像块进行处理,每个图像块可以与通过预测模式预测得到的预测块相减得到残差块,再对残差块进行一系列处理得到编码的比特流。之后,在解码端,解码器接收到比特流后即可通过解析该比特流得到预测模式参数。进而,解码器的反变换单元与反量化单元将变换系数进行反变换和反量化处理,得到残差块。此外,解码器的解码单元会解析并解码已编码的比特流,得到预测参数以及相关辅助信息。接下来,解码器的预测处理单元利用预测参数进行预测处理,从而确定对应于残差块的预测块。如此,解码器即可通过将得到的残差块和对应的预测块相加得到重建块。同时,解码器的环路滤波单元将重建块进行环路滤波处理以减少失真,改善视频质量。从而,经过环路滤波处理的重建块被进一步组合成解码图像存储于解码图像缓冲器中或作为解码的视频信号而被输出。
[0080] 而本申请实施例提供的图像处理方法可应用于视频编码过程中对图像块进行预测的场景,也可用于视频解码过程中对待解码的图像块进行预测以得到预测块的场景。
[0081] 本申请实施例提供的图像处理方法包括以下步骤:
[0082] S10:获取或者确定待处理块的融合区域尺寸;
[0083] 可选地,在本申请实施例中,待处理块可以是输入视频图像(即视频帧)中当前正在编码或者解码的图像块,可简称为当前块或者当前图像块,在H.265/高效率视频编码(High Efficiency Video Coding,HEVC)标准下,待处理块可以是输入视频图像中的一个编码树单元(Coding Tree Units,CTU),或者是编码单元(Code Unit,CU),本申请实施例对此不做具体限制。
[0084] 可选地,智能终端作为编码器在从视频源处接收到视频图像之后,即针对该视频图像进行分割得到多个图像块,之后,智能终端即利用视频图像之间的时间和/或者空间相关性来针对每一个图像块进行预测处理。而智能终端在采用GPM模式针对当前图像块进行预测处理时,首先利用该GPM模式下的划分模式,获取或者确定当前需要进行预测处理的待处理块的融合区域尺寸。
[0085] 可选地,智能终端针对待处理块进行的预测处理可以包括帧内预测处理和/或帧间预测处理,并且该帧内预测处理和/或该帧间预测处理各自又分别包括多个预测模式。智能终端具体可以使用例如率失真优化的方式来确定当前针对多个图像块中的每一个待处
理块最终采用的预测模式。例如,智能终端通过计算每一种预测模式对应的率失真代价,以从多种预测模式分别对应的率失真代价中确定最小率失真代价。从而将最小率失真代价对应的预测模式作为当前针对多个图像块中每一个待处理块最终采样的预测模式。如此,智能终端在计算得出多种预测模式当中的GPM模式对应的率失真代价为最小率失真代价时,即采用该GPM模式来针对图像块进行预测。
[0086] 可选地,智能终端在作为解码器接收到已经通过编码器编码的比特流之后,解码器的解码单元会解析并解码该比特流得到预测参数。同时,解码器的反变换单元与反量化单元将变换系数进行反变换和反量化处理以得到残差块。接下来,解码器的预测处理单元即可将该残差块作为当前需要进行解码处理的待处理块以利用预测参数进行预测处理,从而确定对应于该残差块的预测块。可选地,解码器在采用与编码器所使用相同的GPM模式时,即可利用解析比特流得到的预测参数来获取或者确定当前需要进行预测处理的待处理块的融合区域尺寸。
[0087] 可选地,智能终端作为解码器在通过解码单元解析并解码比特流得到预测参数之后,若该预测参数指示对应的预测模式为GPM模式,智能终端即可直接将GPM模式作为针对已得到的残差块进行预测处理的预测模式。
[0088] 可选地,上述的步骤S10,包括:
[0089] 根据预设图像块模板,获取或者确定所述融合区域尺寸。
[0090] 可选地,智能终端在采用GPM模式针对待处理块进行预测处理的过程中,该智能终端首先确定或者生成一个融合尺寸候选列表,然后,终端设备即可根据预设图像块模板以在该融合尺寸候选列表所包含的一个或者多个融合尺寸候选当中,获取或者确定出针对当前待处理块进行预测处理时,该待处理块的融合区域尺寸。
[0091] 可选地,根据待处理块尺寸的大小确定融合区域尺寸。例如,若待处理块的尺寸是a1*a1,则选择第一融合区域尺寸,若待处理块的尺寸是a2*a2,则选择第二融合区域尺寸。可选地,a1不等于a2。
[0092] 可选地,上述的预设图像块模板为针对当前待处理块进行预测处理所采用的基于模板的预测模式——GPM模式下的图像块模板。可选地,上述的融合尺寸候选列表当中包含至少一个最可能的融合尺寸候选。
[0093] 示例性地,请参见图5,图5是本申请实施例中提供的构建融合尺寸候选列表的示意图。智能终端作为编码器可以通过自身配置的最可能融合尺寸候选确定模块和构建融合尺寸候选列表模块,预先从多个融合尺寸中选择出一个或者多个最可能融合尺寸候选,然后利用该一个或者多个最可能融合尺寸候选构建融合尺寸候选列表。即,假定在智能终端采用GPM模式针对图像块进行预测处理的过程中,该GPM模式下存在的融合尺寸为τ/4,τ/2,τ,2τ,4τ,8τ.....,可选地,τ为图像中的一个采样,当融合尺寸为τ/2时,GPM分割线左右各1/2个采样点对应的区域为融合区域,当融合尺寸为τ时,GPM分割线左右各1个采样点对应的区域为融合区域,当融合尺寸为2τ时,GPM分割线左右各2个采样点对应的区域为融合区域。应当理解的是,在其他实施例中,τ也可以为其他单位长度。
[0094] 可选地,若智能终端确定当前需要构建的融合尺寸候选列表中,最可能融合尺寸候选的数目为3,则智能终端即可以从τ/4,τ/2,τ,2τ,4τ,8τ中选择τ/4,τ/2,τ,或者选择τ,2τ,4τ,或者选择τ/4,τ,4τ作为三个最可能融合尺寸候选。可选地,智能终端也可以依据其他策略来确定多个最可能融合尺寸候选。从而,智能终端在选取出上述的3个最可能融合尺寸候选之后,即可以构建得到融合尺寸候选列表。如,智能终端设置融合尺寸候选列表[x],x=0 2。若选择τ/4,τ/2,τ为最可能融合尺寸候选,则可以设置融合尺寸候选列表[0]=τ/4,融~
合尺寸候选列表[1]=τ/2,融合尺寸候选列表 [2]=τ。
[0095] 可选地,智能终端除了可以通过上述的预设图像块模板从融合尺寸候选列表中获取或者确定出待处理块的融合区域尺寸之外,智能终端作为编码器还可以在获取或者确定出融合尺寸候选列表中的多个最可能融合尺寸候选之后,进一步针对该各个最可能融合尺寸候选,依次计算确定应用该各个最可能融合尺寸对应的率失真代价,以确定出多个率失真代价中的最小率失真代价,从而,智能终端即可将该最小率失真代价对应的最可能融合尺寸候选确定为针对当前待处理块进行预测处理时,该待处理块最终采用的融合区域尺寸。
[0096] 可选地,智能终端作为编码器在从融合尺寸候选列表中获取或者确定出待处理块最终采用的融合区域尺寸之后,还可以将该融合区域尺寸进行编码后打包至比特流中。从而在解码端,智能终端即可直接从比特流中解析得到针对当前待处理块进行预测处理,该待处理块最终采用的融合区域尺寸,从而根据该融合区域尺寸来确定预测块对应的权重。
[0097] S20:根据所述融合区域尺寸确定所述待处理块的预测结果;
[0098] 可选地,智能终端作为编码器或者解码器,在确定当前采用GPM模式针对待处理块进行预测处理时,该待处理块最终采用的融合区域尺寸之后,均同样的可以直接采用该融合区域尺寸,确定该待处理块中被分割线分割所形成的第一预测块和第二预测块中各像素预测值对应的权重,从而,智能终端通过将确定的权重应用于该第一预测块的预测值和该第二预测块的预测值即可得到当前该待处理块的最终预测值,即,得到该待处理块的预测结果——预测块。
[0099] S30:根据所述预测结果对所述待处理块进行图像编码或解码处理。可选地,图像解码处理可以是视频编码处理,图像解码处理可以是视频解码处理。
[0100] 可选地,智能终端作为编码器在获得当前进行预测处理的待处理块预测结果(例如,预测块)之后,智能终端通过将待处理块中的像素的采样值减去该预测块中对应像素的预测值得到像素的残差值以及该待处理块对应的残差块。之后,智能终端对得到的待处理块的残差块经过变换和量化处理,再由熵编码器进行编码即形成已编码的比特流。
[0101] 可选地,智能终端还可以同时将针对当前待处理块进行预测处理采用的预测模式打包在该已编码的比特流中。例如,若采用的预测模式是GPM模式,则将GPM模式对应的预测参数以及相关辅助信息(side information)一起封装打包在该已编码的比特流中。
[0102] 可选地,上述预测模式对应的预测参数是包括关于GMP模式的指示信息。
[0103] 可选地,智能终端在作为编码器得到残差块之后,还可以将该残差快和利用CPM模式得到的对应的预测块进行相加得到重建块。从而,智能终端即可针对该重建块进行环路滤波处理以减少失真。
[0104] 可选地,智能终端作为解码器在得到当前进行预测处理的待处理块的预测结果(例如,预测块)之后,通过将对应的残差块和该预测块相加即可得到重建块。进而,通过环路滤波单元对该重建块进行环路滤波处理以减少失真,进而改善视频质量。最后,智能终端即可将经过环路滤波处理后的重建块进一步组合成解码图像存储于解码图像缓冲器中,或者直接将该解码图像作为已经解码的视频信号进行输出。
[0105] 在本申请实施例中,智能终端通过获取或者确定当前需要进行预测处理的待处理块的融合区域尺寸,然后,根据该融合区域尺寸进一步确定该待处理块的预测结果,即,预测块。最后,根据该预测结果对待处理块进行图像编码或者解码处理。如此,在本申请实施例可以实现在针对图像块进行预测的过程中直接选取出具有较大可能性被使用的融合区域尺寸,以基于该融合区域尺寸确定待处理块的预测结果用于对该待处理块进行图像编码或者解码处理,从而,在提高了对图像的预测精度的同时,有效地降低了图像编码时间以提高了视频图像的整体编解码性能,进而提升了用户体验。
[0106] 第二实施例
[0107] 请参见图6,图6是根据本申请第二实施例示出的一种图像处理方法的流程示意图。在本实施例中,该图像处理方法的执行主体可以是上述的智能终端。
[0108] 在本申请第二实施例中,智能终端在采用GPM预测模式针对待处理块进行预测处理的过程中,利用该GPM预测模式下的图像块模板来从预先构建得到的融合尺寸候选列表中,获取或者确定待处理块的融合区域尺寸。
[0109] 基于此,在本申请第二实施例中,上述的S10步骤可以包括如下步骤:
[0110] S21:在已处理图像区域中确定所述图像块模板的相似模板;
[0111] 可选地,智能终端在利用GPM预测模式下的图像块模板获取或者确定待处理块的融合区域尺寸时,首先在已经进行过编码或者解码的已处理图像区域当中,确定出当前所采用GPM预测模式下的图像块模板的相似模板。
[0112] 可选地,智能终端在针对当前待处理块进行预测处理所采用的GPM模式包括GPM帧内预测模式和GPM帧间预测模式。
[0113] 可选地,智能终端在采用GPM帧内预测模式针对待处理块进行预测处理时,将待处理块所处图像内已经编码或者解码的全部图像块所在区域作为已处理图像区域,从而智能终端即可从该已处理图像区域确定当前所采用GPM帧内预测模式下的图像块模板的相似模板。
[0114] 示例性地,智能终端通过将当前待处理块所处图像内,位于该待处理块上方图像区域和左侧图像区域作为已处理图像区域,从而,进一步在该已处理图像区域当中,将与该待处理块上方和左侧相邻的图像块确定为当前所采用GPM帧内预测模式下的图像块模板的相似模板。
[0115] 可选地,智能终端在采用GPM帧间预测模式针对待处理块进行预测处理时,将待处理块所处图像的时间顺序上的前一图像和/或者后一图像内,已经编码或者解码的全部图像块所在区域作为已处理图像区域,然后再从该已处理图像区域确定当前所采用GPM帧间预测模式下的图像块模板的相似模板。
[0116] 示例性地,智能终端通过将当前待处理块所处图像的前一图像和/或者后一图像内,位于该待处理块所对应图像块的上方图像区域和左侧图像区域作为已处理图像区域,从而,智能终端即进一步在该已处理图像区域当中,将与该待处理块对应图像块上方和左侧相邻的图像块确定为当前所采用GPM帧内预测模式下的图像块模板的相似模板。
[0117] 可选地,智能终端在基于从上述的已处理图像区域中,确定当前所采用GPM帧内预测模式下的图像块模板的相似模板之前,还确定当前待处理块的分割线,然后基于该分割线分别从已处理图像区域中确定该待处理块基于分割线得到的不同分区各自对应的图像块模板的相似模板。
[0118] 示例性地,智能终端具体可以通过遍历当前所采用GPM预测模式对应的64中划分模式,从而确定出该64中划分模式中率失真代价最小的划分模式。之后,智能终端即将该率失真代价最小的划分模式作为待处理块的目标划分模式,进而确定该目标划分模式对应的分割线类型为该待处理块的分割线。
[0119] 可选地,GPM预测模式对应的64种划分模型如下表1所示。表1为GPM分割索引gpm_partition_idx、角度索引angleIdx和距离索引distanceIdx的映射表。基于此,智能终端最后确定出率失真代价最小的划分模式至少包括:确定该划分模式(即,待处理块的目标划分模式)对应的目标GPM分割索引gpm_partition_idxT、目标角度索引angleIdxT和目标距离索引distanceIdxT。
[0120] gpm_partition_idx 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 angleIdx 0 0 2 2 2 2 3 3 3 3 4 4 4 4 5 5distanceIdx 1 3 0 1 2 3 0 1 2 3 0 1 2 3 0 1
gpm_partition_idx 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 angleIdx 5 5 8 8 11 11 11 11 12 12 12 12 13 13 13 13
distanceIdx 2 3 1 3 0 1 2 3 0 1 2 3 0 1 2 3
gpm_partition_idx 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 angleIdx 14 14 14 14 16 16 18 18 18 19 19 19 20 20 20 21
distanceIdx 0 1 2 3 1 3 1 2 3 1 2 3 1 2 3 1
gpm_partition_idx 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 angleIdx 21 21 24 24 27 27 27 28 28 28 29 29 29 30 30 30
distanceIdx 2 3 1 3 1 2 3 1 2 3 1 2 3 1 2 3
[0121] 表1
[0122] 请参见图7,图7是本申请第二实施例提供的一种基于 Hessian 范式的划分边界的示意图。上述智能终端确定的角度索引angleIdx取不同值时,对应于图7和图3a所示的不同角度φi,可选地,i为1 24。而智能终端确定的距离索引distanceIdx取不同值时,对应于~
图3b和图3c中的ρj也将不同,可选地,j为0 3。
~
[0123] 可选地,上述的S21步骤可以包括:
[0124] 根据分割线确定所述图像块模板的第一模板和/或第二模板,在已处理图像区域中确定所述第一模板和/或所述第二模板各自的相似模板;
[0125] 请参见图8,图8是本申请第二实施例提供的一种GPM模式下使用的帧内模板匹配搜索的示意图。可选地,智能终端从已处理图像区域确定当前所采用GPM帧内预测模式下的图像块模板的相似模板时,智能终端首先将待处理块的上方和左侧相邻的区域作为该待处理块在当前所采用GPM帧内预测模式下的图像块模板。然后,由于分割线(如图8虚线所示)把待处理块(即,图中的当前块)分割为了分区A和分区B,并且,分割线所在的延长线将也将该待处理块的图像块模板分为当前模板A(即第一模板)和当前模板B(即第二模板)。如此,智能终端即可进一步在当前块所处图像帧的已处理图像区域中,分别确定当前模板A和当前模板B匹配的相似模板A1和相似模板B1。
[0126] 可选地,请参见图9,图9是本申请第二实施例提供的一种在GPM模式下使用的帧间模板匹配搜索的示意图。可选地,智能终端从已处理图像区域确定当前所采用GPM帧间预测模式下的图像块模板的相似模板时,智能终端即将待处理块在当前所处图像的时间顺序上的前一图像和/或者后一图像中对应的图像块上方和左侧相邻区域,作为该待处理块在当前所采用GPM帧间预测模式下的图像块模板。然后,同样的,由于分割线(如图9虚线所示)把待处理块(即,图9中的当前块)分割为了分区A和分区B,则,智能终端即将分割线所在的延长线在当前所处图像的时间顺序上的前一图像和/或者后一图像中,对应将该待处理块的图像块模板也分为当前模板A和当前模板B。从而,智能终端即可进一步在当前块所处图像的前一图像和/或者后一图像的已处理图像区域中,分别确定当前模板A和当前模板B匹配的相似模板A1和相似模板B1。
[0127] 可选地,智能终端还可以同时对待处理块在GPM预测模式下的不同图像块模板,分别采用GPM帧内预测模式和GPM帧间预测模式。如此,若智能终端将模板帧内预测应用于当前模板A以及将模板帧间预测应用于当前模板B,则智能终端即在待处理块当前所处图像帧的已处理图像区域中确定当前模板A的相似模板A1,以及在该图像帧的前一帧和/或者后一帧参考图像中确定当前模板B的相似模板B1。同理,若智能终端将模板帧内预测应用于当前模板B以及将模板帧间预测应用于当前模板A,则智能终端即在待处理块当前所处图像的已处理图像区域中确定当前模板B的相似模板B1,以及在该图像的时间顺序上的前一图像和/或者后一图像(即,参考图像)中确定当前模板A的相似模板A1。
[0128] 可选地,上述智能终端根据分割线确定图像块模板的相似模板的过程是一个搜索过程。示例性地,智能终端在搜索过程中,对于与当前模板A大小相同的区域,计算该区域和当前模板A之间的SSD(SSD是指重建块与源图像的差值均方和),通过该值的大小确定该区域和当前模板之间的相似程度。如果SSD小于一阈值,则认为该区域为当前模板A的相似模板A1。同理,终端设备,利用与确定当前模板A的相似模板A1相同的方法,确定当前模板B的相似模板B1。
[0129] 应当理解的是,基于实际应用的不同设计需要,在其它一些可行的实施方式中,SSD当然也可以替换为SAD等其他类似的计算相似度的函数。
[0130] S22:对所述相似模板应用至少一个融合尺寸,以获取或者确定所述融合区域尺寸。
[0131] 可选地,智能终端在已经进行过编码或者解码的已处理图像区域当中,确定出当前所采用GPM预测模式下的图像块模板的相似模板之后,进一步对该相似模板应用预先已经构建的融合尺寸候选列表中的至少一个融合尺寸,从而在该融合尺寸候选列表中获取或者确定出当前需要进行预测处理的待处理块的融合区域尺寸。
[0132] 可选地,上述的S22步骤可以包括:
[0133] 根据融合尺寸候选列表中的至少一个融合尺寸确定至少一个融合结果,根据至少一个所述融合结果获取或确定至少一个所述融合尺寸中的至少一个为所述融合区域尺寸。
[0134] 可选地,智能终端在对相似模板应用融合尺寸候选列表中的融合尺寸以获取或者确定待处理块的融合区域尺寸时,首先将该融合尺寸候选列表中的一个或者多个融合尺寸应用到相似模板,从而确定出一个或者多个与该融合尺寸对应的融合结果。之后,智能终端通过将该一个或者多个融合结合与待处理块在当前所采用GPM预测模式下的图像块模板进行比较,从而根据比较结果直接获取该融合尺寸候选列表中一个融合尺寸,作为待处理块的融合区域尺寸,或者,根据该比较结果从该融合尺寸候选列表的多个融合尺寸当中,确定出一个最可能融合尺寸作为待处理块的融合区域尺寸。
[0135] 在本申请实施例中,智能终端在利用GPM预测模式下的图像块模板获取或者确定待处理块的融合区域尺寸时,首先在已经进行过编码或者解码的已处理图像区域当中,确定出当前所采用GPM预测模式下的图像块模板的相似模板。之后,智能终端进一步对该相似模板应用预先已经构建的融合尺寸候选列表中的至少一个融合尺寸,从而在该融合尺寸候选列表中获取或者确定出当前需要进行预测处理的待处理块的融合区域尺寸。
[0136] 如此,本申请实施例提供的图像处理方法能够在采用GPM模式对图像块进行预测处理的过程中,预先选取出有较大可能性被使用到的融合区域尺寸,从而在采用GPM模式时不需要针对单个图像块应用所有的融合尺寸并计算其对应的率失真代价,有效地降低了针对视频图像进行编解码的时间。
[0137] 第三实施例
[0138] 请参见图10,图10是根据本申请第三实施例示出的一种图像处理方法的流程示意图。在本实施例中,该图像处理方法的执行主体可以是上述的智能终端。
[0139] 在本申请第三实施例中,智能终端在按照上述本申请第二实施例阐述的流程步骤,在已经进行过编码或者解码的已处理图像区域当中,确定出当前所采用GPM预测模式下的图像块模板的相似模板之后,进一步在该相似模板中确定相似模板比较区域,从而基于该相似模板比较区域从融合尺寸候选列表中获取或确定待处理块的融合区域尺寸。
[0140] 基于此,在本申请第三实施例中,上述的S10步骤可以包括如下步骤:
[0141] S31:在相似模板中确定相似模板比较区域;
[0142] 可选地,智能终端在已经进行过编码或者解码的已处理图像区域当中,确定出当前所采用GPM预测模式下的图像块模板的相似模板之后,根据上述待处理块的分割线在该相似模板中的位置,确定出该相似模板的相似模板比较区域。
[0143] 可选地,智能终端除了在相似模板中确定相似模板比较区域之外,还同步根据待处理块的分割线的位置,在待处理块在当前所采用GPM预测模式下的图像块模板中,确定当前模板比较区域。
[0144] 可选地,上述的相似模板包括:图像块模板的第一模板的第一相似模板和/或图像块模板的第二模板的第二相似模板。如图8和/或者图9所示,由于分割线(如图中虚线所示)把待处理块(即,图中的当前块)分割为了分区A和分区B,则,智能终端即将分割线所在的延长线对应将该待处理块的图像块模板也分为当前模板A和当前模板B,该当前模板A和当前模板B即为图像块模板的第一模板和第二模板。可选地,智能终端进一步在已处理图像区域中分别确定的当前模板A和当前模板B匹配的相似模板A1和相似模板B1,即分别为第一模板的第一相似模板和第二模板的第二相似模板。在另一实施方式中,当前模板A和当前模板B之间可具有一部分重叠区域。
[0145] 基于此,上述的S31步骤可以包括:
[0146] 根据所述第一相似模板所在的图像区域确定第一相似模板比较区域,和/或,根据所述第二相似模板所在的图像区域确定第二相似模板比较区域;
[0147] 可选地,智能终端通过在待处理块在当前采用GPM模式下的图像块模板中,根据分割线的位置确定当前模板比较区域,以及在图像块模板的第一模板的第一相似模板和图像块模板中第二模板的第二相似模板中,分别确定相似模板比较区域。
[0148] 可选地,上述在图像块模板的第一模板和第二模板中确定的当前模板比较区域如图11a所示,而第一模板的第一相似模板的相似模板比较区域Ac1,和,该第二模板的第二相似模板的相似模板比较区域Bc1如图11b所示。可选地,相似模板比较区域Ac1和相似模板比较区域Bc1中均包括扩展区域,若当前模板A(即第一模板)和当前模板B(即第二模板)没有重叠区域,则相似模板比较区域Ac1的扩展区域位于相似模板A1之外,相似模板比较区域Bc1的扩展区域位于相似模板B1之外。
[0149] 可选地,若当前模板A和当前模板B有重叠区域,则相似模板比较区域Ac1的扩展区域位于相似模板A1中,相似模板比较区域Bc1的扩展区域位于相似模板B1中。
[0150] 可选地,上述当前模板A和当前模板B的重叠区域如图11c所示。当前模板A用实线表示,当前模板B用虚线表示,如此可以明显看出:当前模板A与当前模板B具有重叠区域(即,实线和虚线重叠的区域)。
[0151] S32:将融合尺寸候选列表中的至少一个融合尺寸应用于所述相似模板比较区域得到至少一个融合结果;
[0152] 可选地,智能终端通过针对上述的相似模板比较区域分别应用不同的融合尺寸,例如,τ/4,τ/2,τ,2τ,4τ,8τ,从而确定出关于该相似模板比较区域的多个融合结果。
[0153] S33:根据所述至少一个融合结果,获取或确定融合区域尺寸。
[0154] 可选地,智能终端在将融合尺寸候选列表中的融合尺寸应用于相似模板比较区域以得到对应的融合结果之后,智能终端通过进一步将得到的多个融合结果与待处理块的图像块模板比较区域进行比较,以根据各比较结果从不同的融合尺寸中确定至少一个最可能融合尺寸候选,进而将该最可能融合尺寸候选作为待处理块的融合区域尺寸。
[0155] 可选地,上述的S33步骤可以包括:
[0156] 根据分割线在所述图像块模板中的位置确定图像块模板比较区域,将所述至少一个融合结果与所述图像块模板比较区域进行比较,以获取或确定所述融合区域尺寸。
[0157] 示例性地,智能终端在计算得到应用不同融合尺寸到相似模板比较区域的多个融合结果之后,进一步将该多个融合结果与图像块的当前模板比较区域进行比较,即,计算相似模板比较区域Ac1和相似模板比较区域Bc1中各个采样的融合结果,和当前模板比较区域各个采样之间的SSD(SSD是指重建块与源图像的差值均方和),从而通过该值的大小确定相似模板比较区域和当前模板比较区域之间的相似程度(即比较结果)。如此,智能终端即可选择出SSD值最小的相似程度对应的融合尺寸做为最可能融合尺寸候选,并进一步将该最可能融合尺寸候选直接作为待处理块的融合区域尺寸。
[0158] 应当理解的是,基于实际应用的不同设计需要,在其它可行的实施例中,智能终端当然也可以将SSD可以替换为SAD等其他类似的计算相似度的函数,以进行融合结果与图像块模板比较区域之间的比较。
[0159] 可选地,若智能终端仅将根据上述图像块模板确定出的最可能融合尺寸候选作为待处理块最终采用的融合区域尺寸,而没有采用其他方法来确定该最可能融合尺寸候选,则智能终端在作为编码器时不需要将该最可能融合尺寸候选在编码端进行编码并将其打包至比特流中。
[0160] 在本申请实施例中,智能终端在已经进行过编码或者解码的已处理图像区域当中,确定出当前所采用GPM预测模式下的图像块模板的相似模板之后,根据上述待处理块的分割线在该相似模板中的位置,确定出该相似模板的相似模板比较区域。之后,智能终端通过将融合尺寸候选列表中的至少一个融合尺寸应用于相似模板比较区域从而得到至少一
个融合结果。最后,智能终端将得到的多个融合结果与待处理块的图像块模板比较区域进行比较,以根据各比较结果从不同的融合尺寸中确定至少一个最可能融合尺寸候选,进而将该最可能融合尺寸候选作为待处理块的融合区域尺寸。
[0161] 如此,本申请实施例提供的图像处理方法能够在采用GPM模式对图像块进行预测处理的过程中,预先选取出有较大可能性被使用到的融合区域尺寸,从而在采用GPM模式时不需要针对单个图像块应用所有的融合尺寸并计算其对应的率失真代价,有效地降低了针对视频图像进行编解码的时间。
[0162] 第四实施例
[0163] 在本申请第四实施例中,该图像处理方法的执行主体可以是上述的智能终端。在本实施例中,智能终端除了可以根据上述图像块模板,确定出最可能融合尺寸候选作为待处理块最终采用的融合区域尺寸,智能终端还可以从预先构建好的融合尺寸候选列表中获取或者确定出确定至少一个目标融合尺寸,将该目标融合尺寸作为待处理块最终采用的融合区域尺寸;或者,智能终端还可以根据待处理块相邻区域采用的融合尺寸,来确定至少一个最可能融合尺寸候选作为待处理块的融合区域尺寸;再或者,智能终端还可以根据历史采用的融合尺寸,确定至少一个最可能融合尺寸候选作为待处理块的融合区域尺寸;以及,智能终端还可以根据图像块边界梯度来确定至少一个最可能融合尺寸候选作为待处理块的融合区域尺寸。
[0164] 基于此,上述的S10步骤,可以包括以下方式中的至少一项:
[0165] 方式一:从融合尺寸候选列表中获取或者确定至少一个目标融合尺寸,将所述目标融合尺寸作为所述融合区域尺寸;
[0166] 可选地,智能终端在构建得到包括至少一个融合尺寸的融合尺寸候选列表之后,即可直接从该融合尺寸候选列表中获取或者确定至少一个目标融合尺寸,从而将该目标融合尺寸作为当前正在进行预测处理的待处理块最终采用的融合区域尺寸。
[0167] 示例性地,智能终端可以通过将融合尺寸候选列表中的多个融合尺寸,应用于上述的相似模板比较区域以得到对应的融合结果。之后,智能终端即可将得到的多个融合结果与待处理块的图像块模板比较区域进行比较,以根据各比较结果从不同的融合尺寸中确定至少一个目标融合尺寸,进而将该目标融合尺寸作为待处理块的融合区域尺寸。
[0168] 方式二:将至少一个融合尺寸应用于至少一个相似模板比较区域,并利用所述至少一个相似模板比较区域各自的权重进行计算得到至少一个融合结果,根据所述至少一个融合结果,获取或确定融合区域尺寸;
[0169] 可选地,智能终端在确定出采用GPM预测模式下图像块模板的相似模板的相似模板比较区域之后,进一步针对该相似模板区域应用不同的融合尺寸,从而,利用该相似模板比较区域各自的权重来确定关于相似模板比较区域的多个融合结果,最后基于该多个融合结果与待处理块的图像块模板比较区域进行比较,以根据各比较结果从不同的融合尺寸中确定至少一个目标融合尺寸,进而将该目标融合尺寸作为待处理块的融合区域尺寸。
[0170] 可选地,上述相似模板比较区域各自的权重分别为权重W1和权重W2。可选地,权重W1为第一相似模板比较区域Ac1的权重,权重W2为第二相似模板比较区域Bc1的权重。权重W1+权重W2等于权重取值范围的最大值。
[0171] 请参见图12a至图12f,图12a、图12b和图12c为相似模板比较区域Ac1的权重W1的取值分布图。如图12a、图12b和图12c所示,图12a对应于对相似模板比较区域Ac1应用的融合尺寸为τ的情况,图12b则对应于融合尺寸为2τ的情况,图12c则对应融合尺寸为4τ的情况。
[0172] 同理,图12d、图12e和图12f为相似模板比较区域Bc1的权重W2的取值分布图。如图12d、图12e和图12f所示,图12d对应于融合尺寸为τ的情况,图12e对应于融合尺寸为2τ的情况,图12f对应融合尺寸为4τ的情况。
[0173] 权重W1和权重W2的取值范围为0 16,且,权重W1+权重W2等于16。~
[0174] 应当理解的是,基于实际应用的不同设计需要,在其它可行的实施例中,权重W1和权重W2的取值当然也可以为其他大小的数值。本申请实施例并不针对该权重W1和权重W2具体的取值大小进行限定。
[0175] 可选地,智能终端可以根据相似模板比较区域Ac1和相似模板比较区域Bc1中的采样(xc,yc),相对于分割线距离的远近以及不同的融合尺寸设置权重值,从而得到加权预测采样值predSamples。示例性地,若相似模板比较区域Ac1中的采样(xca1,yca1)到直线方程的距离大于融合尺寸,则将该采样对应的权重W1设置为0或16,若对于采样(xca1,yca1)到直线方程的距离小于融合尺寸,则将该采样对应的权重W1设置为k2。K2的取值范围为1 15。~
此时,小于融合尺寸的采样位于分割线附近。
[0176] 或者,若对于相似模板比较区域Bc1中的采样(xcb1,ycb1)到直线方程的距离大于融合尺寸,则将该采样对应的权重W2设置为16或0,若对于采样(xcb1,ycb1)到直线方程的距离小于融合尺寸,则将该采样对应的权重W2设置为k2。K2的取值范围为1 15。同样的,小~于融合尺寸的采样位于分割线附近。
[0177] 可选地,智能终端在对相似模板比较区域应用不同融合尺寸的情况下,即可为相似模板比较区域Ac1和相似模板比较区域Bc1分配不同的权重集合。示例性地,当融合尺寸为τ时,融合区域的权重集合为{4,8,12}。可选地,位于分割线上的采样对应的权重为8,而位于两侧边界(即融合区域边界)上的权重分别为4,12。当融合尺寸为2τ时,融合区域的权重集合为{2,4,6,8,10,12,14}。可选地,位于分割线上的采样对应的权重为8,位于两侧边界上的权重分别为2,14。当融合尺寸为2τ时,融合区域的权重集合为{1,2,3,...,13,14,15}。可选地,位于分割线上的采样对应的权重为8,位于两侧边界上的权重分别为1,15。
[0178] 如此,智能终端即可进一步将相似模板比较区域Ac1中的采样和相似模板比较区域Bc1中的采样进行加权得到该采样的融合后的预测值,即,按照如下公式(1):S(xc,yc)=f(w1*Sac1+w2*Sbc1)计算得到对相似模板比较区域应用融合尺寸的融合结果S(xc,yc)。
[0179] 可选地,上述的公式(1)可以为:S(xc,yc)=W1*Sac1+W2*Sbc1。这其中,Sac1为智能终端将融合尺寸应用于相似模板比较区域Ac1得到的融合结果,而Sbc1则为智能终端将融合尺寸应用于相似模板比较区域Bc1得到的融合结果。
[0180] 方式三:根据预设的相邻图像区域的融合尺寸,获取或者确定至少一个目标融合尺寸,根据所述至少一个目标融合尺寸,获取或确定所述融合区域尺寸;
[0181] 可选地,智能终端在确定当前采用GPM预测模式进行预测处理的待处理块的融合区域尺寸时,智能终端还可以在上述已处理图像区域中,确定待处理块的相邻图像区域,从而,确定该相邻图像区域中各图像块各自才有的融合尺寸,并从该各个融合尺寸当中,获取或者确定出至少一个目标融合尺寸,进而将该目标融合尺寸直接作为待处理块最终采用的融合区域尺寸。
[0182] 可选地,上述的根据预设的相邻图像区域的融合尺寸,获取或者确定至少一个目标融合尺寸,可以包括:
[0183] 确定所述待处理块对应的相邻图像区域,将所述相邻图像区域的融合尺寸作为第一参考融合尺寸,根据所述第一参考融合尺寸从融合尺寸候选列表中获取或者确定至少一个目标融合尺寸。
[0184] 可选地,智能终端在采用GPM帧内预测模式针对当前待处理块进行预测时,智能终端即可在当前帧图像的已处理图像区域内,分别确定待处理块的左侧和上方图像区域为相邻图像区域,之后,从预先编码生成的比特流中解析获取到该相邻图像区域中各个图像块采用的融合尺寸。如此,智能终端即可从该各个融合尺寸当中获取或者确定出至少一个目标融合尺寸作为第一参考融合尺寸。进而,智能终端即可将该第一参考融合尺寸直接作为待处理块最终采用的融合区域尺寸。
[0185] 方式四:根据历史融合尺寸,获取或者确定所述融合区域尺寸;
[0186] 可选地,智能终端在采用GPM预测模式针对每一个图像块进行预测处理的过程中,在对每一个图像块进行预测处理之后,即将该图像块所采用的融合尺寸进行记录形成历史融合尺寸,如此,智能终端在采用该GPM预测模式针对当前的待处理块进行预测处理时,即可直接从一个或者多个历史融合尺寸当中,获取或者确定出一个最可能融合尺寸候选以作为该待处理块最终采用的融合区域尺寸。
[0187] 可选地,智能终端根据历史融合尺寸获取或者确定待处理块的融合区域尺寸,至少包括以下至少一项:
[0188] 从历史融合尺寸队列中获取或者确定符合使用次数条件的第二参考融合尺寸,根据所述第二参考融合尺寸获取或者确定所述融合区域尺寸;
[0189] 从历史融合尺寸队列中获取或者确定符合入队时间条件的第三参考融合尺寸,根据所述第三参考融合尺寸获取或者确定所述融合区域尺寸。
[0190] 可选地,智能终端在采用GPM预测模式针对每一个图像块进行预测处理的过程中,预先构建一个历史融合尺寸队列,从而在对每一个图像块进行预测处理之后,都将该图像块所采用的融合尺寸记录在该历史融合尺寸队列当中。并且,智能终端在针对两个图像块进行预测处理时,若该两个图像块均采用了相同的融合尺寸,则智能终端即可在历史融合尺寸队列当中叠加任意一个图像所采用融合尺寸的使用次数为两次。进而,智能终端在采用GPM预测模式针对当前的待处理块进行预测处理时,即可从该历史融合尺寸队列当中选择被记录使用次数最多的一个融合尺寸作为符合使用次数条件的第二参考融合尺寸,并进一步将该第二参考融合尺寸确定为待处理块在当前采用的融合区域尺寸。
[0191] 可选地,智能终端在构建了历史融合尺寸队列,从而在对每一个图像块进行预测处理之后,将该图像块所采用的融合尺寸记录在该历史融合尺寸队列当中时,还同步记录该每一个图像块所采用融合尺寸录入该历史融合尺寸队列的录入时间。进而,智能终端在采用GPM预测模式针对当前的待处理块进行预测处理时,即可从该历史融合尺寸队列当中选择被记录入队时间排列在最后的多的一个融合尺寸作为符合入队时间条件的第三参考融合尺寸,并进一步将该第三参考融合尺寸确定为待处理块在当前采用的融合区域尺寸。
[0192] 可选地,智能终端在构建历史融合尺寸队列并针对采用GPM预测模式对每一个图像块进行预测处理时,各图像块采用的融合尺寸进行记录,可以包括以下至少一项:
[0193] 根据已处理图像区域中的至少一个已处理块对应的融合区域尺寸构建历史融合尺寸队列;
[0194] 对所述历史融合尺寸队列中的至少一个融合尺寸的使用次数和入队时间进行记录。
[0195] 可选地,智能终端在采用GPM预测模式针对每一个图像块进行预测处理的过程中,预先构建一个历史融合尺寸队列,从而在对每一个图像块进行预测处理之后,都将已经进行过处理的图像块(即已处理块)所采用的融合尺寸记录在该历史融合尺寸队列当中。并且,智能终端在针对两个图像块进行预测处理时,若该两个图像块均采用了相同的融合尺寸,则智能终端即可在历史融合尺寸队列当中叠加任意一个图像所采用融合尺寸的使用次数为两次。并且,智能终端在将已经进行过预测处理的图像块所采用的融合尺寸记录在该历史融合尺寸队列当中时,还同步记录该每一个图像块所采用融合尺寸录入该历史融合尺寸队列的录入时间(即入队时间)。
[0196] 方式五:根据预设的图像块边界梯度,获取或者确定所述融合区域尺寸。
[0197] 可选地,智能终端在采用GPM预测模式针对待处理块进行预测处理的过程中,还可以根据该待处理块对应的图像块边界梯度来获取或者确定该待处理块最终采用的融合区域尺寸。
[0198] 可选地,智能终端在根据图像块边界梯度确定待处理块采用的融合区域尺寸之前,还进一步根据分割线确定图像块边界梯度。
[0199] 可选地,智能终端根据分割线确定图像块边界梯度,可以包括:
[0200] 确定所述分割线所在直线在已处理图像区域中经过的图像采样,将所述图像采样与所述图像采样的相邻采样之间的梯度作为图像块边界梯度。
[0201] 请参见图13,图13为本申请第四实施例提出的一种GPM分割线所在的直线经过的采样的示意图。智能终端通过确定采用GPM预测模式下,GPM分割线所在的直线,在已处理区域中经过的采样(如图13中斜阴影部分所示);然后,智能终端即可确定到分割线预定距离内的采样与该采样相邻的采样之间的梯度作为图像块边界梯度。从而,智能终端根据该图像块边界梯度来获取或者确定待处理块采用的融合区域尺寸。
[0202] 示例性地,智能终端作为编码器可以将已编码区域,作为与待处理块上相邻的数行或者左相邻的数列采样组成的相邻图像区域。可选地,若已编码区域中的一采样到GPM分割线所在的直线的距离小于1/2采样,则智能终端即将该采样确定为GPM分割线所在的直线经过的采样。或者,在另种可行的实施例中,若已编码区域中的一采样到GPM分割线所在的直线的距离小于1/ 采样,则智能终端也将该采样确定为GPM分割线所在直线经过的采样。
[0203] 智能终端在确定GPM分割线所在的直线经过的采样之后,即进一步计算与这些采样水平方向相邻的预定数目的采样的水平梯度,和/或计算与这些采样垂直方向相邻的预定数目的采样的垂直梯度。从而,智能终端通过确定水平梯度和垂直梯度的平方和大于预定阈值的采样的坐标范围,即可根据该坐标范围获取或者确定出至少一个最可能融合尺寸候选,进而智能终端即将该最可能融合尺寸候选确定为待处理块最终采用的融合区域尺
寸。
[0204] 在本申请实施例中,由于智能终端在根据图像块边界梯度确定待处理块采用的融合区域尺寸时,智能终端所选取出的水平梯度和垂直梯度的平方和大于预定阈值的采样的坐标范围相当于选取出GPM分割线附近变化明显的采样的范围。由于与图像块相邻的已编码区域的特征和图像块的特征较为相似,因此将该采样范围对应的融合尺寸相比于其他融合尺寸更大概率适合当前的GPM分割模式。
[0205] 请参见图14,图14是本申请实施例示出的一种图像处理装置的结构示意图,该图像处理装置140包括:第一确定模块1401、第二确定模块1402和处理模块1403。
[0206] 第一确定模块1401,用于获取或者确定待处理块的融合区域尺寸;
[0207] 第二确定模块1402,用于根据所述融合区域尺寸确定所述待处理块的预测结果;
[0208] 处理模块1403,用于根据所述预测结果对所述待处理块进行图像编码或解码处理。
[0209] 可选地,第一确定模块1401,还用于根据预设图像块模板,获取或者确定所述融合区域尺寸。
[0210] 可选地,所述预设图像块模板为所述待处理块使用基于模板的预测模式时的图像块模板;和/或,第一确定模块1401,包括:
[0211] 模板确定单元,用于在已处理图像区域中确定所述图像块模板的相似模板;
[0212] 第一尺寸确定单元,用于对所述相似模板应用至少一个融合尺寸,以获取或者确定所述融合区域尺寸。
[0213] 可选地,所述模板确定单元,还用于根据分割线确定所述图像块模板的第一模板和/或第二模板,在已处理图像区域中确定所述第一模板和/或所述第二模板各自的相似模板;
[0214] 所述第一尺寸确定单元,还用于根据融合尺寸候选列表中的至少一个融合尺寸确定至少一个融合结果,根据至少一个所述融合结果获取或确定至少一个所述融合尺寸中的至少一个为所述融合区域尺寸。
[0215] 可选地,第一确定模块1401,还包括:
[0216] 比较区域确定单元,用于在相似模板中确定相似模板比较区域;
[0217] 区域融合单元,用于将融合尺寸候选列表中的至少一个融合尺寸应用于所述相似模板比较区域得到至少一个融合结果;
[0218] 第二尺寸确定单元,用于根据所述至少一个融合结果,获取或确定融合区域尺寸。
[0219] 可选地,所述相似模板包括:所述图像块模板的第一模板的第一相似模板和/或所述图像块模板的第二模板的第二相似模板,和/或,所述比较区域确定单元,还用于根据所述第一相似模板所在的图像区域确定第一相似模板比较区域,和/或,根据所述第二相似模板所在的图像区域确定第二相似模板比较区域;
[0220] 所述第二尺寸确定单元,还用于根据分割线在所述图像块模板中的位置确定图像块模板比较区域,将所述至少一个融合结果与所述图像块模板比较区域进行比较,以获取或确定所述融合区域尺寸。
[0221] 可选地,第一确定模块1401,还包括:
[0222] 第三尺寸确定单元,用于从融合尺寸候选列表中获取或者确定至少一个目标融合尺寸,将所述目标融合尺寸作为所述融合区域尺寸;
[0223] 第四尺寸确定单元,用于将至少一个融合尺寸应用于至少一个相似模板比较区域,并利用所述至少一个相似模板比较区域各自的权重进行计算得到至少一个融合结果,根据所述至少一个融合结果,获取或确定融合区域尺寸;
[0224] 第五尺寸确定单元,用于根据预设的相邻图像区域的融合尺寸,获取或者确定至少一个目标融合尺寸,根据所述至少一个目标融合尺寸,获取或确定所述融合区域尺寸;
[0225] 第六尺寸确定单元,用于根据历史融合尺寸,获取或者确定所述融合区域尺寸;
[0226] 第七尺寸确定单元,用于根据预设的图像块边界梯度,获取或者确定所述融合区域尺寸。
[0227] 可选地,所述第五尺寸确定单元,还用于确定所述待处理块对应的相邻图像区域,将所述相邻图像区域的融合尺寸作为第一参考融合尺寸,根据所述第一参考融合尺寸从融合尺寸候选列表中获取或者确定至少一个目标融合尺寸。
[0228] 可选地,所述第六尺寸确定单元,还用于从历史融合尺寸队列中获取或者确定符合使用次数条件的第二参考融合尺寸,根据所述第二参考融合尺寸获取或者确定所述融合区域尺寸;和/或者,从历史融合尺寸队列中获取或者确定符合入队时间条件的第三参考融合尺寸,根据所述第三参考融合尺寸获取或者确定所述融合区域尺寸。
[0229] 可选地,本申请图像处理装置还包括构建模块和记录模块。
[0230] 所述构建模块,用于根据已处理图像区域中的至少一个已处理块对应的融合区域尺寸构建历史融合尺寸队列;
[0231] 所述记录模块,用于对所述历史融合尺寸队列中的至少一个融合尺寸的使用次数和入队时间进行记录。
[0232] 可选地,本申请图像处理装置还包括梯度确定模块。
[0233] 所述梯度确定模块用于根据分割线确定图像块边界梯度。
[0234] 可选地,所述梯度确定模块,还用于确定所述分割线所在直线在已处理图像区域中经过的图像采样,将所述图像采样与所述图像采样的相邻采样之间的梯度作为图像块边界梯度。
[0235] 应当理解的是,本申请实施例所描述的图像处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
[0236] 本申请实施例还提供一种图像处理方法,可应用于智能终端,该图像处理方法包括以下步骤:
[0237] S10:获取或者确定待处理块的融合区域尺寸;
[0238] S20:根据所述融合区域尺寸确定所述待处理块的预测结果;
[0239] S30:根据所述预测结果对所述待处理块进行图像编码或解码处理。
[0240] 可选地,所述S10步骤,包括:
[0241] 根据预设图像块模板,获取或者确定所述融合区域尺寸。
[0242] 可选地,所述预设图像块模板为所述待处理块使用基于模板的预测模式时的图像块模板。
[0243] 可选地,所述S10步骤,包括步骤:
[0244] S21:在已处理图像区域中确定所述图像块模板的相似模板;
[0245] S22:对所述相似模板应用至少一个融合尺寸,以获取或者确定所述融合区域尺寸。
[0246] 可选地,所述方法包括以下至少一项:
[0247] 所述S21步骤包括:根据分割线确定所述图像块模板的第一模板和/或第二模板,在已处理图像区域中确定所述第一模板和/或所述第二模板各自的相似模板;
[0248] 所述S22步骤包括:根据融合尺寸候选列表中的至少一个融合尺寸确定至少一个融合结果,根据至少一个所述融合结果获取或确定至少一个所述融合尺寸中的至少一个为所述融合区域尺寸。
[0249] 可选地,所述S10步骤,包括步骤:
[0250] S31:在相似模板中确定相似模板比较区域;
[0251] S32:将融合尺寸候选列表中的至少一个融合尺寸应用于所述相似模板比较区域得到至少一个融合结果;
[0252] S33:根据所述至少一个融合结果,获取或确定融合区域尺寸。
[0253] 可选地,所述方法包括以下至少一项:
[0254] 所述相似模板包括:所述图像块模板的第一模板的第一相似模板和/或所述图像块模板的第二模板的第二相似模板,和/或,所述S31步骤,包括:根据所述第一相似模板所在的图像区域确定第一相似模板比较区域,和/或,根据所述第二相似模板所在的图像区域确定第二相似模板比较区域;
[0255] 所述S33步骤,包括:根据分割线在所述图像块模板中的位置确定图像块模板比较区域,将所述至少一个融合结果与所述图像块模板比较区域进行比较,以获取或确定所述融合区域尺寸。
[0256] 可选地,所述S10步骤,包括以下至少一项:
[0257] 从融合尺寸候选列表中获取或者确定至少一个目标融合尺寸,将所述目标融合尺寸作为所述融合区域尺寸;
[0258] 将至少一个融合尺寸应用于至少一个相似模板比较区域,并利用所述至少一个相似模板比较区域各自的权重进行计算得到至少一个融合结果,根据所述至少一个融合结果,获取或确定融合区域尺寸;
[0259] 根据预设的相邻图像区域的融合尺寸,获取或者确定至少一个目标融合尺寸,根据所述至少一个目标融合尺寸,获取或确定所述融合区域尺寸;
[0260] 根据历史融合尺寸,获取或者确定所述融合区域尺寸;
[0261] 根据预设的图像块边界梯度,获取或者确定所述融合区域尺寸。
[0262] 可选地,所述根据预设的相邻图像区域的融合尺寸,获取或者确定至少一个目标融合尺寸,包括:
[0263] 确定所述待处理块对应的相邻图像区域,将所述相邻图像区域的融合尺寸作为第一参考融合尺寸,根据所述第一参考融合尺寸从融合尺寸候选列表中获取或者确定至少一个目标融合尺寸。
[0264] 可选地,所述方法包括以下至少一项:
[0265] 从历史融合尺寸队列中获取或者确定符合使用次数条件的第二参考融合尺寸,根据所述第二参考融合尺寸获取或者确定所述融合区域尺寸;
[0266] 从历史融合尺寸队列中获取或者确定符合入队时间条件的第三参考融合尺寸,根据所述第三参考融合尺寸获取或者确定所述融合区域尺寸。
[0267] 可选地,所述方法还包括以下至少一项:
[0268] 根据已处理图像区域中的至少一个已处理块对应的融合区域尺寸构建历史融合尺寸队列;
[0269] 对所述历史融合尺寸队列中的至少一个融合尺寸的使用次数和入队时间进行记录。
[0270] 可选地,在所述根据预设的图像块边界梯度,获取或者确定所述融合区域尺寸之前,所述方法还包括:
[0271] 根据分割线确定图像块边界梯度。
[0272] 可选地,所述根据分割线确定图像块边界梯度,包括:
[0273] 确定所述分割线所在直线在已处理图像区域中经过的图像采样,将所述图像采样与所述图像采样的相邻采样之间的梯度作为图像块边界梯度。
[0274] 应当理解的是,本申请实施例所描述的图像处理方法,其具体实现过程可以参照上述第一至四实施例的相关描述,此处不再赘述。另外,对采用相同方法的有益效果描述,此处也不再进行赘述。
[0275] 本申请实施例还提供一种智能终端,智能终端包括存储器、处理器,存储器上存储有图像处理程序,图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。本申请实施例提供的智能终端可以是如图1所示的移动终端100。
[0276] 可选地,如图1所示的移动终端100的处理器110可以用于调用存储器109中存储的图像处理程序,以执行如下操作:S10:获取或者确定待处理块的融合区域尺寸;S20:根据所述融合区域尺寸确定所述待处理块的预测结果;S30:根据所述预测结果对所述待处理块进行图像编码或解码处理。
[0277] 可选地,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0278] 根据预设图像块模板,获取或者确定所述融合区域尺寸。
[0279] 可选地,所述预设图像块模板为所述待处理块使用基于模板的预测模式时的图像块模板;移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0280] S21:在已处理图像区域中确定所述图像块模板的相似模板;
[0281] S22:对所述相似模板应用至少一个融合尺寸,以获取或者确定所述融合区域尺寸。
[0282] 可选地,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0283] 根据分割线确定所述图像块模板的第一模板和/或第二模板,在已处理图像区域中确定所述第一模板和/或所述第二模板各自的相似模板;
[0284] 根据融合尺寸候选列表中的至少一个融合尺寸确定至少一个融合结果,根据至少一个所述融合结果获取或确定至少一个所述融合尺寸中的至少一个为所述融合区域尺寸。
[0285] 可选地,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0286] S31:在相似模板中确定相似模板比较区域;
[0287] S32:将融合尺寸候选列表中的至少一个融合尺寸应用于所述相似模板比较区域得到至少一个融合结果;
[0288] S33:根据所述至少一个融合结果,获取或确定融合区域尺寸。
[0289] 可选地,所述相似模板包括:预设图像块模板的第一模板的第一相似模板和/或所述图像块模板的第二模板的第二相似模板,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0290] 根据所述第一相似模板所在的图像区域确定第一相似模板比较区域,和/或,根据所述第二相似模板所在的图像区域确定第二相似模板比较区域;
[0291] 根据分割线在所述图像块模板中的位置确定图像块模板比较区域,将所述至少一个融合结果与所述图像块模板比较区域进行比较,以获取或确定所述融合区域尺寸。
[0292] 可选地,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0293] 从融合尺寸候选列表中获取或者确定至少一个目标融合尺寸,将所述目标融合尺寸作为所述融合区域尺寸;
[0294] 将至少一个融合尺寸应用于至少一个相似模板比较区域,并利用所述至少一个相似模板比较区域各自的权重进行计算得到至少一个融合结果,根据所述至少一个融合结果,获取或确定融合区域尺寸;
[0295] 根据预设的相邻图像区域的融合尺寸,获取或者确定至少一个目标融合尺寸,根据所述至少一个目标融合尺寸,获取或确定所述融合区域尺寸;
[0296] 根据历史融合尺寸,获取或者确定所述融合区域尺寸;
[0297] 根据预设的图像块边界梯度,获取或者确定所述融合区域尺寸。
[0298] 可选地,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0299] 从历史融合尺寸队列中获取或者确定符合使用次数条件的第二参考融合尺寸,根据所述第二参考融合尺寸获取或者确定所述融合区域尺寸;
[0300] 从历史融合尺寸队列中获取或者确定符合入队时间条件的第三参考融合尺寸,根据所述第三参考融合尺寸获取或者确定所述融合区域尺寸。
[0301] 可选地,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0302] 根据已处理图像区域中的至少一个已处理块对应的融合区域尺寸构建历史融合尺寸队列;
[0303] 对所述历史融合尺寸队列中的至少一个融合尺寸的使用次数和入队时间进行记录。
[0304] 可选地,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,在执行根据预设的图像块边界梯度,获取或者确定所述融合区域尺寸之前,还执行如下操作:
[0305] 根据分割线确定图像块边界梯度。
[0306] 可选地,移动终端100的处理器110还可以用于调用存储器109中存储的图像处理程序,以执行如下操作:
[0307] 确定所述分割线所在直线在已处理图像区域中经过的图像采样,将所述图像采样与所述图像采样的相邻采样之间的梯度作为图像块边界梯度。
[0308] 应当理解的是,本申请实施例中所描述的移动终端可执行上述任一实施例中图像处理方法的描述,也可执行上述所对应实施例中对图像处理装置的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,此处也不再进行赘述。
[0309] 本申请实施例还提供一种存储介质,存储介质上存储有图像处理程序,图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
[0310] 在本申请提供的智能终端和存储介质的实施例中,可以包含任一上述图像处理方法实施例的全部技术特征,说明书拓展和解释内容与上述方法的各实施例基本相同,在此不再做赘述。
[0311] 本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
[0312] 本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
[0313] 可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
[0314] 上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
[0315] 本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0316] 本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
[0317] 在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
[0318] 在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
[0319] 本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
[0320] 通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
[0321] 在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在存储介质中,或者从一个存储介质向另一个存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk (SSD))等。
[0322] 以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。