本发明提供一种显示内容的处理方法、装置和设备，该方法包括：采用基于插值的SR技术获取第一显示内容对应的第二显示内容；采用基于学习的SR技术获取第一显示内容对应的第三显示内容；根据第二显示内容和第三显示内容确定第一显示内容对应的第四显示内容，从而改善了终端对于低分辨率显示内容进行高分辨率显示的效果。
显示内容的处理方法、装置和设备
技术领域
[0001] 本发明涉及通信技术，尤其涉及一种显示内容的处理方法、装置和设备。
背景技术
[0002] 随着通信技术的不断发展，移动终端发展的速度越来越快，人们对于移动设备上高质量、高清晰的图像信息要求也越来越高，故而移动设备的屏幕分辨率随着升高，有很多2K(2560x1440)，甚至4K(3840x2160)的屏幕出现。但是，移动设备的屏幕分辨率越高，移动终端的功耗就会越大。
[0003] 因此，为了在保证高分辨率图像显示效果的同时，也能降低移动终端的功耗，超分辨率技术应运而生。超分辨率(Super Resolution，简称SR)技术是将低分辨率图像或者视频生成高分辨率图像或视频，因此显示之前的所有图像视频或者(User Interface，简称UI)界面内容可以是低分辨率(720p或1080p)，然后通过超分辨率技术将这些低分辨率的内容放大到2K或者4K来适应屏幕显示，这样就能保证高分辨率的显示同时较大降低移动设备的功耗。常见的图像超分辨率技术可以包括基于插值的SR技术和基于学习的SR技术。
[0004] 但是，上述基于插值的SR技术对于UI界面这种线、点以及边缘较多的场景，图像处理效果并不理想，而基于学习的SR技术，如果要使其对于各类场景有普适性，就要求训练很多图像，这样就导致数据库很大，实现成本很高，同时如果当前需要重建的高分辨率图像在训练阶段没有被选取作为样本，则在复原阶段就无法获得相应的高分辨率特征，从而导致重建效果比较差，二者均无法满足当前用户对于高分辨率显示的要求。
[0005] 因此，如何将不同类型的低分辨率内容进行高分辨率显示，以满足用户的显示需求，成为目前亟待解决的技术问题。
发明内容
[0006] 本发明实施例提供的显示内容的处理方法、装置和设备，用以解决现有技术中将不同类型的低分辨率内容进行高分辨率显示时，无法满足用户的显示需求的技术问题。
[0007] 第一方面，本发明实施例提供一种显示内容的处理方法，包括：
[0008] 采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容；
[0009] 采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容；
[0010] 根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
[0011] 可选的，上述第一显示内容为低分辨率显示内容，该第一显示内容可以是图像视频类内容，还可以是UI界面类内容，还可以是叠加类内容。该图像视频类内容可以包括图像、视频，UI界面类内容可以包括图标、图形、文字、应用界面等，叠加类内容可以包括图像与图形的叠加内容、视频与图形的叠加内容。
[0012] 该第一方面所提供的显示内容的处理方法，通过采用插值的SR技术获得第一显示内容对应的第二显示内容，并采用基于学习的SR技术所获得的第一显示内容对应的第三显示内容，然后根据该第二显示内容和第三显示内容得到第一显示内容对应的第四显示内容，使得终端对于不同类型的低分辨率显示内容进行高分辨率显示时，均可以达到比较好的显示效果，第二显示内容和第三显示内容相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求。
[0013] 在一种可能的设计中，所述采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，具体包括：
[0014] 获取所述第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景；
[0015] 根据所述场景信息确定所述第一显示内容的插值系数；
[0016] 根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容。
[0017] 该可能的设计所提供的显示内容的处理方法，通过获取第一显示内容的场景信息，并根据第一显示内容的场景信息确定第一显示内容对应的插值系数，从而根据该插值系数、第一显示内容的每个第一图像块的边缘方向强度对第一显示内容进行插值，获取第一显示内容对应的高分辨率的第二显示内容进行显示。本发明实施例提供的方法，根据不同的第一显示内容的场景信息确定与场景信息对应的不同的插值系数，使得所确定的插值系数更加适合于当前第一显示内容的插值过程，避免了现有技术中采用单一的插值系数导致的边缘锯齿和清晰度较低的问题，其大大改善了第一显示内容的边缘锯齿和清晰度，对不同的第一显示内容均可以得到显示效果较好的第二显示内容，大大改善显示内容的显示效果，满足了用户的显示需求。
[0018] 在一种可能的设计中，所述采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，具体包括：
[0019] 根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对；
[0020] 根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容。
[0021] 该可能的设计所提供的显示内容的处理方法，通过根据第一显示内容的场景信息确定第一显示内容对应的特征模型数据库，从而根据该第一显示内容对应的特征模型数据库和第一显示内容的每个第一图像块，复原出第三显示内容，无需将第一显示内容逐个与所有特征模型数据库进行匹配，而是将第一显示内容与其场景对应的特征模型数据库进行匹配，大大提高了第三显示内容的重建效率，降低了终端的功耗。
[0022] 在一种可能的设计中，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0023] 根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
[0024] 在一种可能的设计中，所述方法还包括：
[0025] 根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
[0026] 在一种可能的设计中，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0027] 根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
[0028] 在一种可能的设计中，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0029] 根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0030] 在一种可能的设计中，所述根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0031] 根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0032] 结合上述几种可能的设计所提供的显示内容的处理方法，通过不同的方式将第二显示内容和第三显示内容进行融合，得到第四显示内容，使得终端对于不同类型的低分辨率显示内容进行高分辨率显示时，均可以达到比较好的显示效果，第二显示内容和第三显示内容相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求。
[0033] 在一种可能的设计中，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
[0034] 在一种可能的设计中，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
[0035] 所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
[0036] 或者，
[0037] 所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
[0038] 在一种可能的设计中，所述获取第一显示内容的场景信息，具体包括：
[0039] 根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
[0040] 在一种可能的设计中，所述根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，具体包括：
[0041] 从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征；
[0042] 根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征；
[0043] 根据所有第二特征，获取所述第三显示内容。
[0044] 第二方面，本发明实施例提供一种显示内容的处理装置，包括：
[0045] 第一获取模块，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容；
[0046] 第二获取模块，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容；
[0047] 确定模块，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
[0048] 在一种可能的设计中，所述第一获取模块，具体包括：
[0049] 场景分析单元，用于获取所述第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景；
[0050] 插值系数获取单元，用于根据所述场景信息确定所述第一显示内容的插值系数；
[0051] 第一获取单元，用于根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容。
[0052] 在一种可能的设计中，所述第二获取模块，具体包括：
[0053] 数据库确定单元，用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对；
[0054] 第二获取单元，用于根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容。
[0055] 在一种可能的设计中，所述确定模块，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
[0056] 在一种可能的设计中，所述第二获取单元，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
[0057] 在一种可能的设计中，所述确定模块，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
[0058] 在一种可能的设计中，所述确定模块，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0059] 在一种可能的设计中，所述确定模块，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0060] 在一种可能的设计中，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
[0061] 在一种可能的设计中，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
[0062] 所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
[0063] 或者，
[0064] 所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
[0065] 在一种可能的设计中，所述场景分析单元，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
[0066] 在一种可能的设计中，所述第二获取单元，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
[0067] 上述第二方面以及第二方面的各可能的设计所提供的显示内容的处理装置，其有益效果可以参照上述第一方面以及第一方面的各可能的设计所带来的有益效果，在此不再赘述。
[0068] 第三方面，本发明实施例提供一种终端，包括：
[0069] 处理器，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，并采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，并根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
[0070] 在一种可能的设计中，所述处理器，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，具体包括：
[0071] 所述处理器，具体用于获取所述第一显示内容的场景信息，并根据所述场景信息确定所述第一显示内容的插值系数，以及根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容；其中，所述场景信息用于表征所述第一显示内容对应的场景。
[0072] 在一种可能的设计中，所述处理器，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，具体包括：
[0073] 所述处理器，具体用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库，并根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容；其中，所述特征模型数据库包括多个特征模型对。
[0074] 在一种可能的设计中，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0075] 所述处理器，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
[0076] 在一种可能的设计中，所述处理器，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
[0077] 在一种可能的设计中，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0078] 所述处理器，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
[0079] 在一种可能的设计中，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0080] 所述处理器，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0081] 在一种可能的设计中，所述处理器，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0082] 所述处理器，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0083] 在一种可能的设计中，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
[0084] 在一种可能的设计中，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
[0085] 所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
[0086] 或者，
[0087] 所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
[0088] 在一种可能的设计中，所述处理器，用于获取第一显示内容的场景信息，具体包括：
[0089] 所述处理器，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换SIFT特征中的至少一个。
[0090] 在一种可能的设计中，所述处理器，具体用于根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，具体包括：
[0091] 所述处理器，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
[0092] 上述第二方面以及第二方面的各可能的设计所提供的终端，其有益效果可以参照上述第一方面以及第一方面的各可能的设计所带来的有益效果，在此不再赘述。
附图说明
[0093] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0094] 图1为本发明提供的显示内容的处理方法实施例一的流程示意图；
[0095] 图2为本发明提供的显示内容的处理方法实施例二的流程示意图；
[0096] 图3为本发明提供的显示内容的处理方法实施例三的流程示意图；
[0097] 图4为本发明提供的显示内容的处理方法实施例四的流程示意图；
[0098] 图5为本发明提供的YCBCR空间示意图；
[0099] 图6为本发明提供的显示内容的处理装置实施例一的结构示意图；
[0100] 图7为本发明提供的显示内容的处理装置实施例二的结构示意图；
[0101] 图8为本发明提供的显示内容的处理装置实施例三的结构示意图；
[0102] 图9为本发明提供的终端实施例的结构示意图。
具体实施方式
[0103] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0104] 本发明实施例涉及的终端，可以包括但不限于手机、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑、便携设备(例如，便携式计算机)等移动通讯设备，也包括自动柜员机(Automatic Teller Machine，简称ATM)等具有显示功能的设备，还可以其他任意类型具有显示功能的设备，本发明实施例并不限定。
[0105] 本发明实施例所涉及的显示内容的处理方法、装置和设备，涉及的是将低分辨率显示内容在终端上进行高分辨率显示，以节省终端处理功耗的场景，还可以是适用于将图像以及视频放大的场景，或者适用于在一些显示设备上需要显示不同分辨率的视频图像的场景。该显示内容可以是图像视频类内容，可以是UI界面类内容，还可以是叠加类内容。该图像视频类内容可以包括图像、视频，UI界面类内容可以包括图标、图形、文字、应用界面等，叠加类内容可以包括图像与图形的叠加内容、视频与图形的叠加内容。
[0106] 本发明实施例所涉及的显示内容的处理方法、装置和设备，旨在解决现有技术将不同类型的低分辨率内容进行高分辨率显示时，显示效果较差，无法满足用户的显示需求的技术问题。
[0107] 下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0108] 图1为本发明提供的显示内容的处理方法实施例一的流程示意图。本实施例涉及的是终端根据采用基于插值的SR技术所获得的第一显示内容对应的第二显示内容和采用基于学习的SR技术所获得的第一显示内容对应的第三显示内容，确定出第一显示内容对应的第四显示内容的具体过程。如图1所示，该方法包括：
[0109] S101：采用基于插值的SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容。
[0110] 可选的，该基于插值的SR技术可以为基于图像像素值的空间平均值和卷积来插值的SR技术，例如双线性插值、双三次插值以及多相位插值，还可以为(New Edge-Directed Interpolation，简称NEDI)、(soft-decision adaptive interpolation，简称SAI)、Double Interpolation等技术。上述第一显示内容为低分辨率显示内容，该第一显示内容可以是图像视频类内容，还可以是UI界面类内容，还可以是叠加类内容。该图像视频类内容可以包括图像、视频，UI界面类内容可以包括图标、图形、文字、应用界面等，叠加类内容可以包括图像与图形的叠加内容、视频与图形的叠加内容。上述第二显示内容为采用基于插值的SR技术对第一显示内容进行超分辨率处理后得到的超分辨率结果，而采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取第二显示内容的具体过程可以参照现有技术，在此不再赘述。
[0111] S102：采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容。
[0112] 具体的，上述基于学习的SR技术包括学习阶段和复原阶段。学习阶段是终端选择一些样本图像作为训练图像对，该训练图像对包括一个低分辨率图像和对应的高分辨率图像，该低分辨率图像和高分辨率图像中的图像内容相同；接着，终端对所选择的训练图像对采用相同的划分原则分别进行划分，得到多个训练图像块对，每个训练图像块对包括一个低分辨率图像块和对应的高分辨率图像块，且该低分辨率图像块和高分辨率图像块的具体内容和大小均相同；然后终端对每个训练图像块对进行特征提取，得到多个特征模型对，即一对高低分辨率图像块组成的训练图像块对对应一个特征模型对，一个高低分辨率图像组成的训练图像对可以具有多个特征模型对。可选的，上述训练图像对可以选取常用的720p/1080p和2k/4k分辨率的UI界面、应用的界面、网页文字等，还可以是选取高、低分辨率的图像视频等。因此，采用上述训练过程，终端就可以得到不同类型的特征模型数据库，例如可以得到网页文字的特征模型数据库、图标的特征模型数据库、图形的特征模型数据库、图像的特征模型数据库等，每个类型的特征模型数据库包括多个基于该类型的训练图像对得到的特征模型对。复原阶段是终端基于输入的第一显示内容和所得到的多个特征模型数据库，得到第一显示内容对应的多个高分辨率特征，然后根据该高分辨率特征恢复出第一显示内容对应的高分辨率显示内容，即第三显示内容。
[0113] 需要说明的是，上述S101和S102之间并没有时序关系的限定，即S101可以和S102并行执行，也可以在S102之前或者之后执行。
[0114] S103：根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容。
[0115] 其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
[0116] 具体的，当终端获得第二显示内容和第三显示内容之后，可以将第二显示内容和第三显示内容进行融合，该融合方式可以是将第二显示内容和第三显示内容相比较，选择显示效果较好的一方作为第四显示内容，还可以是采用相应的选择系数将第二显示内容和第三显示内容进行融合，得到第四显示内容，本实施例对融合方式并不做限定。
[0117] 可选的，当第一显示内容为UI界面类的这种线、点以及边缘较多的显示内容时，采用基于插值的SR得到的第二显示内容的效果低于终端采用基于插值的SR技术处理图像视频类内容的效果，此时，由于该第一显示内容同样会被终端进行S102的处理，进而得到第三显示内容，这样终端可以根据所获得的第二显示内容和第三显示内容，将其进行融合或者进行择一选择的方式得到显示效果较好的第四显示内容；当采用基于学习的SR技术时，如果当前需要重建的高分辨率显示内容在训练阶段没有被选取作为训练样本，则在复原阶段就无法获得相应的高分辨率特征，复原得到的第三显示内容的显示效果低于第二显示内容的显示效果，而由于上述S101也可以对第一显示内容进行处理得到第二显示内容，从而弥补了S102的不足，这样终端根据获得的第二显示内容和第三显示内容，就可以将其进行融合或者进行择一选择的方式得到第四显示内容。
[0118] 也就是说，对于不同类型的低分辨率显示内容进行高分辨率显示时，本实施例的方法均可以达到比较好的显示效果，S101和S102在S103的作用下相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求。同时，由于S101和S102相辅相成的作用，终端在基于学习的SR的学习阶段中可以仅建立关于UI界面类的特征模型数据库，即终端仅选择常用的720p/1080p和2k/4k分辨率的图标、应用界面、网页文字来作为训练样本得到特征模型数据库，就可以与S101一起对不同类型的第一显示内容进行处理，而无需对所有类型的训练图像对均建立特征模型数据库，这样降低了终端的训练成本。
[0119] 本发明提供的显示内容的处理方法，通过采用插值的SR技术获得第一显示内容对应的第二显示内容，并采用基于学习的SR技术所获得的第一显示内容对应的第三显示内容，然后根据该第二显示内容和第三显示内容得到第一显示内容对应的第四显示内容，使得终端对于不同类型的低分辨率显示内容进行高分辨率显示时，均可以达到比较好的显示效果，第二显示内容和第三显示内容相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求，同时也降低了终端的训练成本。
[0120] 图2为本发明提供的显示内容的处理方法实施例二的流程示意图。本实施例涉及的是通过根据第一显示内容的场景信息，确定第一显示内容适用的插值系数，从而根据所确定的插值系数采用基于插值的SR技术获取第二显示内容的具体过程。其中，第一显示内容的分辨率小于第二显示内容的分辨率。在上述实施例的基础上，进一步地，上述S101具体可以包括：
[0121] S201：获取第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景。
[0122] 具体的，当终端获取到第一显示内容之后，对第一显示内容进行场景分析，确定第一显示内容的场景信息。可选的，终端可以根据第一显示内容的图像梯度对第一显示内容进行场景分析，还可以根据第一显示内容的色度范围等色度信息对第一显示内容进行场景分析，还可以是根据从第一显示内容所提取的特征和预设的场景训练样本库中的场景样本特征进行匹配，得到第一显示内容的场景信息。可选的，终端还可以根据上层系统的指示获知当前第一显示内容的场景信息。可选的，该场景信息可以是第一显示内容所属的具体场景，还可以是第一显示内容属于某一种场景的概率值，还可以是第一显示内容所属的具体场景的场景标识等，本实施例对场景信息的内容并不做限定，只要其能够表征第一显示内容对应的场景即可。
[0123] S202：根据所述场景信息确定所述第一显示内容的插值系数。
[0124] S203：根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容。
[0125] 具体的，上述第一显示内容是终端的输入内容，当终端确定第一显示内容的场景信息之后，根据该场景信息确定与该场景信息对应的插值系数，即确定出第一显示内容对应的插值系数。可选的，终端可以预设插值数据库，该插值数据库包括不同的场景信息与不同的插值之间的映射关系，当终端确定第一显示内容的场景信息之后，查询该插值数据库，从而获得第一显示内容的场景信息对应的插值系数，本实施例对终端根据场景信息确定第一显示内容的插值系数的具体方式并不做限定。
[0126] 之后，终端采用基于插值的SR技术分析第一显示内容边缘方向以及强度信息，从而得到第一显示内容的每个第一图像块的边缘方向强度，然后根据所计算出的每个第一图像块的边缘方向强度和第一显示内容的插值系数，对第一显示内容进行自适应的插值，以获取第一显示内容对应的第二显示内容，从而将第二显示内容进行显示；其中，具体的插值过程可以参照现有技术的描述，在此不再赘述。
[0127] 本发明实施例提供的显示内容的处理方法，通过获取第一显示内容的场景信息，并根据第一显示内容的场景信息确定第一显示内容对应的插值系数，从而根据该插值系数、第一显示内容的每个第一图像块的边缘方向强度对第一显示内容进行插值，获取第一显示内容对应的高分辨率的第二显示内容进行显示。本发明实施例提供的方法，根据不同的第一显示内容的场景信息确定与场景信息对应的不同的插值系数，使得所确定的插值系数更加适合于当前第一显示内容的插值过程，避免了现有技术中采用单一的插值系数导致的边缘锯齿和清晰度较低的问题，其大大改善了第一显示内容的边缘锯齿和清晰度，对不同的第一显示内容均可以得到显示效果较好的第二显示内容，大大改善显示内容的显示效果，满足了用户的显示需求，进一步地，由于第二显示内容的效果得到改善，因此，终端最终得到的第四显示内容的效果也会随之改善，更加满足了用户的显示需求。
[0128] 图3为本发明提供的显示内容的处理方法实施例三的流程示意图。本实施例涉及的是终端根据第一显示内容的场景信息确定第一显示内容对应的特征模型数据库，从而根据第一显示内容的第一图像块和该特征模型数据库，采用基于学习的SR技术，获取第一显示内容对应的第三显示内容的具体过程。本实施例中，第三显示内容的分辨率大于第一显示内容。在上述实施例的基础上，进一步地，上述S102具体可以包括：
[0129] S301：根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对。
[0130] 具体的，本实施例中，终端在获取第三显示内容之前，已经预先建立了多个不同类型的特征模型数据库，例如包括网页文字的特征模型数据库、图标的特征模型数据库、图形的特征模型数据库、图像的特征模型数据库等，每个类型的特征模型数据库包括多个基于该类型的训练图像对得到的特征模型对。
[0131] 这样，当终端确定出第一显示内容的场景信息之后，终端可以根据该场景信息确定出第一显示内容对应的场景，然后根据第一显示内容对应的场景确定与该场景对应的特征模型数据库。例如，当终端确定第一显示内容是网页文字的场景时，则终端就可以确定出该第一显示内容对应的特征模型数据库是网页文字的特征模型数据库。
[0132] S302：根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容。
[0133] 具体的，该步骤可以为终端结合低分辨率显示内容(即第一显示内容)的图像块和对应的特征模型数据库，复原出高分辨率显示内容(即第三显示内容)的过程(即复原阶段)。具体参见图4所示的实施例四，该复原过程具体可以包括如下步骤：
[0134] S401：从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
[0135] S402：根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征。
[0136] S403：根据所有第二特征，获取所述第三显示内容。
[0137] 具体的，终端在确定第一显示内容对应的特征模型数据库之后，对于第一显示内容的每个第一图像块，终端均会从第一显示内容对应的特征模型数据库中找到该第一图像块对应的第一特征，该第一特征为第一显示内容对应的特征模型数据库中与该第一图像块的特征匹配概率为最大匹配概率的特征，采用这种方法，终端就会获得多个第一特征，该第一特征为低分辨率特征。由于第一显示内容对应的特征模型数据库中包括多个特征模型对，每个特征模型对包括一个低分辨率特征(即第一特征)和与该低分辨率特征对应的高分辨率特征(即第二特征)，这样，针对每一个第一特征，均就可以获得每个第一特征对应的第二特征，从而终端根据所得到的所有第二特征就可以恢复出第一显示内容对应的第三显示内容。
[0138] 本发明实施例提供的显示内容的处理方法，通过根据第一显示内容的场景信息确定第一显示内容对应的特征模型数据库，从而根据该第一显示内容对应的特征模型数据库和第一显示内容的每个第一图像块，复原出第三显示内容，无需将第一显示内容逐个与所有特征模型数据库进行匹配，而是将第一显示内容与其场景对应的特征模型数据库进行匹配，大大提高了第三显示内容的重建效率，降低了终端的功耗。
[0139] 在上述实施例的基础上，上述场景信息可以包括第一显示内容对应的场景类型或者第一显示内容对应的场景概率。该第一显示内容对应的场景类型可以包括图像视频类场景或者UI界面类场景。该第一显示内容对应的场景概率可以包括第一显示内容是图像视频类场景的概率和第一显示内容是所述图像视频类场景中的第一场景的概率；或者，该第一显示内容对应的场景概率可以包括第一显示内容是UI界面类场景的概率以及第一显示内容是所述UI界面类场景中的第二场景的概率。可选的，图像视频类场景例如可以包括天空场景、草地场景、人脸场景、动物场景、建筑物场景等，UI界面类场景例如可以包括应用界面场景、网页文字场景、图标场景、图形场景等，因此，上述第一场景可以是图像视频类场景中的任一场景，上述第二场景可以是UI界面类场景中的任一场景。故，本发明实施例五还提供了一种显示内容的处理方法实施例，在上述实施例的基础上，上述S201具体可以包括：根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的尺度不变特征变换(scale invariant feature transform，简称SIFT)特征中的至少一个。
[0140] 需要说明的是，本实施例中第一显示内容的场景信息为第一显示内容对应的场景概率，即第一显示内容属于某一种场景的概率。当终端从上层系统无法获知第一显示内容对应的场景时，终端则需要根据显示参数信息确定第一显示内容对应的场景概率，该显示参数信息可以包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的shift特征中的至少一个。具体的，终端首先根据上述显示参数信息确定第一显示内容是图像视频类场景的概率或者是UI界面类场景的概率。
[0141] 当终端确定第一显示内容是图像视频类场景的概率较大时，终端进一步确定可以根据显示参数信息中的第一显示内容的色度信息分析当前第一显示内容具体是人脸场景、草地场景、天空场景、动物场景、建筑物场景的概率，即终端进一步确定第一显示内容是图像视频类场景中的某一个第一场景的概率，其中，终端确定第一显示内容是图像视频类场景中的某一个第一场景的概率的方式可以包括下述两种方式：
[0142] 第一种：对于图像视频类场景中的人脸、草地以及天空等场景，如果在YCBCR空间，其色度都是分布在一定的区域范围内。参见图5所示的YCBCR空间示意图，人脸、草地以及天空等场景一般分布在图5中的一个椭圆形或者圆形区域内。假设椭圆或者圆的中心的色度分量Cb、Cr坐标为(Cb0，Cr0)。越靠近中心，是该种场景的概率越大，离中心越远，概率越小，离中心的距离可以用欧式距离计算。人脸、天空、草地等场景的色度中心坐标(Cb0，Cr0)不一样，可以根据实际应用作调整。
[0143] 第二种：基于特征的匹配方式。终端可以离线训练大量人脸、草地、天空、建筑物、动物等几类场景，提取出几类场景的特征(特征可以包括如上所述的色度范围、梯度特征、shift特征等)，然后对第一显示内容提取相应特征，与所训练的几类场景特征进行匹配，匹配度高于一定的阈值，表明该第一显示内容属于该类场景的概率较大，从而将所得到的场景概率输出。
[0144] 当终端确定第一显示内容是UI界面类场景的概率较大时，终端进一步确定可以根据显示参数信息中的的第一显示内容的图像梯度、方差信息分析第一显示内容是网页文字场景、图标场景以及图形场景等的概率，即终端进一步确定第一显示内容是UI界面类场景中的某一个第二场景的概率，其中，终端确定第一显示内容是UI界面类场景中的某一个第二场景的概率的方式可以包括下述两种方式：
[0145] 第一种：根据第一显示内容的图像梯度以及方差，确定第一显示内容是UI界面类场景中的某一个第二场景的概率。以UI界面类场景包括网页文字场景、图标场景和图形场景为例，网页文字场景对应的特征的梯度和方差最大，图形场景对应的特征的梯度及方差小于网页文字类场景对应的特征的梯度和方差，图标场景对应的特征的梯度及方差小于图形类场景对应的特征的梯度及方差。也就是说，终端会设定两个限值，包括A和B，其中，B大于A，当第一显示内容的图像梯度以及方差小于等于A时，表明第一显示内容是图标场景的概率较大，并将所得到的场景概率输出；当第一显示内容的图像梯度以及方差大于A而小于等于B时，表明第一显示内容是图形场景的概率较大，并将所得到的场景概率输出；当第一显示内容的图像梯度以及方差大于B时，表明第一显示内容是网页文字场景的概率较大，并将所得到的场景概率输出。
[0146] 第二种：基于特征的匹配方式。终端可以离线训练大量网页文字、图形、图标等几类场景，提取出这几类场景的特征(特征可以包括如上所述的色度范围、梯度特征、shift特征等)，然后对第一显示内容提取相应特征，与所训练的几类场景特征进行匹配，匹配度高于一定的阈值，表明该第一显示内容属于该类场景的概率较大，从而将所得到的场景概率输出。
[0147] 需要说明的是，当第一显示内容是叠加类内容时，例如，当第一显示内容是图像和图形的叠加时，终端最后输出的场景概率可以为“第一显示内容是图像的场景概率是X，第一显示内容是图形场景的概率是Y”。
[0148] 当终端得到第一显示内容的场景概率时，终端就可以获知第一显示内容所对应的场景，从而就可以获得该场景对应的插值系数或者特征模型数据库。
[0149] 上述实施例中介绍了终端根据第二显示内容和第三显示内容得到第四显示内容以解决现有将不同类型的低分辨率内容进行高分辨率显示，无法满足用户的显示需求的技术问题的过程，下述几种可能的实施方式将具体介绍终端将第二显示内容和第三显示内容进行融合，得到第四显示内容的具体过程。
[0150] 作为本发明实施例的第一种可能的实施方式，本实施例涉及的是终端根据第二显示内容、第三显示内容确定第四显示内容的一具体过程。在上述实施例的基础上，进一步地，上述S103具体可以包括：
[0151] 根据公式SR＝P0×SR0+(1-P0)×SR1(公式1)确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
[0152] 具体的，第二显示内容是由多个第二图像块组成，第三显示内容是由多个第三图像块组成，上述SR0为第二显示内容中每个第二图像块的像素值，SR1为所述第三显示内容中每个第三图像块的像素值，SR为第四显示内容的每个第四图像块的像素值，对于第一显示内容的第一图像块而言，均存在与该第一图像块在第一显示内容中的位置相对应的第二图像块和第三图像块，且第二图像块在第二显示内容中的位置与第三图像块在所述第三显示内容中的位置以及与第四图像块在第四显示内容中的位置一一对应，也就是说，对于每个第二图像块以及位置对应的每个第三图像块，将其对应的像素值代入上述公式1中，可以得到多个位置对应的第四图像块的像素值，进而终端根据该多个第四图像块的像素值就可以得到第四显示内容。
[0153] 作为本发明实施例的第二种可能的实施方式，本实施例涉及的是终端根据第二显示内容、第三显示内容确定第四显示内容的另一具体过程。在上述实施例的基础上，进一步地，上述S103具体可以包括：
[0154] 根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，以及，每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率，并根据公式SR＝P1×SR1+(1-P1)×SR0(公式2)确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
[0155] 具体的，第二显示内容是由多个第二图像块组成，第三显示内容是由多个第三图像块组成，上述SR0为第二显示内容中每个第二图像块的像素值，SR1为所述第三显示内容中每个第三图像块的像素值，SR为第四显示内容的每个第四图像块的像素值，对于第一显示内容的第一图像块而言，每个第一图像块均存在与其在第一显示内容中的位置相对应的第二图像块和第三图像块，第二图像块在第二显示内容中的位置与第三图像块在所述第三显示内容中的位置以及与第四图像块在第四显示内容中的位置一一对应，每个第一图像块与所述特征模型数据中的特征进行特征匹配时均有一个最大匹配概率P1，也就是说，对于每个第一图像块而言，均对应一个P1。则，对于每一个第一图像块，将其对应的第二图像块和第三图像块、以及P1分别代入上述公式2中，则可以得到多个第四图像块的像素值，进而终端根据该多个第四图像块的像素值就可以得到第四显示内容。
[0156] 作为本发明实施例的第三种可能的实施方式，本实施例涉及的是终端根据第二显示内容、第三显示内容确定第四显示内容的另一具体过程。在上述实施例的基础上，进一步地，上述S103具体可以包括：
[0157] 根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，以及，每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率，并根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)(公式3)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0158] 具体的，第二显示内容是由多个第二图像块组成，第三显示内容是由多个第三图像块组成，上述SR0为第二显示内容中每个第二图像块的像素值，SR1为所述第三显示内容中每个第三图像块的像素值，SR为第四显示内容的每个第四图像块的像素值，对于第一显示内容的第一图像块而言，每个第一图像块均存在与其在第一显示内容中的位置相对应的第二图像块和第三图像块，且第二图像块在第二显示内容中的位置、第三图像块在所述第三显示内容中的位置、以及第四图像块在第四显示内容中的位置一一对应，每个第一图像块与所述特征模型数据中的特征进行特征匹配时均有一个最大匹配概率P1，P2为每个第一图像块的边缘方向强度(Pmax的值为一个)，也就是说，对于每个第一图像块而言，均对应一个P1和一个P2。则，对于每一个第一图像块，将其对应的第二图像块和第三图像块、以及P1、P2分别代入上述公式3中，则可以得到多个第四图像块的像素值，进而终端根据该多个第四图像块的像素值就可以得到第四显示内容。
[0159] 作为本发明实施例的第四种可能的实施方式，本实施例涉及的是终端根据第二显示内容、第三显示内容确定第四显示内容的另一具体过程。在上述实施例的基础上，进一步地，上述S103具体可以包括：
[0160] 根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax(公式4)确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0161] 具体的，根据上述第三种可能的实施方式中的相关具体解释，对于每一个第一图像块，将其对应的第二图像块和第三图像块、以及P2分别代入上述公式4中，则可以得到多个第四图像块的像素值，进而终端根据该多个第四图像块的像素值就可以得到第四显示内容。
[0162] 结合上述几种可能的实施方式提供的显示内容的处理方法，通过不同的方式将第二显示内容和第三显示内容进行融合，得到第四显示内容，使得终端对于不同类型的低分辨率显示内容进行高分辨率显示时，均可以达到比较好的显示效果，第二显示内容和第三显示内容相辅相成，避免了现有技术中采用单一的超分辨率技术将不同类型的低分辨率显示内容进行高分辨率显示时效果较差的问题，提高了低分辨率显示内容的处理效率，降低了终端的处理功耗，大大满足了用户的显示需求。
[0163] 本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0164] 图6为本发明实施例提供的显示内容的处理装置实施例一的结构示意图。该显示内容的处理装置可以通过软件、硬件或者软硬结合的方式实现终端的部分或者全部。如图6所示，该装置可以包括：第一获取模块10、第二获取模块11和确定模块12。
[0165] 其中，第一获取模块10，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容；
[0166] 第二获取模块11，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容；
[0167] 确定模块12，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
[0168] 本发明实施例提供的显示内容的处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0169] 图7为本发明实施例提供的显示内容的处理装置实施例一的结构示意图。该显示内容的处理装置也可以通过软件、硬件或者软硬结合的方式实现终端的部分或者全部。在上述图6所示实施例的基础上，进一步地，上述第一获取模块10，具体包括：场景分析单元101、插值系数获取单元102和第一获取单元103。
[0170] 其中，场景分析单元101，用于获取所述第一显示内容的场景信息；其中，所述场景信息用于表征所述第一显示内容对应的场景；
[0171] 插值系数获取单元102，用于根据所述场景信息确定所述第一显示内容的插值系数；
[0172] 第一获取单元103，用于根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容。
[0173] 本发明实施例提供的显示内容的处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0174] 图8为本发明实施例提供的显示内容的处理装置实施例一的结构示意图。该显示内容的处理装置也可以通过软件、硬件或者软硬结合的方式实现终端的部分或者全部。在上述图7所示实施例的基础上，进一步地，上述第二获取模块11，具体可以包括：数据库确定单元111和第二获取单元112。
[0175] 其中，数据库确定单元111，用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库；其中，所述特征模型数据库包括多个特征模型对；
[0176] 第二获取单元112，用于根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容。
[0177] 可选的，所述确定模块12，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
[0178] 可选的，所述第二获取单元112，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
[0179] 可选的，所述确定模块12，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
[0180] 可选的，所述确定模块12，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0181] 可选的，所述确定模块12，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0182] 可选的，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率；所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
[0183] 所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
[0184] 或者，
[0185] 所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
[0186] 可选的，所述场景分析单元101，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的SIFT特征中的至少一个。
[0187] 可选的，所述第二获取单元112，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
[0188] 本发明实施例提供的显示内容的处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0189] 图9为本发明实施例提供的终端实施例一的结构示意图。如图9所示，该终端可以包括输入设备20、存储器21、处理器22和至少一个通信总线23。通信总线23用于实现元件之间的通信连接。存储器21可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，存储器21中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。该处理器22例如可以为中央处理器(Central Processing Unit，简称CPU)，还可以为具有生成对输入的第一显示内容进行超分辨率处理功能的处理芯片。该输入设备20可以是摄像头、可以是输入接口，还可以是其他的能够接收第一显示内容输入的设备
[0190] 需要说明的是，该通信总线23可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。所述通信总线23可以是一条或多条物理线路，当是多条物理线路时可以分为地址总线、数据总线、控制总线等。
[0191] 在本发明实施例中，处理器22，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，并采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，并根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容；其中，所述第二显示内容的分辨率、所述第三显示内容的分辨率、所述第四显示内容的分辨率均大于所述第一显示内容的分辨率。
[0192] 本发明实施例提供的终端，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0193] 可选的，所述处理器22，用于采用基于插值的超分辨率SR技术对第一显示内容进行插值，获取所述第一显示内容对应的第二显示内容，具体包括：
[0194] 所述处理器22，具体用于获取所述第一显示内容的场景信息，并根据所述场景信息确定所述第一显示内容的插值系数，以及根据所述第一显示内容的插值系数、所述第一显示内容的每个第一图像块的边缘方向强度，采用基于插值的SR技术对所述第一显示内容进行插值，获取所述第二显示内容；其中，所述场景信息用于表征所述第一显示内容对应的场景。
[0195] 可选的，所述处理器22，用于采用基于学习的SR技术，获取所述第一显示内容对应的第三显示内容，具体包括：
[0196] 所述处理器22，具体用于根据所述场景信息确定所述第一显示内容对应的特征模型数据库，并根据每个所述第一图像块和所述特征模型数据库，采用基于学习的SR技术获取所述第一显示内容对应的第三显示内容；其中，所述特征模型数据库包括多个特征模型对。
[0197] 可选的，所述处理器22，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0198] 所述处理器22，具体用于根据公式SR＝P0×SR0+(1-P0)×SR1确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P0为所述第一显示内容是图像视频类场景的概率。
[0199] 可选的，所述处理器22，还用于根据每个所述第一图像块和所述特征模型数据库，获取每个所述第一图像块与所述特征模型数据中的特征进行特征匹配时的最大匹配概率。
[0200] 可选的，所述处理器22，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0201] 所述处理器22，具体用于根据公式SR＝P1×SR1+(1-P1)×SR0确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置对应，所述P1为所述最大匹配概率。
[0202] 可选的，所述处理器22，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0203] 所述处理器22，具体用于根据公式SR＝P0×((P2×SR0+(Pmax-P2)×SR1)/Pmax)+(1-P0)×(P1×SR1+(1-P1)×SR0)确定所述第四显示内容；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P0为所述第一显示内容是图像视频场景的概率，所述P1为所述最大匹配概率，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0204] 可选的，所述处理器22，用于根据所述第二显示内容和所述第三显示内容，确定所述第一显示内容对应的第四显示内容，具体包括：
[0205] 所述处理器22，具体用于根据公式SR＝(P2×SR0+(Pmax-P2)*SR1)/Pmax确定所述第四显示内容SR；其中，所述SR0为所述第二显示内容中每个第二图像块的像素值，所述SR1为所述第三显示内容中每个第三图像块的像素值，所述P2为每个所述第一图像块的边缘方向强度，所述第一图像块在所述第一显示内容中的位置、所述第二图像块在所述第二显示内容中的位置与所述第三图像块在所述第三显示内容中的位置一一对应，所述Pmax为所述第一显示内容的最大边缘方向强度。
[0206] 可选的，所述场景信息包括所述第一显示内容对应的场景类型或者所述第一显示内容对应的场景概率。
[0207] 可选的，所述第一显示内容对应的场景类型包括图像视频类场景或者UI界面类场景；
[0208] 所述第一显示内容对应的场景概率包括所述第一显示内容是图像视频类场景的概率和所述第一显示内容是所述图像视频类场景中的第一场景的概率；
[0209] 或者，
[0210] 所述第一显示内容对应的场景概率包括所述第一显示内容是所述UI界面类场景的概率以及所述第一显示内容是所述UI界面类场景中的第二场景的概率。
[0211] 可选的，所述处理器22，用于获取第一显示内容的场景信息，具体包括：
[0212] 所述处理器22，具体用于根据所述第一显示内容的显示参数信息，确定所述第一显示内容对应的场景概率；其中，所述显示参数信息包括：所述第一显示内容的图像梯度、所述第一显示内容的方差、所述第一显示内容的色度信息、所述第一显示内容的SIFT特征中的至少一个。
[0213] 可选的，所述处理器22，具体用于根据每个所述第一图像块和所述特征模型数据库，获取所述第一显示内容对应的第三显示内容，具体包括：
[0214] 所述处理器22，具体用于从所述特征模型数据库中确定每个所述第一图像块对应的第一特征，并根据每个所述第一特征所属的特征模型对，确定每个所述第一特征对应的第二特征，以及根据所有第二特征，获取所述第三显示内容；其中，所述第一特征为所述特征模型数据库中与所述第一图像块的特征匹配概率为最大匹配概率的特征。
[0215] 本发明实施例提供的终端，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0216] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
