CN111932463A - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质，属于多媒体技术领域。本申请实施例可通过人工智能中计算机视觉技术实现，具体可使用图像处理、视频处理技术实现图像处理方法。本申请实施例中，引入一个梯度特征这个新的因素，根据这一因素来直接从已有的对应关系中确定目标卷积参数，这样该目标卷积参数的确定过程耗时不多，无需对图像进行精细的特征提取，也无需进行非线性映射，大大减少了特征提取和处理的耗时。且通过目标卷积参数进行一步卷积处理即可得到高分图像，相较于基于提取到的图像特征进行重建的方式，有效简化了图像处理步骤，因而能够提高图像处理效率。

Description

图像处理方法、装置、设备及存储介质

技术领域

本申请涉及多媒体技术领域，特别涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着多媒体技术的发展，图像处理技术应用越来越广泛，例如，可以通过对图像进行超分处理，将低分辨率的图像处理为高分辨率的图像进行显示，以提高图像质量。

目前，图像处理方法通常是通过超分算法实现，该超分算法为插值超分算法和基于学习的超分算法等。例如，以基于机器学习的超分算法如SRCNN(Super ResolutionConvolutional Neural Networks，卷积神经网络超分)为例，结构也很简单，只有三层网络，第一层卷积层有64个卷积核，负责对插值后的低分图像特征提取，第二层负责对第一层提取的特征的非线性映射，第三层卷积层则是特征重建，生成最终的高分图像。

上述方法中，对图像进行特征提取，再进行非线性映射，然后基于特征重建的过程耗时比较久，即使是服务器这种性能比较好的设备上，也需要秒级时间才能计算出一帧，因而，图像处理耗时较长，效率很低，尤其是在对视频中图像进行超分处理，无法达到实时处理的效果。

发明内容

本申请实施例提供了一种图像处理方法、装置、设备及存储介质，能够减少耗时，提高图像处理效率。所述技术方案如下：

一方面，提供了一种图像处理方法，所述方法包括：

根据目标分辨率，对第一图像进行上采样，得到所述目标分辨率的第二图像，所述第一图像的分辨率小于所述目标分辨率；

对所述第二图像进行特征提取，得到所述第二图像的梯度特征，所述梯度特征用于指示所述第二图像中像素点与相邻像素点之间的关系；

根据梯度特征与卷积参数的对应关系，确定所述第二图像的梯度特征对应的目标卷积参数；

基于所述目标卷积参数对所述第二图像进行卷积处理，得到第三图像，所述第三图像的分辨率为所述目标分辨率。

在一种可能实现方式中，所述对所述第二图像中像素点的第一梯度信息进行平滑处理，得到第二梯度信息，包括：

对所述第二图像中像素点的第一梯度信息进行高斯模糊处理，得到第二梯度信息。

在一种可能实现方式中，所述根据所述第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取所述像素点处的像素值变化量，包括：

根据所述第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取在所述像素点处的微分，将所述微分作为所述第一梯度信息。

在一种可能实现方式中，所述获取所述第二图像中像素点的第一梯度信息，包括：

获取所述第二图像中像素点在亮度通道上的第一梯度信息。

在一种可能实现方式中，所述目标分辨率小于或等于分辨率阈值，所述方法应用于终端；

所述方法还包括：

对所述第三图像进行渲染。

在一种可能实现方式中，所述目标分辨率大于分辨率阈值，所述方法应用于服务器；

所述方法还包括：

对所述第三图像进行压缩，得到所述第三图像的压缩数据；

将所述压缩数据发送至终端，由终端基于所述压缩数据对所述第三图像进行渲染。

在一种可能实现方式中，所述方法包括：

将所述第一图像输入图像处理模型中，由所述图像处理模型执行所述上采样、特征提取、确定目标卷积参数和卷积处理的步骤，输出所述第三图像。

在一种可能实现方式中，所述图像处理模型的训练过程包括：

获取样本第一图像和样本目标图像，所述样本目标图像的分辨率为目标分辨率，所述样本第一图像的分辨率小于所述目标分辨率；

对所述样本第一图像进行上采样，得到所述目标分辨率的样本第二图像；

对所述样本第二图像进行特征提取，得到所述第二图像的梯度特征，所述梯度特征用于指示所述第二图像中像素点与相邻像素点之间的关系；

根据所述第二图像的梯度特征与所述样本目标图像，确定所述梯度特征对应的目标卷积参数；

基于所述目标卷积参数，生成所述梯度特征与卷积参数的对应关系。

在一种可能实现方式中，所述图像处理模型基于样本第一图像和至少两个样本目标图像训练得到，所述至少两个样本目标图像的分辨率包括至少一个目标分辨率。

在一种可能实现方式中，所述图像处理模型包括多个串行的过滤器；

所述由所述图像处理模型执行所述上采样、特征提取、确定目标卷积参数和卷积处理的步骤，输出所述第三图像，包括：

由所述图像处理模型执行所述上采样的步骤，由所述多个串行的过滤器执行所述特征提取和卷积处理的步骤。

在一种可能实现方式中，所述由所述多个串行的过滤器执行所述特征提取和卷积处理的步骤，包括：

创建至少一个对象；

由所述至少一个对象执行所述特征提取、确定目标卷积参数和卷积处理的步骤，所述对象的数量小于所述过滤器的数量。

在一种可能实现方式中，所述方法还包括：

实时获取所述目标视频的帧率；

根据所述帧率，更新每帧图像的渲染时长；

响应于所述渲染时长大于第二目标阈值，对所述目标视频进行丢帧处理。

一方面，提供了一种图像处理装置，所述装置包括：

上采样模块，用于根据目标分辨率，对第一图像进行上采样，得到所述目标分辨率的第二图像，所述第一图像的分辨率小于所述目标分辨率；

特征提取模块，用于对所述第二图像进行特征提取，得到所述第二图像的梯度特征，所述梯度特征用于指示所述第二图像中像素点与相邻像素点之间的关系；

确定模块，用于根据梯度特征与卷积参数的对应关系，确定所述第二图像的梯度特征对应的目标卷积参数；

卷积模块，用于基于所述目标卷积参数对所述第二图像进行卷积处理，得到第三图像，所述第三图像的分辨率为所述目标分辨率。

在一种可能实现方式中，所述特征提取模块包括第一获取单元、平滑单元和第二获取单元；

所述第一获取单元，用于获取所述第二图像中像素点的第一梯度信息；

所述平滑单元，用于对所述第二图像中像素点的第一梯度信息进行平滑处理，得到所述像素点的第二梯度信息；

所述第二获取单元，用于获取所述第二梯度信息对应的梯度特征。

在一种可能实现方式中，所述第一获取单元用于根据所述第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取所述像素点处的像素值变化量，将所述像素值变化量作为所述第一梯度信息，所述第一相邻像素点与所述像素点之间的距离小于第一距离阈值。

在一种可能实现方式中，所述第一获取单元用于根据所述第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取在所述像素点处的微分，将所述微分作为所述第一梯度信息。

在一种可能实现方式中，第一获取单元用于获取所述第二图像中像素点在亮度通道上的第一梯度信息。

在一种可能实现方式中，所述平滑单元用于对所述第二图像中任一像素点的第一梯度信息以及第二相邻像素点的第一梯度信息进行加权求和，得到所述像素点的第二梯度信息，所述第二相邻像素点与所述像素点之间的距离小于第二距离阈值。

在一种可能实现方式中，一个像素点的第二梯度信息包括不同方向上的梯度信息；

所述梯度特征包括角度、强度和相关性中的至少一项；

所述第二获取单元用于根据任一像素点在不同方向上的梯度信息，获取所述像素点梯度的角度、强度和相关性中的至少一项。

在一种可能实现方式中，所述平滑单元用于对所述第二图像中像素点的第一梯度信息进行高斯模糊处理，得到第二梯度信息。

在一种可能实现方式中，所述确定模块用于：

对所述梯度特征进行量化；

基于量化的所述梯度特征，执行所述确定目标卷积参数的步骤。

在一种可能实现方式中，所述特征提取模块用于：

对所述第二图像进行加窗处理，得到至少一个图像块；

对所述至少一个图像块进行特征提取，得到所述至少一个图像块的梯度特征；

所述确定模块用于根据所述梯度特征与卷积参数的对应关系，确定所述至少一个图像块的梯度特征对应的目标卷积参数。

在一种可能实现方式中，所述装置还包括：

锐化模块，用于对所述第三图像进行锐化处理，得到第四图像；

第一渲染模块，用于对所述第四图像进行渲染。

在一种可能实现方式中，所述锐化模块用于：

获取所述第三图像与所述第一图像的差异信息；

基于所述差异信息、目标系数与所述第一图像，获取第四图像，所述第四图像中目标区域的清晰度大于所述第一图像中目标区域的清晰度。

在一种可能实现方式中，所述装置还包括：

第一更新模块，用于响应于系数设置指令，对所述目标系数进行更新；

所述锐化模块用于基于更新的所述目标系数，执行获取所述第四图像的步骤。

在一种可能实现方式中，所述装置还包括：

第一获取模块，用于获取目标视频的至少两帧图像；

所述上采样模块、特征提取模块、确定模块和卷积模块分别用于对所述至少两帧图像中至少一帧图像执行所述上采样、特征提取、确定目标卷积参数和卷积处理的步骤，得到所述至少一帧图像对应的至少一帧目标图像；

第二渲染模块，用于对所述至少两帧图像中除所述至少一帧图像之外的图像以及所述至少一帧目标图像进行渲染。

在一种可能实现方式中，所述装置还包括：

第二获取模块，用于实时获取所述目标视频中任两帧图像的渲染时间之间的时间间隔；

第一丢帧模块，用于响应于所述时间间隔小于第一目标阈值，将所述任两帧图像中任一帧图像丢弃。

在一种可能实现方式中，所述装置还包括：

第三获取模块，用于实时获取所述目标视频的帧率；

第二更新模块，用于根据所述帧率，更新每帧图像的渲染时长；

第二丢帧模块，用于响应于所述渲染时长大于第二目标阈值，对所述目标视频进行丢帧处理。

在一种可能实现方式中，所述目标分辨率小于或等于分辨率阈值，所述装置应用于终端；

所述装置还包括：

第三渲染模块，用于对所述第三图像进行渲染。

在一种可能实现方式中，所述目标分辨率大于分辨率阈值，所述装置应用于服务器；

所述装置还包括：

压缩模块，用于对所述第三图像进行压缩，得到所述第三图像的压缩数据；

发送模块，用于将所述压缩数据发送至终端，由终端基于所述压缩数据对所述第三图像进行渲染。

在一种可能实现方式中，所述装置用于将所述第一图像输入图像处理模型中，由所述图像处理模型执行所述上采样、特征提取、确定目标卷积参数和卷积处理的步骤，输出所述第三图像。

在一种可能实现方式中，所述图像处理模型的训练过程包括：

获取样本第一图像和样本目标图像，所述样本目标图像的分辨率为目标分辨率，所述样本第一图像的分辨率小于所述目标分辨率；

对所述样本第一图像进行上采样，得到所述目标分辨率的样本第二图像；

对所述样本第二图像进行特征提取，得到所述第二图像的梯度特征，所述梯度特征用于指示所述第二图像中像素点与相邻像素点之间的关系；

根据所述第二图像的梯度特征与所述样本目标图像，确定所述梯度特征对应的目标卷积参数；

基于所述目标卷积参数，生成所述梯度特征与卷积参数的对应关系。

在一种可能实现方式中，所述图像处理模型基于样本第一图像和至少两个样本目标图像训练得到，所述至少两个样本目标图像的分辨率包括至少一个目标分辨率。

在一种可能实现方式中，所述图像处理模型包括多个串行的过滤器；

所述由所述图像处理模型执行所述上采样、特征提取、确定目标卷积参数和卷积处理的步骤，输出所述第三图像，包括：

由所述图像处理模型执行所述上采样的步骤，由所述多个串行的过滤器执行所述特征提取和卷积处理的步骤。

在一种可能实现方式中，所述由所述多个串行的过滤器执行所述特征提取和卷积处理的步骤，包括：

创建至少一个对象；

由所述至少一个对象执行所述特征提取、确定目标卷积参数和卷积处理的步骤，所述对象的数量小于所述过滤器的数量。

一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现上述图像处理方法的各种可选实现方式。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述图像处理方法的各种可选实现方式。

一个方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得电子设备能够执行上述任一种可能实施方式的图像处理方法。

本申请实施例中，引入一个梯度特征这个新的因素，根据这一因素来直接从已有的对应关系中确定目标卷积参数，这样该目标卷积参数的确定过程耗时不多，无需对图像进行精细的特征提取，也无需进行非线性映射，大大减少了特征提取和处理的耗时。且通过目标卷积参数进行一步卷积处理即可得到高分图像，相较于基于提取到的图像特征进行重建的方式，有效简化了图像处理步骤，因而能够提高图像处理效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还能够根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的实施环境的示意图；

图2是本申请实施例提供的一种图像处理方法的流程图；

图3是本申请实施例提供的一种图像处理方法的流程图；

图4是本申请实施例提供的一种上采样方式的示意图；

图5是本申请实施例提供的一种上采样方式的示意图；

图6是本申请实施例提供的一种像素点位置示意图；

图7是本申请实施例提供的一种各个滤镜绘制命令执行时间的示意图；

图8是本申请实施例提供的一种图像处理方法的整体架构图；

图9是本申请实施例提供的一种滤镜层分解示意图；

图10是本申请实施例提供的一种各个图像处理步骤后的图像显示效果示意图；

图11是本申请实施例提供的一种图像处理模型的训练过程示意图；

图12是本申请实施例提供的一种图像处理模型使用过程示意图；

图13是本申请实施例提供的一种锐化处理方式的示意图；

图14是本申请实施例提供的一种终端界面示意图；

图15是本申请实施例提供的一种不同档位界面显示的示意图；

图16是本申请实施例提供的一种GPU占用和帧率控制方式示意图；

图17是本申请实施例提供的一种图像处理装置的结构示意图；

图18是本申请实施例提供的一种终端的结构框图；

图19是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。还应理解，尽管以下描述使用术语第一、第二等来描述各种元素，但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如，在不脱离各种所述示例的范围的情况下，第一图像能够被称为第二图像，并且类似地，第二图像能够被称为第一图像。第一图像和第二图像都能够是图像，并且在某些情况下，能够是单独且不同的图像。

本申请中术语“至少一个”的含义是指一个或多个，本申请中术语“多个”的含义是指两个或两个以上，例如，多个数据包是指两个或两个以上的数据包。

应理解，在本文中对各种所述示例的描述中所使用的术语只是为了描述特定示例，而并非旨在进行限制。如在对各种所述示例的描述和所附权利要求书中所使用的那样，单数形式“一个(“a”“an”)”和“该”旨在也包括复数形式，除非上下文另外明确地指示。

还应理解，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。术语“和/或”，是一种描述关联对象的关联关系，表示能够存在三种关系，例如，A和/或B，能够表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。

还应理解，在本申请的各个实施例中，各个过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，根据A确定B并不意味着仅仅根据A确定B，还能够根据A和/或其它信息确定B。

还应理解，术语“包括”(也称“inCludes”、“inCluding”、“Comprises”和/或“Comprising”)当在本说明书中使用时指定存在所陈述的特征、整数、步骤、操作、元素、和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、部件、和/或其分组。

还应理解，术语“如果”可被解释为意指“当...时”(“when”或“upon”)或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定...”或“如果检测到[所陈述的条件或事件]”可被解释为意指“在确定...时”或“响应于确定...”或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。

下面对本申请涉及到的名词进行说明。

图像超分：即Image Super Resolution，指的是从一幅低分辨率图像恢复出一幅高分辨率图像。

LR(Low Resolution)：低分辨率，在本实施例中，通过LR指代低分辨率图像。

HR(High Resolution)：高分辨率，在本实施例中，通过HR指代高分辨率图像。

超分(Super-Resolution，SR)是一项底层图像处理任务，将低分辨率的图像映射至高分辨率，以期达到增强图像细节的作用。图像模糊不清的原因有很多，比如各式噪声、有损压缩、降采样……超分辨率是计算机视觉的一个经典应用。SR是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像(说白了就是提高分辨率)，在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。

其中，超分任务可以包括图像超分(Image Super-Resolution，ISR)和视频超分(Video super-resolution，VSR)。对于视频超分，可以通过对视频中每帧或部分帧图像进行图像超分实现，也可以将视频中的多帧图像组合进行超分实现。

画质增强：包括分辨率增强和色彩增强，即通过算法改善图像画质。

端上超分：即在移动终端上运行的超分算法，相比于在服务器上运行的超分算法，端上超分需要平衡算法效果与性能功耗的关系，因此具有更大的难度。

SRCNN(Super Resolution Convolutional Neural Networks，卷积神经网络超分)算法：是一种基于三层卷积神经网络实现的经典超分算法。

本申请实施例提供的图像处理方法能够通过人工智能实现，下面对人工智能相关内容进行解释说明。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的计算机视觉中图像处理、视频处理、机器学习等技术，具体通过如下实施例进行说明。

下面对本申请的实施环境进行说明。

图1是本申请实施例提供的一种图像处理方法的实施环境的示意图。该实施环境包括终端101，或者该实施环境包括终端101和图像处理平台102。终端101通过无线网络或有线网络与图像处理平台102相连。

终端101能够是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器，膝上型便携计算机中的至少一种。终端101安装和运行有支持图像处理的应用程序，例如，该应用程序能够是系统应用、即时通讯应用、新闻推送应用、购物应用、在线视频应用、社交应用。

示例性地，该终端101能够具有图像处理功能，能够对图像进行处理，并根据处理结果对图像进行渲染。示例性地，在本实施例中，该终端101能够接收服务器发送的图像或视频，对图像或视频中一帧或多帧图像进行处理。该终端101能够独立完成该工作，也能够通过图像处理平台102为其提供数据服务。示例性地，该图像处理平台102能够对图像进行处理，并将处理后的图像发送至终端101，由该终端101对图像进行渲染。本申请实施例对此不作限定。

图像处理平台102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。图像处理平台102用于为支图像处理的应用程序提供后台服务。可选地，图像处理平台102承担主要处理工作，终端101承担次要处理工作；或者，图像处理平台102承担次要处理工作，终端101承担主要处理工作；或者，图像处理平台102或终端101分别能够单独承担处理工作。或者，图像处理平台102和终端101两者之间采用分布式计算架构进行协同计算。

可选地，该图像处理平台102包括至少一台服务器1021以及数据库1022，该数据库1022用于存储数据，在本申请实施例中，该数据库1022中能够存储有样本第一图像或样本目标图像，为至少一台服务器1021提供数据服务。

服务器能够是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端能够是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。

本领域技术人员能够知晓，上述终端101、服务器1021的数量能够更多或更少。比如上述终端101、服务器1021能够仅为一个，或者上述终端101、服务器1021为几十个或几百个，或者更多数量，本申请实施例对终端或服务器的数量和设备类型不加以限定。

图2是本申请实施例提供的一种图像处理方法的流程图，该方法应用于电子设备中，该电子设备为终端或服务器，参见图2，该方法包括以下步骤。

201、电子设备根据目标分辨率，对第一图像进行上采样，得到该目标分辨率的第二图像，该第一图像的分辨率小于该目标分辨率。

第一图像的分辨率较低，在想要将其处理为高分辨率的图像时，可以通过上采样的方式，通过对第一图像的图像特征进行重采样，得到高分辨率的第二图像。

可以理解地，高分辨率的第二图像中像素点的密度高于第一图像中像素点的密度，第二图像中像素点的数量大于第一图像中像素点的数量。可以通过上采样的方式，增加第一图像中像素点来提高第一图像的分辨率，得到第二图像。

在本申请实施例中，第二图像直接基于第一图像上采样得到，插值得到的像素点可能并不能很好的与原像素点对原始图像内容进行体现，又或者插值的像素点的像素值并不能很好的对相邻像素点进行过渡等。电子设备可以对第二图像进行进一步处理，得到显示效果更好的第三图像。具体处理过程可以参见下述步骤202至步骤204。

202、电子设备对该第二图像进行特征提取，得到该第二图像的梯度特征，该梯度特征用于指示该第二图像中像素点与相邻像素点之间的关系。

电子设备需要对第二图像中像素点的像素值进行微调，以使得像素点之间的关系能够更好地对图像内容进行呈现。因而，可以基于该第二图像的梯度特征来对像素点之间的关系进行表征，基于该梯度特征来确定如何对第二图像进行处理，以优化该相邻像素点之间的关系，优化该梯度特征，使得超分得到的图像更自然，显示效果更好。

203、电子设备根据梯度特征与卷积参数的对应关系，确定该第二图像的梯度特征对应的目标卷积参数。

在该电子设备中存储有梯度特征与卷积参数的对应关系，在需要确定卷积参数时，通过梯度特征来查询该对应关系，即可确定出对应的目标卷积参数。其中，该卷积参数用于对图像进行卷积处理，以改变像素点的像素值。

204、电子设备基于该目标卷积参数对该第二图像进行卷积处理，得到第三图像，该第三图像的分辨率为该目标分辨率。

该卷积处理是对该第二图像中像素点的像素值进行更新的过程，这样得到的第三图像的分辨率与第二图像的分辨率相同，都是目标分辨率，通过梯度特征查询到对应的目标卷积处理，能够对像素点的像素值进行处理，得到更自然、显示效果更好的第三图像。

本申请实施例中，引入一个梯度特征这个新的因素，根据这一因素来直接从已有的对应关系中确定目标卷积参数，这样该目标卷积参数的确定过程耗时不多，无需对图像进行精细的特征提取，也无需进行非线性映射，大大减少了特征提取和处理的耗时。且通过目标卷积参数进行一步卷积处理即可得到高分图像，相较于基于提取到的图像特征进行重建的方式，有效简化了图像处理步骤，因而能够提高图像处理效率。

在本申请实施例中，电子设备能够获取图像，对图像进行图像超分，将低分辨率的图像处理为高分辨率的图像，以提高图像质量。在一种可能实现方式中，该图像可以为视频中任一帧图像，也即是，电子设备能够获取视频的多帧图像，对该多帧图像中一帧或多帧图像进行图像超分，进而提高视频质量。下面通过图3所示实施例对图像处理方法的流程进行说明。图3是本申请实施例提供的一种图像处理方法的流程图，参见图3，该方法包括以下步骤。

301、电子设备获取第一图像和目标分辨率。

该第一图像的分辨率小于目标分辨率。其中，该目标分辨率为处理后的图像的分辨率，也即是期望处理后达到的分辨率。

在一种可能实现方式中，该目标分辨率可以由相关技术人员根据需求进行设置，例如，该目标分辨率可以为1080P。其中，P为Progressive，中文为逐行。在一个具体场景中，相关技术人员设置有目标分辨率，电子设备在获取到第一图像时即可对其进行处理，将其处理为目标分辨率的图像。

在另一种可能实现方式中，该目标分辨率可以由用户根据使用需求设置，例如，用户在电子设备中设置期望观看的目标分辨率(比如1080P)，该电子设备在获取到第一图像后，可以对其进行处理，将其处理为用户期望的目标分辨率的图像后再显示，以满足用户需求。

在一种可能实现方式中，该目标分辨率的数量可以为一个，也可以为多个。也即是，电子设备可以获取一个目标分辨率，对第一图像进行处理，得到该目标分辨率的图像。电子设备也可以获取多个目标分辨率，分别基于每个目标分辨率对第一图像进行处理，得到每个目标分辨率的图像。电子设备基于多个目标分辨率对第一图像处理，得到多个图像，该多个图像的分辨率分别为该多个目标分辨率。

上述提供了几种可能的目标分辨率的设置方式和数量，本申请实施例对该设置方式和数量不作具体限定。

对于该电子设备，电子设备可以为终端，也可以为服务器。也即是，本申请实施例提供的图像处理方法可以应用于终端，也可以应用于服务器。可以理解地，服务器相较于终端，处理性能更优，能够实现运算量高的算法。终端相较于服务器，直接面向用户，能够直接将处理结果呈现给用户。

在一种可能实现方式中，电子设备可以提供一个图像处理开关控件，该图像处理开关控件用于控制图像处理功能的开启和关闭。例如，该图像处理方法可以理解为一种超分算法，该图像处理开关控件也可以称为超分开关。

在该实现方式中，电子设备可以根据该图像处理开关控件的状态确定是否执行图像处理方法的步骤。具体地，电子设备获取到第一图像时，可以检测该图像处理开关控件的状态，响应于该图像处理开关控件的状态为开启状态，执行后续步骤302至步骤309。终端还可以响应于该图像处理开关控件的状态为关闭状态，则不执行后续步骤，直接对第一图像进行渲染。

302、电子设备根据目标分辨率，对第一图像进行上采样，得到该目标分辨率的第二图像，该第一图像的分辨率小于该目标分辨率。

上采样(upsampling)其实是放大图像的过程，通过放大图像，使得图像能够(或称为上采样或)的主要目的是放大原图像，从而可以显示在更高分辨率的显示设备上。在一种可能实现方式中，该上采样过程可以通过图像插值(interpolating)实现，例如，可以通过内插值的方式实现。该图像插值过程是指在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的像素。可以理解地，通过上采样，能够增加图像中像素点，以提高图像质量。

该上采样过程可以通过多种插值方法实现，下面提供几种可能的插值方法，本申请实施例对具体采用哪种方式不作限定。

在一种可能实现方式中，电子设备能够采用最邻近元法，对第一图像进行上采样处理，得到第二图像。该最近邻元法不需要进行计算，在待添加像素的四个相邻像素中，将距离待添加像素最近的相邻像素的灰度赋给待添加像素。例如，如图4所示，设(i+u，j+v)为待添加像素的坐标。其中，I，j为正整数，u，v为大于零小于1的小数)，则待添加像素的灰度值为f(i+u，j+v)。如果(i+u，j+v)落在A区，即u<0.5，v<0.5，则将左上角像素的灰度值赋给待添加像素，同理，落在B区则赋予右上角像素的灰度值，落在C区则赋予左下角像素的灰度值，落在D区则赋予右下角像素的灰度值。

在另一种可能实现方式中，电子设备能够采用双线性内插法，对第一图像进行上采样处理，得到第二图像。具体地，电子设备可以待添加像素中四个相邻像素的灰度值在两个方向上作线性内插。如图5所示，对于(i，j+v)，f(i，j)到f(i，j+1)的灰度变化为线性关系，则有可以得到f(i，j+v)＝[f(i，j+1)-f(I，j)]*v+f(i，j)。同理地，对于(i+1，j+v)，可以得到f(i+1，j+v)＝[f(i+1，j+1)-f(i+1，j)]*v+f(i+1，j)。从f(i，j+v)到f(i+1，j+v)的灰度变化为线性关系，由此，待添加像素的灰度值可以通过下述f(i+u，j+v)＝(1-u)*(1-v)*f(i，j)+(1-u)*v*f(i，j+1)+u*(1-v)*f(i+1，j)+u*v*f(i+1，j+1)得到。

当然，该上采样过程还可以通过其他插值方式实现，例如，三次内插法、“InverseDistance to a Power(反距离加权插值法)”、“Kriging(克里金插值法)”、“MinimumCurvature(最小曲率)”、“Modified Shepard's Method(改进谢别德法)”、“NaturalNeighbor(自然邻点插值法)”、“Nearest Neighbor(最近邻点插值法)”、“PolynomialRegression(多元回归法)”、“Radial Basis Function(径向基函数法)”、“Triangulationwith Linear Interpolation(线性插值三角网法)”、“Moving Average(移动平均法)”、“Local Polynomial(局部多项式法)”，本申请实施例对该上采样过程的实现不作具体限定。

303、电子设备获取该第二图像中像素点的第一梯度信息。

电子设备通过快速上采样得到第二图像后，能够根据该第二图像的梯度特征，为该第二图像确定出合适的目标卷积参数，从而对该第二图像进行卷积处理，得到显示效果更好的第三图像。电子设备可以先通过该步骤303以及下述步骤304和305，获取该第二图像中像素点的梯度特征，再以该梯度特征为准，执行确定目标卷积参数的步骤。

电子设备可以先获取像素点的第一梯度信息，再对第一梯度信息进行处理，以提取得到梯度特征。每个像素点的第一梯度信息用于表示在该像素点处像素值的变化情况。因而，获取该第一梯度信息时，可以参考当前计算的像素点的像素值以及与该像素点相邻的像素点的像素值。

具体地，电子设备可以根据该第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取该像素点处的像素值变化量，将该像素值变化量作为该第一梯度信息，该第一相邻像素点与该像素点之间的距离小于第一距离阈值。该第一梯度信息体现的是相邻像素点之间的像素值变化，因而，也可以将该第一梯度信息称为邻域梯度。

对于第一距离阈值，该第一距离阈值可以由相关技术人员根据需求进行设置，本申请实施例对此不作限定。例如，该第一距离阈值可以为一个像素，或者大于第一像素且小于两个像素的值。

在一种可能实现方式中，在此仅以该第一距离阈值对第一相邻像素点进行解释说明，在该电子设备中可以并未设置有该第一距离阈值，也并未计算像素点之间的距离，而是通过该距离来解释该第一相邻像素点的位置情况。该电子设备可以通过像素点的位置，将与该像素点相邻的像素点作为该第一相邻像素点。例如，如图6所示，对于像素点601，电子设备将该像素601的上方、下方、左方、右方的像素点602作为该第一相邻像素点。

其中，该像素值变化量可以通过微分来表示，相应地，该步骤303中，电子设备可以根据该第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取在该像素点处的微分，将该微分作为该第一梯度信息。例如，电子设备可以计算第一图像Y通道的邻域梯度，得到微分(dxdx，dydy，dxdy)，该(dxdx，dydy，dxdy)也即是该第一梯度信息。该微分体现的是梯度，且是一个像素点的梯度统计情况，因而，也可以称之为梯度统计分量。

在一种可能实现方式中，该步骤303中，电子设备获取该第二图像中像素点在亮度通道上的第一梯度信息。该第一图像的格式为YUV格式。该第一图像的图像数据为YUV格式的数据。其中，Y为亮度通道，U和V为色度通道。该亮度通道的像素值为灰度值，通过第二图像中像素点的灰度值即可清晰获知第二图像中各个事物的形状等，只是缺少色彩信息而已，对最终图像内容的呈现影响不是很大。因而，以亮度通道上的信息作为基础进行计算，能够准确地进行超分的同时，还能够有效减少计算量，提高图像处理效率。

304、电子设备对该第二图像中像素点的第一梯度信息进行平滑处理，得到该像素点的第二梯度信息。

电子设备在获取得到第一梯度信息后，可以对其进行进一步处理，使得该第二梯度信息所对应图像中像素点之间更连贯，像素点之间过渡更自然。

其中，平滑也称模糊，是一种简单且使用频率很高的图像处理方式。该平滑处理的过程可以理解如下：对于一个像素点，考虑到图像中相邻像素点所表达的内容类似，相似度较大。对图像进行平滑处理的过程可以是根据一个像素点的相邻像素点的像素值来确定该像素点的像素值的过程，这样该像素点的像素值与相邻像素点之间的关联性更强，能够使得像素点之间过渡更自然，衔接更连贯。

该平滑处理过程可以包括多种处理方式，例如，高斯模糊、归一化块滤波、中值滤波、双边滤波等。本申请实施例对具体采用哪种方式不作限定。

在一种可能实现方式中，该平滑处理过程可以为高斯模糊处理过程。其中，高斯模糊(Gaussian Blur)，也称为高斯平滑，是一种常用的平滑处理方式。高斯模糊在AdobePhotoshop、GIMP(GNU Image Manipulation Program，GNU图像处理程序)以及Paint.NET等图像处理软件中广泛应用。其中，GNU为一个自由的操作系统，名称来自于GNU's Not Unix！的递归缩写。该高斯模糊能够减少图像噪声以及降低细节层次。通俗地讲，通过高斯模糊处理后，图像的视觉效果就像是经过一个毛玻璃在观察图像的效果。从数学的角度来看，图像的高斯模糊过程就是图像与正态分布做卷积。由于正态分布又叫作高斯分布，该图像处理技术被称为高斯模糊。高斯模糊对于图像来说，可以理解为一个低通滤波器。

具体地，该平滑处理过程可以为：电子设备对该第二图像中任一像素点的第一梯度信息以及第二相邻像素点的第一梯度信息进行加权求和，得到该像素点的第二梯度信息，该第二相邻像素点与该像素点之间的距离小于第二距离阈值。该第二距离阈值可以由相关技术人员根据需求进行设置，例如，该第二距离阈值可以为两个像素，本申请实施例对此不作限定。例如，如图6所示，对于像素点601，电子设备可以获取该像素点601上方、下方、左方、右方的像素点602以及像素点601左上方、左下方、右下方、右上方的像素点603作为第二相邻像素点，该图6仅为一种示例性说明，该第二相邻像素点还可以仅包括像素点601，或者还可以包括其他像素点。需要说明的是，在高斯模糊的实现方式中，该第二距离阈值可以理解为高斯模糊半径。在加权求和时，能够参考以像素为中心，该高斯模糊半径内的像素点的像素值。该第二相邻像素点的权重可以相同，也可以不同。在高斯模糊中，该权重可以满足正态分布。

上述步骤303中，电子设备得到第一梯度信息后，每个像素点的第一梯度信息可以为梯度图，电子设备可以对得到的梯度图进行高斯模糊。上述图像我们划分的图像块维度是dxd，对应的高斯模糊核维度是(d-1)x(d-1)。其中，d为正整数。

305、电子设备获取该第二梯度信息对应的梯度特征。

电子设备在平滑处理得到第二梯度信息后，可以将其转化为能够明确表述梯度的梯度特征，该梯度特征能够更好地体现该像素点出的像素点变化特征。

在该第二梯度信息包括不同方向上的梯度信息的实现方式中，电子设备可以根据每个像素点的第二梯度信息包括不同方向上的梯度信息，来获取得到梯度特征。在一种可能实现方式中，该梯度特征包括角度、强度和相关性中的至少一项。也即是，梯度特征可以为角度。或者，该梯度特征可以为强度。或者，该梯度特征可以为相关性。又或者，该梯度特征可以为这三者中的任意两个。又或者，该梯度特征可以为这三者。相应地，该步骤305中，电子设备可以根据任一像素点在不同方向上的梯度信息，获取该像素点梯度的角度、强度和相关性中的至少一项。

下面对这三个梯度特征的获取方式进行示例性说明。在一个具体的可能实施例中，对于像素点k，通过计算第一梯度信息，得到该像素点在x，y方向上的梯度dx，dy。平滑处理后，可以得到不同方向上的第二梯度信息。具体通过下述公式一和公式二实现。

下面，电子设备可以继续通过公式三、公式四和公式五，获取得到梯度特征：角度(angle)θ_k，强度(strength)s_k，相干性(coherence)。该三个梯度特征能够体现该像素点附近的梯度情况，因而，也可以将其称为局部梯度统计量。

θ_k＝tan^-1((λ₁-d_xd_x)/d_xd_y)， 公式三

s_k＝λ₁， 公式四

步骤303至步骤305为对该第二图像进行特征提取，得到该第二图像的梯度特征的过程。在该过程中，通过获取第一梯度信息、平滑处理以及特征转化的方式，能够提取到梯度特征。该过程还可以通过其他方式实现，例如，电子设备对第二图像进行卷积处理，得到梯度特征。本申请实施例对此不作限定。

在一种可能实现方式中，上述特征提取过程中，电子设备可以将图像划分为不同的图像块，分别对图像块进行特征提取，得到每个图像块的梯度特征。具体地，电子设备可以对该第二图像进行加窗处理，得到至少一个图像块，对该至少一个图像块进行特征提取，得到该至少一个图像块的梯度特征。相应地，下述步骤306中，电子设备可以根据该梯度特征与卷积参数的对应关系，确定该至少一个图像块的梯度特征对应的目标卷积参数。通过图像块的划分，能够更精细地对图像进行特征提取，提取到的梯度特征更准确，进而根据梯度特征执行后续的图像处理方法能够达到更好的处理效果。

306、电子设备根据梯度特征与卷积参数的对应关系，确定该第二图像的梯度特征对应的目标卷积参数。

不同的梯度特征对应于不同的卷积参数，可以理解地，第二图像的梯度特征不同时，需要对像素点的像素值进行的卷积处理也就不同，卷积处理所采用的卷积参数也就不同。电子设备获取到第二图像的梯度特征后，可以根据该梯度特征确定目标卷积参数，也即是确定出如何对第二图像进行处理，能够得到显示效果好的图像。

在该电子设备中可以存储有该梯度特征与卷积参数的对应关系，在需要确定某个梯度特征对应的卷积参数时，通过查询该对应关系即可。这样电子设备能够以该对应关系作为参照进行快速查询，无需采用其他复杂的计算方式，从而能够有效提高图像处理效率。

该对应关系可以通过多种方式获取得到，该对应关系可以由相关技术人员根据经验设置，也可以通过对大量图像进行分析得到。

在一种可能实现方式中，该对应关系可以在图像处理模型训练过程中确定。在该实现方式中，上述图像处理方法通过图像处理模型实现。

在该实现方式中，在步骤301之后，电子设备可以将获取到的第一图像输入图像处理模型，由该图像处理模型执行图像处理步骤，输出第三图像。相应地，上述图像处理步骤可以为：电子设备将该第一图像输入图像处理模型中，由该图像处理模型执行该上采样、特征提取、确定目标卷积参数和卷积处理的步骤，输出该第三图像。

可选地，该图像处理模型能够将输入图像处理为某种特定的目标分辨率的图像。该图像处理模型可以用于对输入的图像进行处理，输出特定分辨率的图像。也即是，电子设备可以在步骤301中仅获取第一图像，将其输入图像处理模型中进行处理，该目标分辨率在模型训练过程中已确定。

可选地，该图像处理模型能够将输入图像处理为多种目标分辨率的图像，也即是该图像处理模型用于基于输入的目标分辨率对输入的图像进行处理，输出该目标分辨率的图像。也即是，电子设备可以在步骤301中获取到第一图像和目标分辨率后，可以将第一图像和目标分辨率均输入图像处理模型中，该目标分辨率可以由相关技术人员根据需求继续设置，也可以响应于分辨率设置指令进行设置。

在该图像处理模型训练中，电子设备能够基于低分辨率样本图像进行特征提取后的梯度特征与对应的高分辨率样本图像，获取得到卷积参数，从而将该梯度特征与卷积参数建立起对应关系。

每个卷积参数可以通过对应的标识信息进行标识。在上述对应关系可以存储有卷积参数的标识信息以及对应的梯度特征。该步骤306中，电子设备可以通过梯度特征能够获取到目标卷积参数的标识信息，根据该标识信息，获取目标卷积参数以进行卷积处理。

在将图像划分为图像块进行特征提取的方式中，电子设备获取到每个图像块的梯度特征，能够对图像块进行分类，确定每个图像块对应的卷积参数的标识信息，进而获取相应的卷积参数对其进行卷积处理。

例如，在一个具体示例中，可以根据图像块的梯度特征，对图像块进行分析，确定相似的图像块，将其归为一类进行卷积处理。可以理解为：将这一类图像块归到一个桶中进行处理，每个桶对应有自己的卷积参数。则上述卷积参数的标识信息可以理解为桶索引，则上述步骤306中，电子设备可以根据得到的局部梯度统计量，我们就可以计算出图像块对应的桶索引。该桶索引对应的卷积参数(该卷积参数也可以称为卷积核参数)，可以在上述图像处理模型训练中拟合得到。例如，在一个具体示例中，该卷积参数可以通过最小二乘法求解线性拟合问题得到。

在一种可能实现方式中，该对应关系可以通过卷积表的方式存储。上述目标卷积参数确定步骤可以通过查表实现。查表方式快捷方便，能够提高图像处理效率。

在一种可能实现方式中，电子设备在确定梯度特征后，还可以进一步对梯度特征进行处理，再进行目标卷积参数的确定步骤。具体地，电子设备对该梯度特征进行量化，基于量化的该梯度特征，执行该确定目标卷积参数的步骤。在一个具体的可能实施例中，可以将梯度特征中角度量化为24个角度中的一个，将强度量化为9个强度中的一个，将相干性量化为9个中的一个。也即是，该量化步骤能够采用24*9*9的结构对梯度特征进行划分。通过对梯度特征进行更细致的划分，能够对图像细节边缘处理的更好。

例如，角度以A表示，强度以B表示，相干性以C表示。角度包括A1、A2、……、A24。强度包括B1、B2、……、B9。相干性包括C1、C2、……、C9。种梯度特征不同的排列组合可以对应于不同的卷积参数，也即是对应不同的桶。

307、电子设备基于该目标卷积参数对该第二图像进行卷积处理，得到第三图像，该第三图像的分辨率为该目标分辨率。

电子设备获取到目标卷积参数后，可以对第二图像进行卷积处理，通过该卷积处理能够对第二图像中像素点的像素值进行更新，以提高图像质量。在一种可能实现方式中，该卷积参数可以为卷积矩阵，通过该卷积矩阵对图像块进行卷积处理，即可得到第三图像。

在该图像处理方法通过图像处理模型实现的方式中，该卷积处理也由该图像处理模型执行。

下面对该图像处理模型的训练过程，以及该训练过程中确定出对应关系的方式进行解释说明。

具体地，该图像处理模型的训练过程可以通过步骤一至步骤五实现。

步骤一、电子设备获取样本第一图像和样本目标图像，该样本目标图像的分辨率为目标分辨率，该样本第一图像的分辨率小于该目标分辨率。

在该步骤一中，样本第一图像为低分辨率图像，在此可以以LR图像称之。样本目标图像为该低分辨率图对应的高分辨率图像，在此可以以HR图像称之。

步骤二、电子设备对该样本第一图像进行上采样，得到该目标分辨率的样本第二图像。

步骤三、电子设备对该样本第二图像进行特征提取，得到该第二图像的梯度特征，该梯度特征用于指示该第二图像中像素点与相邻像素点之间的关系。

步骤四、电子设备根据该第二图像的梯度特征与该样本目标图像，确定该梯度特征对应的目标卷积参数。

该步骤二至步骤四与上述步骤303至步骤305同理，在此不多做赘述。

步骤五、电子设备基于该目标卷积参数，生成该梯度特征与卷积参数的对应关系。

在一种可能实现方式中，该图像处理模型基于样本第一图像和至少两个样本目标图像训练得到，该至少两个样本目标图像的分辨率包括至少一个目标分辨率。

在该步骤五中，电子设备确定出的卷积参数可以由单层卷积层使用以进行卷积处理，也即是，该步骤307中，该卷积处理步骤可以由单个卷积层实现。

由于样本第一图像的数量为多个，通过该步骤五，电子设备可以拟合得到不同的卷积参数，以此构成卷积表或以此构成单层卷积群。该单层卷积群中包括多个单层卷积层，每个单层卷积层代表一种卷积参数，能够对图像进行一种卷积处理。

在一种可能实现方式中，该单个卷积层的尺寸可以为5x5。上述卷积处理过程中已经将卷机层简化为单层，但卷积仍然是运算量最大的部分。图7是本申请实施例提供的一种各个滤镜绘制命令执行时间的示意图，如图7所示，通过实验发现，尺寸为7x7的卷积花费了接近30毫秒(ms)，其他处理过程则需要3ms左右，在其他运算保持不变的情况下，我们可以更换卷积核为5x5大小，能够发现运算时间直接降低了30％。通过卷积层的尺寸变化，我们在尽可能保证算法效果的同时，有效降低了运算量，能够提高图像处理效率。其中，eos为一种图像处理软件。Rgbtoyuv是指将RGB格式转化为YUV格式。Yuvtorgb是指将YUV格式转化为RGB格式。

在一种可能实现方式中，该图像处理模型包括多个串行的过滤器，该图像处理模型执行上采样步骤后，可以由该多个串行的过滤器执行该特征提取和卷积处理的步骤。例如，如图8所示，图像处理的整体架构包括：播放器801、解码层802、滤镜层803和渲染层804。其中，通过播放器801能够获取到图像，然后通过解码层802对图像进行解码，再由滤镜层803对解码后的图像数据进行过滤，最后通过渲染层804对过滤后的图像进行渲染显示。以解码后得到的图像数据为540P的YUV数据为例，如图9所示，称每个过滤器为滤镜，图9为图8中的滤镜层803的分解结构。该多个串行的过滤器可以包括梯度滤镜901、高斯滤镜902、特征滤镜903和卷积滤镜904。对于解码后的540P的YUV数据905(也即是第一图像)进行放大，得到放大后的1080P的YUV数据906(也即是第二图像)，然后在此分为两路，一路通过梯度滤镜901、高斯滤镜902和特征滤镜903，分别对第二图像进行第一梯度信息的获取步骤、高斯模糊和梯度特征获取步骤，另一路则直接通过卷积滤镜904。该卷积滤镜904用于基于提取到的梯度特征从卷积表907中查询得到对应的目标卷积参数，从而对输入的1080P的YUV数据906进行卷积处理，得到第三图像。在渲染之前，电子设备还可以通过RGB转换滤镜908对卷积处理后的图像进行格式转换，再渲染上屏909。其中上屏的意思是显示在屏幕上。通过图9可知，本申请提供的滤镜层实现了多入多出，应用更灵活。如图10所示，图10中的LR、YUV、梯度、高斯、特征和HR分别为处理前和每个滤镜处理后得到的图像显示效果。

需要说明的是，该多个过滤器采用流水线的方式对图像进行处理，因而可方便的对滤镜进行插拔，进而调试每个滤镜的效果，是一种方便快捷的实现方式。

在一种可能实现方式中，上述该由该多个串行的过滤器执行该特征提取和卷积处理的过程中，电子设备可以创建至少一个对象，由该至少一个对象执行该特征提取、确定目标卷积参数和卷积处理的步骤，该对象的数量小于该过滤器的数量。这样无需每个滤镜都创建一个对象，通过对过滤器进行合并，能够减少对象创建次数，减少耗时，提高图像处理效率。如图10，是每一个过滤器(Filter)产生的中间结果，采用流水线的方式可方便的对滤镜进行插拔，进而调试每个滤镜的效果，是一种方便快捷的实现方式。

例如，在一个具体示例中，我们对滤镜层进行了优化，可以合并多个滤镜中的部分滤镜或者全部滤镜，对于合并的滤镜能够创建管线控制器、帧缓冲、纹理等渲染所需的对象，以一个对象实现合并的滤镜的功能。通过合并多个滤镜渲染器，降低了GPU上管线控制器、帧缓冲、纹理的创建次数和纹理的提交次数，进而有效降低了GPU占用。

下面通过图11和图12，提供一个具体示例，如图11所示，该图像处理模型的训练过程中，可以输入(input)低分辨率图像(LR)1101，对LR进行快速上采样1102、基于块的特征提取1103，然后通过快速求解器1104对输入的LR与标签(label)高分辨率图像(HR)1105进行求解，确定卷积参数，通过多个LR、HR，能够拟合得到多个卷积参数，该多个卷积参数能够形成单层卷积群1106。如图12所示，图像处理模型训练完成后，能够对输入的低分辨率图像1201进行快速上采样1202、基于块的特征提取1203，然后进行滤波索引1204，得到图像块的桶索引，从单层卷积群1205中找到对应的桶(卷积参数)进行卷积处理。

308、电子设备对该第三图像进行锐化处理，得到第四图像。

该步骤308为可选步骤，在上述步骤307之后，电子设备还可以执行该步骤308，对图像进行锐化后进行渲染，也可以不锐化，直接对第三图像进行渲染。

对于锐化处理，电子设备可以获取该第三图像与该第一图像的差异信息，基于该差异信息、目标系数与该第一图像，获取第四图像，该第四图像中目标区域的清晰度大于该第一图像中目标区域的清晰度。其中，该目标系数为差异信息的系数，用于控制在第一图像中增加的差异信息的大小。可理解的，在第一图像加上差异信息，能够得到第三图像。如果目标系数小于1，则第四图像的超分效果比第三图像的超分效果差。如果目标系数大于1，则第四图像的超分效果比第三图像的超分效果更好。

该目标系数可以由相关技术人员根据需求进行设置，也可以基于该系数设置指令确定。

在一个具体的示例中，该锐化处理过程可以通过非锐化掩模(Unsharpen Mask，USM)实现。

在一种可能实现方式中，可以提供系数设置功能，用户能够根据需求设置目标系数，来调节超分效果，进而能够实现更灵活的超分功能。具体地，电子设备可以响应于系数设置指令，获取该目标系数。进而，电子设备在后续步骤309中，可以渲染基于设置的目标系数锐化后的第四图像。

例如，对于锐化处理过程，如图13所示，x(n，m)为输入图像(也即是第一图像)，y(n，m)为输出图像(也即是第三图像)，而z(n，m)为校正信号，这里我们就将超分图像和原始图像的差值作为校正信号，也即是，z(n，m)＝y(n，m)-x(n，m)，该z(n，m)可以由线性高压滤波器(Linear HP Filter)确定得到，然后引入λ作为控制超分效果的系数，也即是目标系数。则最终呈现给用户的第四图像为x(n，m)+λ*z(n，m)。

例如，如图14所示，用户可以选择目标分辨率，也可以通过调整目标系数选择超分效果。对于目标分辨率，可以通过几个候选的分辨率以供选择。例如，选择高清。该目标系数调整可以通过智能画质的横条选项来调整。用户可以拖动横条选项中的拖动项，来调整超分效果，例如，以0-100来衡量超分效果，当前拖动到了38处，其与目标系数λ存在对应关系。如图15所示，本方案在多个档位的实践中，均产生了非常明显的画质增强效果。可以看出，以高清档(540p)作为输入，我们的超分结果(1080p)主观清晰度提升明显，甚至达到了接近蓝光档(1080p)清晰度的水平，同时，我们也在各类型的线上视频数据中，测试了我们的超分算法的客观质量，从测试结果(如下述表1)可以看出，我们的超分算法在vmaf(VisualMultimethod Assessment Fusion，视频质量多方法评价融合)、psnr(Peak Signal-to-Noise Ratio，峰值信噪比)和SSIM(Structural SIMilarity，结构相似性)等评测指标上都有明显的提升。

表1

其中，超分类型tvesr中的tv是指电视，esr为Enhanced Super-Resolution，增强超分辨率。

本申请实施例提供的图像处理方法具有很好的适用性，通过实验，该方法能够在大多机型中实现实时超分效果。

需要说明的是，在上述通过图像处理模型实现图像处理方法的实现方式中，该步骤308也可以由该图像处理模型执行，从而该图像处理模型输出第四图像。

309、电子设备对该第四图像进行渲染。

电子设备获取到第四图像后，可以对该第四图像进行渲染显示。如果该电子设备为终端，则终端处理得到第四图像后能够直接对第四图像进行渲染显示，无需编码，在渲染层实现了超分效果。如果该电子设备为服务器，该服务器也可以将第四图像压缩后传输至终端进行渲染显示。

在一种可能实现方式中，上述第一图像、第二图像、第三图像和第四图像的格式可以为YUV格式。电子设备对图像进行渲染时通常对RGB格式的图像进行渲染。则该步骤309中，电子设备可以将该第四图像的格式转换为RGB格式，对RGB格式的该第四图像进行渲染。

本申请实施例提供的图像处理方法为一种超分算法，该超分算法落地有两种方式，一种是在移动终端上进行实现，优点是在渲染层实现超分，无需二次编码，同时节省了服务器成本，但缺点是终端性能功耗受限，无法实现运算量较高的算法，而在云端实现刚好相反，可以用效果更好的算法，比如可以将1080P超分为2K再进行下发，但缺点是依然受到下行通道的限制，超分后要二次编码，且服务器成本较高。因此我们的最终选用了混合方案，720P及以下在终端实现，超分到1080P进行播放，而1080P以上的超分在服务端实现。

具体地，上述图像处理方法的流程包括以下两种情况。

情况一中，该目标分辨率小于或等于分辨率阈值，该图像处理方法应用于终端，也即终端执行上述步骤301至步骤307之后，终端可以对该第三图像进行渲染。

情况二中，该目标分辨率大于分辨率阈值，该方法应用于服务器。也即是，服务器执行上述步骤301至步骤307之后，可以对该第三图像进行压缩，得到该第三图像的压缩数据，将该压缩数据发送至终端，由终端基于该压缩数据对该第三图像进行渲染。当然，在图像处理过程包括锐化过程时，服务器可以对第四图像进行压缩，得到压缩数据，再发送给终端进行渲染。

其中，该分辨率阈值可以由相关技术人员根据终端和服务器的性能或使用需求进行设置，例如，该分辨率阈值为1080P，本申请实施例对此不作限定。

上述步骤301至步骤309对图像超分方式进行了说明，在本申请实施例中，该图像处理方法可以用于对视频进行超分。具体地，电子设备可以获取目标视频的至少两帧图像，对该至少两帧图像中至少一帧图像执行该上采样、特征提取、确定目标卷积参数和卷积处理的步骤，得到该至少一帧图像对应的至少一帧目标图像，对该至少两帧图像中除该至少一帧图像之外的图像以及该至少一帧目标图像进行渲染。例如，图像处理方法可以应用于在直播场景中，例如，该直播场景可以为游戏直播场景。在该场景中，电子设备通过该图像处理方法能够实时对直播流中图像进行超分处理，得到目标分辨率的图像，从而满足用户多样化的直播需求。

在一种可能实现方式中，可以提供一种丢帧机制，通过设置在第一目标阈值，在检测到相邻两帧时间距离过近时，能够采取丢帧，以避免超分处理后的图像和未进行超分处理的图像夹杂在一起导致人观察不到超分效果。具体地，电子设备可以实时获取该目标视频中任两帧图像的渲染时间之间的时间间隔，响应于该时间间隔小于第一目标阈值，将该任两帧图像中任一帧图像丢弃。

在一种可能实现方式中，还可以设置一种帧率控制机制，电子设备可以根据实时的帧率，确定是否需要进行丢帧处理，以保证视频流畅播放。具体地，电子设备可以实时获取该目标视频的帧率，根据该帧率，更新每帧图像的渲染时长，响应于该渲染时长大于第二目标阈值，对该目标视频进行丢帧处理。

对于第一目标阈值和第二目标阈值，该两个阈值可以由相关技术人员根据需求进行设置，该两个阈值可以相同，例如，均对应于25帧/秒。该两个阈值也可以不同。本申请实施例对此不作限定。

例如，如图16所示，图16中的(a)示出了不同情况下GPU(Graphics ProcessingUnit，图像处理器)占比，可以发现，在不进行超分时，单帧渲染耗时比较小，只有4。通过超分步骤，则会使得GPU占比变得非常大，此处的超分步骤是指通过相关技术的超分算法进行复杂的超分处理。而通过对超分优化，能够减少GPU占比，该优化可以是指本申请提供的图像处理方法。对于上面的帧率控制，则会进一步优化该GPU占比。从图中可知，实验数据中GPU占比大约在46。具体地，我们可以定义一个单帧渲染时限，当统计到2帧之间的间隔小于这个值，则直接丢帧(这里如果不采用丢帧，超分画面和普通画面夹杂在一起会导致超分效果肉眼不明显)。如图16中的(b)所示，每秒统计一次真实渲染的帧率，根据帧率利用二次曲线动态增加(大于25帧)或者减小(小于25帧)单帧渲染耗时。经过试验，该方案可以让视频播放帧率基本可以稳定在25帧。

本申请实施例中，引入一个梯度特征这个新的因素，根据这一因素来直接从已有的对应关系中确定目标卷积参数，这样该目标卷积参数的确定过程耗时不多，无需对图像进行精细的特征提取，也无需进行非线性映射，大大减少了特征提取和处理的耗时。且通过目标卷积参数进行一步卷积处理即可得到高分图像，相较于基于提取到的图像特征进行重建的方式，有效简化了图像处理步骤，因而能够提高图像处理效率。

上述所有可选技术方案，能够采用任意结合形成本申请的可选实施例，在此不再一一赘述。

图17是本申请实施例提供的一种图像处理装置的结构示意图，参见图17，该装置包括：

上采样模块1701，用于根据目标分辨率，对第一图像进行上采样，得到该目标分辨率的第二图像，该第一图像的分辨率小于该目标分辨率；

特征提取模块1702，用于对该第二图像进行特征提取，得到该第二图像的梯度特征，该梯度特征用于指示该第二图像中像素点与相邻像素点之间的关系；

确定模块1703，用于根据梯度特征与卷积参数的对应关系，确定该第二图像的梯度特征对应的目标卷积参数；

卷积模块1704，用于基于该目标卷积参数对该第二图像进行卷积处理，得到第三图像，该第三图像的分辨率为该目标分辨率。

在一种可能实现方式中，该特征提取模块1702包括第一获取单元、平滑单元和第二获取单元；

该第一获取单元，用于获取该第二图像中像素点的第一梯度信息；

该平滑单元，用于对该第二图像中像素点的第一梯度信息进行平滑处理，得到该像素点的第二梯度信息；

该第二获取单元，用于获取该第二梯度信息对应的梯度特征。

在一种可能实现方式中，该第一获取单元用于根据该第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取该像素点处的像素值变化量，将该像素值变化量作为该第一梯度信息，该第一相邻像素点与该像素点之间的距离小于第一距离阈值。

在一种可能实现方式中，该第一获取单元用于根据该第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取在该像素点处的微分，将该微分作为该第一梯度信息。

在一种可能实现方式中，第一获取单元用于获取该第二图像中像素点在亮度通道上的第一梯度信息。

在一种可能实现方式中，该平滑单元用于对该第二图像中任一像素点的第一梯度信息以及第二相邻像素点的第一梯度信息进行加权求和，得到该像素点的第二梯度信息，该第二相邻像素点与该像素点之间的距离小于第二距离阈值。

在一种可能实现方式中，一个像素点的第二梯度信息包括不同方向上的梯度信息；

该梯度特征包括角度、强度和相关性中的至少一项；

该第二获取单元用于根据任一像素点在不同方向上的梯度信息，获取该像素点梯度的角度、强度和相关性中的至少一项。

在一种可能实现方式中，该平滑单元用于对该第二图像中像素点的第一梯度信息进行高斯模糊处理，得到第二梯度信息。

在一种可能实现方式中，该确定模块1703用于：

对该梯度特征进行量化；

基于量化的该梯度特征，执行该确定目标卷积参数的步骤。

在一种可能实现方式中，该特征提取模块1702用于：

对该第二图像进行加窗处理，得到至少一个图像块；

对该至少一个图像块进行特征提取，得到该至少一个图像块的梯度特征；

该确定模块1703用于根据该梯度特征与卷积参数的对应关系，确定该至少一个图像块的梯度特征对应的目标卷积参数。

在一种可能实现方式中，该装置还包括：

锐化模块，用于对该第三图像进行锐化处理，得到第四图像；

第一渲染模块，用于对该第四图像进行渲染。

在一种可能实现方式中，该锐化模块用于：

获取该第三图像与该第一图像的差异信息；

基于该差异信息、目标系数与该第一图像，获取第四图像，该第四图像中目标区域的清晰度大于该第一图像中目标区域的清晰度。

在一种可能实现方式中，该装置还包括：

第一更新模块，用于响应于系数设置指令，对该目标系数进行更新；

该锐化模块用于基于更新的该目标系数，执行获取该第四图像的步骤。

在一种可能实现方式中，该装置还包括：

第一获取模块，用于获取目标视频的至少两帧图像；

该上采样模块1701、特征提取模块1702、确定模块1703和卷积模块1704分别用于对该至少两帧图像中至少一帧图像执行该上采样、特征提取、确定目标卷积参数和卷积处理的步骤，得到该至少一帧图像对应的至少一帧目标图像；

第二渲染模块，用于对该至少两帧图像中除该至少一帧图像之外的图像以及该至少一帧目标图像进行渲染。

在一种可能实现方式中，该装置还包括：

第二获取模块，用于实时获取该目标视频中任两帧图像的渲染时间之间的时间间隔；

第一丢帧模块，用于响应于该时间间隔小于第一目标阈值，将该任两帧图像中任一帧图像丢弃。

在一种可能实现方式中，该装置还包括：

第三获取模块，用于实时获取该目标视频的帧率；

第二更新模块，用于根据该帧率，更新每帧图像的渲染时长；

第二丢帧模块，用于响应于该渲染时长大于第二目标阈值，对该目标视频进行丢帧处理。

在一种可能实现方式中，该目标分辨率小于或等于分辨率阈值，该装置应用于终端；

该装置还包括：

第三渲染模块，用于对该第三图像进行渲染。

在一种可能实现方式中，该目标分辨率大于分辨率阈值，该装置应用于服务器；

该装置还包括：

压缩模块，用于对该第三图像进行压缩，得到该第三图像的压缩数据；

发送模块，用于将该压缩数据发送至终端，由终端基于该压缩数据对该第三图像进行渲染。

在一种可能实现方式中，该装置用于将该第一图像输入图像处理模型中，由该图像处理模型执行该上采样、特征提取、确定目标卷积参数和卷积处理的步骤，输出该第三图像。

在一种可能实现方式中，该图像处理模型的训练过程包括：

获取样本第一图像和样本目标图像，该样本目标图像的分辨率为目标分辨率，该样本第一图像的分辨率小于该目标分辨率；

对该样本第一图像进行上采样，得到该目标分辨率的样本第二图像；

对该样本第二图像进行特征提取，得到该第二图像的梯度特征，该梯度特征用于指示该第二图像中像素点与相邻像素点之间的关系；

根据该第二图像的梯度特征与该样本目标图像，确定该梯度特征对应的目标卷积参数；

基于该目标卷积参数，生成该梯度特征与卷积参数的对应关系。

在一种可能实现方式中，该图像处理模型基于样本第一图像和至少两个样本目标图像训练得到，该至少两个样本目标图像的分辨率包括至少一个目标分辨率。

在一种可能实现方式中，该图像处理模型包括多个串行的过滤器；

该由该图像处理模型执行该上采样、特征提取、确定目标卷积参数和卷积处理的步骤，输出该第三图像，包括：

由该图像处理模型执行该上采样的步骤，由该多个串行的过滤器执行该特征提取和卷积处理的步骤。

在一种可能实现方式中，该由该多个串行的过滤器执行该特征提取和卷积处理的步骤，包括：

创建至少一个对象；

由该至少一个对象执行该特征提取、确定目标卷积参数和卷积处理的步骤，该对象的数量小于该过滤器的数量。

本申请实施例提供的装置，引入一个梯度特征这个新的因素，根据这一因素来直接从已有的对应关系中确定目标卷积参数，这样该目标卷积参数的确定过程耗时不多，无需对图像进行精细的特征提取，也无需进行非线性映射，大大减少了特征提取和处理的耗时。且通过目标卷积参数进行一步卷积处理即可得到高分图像，相较于基于提取到的图像特征进行重建的方式，有效简化了图像处理步骤，因而能够提高图像处理效率。

需要说明的是：上述实施例提供的图像处理装置在处理图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，能够根据需要而将上述功能分配由不同的功能模块完成，即将图像处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述方法实施例中的电子设备能够实现为终端。例如，图18是本申请实施例提供的一种终端的结构框图。该终端1800可以是便携式移动终端，比如：智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端1800包括有：处理器1801和存储器1802。

处理器1801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1801可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1801所执行以实现本申请中方法实施例提供的图像处理方法。

在一些实施例中，终端1800还可选包括有：外围设备接口1803和至少一个外围设备。处理器1801、存储器1802和外围设备接口1803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1803相连。具体地，外围设备包括：射频电路1804、显示屏1805、摄像头组件1806、音频电路1807、定位组件1808和电源1809中的至少一种。

外围设备接口1803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1801和存储器1802。在一些实施例中，处理器1801、存储器1802和外围设备接口1803被集成在同一芯片或电路板上；在一些其他实施例中，处理器1801、存储器1802和外围设备接口1803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1805是触摸显示屏时，显示屏1805还具有采集在显示屏1805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1801进行处理。此时，显示屏1805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1805可以为一个，设置在终端1800的前面板；在另一些实施例中，显示屏1805可以为至少两个，分别设置在终端1800的不同表面或呈折叠设计；在另一些实施例中，显示屏1805可以是柔性显示屏，设置在终端1800的弯曲表面上或折叠面上。甚至，显示屏1805还可以设置成非矩形的不规则图形，也即异形屏。显示屏1805可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。

摄像头组件1806用于采集图像或视频。可选地，摄像头组件1806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1801进行处理，或者输入至射频电路1804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1801或射频电路1804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1807还可以包括耳机插孔。

定位组件1808用于定位终端1800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源1809用于为终端1800中的各个组件进行供电。电源1809可以是交流电、直流电、一次性电池或可充电电池。当电源1809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端1800还包括有一个或多个传感器1810。该一个或多个传感器1810包括但不限于：加速度传感器1811、陀螺仪传感器1812、压力传感器1813、指纹传感器1814、光学传感器1815以及接近传感器1816。

加速度传感器1811可以检测以终端1800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1811可以用于检测重力加速度在三个坐标轴上的分量。处理器1801可以根据加速度传感器1811采集的重力加速度信号，控制显示屏1805以横向视图或纵向视图进行用户界面的显示。加速度传感器1811还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器1812可以检测终端1800的机体方向及转动角度，陀螺仪传感器1812可以与加速度传感器1811协同采集用户对终端1800的3D动作。处理器1801根据陀螺仪传感器1812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器1813可以设置在终端1800的侧边框和/或显示屏1805的下层。当压力传感器1813设置在终端1800的侧边框时，可以检测用户对终端1800的握持信号，由处理器1801根据压力传感器1813采集的握持信号进行左右手识别或快捷操作。当压力传感器1813设置在显示屏1805的下层时，由处理器1801根据用户对显示屏1805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器1814用于采集用户的指纹，由处理器1801根据指纹传感器1814采集到的指纹识别用户的身份，或者，由指纹传感器1814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1814可以被设置在终端1800的正面、背面或侧面。当终端1800上设置有物理按键或厂商Logo时，指纹传感器1814可以与物理按键或厂商Logo集成在一起。

光学传感器1815用于采集环境光强度。在一个实施例中，处理器1801可以根据光学传感器1815采集的环境光强度，控制显示屏1805的显示亮度。具体地，当环境光强度较高时，调高显示屏1805的显示亮度；当环境光强度较低时，调低显示屏1805的显示亮度。在另一个实施例中，处理器1801还可以根据光学传感器1815采集的环境光强度，动态调整摄像头组件1806的拍摄参数。

接近传感器1816，也称距离传感器，通常设置在终端1800的前面板。接近传感器1816用于采集用户与终端1800的正面之间的距离。在一个实施例中，当接近传感器1816检测到用户与终端1800的正面之间的距离逐渐变小时，由处理器1801控制显示屏1805从亮屏状态切换为息屏状态；当接近传感器1816检测到用户与终端1800的正面之间的距离逐渐变大时，由处理器1801控制显示屏1805从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图18中示出的结构并不构成对终端1800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

上述方法实施例中的电子设备能够实现为服务器。例如，图19是本申请实施例提供的一种服务器的结构示意图，该服务器1900可因配置或性能不同而产生比较大的差异，能够包括一个或一个以上处理器(Central Processing Units，CPU)1901和一个或一个以上的存储器1902，其中，该存储器1902中存储有至少一条程序代码，该至少一条程序代码由该处理器1901加载并执行以实现上述各个方法实施例提供的图像处理方法。当然，该服务器还能够具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还能够包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条程序代码的存储器，上述至少一条程序代码由可由处理器执行以完成上述实施例中的图像处理方法。例如，计算机可读存储介质能够是只读存储器(Read-Only Memory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、只读光盘(Compact Disc Read-OnlyMemory，简称：CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或该计算机程序包括一条或多条程序代码，该一条或多条程序代码存储在计算机可读存储介质中。电子设备的一个或多个处理器能够从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得电子设备能够执行上述图像处理方法。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应理解，根据A确定B并不意味着仅仅根据A确定B，还能够根据A和/或其它信息确定B。

本领域普通技术人员能够理解实现上述实施例的全部或部分步骤能够通过硬件来完成，也能够通过程序来指令相关的硬件完成，该程序能够存储于一种计算机可读存储介质中，上述提到的存储介质能够是只读存储器，磁盘或光盘等。

以上描述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

根据目标分辨率，对第一图像进行上采样，得到所述目标分辨率的第二图像，所述第一图像的分辨率小于所述目标分辨率；

对所述第二图像进行特征提取，得到所述第二图像的梯度特征，所述梯度特征用于指示所述第二图像中像素点与相邻像素点之间的关系；

根据梯度特征与卷积参数的对应关系，确定所述第二图像的梯度特征对应的目标卷积参数；

基于所述目标卷积参数对所述第二图像进行卷积处理，得到第三图像，所述第三图像的分辨率为所述目标分辨率。

2.根据权利要求1所述的方法，其特征在于，所述对所述第二图像进行特征提取，得到所述第二图像的梯度特征，包括：

获取所述第二图像中像素点的第一梯度信息；

对所述第二图像中像素点的第一梯度信息进行平滑处理，得到所述像素点的第二梯度信息；

获取所述第二梯度信息对应的梯度特征。

3.根据权利要求2所述的方法，其特征在于，所述获取所述第二图像中像素点的第一梯度信息，包括：

根据所述第二图像中任一像素点的像素值以及第一相邻像素点的像素值，获取所述像素点处的像素值变化量，将所述像素值变化量作为所述第一梯度信息，所述第一相邻像素点与所述像素点之间的距离小于第一距离阈值。

4.根据权利要求2所述的方法，其特征在于，所述对所述第二图像中像素点的第一梯度信息进行平滑处理，得到所述像素点的第二梯度信息，包括：

对所述第二图像中任一像素点的第一梯度信息以及第二相邻像素点的第一梯度信息进行加权求和，得到所述像素点的第二梯度信息，所述第二相邻像素点与所述像素点之间的距离小于第二距离阈值。

5.根据权利要求2所述的方法，其特征在于，一个像素点的第二梯度信息包括不同方向上的梯度信息；

所述梯度特征包括角度、强度和相关性中的至少一项；

所述获取所述第二梯度信息对应的梯度特征，包括：

根据任一像素点在不同方向上的梯度信息，获取所述像素点梯度的角度、强度和相关性中的至少一项。

6.根据权利要求1所述的方法，其特征在于，所述根据梯度特征与卷积参数的对应关系，确定所述第二图像的梯度特征对应的目标卷积参数，包括：

对所述梯度特征进行量化；

基于量化的所述梯度特征，执行所述确定目标卷积参数的步骤。

7.根据权利要求1所述的方法，其特征在于，所述对所述第二图像进行特征提取，得到所述第二图像的梯度特征，包括：

对所述第二图像进行加窗处理，得到至少一个图像块；

对所述至少一个图像块进行特征提取，得到所述至少一个图像块的梯度特征；

所述根据梯度特征与卷积参数的对应关系，确定所述第二图像的梯度特征对应的目标卷积参数，包括：

根据所述梯度特征与卷积参数的对应关系，确定所述至少一个图像块的梯度特征对应的目标卷积参数。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述第三图像进行锐化处理，得到第四图像；

对所述第四图像进行渲染。

9.根据权利要求8所述的方法，其特征在于，所述对所述第三图像进行锐化处理，得到第四图像，包括：

获取所述第三图像与所述第一图像的差异信息；

基于所述差异信息、目标系数与所述第一图像，获取第四图像，所述第四图像中目标区域的清晰度大于所述第一图像中目标区域的清晰度。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

响应于系数设置指令，对所述目标系数进行更新；

基于更新的所述目标系数，执行获取所述第四图像的步骤。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标视频的至少两帧图像；

对所述至少两帧图像中至少一帧图像执行所述上采样、特征提取、确定目标卷积参数和卷积处理的步骤，得到所述至少一帧图像对应的至少一帧目标图像；

对所述至少两帧图像中除所述至少一帧图像之外的图像以及所述至少一帧目标图像进行渲染。

12.根据权利要求11所述的方法，其特征在于，所述方法还包括：

实时获取所述目标视频中任两帧图像的渲染时间之间的时间间隔；

响应于所述时间间隔小于第一目标阈值，将所述任两帧图像中任一帧图像丢弃。

13.一种图像处理装置，其特征在于，所述装置包括：

上采样模块，用于根据目标分辨率，对第一图像进行上采样，得到所述目标分辨率的第二图像，所述第一图像的分辨率小于所述目标分辨率；

特征提取模块，用于对所述第二图像进行特征提取，得到所述第二图像的梯度特征，所述梯度特征用于指示所述第二图像中像素点与相邻像素点之间的关系；

确定模块，用于根据梯度特征与卷积参数的对应关系，确定所述第二图像的梯度特征对应的目标卷积参数；

卷积模块，用于基于所述目标卷积参数对所述第二图像进行卷积处理，得到第三图像，所述第三图像的分辨率为所述目标分辨率。

14.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求12任一项所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求12任一项所述的图像处理方法。

Images