CN120876919A - 影像处理系统、影像处理方法以及训练系统 - Google Patents

Abstract

一种影像处理系统、影像处理方法以及训练系统，影像处理方法包含：由影像处理模块中的预处理模块接收影像，并下取样影像以获得下取样张量；由影像处理模块中的神经网络模块基于多个第一参数处理下取样张量并产生输出张量；由影像处理模块中的上取样模块上取样输出张量以产生与影像尺寸相同的上取样张量；以及由加法模块对上取样张量以及影像执行逐元素加法以获得输出影像。

Description

影像处理系统、影像处理方法以及训练系统

技术领域

本发明涉及影像处理技术，特别涉及一种应用神经网络的影像处理技术。

背景技术

由于实时影像处理晶片的效能限制，许多产品并不会在接收到4K或是8K影片输入时，打开人工智能模型(例如CNN网络)处理。

发明内容

有鉴于此，本发明一些实施例提供一种影像处理系统、影像处理方法以及训练系统以改善现有技术问题。

本发明一些实施例提供一种影像处理系统，包含影像处理模块以及加法模块；影像处理模块包含预处理模块、神经网络模块以及上取样模块，预处理模块经配置以接收影像，并下取样影像以获得下取样张量；神经网络模块经配置以基于多个第一参数处理下取样张量并产生输出张量；上取样模块经配置上取样输出张量以产生与影像尺寸相同的上取样张量；以及加法模块经配置以对上取样张量以及影像执行逐元素加法以获得输出影像。

本发明一些实施例提供一种影像处理方法，包含：由影像处理模块中的预处理模块接收影像，并下取样影像以获得下取样张量；由影像处理模块中的神经网络模块基于多个第一参数处理下取样张量并产生输出张量；由影像处理模块中的上取样模块上取样输出张量以产生与影像尺寸相同的上取样张量；以及由加法模块对上取样张量以及影像执行逐元素加法以获得输出影像。

本发明一些实施例提供一种训练系统，训练系统包含处理模块以及待训练影像处理模块，其中待训练影像处理模块包含预处理模块、神经网络模块、上取样模块以及加法模块；预处理模块经配置以接收训练输入影像，并下取样训练输入影像以获得下取样张量；神经网络模块经配置以基于多个第一训练参数处理下取样张量并产生输出张量；上取样模块经配置以上取样输出张量以产生与训练输入影像尺寸相同的上取样张量；以及加法模块经配置以对上取样张量以及训练输入影像执行逐元素加法以获得训练输出影像；处理模块经配置以利用训练集中的多个训练影像以及对应训练影像的多个目标影像训练待训练影像处理模块以获得待训练影像处理模块的多个影像处理训练参数的每一个的已训练参数值，其中前述多个影像处理训练参数包含前述多个第一训练参数。

本发明一些实施例提供一种训练系统，训练系统包含处理模块以及待训练神经网络模块，其中待训练神经网络模块包含裁剪模块以及分类神经网络模块；裁剪模块经配置以接收训练输入影像并在训练输入影像上裁剪出多个裁剪影像；以及分类神经网络模块包含多个训练参数，分类神经网络模块经配置以基于前述多个裁剪影像产生训练输入影像对应的画质分类；处理模块经配置以利用训练集中的多个训练影像以及每一训练影像的画质分类标签训练待训练神经网络模块以获得每一训练参数的已训练参数值。

基于上述，本发明一些实施例提供一种影像处理系统、影像处理方法以及训练系统。在影像处理系统中，影像会先经由预处理模块下取样，而在低分辨率的情况下处理后再加回原影像，因此神经网络模块的输入尺寸可以减少。减少神经网络模块的输入尺寸可以使神经网络模块在运行时的运算量、运算所需的缓冲以及耗能减少，从而在相同的运算资源下，神经网络模块可以被设计为结构较深的神经网络以获得更大的视野。另外，通过前述神经网络训练系统训练所得的参数值，可通过神经网络快速获得影像处理效果。

附图说明

图1是依据本发明一些实施例所示出的影像处理系统方框图。

图2是依据本发明一些实施例所示出的影像处理系统运行时序图。

图3A、图3B以及图3C是依据本发明一些实施例所示出的像素解混洗运行示意图。

图4是依据本发明一些实施例所示出的上取样模块方框图。

图5是依据本发明一些实施例所示出的影像处理系统方框图。

图6是依据本发明一些实施例所示出的上取样模块方框图。

图7是依据本发明一些实施例所示出的裁剪示意图。

图8是依据本发明一些实施例所示出的神经网络模块方框图。

图9是依据本发明一些实施例所示出的残差网络层示意图。

图10是依据本发明一些实施例所示出的训练系统方框图。

图11是依据本发明一些实施例所示出的训练系统方框图。

图12是依据本发明的一些实施例所示出的电子设备系统方框示意图。

图13是依据本发明一些实施例所示出的影像处理方法流程图。

图14是依据本发明一些实施例所示出的影像处理方法流程图。

图15是依据本发明一些实施例所示出的影像处理方法流程图。

图16是依据本发明一些实施例所示出的影像处理方法流程图。

图17是依据本发明一些实施例所示出的影像处理方法流程图。

符号说明

100,500：影像处理系统

101：影像处理模块

1011,1003：预处理模块

1012,1004：神经网络模块

1013,1005：上取样模块

102,503：存储器模块

103,1006：加法模块

104,701：影像

201：当前帧时序

202：上取样输出时序

203：存储器模块时序

300,300’：张量

300-1～300-C,301-1～316-1,301-2～316-2,301-(W+1)～316-(W+1),301-N～316-N：元素

W,H,C,N,M,P,r：正整数

301～316：通道元素

401：放大模块

402：卷积模块

501：画质检测模块

502：载入模块

601,1103：裁剪模块

602,1104：分类神经网络模块

603：映射模块

701-1～701-M：裁剪影像

702-1～702-M：位置

801～80P,900：残差网络层

901：网络层

902：路径

903：加法模块

1000,1100：训练系统

1001,1101：处理模块

1002：待训练影像处理模块

1007,1105：训练输入影像

1102：待训练神经网络模块

1200：电子设备

1201：处理单元

1202：内存存储器

1203：非易失性存储器

S1301～S1304,S1401,S1501～S1502,S1601～S1602,S1701～S1703：步骤

具体实施方式

有关本发明的前述及其他技术内容、特点与技术效果，在以下配合参考附图的实施例的详细说明中，将可清楚的呈现。任何不影响本发明所能产生的技术效果及所能实现的目的修改与变更，均仍应落在本发明所公开的技术内容涵盖的范围内。在所有附图中相同的标号将用于表示相同或相似的元件。以下实施例中所提到的“连接”一词可指任何直接或间接、有线或无线的连接手段。于本文中，所描述的“第一”或“第二”等类似序数的词语，是用以区分或指关联于相同或类似的元件或结构，且不必然隐含此等元件在系统上的顺序。应了解的是，在某些情况或配置下，序数词语是可交换使用而不影响本发明的实施。

图1是依据本发明一些实施例所示出的影像处理系统方框图。请参阅图1，影像处理系统100包含影像处理模块101、存储器模块102以及加法模块103。影像处理模块101以及存储器模块102经配置以分别接收影像104的一份复制影像。影像处理模块101经配置以处理影像104的复制影像。存储器模块102在影像处理模块101处理影像104的复制影像时，暂存影像104的复制影像。其中，存储器模块102例如是静态随机存取存储器(Static random-access memory，SRAM)或是动态随机存取存储器(Dynamic random-access memory，DRAM)。

影像处理模块101包含预处理模块1011、神经网络模块1012以及上取样模块1013。预处理模块1011经配置以接收影像104的复制影像，并且下取样影像104的复制影像以产生影像104的下取样张量。神经网络模块1012包含一神经网络。神经网络模块1012包含多个参数，其中前述神经网络模块1012的参数包含神经网络模块1012的神经网络的多个权重。以下为说明方便，神经网络模块1012的多个参数被称为第一参数。神经网络模块1012经配置以基于多个第一参数处理所接收的张量并产生输出张量。在以下的说明中，将会进一步说明神经网络模块1012的架构。

上取样模块1013经配置上取样输出张量以产生与影像104尺寸相同的上取样张量。加法模块103经配置以对所接收到的两个张量执行逐元素加法。

以下即配合附图详细说明本发明一些实施例的影像处理方法以及影像处理系统100的各模块之间如何协同运行。

图13是依据本发明一些实施例所示出的影像处理方法流程图。请同时参阅图1与图13，影像处理方法包含步骤S1301～S1304。在步骤S1301中，由影像处理模块101中的预处理模块1011接收影像104的复制影像，并下取样影像104的复制影像以产生下取样张量。在步骤S1302中，由影像处理模块101中的神经网络模块1012基于神经网络模块1012的多个第一参数处理下取样张量并产生输出张量。在步骤S1303由影像处理模块101中的上取样模块1013上取样神经网络模块1012的输出张量以产生与影像104尺寸相同的上取样张量。在步骤S1304中，由加法模块103对上取样张量以及存储器模块102所存储影像104的复制影像执行逐元素加法以获得输出影像。

在本发明一些实施例中，影像104为高分辨率影像。例如，影像104为4K或是8K影像。

图2是依据本发明一些实施例所示出的影像处理系统运行时序图。请同时参考图1、图2以及图13，在本发明一些实施例中，影像处理系统100用以处理影片中的帧，也就是说前述影像104为影片中的一帧。如图2所示出，影片中的帧基于当前帧时序201载入到影像处理系统100处理。由于影像处理模块101需要处理时间以做多次处理获取重要信息，影像处理系统100在载入当前帧作为影像104后，需要经过影像处理模块工作时间后才会由上取样模块1013输出上取样张量(如上取样输出时序202所示出)。此时，如图2的存储器模块102的存储器模块时序203所示，存储器模块102开始动作以输出存储的影像104原始的复制影像给加法模块103。

在前述实施例中，影像104会先经由预处理模块1011下取样，而在低分辨率的情况下处理后再加回原影像，因此神经网络模块1012的输入尺寸可以减少。减少神经网络模块1012的输入尺寸可以使神经网络模块1012在运行时的运算量、运算所需的缓冲(buffer)以及耗能减少，从而在相同的运算资源下，神经网络模块1012可以被设计为结构较深的神经网络以获得更大的视野。即使在前述的实施例中需要使用存储器模块102以存储原来的影像104，相较于直接对影像104进行处理，整体所使用的资源还是较为节省。

图3A、图3B以及图3C是依据本发明一些实施例所示出的像素解混洗运行示意图。请同时参阅图3A、图3B以及图3C，张量300为一个3轴(axes)张量，其形状(shape)为(H×r,W×r,C)，其中r＝4，H、W以及C为正整数。也就是说张量300在第0轴上有H×r个元素，在第1轴上有W×r个元素，在第2轴上有C个元素。张量300的第2轴又被称为张量300的通道轴。对张量300执行像素解混洗的运行为：基于一个缩小倍率r，对在张量300的通道轴上的元素300-1～300-C的每一个，在第0轴和第1轴上相互间隔为r的元素组合成一个新的通道元素以将张量300转换为形状为(H,W,C×r²)的3轴张量。

以下以缩小倍率r＝4进行说明。请参考图3B以及图3C，张量300’为张量300在张量300的通道轴上的一个元素。在图3B以及图3C中，在张量300’的第0轴以及第1轴上，元素30k-1～30k-N为在第0轴和第1轴上相互间隔为r的元素，其中k＝1、2、…、16，N＝H×W。因此将元素30k-1～30k-N组成新的通道元素30k(如图3C所示)，其中k＝1、2、…、16。值得说明的是，由于在执行像素解混洗时，并未实际改变张量300的元素内容，当张量300为一影像时，基于缩小倍率r对张量300执行像素解混洗将会保留张量300的像素信息，其中影像的像素信息为影像的各像素所包含的信息，例如像素RGB值等等。

另外值得说明的是，基于放大倍率r对一个3轴张量执行像素混洗则是上述像素解混洗的逆操作。

图14是依据本发明一些实施例所示出的影像处理方法流程图。请同时参阅图1、图13以及图14，在本发明一些实施例中，步骤S1301包含步骤S1401。在步骤S1401中，预处理模块1011基于一个缩小倍率(例如前述缩小倍率r)对影像104的复制影像执行像素解混洗以下取样影像104产生下取样张量，其中下取样张量保持影像104的像素信息。

在此实施例中，使用像素解混洗以下取样影像104可在不损失像素信息的情况下，减少神经网络模块1012的输入尺寸，并且同时使神经网络模块1012接收到影像104完整的像素信息。以前述缩小倍率r＝4为例，若影像104为8K影像(尺寸为7680×4320)，则基于缩小倍率4经过像素解混洗后尺寸为1960×1080×16，因此可采用输入尺寸较小的神经网络。

当然，预处理模块1011也可基于其他下取样方法，例如使用删除(deletion)法删除元素或是使用池化层(pooling layer)与卷积层，对影像104的复制影执行下取样以产生下取样张量。

在本发明一些实施例中，神经网络模块1012的输出张量的尺寸被设置为与预处理模块1011所产生的下取样张量相同。上取样模块1013经配置以基于一个放大倍率对输出张量执行像素混洗以上取样输出张量，其中前述放大倍率与预处理模块1011的缩小倍率相同。

图4是依据本发明一些实施例所示出的上取样模块方框图。图15是依据本发明一些实施例所示出的影像处理方法流程图。请同时参阅图4、图13以及图15，在此实施例中，上取样模块1013包含放大模块401以及卷积模块402。放大模块401经配置以放大输出张量以产生放大输出张量。卷积模块402包含至少一卷积层并且具有多个参数，前述卷积模块402的多个参数包含卷积层的权重。以下为说明方便，卷积模块402的多个参数被称为第二参数。卷积模块402经配置基于多个第二参数处理放大输出张量以产生上取样张量。其中，放大模块401可基于任意的放大方法放大输出张量。前述放大方法例如为内插法或是补0，本发明并不予以限制。

在此实施例中，前述步骤S1303包含步骤S1501以及S1502。在步骤S1501中，由放大模块401放大输出张量以产生放大输出张量。在步骤S1502中，由卷积模块402基于前述多个第二参数处理放大输出张量以产生上取样张量。

图5是依据本发明一些实施例所示出的影像处理系统方框图。图16是依据本发明一些实施例所示出的影像处理方法流程图。请先参阅图5，影像处理系统500相较于影像处理系统100还包含画质检测模块501、载入模块502以及存储器模块503。在此实施例中，影像104为一个影片的一帧。画质检测模块501经配置以接收影像104的一份复制影像并且基于影像104的复制影像产生对应影像104所属影片的画质分类的索引。存储器模块503例如可采用双倍数据率同步动态随机存取存储器(Double Data Rate Synchronous DynamicRandom Access Memory，DDR SDRAM)以加快存取速度。

其中前述影片的画质分类可包含影片内容的压缩率以及画质。例如，影片的画质分类如下表(一)所记载，包含8K高位元速率、8K低位元速率、……、2K低位元速率等等。每一个画质分类都对应一个索引，例如8K高位元速率的索引为0，8K低位元速率的索引为1等等。

表(一)

载入模块502经配置以基于对应影像104所属影片的画质分类的索引从存储器模块503中取得对应画质分类的多个影像处理参数值，并将所取得的影像处理参数值载入至影像处理模块101。

其中，影像处理参数值包含影像处理模块101运行时所需的参数。举例来说，当上取样模块1013采用前述图4实施例所示出的架构时，影像处理参数值包含前述神经网络模块1012的多个第一参数以及卷积模块402的多个第二参数的参数值。

请同时参阅图5以及图16。在此实施例中，影像处理方法包含步骤S1601～S1602。在步骤S1601中，由画质检测模块501基于影像104的复制影像产生对应影像104所属影片的画质分类的索引。在步骤S1602中，由载入模块502基于对应影像104所属影片的画质分类的索引从存储器模块503中取得对应画质分类的多个影像处理参数值，并将影像处理参数值载入至影像处理模块101。

值得说明的是，前述对应影像104所属影片的画质分类的索引是为了可以使载入模块502在存储器模块503中快速找到对应画质分类的多个影像处理参数值而设置，可以任意设定，不以表(一)所记载的实施例为限。例如，也可以数值0作为2K低位元速率的索引。

在前述实施例中，由于采用了基于影像104所属影片的画质分类切换影像处理模块101的参数的机制，可以对不同种类的影片采用不同的参数而产生优选的处理效果。还可以基于需求，对不同种类的影片产生不同的处理效果。

图6是依据本发明一些实施例所示出的上取样模块方框图。图7是依据本发明一些实施例所示出的裁剪示意图。请参阅图6，画质检测模块501包含裁剪(crop)模块601、分类神经网络模块602以及映射模块603。裁剪模块601经配置以接收影像104的复制影像并在影像104的复制影像上裁剪出多个裁剪影像。其中，前述裁剪的位置可以是固定的多个位置，或是随机的多个位置。

请参阅图7，在本发明一些实施例中，影像104的复制影像为影像701，裁剪模块601基于固定的位置702-1～702-M，在影像701上裁剪出裁剪影像701-1～701-M，其中影像701的尺寸为3840×2160×3，裁剪影像701-1～701-M的尺寸为240×240×3，M为一正整数。当然裁剪模块601也可以基于其他固定位置在影像701上裁剪出裁剪影像，或是在位置702-1～702-M中随机选择固定数量的位置以在影像701上裁剪出裁剪影像。

分类神经网络模块602经配置以接收前述多个裁剪影像，并且基于所接收的裁剪影像产生影像104所属影片的画质分类。在本发明一些实施例中，分类神经网络模块602包含卷积层、全连接层以及归一化指数函式层(softmax layer)，分类神经网络模块602的卷积层经配置以获取前述多个裁剪影像的特征，全连接层整合前述多个裁剪影像的特征后产生多个输出，归一化指数函式层接收全连接层的输出后输出对应影像104所属影片属于每一个画质分类的机率。例如，画质分类如表(一)所记载，归一化指数函式层被设置为包含6个输出，第1个输出为影片属于8K高位元速率的机率，第2个输出为影片属于8K低位元速率的机率，以此类推。

映射模块603经配置以基于画质分类产生索引。例如，映射模块603基于归一化指数函式层的输出，选取机率最高的画质分类，在输出对应机率最高的画质分类的索引。例如，映射模块603基于归一化指数函式层的输出，判断机率最高的画质分类为8K高位元速率，映射模块603产生索引0。

图17是依据本发明一些实施例所示出的影像处理方法流程图。请同时参阅图6、图7以及图17。在此实施例中，前述步骤S1601包含步骤S1701～S1703。在步骤S1701中，由裁剪模块601接收影像104的复制影像并在影像104的复制影像上裁剪出多个裁剪影像。在步骤S1702中，由分类神经网络模块602基于前述多个裁剪影像产生影像104所属影片的画质分类。在步骤S1703中，由映射模块603基于影像104的画质分类产生索引。

图8是依据本发明一些实施例所示出的神经网络模块方框图。图9是依据本发明一些实施例所示出的残差网络层示意图。请参阅图8以及图9，神经网络模块1012包含串联的残差网络层801～80P，其中P为一正整数。残差网络层801～80P经配置以接收预处理模块1011所产生的下取样张量并在处理下取样张量后产生输出张量。其中残差网络层801～80P每一个的架构如残差网络层900所示。残差网络层900包含一个网络层901、加法模块903以及由网络层901的输入直接连接至加法模块903的路径902。其中网络层901包含一个神经网络。值得说明的是，残差网络层801～80P每一个的网络层901的神经网络可以相同或是不相同，本发明并不予以限制。在此实施例中，前述步骤S1302包含由残差网络层残差网络层801～80P接收下取样张量并产生输出张量。

图10是依据本发明一些实施例所示出的训练系统方框图。请参阅图10，训练系统1000包含处理模块1001以及待训练影像处理模块1002。其中待训练影像处理模块1002包含预处理模块1003、神经网络模块1004、上取样模块1005以及加法模块1006。预处理模块1003经配置以接收训练输入影像1007的复制影像，并下取样训练输入影像1007的复制影像以获得下取样张量。神经网络模块1004包含多个第一训练参数。神经网络模块1004经配置以基于前述多个第一训练参数处理下取样张量并产生输出张量。上取样模块1005经配置以上取样输出张量以产生与训练输入影像尺寸相同的上取样张量；以及加法模块1006经配置以对上取样张量以及影像执行逐元素加法以获得训练输出影像。预处理模块1003、神经网络模块1004、上取样模块1005以及加法模块1006的实施方式相同于前述预处理模块1011、神经网络模块1012、上取样模块1013以及加法模块103，因此关于预处理模块1003、神经网络模块1004、上取样模块1005以及加法模块1006的各实施方式，可参考前述预处理模块1011、神经网络模块1012、上取样模块1013以及加法模块103相关的实施例。

处理模块1001经配置以利用训练集中的多个训练影像以及对应所述训练影像的多个目标影像，将前述多个训练影像的每一个作为训练输入影像1007输入至待训练影像处理模块1002以训练待训练影像处理模块1002。在完成训练后，处理模块1001可获得待训练影像处理模块1002的多个影像处理训练参数的每一个的已训练参数值。其中前述影像处理训练参数包含前述第一训练参数。

在本发明一些实施例中，使用者针对不同画质分类(例如前述表(一)所记载的画质分类)以及影像处理系统100在处理影像104后所要产生的效果(例如降噪、锐利化或增加细节等)，搜集多组的训练集。训练系统1000基于这些训练集训练待训练影像处理模块1002以获得不同组的影像处理训练参数的已训练参数值。训练系统1000再依据画质分类将这些不同组的影像处理训练参数的已训练参数值存储入前述存储器模块503中，以供载入模块502经配置以基于对应影像104所属影片的画质分类的索引取出使用。

在本发明一些实施例中，上取样模块1005经配置以基于一个放大倍率对输出张量执行像素混洗以上取样神经网络模块1004所输出的输出张量。

在本发明一些实施例中，上取样模块1005相同于图4所记载的上取样模块1013，包含放大模块以及卷积模块。上取样模块1005的放大模块经配置以放大神经网络模块1004的输出张量以产生放大输出张量。上取样模块1005的卷积模块包含至少一卷积层并且具有多个参数，前述上取样模块1005的卷积模块的多个参数包含卷积层的权重。为说明方便，上取样模块1005的卷积模块的多个参数被称为第二训练参数。上取样模块1005的卷积模块经配置基于前述多个第二训练参数处理放大输出张量以产生上取样张量。上取样模块1005的放大模块以及卷积模块的实施方式相同于前述放大模块401以及卷积模块402，因此上取样模块1005的放大模块以及卷积模块的各实施方式，可参考前述放大模块401以及卷积模块402相关的实施例。

图11是依据本发明一些实施例所示出的训练系统方框图。请参阅图11，训练系统1100包含处理模块1101以及待训练神经网络模块1102。其中待训练神经网络模块1102包含裁剪模块1103以及分类神经网络模块1104。裁剪模块1103经配置以接收训练输入影像1105并在训练输入影像1105的复制影像上裁剪出多个裁剪影像。分类神经网络模块1104包含多个训练参数，分类神经网络模块1104经配置以基于前述裁剪影像产生训练输入影像对应的画质分类。裁剪模块1103以及分类神经网络模块1104的实施方式相同于前述裁剪模块601以及分类神经网络模块602，因此关于裁剪模块1103以及分类神经网络模块1104的各实施方式，可参考前述裁剪模块601以及分类神经网络模块602相关的实施例。

处理模块1101经配置以利用训练集中的多个训练影像以及每一训练影像的画质分类标签训练待训练神经网络模块1102以获得每一训练参数的已训练参数值。

在本发明的一些实施例中，处理模块1101所获得的每一训练参数的已训练参数值载入至分类神经网络模块602，以使分类神经网络模块602能产生影像104所属影片的画质分类。

值得说明的是，处理模块1001以及处理模块1101可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可程序化门阵列(Field-Programmable Gate Array，FPGA)或者其他可程序化逻辑装置。

图12是依据本发明的一些实施例所示出的电子设备系统方框示意图。如图12所示，在硬件层面，电子设备1200包括处理单元1201、内存存储器1202以及非易失性存储器1203。内存存储器1202例如是随机存取存储器(Random-Access Memory，RAM)。非易失性存储器(non-volatile memory)1203例如是至少1个磁盘存储器等。当然，电子设备1200还可能包括其他功能所需要的硬件。

内存存储器1202和非易失性存储器1203，用于存放程序，程序可以包括程序码，程序码包括电脑操作指令。内存存储器1202和非易失性存储器1203向处理单元1201提供指令和数据。处理单元1201从非易失性存储器1203中读取对应的电脑程序到内存存储器1202中然后运行，在逻辑层面上形成影像处理系统100或500。

处理单元1201可能是一种集成电路晶片，具有信号的处理能力。在实现过程中，前述实施例中公开的各方法、步骤可以通过处理单元1201中的硬件的集成逻辑电路或者软件形式的指令完成。处理单元1201可以是通用处理器，包括中央处理器、数字信号处理器、专用集成电路、现场可程序化门阵列或者其他可程序化逻辑装置，可以实现或执行前述实施例中公开的各方法、步骤。

本说明书实施例还提供了一种电脑可读存储媒体，电脑可读存储媒体存储至少一指令，该至少一指令当被电子设备1200的处理单元1201执行时，能够使电子设备1200的处理单元1201执行前述实施例中公开的各方法、步骤。

电脑的存储媒体的例子包括，但不限于相变存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可抹除可程序化只读存储器(EEPROM)、快闪存储器或其他内存存储器技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储器、磁盒式磁带，磁带式磁盘存储器或其他磁性存储设备或任何其他非传输媒体，可用于存储可以被计算设备存取的信息。按照本文中的界定，电脑可读媒体不包括暂态媒体(transitory media)，如调制的数据信号和载波。

前述实施例提供的一种影像处理系统、影像处理方法以及训练系统。在影像处理系统中，影像会先经由预处理模块下取样，而在低分辨率的情况下处理后再加回原影像，因此神经网络模块的输入尺寸可以减少。减少神经网络模块的输入尺寸可以使神经网络模块在运行时的运算量、运算所需的缓冲以及耗能减少，从而在相同的运算资源下，神经网络模块可以被设计为结构较深的神经网络以获得更大的视野。另外，通过前述神经网络训练系统训练所得的参数值，可通过神经网络快速获得影像处理效果。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的构思和范围内，当可作些许的变动与润饰，故本发明的保护范围当视权利要求所界定者为准。

Claims (10)

1.一种影像处理系统，包含：

一影像处理模块，包含一预处理模块、一神经网络模块以及一上取样模块，该预处理模块经配置以接收一影像，并下取样该影像以获得一下取样张量；该神经网络模块经配置以基于多个第一参数处理该下取样张量并产生一输出张量；该上取样模块经配置上取样该输出张量以产生与该影像尺寸相同的一上取样张量；以及

一加法模块，经配置以对该上取样张量以及该影像执行一逐元素加法以获得一输出影像。

2.如权利要求1所述的影像处理系统，其中该预处理模块基于一缩小倍率对该影像执行像素解混洗以下取样该影像，其中该下取样张量保持该影像的一像素信息。

3.如权利要求1所述的影像处理系统，其中该上取样模块经配置以基于一放大倍率对该输出张量执行像素混洗以上取样该输出张量。

4.如权利要求1所述的影像处理系统，其中该上取样模块包含：

一放大模块，经配置以放大该输出张量以产生一放大输出张量；以及

一卷积模块，包含至少一卷积层，该卷积模块经配置基于多个第二参数处理该放大输出张量以产生该上取样张量。

5.如权利要求1所述的影像处理系统，其中该影像为高分辨率影像。

6.如权利要求1所述的影像处理系统，其中，该影像处理系统包含一画质检测模块以及一载入模块；其中该画质检测模块经配置以基于该影像产生对应该影像所属的一影片的一画质分类的一索引；以及该载入模块经配置以基于该索引从一存储器模块中取得对应该画质分类的多个影像处理参数值，并将所述多个影像处理参数值载入至该影像处理模块。

7.如权利要求6所述的影像处理系统，其中该画质检测模块包含一裁剪模块、一分类神经网络模块以及一映射模块；其中，该裁剪模块经配置以接收该影像并在该影像上裁剪出多个裁剪影像；该分类神经网络模块经配置以基于所述多个裁剪影像产生该影像所属的该影片的该画质分类；以及该映射模块经配置以基于该画质分类产生该索引。

8.如权利要求1所述的影像处理系统，其中该神经网络模块包含串联的多个残差网络层，所述多个残差网络层经配置以接收该下取样张量并产生该输出张量。

9.一种影像处理方法，包含：

(a)由一影像处理模块中的一预处理模块接收一影像，并下取样该影像以获得一下取样张量；

(b)由该影像处理模块中的一神经网络模块基于多个第一参数处理该下取样张量并产生一输出张量；

(c)由该影像处理模块中的一上取样模块上取样该输出张量以产生与该影像尺寸相同的一上取样张量；以及

(d)由一加法模块对该上取样张量以及该影像执行一逐元素加法以获得一输出影像。

10.一种训练系统，包含：一处理模块以及一待训练影像处理模块，其中该待训练影像处理模块包含：

一预处理模块，经配置以接收一训练输入影像，并下取样该训练输入影像以获得一下取样张量；

一神经网络模块，经配置以基于多个第一训练参数处理该下取样张量并产生一输出张量；

一上取样模块，经配置以上取样该输出张量以产生与该训练输入影像尺寸相同的一上取样张量；以及

一加法模块，经配置以对该上取样张量以及该训练输入影像执行一逐元素加法以获得一训练输出影像；

该处理模块经配置以利用一训练集中的多个训练影像以及对应所述多个训练影像的多个目标影像训练该待训练影像处理模块以获得该待训练影像处理模块的多个影像处理训练参数的每一个的一已训练参数值，其中所述多个影像处理训练参数包含所述第一训练参数。