CN111814818B - 显示设备及其图像处理方法 - Google Patents

Abstract

提供了图像处理设备和方法。该图像处理设备包括：存储器，被配置为存储至少一个指令；以及处理器，电连接至存储器，其中，处理器通过执行至少一个指令，被配置为：将输入图像应用于训练网络模型；以及将与像素块相对应的纹理片应用于输入图像中包括的像素块，以获得输出图像，其中，训练网络模型存储与基于图像的特性分类的多个类别相对应的多个纹理片，并且训练网络模型被配置为基于输入图像来训练多个纹理片中的至少一个纹理片。

Description

显示设备及其图像处理方法

相关申请的交叉引用

本申请要求于2019年4月2日在韩国知识产权局递交的韩国专利申请No.10-2019-0038439和于2019年7月3日递交的韩国专利申请No.10-2019-0080320的优先权，其全部内容通过引用合并于此。

技术领域

本公开涉及一种图像处理设备及其图像处理方法，尤其涉及一种用于恢复输入图像的纹理分量的图像处理设备及其图像处理方法。

本公开还涉及一种人工智能(AI)系统及其应用，该人工智能系统使用机器学习算法来模拟诸如人脑的辨识和判断之类的功能。

背景技术

随着电子技术的发展，开发并广泛使用了各种类型的电子设备。特别地，近些年来已经开发了在诸如家庭、办公室和公共场所的各种场所中使用的显示设备。

而且，诸如4K超高清(UHD)电视(TV)等的高分辨率显示面板已经被广泛地投放和使用。然而，仍然缺乏高质量的高分辨率内容。因此，已经利用了用于从低分辨率内容生成高分辨率内容的各种技术。然而，由于MPEG/H.264/HEVC等的图像压缩，可能发生内容的纹理丢失，因此需要用于恢复丢失的纹理分量的技术。

最近，在各个领域中使用了实现人类级人工智能(AI)的人工智能系统。人工智能系统是机器进行学习、判断并变得智能的系统，这与现有技术的基于规则的智能系统不同。人工智能系统使用得越多，辨识率就越高，对用户偏好的理解就越好。因此，现有技术的基于规则的智能系统已逐渐被基于深度学习的人工智能系统所取代。

人工智能技术包括机器学习(例如深度学习)、和使用机器学习的基本技术。

机器学习是一种自身对输入数据的特征进行分类/训练的算法技术。元素技术(Element technology)是一种使用诸如深度学习之类的机器学习算法来模拟诸如人脑的辨识和判断之类的功能的技术，并且包括语言理解、视觉理解、推理/预测、知识表示、运动控制等。

人工智能技术可以应用于各种领域，下面描述其示例。语言理解是用于辨识、应用和处理人类语言/字符的技术，包括自然语言处理、机器翻译、对话系统、查询响应、语音辨识/合成等。视觉理解是一种用于辨识和处理仿佛由人类感知的对象的技术，包括对象辨识、对象跟踪、图像搜索、人类辨识、场景理解、空间理解、图像增强等。推理预测是用于判断并逻辑推断和预测信息的技术，包括基于知识/概率的推理、优化预测、基于偏好的计划和推荐。知识表示是将人类体验信息自动转为知识数据的技术，包括知识构建(数据产生/分类)和知识管理(数据利用)。运动控制是一种用于控制设备或物体的自主运动的技术，例如车辆的行驶和机器人的运动，包括运动控制(导航、碰撞和行驶)、操作控制(行为控制)等。

现有技术的图像处理设备具有以下问题：应用固定的纹理片来恢复丢失的纹理分量，或者应用不太适合图像的纹理片。因此，需要一种用于生成适合图像的纹理的技术。

发明内容

提供了一种图像处理设备及其图像处理方法，该图像处理设备用于通过使用基于输入图像的特性而训练的纹理片来增强输入图像的细节。

附加方面部分地将在以下描述中阐述，且部分地将通过以下描述而变得清楚明白，或者可以通过实践所呈现的实施例来获知。

根据本公开的一个方面，提供了一种图像处理设备，包括：存储器，被配置为存储至少一个指令；以及至少一个处理器，电连接至存储器，其中，所述至少一个处理器通过执行所述至少一个指令，被配置为：将输入图像应用于训练网络模型，以及将与像素块相对应的纹理片应用于输入图像中包括的像素块，以获得输出图像，其中，所述训练网络模型存储与基于图像的特性分类的多个类别相对应的多个纹理片，并且训练网络模型被配置为基于输入图像来训练所述多个纹理片中的至少一个纹理片。

所述训练网络模型可以被配置为：基于所述像素块的特性来在所述多个类别中识别类别；获得与所识别的类别相对应的纹理片；将所述像素块和所识别的类别之间的第一相似度与所述纹理片和所识别的类别之间的第二相似度进行比较；以及基于所述比较来确定是否更新所述纹理片。

所述训练网络模型可以被配置为：基于所述比较来用所述像素块代替与所识别的类别相对应的纹理片；或者将所述像素块添加为与所识别的类别相对应的另一纹理片。

根据所述比较，基于所述第一相似度小于所述第二相似度，所述训练网络模型可以被配置为维持与所识别的类别相对应的纹理片；以及根据所述比较，基于所述第一相似度大于所述第二相似度，所述训练网络模型可以被配置为基于所述像素块来更新所述纹理片。

基于与所识别的类别相对应的纹理片包括多于一个纹理片，所述训练网络模型可以被配置为基于所述像素块和所述多于一个纹理片中的每个纹理片之间的相关性来识别所述多于一个纹理片中的一个纹理片。

所述训练网络模型可以被配置为基于所述至少一个纹理片的存储时间和所述至少一个纹理片的应用频率中的至少一个来训练所述至少一个纹理片。

基于根据所述像素块的特性确定所述像素块不对应于所述多个类别中的一个类别，所述训练网络模型可以被配置为基于所述像素块的所述特性生成新的类别，并将所述像素块映射并存储到所述新的类别。

所述训练网络模型可以被配置为：识别与所述输入图像中包括的多个像素块中的每个像素块相对应的类别；以及基于所述多个类别中的每个类别的识别频率，改变所述存储器中与所述多个类别中的至少一个类别相对应的存储空间的大小。

所述训练网络模型可以被配置为：基于所述识别频率来从所述存储器中移除与少于预定次数识别出的类别相对应的纹理片；以及将作为所述移除的结果而获得的存储空间分配给其他类别。

可以基于平均像素值、像素坐标、方差、边缘强度、边缘方向或颜色中的至少一个来对所述多个类别进行分类。

所述至少一个处理器还可以被配置为：基于所述纹理片与所述像素块之间的相关性，获得用于所述纹理片的加权值；并且通过将应用了所述加权值的纹理片应用于所述像素块来获得所述输出图像。

所述输出图像可以4K超高清(UHD)图像或8K UHD图像。

根据本公开的一个方面，提供了一种图像处理设备的图像处理方法，所述方法包括：将输入图像应用于训练网络模型；以及将与像素块相对应的纹理片应用于输入图像中包括的像素块，以获得输出图像，其中，训练网络模型存储与基于图像的特性分类的多个类别相对应的多个纹理片，并且基于输入图像来训练多个纹理片中的至少一个纹理片。

所述训练网络模型可以基于所述像素块的特性来在所述多个类别中识别类别，获得与所识别的类别相对应的纹理片，将所述像素块和所识别的类别之间的第一相似度与所述纹理片和所识别的类别之间的第二相似度进行比较，以及基于所述比较来确定是否更新所述纹理片。

所述训练网络模型可以基于所述比较来用所述像素块代替与所识别的类别相对应的纹理片，或者将所述像素块添加为与所识别的类别相对应的另一纹理片。

根据所述比较，基于所述第一相似度小于所述第二相似度，所述训练网络模型可以维持与所识别的类别相对应的纹理片；以及根据所述比较，基于所述第一相似度大于所述第二相似度，所述训练网络模型可以基于所述像素块来更新所述纹理片。

基于与所识别的类别相对应的纹理片包括多于一个纹理片，所述训练网络模型可以基于所述像素块和所述多于一个纹理片中的每个纹理片之间的相关性来识别所述多于一个纹理片中的一个纹理片。

所述训练网络模型可以基于所述至少一个纹理片的存储时间和所述至少一个纹理片的应用频率中的至少一个来训练所述至少一个纹理片。

基于所述像素块根据所述像素块的特性而不对应于所述多个类别中的一个类别，所述训练网络模型可以基于所述像素块的所述特性生成新的类别，并可以将所述像素块映射并存储到所述新的类别。

可以基于平均像素值、像素坐标、方差、边缘强度、边缘方向或颜色中的至少一个来对所述多个类别进行分类。

根据本公开的一个方面，提供了一种记录有程序的非暂时性计算机可读记录介质，所述程序可被计算机执行以执行方法。

根据本公开的一个方面，提供了一种图像处理设备的图像处理方法，所述方法包括：基于输入图像来对训练网络模型进行训练，所述训练网络模型存储与基于图像特性而分类的多个类别相对应的多个纹理片；以及通过向输入图像中包括的像素块应用存储在所述训练网络模型中的多个纹理片之中的与所述像素块相对应的纹理片，来获得输出图像。

所述训练训练网络模型可以包括：基于所述像素块的特性，在所述多个类别中识别类别；获得与所识别的类别相对应的纹理片；将所述像素块和所识别的类别之间的第一相似度与所述纹理片和所识别的类别之间的第二相似度进行比较；以及基于所述比较来确定是否更新所述训练网络模型中的所述纹理片。

所述训练训练网络模型还可以包括：基于确定更新所述纹理片，用所述像素块代替与所识别的类别相对应的纹理片；或将所述像素块添加为与所识别的类别相对应的另一纹理片。

确定是否更新所述纹理片可以包括：根据所述比较，基于所述第一相似度小于所述第二相似度，在所述训练网络模型中维持与所识别的类别相对应的纹理片；以及根据所述比较，基于所述第一相似度大于所述第二相似度，基于所述像素块来更新所述纹理片。

获得与所识别的类别相对应的纹理片可以包括：基于与所识别的类别相对应的纹理片包括多于一个纹理片，基于所述像素块与所述多于一个纹理片中的每个纹理片之间的相关性来确定所述多于一个纹理片中的一个纹理片。

对所述训练网络模型进行训练可以包括：基于所述多个纹理片中的至少一个纹理片的存储时间和所述至少一个纹理片的应用频率中的至少一个来对所述训练网络模型进行训练。

对所述训练网络模型进行训练可以包括：基于所述像素块根据所述像素块的特性而不对应于所述多个类别中的一个类别，在所述训练网络模型中，基于所述像素块的特性来生成新的类别，并且将所述像素块映射并存储到所述新的类别。

可以基于平均像素值、像素坐标、方差、边缘强度、边缘方向或颜色中的至少一个来对所述多个类别进行分类。

根据本公开的一个方面，提供了一种记录有程序的非暂时性计算机可读记录介质，所述程序可被计算机执行以执行方法。

附图说明

根据结合附图的以下描述，本公开的特定实施例的上述和其他方面、特征以及优点将更清楚，在附图中：

图1是说明根据一个实施例的图像处理设备的示例实施例的图；

图2是说明根据一个实施例的图像处理设备的配置的框图；

图3是说明根据一个实施例的像素块的图；

图4是说明根据一个实施例的纹理片的图；

图5是说明根据一个实施例的训练网络模型的图；

图6是说明根据一个实施例的类别和纹理片的图；

图7是说明根据一个实施例的用于训练输入图像的模型的图；

图8是说明根据另一实施例的类别的图；

图9是说明根据一个实施例的训练结果的图；

图10是说明根据另一实施例的类别的图；

图11是示出根据一个实施例的图像处理设备的详细配置的框图；

图12是说明根据一个实施例的用于训练和使用训练网络模型的处理器的配置的框图；以及

图13是说明根据一个实施例的图像处理方法的流程图。

具体实施方式

本说明书中使用的所有术语，包括技术术语和科学术语，具有与相关领域技术人员通常所理解的相同的含义。然而，这些术语可以根据本领域技术人员的意图、法律或技术解释以及新技术的出现而变化。另外，一些术语是由申请人任意选择的。这些术语可以以本文定义的含义来解释，并且除非另有说明，否则可以基于本说明书的全部内容和本领域的公知技术来解释。

在本说明书中，诸如“包括”和“具有/含有”之类的术语应解释为表示存在这样的特征(例如，数字、操作、元件或组件)，并且不排除添加其他特征中的一个或多个的存在或可能性。

在本公开中，表述“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A和/或B中的一个或多个”等包括所列项目的所有可能的组合。

诸如“第一”和“第二”之类的术语可用于修改各种元件，而与顺序和/或重要性无关。这些术语仅用于将组件与其他组件区分开的目的。

当元件(例如，第一组成元件)被称为“可操作地或通信地耦合至”或“连接至”另一元件(例如，第二组成元件)时，应当理解，每个组成元件都直接连接，或经由另一组成元件(例如，第三组成元件)间接连接。

单数表达还包括复数含义，只要单数表达在对应的上下文中不传达不同的含义即可。在本说明书中，诸如“包括”和“具有/含有”之类的术语应解释为表示在说明书中存在这样的特征、数量、操作、元件、组件或其组合，并且不排除添加一个或多个其他特征、数字、操作、元件、组件或其组合的存在或可能性。

在一个或多个实施例中，“模块”、“单元”或“部件”执行至少一个功能或操作，并且可以被实现为诸如处理器或集成电路之类的硬件、由处理器执行的软件或其组合。另外，可以将多个“模块”、多个“单元”或多个“部件”集成到至少一个模块或芯片中，并且可以实现为除了应在特定的硬件中实现的“模块”、“单元”或“部件”以外的至少一个处理器。

在本说明书中，术语“用户”是指使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。

在下文中，将参考附图详细描述一个或多个实施例。

图1是说明根据一个实施例的图像处理设备100的示例实施例的图。

参考图1，图像处理设备100可以被实现为TV，但是不限于此。图像处理设备100可以被实现为包括显示功能的任何类型的设备，诸如智能电话、平板PC、膝上型计算机、头戴式显示器(HMD)、近眼显示器(NED)、大幅面显示器(LFD)、数字标牌、数字信息显示器(DID)、视频墙、投影仪显示器等。

图像处理设备100可以接收各种分辨率的图像或各种压缩图像。例如，图像处理设备100可以接收标准清晰度(SD)图像、高清晰度(HD)图像、全HD图像、超HD图像(例如4KUHD、8K UHD等)等。图像处理设备100可以接收诸如MPEG(例如，MP2、MP4、MP7等)、AVC、H.264、HEVC等的压缩形式的图像。

根据实施例，即使图像处理设备100被实现为UHD TV，SD图像、HD图像、全HD图像等(以下称为低分辨率图像)也可以被输入，这是例如因为缺少UHD内容。在这种情况下，可以使用用于将输入的低分辨率图像10扩展为UHD图像或更高分辨率的图像(以下称为高分辨率图像)的方法。然而，在现有技术中存在一个问题，即在扩展图像的过程中图像的纹理模糊并且细节劣化。图像的纹理指被视为相同图像特征的区域的独特图案或形状。

此外，即使输入高分辨率图像，由于图像压缩也可能发生纹理损失，从而可能无法确保细节。随着像素数量的增加，数字图像可能会使用更多数据，并且在压缩的情况下，不可避免地会由于压缩而导致纹理丢失。

因此，下面将针对各种情况描述用于恢复丢失的纹理分量并增强图像的细节的各种实施例。

图2是说明根据一个实施例的图像处理设备100的配置的框图。

参考图2，图像处理设备100可以包括存储器110和处理器120。

存储器110可以电连接到处理器120，并且可以存储在各种实施例中使用的数据。例如，存储器110可以被实现为内部存储器，诸如只读存储器(ROM)(例如，电可擦除可编程只读存储器(EEPROM))、随机存取存储器(RAM)或与处理器120分离的存储器。在这种情况下，取决于数据存储的目的，存储器110可以实现为嵌入在图像处理设备100中的存储器或插入到图像处理设备100中的可移除存储器的形式。例如，用于驱动图像处理设备100的数据可以被存储在嵌入在图像处理设备100中的存储器中，并且用于图像处理设备100的扩展功能的数据可以被存储在可与图像处理设备100连接或可从图像处理设备100拆卸的存储器中。嵌入在图像处理设备100中的存储器可以用易失性存储器(例如，动态RAM(DRAM)、静态RAM(SRAM)、同步动态RAM(SDRAM)等)、非易失性存储器(例如一次性可编程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、屏蔽ROM、闪存ROM、闪存(例如NAND闪存或NOR闪存)、硬盘驱动器或固态驱动器(SSD)中的至少一种来实现。可从图像处理设备100移除的存储器可以由存储卡(例如，紧凑型闪存卡，安全数字(SD)卡、微型SD卡、迷你SD卡、极限数字(xD)卡等)、可连接至USB端口的外部存储器(例如，USB存储器)等实现。

存储器110可以存储用于获得与输入图像10中包括的像素块相对应的纹理片的训练网络模型。训练网络模型可以是基于多个图像的机器学习模型。例如，训练网络模型可以是基于多个样本图像和输入图像10的基于卷积神经网络(CNN)训练的模型。CNN可以是具有为语音处理、图像处理等设计的特定连接结构的多层神经网络。特别地，CNN可以通过预处理像素以各种方式过滤图像，并辨识图像的特性。例如，CNN可以辨识包括在输入图像10中的预定尺寸的像素块的特性。训练网络模型不限于CNN。例如，图像处理设备100可以基于诸如递归神经网络(RNN)、深度神经网络(DNN)等的各种神经网络来使用训练网络模型。

同时，“纹理片(texture patch)”指应用于像素块以改善像素块的纹理的片。术语“片”可以是为了方便而考虑功能所应用的术语，但是在实施例中可以使用除术语“片”之外的各种术语。例如，每个片可以具有其中多个片值以像素单元的矩阵形式对齐的结构，因此可以被称为掩模。由于将纹理片应用于像素块，可以改善像素块的纹理，并且可以改善像素块的细节。与不管像素块的特性如何都固定到像素块的纹理片相反，图像处理设备100可以使用训练网络模型来应用更新的纹理片。

处理器120可以电连接到存储器110，并且控制图像处理设备100的整体操作。

根据实施例，处理器120可以被实现为数字信号处理器(DSP)、微处理器或时间控制器(TCON)，但是不限于此。处理器120可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)、ARM处理器等，或可以由相应术语定义。处理器120可以被实现为片上系统(SoC)、具有内置处理算法的大规模集成(LSI)，或者被实现为现场可编程门阵列(FPGA)的形式。

处理器120可以通过处理输入图像来获得输出图像。处理器120可以通过对输入图像执行纹理增强处理来获得输出图像。输出图像可以是超高清(UHD)图像，具体地，是4KUHD图像或8K UHD图像，但不限于此。

根据实施例的处理器120可以获得用于纹理增强处理的纹理片。处理器120可以通过将输入图像10应用于训练网络模型来获得与输入图像10中包括的像素块相对应的纹理片。像素块是指包括至少一个像素的一组相邻像素。

图3是说明根据一个实施例的像素块20的图。

参考图3，处理器120可以以像素块20为单元划分构成输入图像10的图像帧的多个像素，并且将多个像素输入到训练网络模型。根据一个实施例，处理器120可以将构成图像帧的多个像素块20顺序地输入到训练网络模型。训练网络模型可以输出分别与多个像素块20-1、..和20-n对应的纹理片30-1、...和30-n(见图5)。

处理器120可以将输入图像10划分或识别为5×5像素块20，但是像素块的尺寸不限于此。像素块的尺寸可以实施为各种尺寸的N×N(例如3×3、4×4等)或M×N。处理器120可以根据输入图像的分辨率(例如，FHD)、输出图像的分辨率(UHD和8K)等中的至少一个，将输入图像10划分或识别为各种尺寸的像素块20。在下文中，为了便于说明，将在构成输入图像10的图像帧中以矩阵格式布置像素块20的预定尺寸的像素组称为从输入图像10获得的像素块20。

参考图2，处理器120可以通过将输入图像10应用于训练网络模型来获得与像素块20相对应的纹理片。现在将参考图4对其进行详细描述。

图4是说明根据一个实施例的纹理片30的图。

图4是示出构成输入图像10的每个像素作为像素值的图。处理器120可以通过将输入图像10应用于训练网络模型来获得与像素块20相对应的纹理片30。应用是指将输入图像10输入训练网络模型，并且训练网络模型的输出可以是纹理片30。

训练网络模型可以输出与输入图像10中包括的像素块20相对应的纹理片30，并且基于像素块20执行训练。

训练网络模型可以包括基于图像的各种特性中的任何一个而分类的多个类别，并且包括与每个类别相对应的纹理片30。例如，训练网络模型可以基于图像的特性之中的边缘方向来存储多个分类类别，并且包括与多个类别中的每一个相对应的纹理片30。作为另一示例，训练网络模型可以在图像的特性之中存储基于像素块20的单元中的灰度平均值所分类的多个类别，并且包括与每个类别相对应的纹理片30。

图像处理设备100可以包括多个训练网络模型。图像处理设备100可以包括多个训练网络模型，诸如用于基于边缘方向划分类别并对纹理片30执行训练的第一训练网络模型、用于基于灰度平均值划分类别并执行训练的第二训练网络模型、用于基于颜色坐标划分类别并执行训练的第三训练网络模型等。图像处理设备100可以基于输入图像10的特性来识别多个训练网络模型中的任何一个，并且将所识别的训练网络模型应用于输入图像10以获得纹理片30。例如，图像处理设备100可以包括预处理训练网络模型，该预处理训练网络模型用于基于输入图像10的特性来识别多个训练网络模型中的任何一个以获得适当的纹理片30。例如，如果构成输入图像的多个像素的颜色分布在相似的颜色范围中，则预处理训练网络模型可以识别第一训练网络模型，该第一训练网络模型用于基于边缘方向划分类别并基于图像的特性输出纹理片30。

训练网络模型可以基于输入图像10来执行训练。例如，训练网络模型可以针对与输入图像10中包括的像素块20相对应的类别来识别像素块20的第一相似度，并且针对该类别来识别与该类别相匹配的所获得的纹理片30的第二相似度。在这种情况下，例如，如果第一相似度大于第二相似度，则训练网络模型可以确定所获得的纹理片30不适用于输入图像10的纹理改善，并且基于输入图像10的像素块20来执行更新。当在构成输入图像10的各种像素块之中输出与像素块20相同的类别中包括的另一像素块20′相对应的纹理片30时，训练网络模型可以输出基于像素块20更新的纹理片30’而不是更新之前的纹理片30。因此，从训练网络模型输出的纹理片30可能适合于输入图像10的纹理增强。此外，如果第二相似度大于第一相似度，则训练网络模型可以确定所获得的纹理片30适合于输入图像10的纹理增强并且维持纹理片30。

用于在多个类别之中分类(或识别)与像素块20相对应的类别的训练网络模型的操作可以被称为分类器、类别识别器等。如果输入了输入图像10中包括的像素块20，则分类器可以在多个类别之中识别适合于像素块20的类别。例如，分类器可以识别像素块20的边缘方向，并且识别所识别的边缘方向与用于限定多个类别中的每一个的边缘方向之间的相似度。分类器可以将多个类别之中具有最大相似度的类别识别为与像素块20相对应的类别。

可以通过用于识别与像素块20相对应的类别的模型(例如，分类器模型)以及和用于比较像素块20和与像素块20相对应的纹理片30的相似度并对纹理片30执行自学习的模型的组合，来限定训练网络模型。训练网络模型可以是设备上机器学习模型，其中图像处理设备100在不依赖于外部设备的情况下训练自身。然而，这仅是示例，并且应当理解，一个或多个其他实施例不限于此。例如，根据另一实施例，训练网络模型可以被实现为使得分类器模型可以在设备上操作，即在图像处理设备100中操作，并且用于对纹理片执行训练的模型可以基于外部设备或服务器来操作。

因此，训练网络模型可以存储与基于图像的特性分类和训练的多个类别中的每个类别相对应的纹理片30。训练网络模型可以在输出与输入图像10相对应的纹理片时基于输入图像10中包括的像素值来训练与多个类别中的每个类别相对应的纹理片30。

参考图4，训练网络模型可以基于像素块20的特性来在多个类别中识别与像素块20相对应的单个类别。例如，训练网络模型可以存储基于图像的各种特征之中的基于边缘方向(或边缘图案)分类的多个类别。边缘是指像素值(或像素亮度)从低值变为高值或从高值变为低值的点。因此，边缘是指根据图像中包括的各种对象生成的对象之间的边界。训练网络模型可以在多个类别之中识别与像素块20的边缘方向(或边界的方向)相对应的单个类别。训练网络模型可以在多个类别之中识别与像素块20的边缘方向最类似(或最适合)的信号类别。训练网络模型可以输出与所识别的类别相对应的纹理片30。参考图2，处理器120可以通过将从训练网络模型输出的纹理片应用于输入图像10来执行纹理增强处理。

图5是说明根据一个实施例的训练网络模型的图。

如上所述，训练网络模型可以存储基于图像的特性分类的多个类别、以及与多个类别中的每一个相对应的至少一个纹理片30-1、30-2、…30-8。参考图5，训练网络模型可以包括基于图像的特性之中的边缘方向所分类的第一至第n类别。训练网络模型可以包括与第一至第n类别中的每一个相对应的纹理片30-1、30-2、…30-8。图像的特性可以包括像素块20中包括的像素值的平均值、方差、像素坐标、边缘强度、边缘方向、颜色等中的至少一个。根据实施例的训练网络模型可以包括基于像素值的平均值、方差、像素坐标、边缘强度、边缘方向、颜色等中的至少一个所分类的多个类别。除了上述示例之外，训练网络模型可以基于从像素块20所识别的各种特性来生成多个类别，并且识别像素块20对应于多个类别中的哪一个。例如，训练网络模型可以基于颜色坐标对类别进行分类，并且可以基于像素块20中包括的像素的颜色坐标的平均值来识别与像素块20相对应的类别。

参考图5，处理器120可以以像素块20为单位对构成输入图像10的图像帧中包括的多个像素进行分类，并将多个像素(即像素块20-1、...和20-n)输入到训练网络模型中。处理器120可以将构成图像帧的多个像素块20-1、...和20-n顺序地输入到训练网络模型中。训练网络模型可以输出分别对应于多个像素块20-1、...和20-n的纹理片30-1、...和30-n。

例如，训练网络模型可以基于第一像素块20-1的特性在多个类别之中识别与第一像素块20-1相对应的类别。在这种情况下，训练网络模型可以基于构成第一像素块20-1的像素来识别第一像素块20-1的边缘方向，并且识别所识别的边缘方向对应于多个类别中的哪一个。训练网络模型可以识别多个类别与第一像素块20-1之间的相似度。例如，如果第一像素块20-1的边缘方向是0°，则与第二至第八类别(Class#2-Class#8)相比，训练网络模型可以在第一类别(Class#1)中获得高相似度(或适合度)。第一类别(Class#1)可以指基于0°的边缘方向限定的类别。训练网络模型因此可以将第一类别(Class#1)识别为与第一像素块20-1相对应的类别。处理器120可以通过训练网络模型获得与第一类别(Class#1)相对应的第一纹理片30-1。

作为另一示例，如果第二像素块20-2被识别为与多个类别中的第二类别(Class#2)相对应，则训练网络模型可以提供与第二类别(Class#2)相对应的第二纹理片30-2。

为了便于说明，图5示出了训练网络模型包括基于边缘方向的第一至第八类别，并且每个类别均包括单个纹理片，即第一至第八纹理片30-1、...和30-8。然而，应理解，这仅是示例，并且一个或多个其他实施例不限于此。

同时，如果基于像素块20的特性将像素块20识别为与多个类别中的任何一个都不对应，则训练网络模型可以基于像素块20的特性来生成新类别，并且将像素块20映射并存储在新类别中。例如，如果像素块20与多个类别之间的相似度小于阈值，则训练网络模型可以基于像素块20的特性来生成除该多个类别之外的新类别。

参考图5，根据一个实施例，如果第一至第八类别与第四像素块20-4之间的相似度是阈值或更小(或小于阈值)，即，不存在被识别为与第四像素块20-4相对应的类别，则训练网络模型可以基于第四像素块20-4的特性来生成第九类别。例如，如果基于边缘方向对多个类别进行分类，则训练网络模型可以识别构成第四像素块20-4的像素的边缘方向，并基于所识别的边缘方向来生成第九类别。训练网络模型可以将第四像素块20-4映射到第九类并存储第四像素块20-4。例如，训练网络模型可以将第四像素块20-4存储为与新生成的第九类别相对应的纹理片。

如果识别出与对应于像素块20的类别相匹配的纹理片30，则训练网络模型可以基于像素块20与该类别之间的相似度以及纹理片30与该类别之间的相似度来识别纹理片30是否已被更新。训练网络模型可以通过将用于限定类别的参考和像素块20之间的相似度(或适合度)与用于限定类别的参考和与该类别相匹配的纹理片30之间的相似度进行比较，来识别是否已经执行了更新。参考图5，如上所述，训练网络模型可以包括基于边缘方向分类的多个类别。多个类别中的第一类别(Class#1)可以是由0°限定边缘方向的类别，并且第五类别(Class#5)可以是由90°限定边缘方向的类别。如果输入了第一像素块20-1，则训练网络模型可以基于第一像素块20-1的边缘方向来识别多个类别中具有最大相似度的第一类别(Class#1)。可以通过将第一类别(Class#1)和第一像素块20-1之间的相似度与第一类别(Class#1)和第一纹理片30-1之间的相似度进行比较来识别第一纹理片30-1是否已经被更新。

现在将参考图6进行更新的详细描述。

图6是说明根据一个实施例的类别和纹理片30的图。

参考图6，训练网络模型可以基于像素块20的特性来在多个类别中识别与像素块20相对应的类别。例如，如果像素块20包括65°的边缘方向，则训练网络模型可以从第一到第八类别(Class#1到Class#8)中识别由67.5°的边缘方向限定的第四类别(Class#4)。训练网络模型可以获得与所识别的第四类别(Class#4)相对应的纹理片30。

训练网络模型可以基于像素块20和第四类别(Class#4)之间的相似度以及纹理片30与第四类别(Class#4)之间的相似度来识别纹理片30是否已被更新。可以使用各种类型的相似度测量算法、适合度测量算法和机器学习算法来测量、确定或获得相似度。例如，可以通过比较基于灰度值中的至少一个的直方图、计算欧几里得距离等来识别相似度。作为另一示例，可以基于卷积神经网络(CNN)训练的算法来附加地或替代地识别相似度。

例如，当根据训练网络模型的另一(例如，先前的)输入图像、样本图像等与第四类别(Class#4)匹配的纹理片30的边缘方向是50°时，用于限定第四类别(Class#4)的边缘方向可以是67.5°。因此，训练网络模型可以识别边缘方向为65°的像素块20的第一相似度可以大于边缘方向为50°的纹理片30的第二相似度，并且像素块20适用于第四类别(Class#4)。训练网络模型可以基于像素块20来替代或更新纹理片30。如果输入了包括在输入图像10中的另一像素块，并且另一个像素块对应于第四类别(Class#4)，则训练网络模型可以输出基于边缘方向为65°的像素块20而更新的纹理片。处理器120可以基于更新的纹理片来生成另一个像素块的纹理。

作为另一示例，当类别和与该类别匹配的纹理片30之间的第二相似度大于与像素块相对应的类别和像素块20之间的第一相似度时，训练网络模型可以识别纹理片30适合于像素块20和输入图像10的纹理生成，并且将纹理片30保持为原样。

训练网络模型可以在获得与输入图像10中包括的像素块20相对应的纹理片30的过程中更新纹理片30，并且生成包括适合于输入图像10的纹理增强的纹理片30在内的图像处理模型。

例如，当将训练网络模型应用于包括诸如森林、草坪等对象在内的输入图像10时，训练网络模型可以将构成输入图像10的像素块20和类别之间的相似度与预存储的纹理片30和该类别之间的相似度进行比较，以维持预存储的纹理片30，或用像素块20代替(或更新)预存储的纹理片30。根据一个实施例，当训练网络模型被应用于输入图像10中包括的另一像素块时，训练网络模型可以在先前的处理中识别基于像素块20更新的纹理片。在这种情况下，更新的纹理片可以从输入图像10获得，并且与包括在同一输入图像10中的另一像素块具有高相关性和高适合度。因此，处理器120可以通过将更新的纹理片应用于另一个像素块来获得具有改善的纹理和细节的输出图像。

根据实施例的训练网络模型可以基于与多个类别中的每一个相对应的纹理片30的应用频率或存储时间中的至少一个来训练纹理片30。

即，根据一个实施例，训练网络模型可以基于输入图像10来训练纹理片30，并且还考虑预存储的纹理片30是何时存储的。例如，如果识别出或确定了与输入图像10中包括的像素块20相对应的纹理片30的存储时间经过了预定时间(例如，在预定时间段之前)，则训练网络模型可以用像素块20代替纹理片30。当纹理片30的存储时间长时，相对于输入图像10的适合度或适用性以及在匹配关系中与类别的相似度可能较低。因此，训练网络模型可以基于输入图像10中包括的像素块20执行训练，并更新纹理片30。训练网络模型可以将输入图像10中包括的像素块20映射到与像素块20相对应的类别的纹理片30，并且使用新映射的纹理片30来生成输入图像10的纹理。

作为另一示例，如果像素块20与类别之间的相似度和纹理片30与该类别之间的第二相似度相同，则训练网络模型可以基于纹理片30的存储时间、应用频率等来更新纹理片30。例如，当第一相似度和第二相似度相同时，像素块20可能更适合于输入图像10(而不是预先存储的纹理片30)的纹理生成，并且可以基于像素块20更新纹理片30。备选地，基于第一相似度和第二相似度相同，训练网络模型可以除了纹理片30之外还添加像素块20。

然而，这些仅是示例，并且当纹理片30的存储时间经过预定时间时，一个或多个其他实施例可以不更新纹理片30。

此外，根据一个实施例，训练网络模型可以基于纹理片30的应用频率来训练纹理片30。例如，当特定纹理片30被识别为经常用于生成除了当前输入图像10之外的另一输入图像(或其他输入图像，例如先前的输入图像)的纹理时，特定纹理片30可以具有相对于该类别的高适合度或适用性，并且可用地适用于纹理生成。然而，如果识别出特定纹理片30较不频繁地用于纹理生成，则训练网络模型可以识别或确定(或者可以被理解为)纹理片30在映射关系中相对于该类别的适合度或适用性较低。在这种情况下，训练网络模型可以用输入图像10中包括的像素块20代替纹理片30。

如上所述，在一个或多个实施例中，如果基于像素块20的特性将多个类别中的特定类别识别为与像素块20相对应的类别，并且如果与所识别的类别相对应的纹理片30的存储时间经过预定时间和/或纹理片30的应用频率小于阈值(例如，阈值次数)，则训练网络模型可以用像素块20代替纹理片30。

图7是说明根据一个实施例的用于训练输入图像10的模型的图。

参考图7，训练网络模型可以不存储与多个类别的一部分相对应的一个或多个纹理片30。例如，训练网络模型可以不存储图5的分别与第一至第八类别相对应的所有第一至第八纹理片30-1、...和30-8，而是可以仅存储用于映射关系中的多个类别中的一些类别的纹理片30-1、30-2、…30-8，而其余的类别可以不具有所存储的且与其映射的对应的纹理片。在这种情况下，训练网络模型可以基于输入图像10获得并存储纹理片30。例如，当训练网络模型识别出与输入图像10中包括的像素块20相对应的类别，但是不包括与所识别的类别相对应的纹理片30时，训练网络模型可以将像素块20映射并存储到所识别的类别。

同时，以上已经描述了该类别仅包括映射到其的单个纹理片30，但是应当理解，一个或多个其他实施例不限于此。例如，第一类别可以包括与存储并映射到其的第一类别相对应的至少两个纹理片30。根据一个实施例，训练网络模型可以识别输入图像10中包括的像素块20的类别，并且将像素块20添加到所识别的类别作为纹理片30。在这种情况下，训练网络模型可以不删除或替换预先存储的纹理片30，而是可以将预先存储的纹理片30设置为第一纹理片，并且将像素块20设置为第二纹理片，并将第一纹理片和第二纹理片映射和存储到对应的类别。

基于被识别为与包括多个纹理片30在内的像素块20相对应的纹理片30，训练网络模型可以基于像素块20与多个纹理片30中的每一个之间的相关性来识别多个纹理片30中的一个。例如，当与像素块20相对应的类别是第四类别，并且与第四类别具有映射关系的纹理片30包括第一至第三纹理片30时，训练网络模型可以识别或确定像素块20与第一至第三纹理片30中的每一个之间的相关性，并在所识别的相关性之中识别具有最大相关值的纹理片30。具有最大相关值的纹理片30是指对于像素块20的纹理生成具有最高适合度或适用性的片。训练网络模型可以通过将所识别的纹理片30应用于像素块20来生成纹理。

图8是说明根据另一实施例的类别的图。

参考图8，训练网络模型可以基于图像的一个或多个特性将像素块20识别为第一至第十六类别中的一个。训练网络模型可以识别与分类类别具有映射关系的纹理片30。所识别的纹理片30可以被应用于像素块20。

训练网络模型可以基于各种参考来区分类别。类别的数量可以不是固定的或受限制的，但是训练网络模型可以删除多个类别中的特定类别，或者生成除多个类别之外的附加类别。

为了便于说明，已经描述了基于边缘方向对类别进行分类，但是应当理解，一个或多个其他实施例不限于此。例如，训练网络模型可以基于颜色坐标的分布来对第一至第n类别进行分类，并且可以基于输入图像10中包括的像素块20的颜色坐标分布来识别第一至第n类别之中的对应类别。又例如，训练网络模型可以基于平均灰度值、灰度值的分布等对第一至第n类别进行分类。

图9是说明根据一个实施例的训练结果的图。

参考图9，训练网络模型可以提供与构成输入图像10的多个像素块20中的每一个相对应的纹理片30，并且处理器120可以通过将纹理片30应用于像素块20来获得具有改善的细节的输出图像。

由于训练网络模型基于输入图像10中包括的像素块20执行训练，因此在输入图像10之前和之后，训练网络模型中包括的多个类别和纹理片30可能不同。例如，在输入图像之前的训练网络模型可以包括基于先前输入的另一图像或样本图像而训练的纹理片30。训练网络模型可以识别或确定输入图像10中包括的像素块20和与像素块20相对应的类别之间的相似度、以及与该类别映射的纹理片30和该类别之间的相似度，并基于识别结果来更新纹理片30。例如，训练网络模型可以用像素块20代替纹理片30，或者维持纹理片30。

参考图9，与训练网络模型中包括的多个类别中的一部分或一些相对应的纹理片30可以由输入图像10中包括且与那些类别相对应的像素块20代替。同时，多个类别中的其余类别可以在映射关系中维持纹理片30。

图5、图6和图7示出了由箭头指示的与像素块20相对应的类别，并且图9示出了由箭头指示的根据训练网络模型的训练结果，纹理片30被像素块20代替。例如，参考图9，与类别2、4和6中的每个类别相对应的纹理片30可以被输入图像10中包括的像素块20代替。

根据一个实施例，处理器120可以基于纹理片30和像素块20之间的关系来获得纹理片30的加权值。处理器120可以通过将应用了加权值的纹理片30应用于像素块20来获得输出图像。

可以将输入图像10中包括的像素块20与从训练网络模型获得的纹理片30之间的相关性(或关联)计算为值(例如，预定值)。相关度可以由称为相关系数的值来表示。例如，相关系数可以由-1.0和+1.0之间的值表示，并且与正负号无关的数字的绝对值越大，相关度越大。例如，负值可以指示负相关，而正值可以指示正相关。

例如，值C[n]可以获得为E[I*R[n]]＝ii*ri，其中像素值I＝[i0，i1，..，in-1]包括在像素块20中，并且值R[n]＝[r0，rl，..，rn-1]包括在纹理片R[n]中。

可以基于下面的等式1获得相关值，其中包括在目标像素块中的像素值的平均值是m(I)，并且包括在纹理片R[n]中的值的平均值是m(R[n])。

【等式1】

C[n]＝E[(I-m(I))(R[n]-mR[n])]

根据另一实施例，纹理片30的平均值可以是0。当平均值为0时，尽管应用了纹理片30，但是可以维持整个输入图像10的亮度。根据一个实施例，当纹理片30的平均值是0时，基于等式1，等式2被表达如下。

【等式2】

C[n]＝E[I*R[n]]-E[I*m(R[n])]＝E[I*R[n]]

基于像素块20和与像素块20相对应的纹理片30之间的相关性是阈值或更大(或大于阈值)，训练网络模型可以维持与像素类别20相对应的纹理片30。此外，基于像素块20和与像素块20相对应的纹理片30之间的相关性是阈值或更小(或小于阈值)，训练网络模型可以基于像素块20来更新纹理片30。处理器120可以获得通过将获得的相关值乘以作为与纹理片30相对应的加权值的预定比例常数而获得的值。例如，处理器120可以基于相关值获得0和1之间的加权值。当根据相关性将加权值0应用到纹理片30时，可以不将纹理片30添加到目标像素块20。例如，所有类别和所有纹理片之间的相关性在平坦区域或锐边区域中可能很低，因此不会发生纹理。在这种情况下，可以防止在边缘区域中可能发生的振铃现象，并且可以防止不必要的纹理被添加到平坦区域。

根据另一实施例，可以通过除了上述相关性之外的各种成本函数来获得像素块20和纹理片30之间的相似度信息。例如，均方误差(MSE)、绝对差之和(SAD)、中位数绝对偏差(MAD)和相关性可以用作确定相似度的成本函数。例如，当应用MSE时，可以计算目标像素块的MSE，并且可以从MSE视点获得目标像素块20和纹理片30之间的相似度。在这种情况下，可以基于MSE差来确定相似度权重。

处理器120可以将获得的权重分别应用到纹理片30，并且通过将应用了权重的纹理片30应用到像素块20来获得输出图像。应用可以指的是将与应用了权重的纹理片相对应的区域中包括的值添加到目标像素块20中包括的每个像素块值的方法。然而，应理解，一个或多个其他实施例不限于此，并且可以执行除加法之外的附加或其他处理。

根据另一实施例，当获得纹理片30时，处理器120可以将频率滤波应用于纹理片30，或者可以将应用了频率滤波的纹理片30应用于目标像素块。处理器120可以在将纹理片30添加到输入图像之前应用频率滤波，并且改变纹理片30的频率范围。例如，处理器120可以通过使用高通滤波器来生成高频纹理，或者可以使用低通滤波器来生成低频纹理。等式3表示通过将滤波后的纹理(Filter(T))添加到输入图像I来获得输出图像(O)的过程。

【等式3】

O＝I+Filter(T)

例如，处理器120可以将诸如高斯模糊(或高斯滤波)之类的低通滤波器应用于纹理片30。高斯模糊可以是用于基于高斯可能性分布使用高斯滤波器进行模糊的方法，并且如果将高斯滤波器应用于纹理片30，则可以阻止高频分量并且可以执行模糊。处理器120可以对包括在纹理片30中的所有像素值执行高斯滤波，并且获得模糊后的纹理片30’。处理器120可以通过将模糊后的纹理片30′应用到像素块20来获得输出图像。

同时，可以在缩放图像之前或之后执行上述图像处理，即纹理增强处理。例如，可以在用于将低分辨率图像缩放为高分辨率图像的缩放之后执行图像处理，或者可以在对输入图像进行解码的过程中在执行图像处理之后执行缩放。

根据另一实施例的训练网络模型可以获得与类别相对应并且应用了不同加权值的多个纹理片。

例如，训练网络模型可以识别与像素块20相对应的类别，并获得与该类别相对应的第一至第n纹理片。训练网络模型可以识别像素块20与第一至第n纹理片中的每一个之间的相关性。例如，训练网络模型可以基于像素块20和第一纹理片之间的相关性来获得第一加权值，以及基于像素块20和第二纹理片之间的相关性来获得第二加权值。训练网络模型可以将第一加权值乘以第一纹理片，并将第二加权值乘以第二纹理片，并且将乘以第一加权值的第一纹理贴和乘以第二加权值的第二纹理片应用于像素块20，以获得输出图像。

根据一个实施例，可以根据相关性在预定范围内例如在0和1之间确定加权值。例如，训练网络模型可以在像素块20和所获得的纹理片30之间的相关性最小时将加权值确定为0，在相关性最大时将加权值确定为1，并且可以将加权值确定为使得相关性可以在最小值和最大值之间线性增加。

图10是说明根据另一实施例的类别的图。

参考图10，训练网络模型可以在执行训练的过程中为每个类别添加或移除纹理片30。

根据一个实施例，训练网络模型可以移除(例如，从存储器中物理地或逻辑地移除)包括在特定类别中的纹理，或者将多个纹理片存储该特定类别中以基于输入图像中10包括的多个像素块来执行训练。因此，训练网络模型可以分配相同的存储空间以将纹理片存储到多个类别中的每一个，或者与其他类别的存储空间相比，将更大的存储空间分配给特定的类别。

根据一个实施例，训练网络模型可以识别输入图像10中包括的多个像素块中的每个像素块的类别，并且基于多个类别中每个类别的识别频率来改变与多个类别中的至少一个类别相对应的存储器110的存储空间的大小。例如，训练网络模型可以根据识别频率来分配额外的存储空间以将纹理片存储到所识别的大于预定频率的类别，以增加存储器110的存储空间的大小。例如，预定频率可以是20％，从而指示针对像素块总数的20％以上识别出特定类别。然而，应理解，这仅是示例，并且一个或多个其他实施例不限于此。例如，预定频率可以根据一个或多个其他实施例而变化，诸如10％、15％、30％、50％等。作为另一示例，训练网络模型可以基于识别频率来增加与最频繁识别出的类别(或预定数量的最频繁识别出的类别：例如最频繁识别出的类别、次频繁识别出的类别、以及第三频繁识别出的类别)相对应的存储空间的大小。

例如，基于输入图像10中包括的与第四类别对应的多个像素块之中的若干个像素块，训练网络模型可以增加存储器10上与第四类别对应的存储空间的大小。

根据一个实施例，基于被识别为与第四类别相对应的像素块，训练网络模型可以识别像素块与第四类别之间的第一相似度、以及预先存储在第四类别中的纹理片与第四类别之间的第二相似度。在这种情况下，训练网络模型可以基于第一相似度小于第二相似度而维持预存储的纹理片，并且可以将像素块另外存储在第四类别中。在这种情况下，预存储的纹理片可以在像素块之前(或优先于像素块)。

作为另一示例，训练网络模型可以基于第一相似度大于第二相似度而将像素块另外存储在第四类别中。可以将预存储的纹理片的优先级改变为较低的位置，并且像素块可以具有比预存储的纹理片高的优先级。

作为又一示例，训练网络模型可以改变存储器110的存储空间的大小，从而可以基于多个类别中的每个类别的识别频率，将预定数量的纹理片存储在最频繁识别出的类别中，并且可以将小于该预定数目的另一预定数目的纹理片存储在次频繁识别出的类别中。例如，训练网络模型可以改变存储空间的大小，使得最大10个纹理片可以存储在最频繁识别出的第四类别中，而最大6个纹理片可以存储在次频繁识别出的第二类别中。特定数量仅是示例，并且应理解，可存储的纹理片的数量可以变化。

应当理解，训练网络模型可以并不总是将像素块添加为与所识别的类别对应的纹理片，并且如果像素块与所识别的类别之间的相似度小于预定值，则该像素块可以不被添加。例如，如果像素块与所识别的类别之间的相似度小于50％，则训练网络模型可以不将像素块添加为所识别的类别的纹理片。

根据一个实施例，训练网络模型可以在识别输入图像10中包括的多个像素块中的每个像素块的类别时，从存储器110中移除与小于预定次数(或小于预定频率)识别出的类别相对应的纹理片。训练网络模型可以将存储器110的存储空间重新分配给一个或多个其他类别。

例如，作为识别多个像素块中的每个像素块的类别的结果，当与第三类别相对应的像素块的数目小于预定数目时，训练网络模型可以移除预存储在第三类别中的一个或多个纹理片，并分配存储空间以在其他类别中存储纹理片。因此，训练网络模型可以增加用于另一类别的存储空间的大小，从而可以将多个纹理片存储在最频繁识别出的类别中。

作为另一示例，训练网络模型可以基于识别频率来移除最不频繁识别出的类别，并将预先分配给该类别的存储空间重新分配给一个或多个其他类别。

图11是说明根据一个实施例的图像处理设备100′的详细配置的框图。

参照图11，图像处理设备100′可以包括存储器110、处理器120、输入器130、显示器140、输出器150和用户界面160。以下可以省略图2的配置的冗余描述。

根据一个实施例，存储器110可以实施为用于存储在各种操作中生成的数据的单个存储器。

根据另一实施例，存储器110可以实施为包括多个存储器，例如，第一至第三存储器。

第一存储器可以存储通过输入器130输入的图像(例如，图像帧)的至少一部分。第一存储器可以存储输入图像帧的至少部分区域。至少部分区域可以是执行图像处理所必需的区域或用于执行图像处理的区域。根据一个实施例，第一存储器可以实施为N线存储器。例如，N线存储器可以是在竖直方向上具有17线容量的存储器，但是本公开不限于此。在这种情况下，当输入1080p(分辨率为1，920×1，080)的全HD图像时，只有17线的全HD图像中的图像区域可以存储在第一存储器中。输入的图像帧的部分区域可以被存储用于图像处理，因为第一存储器的存储容量可能由于硬件限制而受到限制。第二存储器可以是用于存储至少一个获得的纹理片30的存储器，并且根据各种实施例实施为各种大小的存储器。例如，根据一个实施例，当存储器实施为获得并存储要应用于输入图像10的与输入图像10的各个像素值相对应的所有纹理分量时，第二存储器可以实施为等于或大于输入图像10的大小。根据另一实施例，在以与第一存储器的大小相对应的图像为单位应用纹理分量的情况下，或者在像素线基础上以像素线为单位应用获得的纹理分量的情况下，存储器可以实施为适合于图像处理的大小。第二存储器是指分配给存储器110的整个区域的训练网络模型的存储区域。

第三存储器可以是用于存储通过应用获得的纹理分量而经图像处理的输出图像的存储器，并且根据各种实施例实施为各种大小的存储器。例如，当第三存储器被实施为通过应用与输入图像10的像素值相对应的纹理分量来获得并显示输出图像时，第三存储器可以实施为等于或大于输入图像10的大小。根据另一实施例，当第三存储器以与第一存储器的大小相对应的图像单元或以与片尺寸对应的线单元输出图像时，第三存储器可以实施为适合于存储该图像的大小。

然而，当输出图像在第一存储器或第二存储器中被被覆写时，或者当输出图像被直接显示或输出(例如，被发送或提供给外部显示设备)而不被存储时，第三存储器可以不是必需的或可以不被使用。

输入器130可以接收各种类型的内容，例如图像信号。例如，输入器140可以以流方法或下载方法通过通信方法从外部服务器(例如，源设备)、外部存储介质(例如，USB)、外部服务器(例如，web或云存储)等接收图像信号，该通信方法诸如为基于AP的Wi-Fi(WiFi、无线LAN网络)、蓝牙、Zigbee、有线/无线局域网(LAN)、WAN、以太网、IEEE-1394、高清晰度多媒体接口(HDMI)、移动高清链路(MHL)、通用串行总线(USB)、显示端口(DP)、Thunderbolt、视频图形阵列(VGA)端口、RGB端口、D超微型(D-SUB)、数字视觉接口(DVI)等。图像信号可以是数字信号，但是本公开不限于此。

显示器140可以实施为各种形式，例如液晶显示器(LCD)、有机发光二极管(OLED)、发光二极管(ED)、微型LED、硅上液晶(LCoS)、数字光处理(DLP)、量子点(QD)显示面板等。

输出器150可以输出声音信号。

例如，输出器150可以将由处理器120处理的数字声音信号转换为模拟声音信号，并且放大并输出该模拟声音信号。在这种情况下，输出器150可以包括输出至少一个声道的至少一个扬声器单元、数模(D/A)转换器、音频放大器等。例如，输出器150可以包括再现L声道和R声道的L声道扬声器和/或R声道扬声器。然而，本公开不限于此。输出器150可以实施为各种形式。对于另一示例，输出器150可以实施为再现L声道、R声道和中心声道的条形音箱。

用户界面160可以被实现为按钮、触摸板、触控板、转盘、鼠标、键盘等中的至少一个，和/或被实现为触摸屏、能够执行上述显示功能和操作输入功能的遥控接收单元等。按钮可以包括形成在图像处理设备100′的本体外部的一个或多个区域(诸如前部、侧部、后部等)中的各种类型的输入装置，例如机械按钮、触摸板、拨号盘等。

此外，可以附加地应用用于在图像处理之前移除输入图像的噪声的滤波。例如，可以通过应用诸如高斯滤波器、导向滤波器等的平滑滤波器来移除明显的噪声，该平滑滤波器针对预定的引导来对输入图像进行滤波。

图12是说明根据一个实施例的用于训练和使用训练网络模型的图像处理设备的处理器1200的配置的框图。

参考图12，处理器1200可以包括训练单元1210(例如，训练器)和辨识单元1220(例如，辨识器)中的至少一个。图11的处理器120可以对应于数据训练服务器或图像处理设备100的处理器1200。

训练单元1210可以生成或训练具有用于识别像素块20的类别的参考的辨识模型、以及具有用于根据类别来获得与像素块20相对应的纹理片30的参考的辨识模型。训练单元1210可以使用所收集的训练数据来生成具有确定参考的辨识模型。

例如，训练单元1210可以通过使用图像中包括的像素块20作为训练数据来生成、训练或更新用于确定与像素块20相对应的类别的辨识模型。

作为另一示例，训练单元1210可以将像素块20和类别之间的相似度与纹理片30和类别之间的相似度进行比较，并且生成、训练或更新辨识模型以确定纹理片30是否已经更新。

辨识单元1220可以使用预定数据或预定类型的数据(例如，输入图像10)作为训练的辨识模式的输入数据，并且估计包括在预定数据中的辨识目标或状况。

例如，辨识单元1220可以将输入图像10的像素块20用作训练的辨识模型的输入数据，并且识别像素块20的纹理片30和类别。

训练单元1210的至少一部分和辨识单元1220的至少一部分可以实施为软件模块和/或制造为要在电子设备(例如图像处理设备100)上安装的一个或多个硬件芯片的形式。例如，训练单元1210和辨识单元1220中的至少一个可以制造为仅用于人工智能(AI)的硬件芯片的形式，或者制造为以各种形式安装在电子设备上的现有通用处理器(例如，CPU或应用处理器)或图形处理器(例如GPU)的一部分。用于例如专用于人工智能(AI)的硬件芯片可以是并行处理性能比现有技术的通用处理器高的专用于概率计算的处理器，从而在诸如机器训练之类的人工智能领域中快速执行算术运算。当训练单元1210和辨识单元1220实现为软件模块(或者包括指令的程序模块)时，软件模块可以是非暂时性计算机可读介质或者可以存储在非暂时性计算机可读介质中。在这种情况下，软件模块可以由操作系统(OS)提供、由预定应用提供，和/或由一个或多个指令提供。备选地，软件模块中的一些可以由操作系统(OS)提供，并且软件模块中的一些可以由预定应用提供。

在这种情况下，训练单元1210和辨识单元1220可以被安装在单个图像处理设备100上，或者被单独地安装在每个或多个处理设备(例如，多个图像处理设备)上。例如，训练单元1210和辨识单元1220中的一个可以包括在图像处理设备100中，而另一个可以包括在外部服务器中。另外，可以以有线或无线方式将由训练单元1210建立的模型信息提供给辨识单元1220，并且可以将输入到训练单元1210中的数据作为附加训练数据提供给训练单元1210。

图13是说明根据一个实施例的图像处理方法的流程图。

根据图13的图像处理方法，在操作S1310处，可以通过将输入图像应用于训练网络模型来获得与输入图像中包括的像素块相对应的纹理片。

在操作S1320处，可以通过将获得的纹理片应用于像素块来获得输出图像。

训练网络模型可以存储与基于图像的一个或多个特性分类的多个类别中的每个类别相对应的纹理片，并基于输入图像来训练与多个类别中的每个类别相对应的纹理片。

训练网络模型可以基于像素块的特性来识别多个类别中的一个，输出与所识别的类别相对应的纹理片，并将像素块和所识别的类别之间的第一相似度与纹理片和所识别的类别之间的第二相似度进行比较，以识别是否更新纹理片。

训练网络模型可以用像素块代替与基于第一相似度和第二相似度而识别的类别相对应的纹理片，或者将像素块添加为与所识别的类别相对应的纹理片。

如果基于比较结果，第一相似度小于第二相似度，则训练网络模型可以维持与所识别的类别相对应的纹理片。此外，如果第一相似度大于第二相似度，则训练网络模型可以基于像素块来更新纹理片。

当(例如基于)与所识别的类别相对应的纹理片包括多个纹理片，训练网络模型可以基于像素块与多个纹理中的每一个之间的相关性来识别多个纹理片中的一个。

训练网络模型可以基于与每个类别相对应的纹理片的存储时间和纹理片的应用频率中的至少一个来训练纹理片。

此外，当(例如基于)基于像素块的特性来确定像素块不对应于多个类别中的一个，训练网络模型可以基于像素块的特性来生成新类别，将像素块映射到新类别。

可以基于平均值、方差、像素坐标、边缘强度、边缘方向或像素值的颜色中的至少一个来对多个类别进行分类。

在操作S1320处获得输出图像的步骤可以包括：基于所获得的纹理片与像素块之间的相关性来获得纹理片的加权值，以及通过将应用了加权值的纹理片应用于像素块来输出输出图像。

输出图像可以是4K超高清(UHD)或8K UHD图像，但是应理解，一个或多个其他实施例不限于此。实际上，应理解，本发明构思可以应用于任何分辨率的图像(包括小于4K的图像和大于8K的图像)的缩放或输出。

各种实施例可以应用于各种电子设备，包括诸如机顶盒之类的图像接收设备、音频/视频接收器、媒体流设备等，或者任何类型的图像处理设备。

上述各种实施例可以在可以由计算机或类似设备使用软件、硬件或其组合来读取的记录介质中实现。在某些情况下，本文描述的实施例可以由处理器120、1200本身实现。根据软件实现方式，可以通过单独的软件模块实现诸如本文中所描述的处理和功能的实施例。每个软件模块可以执行本文所述的一个或多个功能和操作。

用于执行根据上述各种实施例的设备的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当由特定设备的处理器执行时，存储在非易失性计算机可读介质中的计算机指令使特定设备在该设备上执行根据上述各种实施例的处理操作。

非暂时性计算机可读介质是指半永久性地存储数据而非很短时间地存储数据的介质(诸如寄存器、高速缓存和内存)，并可以由设备读取。具体地，可以将上述各种应用或程序存储在非暂时性计算机可读介质中并可以被提供，非暂时性计算机可读介质例如高密度盘(CD)、数字多功能盘(DVD)、硬盘、蓝光盘、通用串行总线(USB)存储棒、存储卡和只读存储器(ROM)。

尽管示出并描述了实施例，然而本领域技术人员将认识到，在不脱离本公开的原理和精神的前提下，可以对这些实施例做出修改。因此，本发明构思的范围不被解释为限于以上实施例，而是由至少所附权利要求及其等同物限定。

Claims (15)

1.一种图像处理设备，包括：

存储器，被配置为存储至少一个指令；以及

处理器，电连接到所述存储器，

其中，所述处理器通过执行所述至少一个指令，被配置为：

将输入图像应用于训练网络模型，

获得从所述训练网络模型输出的与所述输入图像中包括的像素块相对应的纹理片，以及

向所述像素块应用所述纹理片以获得输出图像；

其中，所述训练网络模型存储与基于像素块的特性而分类的多个类别相对应的多个纹理片，基于所述输入图像中包括的所述像素块的特性来在所述多个类别中识别类别，输出与所识别的类别相对应的纹理片，以及基于所述输入图像来更新所述多个纹理片中的至少一个纹理片。

2.根据权利要求1所述的设备，其中，所述训练网络模型被配置为：将所述输入图像中包括的所述像素块和所识别的类别之间的第一相似度与所述纹理片和所识别的类别之间的第二相似度进行比较；以及基于所述比较来确定是否更新所述纹理片。

3.根据权利要求2所述的设备，其中，所述训练网络模型被配置为：基于所述比较来用所述像素块代替与所识别的类别相对应的纹理片；或者将所述像素块添加为与所识别的类别相对应的另一纹理片。

4.根据权利要求2所述的设备，其中：

根据所述比较，基于所述第一相似度小于所述第二相似度，所述训练网络模型被配置为维持与所识别的类别相对应的纹理片；以及

根据所述比较，基于所述第一相似度大于所述第二相似度，所述训练网络模型被配置为基于所述像素块来更新所述纹理片。

5.根据权利要求2所述的设备，其中，基于与所识别的类别相对应的纹理片包括多于一个纹理片，所述训练网络模型被配置为基于所述像素块和所述多于一个纹理片中的每个纹理片之间的相关性来识别所述多于一个纹理片中的一个纹理片。

6.根据权利要求1所述的设备，其中，所述训练网络模型被配置为基于所述至少一个纹理片的存储时间和所述至少一个纹理片的应用频率中的至少一个来更新所述至少一个纹理片。

7.根据权利要求1所述的设备，其中，基于根据所述输入图像中包括的像素块的特性确定所述像素块不对应于所述多个类别中的一个类别，所述训练网络模型被配置为基于所述输入图像中包括的所述像素块的所述特性生成新的类别，并将所述像素块映射并存储到所述新的类别。

8.根据权利要求1所述的设备，其中，所述训练网络模型被配置为：识别与所述输入图像中包括的多个像素块中的每个像素块相对应的类别；以及基于所述多个类别中的每个类别的识别频率，改变所述存储器中与所述多个类别中的至少一个类别相对应的存储空间的大小。

9.根据权利要求8所述的设备，其中，所述训练网络模型被配置为：基于所述识别频率来从所述存储器中移除与少于预定次数识别出的类别相对应的纹理片；以及将作为所述移除的结果而获得的存储空间分配给其他类别。

10.根据权利要求1所述的设备，其中，基于平均像素值、像素坐标、方差、边缘强度、边缘方向或颜色中的至少一个来对所述多个类别进行分类。

11.根据权利要求1所述的设备，其中，所述处理器还被配置为：

基于所述纹理片与所述像素块之间的相关性，获得用于所述纹理片的加权值；以及

通过将应用了所述加权值的纹理片应用于所述像素块来获得所述输出图像。

12.根据权利要求1所述的设备，其中，所述输出图像是4K超高清“UHD”图像或8K UHD图像。

13.一种图像处理设备的图像处理方法，所述方法包括：

将输入图像应用于训练网络模型；

获得从所述训练网络模型输出的与所述输入图像中包括的像素块相对应的纹理片；以及

向所述像素块应用所述纹理片以获得输出图像，

其中，所述训练网络模型存储与基于像素块的特性而分类的多个类别相对应的多个纹理片，基于所述输入图像中包括的所述像素块的特性来在所述多个类别中识别类别，输出与所识别的类别相对应的纹理片，并且基于所述输入图像来更新所述多个纹理片中的至少一个纹理片。

14.根据权利要求13所述的方法，其中，所述训练网络模型将所述像素块和所识别的类别之间的第一相似度与所述纹理片和所识别的类别之间的第二相似度进行比较，并且基于所述比较来确定是否更新所述纹理片。

15.根据权利要求14所述的方法，其中，所述训练网络模型基于所述比较来用所述像素块代替与所识别的类别相对应的纹理片，或者将所述像素块添加为与所识别的类别相对应的另一纹理片。