CN106709889A - 并行视频图像对比度增强方法和装置 - Google Patents

Abstract

本发明涉及一种并行视频图像对比度增强装置，包括标量处理单元、局部存储器、访存控制单元、缓冲器、并行算术逻辑单元、状态机、数据交织单元；本发明还涉及一种并行视频图像对比度增强方法，包括：步骤1，获取待处理图像的灰度直方图，计算得到灰度映射查找表；步骤2，基于所述灰度映射查找表，通过并行查表方式对待处理图像进行灰度变换，完成对比度增强。本发明增强了图像对比度，提高了数据的使用效率，减少了运算部件与外围存储器之间的数据交互，降低了访存带宽压力。

Description

并行视频图像对比度增强方法和装置

技术领域

本发明属于视频图像处理领域，特别涉及一种并行视频图像对比度增强方法和装置。

背景技术

目前，视频技术的主流发展方向之一为超高清(4K分辨率)显示技术。相对于高清(1920*1080)视频，4K视频的像素数从2M提升到8M，因此对图像增强算法的画质和效能提出了更高的要求。

当前，图像对比度增强技术基本上以直方图均衡化算法为基础，在进行增强时，需要通过查表实现灰度变换，在面对4K图像处理需求时，很有可能处理能力不足的问题；同时4K超高清图像可以带来更精细的画面效果，因此现有对比度增强算法(主要是映射曲线的生成算法)应用于4K分辨率图像时，可能会因为算法对灰度映射曲线的控制不够精确，而无法获得理想画质。

因此，传统方案在超高清时代面临两个困难，1传统方案通常采用固化算法的专用硬件电路，难以对算法进行灵活修改，当需要修改算法时，需要重新设计流片，成本压力巨大；2传统方案在实现并行查表时，通常采用多个访存通道并行工作，增加了硬件成本。

针对这两个问题，本发明提出了一种并行的图像对比度增强装置以及方法，该装置主要用于实现低成本，高速并行查表，同时可根据图像处理算法对硬件进行重构；该方法实现了灰度映射函数的实时计算以及并行的灰度映射操作。

发明内容

为了解决现有技术中的上述问题，即为了进一步提升对比度增强方法应用于超高清图像处理时画质与效能，本发明的一方面，提出了一种并行视频图像对比度增强方法，包括以下步骤：

步骤1，获取待处理图像的灰度直方图，计算得到灰度映射查找表；

步骤2，基于所述灰度映射查找表，通过并行查表方式对待处理图像进行灰度变换，完成对比度增强。

优选地，所述计算得到灰度映射查找表，其方法为：采用直方图均衡化算法统计图像灰度直方图，并生成映射曲线，进而计算得到所述灰度映射查找表。

优选地，所述通过并行查表方式对待处理图像进行灰度变换，采用分段查表进行灰度变换，包括以下步骤：

步骤21，将所述灰度映射查找表拆分为M个子查找表；M＝L/N，M值会向上取整，其中，L为所述灰度映射查找表的大小，N为预设的并行度；

步骤22，通过像素灰度值的低位字节对M个大小为N的子查找表进行查表；

步骤23，通过高位字节对M个查表结果进行筛选，最终获得查表数据作为灰度变换的结果。

优选地，步骤1和步骤2之间还包括数据加载的步骤，该步骤包括：

将步骤1中生成的灰度映射查找表及预设参数加载至缓冲器；

将待处理的图像数据加载至缓冲器。

优选地，所述缓冲器中缓冲单元大小为N个像素；所述缓冲器配备有4个读取端口和4个写入端口。

优选地，缓冲器支持直接使用序号对其中的缓冲单元进行读写；缓冲器与运算部件同步运行。

优选地，在视频的各帧图像的对比度增强处理过程中，对当前帧图像通过步骤1计算得到灰度映射查找表，应用于下一帧图像通过步骤2进行的对比度增强。

本发明的另一方面，还提出了一种并行视频图像对比度增强装置，包括标量处理单元SPU、局部存储器、访存控制单元、缓冲器、并行算术逻辑单元ALU、状态机、数据交织单元SHU；

所述标量处理单元，用于统计图像的灰度直方图，并计算灰度映射查找表；

所述局部存储器，用于保存输入输出图像数据以及并行视频图像对比度增强算法所需参数，该存储器支持并行访问；

所述访存控制单元，用于局部存储器与缓冲器之间的数据交换；

所述缓冲器，用于缓冲一次完整的处理流程所需要的全部数据以及中间结果，该缓冲器可以通过地址直接索引；

所述并行算术逻辑单元，用于执行并行视频图像对比度增强算法中涉及的非乘法类算术与逻辑运算；

所述状态机，用于产生所有功能部件的控制信号；

所述数据交织单元，用于并行查表操作；

所述状态机分别通过通信线路与并行算术逻辑单元、标量处理单元、访存控制单元、缓冲器、数据交织单元连接；所述局部存储器分别通过通信线路连接标量处理单元、访存控制单元；所述缓冲器通过通信线路分别与访存控制单元、数据交织单元相连接；所述并行算术逻辑单元通过通信线路分别与缓冲器、数据交织单元相连接。

优选地，所述缓冲器所缓存的数据还包括灰度映射查找表。

本发明具有以下有益效果：

1、增强了图像对比度，使画面层次更加鲜明；

2、根据图像灰度分布实现对比度进行增强，观看效果更加自然；

3、易于对图像处理算法进行后期优化升级；

4、提高了数据的使用效率，减少了运算部件与外围存储器之间的数据交互，降低了访存带宽压力；

5、通过使用缓冲器和状态机对功能部件进行控制，实现了硬件资源的重复利用。

附图说明

图1是本发明的并行视频图像对比度增强装置结构示意图；

图2是本发明的并行视频图像对比度增强方法的流程示意图；

图3是依照本发明一实施例的缓冲器的缓冲区示意图；

图4是依照本发明实施例灰度映射过程示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明的一种并行视频图像对比度增强装置，如图1所示，包括标量处理单元(SPU)、局部存储器、访存控制单元、缓冲器、并行算术逻辑单元(ALU)、状态机、数据交织单元(SHU)；

所述标量处理单元，用于统计图像的灰度直方图，并计算灰度映射查找表；

所述局部存储器，用于保存输入输出图像数据以及并行视频图像对比度增强算法所需参数，该存储器支持并行访问；

所述访存控制单元，用于局部存储器与缓冲器之间的数据交换；本实施例中采用三个功能完全一致的访存控制单元，突破了访存资源瓶颈；

所述缓冲器，用于缓冲一次完整的处理流程所需要的全部数据以及中间结果，该缓冲器可以通过地址直接索引；缓冲器所缓存的数据还包括灰度映射查找表；

所述并行算术逻辑单元，用于执行并行视频图像对比度增强算法中涉及的非乘法类算术与逻辑运算；

所述状态机，用于产生所有功能部件的控制信号；

所述数据交织单元，用于并行查表操作；

所述状态机分别通过通信线路与并行算术逻辑单元、标量处理单元、访存控制单元、缓冲器、数据交织单元连接；所述局部存储器分别通过通信线路连接标量处理单元、访存控制单元；所述缓冲器通过通信线路分别与访存控制单元、数据交织单元相连接；所述并行算术逻辑单元通过通信线路分别与缓冲器、数据交织单元相连接。

当需要更改增强算法时，该装置仅需要对SPU和状态机进行重新编程，产生新的灰度映射函数和控制信号，同时更新局部存储器中的算法参数，即可快速实现算法迭代，而不需要重新设计制造硬件电路。

本发明的一种并行视频图像对比度增强方法，包括以下步骤：

步骤1，计算映射查找表：获取待处理图像的灰度直方图，计算得到灰度映射查找表；

步骤2，灰度映射：基于所述灰度映射查找表，通过并行查表方式对待处理图像进行灰度变换，完成对比度增强。

步骤1和步骤2之间还包括数据加载的步骤，包括：(1)算法参数预加载：将步骤1中生成的灰度映射查找表及预设参数加载至缓冲器；(2)数据缓冲：将待处理的图像数据加载至缓冲器。

1、计算映射查找表

该步骤属于参数预先计算，本实施例利用本发明装置中标量处理单元(SPU)完成此步骤，该步骤涉及的具体方法与普遍采用的直方图均衡化算法相同，具体为：采用直方图均衡化算法统计图像灰度直方图，并生成映射曲线，进而计算得到所述灰度映射查找表。由于该步骤只能串行完成，因此在视频图像处理的具体实施中，会将该步骤生成的灰度映射查找表应用于下一帧的图像处理，而当前帧使用上一帧的映射函数。鉴于视频流中帧间差异比较小，采用这种处理方式引入的画质损失可以认为属于肉眼不可见，因此可以认为这种方法是无损的。

2、算法参数预加载

该步骤将计算所得的灰度映射查找表以及并行视频图像对比度增强算法中涉及的其他固化参数预先加载到缓冲器中。

图3为本发明一实施例的缓冲器。如图3所示，所述缓冲器(用大写字母M代表)共存在NM个大小为N个像素的缓冲单元，配备有4个读取端口(r0、r1、r2、r3)和4个写入端口(w0、w1、w2、w3)，可以承载高速读写操作。缓冲器M支持直接使用序号对其NM个缓冲单元进行读写，便于对数据的重复使用。本发明所采用的缓冲器与运算部件同步运行，避免了高速运算部件等待低速存储部件的问题。

3、数据缓冲

该步骤为图像对比度增强算法准备所需处理的数据，本发明所述图像对比度增强方法的并行度为N，即同时处理N个像素，因此需要一次缓冲N个像素。

为支持存储系统的高效并行访问，在本发明所述装置中采用了一种多粒度的离散存储器结构的缓冲器，具体可参照“专利号为201110460585.1，名称为多粒度并行存储系统与存储器”进行设计。

4、灰度映射

本发明通过数据交织单元实现查表操作的并行化。数据交织单元(SHU)的并行度为N，即支持N个像素对大小为N的表进行查表操作。通常情况下，整个灰度映射查找表(LUT)的大小L会大于N，因此，所述方法采用了分段查表实现灰度变换：首先将整个查找表分为M个子查找表，M＝L/N，M值会向上取整。同时通过像素灰度值的低位字节对M个大小为N的子查找表进行查表，并通过高位字节对M个查表结果进行筛选，最终获得查表数据。为使这一步骤的工作方式更清晰，下面以并行度N＝32，查找表大小为1024的情况为例，进行说明，如图4所示，子查找表个数M＝32，每个子查找表的大小也为32。若待处理像素的灰度为Y，则以Y的低5位(5bit)作为查表索引，对M(M＝32)个子查找表进行查表，并获得32个查表结果；然后利用从最低位(含)起的第6位-第10位的值，进行5此筛选，每次筛选可以排除一半的查表结果，最终获得并输出Y对应的映射灰度，即所需的查表结果，从而完成灰度映射，实现对比度增强。

上述过程以N＝32，L＝1024为例，但本领域技术人员可以了解，本发明并不仅仅限于该情况，即本发明还可以改变所述装置的并行度N，以获得新的并行对比度增强装置；同时，所述装置也不仅适用于查找表大小为1024的情况，而是普遍适用于图像处理领域所涉及的各种大小的查找表。

上述过程对本发明的完整处理流程进行了解释说明，本发明通过对状态机的编程以及使用缓冲器设计，实现了硬件资源的重复利用，在运行复杂算法时，避免了传统的专用电路方案设计流片周期长且版本迭代成本高的不足之处。

本发明的并行视频图像对比度增强方法可以充分利用高速通用缓冲区和数据交织单元，使得图像数据仅需要对局部存储器进行一次读取与写入操作，显著降低了对访存带宽的需求，提高了效率，同时数据交织单元可以使查表操作的效率提高至传统查表方法的N倍，N为系统的并行度。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种并行视频图像对比度增强方法，其特征在于，包括以下步骤：

步骤1，获取待处理图像的灰度直方图，计算得到灰度映射查找表；

步骤2，基于所述灰度映射查找表，通过并行查表方式对待处理图像进行灰度变换，完成对比度增强。

2.根据权利要求1所述的方法，其特征在于，所述计算得到灰度映射查找表，其方法为：采用直方图均衡化算法统计图像灰度直方图，并生成映射曲线，进而计算得到所述灰度映射查找表。

3.根据权利要求1所述的方法，其特征在于，所述通过并行查表方式对待处理图像进行灰度变换，采用分段查表进行灰度变换，包括以下步骤：

步骤21，将所述灰度映射查找表拆分为M个子查找表；M＝L/N，M值会向上取整，其中，L为所述灰度映射查找表的大小，N为预设的并行度；

步骤22，通过像素灰度值的低位字节对M个大小为N的子查找表进行查表；

步骤23，通过高位字节对M个查表结果进行筛选，最终获得查表数据作为灰度变换的结果。

4.根据权利要求1～3中任一项所述的方法，其特征在于，步骤1和步骤2之间还包括数据加载的步骤，该步骤包括：

将步骤1中生成的灰度映射查找表及预设参数加载至缓冲器；

将待处理的图像数据加载至缓冲器。

5.根据引用权利要求3的权利要求4所述的方法，其特征在于，所述缓冲器中缓冲单元大小为N个像素；所述缓冲器配备有4个读取端口和4个写入端口。

6.根据权利要求5所述的方法，其特征在于，缓冲器支持直接使用序号对其中的缓冲单元进行读写；缓冲器与运算部件同步运行。

7.根据权利要求1～3或5或6中任一项所述的方法，其特征在于，在视频的各帧图像的对比度增强处理过程中，对当前帧图像通过步骤1计算得到灰度映射查找表，应用于下一帧图像通过步骤2进行的对比度增强。

8.一种并行视频图像对比度增强装置，其特征在于，包括标量处理单元、局部存储器、访存控制单元、缓冲器、并行算术逻辑单元、状态机、数据交织单元；

所述标量处理单元，用于统计图像的灰度直方图，并计算灰度映射查找表；

所述局部存储器，用于保存输入输出图像数据以及并行视频图像对比度增强算法所需参数，该存储器支持并行访问；

所述访存控制单元，用于局部存储器与缓冲器之间的数据交换；

所述缓冲器，用于缓冲一次完整的处理流程所需要的全部数据以及中间结果，该缓冲器可以通过地址直接索引；

所述并行算术逻辑单元，用于执行并行视频图像对比度增强算法中涉及的非乘法类算术与逻辑运算；

所述状态机，用于产生所有功能部件的控制信号；

所述数据交织单元，用于并行查表操作；

所述状态机分别通过通信线路与并行算术逻辑单元、标量处理单元、访存控制单元、缓冲器、数据交织单元连接；所述局部存储器分别通过通信线路连接标量处理单元、访存控制单元；所述缓冲器通过通信线路分别与访存控制单元、数据交织单元相连接；所述并行算术逻辑单元通过通信线路分别与缓冲器、数据交织单元相连接。

9.根据权利要求8所述的装置，其特征在于，所述缓冲器所缓存的数据还包括灰度映射查找表。