CN107085827B - 基于硬件平台实现的超分辨力图像复原方法 - Google Patents

Abstract

本发明公开了一种基于硬件平台实现的超分辨力图像复原方法。该方法是基于Zynq SOC硬件平台实现的，采用并行处理的思想。首先对原始图像进行图像拓展，然后将拓展图像缓存进入缓存buff，缓存buff利用SoC内BlockRAM实现，在缓存的同时进行图像复原算法中的一系列运算，运算结果也同时缓存进入相应的缓存buff。本发明的创新点在于算法中的运算步骤并非顺序执行，而是并行执行，并行运算的同时对运算中间值进行缓存，提高了算法的执行效率，硬件资源仅消耗了Zynq芯片PL部分的内部存储资源，大大降低了硬件存储资源的消耗，有利于小型化、低功耗、低成本设备的研发。

Description

基于硬件平台实现的超分辨力图像复原方法

技术领域

本发明涉及超分辨力图像复原技术，具体涉及一种基于硬件平台实现的超分辨力图像复原技术。

背景技术

目前，各类成像器件正在广泛的应用于各大领域，但是由于各种条件的限制，成像质量往往不尽人意，因此人们迫切希望找到一种方法能够完善图像质量。由于光学系统受到光学系统衍射的影响，因此无法获取传递函数截止频率以外的图像信息。如何能观测到截止频率以外的图像信息成为了研究热潮。

目前，超分辨力图像复原方法主要有：频谱外推法、POCS法、神经网络复原法和Bayes分析法等。其中具有较强超分辨力复原能力的算法是基于Bayes分析的Poisson-ML图像复原方法，简称PML算法。但是该算法对噪声较大的图像不能取得良好的复原效果。有学者在PML算法的基础上提出基于Poisson-Markov场的超分辨力图像复原算法。该算法不仅具有较强的图像复原能力，又具有较好的去噪效果。但该方法涉及卷积运算、相关运算以及一些乘除运算，计算量较大，且想要获得质量较高的复原图像必须迭代多次，因此用软件实现该算法并不适用于需要实时处理的成像系统。要在实时性要求高的成像系统中使用该方法进行图像复原，则必须用硬件实现。但是由于多次迭代过程中需要存储大量的中间运算值，对硬件的存储资源又是一大考验。

本发明提出的图像复原方法是在硬件平台上实现的基于Poisson-Markov场的超分辨力图像复原算法，利用并行处理的思想，对部分运算以及运算结果的存储做了并行处理，不仅可以提高算法的执行效率，还大大降低了迭代过程中对硬件存储资源的消耗。有利于设备的低功耗、小型化、低成本的研究。

发明内容

本发明的目的在于提供一种基于硬件平台实现的超分辨力图像复原方法，能够复原图像截止频率以外的信息，使图像获得更高的分辨率，提高图像的质量。本发明是基于Zynq硬件平台实现的，由Zynq芯片的PL部分完成图像复原算法，采用并行处理的方式，对算法中的计算步骤做并行处理，同时用PL内部的存储资源对计算中间值进行缓存。

实现本发明目的的技术解决方案为：基于硬件平台实现的超分辨力图像复原方法，用数学模型描述如公式(1)，其中运算符*为卷积运算符，运算符

为相关运算符，h为卷积核函数，g(i,j)为拓展后的图像，f_n-1(i,j)为第n-1次迭代结果，f_n(i,j)为第n次迭代结果，n为迭代次数，i,j为图像行、列索引，A、B为浮点数整型化扩大系数,通常A可取14，B可取10。

由公式(1)可知，包括图像拓展、卷积运算和相关运算步骤，本发明的基于硬件平台实现的超分辨力图像复原方法，将图像拓展、卷积运算和相关运算步骤并行执行；其中，

图像拓展步骤包括：根据卷积核函数模版大小对原始图像边缘进行拓展；将拓展后的图像数据流缓存进图像缓存空间；

卷积运算步骤包括：

(a1)从迭代结果缓存空间读取上一次迭代结果，将上一次迭代结果与卷积核函数进行卷积运算；对于第一次迭代，上一次的迭代结果为拓展图像；

(a2)将拓展图像与步骤(a1)中所得到的结果相除得到本轮次的卷积运算结果，并缓存至卷积结果缓存空间；

相关运算步骤包括：

(b1)从卷积结果缓存空间读取当前迭代次对应的卷积运算结果，将卷积运算结果与卷积核函数进行相关运算；

(b2)从迭代结果缓存空间读取上一次迭代结果，将上一次迭代结果与步骤(b1)中所得到的结果相乘得到本轮次的迭代结果，并缓存至迭代结果缓存空间；对于第一次迭代，上一次的迭代结果为拓展图像。

作为优选，所述图像拓展步骤中，对于M×M大小的卷积核函数模版，将原始图像四边缘各拓展M-1个像素。

作为优选，所述图像缓存空间大小为((N-1)×(M+1)+2)×(W+M-1)，所述卷积结果缓存空间大小为N×(M+1)×(W+M-1)，所述迭代结果缓存空间大小为N×(M+2)×(W+M-1)，其中，W为拓展后图像的宽度，N为设定的总迭代次数。

本发明与现有技术相比，其显著优点为：1.提高了算法的运行效率，可用于红外视频图像实时处理。2.大大缩减了硬件消耗的存储资源，使得Zynq芯片PL部分的内部存储资源可以满足算法的存储需求，有利于设备的低功耗、小型化、低成本的设计。3.Zynq芯片的PL部分本质上是FPGA，因此本发明不仅适用于Zynq硬件平台，同样适用于FPGA硬件平台。

附图说明

图1本发明的图像拓展示意图。

图2本发明的缓存Buff_g示意图，用来缓存拓展图像。

图3本发明的缓存Buff_b(n-1)示意图，用来缓存第(n-1)次迭代的卷积结果。

图4本发明的缓存Buff_b(n)示意图，用来缓存第n次迭代的卷积结果。

图5本发明的缓存Buff_a(n-1)示意图，用来缓存第(n-1)次迭代结果。

图6本发明的缓存Buff_a(n)示意图，用来缓存第n次迭代结果。

图7本发明的方法流程示意图。

具体实施方式

下面结合附图及具体实施实例，对本发明做进一步详细说明。

本发明是一种基于硬件平台实现的超分辨力图像复原方法，其原理为：在视频图像获取的过程中，由于受到各种因素的影响，图像质量不能满足人的观察需求。超分辨率图像复原算法，可以复原图像截止频率以外的信息，以此获得更高的图像分辨率，增强了图像的细节。算法数学模型如公式(1)：

n为迭代次数，n的值越大，迭代次数越多，则获得的复原图像质量越好，但是n的值越大，计算量也越大，在对算法用Matlab进行复原效果验证时可发现，一幅分辨率为320×240的红外图像迭代20次可获得较高的图像质量。为了满足视频图像的实时处理的要求，需要在硬件平台上实现该复原算法，如果对一整幅图像做完卷积运算后再进行相关运算，那么迭代20次需要消耗大量的硬件资源，硬件的内部存储资源无法满足迭代过程中计算中间值的存储要求。因此本发明利用并行执行的思想，并行处理每一次迭代中的卷积运算和相关运算，并只对一部分计算中间值进行缓存，提高了运算效率，大大降低了硬件存储资源的消耗。

本发明一种基于硬件平台实现的超分辨力图像复原方法其硬件实现流程图如图7所示，其主要模块包括：图像拓展模块、卷积运算模块、相关运算模块。图像拓展模块用于原始图像拓展；卷积运算模块用于迭代过程中卷积运算以及相应的乘除运算；相关运算模块用于迭代过程中相关运算以及相应的乘除运算。三大模块为并行处理。

如图7所示，本发明实施例公开的一种基于硬件平台实现的超分辨力图像复原方法，包括以下步骤：

步骤1：图像拓展。具体实施方法如图(1)，黑色边框内的是分辨率为320×240的原始图像，核函数模板大小11×11，原始图像需要拓展的大小为(11-1)×2＝20，即原始图像边缘需各拓展10个像素点，图1中黑框内ABCD部分为原始图像边缘，黑框外ABCD是用相应的原始图像边缘拓展的10各像素。拓展后的图像数据流缓存进缓存空间Buff_g，Buff_g的空间大小为350×230。

步骤2：第n-1次的迭代结果进行卷积运算，计算公式为公式(2)，其中f_n-1(i,j)为第n-1次的迭代结果，h为卷积核函数。

在第一次迭代运算中，f_n-1(i,j)为拓展图像g(i,j)，因此在拓展图像数据缓存进Buff_g的同时，卷积核函数h同时与Buff_g中的数据进行第一次迭代的卷积运算，获得卷积运算结果后执行步骤3。

在第n次迭代运算中，f_n-1(i,j)为第n-1次迭代运算结果，存在Buff_a(n-1)中，当第n-1次迭代结果缓存进Buff_a(n-1)的同时，卷积核函数h同时与Buff_a(n-1)中的数据进行第n次卷积运算，获得卷积运算结果后执行步骤3。

f_n-1(i,j)*(h×2¹⁴) 公式(2)

步骤3：拓展图像与第n次卷积结果相除，计算公式为公式(3)，计算所得的结果缓存进Buff_b(n)，其中g(i,j)为拓展后的图像。

步骤4：在步骤3中所得的结果缓存进Buff_b(n)的同时，Buff_b(n)中的数据与卷积核函数h进行相关运算，计算公式为公式(4)。

步骤5：第n-1次迭代结果与步骤4所得结果相乘，计算公式为公式(5)，计算所得的结果缓存进Buff_a(n)，即第n次迭代结果。

步骤1属于图像拓展模块，步骤2和步骤3属于卷积运算模块，步骤4和步骤5属于相关运算模块。三大模块并行执行。

本发明使用Zynq芯片PL部分的内部存储资源来作为缓存空间，称为buff空间。图2-6分别示意了上述步骤中所涉及的buff。图2中的BUFF_g，用来缓存拓展图像的缓存buff，黄色部分为核函数h，同时也是一个11×11的核函数模板。图3中的Buff_b(n-1)，用来缓存一帧图像第(n-1)次迭代中的卷积运算结果。图4中的Buff_b(n)，用来缓存一帧图像第n次迭代中的卷积运算结果。图5中的Buff_a(n-1)，用来缓存一帧图像第(n-1)次迭代结果。图6中的buff_a(n)，用来缓存一帧图像的第n次迭代结果。

一帧图像进行第一次迭代的具体实施步骤如下：

S1:当拓展图像数据流存入BUFF_g的同时，核函数h从左往右与BUFF_g中的数据进行第一次迭代的卷积运算，执行公式(6)，获得的卷积运算结果执行公式(7)，运算结果同时存入Buff_b(1)中。

f_n(i,j)*(h×2¹⁴) 公式(6)

S2:在进行卷积运算的同时，核函数h从左往右与Buff_b(1)中的数据进行相关运算，执行公式(8)，获得的相关运算结果执行公式(9)，运算结果同时存入Buff_a(1)中。在第一次迭代运算时，公式中的f_n(i,j)为拓展图像g(i,j)。

一帧图像进行第(n)次迭代的具体实施步骤如下：

S1：当第(n-1)次迭代结果存入Buff_a(n-1)时，核函数h从左往右与Buff_a(n-1)进行第(n)次迭代的卷积运算结果，执行公式(10)

f_n-1(i,j)*(h×2¹⁴) 公式(10)获得的卷积运算结果执行公式(11)

运算结果用line_buff缓存，并且同时存入Buff_b(n)中。

S2：在进行卷积运算的同时，核函数h从左往右与Buff_b(n)中的数据进行相关运算，执行公式(12)，获得的相关运算结果执行公式(13)，运算结果同时存入buff_a(n)中。

缓存BUFF_g所需大小为230×350。缓存Buff_a(n-1)、缓存Buff_a(n)分别为Buff_a中第(n-1)次、第n次迭代对应的缓存,Buff_a所需大小为20×12×350，缓存Buff_b(n-1)、缓存Buff_b(n)分别为Buff_b中第(n-1)次、第n次迭代对应的缓存,Buff_b所需大小为20×13×350。

Claims (8)

1.基于硬件平台实现的超分辨力图像复原方法，通过在原始图像基础上进行拓展和多次迭代提高图像的分辨率，每轮迭代包括卷积运算和相关运算步骤，其特征在于：图像拓展、卷积运算和相关运算步骤并行执行；

所述图像拓展步骤包括：根据卷积核函数模版大小对原始图像边缘进行拓展；将拓展后的图像数据流缓存进图像缓存空间；

所述卷积运算步骤包括：

(a1)从迭代结果缓存空间读取上一次迭代结果，将上一次迭代结果与卷积核函数进行卷积运算；对于第一次迭代，上一次的迭代结果为拓展图像；

(a2)将拓展图像与步骤(a1)中所得到的结果相除得到本轮次的卷积运算结果，并缓存至卷积结果缓存空间；

所述相关运算步骤包括：

(b1)从卷积结果缓存空间读取当前迭代次对应的卷积运算结果，将卷积运算结果与卷积核函数进行相关运算；

(b2)从迭代结果缓存空间读取上一次迭代结果，将上一次迭代结果与步骤(b1)中所得到的结果相乘得到本轮次的迭代结果，并缓存至迭代结果缓存空间；对于第一次迭代，上一次的迭代结果为拓展图像。

2.根据权利要求1所述的基于硬件平台实现的超分辨力图像复原方法，其特征在于：所述图像拓展步骤中，对于M×M大小的卷积核函数模版，将原始图像四边缘各拓展M-1个像素。

3.根据权利要求2所述的基于硬件平台实现的超分辨力图像复原方法，其特征在于：

所述图像缓存空间大小为((N-1)×(M+1)+2)×(W+M-1)，所述卷积结果缓存空间大小为N×(M+1)×(W+M-1)，所述迭代结果缓存空间大小为N×(M+2)×(W+M-1)，其中，W为拓展后图像的宽度，N为设定的总迭代次数。

4.根据权利要求1所述的基于硬件平台实现的超分辨力图像复原方法，其特征在于：步骤(a1)中根据公式f_n-1(i，j)*(h×2^A)将上一次迭代结果f_n-1(i，j)与卷积核函数h进行卷积运算，其中，n为迭代次数，i，j为图像的行、列索引，A为浮点数整型化扩大系数。

5.根据权利要求4所述的基于硬件平台实现的超分辨力图像复原方法，其特征在于：步骤(a2)中根据公式

将拓展图像g(i，j)与步骤(a1)中所得到的结果f_n-1(i，j)*(h×2^A)相除，其中B为浮点数整型化扩大系数。

6.根据权利要求5所述的基于硬件平台实现的超分辨力图像复原方法，其特征在于：步骤(b1)中根据公式

将卷积运算结果

与卷积核函数h进行相关运算。

7.根据权利要求6所述的基于硬件平台实现的超分辨力图像复原方法，其特征在于：步骤(b2)中根据公式

将上一次迭代结果f_n-1(i，j)与步骤(b1)中所得到的结果

相乘。

8.根据权利要求1所述的基于硬件平台实现的超分辨力图像复原方法，其特征在于：使用Zynq芯片PL部分的内部存储资源来作为缓存空间。

Images