CN1696975A - 一种数字图像增强方法 - Google Patents

Abstract

一种提高彩色和黑白数字图像显示质量的增强方法。算法原理源自视觉神经动力学研究，包括步骤：1.图像动态范围重映射。对每个光谱通道的图像进行非线性强度变换。2.对图像提取对比度。根据实际需要可使用单尺度或多尺度窗口模板对图像卷积，以获得数字图像的单尺度或多尺度对比度信息。不同尺度的对比度信息处理分别在不同方面提高图像质量，即颜色保真度、细节增强等方面，然后对每个尺度上的对比度信息进行合并，以同时集成不同尺度的处理对图像信息的不同方面的改善。3.图像合并。使用步骤2获得的对比度信息对步骤1获得的变换后的图像强度进行调制，再合并变换后的图像强度形成输出图像。输出图像能提供非常逼近人眼观察的图像质量。

Description

一种数字图像增强方法

技术领域

本发明是一种新的数字图像处理方法，是使用视觉神经动力学模型进行数字图像的动态范围压缩、图像增强、颜色恒定以及颜色保真度增强处理的新技术。

背景技术

目前，人工成像设备的输出图像和生理视觉系统的真实感知之间的差距，是一个普遍而又常常十分严重的问题。导致这一问题存在是由于下述两个局限性：1.外部光照光谱成分的变化导致成像设备输出的图像出现颜色失真，即所谓颜色恒定性问题。2.成像设备有限的动态输出范围导致输出图像常常丢失场景光照较暗区域的细节和颜色信息，即所谓动态范围压缩问题。对于非颜色成像，主要解决动态范围压缩问题，即如何使成像设备输出图像在场景中光照强度巨大差异条件下，合理表现整个场景中的细节信息。

颜色恒定性问题一般指成像设备在人工光源照明下的输出图像和日光照明下的输出图像存在明显光谱颜色偏差的现象。目前对于此问题，如果是常规摄影，摄影师一般通过手动选用不同感光底片以及采用不同的滤光镜组合来补偿这种差异；而对于数字成像设备，目前则只能通过采用手动选择滤镜来补偿光谱偏移。而所使用的这些光谱校正手段均不具备动态范围压缩能力，相较人眼视觉观察，对于场景中光照暗区的细节常常无法同时真实显示。

动态范围压缩的问题反映为场景中存在光照强度的巨大差异(常常超过10000∶1)和常用的有限的数字图像输出范围(一般是8bit量化，最大256)之间的不匹配。这种不匹配导致了成像输出图像的细节表现力远较人眼视觉感知弱。

经过数亿年进化，人眼视觉系统在这两个方面表现出优秀的性能。人眼视觉系统不仅能够对存在巨大光照强度差异的景象清晰成像，也能在环境光谱分布变化时在相当大的程度上保持对景物颜色的正确感知。因此，从生理视觉属性角度出发，建立相应的机器视觉系统是此类问题的一种合理解决之道。Center-surround shunting方程便是一种对视网膜神经节细胞的光刺激响应进行电生理模拟的生理物理学理论模型，其最初由Stephen Grossberg提出，这一视觉神经元模型及其扩展随后在一些相关学科如自动控制、模式识别等方面得到了应用。

在图像处理领域，center-surround shunting方程已经有一些应用。Grossberg利用此方程作为合成孔径雷达图像处理的预处理手段，为合成孔径雷达图像的后续降噪处理提供输入。该方程的另一个应用是Waxman等人使用该方程模拟响尾蛇的红外、可见光双模式感光细胞，从而将可见光图像和热成像图像有机的合并，形成融合图像供观察。然而，未曾见到center-surround shunting方程同时实现动态范围压缩和颜色恒定性，并提供逼近真实视觉感知的图像结果的应用。

发明内容

本发明提供一种可改善黑白和彩色数字图像质量的方法，能够将差异巨大的输入动态范围区间进行显著压缩到限定的输出动态范围内，同时，能够提供独立于场景光照光谱分布的彩色图像输出，在此基础上，本发明还在于提高输出图像的质量，使得输出图像能逼近视觉系统在不同光照情况下，对实际场景所产生的真实感知影像。

为实现上述目的，主要流程如下：

1.图像动态范围压缩：

对输入数字图像的每个像素点进行动态范围调整。利用扩展的锥细胞响应函数方程将图像强度进行非线性变化。

2.图像对比度提取。

利用center-surround shunting方程提取模拟视网膜神经节细胞刺激响应的图像对比度。对图像对比度的提取可在不同大小的空间分辨率，也就是空间尺度上进行。然后将不同尺度的对比度信息进行合并，以便合理包含不同尺度下的图像信息。此时，单独的对比度图像可以独立抽取显示，以满足不同使用场合的需要。

3.对比度调制及输出。

利用流程2获得的对比度图像对由流程1获得的输出图像进行调制，以反映视觉神经元对图像对比度感知的刺激强度受外界光照强度大小的影响，然后，调制信号再与流程1的输出信号合并形成逼近真实视觉感知的图像输出，获得最终显示。

附图说明

图1是算法系统流程图。

图2是对比度提取模块的算法流程图。

图3是颜色恒定性图例。

图4是单尺度和多尺度对比度图像图例。

图5是本发明在不同成像类型的应用图例，其中，左列是原图，右列是处理结果。

具体实施方式

主要符号列表

I_k(i，j)        ：坐标为(i，j)的第k个光谱颜色通道的图像强度。

I_k′(i，j)      ：经过动态范围压缩调整的图像强度。

r_k(i，j)        ：景物反射率。

L_k(i，j)        ：景物光照照度。

C_k(i，j)        ：中心窗口图像。

S_k，n(i，j)     ：第n个尺度上的环绕窗口图像。

N                ：所使用的空间尺度总数。N≥1

σ                                ：Gaussian窗口的标准差。如果带有下标c、s则分别指代中心窗口利环绕窗口的对应参数。如果带有下标n，则表示第n个尺度的对应参量。

w                ：Gaussian窗口模板。如果带有下标c、s则分别指代中心窗口和环绕窗口的对应参量；如果带有下标n，则表示第n个尺度的对应参量。

*                ：卷积算子。

A                ：衰减常数

[ω]⁺           ：max(ω，0)

x_k， x_k        ：ON、OFF神经节细胞的刺激响应输出。如果带有下标n，则表示第n个尺度的对应参量。

msx_k，

  ：ON，OFF细胞刺激的多尺度输出。

ξ_n             ：第n个尺度下对比度图像的权重因子

Gain             ：增益因子。

Offset           ：直流偏移量

d_k(i，j)        ：输出对比度图像。如果带有下标n，则表示第n个尺度的对应参量。

Out_k(i，j)      ：最终输出图像。如果带有下标n，则表示第n个尺度的对应参量。

本方法的核心思想是根据视觉神经生理物理学的研究成果来完成数字图像处理工作，提高图像的显示质量。人类视觉在响应外界巨大的强度变化或者外界光照存在明显的光谱偏移的光刺激时，具有很强的适应性能，因此，有可能通过模拟人类视觉在这方面的生理属性来指导图像处理工作。本方法在众多描述视觉系统不同生理属性的生物物理模型中，通过对一种描述视网膜神经节刺激响应的模型：center-surroundshunting方程的特殊实现和拓展，并且结合描述视网膜锥细胞响应的Weber法则的特殊扩展，来完成图像增强和颜色平衡的目的。

步骤1：

根据图1，景物经过图像采集和A/D转换后变成黑白或彩色数字图像，数字图像I_k(i，j)由像素空间坐标、强度以及光谱通道唯一标识，其中，对于黑白图像，三个光谱通道的值相同。然后，数字图像分别进入动态范围压缩模块和对比度提取模块进行处理。

对于动态范围压缩模块，根据生理学研究成果中的Weber法则，视网膜锥细胞受光照后的刺激响应与刺激强度的对数近似成正比，那么，经过动态范围压缩后的图像强度值为：

                     I_k′(i，j)＝log[I_k(i，j)]                         (1)

这一输出图像强度用以模拟视网膜锥细胞的神经图像输出。

步骤2：

根据图2，数字图像的对比度提取模块可以切分成N个彼此独立的空间尺度上的对比度提取操作。对于任意一个空间尺度n，视网膜ON、OFF神经节细胞的响应输出由以下center-surround shunting方程描述：

ON细胞响应x_k，n(i，j)

$\frac{d}{\mathrm{dt}}{x}_{k,n}(i,j)=-{\mathrm{Ax}}_{k,n}(i,j)+[1-x_{k,n}(i,j)]C_k(i,j)-[1+x_{k,n}(i,j)]S_{k,n}(i,j)---\left(2\right)$

OFF细胞响应 x_k，n(i，j)

$\frac{d}{\mathrm{dt}}{\stackrel{\‾}{x}}_{k,n}(i,j)=-A{\stackrel{\‾}{x}}_{k,n}(i,j)+[1-{\stackrel{\‾}{x}}_{k,n}(i,j)]S_{k,n}(i,j)-[1+{\stackrel{\‾}{x}}_{k,n}(i,j)]C_k(i,j)---\left(3\right)$

本方法使用Gaussian窗口函数

$w(i,j)=\frac{1}{2{\mathrm{\π\σ}}^2}\exp (-\frac{i^2+j^2}{{2\mathrm{\σ}}^2})---\left(4\right)$

实现中心和环绕窗口的卷积滤波，即

                     C_k(i，j)＝I_k(i，j)*w_c(i，j)                       (5)

                     S_k，n(i，j)＝I_k(i，j)*w_s，n(i，j)                 (6)

本发明使用center-surround shunting方程在达到平衡态时的解作为图像的对比度信息：

ON细胞：

$x_{k,n}(i,j)={\left[\frac{C_k(i,j)-S_{k,n}(i,j)}{A+C_k(i,j)+S_{k,n}(i,j)}\right]}^{+}---\left(7\right)$

OFF细胞：

${\stackrel{\‾}{x}}_{k,n}(i,j)={[\frac{S_{k,n}(i,j)-C_k(i,j)}{A+C_k(i,j)+S_{k,n}(i,j)}}^{+}---\left(8\right)$

可以看出，ON、OFF细胞输出分别提取了图像在尺度n上的正负对比度信息，图2对此处计算流程进行了分解。

可以从式(7)、(8)得到本方法的颜色恒定性，也就是输出图像独立于外界光谱。根据物理光学，图像信号是场景中的表面反射率和环境入射光强度的乘积，即：

           I_k(i，j)＝r_k(i，j)L_k(i，j)                           (9)

代入(7)、(8)式，有：

$x_k(i,j)={\left[\frac{r_k(i,j)L_k(i,j)-{\stackrel{\‾}{r}}_{k,n}(i,j){\stackrel{\‾}{L}}_{k,n}(i,j)}{A+r_k(i,j)L_k(i,j)+{\stackrel{\‾}{r}}_{k,n}(i,j){\stackrel{\‾}{L}}_{k,n}(i,j)}\right]}^{+}---\left(10\right)$

此处，本方法以ON细胞为例说明，OFF细胞的输出和ON细胞的输出对称，其处理类似，下同。式中，r_k，n、 L_k，n分别是r、L在尺度n上的环绕空间域平均值。如果衰减常数A的大小与局部光刺激强度相比可以忽略，即A＜＜I_k(i，j)，那么在假设环境光空间缓慢变化而表面反射率在景物边界突变的条件下，即L_k(i，j)≈ L_k，n(i，j)，有

$x_k(i,j)\≈{\left[\frac{r_k(i,j)-{\stackrel{\‾}{r}}_{k,n}(i,j)}{r_k(i,j)+{\stackrel{\‾}{r}}_{k,n}(i,j)}\right]}^{+}---\left(11\right)$

由此，通过去除环境光照度生成一个仅仅依赖于表面反射率的图像。满足上式的近似条件在绝大多数自然环境情况下都是成立的。对于条件不能严格满足的情况，例如对于实验室制造的极特殊条件照明，反射率比值的影响一般也超过环境光照度比值的作用。颜色恒定性例子见图3。

多尺度的操作是为了模拟视网膜神经节细胞对于不同尺度的光刺激具有不同的选择性响应输出的生理属性，并可提供更好的视觉处理效果，其具体实现通过对不同尺度下的对比度信息进行加权求和得到：

$\left\{\begin{array}{c}{\mathrm{msx}}_k(i,j)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_n{x}_{k,n}(i,j)\\ \stackrel{\‾}{{\mathrm{msx}}_k}(i,j)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_n{\stackrel{\‾}{x}}_{k,n}(i,j)\end{array}\right.---\left(12\right)$

式中，权重因子满足

${\mathrm{\Σ}}_{n=1}^N{\mathrm{\ξ}}_n=1---\left(13\right)$

多尺度对比度处理和单尺度操作的区别在于使用相同大小的中心窗口模板，而环绕窗口尺寸不同。即，对于不同尺度的对比度操作，分别采用不同大小的σ_s，n来确定环绕窗口的尺寸以及模板窗口数值。所使用的尺度总数以及每个尺度的权重系数分配可以根据实际需要确定。一般的，对于常规数字图像，采用大、中、小三个尺度并对每个尺度进行等权重分配，就足以获得满意效果。单尺度处理结果以及多尺度的示例见图4，其中，多尺度处理结果是采用三个尺度(σ_s，1＝10，σ_s，2＝50，σ_s，3＝180)加权求和的结果。

单尺度或多尺度对比度提取的结果，可以独立输出以满足特殊需要，见图1中满足特殊需要的对比度图像输出模块。对尺度n上的对比度图像的输出进行显示的特殊实现如下式：

      d_k，n(i，j)＝Gain[x_k，n(i，j)- x_k，n(i，j)]+offset                (14)

对于多尺度，则

$d_k(i,j)=\mathrm{Gain}[{\mathrm{msx}}_k(i,j)-\stackrel{\‾}{{\mathrm{msx}}_k}(i,j)]+\mathrm{offset}---\left(15\right)$

式(14)、(15)中的常数直流偏移量和常数增益因子对于每个颜色通道保持一致。

步骤3：

单独的对比度输出图像并不能完全提供逼近真实视觉感知的图像，因为视觉系统并非完全仅仅对图像中的对比度信息产生响应刺激，图像中的直流成分同样影响视觉成像。本方法通过采用对对比度图像进行调制和合并的特殊实现将数字图像的直流成分和对比度信息有机结合，提供逼近真实视觉感知的图像处理结果，流程图见图1的调制和合并模块，此过程以公式形式表述如下：

Out_k，n(i，j)＝Gain{[x_k，n(i，j)- x_k，n(i，j)]×I′(i，j)}+offset×I′(i，j)     (16)

多尺度：

${\mathrm{Out}}_k(i,j)=\mathrm{Gain}\left\{\right[{\mathrm{msx}}_k(i,j)-\stackrel{\‾}{{\mathrm{msx}}_k}(i,j)]\×I^{\′}(i,j)\}+\mathrm{offset}\×I^{\′}(i,j)--\left(17\right)$

同样，增益因子和直流偏移量对每个颜色通道保持一致。

式(16)、(17)是最终的处理表达式，经过大量的试验证明，这一处理方法是广泛而且有效的，能提供非常理想的图像处理结果。图5是本方法对不同成像类型的处理结果图例。

本方法可以应用在一切处理结果供视觉观察的场合，例如以下典型领域：

(a)军事：提供良好的军事侦察图像，为指挥员决策提供具有丰富细节层次的目标图像。

(b)遥感：目标区域图像细节的增强，对遥感图像巨大的动态范围进行压缩，提供适合人眼观测的图像表征。

(c)医学：提高CT，核磁共振，X射线等图像的品质，合理增强细节，为医务人员准确辨识生理组织以及判断病情提供高品质的医学造影图像。

(d)民用：提高数字成像设备的成像品质，在图像有损压缩存储前提供尽可能多而且合理的图像细节。

(e)工业：提高无损探测图像的清晰度，为后续处理提供高品质前端图像信息。

因此，本方法具有广泛应用前景。

Claims (9)

1. 本发明是一种数字图像增强方法，权利要求如下：

   1.这是一种数字图像增强的方法，包含以下步骤：

   a)图像强度变换。

   将数字图像I_k(i，j)按照公式(1)的形式进行强度变换，将数字图像变换到对数域；

   b)图像对比度提取。

   使用公式(7)、(8)进行单尺度的数字图像对比度提取，其中使用公式(5)、(6)对数字图像进行加窗滤波平均计算。此步骤提取的对比度信息能单独进行显示输出。提取对比度的操作可以在多尺度空间进行。

   c)由步骤(a)、(b)获得的处理结果按照公式(16)的形式进行调制和合并，形成最终输出图像。如果在步骤b)使用多尺度对比度提取，则使用式(17)形成输出。
2. 2.按照权利要求1的方法，对图像进行对比度提取可在多个尺度上进行，包含以下步骤：

   a)使用不同大小的环绕Gaussian模板窗口对数字图像卷积滤波，并按照权利要求1的步骤b)的方法构建不同尺度上的对比度图像。

   b)使用公式(12)构建输出多尺度对比度图像。
3. 3.按照权利要求1、2的方法，将单尺度对比度图像独立进行输出显示时，公式表述见式(14)，如果使用多尺度对比度图像独立输出显示，公式表述见式(15)，两式中的增益因子和直流偏移量对每个颜色通道保持一致，均为常数。
4. 4.按照权利要求1、2的方法，对图像提取对比度的时候，每一个尺度上的中心窗口、环绕窗口的窗口函数均唯一使用Gaussian模板窗口函数。
5. 5.按照权利要求1、2的方法，每一尺度上的中心窗口的尺寸均为一个像素。
6. 6.按照权利要求1、2的方法，在每一尺度上构建环绕Gaussian模板窗口时，环绕Gaussian窗口模板的标准差常数范围均位于图像长、宽数值中的较大值的1％到这一较大值的75％构成的区间内。
7. 7.按照权利要求2的方法，权重系数满足公式(13)。
8. 8.按照权利要求1、2的方法，常数A的取值范围从1到输入数字图像量化区间上限的10倍。
9. 9.按照权利要求1、2的方法，按照公式(16)、(17)得到显示输出数字图像，其中增益因子和直流偏移量对于每个颜色光谱通道保持一致，均为常数。

Images