CN102203827B - 用于编辑图像的方法和装置 - Google Patents

Abstract

在本申请中提出了对具有聚焦对象和散焦对象的图像进行编辑的方法和装置。根据一个实施方式的方法包括：确定图像中边缘像素的模糊度；将确定的模糊度传播至与每个边缘像素相邻的非边缘像素，以确定非边缘像素的模糊度；基于边缘像素和非边缘像素的模糊度估计焦点图，以识别散焦对象和聚集对象；以及基于焦点图对散焦对象进行重聚焦或者对散焦对象和聚集对象中的至少一个进行散焦。

Description

用于编辑图像的方法和装置

相关申请的交叉引用

本申请要求于2009年10月2日提交的第61/278,182号美国临时申请的优先权，该申请的全部内容通过引用并入本文。

技术领域

本申请涉及图像编辑，具体涉及用于对具有聚焦对象和散焦对象的图像进行编辑的方法和装置。

背景技术

图像聚焦编辑是有趣的研究课题，并且近来已经受到了很多关注。这个课题主要有两个问题。第一个问题是恢复模糊散焦图像的锐度的图像重聚焦。第二个问题是散焦加强。在一些摄影例如肖像摄影中，通常用浅景深(DOF)来强调具有散焦模糊背景的前景对象。但是由于镜头和传感器的局限性，使得一些照相机(例如，傻瓜相机)不能产生足够的散焦效应。

最近，提出了许多聚焦编辑算法，这些算法可分为两类。一类是计算摄影，将一些附加的光学组件或器件添加到传统的摄影中，以帮助传感器对与目标场景相关的更多信息进行编码。另一类是在不需要改装照相机的情况下基于图像处理技术解决的。在过去的几年里，基于多图像的方法已被广泛研究。然而，近来年出现了更具有挑战性的基于单图像的研究。Bae和Durand在“Defocus Magnification”(Eurographics，2007)中提出了焦点图估计方法，其借助了Photoshop中的镜头模糊来加强散焦。这项研究的一个瓶颈是使用不稳定的强力拟合策略实现模糊估计的部分。此外，Bando和Nishita在“TowardsDigital Refocusing from a Single Photograph”(Eurographics，2007)中提出了一种方法，该方法需要许多用户交互以从多个预定义的候选中确定模糊核。

发明内容

本申请案旨在解决上述问题中的至少之一。

根据本申请案实施例之一，一种对具有聚焦对象和散焦对象的图像进行编辑的方法包括：确定图像中边缘像素的模糊度；将确定的模糊度传播至与每个边缘像素相邻的非边缘像素，以确定非边缘像素的模糊度；基于边缘像素和非边缘像素的模糊度估计焦点图，以识别散焦对象；以及基于焦点图对散焦对象进行重聚焦。

根据本申请案的另一实施例，一种对具有聚焦对象和散焦对象的图像进行编辑的方法包括：检测图像中的边缘像素；基于检测到的边缘估计图像的焦点图，以识别聚焦对象和散焦对象；以及对散焦对象进行重聚焦，或者对聚焦对象和散焦对象中的至少一个进行散焦。

根据本申请案的又一实施例，一种对具有聚焦对象和散焦对象的图像进行编辑的装置包括：确定模块，被配置为确定图像中边缘像素的模糊度；传播模块，被配置为将确定的模糊度传播至与每个边缘像素相邻的非边缘像素，以确定非边缘像素的模糊度；估计模块，被配置为基于边缘像素和非边缘像素的模糊度估计焦点图，以识别散焦对象；以及散焦模块，被配置为基于焦点图对散焦对象进行重聚焦。

在本申请案中，采用简单且适当参数化的多点方案来测量边缘模糊度。通过精巧的盲目反卷积架构解决了更具有挑战性的重聚焦问题。在本申请案中，不论是在聚焦检测中还是在图像重聚焦中都充分地利用了边缘提示。而且，根据本申请案，使用适当正则化的盲目反卷积方法可同时获得最优模糊核和具有目标锐利度的图像。

本申请案尚提供了对在聚焦编辑中的所有任务例如焦点图估计、图像重聚焦和散焦进行处理的方法和系统。首先，受益于适当参数化的边缘模型，本申请所提出的焦点图估计方法更简单且更有效。其次，精巧的单影像盲目反卷积<Single Image Blind Deconvolution；SBD>架构有效地解决了有挑战性的重聚焦问题。特别地，藉由新颖的图像锐化方式，本申请案的方法产生了具有最好细节的良好结果。此外，所提议的SBD与用户初始化和计算效率无关，可透过各种实际的图像验证所提议的方法。

附图说明

图1示出了根据本发明的图像编辑方法的流程图；

图2是成像模型的几何示意图，其中，P1、P2和P3表示位于不同深度的场景点；

图3(a)是1D参数边缘模型；

图3(b)是将边缘与高斯滤波器的导数卷积的响应；

图3(c)示出了通过改变w得到的效果，其中，实线示出了原始边缘，虚线和点线表示通过减少w重构的新边缘；

图4示出了图1所示的方法中的估计步骤的流程图；

图5示出了图1所示的方法中的重聚焦步骤的流程图；

图6示出了根据本申请的图像编辑装置的框图；以及

图7示出了根据一个示例性实施方式适于实现本文所述的图像编辑的基于处理器的图像编辑系统。

具体实施方式

下文将参照附图详细描述本申请的实施方式。

在本申请中，提出了一种单图像聚焦编辑方法来完成焦点图估计、图像重聚焦和散焦的任务。该单图像可包括聚焦对象(如前景)和散焦对象(如背景)。在根据本申请的方法中，首先通过该图像的焦点图来识别并区分聚焦对象和散焦对象。

问题表示

如图1所示，来自焦平面上的场景点P1的光线会聚到像平面上的一点处。然而，当场景点离开焦平面时，光线在像平面上会产生模糊圈，从而图像被认为是散焦的。当该点远离焦平面时，产生了更加模糊的散焦图像I。理论上，I可被认为是聚焦图像F与照相机的点分布函数(point spread function；PSF)h卷积的结果：

$I=h\&CircleTimes;F+n,---\left(1\right)$

其中，n表示图像噪声。由于照相机镜头的衍射和色差，PSF通常由2D高斯滤波器

来逼近。与对象到焦平面的距离相关的扩散参数σ_f确定所捕获的图像的模糊度。因此，在本申请中，使用高斯模糊来模拟散焦效应，从而能够通过改变σ_f来灵活地控制散焦效应。

参照图2，提出了根据本发明的编辑单图像的方法2000。如图所示，在步骤2001，检测图像的边缘；在步骤2002，基于检测到的边缘估计图像的焦点图，从而识别聚焦对象和散焦对象。在本申请中，假设边缘的模糊仅是由散焦效应引起的。因此，可用边缘模糊度表示聚焦信息。

边缘检测

对单图像进行图像聚焦检测和编辑是非常有挑战性的，这是因为图像中未包含充足的可用数据。幸运的是，图像的边缘携带了可反映图像构造的特性的重要信息。对于给定的图像，可通过图像与2D高斯滤波器的卷积来获得包含边缘信息的响应。该响应的顶点可用于定位边缘。然而，在实践中，边缘位置被约束在网格点位置，而这可能与事实不符。在这种情况下，在本申请中采用了良好参数化的模型以确切地描述边缘，如下文所讨论。

为了简化，以讨论1D边缘作为示例，因而在本示例中采用1D高斯滤波器。例如，在图3(a)中示出了平滑的边缘，在图3(b)中示出了通过将边缘与1D高斯滤波器进行卷积而获得的响应。图3(b)中的顶点d₁被认为是边缘像素。可理解，在响应中可包含多个顶点，因而，可确定所有多个顶点的参数。上述推导可称为多点估计法，并且由此可确定边缘中的所有像素。

类似地，对于2D图像，可通过将图像与2D高斯滤波器进行卷积获得响应，响应的顶点可用于定位边缘，如图3(b)所示。

基于边缘的焦点图估计

在步骤2001检测到边缘像素之后，在步骤2002，基于检测到的边缘，通过步骤2021至2023估计焦点图。

首先，在步骤2021，计算检测到的边缘上的每个边缘像素的与边缘相关的参数。在该步骤中，引入如下参数化模型。

在数学上，图像中边缘像素x处的理想阶梯型边缘可表示为e(x；b，c，x₀)＝cU(x-x₀)+b，其中U(·)是单位阶梯函数，b表示边缘基准，c表示边缘对比度，x₀表示边缘中心。可通过e(x；b，c，x₀)与1D高斯滤波器

的卷积获得图3(a)所示的平滑边缘s(x；b，c，w，x₀)：

$s(x;b,c,w,x_0)=b+\frac{c}{2}(1+\mathrm{erf}\left(\frac{x-x_0}{w\sqrt{2}}\right)),---\left(2\right)$

其中，erf(·)是误差函数，w来自模糊核的标准偏差并且可被称为边缘宽度参数。w越小，边缘越清晰。

因而，通过将s(x；b，c，w，x₀)与预定义的高斯滤波器的导数g’_d(x；σ_d)进行卷积而获得的响应可表示为：

$d(x;c,w,{\mathrm{\&sigma;}}_d)=\frac{c}{\sqrt{2\mathrm{\&pi;}(w^2+{\mathrm{\&sigma;}}_d^2)}}\exp \left(\frac{-{(x-x_0)}^2}{2(w^2+{\mathrm{\&sigma;}}_d^2)}\right)---\left(3\right)$

其中，σ_d是可以根据需要预先设置的参数。

根据上述模型，在获得该响应之后，假设检测到的顶点位于x＝0处，那么可通过在x＝-a、0、a处的采样选择三个点的响应，其中，d₁＝d(0；c，w，σ_d)、d₂＝d(a；c，w，σ_d)和d₃＝d(-a；c，w，σ_d)。参数a可自由选择，并且在实践中通常取a＝1。然后可按下式确定所有边缘像素的参数：

$c=d_1\&CenterDot;\sqrt{2\mathrm{\&pi;}{a}^2/\ln \left(l_1\right)}\&CenterDot;l_2^{\frac{1}{4a}},---\left(4\right)$

$w=\sqrt{a^2/\ln \left(l_1\right)-{\mathrm{\&sigma;}}_d^2},---\left(5\right)$

x₀＝0.5·a·ln(l₂)/ln(l₁)，          (6)

b＝s(x₀)-c/2                         (7)

其中，l₁＝d₁ ²/d₂d₃并且l₂＝d₂/d₃。根据一个实施方式，可采用单缩放高斯滤波器来检测图像中的边缘，其中，参数σ_d可以根据需要预先设置，并且[1，3]可以是合理的范围。

因而，可基于等式(4)-(7)计算检测到的图像上每个边缘像素的与边缘相关的参数。在这个模型中，由于引入参数x₀连续地表示顶点相对于实际边缘位置的偏差，因此根据该模型确定的边缘位置将与事实相符。可选地，可进行双边滤波以改善所获得的边缘模糊度结果，从而去除可能发生在边缘检测和参数计算中的异常值。

然后，在步骤2022中将边缘像素的模糊度w传播至与它们相邻的非边缘像素中。鉴于合理地假设空间上相邻且具有相似颜色的像素具有相似的模糊度，因此，可基于强度和位置的相似性将边缘像素的模糊度信息传播至与它们相邻的非边缘像素。根据一个实施方式，这种传播可通过已知的图像着色构建为二次型函数的最小化，其最优化可在线性系统内有效地求解得到。

对于上述的参数模型，可通过控制这些参数容易地改变边缘。例如，如图3(c)所示，减小w将产生锐化的边缘。在检测边缘和估计参数之后，可通过将新的w’代入等式(2)中并保持其它参数不变来重构边缘。图3(c)中的线分别示出了w’＝w/2和w’＝w/4的重构边缘。显然，w越小，重构的边缘越锐利。注意，除了需要额外参数θ表示边缘方向之外，所有上述分析可直接扩展至2D的情况。

在步骤2022中确定非边缘像素的模糊度之后，在步骤2023中确定反映图像中所有像素的模糊度的焦点图。

如上所述，边缘模糊度携带有与聚焦设置相关的重要提示，不同的模糊度意味着不同的散焦等级。根据本申请，具有不同模糊度的像素可具有不同的模糊度值，并且因而可获得反映该差别的焦点图(或模糊度映射)。根据一个实施方式，模糊度w的值在[0，1]的范围内。锐利像素可具有接近于0的模糊度，而模糊像素具有接近于1的模糊度。根据一个实施方式，用不同灰度等级的颜色表示具有不同模糊度的像素，从而获得焦点图。

根据本申请，由于边缘参数是通过闭型而不是通过逼近拟合推导出来的，并且额外的参数x₀被引入以在子像素级别更精确地定位真实边缘位置，因此能够补偿当实际边缘中心位于两个网格点之间时产生的效应而不产生高的计算复杂度。

已经设计了典型的实验来测试根据本申请的方法。结果证明，用根据本申请的方法能够很好地测量边缘模糊度。具体地，根据本申请的方法获得的焦点图具有较少的异常值，并且更接近可感知的事实。而且，根据本申请的方法更有效且花费更少的时间。为了进一步评估焦点图的准确性，可采用Photoshop的镜头模糊，并且发现通过根据本申请的方式可获得视觉上更逼真的结果。

根据一个实施方式，根据本申请用于编辑单图像的方法可进一步包括：步骤2003，使散焦对象重聚焦；或者步骤2004，使聚焦对象和散焦对象中的至少一个散焦，如图1所示。由于步骤2004可通过高斯模糊简单实现，因此在此不作详细描述。下文将描述步骤2003。

图像重聚焦

与散焦相比，重聚焦真正地更具有挑战性。如上所述，图像重聚焦可认为是单图像盲目反卷积(SBD)问题，其目的是从模糊输入恢复锐利图像和PSF。然而，由于模糊图像可通过许多不同对的锐利图像与PSF的卷积而获得，因此SBD是非常不适定的。近来，已经提出了许多方法，并且大多数方法都是以计算上复杂的迭代方式工作。对潜在的锐利图像和PSF迭代地更新直到达到会聚。此外，通常需要良好的初始化以避免在局部最小处会聚。尽管在过去几年已经给出了不错的结果，但是当前的最新SBD技术仍然受到限制并且不能很好地从散焦模糊中恢复可靠的锐利图像。其主要问题是没有充分利用边缘锐度提示。

根据本申请，提出了一种重聚焦方法，该方法在整个SBD过程中利用边缘锐度提示。具体地，可根据在步骤2001和2002中获得的边缘信息建立锐利先验以确保重聚焦图像的锐度，并且可建立局部先验来约束低对比度的区域不变以抑制环状伪影。锐利先验和局部先验可形成锐利平滑先验(SSP)，其可首先用于PSF估计。此外，可进一步建立全局先验以确保整体图像的平滑度。可将SSP和全局先验嵌入到复杂的MAP框架中以提供声音规则化来确保图像锐度并抑制环状伪影。接下来，为了简化起见，通过假设PSF在空间上不变来给出所提议的SBD方法。

参照图5，重聚焦的步骤2003可包括：步骤2031，基于检测到的边缘确定点扩散函数；以及步骤2032，用点扩散函数对散焦对象进行去卷积，这部分内容将在下面讨论。

基于SSP估计PSF

给定散焦模糊图像I，可得到与其相应的聚焦图像F相关的如下两个预测。首先，在F中的边缘应该被锐化。其次，散焦图像的局部平滑区域在去卷积之后几乎保持不变。

受益于在边缘建模部分引入的参数边缘模型，通过为每个重聚焦边缘确保具有等式(2)中的小宽度参数w，可精确地用公式表示第一个预测。具体而言，对于模糊输入，可通过与图3(c)类似地减小宽度参数w(例如，设w’＝w/10)来重构其预测的具有锐利边缘的图像F_p。此外，还可根据检测到的边缘及其最接近的邻近区确定二元边缘掩模M_e，以定位包括所有边缘像素及其最接近的邻近像素在内的边缘区域。通过相应的M_e和F_p，在输入I中检测到的边缘将被显着锐化。

另一个预测是基于如下事实：由散焦引起的恶化可近似为高斯模糊(平滑)。在该预测中，还可确定二元边缘掩模M_s以定位散焦图像I的局部平滑区域。散焦图像I的局部平滑区域及其在聚焦图像F中的相应区域应该具有相似的低对比度。根据一个实施方式，可按如下方式确定局部平滑区域：对于I中的每个像素，定义以该像素为中心并且与PSF具有相似大小的窗口。如果该窗口的标准偏差小于阈值，那么该像素可被认为是局部平滑的。

如等式(8)所示，通过最大后验(MAP)框架可获得最优h：

$h^{*}=\underset{h}{\mathrm{arg\; max}}p\left(h\right|I,F)=\underset{h}{\mathrm{arg\; max}}p\left(I\right|F,h)p\left(h\right),---\left(8\right)$

其中，通过假设I与F和PSF h的卷积之间的差别为方差为的零均值高斯噪声，可基于等式(1)中描述的图像形成模型定义似然项p(I|F，h)。也就是说，

$p\left(I\right|F,h)\&Proportional;\exp (-{\mathrm{\&alpha;}}_n{\left|\right|h\&CircleTimes;F-I\left|\right|}_2^2).---\left(9\right)$

类似地，可将与上述两个预测对应的两个似然定义为：

其中，ο表示元素级乘法操作。基于等式(8)，可定义能项：

其中，参数α_e1和α_s1是可进行设置和修改的权重，PSF先验p(h)是通过具有非负性约束的通用的L1范数稀疏先验定义的。受益于压缩传感的最新发展，可有效地求解等式(12)的最优值，并因而可确定PSF h。

聚焦锐利图像的复原

当h确定时，F的推断将变成非盲目反卷积问题：

$F^{*}=\underset{F}{\mathrm{arg\; max}}p\left(F\right|I,h)=\underset{F}{\mathrm{arg\; max}}p\left(I\right|F,h)p\left(F\right),---\left(13\right)$

需要声音图像先验p(F)将这个不适定问题调整为适定问题。在本申请中，通过结合三个不同的先验来定义p(F)：

p(F)＝p_g(F)p_e(F)p_s(F)  (14)

其中，p_g(F)是全局先验，另外两个局部先验p_e(F)和p_s(F)是基于之前描述的预测被引入的。由于全变差正则化在保留锐利边缘和减少图像伪像上具有良好性能，因此可通过全变差正则化按下式定义全局先验p_g(F)：

$p_g\left(F\right)\&Proportional;\exp (-{\mathrm{\&alpha;}}_g\underset{i}{\mathrm{\&Sigma;}}{\left|\right|t_i\&CircleTimes;F\left|\right|}_2)---\left(15\right)$

其中，t_i(i＝1，2)可由水平和垂直一阶导数滤波器t₁＝[1-1]和t₂＝[1-1]^T简单地定义。

受益于第一锐利预测，可基于如下事实生成局部锐利先验p_e(F)：潜在的聚焦图像F的边缘区域应该与预测的F_p的边缘区域具有相似的锐度。如等式16所示，这种相似度可用一阶导数定义，并且假设误差是均值为0方差为

的高斯分布：

还可引入另一个局部平滑先验p_s(F)来抑制环状伪影。基于第二个预测，可将p_s(F)定义为使得散焦图像I和潜在聚焦图像F的平滑区域共享相似的一阶导数：

其中，假设差值是均值为0方差为的高斯分布。

等式(13)中的最大化问题还可描述为等式(9)和等式(13)-(17)中定义的能项的最大化。

$E_F\left(F\right)={\mathrm{\&alpha;}}_n{\left|\right|h\&CircleTimes;F-I\left|\right|}_2^2+{\mathrm{\&alpha;}}_g\underset{i}{\mathrm{\&Sigma;}}{\left|\right|t_i\&CircleTimes;F\left|\right|}_2---\left(18\right)$

其中，等式右侧的第三和第四项分别用于抑制环状伪影和确保图像锐度。可通过使能量E_F(F)最小化来确定重聚焦的图像F。

然而，直接使等式(18)最小化是棘手的，因为对于未知的F来说，E_F是非二次的。在这种情况下，根据一个实施方式，这里采用普通的变量裂分和惩罚方案来处理这个有挑战性的最优化问题。详细地，引入两个变量ξ₁和ξ₂分别替换

和

并且通过二次惩罚函数将偏差置于它们之间。因此，等式(18)变成：

$E_F\left(F\right)={\mathrm{\&alpha;}}_n{\left|\right|h\&CircleTimes;F-I\left|\right|}_2^2+{\mathrm{\&alpha;}}_g\underset{i}{\mathrm{\&Sigma;}}{\left|\right|{\mathrm{\&xi;}}_i\left|\right|}_2$

$+\mathrm{\&lambda;}\underset{i}{\mathrm{\&Sigma;}}{\left|\right|{\mathrm{\&xi;}}_i-t_i\&CircleTimes;F\left|\right|}_2^2$

可采用迭代方案通过增大惩罚参数λ交替地更新未知的F和ξ_i。当λ变得足够大时，使等式(19)最小化的结果将收敛至使等式(18)最小化的结果。在每次迭代中，当F固定时，更新ξ_i(i＝1，2)使从E_F(F)分离的E_Fξ(ξ_i)最小化。

由于E_Fξ(ξ_i)是ξ_i的微分，因此可获得闭型解。注意，由于M_s和M_e的存在，ξ_i应该是针对逐个像素更新的。接下来，当ξ_i固定时，更新F使得从E_F(F)分离的E_FF(F)最小化。

$E_{\mathrm{FF}}\left(F\right)={\mathrm{\&alpha;}}_n{\left|\right|h\&CircleTimes;F-I\left|\right|}_2^2++\mathrm{\&lambda;}\underset{i}{\mathrm{\&Sigma;}}{\left|\right|{\mathrm{\&xi;}}_i-t_i\&CircleTimes;F\left|\right|}_2^2---\left(21\right)$

其中，E_FF(F)是F的二次方程，其最小化是容易的最小二乘问题，其也具有闭型解。此外，为了避免由卷积引起的计算复杂度，最好是在傅里叶变换域中处理上述最小二乘方问题(对E_FF(F)进行傅里叶变换)。在实验中，在开始时将λ设为1，然后在每次迭代之后增加为2倍。其它加权因子(例如，α_n，α_e1，α_e2)可根据噪声级、预测图像F_p的质量等凭经验设置。

由此，确定重聚焦的图像F。

所提出的实施方式对于由噪声和邻近边缘的影响引起的异常值是鲁棒的，因为对h和F的估计是在两个分离的MAP框架中进行的，而其中预测的锐利边缘仅是确保锐度的唯一约束。这些异常值的影响可通过其它约束(例如，平滑度项)来消除。此外，由于不需要反复地更新PSF和潜在的锐利图像，本实施方式具有较低的计算复杂度。

根据本申请的实施方式，还提出了可实现图示的各种实施方式的图像编辑装置。参照图6，根据本申请对具有聚焦对象和散焦对象的图像进行编辑的图像编辑装置600可包括：确定模块601，被配置为确定图像中边缘像素的模糊度；传播模块602，被配置为使确定的模糊度传播至与每个边缘像素相邻的非边缘像素，以确定非边缘像素的模糊度；估计模块603，被配置为基于边缘像素和非边缘像素的模糊度来估计焦点图，以识别散焦对象；以及重聚焦模块604，被配置为基于焦点图使散焦对象重聚焦。根据一个实施方式，重聚焦模块可被配置为基于焦点图通过盲目反卷积使散焦对象重聚焦。根据一个实施方式，重聚焦模块可包括：确定单元，被配置为基于焦点图确定点扩散函数；以及去卷积单元，被配置为用点扩散函数对散焦对象进行去卷积，以获得重聚焦的图像。根据一个实施方式，可基于焦点图建立图像的至少一个先验，确定单元被配置为通过基于建立的先验使用最大后验(MAP)确定点扩散函数。根据一个实施方式，建立的先验可包括：局部锐利先验，其用于确保重聚焦图像中的边缘像素的锐度；和/或局部平滑先验，其用于确保重聚焦图像中的非边缘像素的平滑度。根据本发明的一个实施方式，建立的先验可进一步包括：全局先验，其用于确保重聚焦图像的平滑度。根据一个实施方式，焦点图可包括图像中每个像素的模糊度。根据一个实施方式，该装置还包括：卷积模块，被配置为将图像与高斯滤波器的导数进行卷积以确定与边缘相关的曲线；以及选择模块，被配置为选择曲线的顶点作为边缘像素。根据一个实施方式，曲线可表示为函数

$d(x;c,w,{\mathrm{\&sigma;}}_d)=\frac{c}{\sqrt{2\mathrm{\&pi;}(w^2+{\mathrm{\&sigma;}}_d^2)}}\exp \left(\frac{-(x-x_0)}{2(w^2+{\mathrm{\&sigma;}}_d^2)}\right),$

确定模块包括：采样单元，被配置为从曲线采样具有不同的值x的采样点；以及确定单元，被配置为根据采样的点的函数值确定模糊度w，其中c是对比度，x₀是边缘中心，σ_d是凭经验选择的高斯滤波器中的参数，σ_d可在1至3的范围内。

根据一个实施方式，提供了用于对具有聚焦对象和散焦对象进行编辑的装置，其包括：确定模块，被配置为确定图像中边缘像素的模糊度；传播模块，被配置为将确定的模糊度传播至与每个边缘像素相邻的非边缘像素，以确定非边缘像素的模糊度；估计模块，被配置为基于边缘像素和非边缘像素的模糊度估计焦点图，以识别散焦对象；以及散焦模块，被配置为使聚焦对象和散焦对象中的至少一个散焦。在该实施方式中，散焦模块可被配置为通过高斯模糊使聚焦对象和散焦对象中的至少一个散焦。

参照图7，示出了可实现各种图示的实施方式的图像编辑系统1004。尽管不是必要的，但是这些实施方式中的一些部分将在计算机可执行指令或逻辑(例如计算机执行的应用程序模块、对象或宏)的一般上下文中描述。相关领域的技术人员可理解，图示的实施方式及其它实施方式可用其它计算机系统配置实现，包括手持设备、多处理器系统、基于微处理器或可编程的用户电子产品、个人计算机(PC)、网络PC、微型计算机、大型计算机等。这些实施方式可在分布式计算环境中实现，其中任务和模块由通过通信网络连接的远程处理设备执行。在分布式计算环境中，程序模块可位于本地或远程存储设备中。

图像编辑系统1004可采用传统PC的形式，其包括处理单元1006、系统存储器1008和系统总线1010，系统总线1010将包括系统存储器1008在内的系统部件连接至处理单元1006。图像编辑系统1004在本文中有时以单数表示，但是这不表示将实施方式限制为单个系统，因为在一些实施方式中，可存在一个以上的系统或其它相关的联网计算设备。商业上可获得的系统的非限制性示例包括但不限于美国因特尔公司的80x86或奔腾系列的微处理器、IBM的PowerPC微处理器、Sun微系统有限公司的Sparc微处理器、惠普公司的PA-RISC系列微处理器、或摩托罗拉公司的68xxx系列微处理器。

处理单元1006可以是任意逻辑处理单元，例如一个或多个中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。除非另有说明，否则在图7中示出的各个模块的结构和操作都是传统设计。因而，不需要在本文进一步详细这种模块，因为其都能被相关领域中的技术人员所理解。

系统总线1010可采用任意已知的总线结构或架构，包括具有存储器控制器的存储器总线、外围总线和局部总线。系统存储器1008包括只读存储器(ROM)1012和随机存取存储器(RAM)1014。可形成ROM 1012一部分的基本输入/输出系统(BIOS)1016包含基本程序，该基本程序在图像编辑系统1004的组件之间传递信息，例如在启动时。一些实施方式可采用分离的数据总线、指令总线和电源总线。

图像编辑系统1004还包括：硬盘驱动器1018，用于对硬盘1020进行读出和写入；光盘驱动器1022，用于对可移动的光盘1026进行读出和写入；以及磁盘驱动器1024，用于对可移动的磁盘1028进行读出和写入。光盘1026可以是CD或DVD，而磁盘1028可以是软磁盘、软磁盘。硬盘驱动器1018、光盘驱动器1022和磁盘驱动器1024经由系统总线1010与处理单元1006通信。如相关领域技术人员所知，硬盘驱动器1018、光盘驱动器1022和磁盘驱动器1024可包括连接在驱动器与系统总线1010之间的接口或控制器(未示出)。驱动器1018、1022、1024及其相关的计算机可读媒介1020、1026、1028提供计算机可读指令、数据结构、程序模块和用于图像编辑系统1004的其它数据的非易失性存储。尽管所描述的图像编辑系统1004采用硬盘1020、光盘1026和磁盘1028，相关领域的技术人员可理解，可采用能够存储由计算机存取的数据的其它类型的计算机可读媒介，例如磁带盒、闪存卡、伯努利磁盘盒、RAM、ROM、智能卡等。

程序模块可存储在系统存储器1008中，例如操作系统1030、一个或多个应用程序1032、其它程序或模块1034、驱动程序1036和程序数据1038。

应用程序1032可例如包括边缘检测逻辑1032a、焦点图估计逻辑1032b和重聚焦逻辑1032c。逻辑1032a-1032c例如可存储为一个或多个可执行指令。边缘检测逻辑1032a可包括用于检测图像中的边缘或图像数据的逻辑或指令。焦点图估计逻辑1032b可包括估计焦点图的逻辑，并且可包括计算与边缘相关的参数的计算逻辑、将计算的与边缘相关的参数传递至非边缘像素的传播逻辑、以及基于边缘像素和非边缘像素的与边缘相关的参数来估计焦点图的估计逻辑。重聚焦逻辑1032c可通过盲目反卷积使散焦对象重聚焦，并且可包括确定逻辑以基于检测到的边缘确定点扩散函数，以及去卷积逻辑以通过点扩散函数对散焦对象进行去卷积。

系统存储器1008还可包括通信程序1040，例如服务器和/或web客户端或浏览器，以允许图像编辑系统1004访问和数据并与例如用户计算系统、因特网上的web站点、公司内网或下面描述的其它网络等的其它系统交换数据。所描绘的实施方式中的通信程序1040是基于标记语言、例如超文本标记语言(HTML)、可扩展标记语言(XML)或无线标记语言(WML)，并且通过使用语法限定字符的标记语言操作，该语法限定字符被添加到文件数据中以表示文件结构。多个服务器和/或web客户端或浏览器在商业上可获得，例如，加利福尼亚的Mozilla公司和华盛顿的微软公司的服务器和/或web客户端或浏览器。

尽管在图7中显示为存储在系统存储器1008中，操作系统1030、应用程序1032、其它程序/模块1034、驱动程序1036、程序数据1038以及服务器和/或浏览器1040可存储在硬盘驱动器1018的硬盘1020、光盘驱动器1022的光盘1026和/或磁盘驱动器1024的磁盘1028中。用户通过例如触摸屏或键盘1042的输入设备和/或例如鼠标1044的定位设备将命令和信息输入到图像编辑系统1004中。其它输入设备可包括扩音器、操纵杆、手柄、写字板、扫描仪、生物扫描设备等。尽管可使用例如并行端口、手柄或无线接口或串行端口等的其它接口，这些和其它输入设备通过接口1046连接至处理单元1006，接口1046例如为连接至系统总线1010的通用串行总线(USB)接口。监视器1048或其它显示设备通过例如视频适配器的视频接口1050连接至系统总线1010。尽管未示出，图像编辑系统1004可包括其它输出设备，例如扬声器、打印机等。

图像编辑系统1004通过一个或多个逻辑连接工作在网络环境中以经由一个或多个通信信道(例如一个或多个网络1014a、1014b)与一个或多个远程计算机、服务器和/或设备通信。这些逻辑连接可方便任意已知的方法，其允许计算机例如通过一个或多个LAN和/或WAN(例如，因特网)通信。这种网络环境在有线和无线企业范围计算机网络、内网、外网和因特网中是已知的。其它实施方式包括其它类型的通信网络，包括电信网、蜂窝网、寻呼网和其它移动网络。

当在WAN网络环境中使用时，图像编辑系统1004可包括调制解调器1054，以建立WAN例如因特网1014a上的通信。调制解调器1054在图7中显示为通信链接在接口1046与因特网1014a之间，附加地或可选地，通信链接至系统总线1010的其它设备例如网络端口1056可用于建立因特网1014a上的通信。此外，通信链接至系统总线101的一个或多个网络接口1032a-1052d可用于建立LAN1014b上的通信。具体地，传感器接口1022a可提供与传感器子系统(例如，照相机)的通信。

在网络环境中，程序模块、应用程序或数据、或其部分可存储在服务器计算系统(未示出)中。相关领域的技术人员可认识到，图7所示的网络连接只是在计算机之间建立通信的方法的一些实施例，可使用其它连接，包括无线连接。

为了方便起见，处理单元1006、系统存储器1008、网络端口1056和接口1046、1052a-1052c被显示为通过系统总线1010通信连接至彼此，从而提供上述部件之间的连接性。在图像编辑系统1004的可选实施方式中，上述部件可通过与图7不同的方式通信连接。例如，一个或多个上述部件可直接连接至其它部件，或者可通过中间部件(未示出)连接至彼此。在一些实施方式中，省略了系统总线1010，部件通过适当的连接件直接连接至彼此。

应该注意，不同于已知的基于多图像的方法，本申请中没有将遮挡问题直接通过公式表示在成像模型中，因为基于单图像的研究本身已经是高度无约束，增加更多的未知性将使整个框架变得棘手。然而，由于估计的焦点图，可能的遮挡区域位于层边界，然后使用阿尔法混合合成这些区域以避免伪影。结果显示这是处理遮挡问题的在视觉上现实的方式。然而对对象遮挡和基于单图像研究中的半透明的调查研究将会是有意思的今后研究课题。此外，本申请的基本思想可进一步扩展至其它低级视觉问题，例如空间变量去模糊。

本发明不限于上面的描述和实施方式。本领域技术人员根据本申请的公开内容在不偏离本发明精神的情况下获得的其它实施方式应该落在本发明的范围内。

Claims (36)

1.一种对具有散焦对象的图像进行编辑的方法，包括：

确定所述图像中的边缘像素的模糊度，每个边缘像素的模糊度为该边缘像素处的边缘宽度；

将确定的模糊度传播至与每个所述边缘像素相邻的非边缘像素，以确定所述非边缘像素的模糊度；

基于所述边缘像素和所述非边缘像素的模糊度估计焦点图，以识别所述散焦对象；以及

基于所述焦点图对所述散焦对象进行重聚焦。

2.如权利要求1所述的方法，其中，所述重聚焦包括：

基于所述焦点图通过盲目反卷积使所述散焦对象重聚焦。

3.如权利要求2所述的方法，其中，所述重聚焦包括：

基于所述焦点图确定点扩散函数；以及

用所述点扩散函数对所述散焦对象进行去卷积以获得重聚焦的图像。

4.如权利要求3所述的方法，其中，所述确定包括：

基于所述焦点图建立所述图像的至少一个先验；以及

基于建立的先验使用最大后验(MAP)确定所述点扩散函数。

5.如权利要求4所述的方法，其中，建立的先验包括局部锐利先验和/或局部平滑先验，所述局部锐利先验用于确保所述重聚焦的图像中的边缘像素的锐度，所述局部平滑先验用于确保所述重聚焦的图像中的非边缘像素的平滑度。

6.如权利要求5所述的方法，其中，建立的先验还包括全局先验，用于确保所述重聚焦的图像的平滑度。

7.如权利要求1所述的方法，其中，所述焦点图包括所述图像中每个像素的模糊度。

8.如权利要求1所述的方法，进一步包括：

将所述图像与高斯滤波器的导数进行卷积以确定与边缘相关的曲线；以及

选择所述曲线的顶点作为所述边缘像素。

9.如权利要求8所述的方法，其中，所述确定包括：

从所述曲线采样不同的x值作为采样点；以及

将所述曲线用公式表示为函数 $d(x;c,w,{\mathrm{\&sigma;}}_d)=\frac{c}{\sqrt{2\mathrm{\&pi;}(w^2+{\mathrm{\&sigma;}}_d^2)}}\exp \left(\frac{-(x-x_0)}{2(w^2+{\mathrm{\&sigma;}}_d^2)}\right);$

根据所采样的点的函数值确定所述模糊度w，

其中，c是对比度，x₀是边缘中心，σ_d是高斯滤波器中凭经验选择的参数。

10.如权利要求9所述的方法，其中，σ_d的范围为1至3。

11.一种对具有聚焦对象和散焦对象的图像进行编辑的方法，包括：

确定所述图像中的边缘像素；

基于检测到的边缘估计所述图像的焦点图，以识别所述聚焦对象和所述散焦对象；以及

对所述散焦对象进行重聚焦，或对所述聚焦对象所述散焦对象中的至少一个进行散焦。

12.如权利要求11所述的方法，其中，所述检测包括：

将所述图像与高斯滤波器的导数卷积；以及

确定所述卷积的结果的顶点作为所述边缘像素。

13.如权利要求11所述的方法，其中，所述估计包括：

确定每个边缘像素的与边缘相关的参数；

将确定的参数传播至与所述每个边缘像素相邻的非边缘像素；以及

基于所述边缘像素和所述非边缘像素的参数估计所述焦点图。

14.如权利要求13所述的方法，其中，所述确定的参数至少包括边缘模糊度。

15.如权利要求13所述的方法，其中，所述确定的参数包括边缘模糊度、对比度、边缘中心和边缘基础中的至少一个。

16.如权利要求11所述的方法，其中，所述焦点图包括所述图像中的每个像素的模糊度信息。

17.如权利要求13所述的方法，其中，所述确定包括：

从将所述图像与高斯滤波器的导数进行卷积确定的曲线采样不同的x值作为采样点；以及

将所述曲线用公式表示为函数 $d(x;c,w,{\mathrm{\&sigma;}}_d)=\frac{c}{\sqrt{2\mathrm{\&pi;}(w^2+{\mathrm{\&sigma;}}_d^2)}}\exp \left(\frac{-(x-x_0)}{2(w^2+{\mathrm{\&sigma;}}_d^2)}\right);$

根据所采样的点的函数值确定参数c、w和b，

其中，w是边缘模糊度，c是对比度，x₀是边缘中心，b是边缘基础，σ_d是高斯滤波器中凭经验选择的参数。

18.如权利要求17所述的方法，其中，σ_d的范围为1至3。

19.如权利要求11所述的方法，其中，所述重聚焦包括：

通过盲目反卷积使所述散焦对象重聚焦。

20.如权利要求11所述的方法，其中，所述重聚焦包括：

基于所述焦点图确定点扩散函数；以及

用所述点扩散函数对所述散焦对象进行去卷积以获得所述重聚焦的图像。

21.如权利要求20所述的方法，其中，所述确定包括：

基于所述焦点图确定所述图像的至少一个先验；以及

基于建立的先验使用最大后验(MAP)确定所述点扩散函数。

22.如权利要求21所述的方法，其中，建立的先验包括局部锐利先验和/或局部平滑先验，其中，通过局部锐利先验确保所述重聚焦的图像中边缘像素的锐度，通过所述局部平滑先验确保所述重聚焦的图像中非边缘像素的平滑度。

23.如权利要求21所述的方法，建立的先验进一步包括全局先验，以确保所述重聚焦的图像的平滑度。

24.如权利要求11所述的方法，其中，所述散焦包括：

通过高斯模糊使所述聚焦对象和所述散焦对象中的至少一个散焦。

25.一种对具有散焦对象的图像进行编辑的装置，包括：

确定模块，被配置为确定所述图像中边缘像素的模糊度，每个边缘像素的模糊度为该边缘像素处的边缘宽度；

传播模块，被配置为将确定的模糊度传播至与每个所述边缘像素相邻的非边缘像素，以确定所述非边缘像素的模糊度；

估计模块，被配置为基于所述边缘像素和所述非边缘像素的模糊度估计焦点图，以识别所述散焦对象；以及

重聚焦模块，被配置为基于所述焦点图对所述散焦对象进行重聚焦。

26.如权利要求25所述的装置，其中，所述重聚焦模块被配置为基于所述焦点图通过盲目反卷积使所述散焦对象重聚焦。

27.如权利要求26所述的装置，其中，所述重聚焦模块包括：

确定单元，被配置为基于所述焦点图确定点扩散函数；以及

去卷积单元，被配置为用所述点扩散函数对所述散焦对象进行去卷积，以获得重聚焦的图像。

28.如权利要求27所述的装置，其中，所述图像的至少一个先验是基于所述焦点图建立的，所述确定单元被配置为基于建立的先验通过使用最大后验(MAP)确定所述点扩散函数。

29.如权利要求28所述的装置，其中，建立的先验包括局部锐利先验和/或局部平滑先验，所述局部锐利先验用于确保所述重聚焦的图像中边缘像素的锐度，所述局部平滑先验用于确保所述重聚焦的图像中非边缘像素的平滑度。

30.如权利要求29所述的装置，其中，建立的先验进一步包括全局先验，用于确保所述重聚焦的图像的平滑度。

31.如权利要求25所述的装置，其中，所述焦点图包括所述图像中每个像素的模糊度。

32.如权利要求25所述的装置，进一步包括：

卷积模块，被配置为将所述图像与高斯滤波器的导数进行卷积以确定与边缘相关的曲线；以及

选择模块，被配置为选择所述曲线的顶点作为所述边缘像素。

33.如权利要求32所述的装置，其中，所述曲线通过公式表示为函数 $d(x;c,w,{\mathrm{\&sigma;}}_d)=\frac{c}{\sqrt{2\mathrm{\&pi;}(w^2+{\mathrm{\&sigma;}}_d^2)}}\exp \left(\frac{-(x-x_0)}{2(w^2+{\mathrm{\&sigma;}}_d^2)}\right),$ 并且所述确定模块包括：

采样单元，被配置为从所述曲线采样具有不同的x值的采样点；以及

确定单元，被配置为根据采样的点的函数值确定模糊度w，

其中，c是对比度，x₀是边缘中心，σ_d是高斯滤波器中凭经验选择的参数。

34.如权利要求33所述的装置，其中，σ_d的范围为1至3。

35.一种对具有聚焦对象和散焦对象的图像进行编辑的装置，包括：

确定模块，被配置为确定所述图像中边缘像素的模糊度，每个边缘像素的模糊度为该边缘像素处的边缘宽度；

传播模块，被配置为将确定的模糊度传播至与每个所述边缘像素相邻的非边缘像素，以确定所述非边缘像素的模糊度；

估计模块，被配置为基于所述边缘像素和所述非边缘像素的模糊度确定焦点图，以识别所述散焦对象；以及

散焦模块，被配置为对所述聚焦对象和所述散焦对象中的至少一个进行散焦。

36.如权利要求35所述的装置，其中，所述散焦模块被配置为通过高斯模糊使所述聚焦对象至和所述散焦对象中的少一个散焦。

Images