CN102456229A

CN102456229A - 电子系统和疤痕影像修补方法

Info

Publication number: CN102456229A
Application number: CN2010106028267A
Authority: CN
Inventors: 黄文鸿
Original assignee: Silicon Motion Inc
Current assignee: Silicon Motion Inc
Priority date: 2010-10-22
Filing date: 2010-12-14
Publication date: 2012-05-16
Anticipated expiration: 2030-12-14
Also published as: CN102456229B; US20120099786A1; TWI432010B; TW201218740A; US8462999B2

Abstract

本发明公开一种电子系统和疤痕影像修补方法，该疤痕影像修补方法包括检测出一影像中的一人脸区域；将位于人脸区域中的至少一像素的一原始像素值减去一第一平均肤色值，用以得到一第一遮罩值；将第一遮罩值除以一常数，用以得到一第一修正遮罩值；以及将第一修正遮罩值加回第一平均肤色值，用以得到一第一像素值，作为上述像素的一已修补疤痕后的像素值。

Description

电子系统和疤痕影像修补方法

技术领域

本发明是有关于一种影像处理方法，特别是有关于一种疤痕影像修补方法。

背景技术

人脸疤痕修饰的功能已经是目前电子装置中不可或缺的功能。然而，已知技术是使用较复杂的深先搜寻演算法(Depth First Search，DFS)来执行，并且深先搜寻演算法需使用较复杂的电路来实现，相对地，功率损耗也比较高。于是需要一个较简单的方法及电子系统，用以修补疤痕影像。

发明内容

有鉴于此，本发明提供一种疤痕影像修补方法，包括检测出一影像中的一人脸区域；将位于人脸区域中的至少一像素的一原始像素值减去一第一平均肤色值，用以得到一第一遮罩值；将第一遮罩值除以一常数，用以得到一第一修正遮罩值；以及将第一修正遮罩值加回上述第一平均肤色值，用以得到一第一像素值，作为上述像素的一已修补疤痕后的像素值。

本发明亦提供一种电子系统，用以执行修补疤痕影像方法，包括一存储器，用以储存至少一影像；以及一处理单元，用以检测出影像中的一人脸区域，判断人脸区域中的至少一像素是否为急剧变化区域，将像素的一原始像素值减去一第一平均肤色值得到一第一遮罩值，将第一遮罩值除以一常数得到一第一修正遮罩值，以及将第一修正遮罩值加回上述第一平均肤色值得到一第一像素值，作为上述像素的一已修补疤痕后的像素值。

本发明亦提供另外一种疤痕影像修补方法，包括判断一影像中的至少一像素是否为急剧变化区域；根据判断的结果，标记像素所对应的加权值；将像素的一原始像素值减去一第一平均肤色值，用以得到一第一遮罩值；将第一遮罩值除以一常数，用以得到一第一修正遮罩值；将第一修正遮罩值加回第一平均肤色值，用以得到一第一像素值，作为上述像素的一已修补疤痕后的像素值；以及根据所对应的加权值和第一像素值，取得下一个时间点所需的一第二平均肤色值。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1是本发明的疤痕影像修补方法的一流程图。

图2是滑动窗框以第一方向移动到像素A1～A25上处理像素A21～A25前的示意图。

图3是滑动窗框以第一方向移动到像素A1～A25上处理像素A21～A25后的示意图。

图4是滑动窗框以第一方向移动到像素A6～A30上处理像素A26～A30前的示意图。

图5是滑动窗框以第一方向移动到像素A6～A30上处理像素A26～A30后的示意图。

图6是滑动窗框以第一方向处理像素A31～A45后的示意图。

图7为本发明的电子系统的一实施例。

主要元件符号说明：

S11～S19：步骤；

SW：滑动窗框；

A1～A45：像素；

70：电子系统；

71：处理单元；

72：存储器；

73：总线；

具体实施方式

本发明的实施例提供一种疤痕影像修补方法，用以修补疤痕影像。图1是本发明的疤痕影像修补方法的一流程图。

于步骤S11，对一影像进行自动曝光(Auto Exposure，AE)和自动白平衡(Auto White Balance，AWB)的处理。经过自动曝光和自动白平衡的处理，使得撷取到的影像效果可更接近实际影像，其中自动白平衡功能是指自动修正光线组合以达到色彩补偿的目的。物体本身的颜色常会因为投射光线的颜色而改变，人类的眼睛会自动修正这种因光线而产生的改变，但相机镜头却不具备这样的功能。白平衡校正功能就是为了让相机具有人眼一样的功能，透过计算不同光照平均值，自动调节内部的色彩平衡，来达到所有条件下均能真实再现白色的效果。自动白平衡技术会按照目前画面中影像的特质，经过计算后立即调整整个影像中红、绿、蓝三种原色的强度，以修正外部光线所造成的颜色误差。

于步骤S12，检测出影像中的一人脸区域。在此实施例中是使用一下脸部阀值(face lower threshold)和一上脸部阀值(face upper threshold)来定位所要的一人脸区域，再用一下脸部噪声阀值(face lower threshold_noise)和一上脸部噪声阀值(face upper threshold_noise)定义出具有一原始平均肤色值的区块。接下来，再对落在原始平均肤色值范围内的每一个像素做RGB定义下的像素值(以下皆称做像素值)的平均，得到一原始平均肤色值。在某些实施例中，上述像素值亦可为亮度值(luminance)。

处理过程中，通常由影像画面(image frame)最上面的一列的滑动窗框(sliding window，SW)以一第一方向(例如由左至右)进行。处理完毕后，再由下一列的滑动窗框以第一方向进行，直至整个影像画面处理结束。在某些实施例中，第一方向亦可为由右至左、由上至下、由下至上，但不限定于此。当滑动窗框移动到人脸区域之外时，就不进行任何处理。当滑动窗框完全进入人脸区域后，则开始对滑动窗框最右边的像素做处理。

于步骤S13，判断人脸区域中的至少一像素是否为急剧变化区域(sharparea)。举例而言，像素是否为急剧变化区域根据像素与多个相邻像素的像素值差的总和是否大于一急剧变化阀值所决定。在某些实施例中，一目标像素是否为急剧变化区域是用以下公式1来判断：E＝(2S0-L1-R1)+(2S0-L2-R2)+(2S0-U1-D1)+(2S0-U2-D2)，其中E为像素差异值，S0代表目标像素的像素值，L1、L2分别是目标像素左边第一、第二个像素的像素值，R1、R2分别是目标像素右边第一、第二个像素值，U1、U2分别是目标像素上面第一、第二个像素值，D1、D2分别是目标像素下面第一、第二个像素值。当像素差异值E大于急剧变化阀值，目标像素判定为急剧变化区域，当像素差异值E小于急剧变化阀值，目标像素判定为平缓变化区域。

于步骤S14，根据判断的结果取得像素的加权值。举例而言，若像素判定为急剧变化区域(即像素差异值E＞急剧变化阀值)，则上述像素所对应的加权值为加权值W_sharp，若像素判定为平缓变化区域(即像素差异值E＜急剧变化阀值)，则像素所对应的加权值为加权值W_smooth。在某些实施例中，加权值亦可储存至一查找表(lookup table)，但不限定于此。

于步骤S15，将像素的原始像素值减去第一平均肤色值，用以得到第一遮罩值。于步骤S16将第一遮罩值除以一常数(constant)，用以得到一第一修正遮罩值。接着，于步骤S 17，将第一修正遮罩值加回第一平均肤色值，用以得到一第一像素值，作为像素的已修补疤痕后的像素值。

于步骤S18，根据加权值和第一像素值，取得下一个时间点所需的一第二平均肤色值。根据加权值、第一像素值使用公式2取得一第二平均肤色值，第二平均肤色值即为下一个时间点所需的平均肤色值。在本实施例中，公式2为一加权平均公式，但不限于此。举例而言，加权平均公式可为

F为第二平均肤色值，W_i为像素Ai所对应的加权值，A_i为Ai的第一像素值，K为滑动窗框SW内的像素数量。

于步骤S19，判断是否处理完所有人脸区域的像素。若是，则流程回到步骤S13，直到滑动窗框完成所有人脸区域的像素为止。

为了清楚了解本发明，在这里提供一实施例，以5x5区块的滑动窗框SW为例(即K为25)，但不限于此，一个区块代表一个像素的大小。在处理过程中，滑动窗框SW处理的方向如图箭头所示，滑动窗框SW以第一方向扫描处理。当滑动窗框SW中的5x5区块的任何一个区块位在人脸区域之外，就不进行任何处理。当滑动窗框SW完全进入人脸区域后(即滑动窗框SW的25个像素都在人脸区域内)，此时的时间定为时间t1，则开始对最右边的5个像素做处理。举例而言，像素A1的像素值为100，像素A2的像素值为101，依此类推。

如图2所示，当5x5区块的滑动窗框SW以第一方向移动到像素A1～A25上时，首先如步骤S13所述，判断像素A21～A25是否为急剧变化区域。举例而言，先以像素A21为目标像素，则像素A21的像素值为公式1中的S0。根据公式1，可得知像素差异值E＝((2×102-102-100)+(2×102-103-99)+(2×102-100-100)+(2×102-99-101))＝12。在此范例中，急剧变化阀值定为50。由于像素A21的像素差异值E小于急剧变化阀值，则像素A21是平缓变化区域，并如步骤S14所述，在像素A21所对应的加权值为加权值W_smooth。同理，像素A22～A25皆为平缓变化区域，所对应的加权值皆为加权值W_smooth。

如图3所示，于步骤S15，像素A21～A25每个皆减去第一平均肤色值得到所对应的第一遮罩值。假设第一平均肤色为101(即原始平均肤色值)，则像素A21～A25的第一遮罩值分别为1、-1、0、1、2。如步骤S16所述，将像素A21～A25的第一遮罩值同除以常数。在此实施例中，常数为10，故所得到像素A21～A25的第一修正遮罩值皆为0(即四舍五入，在某些实施例中，可以是无条件删去小数点，亦或者是无条件小数点进位至整数，但不限定于此)。接着，如步骤S17所述，再将第一修正遮罩值加回原始平均肤色值得到第一像素值，作为已修补疤痕后的像素值。在此范例中，像素A21～A25的第一像素值皆为101。

于步骤S18，取得下一时间t2所要用的一第二平均肤色值。根据加权值、第一像素值使用公式2取得一第二平均肤色值。举例而言，公式2为加权平均公式，在此范例中，加权平均公式为将像素A21～A25的第一像素值和对应的加权值，带入公式2中。举例来说，将以A₂₁为101、W₂₁为W_smooth＝1代入公式2中。虽然像素A1～A20未计算第一像素值，但像素A1～A20皆以原始平均肤色(即101)为第一像素值、加权值W₁～W₂₀皆以1代入公式2中，则可得出第二平均肤色值F为101。

于步骤S19，判断是否处理完所有人脸区域的像素。由于未处理完所有人脸地区的像素，回到步骤S13。如图4所示，当时间t2时，5x5区块的滑动窗框SW以第一方向移动到像素A6～A30上，判断像素A26～A30是否为急剧变化区域(步骤S13)。以像素A26为目标像素，则像素A26的原始像素值为S0，像素差异值E＝((2×100-102-99)+(2×100-102-102)+(2×100-101-101)+(2×100-100-101))＝-8＜急剧变化阀值(即50)，则像素A26是平缓变化区域。因此，于步骤S14，取得像素A26所对应加权值为加权值W_smooth。同理，像素A26～A28皆为平缓变化区域，所对应的加权值皆为加权值W_smooth；另外，像素A29的像素差异值E＝((2×130-102-131)+(2×130-99-129)+(2×130-101-129)+(2×130-101-133))＝115＞急剧变化阀值(即50)，则像素A29是急剧变化区域，所对应的加权值为加权值W_sharp。同理，像素A30是急剧变化区域，所对应的加权值亦为加权值W_sharp。

如图5所示，像素A26～A30的原始像素值皆减去第二平均肤色值得到第二遮罩值(于步骤S15)。由于第二平均肤色值为101，故像素A26～A30的第二遮罩值分别为-1、0、0、29、28。然后，于步骤S16，将像素A26～A30的第二遮罩值同除以常数(即10)，得到像素A26～A30的第二修正遮罩值分别为0、0、0、2、2(即四舍五入)。于步骤S17，再将第二修正遮罩值加回第二平均肤色值得到第二像素值，作为像素A26～A30的已修补疤痕后的像素值。在此范例中，像素A26～A30的第二像素值分别为101、101、101、103、103。

于步骤S18，取得下一时间t3所要用的平均肤色值。根据加权值、第二像素值使用公式2取得一第三平均肤色值。在此范例中，公式2为

将像素A21～A25的第一像素值和所对应的加权值，带入公式2中。举例来说，将以像素A26的像素值A₂6为101、加权值W₂₆为加权值W_smooth＝1、像素A30的像素值A₃₀为103、加权值W₃₀为加权值W_sharp＝0.9代入公式2中。虽然像素A6～A20未计算第一像素值，但像素A6～A20皆以原始平均肤色(即101)为第一像素值、加权值W₆～W₂₀皆以1代入公式2中，则F为101(即四舍五入，在某些实施例中，可以是无条件删去小数点，亦或者是无条件小数点进位至整数，但不限定于此)，即第三平均肤色值为101。

接下来，判断是否处理完所有人脸区域的像素(步骤S 19)。由于未处理完所有人脸地区的像素，因此再回到步骤S13。时间t3所处理的像素A31～A35、时间t4所处理的像素A36～A40以及时间t5所处理的像素A41～A45的结果如图6所示，其详细步骤就不再赘述。当5x5区块的滑动窗框SW处理完第一列的滑动窗框后，再由下一列的滑动窗框SW以第一方向进行，直到完成所有人脸区域的像素为止。

根据图6，像素A29、A30、A34、A35、A39和A40的像素值经过疤痕影像修补之后，很明显地，像素A29、A30、A34、A35、A39和A40的像素值接近周遭附近平缓变化区域的像素的像素值，换句话说，疤痕影像已经被修补了。

本发明亦提供一种电子系统，用以执行前述的修补疤痕影像方法。

图7为本发明的电子系统的一实施例。如图所示，电子系统70包括一处理单元71、一存储器72，并使用总线73将其连结再一起。除此之外，熟习此技艺人士也可将本发明实施于其他电子系统配置(configuration)上，例如，手持式设备(hand-held devices)、个人数字助理(personal digital assistant；PDA)多处理器系统、以微处理器为基础或可程序化的消费性电子产品(microprocessor-based or programmable consumer electronics)、网络电脑、迷你电脑、大型主机以及类似的设备。

处理单元71可包含一单一中央处理单元(central-processing unit；CPU)或者是关连于平行运算环境(parallel processing environment)的多个平行处理单元，用以执行修补具有疤痕的影像。存储器72包含只读存储器(read only memory；ROM)、快闪存储器(flash ROM)、/或动态存取存储器(random access memory；RAM)。在另外一个实施例中，存储器亦可以是硬盘装置、软盘装置以及光盘装置或随身盘装置。存储器72用以储存可供处理单元71执行的程序模块。一般而言，程序模块包含例程(routines)、程序(program)、对象(object)、组件(component)等，用以执行讯息压缩功能。本发明亦可以实施于分布式运算环境，其运算工作被一连结于通讯网络的远端处理设备所执行。在分布式环境中，嵌入式装置的执行追踪功能的执行也许由本地以及多部远端电脑系统共同完成。

在此实施例中，存储器72用以储存至少一影像，而处理单元71用以对储存于存储器72中的影像进行自动曝光和自动白平衡的处理，并检测出影像中的一人脸区域。除此之外，处理单元71更判断人脸区域中的至少一像素是否为急剧变化区域，并根据判断的结果取得像素所对应的加权值。再者，处理单元71将像素的一原始像素值减去一第一平均肤色值得到一第一遮罩值，并且将第一遮罩值除以一常数得到一第一修正遮罩值，之后再将第一修正遮罩值加回第一平均肤色值得到一第一像素，作为一已修补疤痕后的像素值。最后，处理单元71则根据所对应的加权值和第一像素值，取得下一个时间点所需的一第二平均肤色值。处理单元71处理完第一列的滑动窗框SW后，再由下一列的滑动窗框SW以第一方向进行，直到完成所有影像为止。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims

1.一种疤痕影像修补方法，包括：

检测出一影像中的一人脸区域；

将位于上述人脸区域中的至少一像素的一原始像素值减去一第一平均肤色值，用以得到一第一遮罩值；

将上述第一遮罩值除以一常数，用以得到一第一修正遮罩值；以及

将上述第一修正遮罩值加回上述第一平均肤色值，用以得到一第一像素值，作为上述像素的一已修补疤痕后的像素值。

2.如权利要求1所述的疤痕影像修补方法，其特征在于，更包括判断上述像素是否为急剧变化区域。

3.如权利要求2所述的疤痕影像修补方法，其特征在于，更包括：

取得上述像素所对应的加权值，其中于上述像素为急剧变化区域时，上述像素所对应的加权值为一第一加权值，并且于上述像素不为急剧变化区域时，上述像素所对应的加权值为一第二加权值，上述第一加权值不同于上述第二加权值。

4.如权利要求3所述的疤痕影像修补方法，其特征在于，更包括根据上述第一像素值与上述第一、第二加权值，取得下一个时间点所需的一第二平均肤色值。

5.如权利要求4所述的疤痕影像修补方法，其特征在于，上述取得上述第二平均肤色值的步骤包括：

将上述第一像素值乘以上述第一加权值或第二加权值作加权值平均，取得上述第二平均肤色值。

6.如权利要求1所述的疤痕影像修补方法，其特征在于，更包括：

对上述影像执行一自动曝光和一自动白平衡的处理。

7.如权利要求2所述的疤痕影像修补方法，其特征在于，上述像素是否为急剧变化区域是根据上述像素与多个相邻像素的像素值差的总和是否大于一急剧变化阀值所决定。

8.如权利要求1所述的疤痕影像修补方法，其特征在于，上述原始像素值和上述第一像素值为RGB定义下的像素值。

9.一种电子系统，用以执行修补疤痕影像方法，包括：

一存储器，用以储存至少一影像；以及

一处理单元，用以检测出上述影像中的一人脸区域，判断上述人脸区域中的至少一像素是否为急剧变化区域，将上述像素的一原始像素值减去一第一平均肤色值得到一第一遮罩值，将上述第一遮罩值除以一常数得到一第一修正遮罩值，以及将上述第一修正遮罩值加回上述第一平均肤色值得到一第一像素值，作为上述像素的一已修补疤痕后的像素值。

10.如权利要求9所述的电子系统，其特征在于，上述处理单元更用以判断上述像素是否为一急剧变化区域。

11.如权利要求9所述的电子系统，其特征在于，上述处理单元更用以取得上述像素所对应的加权值，当上述像素为急剧变化区域时，上述处理单元取得上述像素所对应的加权值为一第一加权值，并且当上述像素不为急剧变化区域时，上述处理单元取得上述像素所对应的加权值为一第二加权值，并且上述第一加权值不同于上述第二加权值。

12.如权利要求11所述的电子系统，其特征在于，上述处理单元更用以根据上述第一、第二加权值和上述第一像素值，取得下一个时间点所需的一第二平均肤色值。

13.如权利要求12所述的电子系统，其特征在于，上述处理单元更将上述第一像素值乘以上述第一加权值或第二加权值作加权值平均，取得上述第二平均肤色值。

14.如权利要求9所述的电子系统，其特征在于，上述处理单元更用以对上述影像进行一自动曝光和一自动白平衡的处理。

15.如权利要求10所述的电子系统，其特征在于，上述处理单元是根据上述像素与多个相邻像素的像素值差的总和是否大于一急剧变化阀值所决定上述像素是否为急剧变化区域。

16.如权利要求9所述的电子系统，其特征在于，上述原始像素值和上述第一像素值为RGB定义下的像素值。

17.一种疤痕影像修补方法，包括：

判断一影像中的至少一像素是否为急剧变化区域；

根据判断的结果，取得上述像素所对应的加权值；

将上述像素的一原始像素值减去一第一平均肤色值，用以得到一第一遮罩值；

将上述第一遮罩值除以一常数，用以得到一第一修正遮罩值；

将上述第一修正遮罩值加回上述第一平均肤色值，用以得到一第一像素值，作为上述像素的一已修补疤痕后的像素值；以及

根据上述所对应的加权值和上述第一像素值，取得下一个时间点所需的一第二平均肤色值。

18.如权利要求17所述的疤痕影像修补方法，其特征在于，更包括：

在上述判断上述像素是否为急剧变化区域的步骤之前，对上述影像执行一自动曝光和一自动白平衡的处理。

19.如权利要求18所述的疤痕影像修补方法，其特征在于，上述像素是否为急剧变化区域是根据上述像素与多个相邻像素的像素值差的总和是否大于一急剧变化阀值所决定。

20.如权利要求17所述的疤痕影像修补方法，其特征在于，于上述像素为急剧变化区域时，上述像素所对应的加权值为一第一加权值，而于上述像素不为急剧变化区域时，上述像素所对应的加权值为一第二加权值，并且上述第一加权值不同于上述第二加权值。

21.如权利要求20所述的疤痕影像修补方法，其特征在于，上述取得上述第二平均肤色值的步骤包括：

将上述第一像素值乘以上述第一加权值或第二加权值作加权平均，得到上述第二平均肤色值。

22.如权利要求17所述的疤痕影像修补方法，其特征在于，上述原始像素值和上述第一像素值为RGB定义下的像素值。