CN107170007A - 具有图像散焦功能的图像装置及其产生散焦图像的方法 - Google Patents

Abstract

本发明公开了一种具有图像散焦功能的图像装置与图像装置产生散焦图像的方法。所述图像装置包含一图像获取单元、一深度图产生单元及一处理器。所述图像获取单元是用于获取一图像。所述深度图产生单元用于根据所述图像，产生对应于所述图像的一深度图。所述处理器用于根据所述深度图中对应所述图像的每一个像素的深度与对应所述每一个像素的预定深度，决定对应所述每一个像素的积分区块，利用所述积分区块产生对应所述每一个像素的散焦色彩像素值，以及根据对应所述图像的所有像素的散焦色彩像素值，输出对应所述图像的散焦图像。相较于现有技术，所述图像装置在执行散焦操作时的运算负担与耗时将大幅减少。

Description

具有图像散焦功能的图像装置及其产生散焦图像的方法

技术领域

本发明涉及一种具有图像散焦功能的图像装置及其产生散焦图像的方法，尤其涉及一种执行散焦操作时的运算负担与耗时都大幅减少的图像装置及其产生散焦图像的方法。

背景技术

当图像装置对所获取的图像执行散景(bokeh)处理时，所述图像装置将对所述图像中预定对象外的其他对象做散焦(defocus)操作，也就是说在所述图像装置对所述图像执行所述散景处理后，所述其他对象中和所述预定对象之间的距离越大者在所述图像中的图像将会越模糊。请参照图1，图1是利用平均滤波方法说明对应所述图像装置对所述图像中一像素100执行所述散焦操作时的滤波窗口102尺寸的示意图，其中所述图像装置还可根据所述图像，产生对应所述图像的一深度图。如图1所示，当所述图像装置对像素100执行所述散焦操作时，所述图像装置先加总滤波窗口102所包含的多个像素所获取的色彩像素值(例如，如图1所示，所述图像装置加总滤波窗口102所包含的68个像素所获取的色彩像素值)以产生一对应像素100的总色彩像素值，其中所述多个像素的数目会随着所述深度图中对应像素100的深度与所述深度图中对应所述预定对象的深度之间的差增加而大幅增加。在对应像素100的总色彩像素值产生后，所述图像装置对应像素100的总色彩像素平均值以产生对应像素100的散焦色彩像素值。如图1所示，因为所述图像装置必须加总滤波窗口102所包含的多个像素所获取的色彩像素值以产生对应像素100的总色彩像素值，所以所述图像装置执行加法运算的次数也会随着所述差增加而大幅增加。因为所述图像装置执行加法运算的次数会随着所述差增加而大幅增加，所以所述图像装置的运算负担与耗时也将大幅增加。因此，如何降低所述图像装置执行所述散焦操作时的运算负担与耗时将是所述图像装置的设计者的一项重要课题。

发明内容

本发明的一实施例公开一种具有图像散焦功能的图像装置。所述图像装置包含一图像获取单元、一深度图产生单元以及一处理器。所述图像获取单元用于获取对应一对象的一图像。所述深度图产生单元用于产生对应于所述对像的一深度图。所述处理器耦接于所述图像获取单元和所述深度图产生单元，用于根据所述深度图中对应所述图像的每一个像素的深度与对应所述每一个像素的预定深度，决定对应所述每一个像素的积分区块，利用所述积分区块产生对应所述每一个像素的散焦色彩像素值，以及根据对应所述图像的所有像素的散焦色彩像素值，输出对应所述图像的散焦图像。

本发明的还一实施例公开一种图像装置产生散焦图像的方法，其中所述图像装置包含一图像获取单元、一深度图产生单元及一处理器。所述方法包含所述图像获取单元获取对应一对象的一图像；所述深度图产生单元产生对应于所述对像的一深度图；所述处理器根据所述深度图中对应所述图像的每一个像素的深度与对应所述每一个像素的预定深度，决定对应所述每一个像素的积分区块；所述处理器利用所述积分区块产生对应所述每一个像素的散焦色彩像素值；所述处理器根据对应所述图像的所有像素的散焦色彩像素值，输出对应所述图像的散焦图像。

本发明公开一种具有图像散焦功能的图像装置及其产生散焦图像的方法。所述图像装置及所述方法是利用一处理器根据对应一图像的深度图中对应所述图像的每一个像素的深度与对应所述每一个像素的预定深度，决定对应所述每一个像素的积分区块，根据对应所述每一个像素的积分区块，产生对应所述每一个像素的散焦色彩像素值，以及根据对应所述图像的所有像素的散焦色彩像素值，输出对应所述图像的散焦图像。由于所述处理器产生对应所述每一个像素的积分区块的所有像素的积分图像的运算量并不会随着所述深度图中对应所述每一个像素的深度与所述深度图中对应预定对象的深度之间的差增加而显著增加，所以相较于现有技术，所述图像装置及所述方法在执行散焦操作时的运算负担与耗时将大幅减少。

附图说明

图1是利用平均滤波方法说明对应所述图像装置对所述图像中一像素执行所述散焦操作时的滤波窗口尺寸的示意图。

图2是本发明第一实施例公开的一种具有图像散焦功能的图像装置的示意图。

图3是本发明另一实施例公开的一种具有图像散焦功能的图像装置的示意图。

图4是说明对应像素的积分区块的示意图。

图5是说明对应像素的积分区块不是矩形的示意图。

图6是本发明第二实施例公开的一种图像装置产生散焦图像的方法的流程图。

其中，附图标记说明如下：

100、P 像素

102 滤波窗口

200 图像装置

202 图像获取单元

204 深度图产生单元

206 处理器

A、B、C、D、E、F、G、S、S’ 积分区块

DIM 散焦图像

DM 深度图

IM 图像

R 点

S1-S4 顶点

500-514 步骤

具体实施方式

请参照图2，图2是本发明第一实施例公开的一种具有图像散焦功能的图像装置200的示意图。如图2所示，图像装置200包含一图像获取单元202、一深度图产生单元204及一处理器206。图像获取单元200是用于获取对应一对象(未显示于图2)的一图像IM。深度图产生单元204耦接于图像获取单元202，用于根据图像IM，产生对应于所述对像的一深度图DM。但在本发明的另一实施例中，因为深度图产生单元204没有耦接于图像获取单元202，所以深度图产生单元204是直接根据所述对像，产生对应于所述对像的深度图DM(如图3所示)。处理器206耦接于图像获取单元202和深度图产生单元204，用于根据深度图DM中对应图像IM的每一个像素的深度、对应所述每一个像素的预定深度(也就是对应所述每一个像素的期望深度)与式(1)，产生对应所述每一个像素的散焦指数。例如，处理器206可根据深度图DM中对应图像IM的像素P的深度d、对应像素P的预定深度df与式(1)，产生对应像素P的散焦指数DI，其中散焦指数DI是用于决定像素P所获取的图像的散焦程度(也就是说像素P所获取的图像的散焦程度交会随着散焦指数DI增加而增加)，以及预定深度df是随着深度图DM中对应像素P的深度d与深度图DM中对应预定对象的深度之间的差增加而增加：

DI＝a×|d-df| (1)

由式(1)可知，因为预定深度df是随着所述差增加而增加，所以对应像素P的散焦指数DI也会随着所述差增加而增加，其中a是系数。另外，在本发明的另一实施例中，处理器206是根据深度图DM中对应图像IM的像素P的视差(disparity)、对应像素P的预定视差(predetermined disparity)与式(1)，产生对应每一个像素的散焦指数，也就是说式(1)中的d代表深度图DM中对应像素P的视差以及df代表对应像素P的预定视差。

另外，在本发明的另一实施例中，处理器206也可根据深度图DM中对应图像IM的像素P的深度d、对应像素P的预定深度df与式(2)，产生对应像素P的散焦指数DI：

DI＝Σa_n×|d-df|ⁿ (2)

如式(2)所示，a_n是第n阶多项式的系数。另外，本发明并不受限于处理器206根据式(1)或式(2)，产生对应像素P的散焦指数DI，也就是说任何可使对应像素P的散焦指数DI随着所述差增加而增加的处理器206所利用的方程式都落入本发明的范围。

在处理器206产生对应像素P的散焦指数DI后，处理器206可根据像素P在图像IM中的坐标(XP,YP)和对应像素P的散焦指数DI，决定对应像素P的积分区块S(如图4所示)，其中处理器206可根据像素P在图像IM中的坐标(XP,YP)、对应像素P的散焦指数DI和式(3)，分别决定积分区块S的4个顶点S1-S4的坐标(X0,Y1)、(X1,Y1)、(X1,Y0)、(X0,Y0)，其中像素P是位于积分区块S的中央，且如图4所示，积分区块S为一矩形：

如式(3)所示，对应像素P的积分区块S的面积与对应像素P的散焦指数DI成正相关。如图4所示，积分区块A是由顶点S1与R点所定义的矩形，积分区块B是由顶点S2与R点所定义的矩形，积分区块C是由顶点S3与R点所定义的矩形，以及积分区块D是由顶点S4与R点所定义的矩形。因此，处理器206可根据式(4)，决定对应积分区块S的积分图像CPVS，并将对应积分区块S的积分图像CPVS储存于处理器206内的内存(未显示于图2)：

CPVS＝CPVA+CPVC–CPVB–CPVD (4)

如式(4)所示，CPVA是图像获取单元202对应积分区块A的所有像素的积分图像、CPVB是图像获取单元202对应积分区块B的所有像素的积分图像、CPVC是图像获取单元202对应积分区块C的所有像素的积分图像以及CPVD是图像获取单元202对应积分区块D的所有像素的积分图像，其中积分图像CPVA、积分图像CPVB、积分图像CPVC以及积分图像CPVD的产生方法是本技术领域的技术人员所通知的技术，在此不再赘述。另外，因为处理器206在决定对应积分区块S的积分图像CPVS之前，处理器206已预先产生和储存对应积分区块A的所有像素的积分图像CPVA、对应积分区块B的所有像素的积分图像CPVB、对应积分区块C的所有像素的积分图像CPVC以及对应积分区块D的所有像素的积分图像CPVD于处理器206内的内存(未显示于图2)，所以处理器206可以快速地根据式(4)，决定对应积分区块S的积分图像CPVS。

另外，积分图像CPVA、CPVC、CPVB、CPVD可为RGB积分图像、YUV积分图像或灰阶值。另外，在本发明的另一实施例中，如果处理器206根据像素P在图像IM中的坐标(XP,YP)所决定的对应像素P的积分区块S’不是一矩形(如图5所示)时，则处理器206可利用上述决定积分区块S的方式先产生一矩形积分区块E、六个矩形积分区块F以及一矩形积分区块G，然后利用矩形积分区块E、六个矩形积分区块F以及矩形积分区块G决定积分区块S’(也就是说S’＝E-F-G)。

在处理器206根据式(4)决定对应积分区块S的积分图像CPVS后，处理器206可根据顶点S1-S4的坐标(X0,Y1)、(X1,Y1)、(X1,Y0)、(X0,Y0)和式(5)，计算出积分区块S的面积AR，以及根据对应积分区块S的积分图像CPVS、积分区块S的面积AR和式(6)，计算出对应像素P的散焦色彩像素值DCPV。

AR＝(X1–X0)*(Y1–Y0) (5)

DCPV＝CPVS/AR (6)

在处理器206计算出对应像素P的散焦色彩像素值DCPV后，处理器206也可根据上述处理器206计算出对应像素P的散焦色彩像素值DCPV的原理，计算出对应图像IM的其他像素的散焦色彩像素值。在处理器206计算出对应图像IM的所有像素的散焦色彩像素值后，处理器206即可根据对应图像IM的所有像素的散焦色彩像素值，输出对应图像IM的散焦图像DIM。

请参照图2、4、6，图6是本发明第二实施例公开的一种图像装置产生散焦图像的方法的流程图。图6的操作方法是利用图2的图像装置200说明，详细步骤如下：

步骤500：开始；

步骤502：图像获取单元202获取对应于所述对像的图像IM；

步骤504：深度图产生单元204产生对应于所述对像的深度图DM；

步骤506：处理器206根据对应每一个像素的深度与对应所述每一个像素的预定深度，产生对应所述每一个像素的散焦指数；

步骤508：处理器206根据所述每一个像素在所述图像中的坐标和对应所述每一个像素的散焦指数，决定对应所述每一个像素的积分区块；

步骤510：处理器206利用对应所述积分区块的积分图像和面积，产生对应所述每一个像素的散焦色彩像素值；

步骤512：处理器206根据对应图像IM的所有像素的散焦色彩像素值，输出对应图像IM的散焦图像DIM；

步骤514：结束。

在步骤506中，如图2所示，处理器206可根据深度图DM中对应图像IM的所述每一个像素的深度、对应所述每一个像素的预定深度(也就是对应所述每一个像素的期望深度)与式(1)，产生对应所述每一个像素的散焦指数。例如，处理器206可根据深度图DM中对应图像IM的像素P的深度d、对应像素P的预定深度df与式(1)，产生对应像素P的散焦指数DI，其中散焦指数DI是用于决定像素P所获取的图像的散焦程度(也就是说像素P所获取的图像的散焦程度交会随着散焦指数DI增加而增加)，以及预定深度df是随着深度图DM中对应像素P的深度d与深度图DM中对应预定对象的深度之间的差增加而增加。

由式(1)可知，因为预定深度df是随着所述差增加而增加，所以对应像素P的散焦指数DI也会随着所述差增加而增加。另外，在本发明的另一实施例中，处理器206是根据深度图DM中对应图像IM的像素P的视差、对应像素P的预定视差与式(1)，产生对应每一个像素的散焦指数，也就是说式(1)中的d代表深度图DM中对应像素P的差距以及df代表对应像素P的预定差距。

另外，在本发明的另一实施例中，处理器206也可根据深度图DM中对应图像IM的像素P的深度d、对应像素P的预定深度df与式(2)，产生对应像素P的散焦指数DI。另外，本发明并不受限于处理器206根据式(1)或式(2)，产生对应像素P的散焦指数DI，也就是说任何可使对应像素P的散焦指数DI随着所述差增加而增加的处理器206所利用的方程式都落入本发明的范围。

在步骤508中，在处理器206产生对应像素P的散焦指数DI后，处理器206可根据像素P在图像IM中的坐标(XP,YP)和对应像素P的散焦指数DI，决定对应像素P的积分区块S(如图4所示)，其中处理器206可根据像素P在图像IM中的坐标(XP,YP)、对应像素P的散焦指数DI和式(3)，分别决定积分区块S的4个顶点S1-S4的坐标(X0,Y1)、(X1,Y1)、(X1,Y0)、(X0,Y0)，其中像素P是位于积分区块S的中央。

如式(3)所示，对应像素P的积分区块S的面积与对应像素P的散焦指数DI成正相关。如图4所示，积分区块A是由顶点S1与R点所定义的矩形，积分区块B是由顶点S2与R点所定义的矩形，积分区块C是由顶点S3与R点所定义的矩形，以及积分区块D是由顶点S4与R点所定义的矩形。因此，处理器206可根据式(4)，决定对应积分区块S的积分图像CPVS，并将对应积分区块S的积分图像CPVS储存于处理器206内的内存(未显示于图2)，其中积分图像CPVA、CPVC、CPVB、CPVD可为RGB积分图像、YUV积分图像或灰阶值。另外，因为处理器206在决定对应积分区块S的积分图像CPVS之前，处理器206已预先产生和储存对应积分区块A的所有像素的积分图像CPVA、对应积分区块B的所有像素的积分图像CPVB、对应积分区块C的所有像素的积分图像CPVC以及对应积分区块D的所有像素的积分图像CPVD于处理器206内的内存(未显示于图2)，所以处理器206可以快速地根据式(4)，决定对应积分区块S的积分图像CPVS。

在步骤510中，在处理器206根据式(4)决定对应积分区块S的积分图像CPVS后，处理器206可根据顶点S1-S4的坐标(X0,Y1)、(X1,Y1)、(X1,Y0)、(X0,Y0)和式(5)，计算出积分区块S的面积AR，以及根据对应积分区块S的积分图像CPVS、积分区块S的面积AR和式(6)，计算出对应像素P的散焦色彩像素值DCPV。

在步骤512中，在处理器206计算出对应像素P的散焦色彩像素值DCPV后，处理器206也可根据上述处理器206计算出对应像素P的散焦色彩像素值DCPV的原理，计算出对应图像IM的其他像素的散焦色彩像素值。在处理器206计算出对应图像IM的所有像素的散焦色彩像素值后，处理器206即可根据对应图像IM的所有像素的散焦色彩像素值，输出对应图像IM的散焦图像DIM。

综上所述，本发明所公开的图像装置及其产生散焦图像的方法是利用处理器根据对应图像的深度图中对应所述图像的每一个像素的深度与对应所述每一个像素的预定深度，决定对应所述每一个像素的积分区块，根据对应所述每一个像素的积分区块，产生对应所述每一个像素的散焦色彩像素值，以及根据对应所述图像的所有像素的散焦色彩像素值，输出对应所述图像的散焦图像。由于处理器产生对应所述每一个像素的积分区块的所有像素的积分图像的运算量并不会随着所述深度图中对应所述每一个像素的深度与所述深度图中对应预定对象的深度之间的差增加而显著增加，所以相较于现有技术，本发明所公开的图像装置及其产生散焦图像的方法在执行散焦操作时的运算负担与耗时将大幅减少。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种具有图像散焦功能的图像装置，包含：

一图像获取单元，用于获取对应一对象的一图像；

一深度图产生单元，用于产生对应于所述对像的一深度图；

其特征在于，还包含：

一处理器，耦接于所述图像获取单元和所述深度图产生单元，用于根据所述深度图中对应所述图像的每一个像素的深度与对应所述每一个像素的预定深度，决定对应所述每一个像素的积分区块，利用所述积分区块产生对应所述每一个像素的散焦色彩像素值，以及根据对应所述图像的所有像素的散焦色彩像素值，输出对应所述图像的散焦图像。

2.如权利要求1所述的图像装置，其特征在于，所述处理器根据对应所述图像的每一个像素的深度与对应所述每一个像素的预定深度，决定对应所述每一个像素的积分区块包含：

所述处理器根据对应所述每一个像素的深度与对应所述每一个像素的预定深度，产生对应所述每一个像素的散焦指数，以及根据所述每一个像素在所述图像中的坐标和对应所述每一个像素的散焦指数，决定对应所述每一个像素的积分区块。

3.如权利要求2所述的图像装置，其特征在于，所述处理器是利用下列方程式产生对应所述每一个像素的散焦指数：

DI＝a×|d-df|；

其中：

DI是对应所述每一个像素的散焦指数；

a是系数；

d是所述深度图中对应所述每一个像素的深度；及

df是对应所述每一个像素的预定深度。

4.如权利要求2所述的图像装置，其特征在于，所述处理器是利用下列方程式产生对应所述每一个像素的散焦指数：

DI＝Σa_n×|d-df|ⁿ；

其中：

DI是对应所述每一个像素的散焦指数；

a_n是第n阶多项式的系数；

d是所述深度图中对应所述每一个像素的深度；及

df是对应所述每一个像素的预定深度。

5.如权利要求1所述的图像装置，其特征在于，所述处理器利用所述积分区块产生对应所述每一个像素的散焦色彩像素值包含：

所述处理器利用对应所述积分区块的积分图像和面积，产生对应所述每一个像素的散焦色彩像素值。

6.一种图像装置产生散焦图像的方法，其中所述图像装置包含一图像获取单元、一深度图产生单元及一处理器，所述方法包含：

所述图像获取单元获取对应一对象的一图像；

所述深度图产生单元产生对应于所述对像的一深度图；

其特征在于，还包含：

所述处理器根据所述深度图中对应所述图像的每一个像素的深度与对应所述每一个像素的预定深度，决定对应所述每一个像素的积分区块；

所述处理器利用所述积分区块产生对应所述每一个像素的散焦色彩像素值；及

所述处理器根据对应所述图像的所有像素的散焦色彩像素值，输出对应所述图像的散焦图像。

7.如权利要求6所述的方法，其特征在于，所述处理器决定对应所述每一个像素的积分区块包含：

所述处理器根据对应所述每一个像素的深度与对应所述每一个像素的预定深度，产生对应所述每一个像素的散焦指数；及

所述处理器根据所述每一个像素在所述图像中的坐标和对应所述每一个像素的散焦指数，决定对应所述每一个像素的积分区块。

8.如权利要求7所述的方法，其特征在于，所述处理器是利用下列方程式产生对应所述每一个像素的散焦指数：

DI＝a×|d-df|；

其中：

DI是对应所述每一个像素的散焦指数；

a是系数；

d是所述深度图中对应所述每一个像素的深度；及

df是对应所述每一个像素的预定深度。

9.如权利要求7所述的方法，其特征在于，所述处理器是利用下列方程式产生对应所述每一个像素的散焦指数：

DI＝Σa_n×|d-df|ⁿ；

其中：

DI是对应所述每一个像素的散焦指数；

a_n是第n阶多项式的系数；

d是所述深度图中对应所述每一个像素的深度；及

df是对应所述每一个像素的预定深度。

10.如权利要求6所述的方法，其特征在于，所述处理器产生对应所述每一个像素的散焦色彩像素值包含：

所述处理器利用对应所述积分区块的积分图像和面积，产生对应所述每一个像素的散焦色彩像素值。