JP2011041089A - 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 - Google Patents

Abstract

【課題】被写界深度を浅くするために背景画像をぼかしたときの画像の違和感を無くす。
【解決手段】 画像を複数の局所領域（ステップＳ６）に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対してボカシ処理を施す（ステップＳ８）と共に、該ボカシ処理を施した前記局所領域以外の他の前記局所領域に対して人工ノイズを重畳する（ステップＳ１０）。
【選択図】図３

Description

本発明は、画像の一部の局所領域にボカシ処理を施す画像処理方法、画像処理装置、画像処理プログラム、撮像装置に関する。

カメラ（撮像装置）で人物を撮影する場合、カメラの撮影モードをポートレートモードにすると、絞り開口量が大きくなって被写界深度が浅くなり、人物像はその輪郭がハッキリと綺麗に写るのに対し背景画像はぼやけ、人物像が背景から浮き立つような画像が得られる。同様に、カメラをマクロモードにして例えば花等に接近して撮影を行うと、主要被写体である花の画像はハッキリと綺麗に写るのに対し、主要被写体ではない背景の部分は、目立たないようにぼやけて写すことができる。

このように、カメラで被写体を撮影する場合、撮影シーンによって、背景画像をぼかすことが重要になる。しかし、大口径レンズを搭載したカメラの場合には背景画像をぼかすことが容易であるが、コンパクトデジタルカメラの様に小型レンズを搭載したカメラの場合、背景をぼかした画像を撮影するのが難しい。

そこで、下記の特許文献１，２，３記載の従来技術では、撮影された被写体画像に対して、画像処理により、ぼかしたい部分を抽出してボカシ処理を施す様になってきている。

特開２００８―２７１２４０号公報 特開２００８―２７１２４１号公報 特開平７―２１３６５号公報

カメラで撮影して得られた被写体画像のうち主要被写体以外の局所領域（上記例では、背景部分）にボカシ処理を施すことで、所謂ぼけ味の優れた画像になる。

しかし、このボカシ処理を施すことで画像品質が向上するのは、低ＩＳＯ感度（例えばＩＳＯ８０とかＩＳＯ１００）で撮影した画像に対してボカシ処理を施した場合であって、ＩＳＯ４００，８００以上の様な高感度で撮影を行った画像に対してボカシ処理を施すと、ボカシ処理を施した背景部分の画像に対して主要被写体部分の画像のザラツキ感，ノイズ感が目立ってしまい、画像全体として一体感がなく違和感のある画像になってしまうという問題がある。

本発明の目的は、高感度撮影を行って得られた撮影画像のうちの局所領域にボカシ処理を施しても画像全体として違和感の無い画像を得ることができる画像処理方法、画像処理装置、画像処理プログラム、撮像装置を提供することにある。

本発明の画像処理方法、画像処理装置、画像処理プログラムは、画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対してボカシ処理を施すと共に、該ボカシ処理を施した前記局所領域以外の他の前記局所領域に対して人工ノイズを重畳することを特徴とする。

本発明の画像処理方法、画像処理装置、画像処理プログラムは、画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対して該局所領域中の被写体エッジの鮮鋭度を保ったまま該被写体エッジ以外の該局所領域内にボカシ処理を施し、該ボカシ処理を施した該局所領域以外の他の前記局所領域に対して被写体エッジの鮮鋭度を保つことなくボカシ処理を施すことを特徴とする。

本発明の画像処理方法、画像処理装置、画像処理プログラムは、画像の画素毎に特性の異なる第１フィルタ処理と第２フィルタ処理を夫々施し、前記画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域の被写体エッジ以外の画素には前記第１フィルタ処理を施した画素値を選択し、該第１フィルタ処理を施さない前記局所領域の各画素に対しては前記第２フィルタ処理を施した画素値を選択することを特徴とする。

本発明の撮像装置は、上記記載の画像処理装置と、前記画像を撮像する撮像系とを備えることを特徴とする。

本発明によれば、ボカシ処理を施した局所領域には、ボカシ処理を施さない領域と同程度のノイズ量を付加するため、あるいは、ボカシ処理を施す局所領域と施さない局所領域のノイズ低減量を同一にするため、画像全体としてのザラツキ感が一様となり、違和感のない画像となる。

本発明の一実施形態に係るデジタルスチルカメラのブロック構成図である。 図１に示すデジタル信号処理部の詳細構成図である。 図１に示すデジタルスチルカメラが行う動作手順を示すフローチャートである。 図１のデジタルスチルカメラで撮影する被写体の説明図である。 フォーカスブラケット撮影で２回撮影した２枚の画像Ａ，Ｂを示す図である。 図４の被写体における局所参照データを示す図である。 平滑化フィルタを例示する図である。 図７の平滑化フィルタの周波数特性を示すグラフである。 図５に示す画像Ａに対してボカシ処理を施した後の画像である。 図５に示す画像Ａの要部拡大図（ａ）と図９の画像の要部拡大図（ｂ）である。 図１に示すノイズ重畳部の詳細図である。 ノイズ重畳後の画像の要部拡大図である。 図１１に代わる実施形態のノイズ重畳部の詳細図である。 撮影感度によってノイズ量決定を行うテーブル説明図である。 図１３に代わる実施形態のノイズ重畳部の詳細図である。 ノイズ低減処理パラメータによってノイズ量決定を行うテーブル説明図である。 図２に代わる実施形態のデジタル信号処理部の詳細図である。 図１７で説明する第１ノイズフィルタ処理部の詳細図である。 図１７で説明する第２ノイズフィルタ処理部の詳細図である。 図１７に示す合成処理回路の詳細説明図である。 図１９に代わる実施形態の第２ノイズフィルタ処理部の詳細図である。 図２１に示す出力選択部の処理手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

図１に示すデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた、絞り１２、赤外線カットフィルタ１３、光学ローパスフィルタ１４を備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。

また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサである。

デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。

更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、画像処理を行うデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データをＲ，Ｇ，Ｂ毎に積算し各積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備える。

また、この電気制御系は、後述する動作を行う、位置合わせ制御部３３、距離情報算出部３４、ボカシ処理部３５、ノイズ重畳部３６を更に備える。そして、電気制御系を構成するこれら構成部品は、制御バス３７及びデータバス３８によって相互に接続され、ＣＰＵ１５からの指令によって制御される。

図示する例のデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるＲ，Ｇ，Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込み図１の積算部２８による積算結果を受けて各色ＲＧＢのゲイン調整を行いホワイトバランスをとるゲイン補正回路４２と、ホワイトバランス調整後の画像信号に対しリニアマトリクス処理を施すリニアマトリクス回路４３と、リニアマトリクス処理後の画像信号に対しガンマ補正を行うガンマ補正回路４４とを備える。

デジタル信号処理部２６は更に、ガンマ補正後のＲＧＢの色信号（画像信号）を補間演算して各画素位置におけるＲＧＢ３色の信号を求める同時化処理回路４５と、同時化処理後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃ（Ｃｒ，Ｃｂ）とを求めるＲＧＢ／ＹＣ変換回路４６と、ＲＧＢ／ＹＣ変換回路４６から出力される輝度信号Ｙに対してノイズ低減処理を施すノイズフィルタ処理部と、ＲＧＢ／ＹＣ変換回路４６から出力される色差信号Ｃに対してノイズ低減処理を施すノイズフィルタ処理部４８と、ノイズフィルタ処理部４７から出力される輝度信号Ｙに対して輪郭補正処理を行う輪郭補正回路４９と、ノイズフィルタ処理部４８から出力される色差信号Ｃに対し色差マトリクスを乗算して色調補正を行う色差補正回路５０とを備える。

図３は、図１に示すデジタルスチルカメラの制御手順を示すフローチャートである。先ず、ステップＳ１で、合焦位置を判断する。この合焦位置の判断処理では、レンズ駆動部１８がレンズ１０を駆動しつつ固体撮像素子１１で被写体を予備撮像し、得られた画像データ（シャッタ全押し前に固体撮像素子１１から出力されモニタ表示部３１に表示されるスルー画像データ）を積算部２８で解析することにより、主要被写体の合焦位置を判断する。

即ち、このステップＳ１では、いわゆるＡＦ（オートフォーカス処理）動作を行う。同時に、これらのデータを用いて、距離の異なる複数の被写体の合焦位置を算出する。

以下の例では、図４に示すように、１つの主要被写体（図示の例では、人物）と、その背景にある別の被写体（図示の例では、樹木）の夫々の合焦位置が算出され、計２回の連写撮影（いわゆるフォーカスブラケット撮影）を行うものとする。もちろん、判断された合焦位置の数及び連写枚数は、３以上でも良い。

図３の次のステップＳ２では、先ず主要被写体に対してレンズ１０が合焦されるようにレンズ１０の位置を駆動し、次のステップＳ３で撮像処理を行う。そして、ステップＳ４で、所定回数の撮像（この例の場合には２回）が行われたか否かを判定し、所定回数の撮像が行われていない場合にはステップＳ２に戻り、次に、背景の被写体に対してレンズ１０を合焦させ、撮像処理（ステップＳ３）を行う。

ステップＳ４の判定の結果、所定回数の撮像が終了した場合には、即ちこの例では、主要被写体に合焦した画像Ａと、背景被写体に合焦した画像Ｂとが得られた場合には、次にステップＳ５に進む。

図５（ａ）は、２枚の画像のうち主要被写体に合焦とした画像Ａを示しており、主要被写体（人物）の輪郭がハッキリしているのに対し、背景の被写体（樹木）はぼけた画像となっている。これに対し、図５（ｂ）は、背景被写体に合焦した画像Ｂを示しており、主要被写体（人物）はぼけた画像となっているのに対し、背景被写体の輪郭はハッキリと映っている。

この２枚の画像が得られた後、次のステップＳ５からステップＳ１０までにより、本実施形態の特徴的な画像処理プログラムの処理を行う。そこで先ず、ステップＳ５において、連写された２枚の画像Ａ，画像Ｂの位置合わせを、図１の位置合わせ処理部３３で行う。この位置合わせ処理を行うことで、連写中の手ブレや焦点位置の変化により画像Ａと画像Ｂとの間に発生した微妙な画角の変化を抑えることができる。

位置合わせの手法として様々な手法が知られており、例えば、２つの画像Ａ，Ｂ間でブロックマッチングを行い、得られた動きベクトルに基づいて一方の画像をアフィン変換等で変形する手法などが知られている。

次のステップＳ６では、距離情報の算出処理を、図１の距離情報算出部３４で行う。この処理では、２枚の画像Ａ，Ｂから、撮影シーンの距離情報を算出する。具体的には、各画素ごとに画像Ａと画像Ｂのどちらが鮮鋭度が高いかを比較し、より鮮鋭度が高い方の画像で合焦されたと判断する。鮮鋭度は、例えば良く知られたラプラシアンフィルタなどで算出できる。

結果として、図６に示す様に、各画素ごとの合焦位置を示した距離画像、すなわち、画像を局所領域毎に分ける局所領域識別画像が得られる。図６に示す例では、「距離０」の画像領域（人物画像領域）は画像Ａの方が鮮鋭度が高く、「距離１」の画像領域（背景画像領域）は画像Ｂの方が鮮鋭度が高い領域となっていることを示している。

画像Ａ，Ｂは、夫々を撮影した際の合焦位置が既知であるので、距離０，距離１のそれぞれの物理的距離が分かる。この距離画像は、後述のステップＳ８で行うボカシ処理，ステップＳ１０で行うノイズ重畳処理を行う際の参照データとなる。即ち、画像の局所領域毎（部分領域毎）に特性の異なる画像処理を行う際の「局所」の領域をその他の領域から分けて特定する際に参照する局所参照データとなる。

次のステップＳ７では、上記の距離画像を参照し、各参照値と撮影時の焦点距離、絞り等の情報を用いて、ＣＰＵ１５にて「ぼかし量」を算出する。ここでは、主要被写体である図６の距離０を基準として、距離０と距離１の物理的距離が大きいほどぼかし量が大きくなるように、また撮影時の焦点距離が大きいほど、絞りが開放側ほどぼかし量が大きくなるように、ぼかし量を算出する。これにより、実際に被写界深度の狭い撮影条件で撮影した際に得られるぼけ感を得ることができる。

次のステップＳ８では、ステップＳ７で算出されたぼかし量に応じて図１のボカシ処理部３５がボカシ処理を行う。ボカシ処理は、主要被写体に合焦して撮影された画像Ａの局所領域（この例では背景領域）に対して適用される。

ぼかし量が大きいほど、遮断周波数が低くなるような平滑化フィルタを選択してボカシ処理（フィルタ処理）を行う。例えば、図７に示すような５種類の１１タップデジタルフィルタの中から、ぼかし量に応じたフィルタを選択し、水平方向，垂直方向の夫々に平滑化フィルタ処理を行うことで、異なるぼかし量のボカシ処理を行う。

図８は、図７に示す５種類のデジタルフィルタのそれぞれの周波数特性を示す図である。画像Ａは主要被写体に合焦しているため、距離０の部分には、ぼかし効果のないフィルタ０が適用されるか、あるいは、ボカシ処理を行わないことになる。この結果として、図９に示すように、背景のぼけを強調し、見かけの被写界深度が浅くなったような画像を得ることができる。

しかし、ボカシ処理はノイズを低減させる処理でもあるため、このボカシ処理を施す元画像Ａが例えば高感度撮影された画像の場合、つまり画像全体にザラツキ感，ノイズ感のある画像になっている場合、背景画像部分に対してだけボカシ処理を施すと、背景画像部分のノイズ感だけが低減して、画像全体として違和感のある不自然な画像になってしまう。

図１０（ａ）に示す様に、ボカシ処理前に画像全体にノイズが乗っていた場合、背景部分に対してだけボカシ処理を行うと、図１０（ｂ）に示す様に、ぼかし量が大きい背景部分のノイズ量が低減されてしまい、ボカシ処理が行われない主要被写体部分のノイズ量との間に差が生じ、画像の局所領域毎に異なるノイズ特性となってしまう。このような画像は、いかにも画像を加工したような違和感を感じる画像になるため、ノイズ感に関しては、むしろボカシ処理を行わない方が好ましい。

そこで、本実施形態では、次の様にして、図１０（ｂ）のボカシ処理を施した局所領域（この例では背景領域）に人工ノイズを重畳して、ボカシ処理を施さない領域（この例では主要被写体領域）のノイズ量と同程度のノイズ量となるような処理（図３のステップＳ９，ステップＳ１０）を行い、処理後の画像データを記録媒体２９（図１参照）に記録する（ステップＳ１１）。

図１１は、図１に示すノイズ重畳部３６の詳細構成図である。このノイズ重畳部３６は、ステップＳ７で算出されたボカシ量を取り込んでノイズ量を決定するノイズ量決定部５５と、一様乱数発生部５６と、一様乱数発生部５６の出力とノイズ量決定部５５の出力を取り込んで正規乱数を生成する正規乱数生成部５７と、正規乱数生成部５７の出力とボカシ処理後画像とを取り込んでボカシ処理が施された局所領域に人工ノイズを重畳する加算部５８とを備える。

ノイズ量決定部５５では、各画素のボカシ量が大きいほど、ノイズの標準偏差σが大きくなるようにノイズ量を決定する。一様乱数発生部５６では、０から所定最大値Ｍまでの範囲で、整数の一様乱数を２種類（α，β）発生させる。一様乱数の発生方法は、混合合同法、平方採中法、メルセンヌ・ツイスタ法などの周知の手法が採用できる。

正規乱数生成部５７では、発生した一様乱数α,βを用いてボックス・ミューラー法を用いて、次の数１により、標準偏差σを持つ正規乱数ｎを生成する。ここで、ｌｎは自然対数である。

加算部５８では、ボカシ処理後の画像の各画素に対して、個別に生成した正規乱数ｎを加算する。

以上により、各画素のボカシ量が大きいほど、すなわちボカシ処理によるノイズ低減量が大きい画素ほど、標準偏差の大きなノイズが重畳されるため、ボカシ処理により低減されたノイズを人工ノイズで補うことができる。結果として、図１２に示すように、局所領域間の境界を挟んだ両領域におけるザラツキ感，ノイズ感の均一化を図ることができ、違和感のない画像を得ることができる。

この様に、本実施形態によれば、被写体画像を、各々の被写体までの距離に応じて局所的にぼかすことにより、見かけの被写界深度を狭くする画像処理において、ぼかし特性に応じて人エノイズを重畳するため、画像処理したときに生じる不自然なノイズ感を低減させることが可能となる。

図１３は、本発明の別実施形態に係るノイズ重畳部の詳細構成図である。基本構成は図１１のノイズ重畳部と同じであるが、本実施形態では、ノイズ量決定部５５が、ボカシ量の他に、撮影感度情報も使用してノイズ量を決定する点が異なる。撮影感度情報は、撮影された画像のノイズ特性を表すパラメータの１つでもあり、従って、本実施形態のノイズ重畳部は、ノイズ量を決定する際に、ボカシ量だけでなく、画像ノイズ特性も考慮してノイズ量を決定することになる。

画像ノイズ特性は、ボカシ処理前の画像が持っているノイズ特性であり、ボカシ処理を行わない主要被写体領域には、ボカシ処理後もこの特性のノイズが乗っていることになる。

この画像ノイズ特性を表すパラメータとして、本実施形態では、撮影感度情報を参照する。一般に、撮影感度が高いほど、固体撮像素子１１に照射される光量は低く、これを適正な明るさに補正するために、撮像装置内部のアナログ信号処理部２２等にて利得の高いゲインがかかり、結果としてノイズも増幅されてしまう。

従って、図１４に示すように、ぼかし量が大きいほど、かつ、撮影時の感度が大きいほど、標準偏差が大きくなるようにノイズ量を決定することによって、ボカシ処理によって低減されたノイズ量を補う分の人工ノイズを適切に重畳できる。図１４に示す関係は、予め調整されたテーブルとして参照することもできるし、所定の関係式による演算によって算出しても良い。

本実施形態によれば、撮影感度に応じて重畳するノイズ量を決定するため、ぼかし処理を施した画像に対して、より適切にノイズ感の不自然さを解消することができる。

図１５は、本発明の更に別実施形態に係るノイズ重畳部の詳細構成図である。本実施形態でも、基本構成は図１１のノイズ重畳部と同じであるが、本実施形態では、ノイズ量決定部５５が、ボカシ量の他に、ノイズ低減処理のパラメータも勘案して決定する点が異なる。

通常の撮像装置では、撮影感度が高いときは画像処理によるノイズ低減処理によってノイズを抑えることが頻繁に行われている。ノイズ低減処理は、単純な平滑化フィルタを用いる処理や、信号のエッジを判別してエッジ部は平滑化せず、それ以外の平坦部にのみ平滑化を行うような処理など様々である。

従って、ノイズ低減処理のパラメータによって、ボカシ処理前の画像がどの程度のノイズ特性であるかを把握することができる。このため、このパラメータとボカシ量によって、重畳する人工ノイズの標準偏差を、図１６に示すように決定する。

この実施形態の様に、ノイズ低減処理パラメータに応じて重畳する人工ノイズ量を決定することにより、より適切にノイズ感の不自然さを解消することができる。

なお、図１３，図１５の実施形態では、ボカシ処理を施した局所領域に重畳する人工ノイズ量を、撮影感度情報やノイズ低減処理パラメータに基づいて算出したが、ボカシ処理を施さない局所領域のうちエッジ部分でない平坦部のノイズ量を画像処理により直接検出してノイズ量を算出することも可能である。

図１７は、本発明の別実施形態に係るデジタル信号処理部の構成図である。本実施形態のデジタル信号処理部の構成は、図２で説明した実施形態のデジタル信号処理部の構成と基本的に同じであるため、図２と同一部品に対しては同一符号を付してその説明は省略し、異なる点のみ説明する。

本実施形態のデジタル信号処理部では、輝度信号Ｙに対してノイズ低減処理するノイズ低減フィルタとして、第１ノイズフィルタ処理部６１，第２ノイズフィルタ処理部６２の２種類が並列に設けられており、合成処理回路６３は、いずれか一方のノイズフィルタ処理部６１，６２の出力信号を選択して、後段の輪郭補正回路４９に出力する構成になっている。

また、色差信号Ｃに対してノイズ低減処理するノイズ低減フィルタも、第１ノイズフィルタ処理部６４，第２ノイズフィルタ処理部６５の２種類が並列に設けられており、合成処理回路６６は、いずれか一方のノイズフィルタ処理部６４，６５の出力信号を選択して、後段の色差補正回路５０に出力する構成になっている。

この様に、本実施形態では、図５の画像Ａの輝度信号Ｙに対して特性の異なる２種類のノイズ低減処理を施し、同様に色差信号Ｃに対して特性の異なる２種類のノイズ低減処理を施し、２種類のノイズ低減処理した信号を画素毎にいずれか一方の信号を選択する合成処理を行う。

図１８は、第１ノイズフィルタ処理部６１，６４の構成図である。この第１ノイズフィルタ処理部６１，６４では、画像のノイズを低減させつつ、ボカシ処理を行うため、平滑化部６７を備える。平滑化部６７は、図７に示すような単純な平滑化フィルタなどで構成できる。

図１９は、第２ノイズフィルタ処理部６２，６５の構成図である。この第２ノイズフィルタ処理部６４，６５では、画像のノイズを低減させつつ、鮮鋭度を維持する処理を行う。この第２ノイズフィルタ処理部６２（６５）は、図１９に示す様に、処理対象画像データを取り込むエッジ抽出部７１と、エッジ抽出部７１で抽出された出力データがエッジであるか否かをしきい値によって判定するエッジ判別部７２と、前記の処理対象画像データを取り込んで平滑化する平滑化部７３と、エッジ判別部７２の判断結果と前記処理対象画像の各画素値と平滑化部７３の出力とを入力しエッジ判別部７２の判断結果に応じて、処理対象画像の画素値又は平滑化された画素値のいずれかを選択して出力する出力選択部７４とを備える。

斯かる構成の第２ノイズフィルタ処理部６２（６５）では、エッジ抽出部７１にてラプラシアンフィルタ等により処理対象画像の各画素のエッジ成分を検出し、後段のエッジ判別部７２にてラプラシアンフィルタの絶対値が所定のしきい値以上であるかを判別し、しきい値以上であればエッジ抽出部７１で抽出されたエッジ成分が間違いなくエッジ部であると判断する。また、処理対象画像は、図７に示す様な単純な平滑化フィルタで構成された平滑化部７３で平滑化される。

出力選択部７４は、エッジ判別部７２でエッジであると判断された画素には、入力された処理対象画像の画素値をそのまま出力し、エッジではなく即ち平坦部であると判別された画素には平滑化部７３でフィルタ処理された画素値を出力する。これにより、処理対象画像の平坦部のノイズを低減させつつ、鮮鋭度を維持したノイズ低減処理を行うことができる。

図１７の合成処理回路６３（６６）では、輝度信号Ｙ毎に、色差信号Ｃ毎に、合成処理を行う。すなわち、合成処理回路６３（６６）では、第１ノイズフィルタ処理部６１（６４）及び第２ノイズフィルタ処理部６２（６５）の出力を取り込み、図６で説明した距離情報に基づいて、各画素毎にどちらのノイズ低減処理の出力を選択するかを決定する。

つまり、距離０（主要被写体部）であれば鮮鋭度を維持するために第２ノイズフィルタ処理部６２（６５）の出力を選択し、距離１（背景被写体部）であればボカシ効果のあるノイズフィルタ処理部６１（６４）を選択する。この際、ノイズフィルタ処理部６１（６４）の平滑化部６７のフィルタ特性と、ノイズフィルタ処理部６２の平滑化部７３のフィルタ特性を合わせておくことで、距離情報が異なる部分でもノイズ低減量が同一となり、距離情報が異なる局所領域間での不自然なノイズ感の段差が低減する。

本実施形態によれば、ノイズ低減処理とボカシ処理を同時に行えるため、処理時間を短縮でき、また、距離情報が異なる局所領域間でのノイズ低減量が同一となるため、ノイズ重畳処理が不要となる。

図２１は、本発明の別実施形態に係るノイズフィルタ処理部の構成図である。本実施形態でのデジタル信号処理部の構成は、図２と同じであり、図２１のノイズフィルタ処理部は、図２のノイズフィルタ処理部４７（４８）の詳細図である。

本実施形態のノイズフィルタ処理部４７（４８）の構成は、図１９に示すノイズフィルタ処理部構成と基本的に同じであるため同一部品には同一符号を付してある。本実施形態のノイズフィルタ処理部は、平滑化部７３と出力選択部７４とに距離情報が入力されている点が、図１９の実施形態と異なる。

本実施形態の平滑化部７３では、距離情報に基づいて、異なる遮断周波数を持つ平滑化フィルタ（例えば図７参照）にて処理される。例えば図６の「距離０」の局所領域ではフィルタ０でフィルタ処理され、「距離１」の局所領域ではフィルタ４でフィルタ処理される。出力選択部７４では、エッジ判別結果と、距離情報とに基づいて、処理対象画像の画素値そのままか、平滑化部７３で平滑化された画素値のいずれかが選択され、出力される。

図２２は、図２１で説明した出力選択部７４における出力選択処理手順を示すフローチャートである。先ず、出力選択処理対象となっている画素に対する距離情報を判別し、距離情報が合焦距離すなわち距離０であるか否かを判断する（ステップＳ２１）。

この判断結果が肯定（Ｙｅｓ）の場合すなわち距離０（合焦画像）の画素である場合には、次にステップＳ２２に進み、エッジ判別部７２がエッジと判別したか否かを判断する。この判断結果が肯定（Ｙｅｓ）の場合、即ち、当該画素が距離０でかつエッジの場合には、ステップＳ２３に進み、当該画素の値として、処理対象画素の画素値を選択してそのまま出力し、この出力選択処理を終了し、次の画素値の出力選択処理を行う。

ステップＳ２１の判定結果が否定（Ｎｏ）すなわち距離１の背景画像の画素である場合、又は、ステップＳ２２の判定結果が否定（Ｎｏ）すなわち距離０の画素であってもエッジで無い画素の場合には、ステップＳ２４に進み、平滑化部でフィルタ処理した画素値を出力し、この出力選択処理を終了し、次の画素値の出力選択処理を行う。

これにより、画像Ａの合焦している主要被写体は、エッジ部の鮮鋭度を維持したまま平坦部はノイズ低減され、背景被写体は、主要被写体の平坦部と同じ強度のノイズ低減がなされつつ、ボカシ効果を得ることができ、不自然なノイズ感を低減することができる。

本実施形態によれば、図１７で説明した実施形態と同様に、ノイズ低減処理とボカシ処理を同時に行えるため、処理時間を短縮でき、また、距離情報が異なる局所領域間でのノイズ低減量が同一となるため、ノイズ重畳処理が不要となる。しかも、図１７に示す２種類のノイズフィルタ処理部６１，６２（６４，６５）を用いる必要がないため合成処理回路６３（６６）も不要となり、回路構成が簡単になるという効果が得られ、更に、図１７の実施形態に比較して、同一画素に対して複数の処理を行う必要がなくなるため処理速度が向上するという効果も得られる。

なお、上述した実施形態では、デジタルスチルカメラを例に説明したが、デジタルビデオカメラ、カメラ付携帯電話機、ＰＤＡやノートパソコン等の電子機器に搭載したカメラ等の他の種類のデジタルカメラにも本発明を適用可能である。また、実施形態では、単眼カメラを例に説明するが、ステレオカメラ等の複眼カメラにも適用可能である。

更に、デジタルスチルカメラ内蔵の画像処理機能で行う画像処理を例に説明したが、被写体画像データを外部のパソコン等に取り出して画像処理する場合にも本発明は適用可能である。

以上述べた様に、本実施形態による画像処理方法，画像処理装置，画像処理プログラムは、画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対してボカシ処理を施すと共に、該ボカシ処理を施した前記局所領域以外の他の前記局所領域に対して人工ノイズを重畳することを特徴とする。

本実施形態による画像処理方法，画像処理装置，画像処理プログラムの前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられることを特徴とする。

本実施形態による画像処理方法，画像処理装置，画像処理プログラムの前記重畳する前記人工ノイズの量は、前記画像のノイズ特性に基づいて決めることを特徴とする。

本実施形態による画像処理方法，画像処理装置，画像処理プログラムの前記ノイズ特性は、前記画像を撮像するときの撮影感度により決めることを特徴とする。

本実施形態による画像処理方法，画像処理装置，画像処理プログラムの前記ノイズ特性は、前記ボカシ処理を行うノイズ低減処理パラメータにより決めることを特徴とする。

本実施形態による画像処理方法，画像処理装置，画像処理プログラムは、画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対して該局所領域中の被写体エッジの鮮鋭度を保ったまま該被写体エッジ以外の該局所領域内にボカシ処理を施し、該ボカシ処理を施した該局所領域以外の他の前記局所領域に対して被写体エッジの鮮鋭度を保つことなくボカシ処理を施すことを特徴とする。

本実施形態の画像処理方法，画像処理装置，画像処理プログラムの前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられることを特徴とする。

本実施形態による画像処理方法，画像処理装置，画像処理プログラムは、画像の画素毎に特性の異なる第１フィルタ処理と第２フィルタ処理を夫々施し、前記画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域の被写体エッジ以外の画素には前記第１フィルタ処理を施した画素値を選択し、該第１フィルタ処理を施さない前記局所領域の各画素に対しては前記第２フィルタ処理を施した画素値を選択することを特徴とする。

本実施形態による画像処理方法，画像処理装置，画像処理プログラムの前記第１フィルタ処理はボカシ処理であり、前記第２フィルタ処理は入力される画素値をそのまま出力するフィルタ処理であることを特徴とする。

本実施形態の画像処理方法，画像処理装置，画像処理プログラムの前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられることを特徴とする。

上述した各実施形態によれば、ボカシ処理しない局所領域におけるノイズ量が、ボカシ処理した局所領域と同程度になるため、画像全体として違和感のない画像を得ることができる。

本発明に係る画像処理方法等は、ボカシ処理等の画像加工を行っても画像全体として違和感のない画像を得ることができ、画像処理装置や撮像装置等に適用すると有用である。

１０ 撮影レンズ
１１ 固体撮像素子
１５ ＣＰＵ
２６ デジタル信号処理部
２８ 積算部
３３ 位置合わせ処理部
３４ 距離情報算出部（局所領域識別手段）
３５ ボカシ処理部
３６ ノイズ重畳部
４７，４８，６１，６２，６４，６５ ノイズフィルタ処理部
５５ ノイズ量決定部
５６ 一様乱数発生部
５７ 正規乱数生成部
５８ 加算部
６７，７３ 平滑化部
７１ エッジ抽出部
７２ エッジ判別部
７４ 出力選択部

Claims (31)

1. 画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対してボカシ処理を施すと共に、該ボカシ処理を施した前記局所領域以外の他の前記局所領域に対して人工ノイズを重畳する画像処理方法。
2. 請求項１に記載の画像処理方法であって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理方法。
3. 請求項１又は請求項２に記載の画像処理方法であって、前記重畳する前記人工ノイズの量は、前記画像のノイズ特性に基づいて決める画像処理方法。
4. 請求項３に記載の画像処理方法であって、前記ノイズ特性は、前記画像を撮像するときの撮影感度により決める画像処理方法。
5. 請求項３に記載の画像処理方法であって、前記ノイズ特性は、前記ボカシ処理を行うノイズ低減処理パラメータにより決める画像処理方法。
6. 画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対して該局所領域中の被写体エッジの鮮鋭度を保ったまま該被写体エッジ以外の該局所領域内にボカシ処理を施し、該ボカシ処理を施した該局所領域以外の他の前記局所領域に対して被写体エッジの鮮鋭度を保つことなくボカシ処理を施す画像処理方法。
7. 請求項６に記載の画像処理方法であって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理方法。
8. 画像の画素毎に特性の異なる第１フィルタ処理と第２フィルタ処理を夫々施し、前記画像を複数の局所領域に分け、前記複数の局所領域のうちの少なくとも１つの前記局所領域の被写体エッジ以外の画素には前記第１フィルタ処理を施した画素値を選択し、該第１フィルタ処理を施さない前記局所領域の各画素に対しては前記第２フィルタ処理を施した画素値を選択する画像処理方法。
9. 請求項８に記載の画像処理方法であって、前記第１フィルタ処理はボカシ処理であり、前記第２フィルタ処理は入力される画素値をそのまま出力するフィルタ処理である画像処理方法。
10. 請求項８又は請求項９に記載の画像処理方法であって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理方法。
11. 画像を複数の局所領域に分ける局所領域識別手段と、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対してボカシ処理を施すボカシ処理手段と、該ボカシ処理を施した前記局所領域以外の他の前記局所領域に対して人工ノイズを重畳するノイズ重畳手段とを備える画像処理装置。
12. 請求項１１に記載の画像処理装置であって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理装置。
13. 請求項１１又は請求項１２に記載の画像処理装置であって、前記重畳する前記人工ノイズの量は、前記画像のノイズ特性に基づいて決める画像処理装置。
14. 請求項１３に記載の画像処理装置であって、前記ノイズ特性は、前記画像を撮像するときの撮影感度により決める画像処理装置。
15. 請求項１３に記載の画像処理装置であって、前記ノイズ特性は、前記ボカシ処理を行うノイズ低減処理パラメータにより決める画像処理装置。
16. 画像を複数の局所領域に分ける局所領域識別手段と、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対して該局所領域中の被写体エッジの鮮鋭度を保ったまま該被写体エッジ以外の該局所領域内にボカシ処理を施す第１ボカシ処理手段と、該ボカシ処理を施した該局所領域以外の他の前記局所領域に対して被写体エッジの鮮鋭度を保つことなくボカシ処理を施す第２ボカシ処理手段とを備える画像処理装置。
17. 請求項１６に記載の画像処理装置であって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理装置。
18. 画像の画素毎に第１フィルタ処理を施す第１フィルタ処理手段と、該画像の画素毎に前記第１フィルタ処理と特性の異なる第２フィルタ処理を施す第２フィルタ処理手段と、前記画像を複数の局所領域に分ける局所領域識別手段と、前記複数の局所領域のうちの少なくとも１つの前記局所領域の被写体エッジ以外の画素には前記第１フィルタ処理を施した画素値を選択し該第１フィルタ処理を施さない前記局所領域の各画素に対しては前記第２フィルタ処理を施した画素値を選択する出力選択手段を備える画像処理装置。
19. 請求項１８に記載の画像処理装置であって、前記第１フィルタ処理はボカシ処理であり、前記第２フィルタ処理は入力される画素値をそのまま出力するフィルタ処理である画像処理装置。
20. 請求項１８又は請求項１９に記載の画像処理装置であって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理装置。
21. 画像を複数の局所領域に分けるステップと、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対してボカシ処理を施すステップと、該ボカシ処理を施した前記局所領域以外の他の前記局所領域に対して人工ノイズを重畳するステップとを備える画像処理プログラム。
22. 請求項２１に記載の画像処理プログラムであって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理プログラム。
23. 請求項２１又は請求項２２に記載の画像処理プログラムであって、前記重畳する前記人工ノイズの量は、前記画像のノイズ特性に基づいて決める画像処理プログラム。
24. 請求項２３に記載の画像処理プログラムであって、前記ノイズ特性は、前記画像を撮像するときの撮影感度により決める画像処理プログラム。
25. 請求項２３に記載の画像処理プログラムであって、前記ノイズ特性は、前記ボカシ処理を行うノイズ低減処理パラメータにより決める画像処理プログラム。
26. 画像を複数の局所領域に分けるステップと、前記複数の局所領域のうちの少なくとも１つの前記局所領域に対して該局所領域中の被写体エッジの鮮鋭度を保ったまま該被写体エッジ以外の該局所領域内にボカシ処理を施すステップと、該ボカシ処理を施した該局所領域以外の他の前記局所領域に対して被写体エッジの鮮鋭度を保つことなくボカシ処理を施すステップとを備える画像処理プログラム。
27. 請求項２６に記載の画像処理プログラムであって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理プログラム。
28. 画像の画素毎に特性の異なる第１フィルタ処理と第２フィルタ処理を夫々施すステップと、前記画像を複数の局所領域に分けるステップと、前記複数の局所領域のうちの少なくとも１つの前記局所領域の被写体エッジ以外の画素には前記第１フィルタ処理を施した画素値を選択するステップと、該第１フィルタ処理を施さない前記局所領域の各画素に対しては前記第２フィルタ処理を施した画素値を選択するステップとを備える画像処理プログラム。
29. 請求項２８に記載の画像処理プログラムであって、前記第１フィルタ処理はボカシ処理であり、前記第２フィルタ処理は入力される画素値をそのまま出力するフィルタ処理である画像処理プログラム。
30. 請求項２８又は請求項２９に記載の画像処理プログラムであって、前記局所領域は、前記画像中の各被写体までの距離情報に基づいて複数に分けられる画像処理プログラム。
31. 請求項１１乃至請求項２０のいずれかに記載の画像処理装置と、前記画像を撮像する撮像系とを備える撮像装置。

Images