JP2015041865A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 フォーカスの異なる複数枚の撮影画像からエッジ情報を用いて被写体領域と背景領域を判別する際に、精度良く領域判別して背景領域のみにぼかし処理を行う。
【解決手段】 前記撮影画像にぼかし処理を行うぼかし処理ステップと、前記ぼかし処理が行われた撮影画像と、前記ぼかし処理が行われていない撮影画像とを、領域判別ステップにて得られた領域判別結果に従って合成し、背景領域のぼけた合成画像を生成する合成ステップを備え、領域判別ステップでは、第１の領域の大きさで領域判別を行った後に、前記第１の領域判別の領域判別結果が前記被写体領域及び前記背景領域のいずれでもない領域について、前記第１の領域の大きさより小さい第２の領域の大きさで前記領域判別を行うことを特徴とする。
【選択図】 図１

Description

本発明は、撮影された画像について被写体と背景の領域を判別する技術に関するものである。

画像処理にて疑似的に背景にぼかし効果を与える機能を実現したコンパクトデジタルカメラが数多く開発されている。その手法の一例として、合焦位置を変化させて複数枚の画像データを撮影し、その差分情報により被写体領域と背景領域とを判別し、背景領域の画像データにぼかし処理を行って被写体領域の画像データと合成する方法が挙げられる。

特許文献１では、被写体に合焦した画像と無現遠に合焦した画像について高周波成分のパワーを比較することで被写体領域と背景領域を判別する技術が開示されている。

特開２００３−２８３９０２号公報

特許文献１では、被写体に合焦した画像と無現遠に合焦した画像について高周波成分のパワーを比較することで、被写体領域と背景領域を判別することを可能としている。

しかしながら、高周波成分が大きい被写体では有効であるが、被写体および背景が低コントラストシーンの場合には高周波成分が小さいため、被写体と背景の領域について誤判別してしまう問題が生じる。

そこで本発明の目的は、被写体の背景をぼかした画像を生成する際に適切な被写体領域と背景領域の判別が可能である画像処理装置を提供することである。

前述の課題を解決するために本発明の画像処理装置は、焦点位置の異なる複数枚の撮影画像を取得する取得手段と、前記撮影画像の複数の領域について前記複数枚の撮影画像の信号を比較することで被写体領域と背景領域を判別する領域判別を行う領域判別手段と、前記撮影画像にぼかし処理を行うぼかし処理手段と、前記ぼかし処理手段によるぼかし処理が行われた撮影画像と、前記ぼかし処理が行われていない撮影画像とを、前記領域判別手段によって得られた領域判別結果に従って合成し、前記背景領域のぼけた合成画像を生成する合成手段と、を備え、前記領域判別手段は、第１の領域の大きさで前記領域判別を行った後に、前記第１の領域判別の領域判別結果が前記被写体領域及び前記背景領域のいずれでもない領域について、前記第１の領域の大きさより小さい第２の領域の大きさで前記領域判別を行うことを特徴とする。

本発明の画像処理装置によれば、被写体の背景をぼかした画像を生成する際に適切な被写体領域と背景領域の判別が可能である。

本実施形態の撮像装置の概略構成を示す図である。 図１におけるデジタル信号処理部１０９の構成の一例を示す図である。 本実施形態の撮影装置の撮影動作のフローチャート図である。 図３における撮影のサブルーチンのフローチャート図である。 図４における領域判別説明図である。

（第１の実施形態）
図１は本発明の実施形態を適用した画像処理装置を備える撮像装置の概略構成を示す図である。

本実施形態の撮像装置は光学系１０１およびフォーカスレンズ１０２を備え、これらにより入射した光を固体撮像素子上に結像させることで被写体を撮像する。光学系制御部１０３は、光学系１０１の露出（シャッタ速度および絞り値）やズーム、光学式ブレ補正等を制御し、フォーカスレンズ駆動制御部１０４はフォーカスレンズ１０２の制御を行う。フォーカスレンズ駆動制御部１０４は、画像データのコントラスト信号や、固体撮像素子１０５の撮像面や固体撮像素子１０５とは別途設けられた測距センサからの信号によってフォーカスレンズ１０２を駆動しＡＦ（オートフォーカス）制御を行う。固体撮像素子１０５は、例えばベイヤー配列などの撮像面上のＲＧＢカラーフィルタを通して結像させた光学像を電気信号に変換する。撮像系制御部１０６は、固体撮像素子１０５を駆動するための制御系である。アナログ信号処理部１０７は、固体撮像素子１０５の出力にクランプ、ゲインをかける等の処理を行う。アナログ／デジタル（Ａ／Ｄ）変換部１０８は、アナログ信号のデジタル変換を行い画像データとして出力する。本実施形態では、光学系１０１からＡ／Ｄ変換部１０８までを含めて撮像手段とし、撮像装置は、撮像手段から出力された画像データを単独、または連続して複数フレーム記録することで静止画及び動画を撮影可能としている。また、本発明の画像処理装置は必ずしも撮像機能を有している必要はなく、予め記憶された画像データを読み出すことで取得してもよい。

デジタル信号処理部１０９は、Ａ／Ｄ変換されたデジタル画像データの現像処理および圧縮処理を行って出力画像データを生成する。デジタル信号処理部１０９の行う現像処理とは例えば、デモザイキング処理、ホワイトバランス処理、シェーディング補正処理、色空間変換処理、ガンマ処理等のことである。内部記憶部１１０は、デジタル信号処理部１０９にて出力画像データを生成する際の画像データや、ライブ画像を表示する電子ビューファインダ（以下ＥＶＦと記す）動作用の画像データなどを一時的に格納する。

インターフェース（Ｉ／Ｆ）部１１１は、生成された出力画像データを最終的に保存するための外部記録装置とつながっている。画像表示部１１２は、ＥＶＦ動作の表示機能を備え、ライブ画像のほか撮像装置の撮影条件等の各種設定情報などを表示する。

システム制御部１１３は、後述するフローチャートに従って光学系制御部１０３やフォーカスレンズ駆動制御部１０４、撮像系制御部１０６などのシステム全体の制御を行う。なお、１１４は撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）、１１５はＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）、１１６はシステムに電源を投入するためのメインスイッチ（以下メインＳＷと記す）である。

図２は図１におけるデジタル信号処理部１０９の構成の一例を示す図である。

入力した画像信号は、輝度信号処理を施す輝度信号処理部２０１と色信号処理を施す色信号処理部２０２を経て背景ぼかし画像生成部２０３に入力される。内部記憶部１１０は背景ぼかし処理時の一時記憶用途で使われる。画像圧縮部２０４にて圧縮して出力した画像信号は、インターフェース部１１１を介して外部記録装置に保存する。

さらに、背景ぼかし画像生成部２０３は、エッジ検出部２０５、エッジ積分値算出部２０６、エッジ積分値評価部２０７、領域マップ生成部２０８、ぼかし処理部２０９、画像合成部２１０から構成される。背景ぼかしが造成西部２０３は、各種処理の履歴情報など必要に応じて内部記憶部１１０に一時記憶する。

図３は本発明の実施例を適用した撮像装置の撮影動作を表すフローチャート図である。

まず、ステップＳ３０１ではシステムに電源を投入するメインＳＷの状態を検出し、ＯＮであればステップＳ３０２へ進む。ステップＳ３０２ではインターフェース部１１１を介した外部記録装置の残容量を調べ、残容量が０であればステップＳ３０３へ進み、そうでなければステップＳ３０４へ進む。ステップＳ３０３では残容量が０であることを警告してステップＳ３０１に戻る。警告は画像表示部１１２に表示するか又は図示しない音声出力部から警告音を出すか、又はその両方を行ってもよい。

ステップＳ３０４では、撮像手段から出力されたライブ画像を画像表示部１１２に表示するＥＶＦ動作を行う。ステップＳ３０５ではスイッチＳＷ１の状態を調べ、ＯＮであればステップＳ３０７へ進み、そうでなければステップＳ３０６へ進む。ここでＳＷ１の機能は、ＡＦやＡＥ（自動露出制御）などの撮影スタンバイ動作を行うことである。ステップＳ３０６ではメインＳＷの状態を調べ、ＯＮであればステップＳ３０４へ、そうでなければステップＳ３０１へ進む。ステップＳ３０７では光学系制御部１０３を介してＡＥ処理を行い、ステップＳ３０８ではフォーカスレンズ駆動制御部１０４を介してＡＦ処理を行う。

撮影スタンバイ動作を済ませた後のステップＳ３０９は、ＳＷ２のＯＮによる撮影動作スタート前準備状態であり、撮像手段から出力されたライブ画像を画像表示部１１２に表示して、撮影者のＳＷ２操作を待つ。

ステップＳ３１０ではＳＷ２の状態を調べ、ＯＮであればステップＳ３１２へ、そうでなければステップＳ３１１へ進む。ここに、ＳＷ２の機能はＳＷ１の操作後撮影動作を開始することである。ステップＳ３１１ではＳＷ１の状態を調べ、ＯＮであればステップＳ３０９へ戻り、そうでなければステップＳ３０４へ戻る。ステップＳ３１２では後述する図４のフローチャートにしたがって撮影動作を行う。ステップＳ３１３ではインターフェース部１１１を介した外部記録装置の残容量を調べ、残容量が０であればステップＳ３０３へ進み、そうでなければステップＳ３１４へ進む。ステップＳ３１４ではＳＷ２の状態を調べ、ＯＮでなければステップＳ３１１へ進む。

図４は、図３のフローチャートにおける撮影のサブルーチンのフローチャート図である。

本フローチャートは、背景ぼかし処理用に２枚の画像を撮影し、背景ぼかし生成部２０３による背景ぼかし処理画像を生成するまでの処理のフローを示す。

本実施例においては、主要被写体に合焦した画像（以下、本画像と記す）と、背景にフォーカスが合う方向にフォーカスレンズを移動して撮影した背景検出用画像の、焦点位置の異なる２枚の画像を撮影する。ただし、焦点位置を異ならせて撮影する画像の数はこれに限らず、複数枚であればよい。

まず、ステップＳ４０１では、図３のフローチャートにおけるステップＳ３０８のＡＦ処理にて設定された、主要被写体に合焦したフォーカスレンズ位置にて本画像の撮影を行う。

ステップＳ４０２では、背景検出用画像の撮影のためフォーカスレンズを移動する。フォーカスレンズの移動量は絞りや焦点距離などの撮影条件別にあらかじめ設定され、本画像と背景検出用画像の２つの画像のフォーカス状態の違いから生じる鮮鋭度変化から背景領域を検出可能なフォーカスレンズ移動量である。

ステップＳ４０３では、ステップＳ４０２で移動した後のフォーカスレンズ位置で、背景検出用画像を撮影する。

ここまでの撮影処理で、主要被写体に合焦した本画像と、より背景に合焦した背景検出用画像の２枚の撮影画像を得ることができた。以下は、背景ぼかし生成部２０３による背景ぼかし処理のフローである。

ステップＳ４０４においてエッジ検出部２０５は、本画像と背景検出用画像の２枚の撮影画像の輝度信号についてエッジ検出を行い、それぞれエッジ画像（エッジ情報）を得る。ここで、輝度信号のエッジとは、撮影画像にバンドパスフィルタ処理を施して得られるものとする。また、エッジの抽出方法は他の手法を用いても良い。

ステップＳ４０５では、エッジ積分値算出部２０６およびエッジ積分値評価部２０７により後述する図５のフローチャートにしたがって、ステップＳ４０４で得られたエッジ画像に対して領域判別を行う。

ステップＳ４０６において領域マップ生成部２０８は、ステップＳ４０５における領域判別結果に基づき、被写体領域と背景領域が判別可能な切り出しマップを生成する。切り出しマップ生成時には、背景領域と主要被写体領域の境界における不連続部分を目立たなくさせるため、ローパスフィルタをかけるなどしてもよい。本実施形態では、切り出しマップとして、被写体領域を２５５、背景領域を０、境界部領域はその中間値として、画素ごとの合成比率を８ｂｉｔの画素値で表現した画像形式で生成している。しかし、マップの形式としてはこれに限らない。

ステップＳ４０７においてぼかし処理部２０９は、本画像に切り出しマップに基づくぼかし処理を行い、背景ぼけ画像を生成する。ぼかし処理は、例えばぼけ味のきれいなレンズ特性を反映させたフィルタを選択するなどして、より好印象な背景ぼかし処理が可能となる。

ステップＳ４０８において画像合成部２１０は、切り出しマップに基づいて、被写体に合焦した（ぼかし処理なしの）本画像と、本画像にぼかし処理を行った背景ぼけ画像から画像合成を行う。

具体的には、画像合成部２１０は、切り出しマップの画素値から求まるα［ｉ，ｊ］（０≦α≦２５５）に基づき、被写体に合焦した本画像ＩＭＧ１と背景ぼけ画像ＩＭＧ２の画像合成を行い、合成画像Ｂを生成する。画像合成部２１０は、合成画像Ｂの各画素Ｂ［ｉ，ｊ］を以下の式（１）を用いて算出する。
Ｂ［ｉ，ｊ］＝ＩＭＧ１［ｉ，ｊ］＊α［ｉ，ｊ］／２５５＋ＩＭＧ２［ｉ，ｊ］＊（１−α）／２５５ ・・・式（１）

図５は図４のフローチャートのステップＳ４０５における領域判別の処理を説明する図である。図５（ａ）は領域判別の処理のフローチャート図、図５（ｂ）は図５（ａ）の領域判別の処理のフローチャートにおける領域評価の処理のフローチャート図、図５（ｃ）は領域分割の説明図である。

図５（ａ）のフローチャートは、複数領域に分割、各領域を評価、孤立評価結果領域を補正、というサイクルを複数回行う。まず、比較的粗い領域分割（第１の領域の大きさで領域分割）にて実施した後に、被写体領域でも背景領域でもない中間領域、低コントラスト領域について、細かい領域分割（第１の領域の大きさより小さい第２の領域の大きさで領域分割）にて実施する。

ステップＳ５０１では画像全体を対象として複数の領域に分割する。分割を適用する画像は、図４のフローチャートステップＳ４０４で得られた本画像と背景検出用画像の各エッジ画像であり、領域分割は２つの画像で対応づけられている。

ステップＳ５０２では、エッジ積分値算出部２０６およびエッジ積分値評価部２０７において、後述する図５（ｂ）のフローチャートにしたがって、ステップＳ５０１で分割設定した各領域について領域評価を行う。領域評価結果は、エッジ積分値と被写体比率に応じて、被写体領域、背景領域、境界領域および低コントラスト領域、のいずれかの評価結果が得られる。

ステップＳ５０３では、ステップＳ５０２の領域評価結果が周囲の領域の評価結果に対し孤立した領域について、評価結果を周りの評価結果に合わせる（反映させる）補正により孤立領域を除去する。

ステップＳ５０４では孤立領域除去後の領域評価結果が境界領域および低コントラスト領域であった分割領域を対象として、ステップＳ５０１で設定したサイズよりも細かいサイズにて領域分割を行う。分割を適用する画像はステップＳ５０１と同様、図４のフローチャートステップＳ４０４で得られた本画像と背景検出用画像の各エッジ画像であり、また領域分割は２つの画像で共通である。

ステップＳ５０５では、ステップＳ５０２と同様にステップＳ５０４で設定した各領域について領域評価を行う。ステップＳ５０６では、ステップＳ５０３と同様にステップＳ５０５の領域評価結果が周りの領域の評価結果に対し孤立した領域について、評価結果を周りの評価結果に合わせる（反映させる）補正により孤立領域を除去する。

このようにステップＳ５０４にて再度細かく領域分割された領域と再度細かく領域分割されなかった領域とで、粗い領域分割による領域評価結果と細かい領域分割による領域評価結果がそれぞれ最終的な領域判別結果となる。

次に、図５（ｂ）の領域評価の処理のフローチャート図について説明する。ここでは着目するひとつの分割領域に対する領域評価を求めるフローとして説明する。しかし、図５（ａ）のフローチャートのステップＳ５０２またはステップＳ５０５においては、領域評価対象となる分割領域それぞれについて図５（ｂ）の領域評価のサブルーチンを実施する。

ステップＳ５１１ではエッジ積分値算出部２０６にて、図４のフローチャートステップＳ４０４で得られた本画像のエッジ画像と背景検出用画像のエッジ画像の２つの画像に対して、着目する分割領域のエッジ積分値を算出する。以下、ステップＳ５１２〜Ｓ５１８は領域ごとに処理が行われる。

ステップＳ５１２ではエッジ積分値評価部２０７おいて、着目領域における本画像のエッジ画像より求めたエッジ積分値と背景検出用画像のエッジ画像より求めた積分値を足し合わせた総エッジ積分値が所定閾値以上であるか調べる。総エッジ積分値が所定閾値以上であればステップＳ５１４へ進み、そうでなければステップＳ５１３へ進む。

ステップＳ５１３では、着目領域の総エッジ積分値は所定閾値未満であることから、着目領域の領域評価結果を低コントラスト領域とする。

ステップＳ５１４ではエッジ積分値評価部２０７おいて、本画像のエッジ画像より求めたエッジ積分値を背景検出用画像のエッジ画像より求めた積分値により除算した被写体比率の値が所定被写体閾値以上であるか調べる。被写体比率が所定被写体閾値以上であればステップＳ５１５へ進み、そうでなければステップＳ５１６へ進む。被写体比率は、本画像と背景検出用画像でピントが異なりエッジ成分が異なる被写体領域では高く算出され、背景領域では低く検出されるはずである。

ステップＳ５１５では、被写体比率の値が所定被写体閾値以上の領域で被写体領域であることから、着目領域の領域評価結果を被写体領域とする。前述したように、切り出しマップは、被写体領域を２５５、背景領域を０、境界部領域はその中間値として、画素ごとの合成比率を８ｂｉｔの画素値で表現した画像形式で生成しているので、被写体領域として認定される領域には２５５を割り当てる。

ステップＳ５１６ではエッジ積分値評価部２０７おいて、被写体比率の値が所定背景閾値未満であるか調べ、所定背景閾値未満であればステップＳ５１７へ進み、そうでなければステップＳ５１８へ進む。

ステップＳ５１７では、被写体比率の値が所定背景閾値未満であることから、着目領域の領域評価結果を背景領域として切り出しマップではゼロを割り当てる。

ステップＳ５１８では、被写体比率の値から被写体領域か背景領域か判別が困難であるため、着目領域の領域評価結果を境界領域として切り出しマップでは０から２５５の中間値を割り当てる。

被写体比率の値は、着目領域が被写体あるいは背景で占められる場合には、所定被写体閾値あるいは所定背景閾値により被写体であるか背景であるかの領域評価が可能である。しかし、どちらでもない場合には、例えば被写体と背景の境界で面積的に半分ずつ占めるような着目領域であることが考えられるため、領域評価結果は境界領域とする。

このようにして着目領域ごとに領域評価を行うが、図５（ａ）のフローチャートステップＳ５０２の粗い分割領域による領域評価時と、図５（ａ）のフローチャートステップＳ５０５の細かい分割領域による領域評価時では、各所定閾値は異なる設定を行う。これは着目領域のサイズ違いによる理由の他、粗い分割領域による領域評価時には、境界領域と判別されても次に細かい分割領域により再度領域評価される。しかし、細かい分割領域による領域判別ではさらなる再評価をしないため、なるべく境界領域の判定を減らす必要があるためである。また細かい分割領域による領域評価結果が境界領域判定であった場合には、粗い分割領域におけるエッジ積分値を考慮して領域評価結果を補正しても良い。

図５（ｃ）の領域分割の説明図について説明する。ｃ−０は背景ぼかし処理を行う画像の全体図で、ｃ−１〜ｃ−３は領域判別および領域評価における領域分割処理について一例を示した図である。なお、ｃ−１〜ｃ−３はｃ−０に示した主被写体の右耳付近の領域のみを、簡単のため切り出して示した図である。

ｃ−１は粗い領域分割による領域評価結果を示した図、ｃ−２はｃ−１の境界領域を細かい領域分割による領域評価結果を示した図、ｃ−３は本実施例の効果を分かりやすく比較する例として最初から細かい領域分割による領域評価結果を示した図である。

ｃ−３のように最初から細かい領域判別を行った場合には、白飛びした肌部や表面に光沢のある金属面を持つイヤリングなどは低コントラストと判定されやすい問題があり、被写体領域であるにもかかわらず背景領域と誤って処理されるエラーの危険性が高い。一方で本実施例に示すようにｃ−１の後にｃ−２と分割領域を２段階として領域判別した場合には、粗い分割領域ではエッジ積分値が大きな値で得られる。また、低コントラスト判定された場合でも前述の孤立領域除去のような簡単な領域結果の補正が可能な利点がある。一般的な人物シーンなどに境界領域が比較的単純なシーンにおいては、例えば人の顔の一部を背景領域としてぼかし処理してしまうことなく、被写体と背景の領域判別を行うことが可能である。

また、境界領域は細かい分割領域で第２の領域判別を行っているため、切り出しマップに必要な分解能も確保される。そして、再度領域判別を行う境界領域はその面積が限られるため、領域判別処理にかかる演算時間の増大も、画面全体を再度領域判別する場合と比較して少なくて済む。

本実施例の図５（ａ）のフローチャートステップＳ５０３およびステップＳ５０６において、エッジ積分値による領域評価結果を周辺領域との関係のみで補正しているが、これに限定されるものではない。例えば、各分割領域の色信号を利用して分割領域のグループ化処理を行うことで、同グループの領域評価結果にて補正するなど、各分割領域の色情報を領域判別の補助情報として用いてもよい。また、パターンマッチング等による公知の顔検出の結果の顔検出情報（被写体検出情報）を、主被写体領域を求める補助情報として用いてもよい。

以上のように、本実施形態では、被写体と背景の領域判別における誤判別をなくして背景領域のみにぼかし処理を行う画像処理装置を提供することが可能となる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１０１ 光学系
１０２ フォーカスレンズ
１０３ 光学系制御部
１０４ フォーカスレンズ駆動制御部
１０５ 撮像素子
１０６ 撮像系制御部
１０７ アナログ信号処理部
１０８ Ａ／Ｄ変換部
１０９ デジタル信号処理部
１１０ 内部記憶部
１１１ Ｉ／Ｆ
１１２ 画像表示部
１１３ システム制御部
１１４ ＳＷ１
１１５ ＳＷ２
１１６ メインＳＷ

Claims (8)

1. 焦点位置の異なる複数枚の撮影画像を取得する取得手段と、
   前記撮影画像の複数の領域について前記複数枚の撮影画像の信号を比較することで被写体領域と背景領域を判別する領域判別を行う領域判別手段と、
   前記撮影画像にぼかし処理を行うぼかし処理手段と、
   前記ぼかし処理手段によるぼかし処理が行われた撮影画像と、前記ぼかし処理が行われていない撮影画像とを、前記領域判別手段によって得られた領域判別結果に従って合成し、前記背景領域のぼけた合成画像を生成する合成手段と、を備え、
   前記領域判別手段は、第１の領域の大きさで前記領域判別を行った後に、前記第１の領域の大きさでの領域判別結果が前記被写体領域及び前記背景領域のいずれでもない領域について、前記第１の領域の大きさより小さい第２の領域の大きさで前記領域判別を行うことを特徴とする画像処理装置。
2. 前記領域判別手段は、周囲の領域とは異なる判別結果である領域について、周囲の領域の領域判別結果を反映させることを特徴とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記領域判別手段は、前記複数枚の撮影画像の各領域のエッジ情報を用いて前記領域判別を行うことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記領域判別手段は、前記複数枚の撮影画像の各領域の色情報を用いて前記領域判別を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記領域判別手段は、前記撮影画像より検出される顔検出情報を用いて前記領域判別を行うことを特徴とする請求項３または４に記載の画像処理装置。
6. 焦点位置の異なる複数枚の撮影画像を取得する取得ステップと、
   前記撮影画像の複数の領域について前記複数枚の撮影画像の信号を比較することで被写体領域と背景領域を判別する領域判別を行う領域判別ステップと、
   前記撮影画像にぼかし処理を行うぼかし処理ステップと、
   前記ぼかし処理が行われた撮影画像と、前記ぼかし処理が行われていない撮影画像とを、前記領域判別ステップにて得られた領域判別結果に従って合成し、前記背景領域のぼけた合成画像を生成する合成ステップと、を備え、
   前記領域判別ステップでは、第１の領域の大きさで前記領域判別を行った後に、前記第１の領域の大きさでの領域判別結果が前記被写体領域及び前記背景領域のいずれでもない領域について、前記第１の領域の大きさより小さい第２の領域の大きさで前記領域判別を行うことを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法のステップが記述されたコンピュータで実行可能なプログラム。
8. コンピュータに、請求項６に記載の画像処理方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images