JP2013041117A - 撮像装置および距離情報取得方法 - Google Patents

Abstract

【課題】撮影画像各部における被写体までの距離を正確に把握し、距離に基づきぼかし処理を施す。
【解決手段】測光スイッチＳ１がオンされると（Ｓ１００）、レンズを駆動し複数の位置に焦点を合せながら各位置でのスルー画像をメモリに記憶する（Ｓ１０２）。ＡＦ処理における合焦位置にフォーカス（Ｓ１０４）する。レリーズスイッチＳ２がオンされると同合焦位置で主画像の撮影を行う。記憶された複数のスルー画像の各々を手ブレに応じた大きさの領域に分割し、撮影画像における各領域に対応する被写体までの距離情報を把握し、距離マップを作成する（Ｓ１１４）。距離マップに基づきマスクを作成し（Ｓ１１６）、被写体までの距離に応じたぼかし処理を施す（Ｓ１１８）。
【選択図】図２

Description

本発明は、レンズ系を通して電子的に画像の撮影を行う撮像装置に関する。

例えば写真撮影では、被写界深度によるボケ効果を利用して、合焦した主要被写体以外の遠景の背景や前景をぼかす表現手法がしばしば用いられる。しかし、被写界深度は焦点距離が短くなるほど深くなるため、焦点距離の短いレンズを採用する必要がある撮像面の大きさが小さい撮像素子を用いたコンパクトデジタルカメラなどではボケ効果を得難い。

このような問題に対し、撮影画像を合焦領域と非合焦領域に分別し、非合焦領域の画像にぼかし処理を施すことで擬似的なボケ効果を与える手法が提案されている。この手法では、撮影された画像を複数の領域に分割し、それぞれの領域の空間周波数から合焦領域と非合焦領域を判別している。すなわち合焦領域は一般にコントラストが高いことから、空間周波数が高い領域を合焦領域、低い領域を非合焦領域として判別している（特許文献１）。

特開２００６−１４０５９４号公報

しかし、画像の空間周波数は被写体のテクスチャにも依存し、１枚の画像内において空間周波数が高いことが必ずしも合焦領域であることを意味しない。例えば、森林や瓦屋根などの画像は、もともと空間周波数が高く、逆に人の肌などは、合焦されていても非合焦領域に比べ空間周波数が高いとは限らない。したがって、例えばより適正なボケ効果を演出するには、画像内の各領域において被写体までの距離を把握し、これに基づきぼかし処理を施すことが望まれる。

本発明は、撮影画像内の各領域に対する被写体までの距離を正確に把握することを課題としている。

本発明の撮像装置は、手ブレに起因する像ブレ量を評価する像ブレ評価手段と、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する画像取得手段と、複数の画像に対し輪郭成分を抽出した輪郭成分抽出画像を各々生成する輪郭成分抽出手段と、像ブレ量が相対的に大きいと評価されるときに輪郭成分抽出画像の各々を１画素以上から構成される相対的に大きい複数のブロックに分割するとともに、像ブレ量が相対的に小さいと評価されるときに輪郭成分抽出画像の各々を１画素以上から構成される相対的に小さい複数のブロックに分割する画像分割手段と、各ブロックでのコントラストの高低に基づいて各ブロックに対する被写体までの距離情報を検出する被写体距離情報算出手段とを備えたことを特徴としている。

撮像装置は手ブレ補正機構を更に備えることが好ましく、像ブレ評価手段は、少なくとも手ブレ量または手ブレ補正機構の駆動量の何れかに基づいて像ブレの大きさを評価する。各領域のコントラストの高低は、例えば各ブロックにおける輪郭成分の総和により評価される。複数の画像は、測光スイッチまたはレリーズスイッチの操作後に撮影されるスルー画像であることが好ましい。

撮像装置は更に、被写体の同一の画像を更に主画像として撮影する主画像撮影手段と、この主画像に距離情報に基づく画像処理を施す画像処理手段とを備えることが好ましく、画像処理には、例えばぼかし処理が含まれる。

本発明の距離情報取得方法は、手ブレに起因する像ブレ量を評価し、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得し、複数の画像に対し輪郭成分を抽出した輪郭成分抽出画像を各々生成し、像ブレ量が相対的に大きいと評価されるときに輪郭成分抽出画像の各々を１画素以上から構成される相対的に大きい複数のブロックに分割するとともに、像ブレ量が相対的に小さいと評価されるときに輪郭成分抽出画像の各々を１画素以上から構成される相対的に小さい複数のブロックに分割し、各ブロックでのコントラストの高低に基づいて各ブロックに対する被写体までの距離情報を検出することを特徴としている。

本発明のコンピュータプログラムは、撮像レンズ駆動手段を備えた撮像装置の制御に用いられるプログラムであって、手ブレに起因する像ブレ量を評価する像ブレ評価手段する手順と、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する手順と、複数の画像に対し輪郭成分を抽出した輪郭成分抽出画像を各々生成する手順と、像ブレ量が相対的に大きいと評価されるときに輪郭成分抽出画像の各々を１画素以上から構成される相対的に大きい複数のブロックに分割するとともに、像ブレ量が相対的に小さいと評価されるときに輪郭成分抽出画像の各々を１画素以上から構成される相対的に小さい複数のブロックに分割する手順と、各ブロックでのコントラストの高低に基づいて各ブロックに対する被写体までの距離情報を検出する手順とを撮像装置に実行させることを特徴としている。

本発明によれば、撮影画像内の各領域に対する被写体までの正確に距離を把握することができる。

本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。 ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。 距離マップ作成処理のフローチャートの前半部である。 距離マップ作成処理のフローチャートの後半部である。 コントラストマップ作成までの内容を模式的に説明する図である。 複数のスルー画像に対するコントラストマップにおいて、コントラスト値をスキャンする方法を示す図である。 複数のスルー画像に付されたコントラストマップ番号とコントラスト値の関係の一例を示すグラフである。 距離マップの一例を示す図である。 第１実施形態のマスク作成処理のフローチャートである。 近距離にある人物が主要被写体とされたときの各ブロックのぼかし具合を示す図である。 中距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。 遠距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。 距離マップの模式図と、その一部拡大図である。 擬似輪郭成分が発生したブロックのコントラスト値の分布を例示するグラフである。 図１３の４×４ブロックの拡大領域を、２×２の４ブロックに分割した場合の図である。 ブロックの大きさを拡大したことにより偽のピークが消滅したコントラスト値の分布を例示するグラフである。 第１実施形態の変形例において、ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。 第２実施形態における主要被写体までの距離と近距離モード、遠距離モードの関係を示す図である。 近距離モードにおける距離とぼけ具合を示すグラフである。 遠距離モードにおける距離とぼけ具合を示すグラフである。 近距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。 近距離モードにおける画像の一例である。 遠距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。 遠距離モードにおける画像の一例である。 第２実施形態のマスク作成処理のフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。なおデジタルカメラは、例えばコンパクトカメラや携帯電話など小型電子機器に搭載されるカメラユニットを含むものであるが、第１実施形態では、コンパクトカメラを例に説明を行う。

デジタルカメラ１０において、被写体像は撮影レンズ１１を介して撮像素子１２において撮像される。撮像素子１２の駆動は、撮像素子ドライバ１３により制御され、撮像素子ドライバ１３は制御部１４からの指令に基づき制御される。また、撮像素子１２で取得された画像は、制御部１４へ送られ各種デジタル画像処理が施されるとともに、例えば画像メモリ１５に一時的に保持され、ユーザの決定にしたがって例えば記録媒体１６に保存される。また、撮像素子１２で取得された画像、あるいは画像メモリ１５、記録媒体１６に保持された画像は、例えばＬＣＤなどのモニタ１７に表示可能である。

撮影レンズ１１はレンズ駆動部１８によって駆動され、絞り１９は絞り駆動部２０によって駆動される。ＡＦ処理にはコントラスト方式が採用され、制御部１４は撮像素子１２で撮影された画像のコントラストを参照してレンズ駆動部１８を制御するとともに、測光値に基づき絞り駆動部２０を制御する。

また、デジタルカメラ１０は、防振ユニット（手ブレ補正機構）２２を備える。手ブレ補正機構として本実施形態ではイメージセンサシフト方式が用いられるが、レンズシフト方式など他の方式であってもよい。防振ユニット２２は、従来周知のように手ブレ量を検知するセンサを備え、手ブレを相殺するように撮像素子１２を動かして撮像面における像のブレ（以下像ブレ）の発生を低減／防止する。防振ユニット２２の駆動は制御部１４によって制御され、防振ユニット２２における駆動量、例えば手ブレ量や撮像素子１２のシフト量、当初のブロックＭ×Ｎの大きさ等に基づき、後述する擬似輪郭成分発生の評価値が、防振駆動実績として制御部１４に送られる。なお、手ブレ補正は、撮像素子の駆動とは独立して制御され、その駆動はフレームレートより充分に速い。

なお、デジタルカメラ１０には、制御部１４に接続された、レリーズスイッチや測光スイッチ、あるいは各種機能の選択／設定のためのダイヤルスイッチや４方向スイッチなど様々なスイッチを含むスイッチ群２１が設けられる。

次に図１および図２のフローチャートを参照して第１実施形態のぼかし処理について説明する。図２のフローチャートは、ぼかし処理モードが設定されているときに制御部１４で繰り返し実行される割り込み処理である。なお、ぼかし処理モードの設定は、ユーザの所定のスイッチ操作により行われる。

ステップＳ１００では、例えばレリーズボタン（図示せず）が半押しされ測光スイッチＳ１がオンされた否かが判定される。測光スイッチＳ１がオンされていない場合、すなわちレリーズボタンが半押しされていない場合、この割り込み処理は直ちに終了し、他の処理が実行された後再び繰り返し実行される。ステップＳ１００において測光スイッチＳ１がオンされたと判定されると、ステップＳ１０２において、レンズ駆動部１８により撮影レンズ１１を移動して、ピントを近距離から遠距離（例えば無限遠）までの間の複数の位置（Ｎｐ箇所）に合わせ（例えば所定ステップでレンズを移動）、各位置において１枚ずつ取得されるＮｐ枚のスルー画像を画像メモリ１５に記憶する。なお、ステップＳ１０２の処理は、高速に行われ、この間に取得されるＮｐ枚の画像は、合焦位置が各々異なるのみで、同一被写体を同―位置、同―方向から同一画角で撮影した画像とみなせる。

ステップＳ１０４では、従来周知のコントラスト方式のＡＦ処理により、撮影レンズ１１がレンズ駆動部１８により合焦位置へと移動される。その後ステップＳ１０６において、測光スイッチＳ１がオンされた状態か否か、すなわちレリーズボタン（図示せず）の半押しが維持されているか否かが判定される。維持されていなければ、この割り込み処理は終了し、他の処理が実行された後再び繰り返し実行される。

測光スイッチＳ１のオン状態が維持されていれば、ステップＳ１０８においてレリーズスイッチＳ２がオンされているか否かが判定され、オンされていなければステップＳ１０６に戻り同様の判定が繰り返される。一方、レリーズスイッチＳ２がオンされていれば、ステップＳ１１０において、撮像素子１２を用いた主画像の撮影、すなわち本来の記録を目的とした画像撮影が行われ、ステップＳ１１２において撮影された主画像のＲＡＷデータに対し現像処理が施される。なお、ステップＳ１１０において撮影される主画像もステップＳ１０２で取得されたＮｐ枚の画像と略同―位置、同―方向から同一被写体を同一画角で撮影した画像とみなせる。

ステップＳ１１４では、ステップＳ１０２において画像メモリ１５に記憶されたスルー画像を用いた距離マップ作成処理が実行される。距離マップは主画像（あるいはスルー画像）の各領域（ブロック）の被写体までの距離情報を対応付けたマップデータであり、距離マップ作成処理の詳細については後述する。

ステップＳ１１６では、ステップＳ１１４において作成された距離マップに基づいて、主画像の主要被写体以外の領域に対するぼかし処理を行うためのマスクを作成するマスク作成処理（後述）が実行される。ステップＳ１１８では、マスク処理が施された主画像に対しぼかし処理が施され、新たに主画像が合成される（後述）。ステップＳ１２０では合成された主画像が記録媒体１６に記録され、ぼかし処理モードにおけるこの割り込み処理は終了する。

なお、主画像にぼかし処理を施さずに対応する距離マップとともに記録媒体１６に保存し、後でぼかし処理やその他の画像処理を距離マップに基づいて行える構成とすることも可能である。この場合、主画像および距離マップのデータは別々のファイルとして保存されてもよいし、一体的なファイルとして保存されてもよい。また、別々のファイルとするときには、両ファイルの対応関係をファイル名で対応付けたり、ヘッダファイルなどに対応を記録したりしてもよい。

図３、図４は、図２のステップＳ１１４で実行される距離マップ作成処理のフローチャートであり、図５〜図８は、図３、図４で行われる処理の内容を説明する図である。以下図３〜図８を参照して第１実施形態の距離マップ作成処理について説明する。

距離マップ作成処理では、まず防振ユニット２２からの駆動実績値が取得され、次にステップＳ２０１において、図２のステップＳ１０２で画像メモリ１５に記憶された各スルー画像に対しハイパスフィルタや微分フィルタなどの輪郭抽出処理を施し輪郭成分を抽出する。ここで図５（ａ）は、輪郭抽出前のスルー画像の一例であり、図５（ｂ）は図５（ａ）の画像に対して輪郭抽出処理を施した画像の一例である。

ステップＳ２０２では、防振駆動実績（評価値）が所定の閾値を下回るか否かが判定される。すなわち、像ブレ量が小さく、後述する擬似輪郭成分が発生しないと考えられる場合には、ステップＳ２０３において、図５（ｃ）に例示されるように、輪郭成分が抽出された画像（図５（ｂ））をＭ×Ｎブロック（領域）に分割する。Ｎは例えば縦方向のブロック数であり、スルー画像の縦方向の画素数以下の値である。またＭは例えば横方向のブロック数であり、スルー画像の横方向の画素数以下の値である。なお、第１実施形態におけるブロックには１画素のみからなるものも含まれる。

一方、ステップＳ２０２において、像ブレが大きく、これにより発生する擬似輪郭成分が大きいと考えられる場合には、ステップＳ２０４において、ブロック数を縦横（Ｍ／２）×（Ｎ／２）とし、輪郭成分が抽出された各画像を（Ｍ／２）×（Ｎ／２）ブロックに分割する。すなわち、像ブレが大きい（擬似輪郭成分が大きい）と評価されるときには、小さいときに比べ分割ブロック数を１／４にし、１ブロック当たりの面積を４倍にしている。

ステップＳ２０５では、ステップＳ２０３、Ｓ２０４の何れかで分割されたブロック毎に輪郭成分の総和が計算される。すなわち、例えば輪郭成分が抽出された画像（図５（ｂ））において、各ブロック内の画素値の総和がそのブロックのコントラスト値（コントラストの高低を評価する値）として計算される。ステップＳ２０６では、Ｍ×Ｎあるいは（Ｍ／２）×（Ｎ／２）個のブロックに対応するサイズのバッファメモリ（図示せず）に、ブロック毎に算出されたコントラスト値がコントラストマップ（コントラストの高低評価のマップ）としてスルー画像毎に保持される。図５（ｄ）は、図５（ｃ）のブロック（Ｍ×Ｎの場合）に対応するコントラストマップの一例を模式的に示すもので、明るいブロックほど、そのブロックのコントラスト値が高いことを示している。

次にステップＳ２０８において、画像メモリ１５にストック（記憶）されたＮｐ枚のスルー画像全てに対して上記処理がなされたか否かが判定される。全てのスルー画像に対して上記処理が終了していない場合には、ステップＳ２０１に戻りストックされたスルー画像のうちまだ処理されていない画像に対し上記処理（Ｓ２０１〜Ｓ２０６）が施される。

一方ステップＳ２０８において、画像メモリ１５にストックされたＮｐ枚のスルー画像全てに対しステップＳ２００〜Ｓ２０６の処理が施されたと判定されると、処理はステップＳ２１０に移り、バッファメモリには、図５（ｅ）に示されるようにＮｐ枚のコントラストマップが保持される。

距離マップは、図６に模式的に示されるように、ステップＳ２００〜Ｓ２０８において作成されたＮｐ枚のコントラストマップをブロック毎に参照して作成される。まず、ステップＳ２１０では距離マップ保存用のＭ×Ｎブロック分または（Ｍ／２）×（Ｎ／２）ブロック分の配列がメモリに確保される。ステップＳ２１２では、Ｍ×Ｎ個または（Ｍ／２）×（Ｎ／２）個のブロックのうち処理対象となるブロック（注目ブロック）の初期位置が設定される。

例えば、ブロック数がＭ×Ｎ個のとき、Ｎｐ枚の各コントラストマップにおけるＭ×Ｎ個のブロックに対して、図６左上を基点としてｉ行、ｊ列のブロックを（ｉ，ｊ）で参照するとき、処理はｉ＝１、ｊ＝１から開始される。なお、以下の処理において、注目ブロックは、まず同一行において左から右へ移動され、その後次の行へ移動され、順次同様の移動が繰り返される。

ステップＳ２１４では、Ｎｐ枚のコントラストマップにおいて注目ブロック（ｉ，ｊ）のコントラスト値がスキャンされ、ステップＳ２１６においてそのコントラスト値が最大となるコントラストマップの番号が算出される。例えば、コントラストマップが２３枚（Ｎｐ＝２３）のときに、注目ブロック（ｉ，ｊ）のコントラスト値がコントラストマップ番号に対し図７のように変化するとき、コントラスト値が最大となるコントラストマップ番号２０が検出される。

ステップＳ２１８では、Ｓ２１６で検出されたコントラストマップの番号が、ステップＳ２１０において確保された距離マップの対応ブロックの配列に記録される。ステップＳ２２０では、全てのブロックに対し上記処理が終了したか否か、すなわち距離マップの全てのブロックに対しコントラストマップ番号が検出・記録されたか否かが判断される。終了していない場合には、ステップＳ２２２において次の注目ブロックへの移動が行われステップＳ２１４以下の処理が繰り返され、終了している場合には、この距離マップ作成処理は終了する。

距離マップ作成処理が終了すると、距離マップの各ブロックに対応する配列には、図８に例示されるように、各ブロックにおいて最もコントラスト値が高いコントラストマップの番号が記録される。すなわち、そのブロックにおいて最も合焦されたと考えられるレンズ位置に対応し、これはそのブロックにおける被写体までの距離に対応する。図８の例では、コントラストマップ番号が大きいほど距離が大きく、図５（ａ）との対応では、コントラストマップ番号が８のブロックが主要被写体である人物に対応し、コントラストマップ番号が２０のブロックが遠景となる背景、コントラストマップ番号が１３のブロックがその中間にある被写体、例えば主要被写体の直ぐ後ろにある木に対応する。

次に図９のフローチャートおよび図１０〜図１２を参照して、図２のステップＳ１１６において実行される第１実施形態のマスク作成処理について説明する。

マスク作成処理が開始されるとステップＳ３００において主要被写体の選択が行われる。主要被写体の選択は、例えば画像撮影時におけるＡＦ処理でのフォーカスポイント、撮影された画像内でユーザが適当な入力デバイスを用いて選択した位置、顔検出処理において顔として認識された位置などに基づいて決定される。例えば、主要被写体に対応するとされた位置が含まれるブロックのコントラストマップ番号（距離）の前後所定の範囲内のコントラストマップ番号（距離）に対応するブロックが主要被写体とされる。

ステップＳ３０２では、主要被写体として認識されたブロックにぼかし処理が施されないようにマップを作成し、図２のステップＳ１１０で撮影された主画像に対しマスク処理を施し、このマスク処理は終了する。なお、スルー画像の各ブロックの主画像への対応は、両画像の画素数の対応から直ちに求められる。

図１０は、例えば図８における番号８に対応するブロック（人物）が主要被写体とされたときのマスク処理の例である。また、図１１は、図８における中間領域に対応するコントラストマップ番号１３のブロックが主要被写体とされたとき、図１２は、図８における遠景に対応するコントラストマップ番号２０に対応するブロックが主要被写体とされたときのマスク処理の例である。

なお、第１実施形態ではマスク処理に例えばαブレンドの手法が用いられ、図１０〜図１２では、明るい色のブロックほど弱いぼかしが掛けられ、暗い色のブロックほど強いぼかし処理が掛けられる。

次に図１３〜図１６を参照して、防振駆動実績が閾値よりも高いとき、すなわち手ブレに起因する像ブレが大きいときに分割ブロック数を例えばＭ×Ｎから（Ｍ／２）×（Ｎ／２）に減らして、１ブロック当たりの面積を大きくする理由について説明する。

図１３は、ブロック数がＭ×Ｎの場合における距離マップＤＭの模式図であり、被写体までの距離が近いほど明るいブロックとして、遠ざかるほど暗いブロックとして示される。また、図１３には、距離マップＤＭの左上４×４ブロックが拡大して示される。

例えば図２のステップＳ１０２における連続するスルー画像の保存の際、最初のフレーム（またはフィールド）撮影において図１３の拡大図中央２×２ブロック内にある円形の被写体像Ｓ１が、手ブレにより続く３フレーム（またはフィールド）の撮影において、像Ｓ２、Ｓ３、Ｓ４に順次移動した場合、すなわち像ブレが発生した場合を想定する。このとき、第１フレームでは中央の４ブロック（２，２）、（２，３）、（３，２）、（３，３）に像Ｓ１のエッジが含まれ、第１フレームに対応するコントラストマップにおけるこれらのブロックのコントラスト値が高くなる。

一方、第２フレームでは、像ブレにより像Ｓ２のエッジが中央の３ブロック（２，２）、（２，３）、（３，３）の他、周辺５ブロック（２，１）、（３，１）、（４，１）、（４，２）、（４，３）にも位置し、第２フレームに対応するコントラストマップでは、これらのブロックにおいてもコントラスト値が高くなる。同様に第３フレームに対応するコントラストマップでは、中央のブロック（２，２）、（２，３）、（３，２）、（３，３）の他、周辺の４ブロック（２，４）、（３，４）、（４，２）、（４，３）においてもコントラスト値が高くなり、第４フレームに対応するコントラストマップでは、中央のブロック（２，２）、（３，２）、（３，３）の他、周辺の５ブロック（１，２）、（１，３）、（１，４）、（２，４）、（３，４）においてもコントラスト値が高くなる。

このようにステップＳ１０２のスルー画像保存の際に、被写体のエッジ部分が像ブレにより周辺ブロックへ繰り返し移動すると、像ブレがなければ本来そのコントラストマップ（フレーム）においてコントラスト値が低いはずのブロックにおいてコントラスト値が高くなることがある（擬似輪郭成分の発生）。例えば、図１３の例では、周辺２０ブロック（１，１）〜（１，４）、（２，１）、（２，４）、（３，１）、（３，４）、（４，１）〜（４，４）において擬似輪郭成分が発生し、コントラスト値が本来の値よりも高くなる可能性がある。

図１４は、擬似輪郭成分が発生したブロックのコントラスト値の分布を例示するもので、横軸は被写体までの距離（コントラストマップ番号）、縦軸はコントラスト値である。例えば図１４のグラフにおいて、距離Ｌ１がそのブロックに含まれる被写体までの距離であるとすると、そのブロックにおけるコントラスト値は通常距離Ｌ１において最大のピーク値を取る。しかし、距離Ｌ２を合焦位置とするレンズ位置（コントラストマップ番号）で撮影されるフレームにおいて、本来別のブロックに含まれるべき被写体像のエッジ部がそのブロックに含まれると、そのフレーム前後においてそのブロックのコントラスト値が高くなり、距離Ｌ２においてピークが発生する。

距離Ｌ２に発生するピークは、状況によっては距離Ｌ１にある本来のピークよりも大きくなる可能性があり、そのような場合、図４のステップＳ２１６で検出されるコントラスト値が最大になるコントラストマップの番号が、本来あるべき距離Ｌ１に対応する番号ではなく、距離Ｌ２に対応する番号となり、距離マップにおけるそのブロックの距離情報が誤った値となる。なお、図１３の距離マップＤＭでは、拡大図における中央４ブロックの周囲２０ブロック（１，１）〜（１，４）、（２，１）、（２，４）、（３，１）、（３，４）、（４，１）〜（４，４）に擬似輪郭成分が発生し、本来遠景であるべきこの２０ブロックの距離情報に誤りが発生し、近景のブロックと判定された場合を示している。

したがって、このような誤った距離情報を含む距離マップを用いて図９のマスク作成処理を施すと、誤ったマスクが作成され、不自然なぼかし処理が行われる可能性がある。このため本実施形態では、像ブレ量あるいは擬似輪郭成分が大きいと評価されるときには、分割ブロックを大きくして、エッジ部の像ブレによる移動が、同一ブロック内に収まるようにし、上記不具合の発生を防止している。

すなわち、図１５は図１３の４×４ブロックの拡大領域を、２×２の４ブロックに分割した場合であり、このとき円形の像Ｓ１〜Ｓ４のエッジ部は、全てのフレームにおいてブロック（１，１）、（１，２）、（２，１）、（２，２）にのみ、かつその全てに位置する。このため、像ブレによるエッジの移動が図１３のときと同じ程度であれば、これら４ブロックの輪郭成分は適正なものとなり、これら４ブロックの周辺ブロックに擬似輪郭成分が発生することもない。これにより図１４のグラフで示された距離Ｌ２における偽のピークは、図１６に示されるように消滅し、ピークは本来の距離Ｌ１のみとなる。なお、図１６において、実際のコントラスト値の分布形状は偽ピークの消滅により幾分変形される。

以上のように、像ブレにより発生する擬似輪郭成分が大きく、距離情報信号に誤りが発生する可能性が高いときには、分割ブロックの大きさを大きくすることで、像ブレに起因する各ブロックの輪郭成分への影響を低減し、各ブロックに対する距離情報の精度を高めることができる。

以上のように、第１実施形態によれば、被写界深度によるぼけが十分に得られない状況においても、主要被写体以外の領域に適切にぼかし処理を施すことができる。また、本実施形態では輪郭抽出処理を用いることで、コントラストの評価をより容易かつ正確に行うことができ、更に画像を複数のブロック（１画素のみのブロックは除く）に分割することで処理速度を向上させることができる。また、本実施形態では像ブレに基づき分割ブロックの大きさを制御することにより、各ブロックにおける距離の誤検出が防止される。

また、本実施形態では距離マップを作成するための複数の画像にスルー画像を利用しているため通常の撮影シーケンスの中でぼかし処理を施すことが可能となる。これにより、別途距離マップ用の複数の画像を撮影する場合などに比べ、ユーザはぼかし処理に煩わされることがなく、処理速度も向上する。

なお、本実施形態ではコンパクトカメラを例に説明を行ったが、携帯電話に搭載されたカメラユニットでの処理の流れを変形例として図１７に例示する。ここで図１７は第１実施形態の図２のフローチャートに対応し、この変形例が構成上第１実施形態と大きく異なるのは、測光スイッチＳ１がなく、レリーズボタンの全押し、すなわちレリーズスイッチＳ２がオンされて初めて測光処理、オートフォーカス処理、および主画像の撮影が開始される。したがって、図２のステップＳ１０６、Ｓ１０８に対応するステップがなく、Ｓ１００のステップが、ステップＳ４００に示されるように、レリーズスイッチＳ２がオンされたか否かの判定に置き換えられる。なお、ステップＳ４０２、Ｓ４０４の内容は、ステップＳ１０２、Ｓ１０４に対応し、ステップＳ４０６〜ステップＳ４１６の内容は、ステップＳ１１０〜ステップＳ１２０に対応する。

以上のように携帯電話などに搭載されたカメラユニットなどのように、レリーズボタンの全押しにより測光スイッチがオンされる場合にも、第１実施形態と同様の効果が得られる。

次に図１８〜図２５を参照して第２実施形態のデジタルカメラについて説明する。第２実施形態のデジタルカメラは、マスク処理方法（図２のステップＳ１１６）が主要被写体の距離に応じて制御される点を除けば、第１実施形態のデジタルカメラと同じである。したがって以下の説明では、第１実施形態と異なる点（ステップＳ１１６）ついてのみ説明を行う。

被写界深度は、被写体までの距離が離れるほど大きくなり、ＡＦ駆動における１ステップ（最小駆動量）での深度の分解能は距離が離れるほど小さくなる。したがって、第２実施形態では、主要被写体までの距離に応じてぼかし処理の手法を変更する。例えば本実施形態では、主要被写体までの距離が比較的近いときには深度の微妙な違いを再現するぼかし処理を行い（近距離モード）、主要被写体までの距離が比較的遠いときには主要被写体の背景側のみにぼかし処理を施し主要被写体と背景の対比を強調する（遠距離モード）。

図１８は、横軸に被写体までの距離、縦軸に各距離に対応するブロックの度数を示すヒストグラムの一例である。本実施形態では、主要被写体が所定の距離Ｄｏよりも近距離にあるか否かにより、上記近距離モード、遠距離モードの選択が行われる。すなわち主要被写体とされた被写体までの距離がＤｏ以下の場合、近距離モードが選択され、それ以外では遠距離モードが選択される。

なお、被写界深度はＦ値によっても変化するので、距離Ｄｏが、Ｆ値により変更される構成としてもよい。例えば、被写界深度はＦ値が小さくなるほど浅くなるので、Ｆ値が小さいほど距離Ｄｏを大きく設定し、Ｆ値が大きいほど距離Ｄｏを小さく設定する構成としてもよい。

図１９は、近距離モードにおけるぼかし処理の変化（近距離モード用マスク濃度算出カーブ）を例示するグラフである。近距離モードでは、主要被写体に対応する距離のブロックに対してはぼかし処理を行わず（あるいはぼかし処理を最小とし）、その前景、背景に対応するブロックでは、そのブロックの被写体までの距離が主要被写体の距離Ｄｏから離れるにしたがって徐々にぼかし処理が強められる。例えば前景では距離Ｄｆ、背景では距離Ｄｂでぼかし処理が最大（１００％）となるように距離Ｄｏから漸次ぼかし処理の強度が増大される。

図２０は、遠距離モードにおけるぼかし処理の変化（遠距離モード用マスク濃度算出カーブ）を例示するグラフである。遠距離モードでは、前述したように主要被写体の背景のみにぼかし処理を施し、主要被写体と背景の対比を強調するため、主要被写体までの距離Ｄｏを境にステップ状にぼかし処理が掛けられる。すなわち距離Ｄｏまでの距離に対応するブロックにぼかし処理は施されず、距離Ｄｏよりも遠方の距離に対応するブロックには最大のぼかし処理（１００％）が施される。

なお、本実施形態では、図１のスイッチ群２１に含まれる方向スイッチや電子ダイヤルスイッチなどを用いて、各モードのマスク濃度算出カーブの制御が可能とされる。例えば近距離モードでは、被写界深度の制御が可能であり、例えば図１９のＤｆ、Ｄｂの位置がＡＦ駆動における例えば１ステップ単位で変更可能である。また、遠距離モードでは例えばぼかし処理の強度が可変とされる。

図２１は、近距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は深度の距離による分解能の変化の程度を模式的に示す。また図２２は、近距離モードにおける画像の一例であり、主要被写体が人物Ｓ０とすると、その前後にいる人物Ｓ１〜Ｓ３にはそれぞれ人物Ｓ０からの距離に応じて異なる強度のぼかし処理が施される。すなわち本実施形態では、主要被写体から前後に離れるほど強いぼかし処理が施され、深度の微妙な差が強調され、もとの画像よりも立体感を増すことができる。

一方、図２３は、遠距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は図２１と同様に深度の距離による分解能の変化の程度を模式的に示す。また図２４は、遠距離モードにおける画像の一例であり、主要被写体となる人物Ｓ０と同距離、およびそれよりも手間にあるブロックに対してはぼかし処理を施さず、人物Ｓ０よりも遠景にあるブロックに、均一な強いぼかし処理を施される。これにより、人物Ｓ０のみがクリアになり、それ以外の背景はぼけた画像となる。

図２５は、上述した第２実施形態のマスク作成処理のフローチャートであり、図２のステップＳ１１６の内容に対応する。このフローチャートを参照して第２実施形態のマスク作成処理の流れについて説明する。

ステップＳ５００では、第１実施形態における図９、ステップＳ３００と同様に主要被写体の選択が行われ、ステップＳ５０２において、主要被写体が含まれるブロックのコントラストマップ番号（距離）が取得される。ステップＳ５０４では、主要被写体の距離情報（コントラストマップ番号）から主要被写体が近距離にあるか否かが判断される。例えば、主要被写体のコントラストマップ番号や距離が所定値以下であるか否かが判定される。

ステップＳ５０４において主要被写体が近距離にあると判定されると、ステップＳ５０６において図１９に示される近距離モード用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。

一方、ステップＳ５０４において主要被写体が近距離にはない（遠距離にある）と判定されると、ステップＳ５１６において図２０に示される遠距離用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。

ステップＳ５１０では、ステップＳ５０８において算出された現注目ブロックの差分値と、ステップＳ５０６またはＳ５１６で選択されたマスク濃度算出カーブとの照合が行われ、注目ブロックに対応するマスク濃度が特定されるとともに、ステップＳ５１２においてその濃度が対応するマスク用配列に記録される。

ステップＳ５１４ではＭ×Ｎブロック全てに対し上記処理、すなわちマスク濃度が特定されたか否かが判定され、終了していれば本マスク作成処理は終了し、そうでなければステップＳ５１８において注目ブロックを次のブロックに移動し、ステップＳ５０８以下の処理を繰り返す。なお、注目ブロックの移動は、図４、図６を用いて説明した注目ブロックの移動方法と同じである。

以上のように、第２実施形態によれば、主被写体の距離に応じてぼかし処理が制御され、より適切なぼかし処理が可能となる。

なお、本実施形態では、距離情報を取得するためにスルー画像を用いたが、短時間の間に複数の合焦位置で撮影される一連の画像であればよくスルー画像に限定されるものではない。また、本実施形態では、距離情報としてコントラストマップ番号を用いた例で説明を行ったが、距離情報に対応する変数であればこれに限定されるものではなく、１対１であれば実際の距離と比例関係にある必要もない。また、ぼかし処理も本実施形態に限定さえるものではない。

本発明は特にコンパクトなカメラにおいてその効果が顕著であるが、コンパクトなカメラに限定されるものではなく、例えば通常のデジタル一眼レフカメラに適用することもできる。

また、本実施形態では各領域（ブロック）でのコントラストの評価を容易かつ正確にするために輪郭抽出を行ったが、画像を撮影したレンズ位置での各領域の合焦度合いを評価できるのであれば輪郭抽出を行わずにコントラストの評価を行ってもよい。

また、本実施形態のマスク作成処理、合成、保存処理（Ｓ１１６〜Ｓ１２０、Ｓ４１２〜Ｓ４１６）などは、例えばパソコン等、デジタルカメラ以外の機器において行うことも可能であり、その場合には、デジタルカメラにおいて作成された上記距離マップ（距離情報）、あるいは代替的手段により得られた被写体までの距離情報を用いて処理される。このような場合、例えば、パソコン等には、記録媒体や外部から入力される画像データに対し記録媒体や外部から入力される距離情報に基づいて画像処理（ぼかし処理）施し、その結果を例えば記録媒体に保存、あるいは外部へ出力するプログラムとして提供される。

なお、本実施形態では被写体までの距離情報に基づいてぼかし処理を施したが、距離情報を用いて他の画像処理を施す構成であってもよい。例えば、画像を水彩画風、イラスト風にする処理や、画像にキャラクタ（図形や文字、絵柄なども含む）を追加する処理などにも利用できる。水彩画処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて色合いや濃淡を制御し、および／または、主要被写体までの距離に応じて色合いや濃淡の制御方法を変更することが考えられる。また、イラスト処理では、被写体までの距離あるいは主要被写体からの距離に応じて例えば濃淡を制御し、および／または、主要被写体までの距離に応じて濃淡制御の方法を変更することが考えられる。キャラクタを追加する処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて追加するエリアの広さやキャラクタの大きさの制御を行い、および／または主要被写体までの距離に応じてエリアの広さやキャラクタの大きさの制御方法を変更することが考えられる。

また、距離マップ作成までの処理を、レンズ駆動機構と撮像素子を備えた撮像装置を制御するコンピュータプログラムとして提供することもできる。

本実施形態の撮像装置（デジタルカメラ）は、手ブレ補正機構を備えたが、補正機構は設けずに、例えば手ブレを検出するセンサのみを設け、検出される手ブレ量を像ブレ量の評価、あるいはコントラストマップに発生する擬似輪郭成分の大きさの評価に用いてもよい。また、本実施形態ではブロックの大きさを大小２種類用意したが、ブロックの大きさは大中小など３種類以上であってもよい。

１０ デジタルカメラ
１１ 撮影レンズ
１２ 撮像素子
１３ 撮像素子ドライバ
１４ 制御部
１５ 画像メモリ
１６ 記録媒体
１７ モニタ
１８ レンズ駆動部
１９ 絞り
２０ 絞り駆動部
２１ スイッチ群
２２ 防振ユニット

Claims (8)

1. 手ブレに起因する像ブレ量を評価する像ブレ評価手段と、
   撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する画像取得手段と、
   前記複数の画像に対し輪郭成分を抽出した輪郭成分抽出画像を各々生成する輪郭成分抽出手段と、
   前記像ブレ量が相対的に大きいと評価されるときに前記輪郭成分抽出画像の各々を１画素以上から構成される相対的に大きい複数のブロックに分割するとともに、前記像ブレ量が相対的に小さいと評価されるときに前記輪郭成分抽出画像の各々を１画素以上から構成される相対的に小さい複数のブロックに分割する画像分割手段と、
   前記各ブロックでのコントラストの高低に基づいて前記各ブロックに対する前記被写体までの距離情報を検出する被写体距離情報算出手段と
   を備えることを特徴とする撮像装置。
2. 手ブレ補正機構を更に備え、前記像ブレ評価手段が、少なくとも手ブレ量または前記手ブレ補正機構の駆動量の何れかに基づいて前記像ブレ量の大きさを評価することを特徴とする請求項１に記載の撮像装置。
3. 前記各ブロックにおける前記輪郭成分の総和により、前記各領域のコントラストの高低が評価されることを特徴とする請求項１に記載の撮像装置。
4. 前記複数の画像が、測光スイッチまたはレリーズスイッチの操作後に撮影されるスルー画像であることを特徴とする請求項１に記載の撮像装置。
5. 前記被写体の同一の画像を更に主画像として撮影する主画像撮影手段と、前記主画像に前記距離情報に基づく画像処理を施す画像処理手段とを備えることを特徴とする請求項１に記載の撮像装置。
6. 前記画像処理にぼかし処理が含まれることを特徴とする請求項５に記載の撮像装置。
7. 手ブレに起因する像ブレ量を評価し、
   撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得し、
   前記複数の画像に対し輪郭成分を抽出した輪郭成分抽出画像を各々生成し、
   前記像ブレ量が相対的に大きいと評価されるときに前記輪郭成分抽出画像の各々を１画素以上から構成される相対的に大きい複数のブロックに分割するとともに、前記像ブレ量が相対的に小さいと評価されるときに前記輪郭成分抽出画像の各々を１画素以上から構成される相対的に小さい複数のブロックに分割し、
   前記各ブロックでのコントラストの高低に基づいて前記各ブロックに対する前記被写体までの距離情報を検出する
   ことを特徴とする距離情報取得方法。
8. 撮像レンズ駆動手段を備えた撮像装置の制御に用いられるプログラムであって、
   手ブレに起因する像ブレ量を評価する像ブレ評価手段する手順と、
   撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する手順と、
   前記複数の画像に対し輪郭成分を抽出した輪郭成分抽出画像を各々生成する手順と、
   前記像ブレ量が相対的に大きいと評価されるときに前記輪郭成分抽出画像の各々を１画素以上から構成される相対的に大きい複数のブロックに分割するとともに、前記像ブレ量が相対的に小さいと評価されるときに前記輪郭成分抽出画像の各々を１画素以上から構成される相対的に小さい複数のブロックに分割する手順と、
   前記各ブロックでのコントラストの高低に基づいて前記各ブロックに対する前記被写体までの距離情報を検出する手順と
   を前記撮像装置に実行させることを特徴とするコンピュータプログラム。