JP2013044844A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】本発明は、複数のフォーカス状態で撮影される複数枚の画像と、複数のフォーカス状態の全てにおける合焦範囲を有する参照画像を用いて被写体距離を測定する場合に、被写体距離推定精度が低下することを課題とする。
【解決手段】上記の課題を解決するために、本発明では、ｎ枚の画像のうちどの画像を被写体までの距離を計測するのに用いるかを選択する被写体距離計測画像選択部１０４を備える。被写体距離計測画像選択部１０４は参照画像と適切なペアとなるフォーカス状態の画像を選択し、被写体距離計測する。これにより、高精度に被写体距離を推定できる画像処理装置を提供する。
【選択図】図１

Description

本発明は複数のフォーカス状態で撮影された複数の撮影画像から被写体距離を計測する画像処理装置および画像処理方法に関する。

カメラの撮影で画像と同時に、３次元シーンの奥行き、すなわち、被写体距離を計測できれば、画像表示・変換・認識等において様々な応用が可能となる。例えば、１枚の撮影画像と、この画像に対する被写体距離が得られれば、三角測距の原理で異なる視点から見た画像を擬似的に生成することができ、ステレオ、あるいは、多視点に対応する３次元画像の生成が可能になる。また、被写体距離に基づいて画像の領域分割を行えば、特定の距離に存在する被写体だけを切り出したり、画質調整したりすることも可能になる。

被写体距離を非接触で計測する主な方式は、以下の能動的手法と受動的手法の２つに大別できる。１つ目の能動的手法は、赤外線や超音波、レーザーなどを照射し、反射波が戻ってくるまでの時間や反射波の角度などをもとに被写体距離を計測するものである。一般に、この手法を用いた場合には、被写体距離が近い時には高精度に計測できるものの、通常のカメラには必要のない能動的な照射／受光デバイスが必要になるという課題がある。また、被写体が遠方にあるときには、照射デバイスの出力レベルが低いと、被写体に届く照射光が弱くなり、被写体距離の計測精度が低下するという課題があり、一方、照射デバイスの出力レベルが高いと、消費電力が増大するという課題の他に、レーザーを用いる場合には安全性の問題もあるため、使用できる環境が制限されるという課題もある。一方、２つ目の手法は、カメラで撮影された画像だけを用いて被写体距離を計測するものである。

受動的手法にも多くの手法が存在するが、その一つに、撮影された画像に生じるぼけ量の相関値を利用するＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（以下、ＤＦＤと呼ぶ）と呼ばれる手法がある。一般に、撮影画像に生じるぼけ量は、撮影時のフォーカス状態と被写体距離の関係に応じてカメラ毎に一意に決まる。ＤＦＤではこの特性を利用し、あらかじめ既知の被写体距離にある被写体を複数のフォーカス状態で撮影することによって、被写体距離と撮影画像に生じるぼけ量の相関値の関係を計測しておく。これにより、実際の撮影において複数のフォーカス状態で撮影を行えば、画像間のぼけ量の相関値を算出することにより、被写体距離を計測することが可能となる（特許文献１参照）。

特許文献１に開示されている手法では、異なるフォーカス状態で撮影された２枚の画像を用いる。この２枚の画像は、異なるフォーカス状態で撮影されているため、特定距離に存在する被写体のぼけ量が２枚の画像で異なるという性質があり、この性質を利用して被写体距離の計測を行う。例として、近距離に存在する被写体を、それぞれ近距離側と遠距離側のフォーカス状態で２枚撮影した場合を考えるとする。この場合、近距離側にフォーカスを合わせて撮影された１枚の画像ではその被写体は鮮明に写る一方で、遠距離側にフォーカスを合わせて撮影されたもう１枚の画像ではその被写体はぼけた状態で写る。この被写体の写り方の差とあらかじめ計測されている被写体距離と撮影画像に生じるぼけ量の相関値を利用する事で、被写体距離を計測する。

特表２００９−５０５１０４号公報

Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ，Ｈ．Ｎａｇａｈａｒａ，Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ，Ｃ．Ｚｈｏｕ，Ｓ．Ｋ．Ｎａｙｅｒ，Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ），Ｏｃｔ，２００８

特許文献１に開示されている手法では、絞りを大きく絞らない限り撮影画像の被写界深度の幅が狭くなる。被写界深度の深さによって画像でぼけずに写る距離間隔が決まるため、被写界深度は、距離ごとのぼけ量の違いを利用するＤＦＤで計測可能な距離を決める重要な要素である。そのため、ＤＦＤにおいて計測可能な被写体距離を長く得る、つまり被写界深度を広げるには多数の画像を撮影する必要がある。これは少数の画像で距離計測が可能であるというＤＦＤのメリットを相殺する事となる。加えて絞りを大きく絞ることで少ない枚数の画像から参照画像を得ることが出来るが、入射光量が低下するためこれを補うためには撮像素子の感度を高くするか露光時間を長くするかのいずれかが必要になる。しかし前者は撮影画像のノイズの増大を、後者は被写体ぶれを招き、これらによって被写体のスペクトル成分が乱れ、結果として被写体距離の計測精度が低下してしまう。このため、２枚以上の画像から広範囲の被写体距離を計測する場合には、多数の画像を用いる必要があった。

しかしながら、従来法で複数枚の画像を用いて距離計測を行う場合、計測した距離においてぼけ量の異なる複数枚の画像を用いる必要があるが、事前には被写体の距離が不明あり、被写体の存在する最適な画像を選択できないため距離計測が困難であるという課題が存在した。

本発明は上述の問題に鑑みてなされたものであり、異なるぼけを有する複数枚の撮影画像から安定に距離計測を可能にする画像処理装置および画像処理方法を提供することを目的とする。

上記課題を解決するために、本願発明は、複数のフォーカス状態で撮影された複数の撮影画像から被写体距離を計測する画像処理装置であって、複数のフォーカス状態で画像をｎ枚（ただし、ｎ≧２）撮影する撮像部と、前記撮像部の合焦位置および被写界深度を変化させる合焦範囲制御部と、前記撮像部によって撮影される複数のフォーカス状態の全てにおける合焦範囲を有する第一の参照画像を生成する参照画像生成部と、前期ｎ枚の画像のうち、被写体までの距離を計測するのに用いる距離計測用画像を選択する被写体距離計測画像選択部と、前記距離計測用画像および前記第一の参照画像のぼけの度合いから被写体までの距離を計測する距離計測部とを備える、ことを特徴とする。

本発明によれば、合焦範囲制御部によって絞りを絞ることなく通常より合焦範囲の広い画像を得ることが出来るため、３枚の画像から被写体距離の計測を行うことが可能となる。加えて、詳細な被写体距離を計測する前に、画像の画素ごとに被写体計測に適切な画像を選択し、その被写体計測に適切な画像と合焦範囲の広い画像の２枚を用いて被写体距離を計測可能となるため、フォーカス状態が異なる画像間であっても、被写体距離を高精度に計測する事が可能になる。

本発明の実施の形態１の画像処理装置の構成を示すブロック図 フォーカスを変化させた際の集光の様子を示す模式図 本発明の実施の形態１の処理の流れを示すフロー図 近距離に存在する被写体の距離計測結果を示す図 本発明の実施の形態２の画像処理装置の構成を示すブロック図 本発明の実施の形態２の処理の流れを示すフロー図 ブロックマッチング法の処理を表す図

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は本発明の実施の形態１に係る画像処理装置の構成を示す図である。画像処理装置１００は撮像部１０１、合焦範囲制御部１０２、参照画像生成部１０３、被写体距離計測画像選択部１０４、被写体距離計測部１０５を有する。

撮像部１０１は光線を集めるレンズが組み込まれたレンズユニットとＣＣＤやＣＭＯＳなどの撮像素子を含んで構成され、被写体の像を撮像して画像を出力する機能を有する。

合焦範囲制御部１０２は撮像部１０１が有するレンズユニットを制御し、合焦位置および被写界深度を制御する機能を有する。具体的にはレンズユニットに組み込まれたオートフォーカス機構を特定のパターンで動作させる、あるいは特定の光学素子を切り替えるなどによって制御を行う。

参照画像生成部１０３は合焦範囲制御部１０２の作用によって異なる合焦位置および被写界深度を有する一または複数枚の画像から、レンズによるぼけがない状態を推定した参照画像を生成する。

被写体距離計測画像選択部１０４は撮影された異なる合焦位置および被写界深度を有する複数枚の画像、および参照画像から画像の画素あるいは領域ごとの被写体距離計測に適した画像の組み合わせを選択する。

被写体距離計測部１０５は被写体距離計測画像選択部１０４で選択された画像を用いて、ＤＦＤの手法に基づいて被写体距離の計測を行う。

以下、実施形態１の構成を示す図１おける各ブロック間のデータフローについて説明する。

撮像部１０１では、第１画像、第３画像及び、合焦範囲制御部１０２から出力される合焦範囲制御情報を基に合焦位置を変化させた第２画像を撮像する。

合焦範囲制御部１０２では、第２画像を撮影する際の合焦位置範囲の開始位置、及び終了位置等の合焦範囲制御情報を撮像部１０１に出力し、合焦範囲を制御する。

参照画像生成部１０３は、撮像部１０１にて撮像された第２画像から、レンズによるぼけがない状態を推定した参照画像を生成し、被写体距離計測画像選択部１０４に出力する。

被写体距離計測画像選択部１０４は、撮像部１０１で撮像された第１画像、第３画像と、参照画像生成部１０３で生成された参照画像のから、画像の画素あるいは領域ごとの被写体距離計測に適した画像の組み合わせを選択し、画像選択情報を生成する。そして、第１画像、画像、第３画像、参照画像に加え、生成された画像選択情報を、被写体距離計測部１０５に出力する。

被写体距離計測部１０５は被写体距離計測画像選択部１０４で生成された画像選択情報によって選択された画像を用いて、ＤＦＤの手法に基づいて被写体距離の計測を行う。

次に、撮影される画像の被写界深度を拡張する手法について説明する。一般的な被写界深度の幅は以下のように定義される。まず、過焦点距離（Ｈｙｐｅｒｆｏｃａｌ Ｄｉｓｔａｎｃｅ）について説明する。過焦点距離は、その距離にフォーカスを合わせた場合、その距離から後側に無限遠までが合焦していると判断される距離のことで、レンズの焦点距離をｆ、レンズのＦナンバーをＦ、検知可能な最小のぼけを表す許容錯乱円の大きさをｃとした時、過焦点距離ｈは以下の数１で近似される。

距離ｓにフォーカスを合わせた際の被写界深度は、ｓより前側の被写界深度をＤｎ、後側の被写界深度をＤｆとした時、以下の数２で表される。

以上の式より、焦点距離を固定した場合、被写界深度の幅は絞りによってのみ変更可能である。

これに対して、絞りを絞ることなく被写界深度の幅を広げる種々の手法が提案されており、被写界深度拡張（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ、以下ＥＤＯＦと表記）と称される。以下、ＥＤＯＦの具体的な手法について説明する。

最も単純なＥＤＯＦ手法は、合焦位置を少しずつずらしながら複数の画像を撮影し、それらの画像から合焦している部分を抜き出して合成する手法である。

これに対して、露光中にフォーカスを変化させることで、多数の画像を合成するのと同様の効果を実現する手法が、非特許文献１に開示されている。

図２はフォーカスを変化させた際の集光の様子を模式的に示す図である。図２のように、被写体距離ａ１に合焦する撮像素子の位置をｂ１、被写体位置ａ２に合焦する撮像素子の位置をｂ２とする。レンズの公式よりａ１とａ２の間の距離に対して合焦する撮像素子の位置は必ずｂ１とｂ２の間にある。従って、露光中に撮像素子がｂ１からｂ２まで移動すると、ａ１に対しては始め合焦していたところから段々とぼけが大きくなり、画像にはこれらのぼけが積分されて重なって写る。一方、ａ２に対しては逆にぼけが大きかったところから段々と合焦していき、やはり画像にはこれらのぼけが重なって写る。

このことを数式を用いてさらに詳しく説明する。光学系のぼけの状態を表す点広がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ、以下ＰＳＦと表記）が、以下の数３で表す形状であるとする。

ただし、ｆは光学系の焦点距離、ａは光学系の開口部の直径、ｕは被写体距離、ｖはレンズの公式１／ｆ＝１／ｕ＋１／ｖで定まる像面位置、Δｖはｖからの像面の移動量、Ｒはぼけの中心からの距離、ｇは定数をそれぞれ表す。

数３は像面の移動量Δｖの関数なので、Δｖがある関数Ｖ（ｔ）に従って時刻０からＴにわたって変化する場合、最終的に得られるＰＳＦは以下の数４のように定義できる。

ここで、Ｖ（ｔ）が等速運動、即ちＶ（ｔ）＝ｖ０＋ｓｔで表されるとすると、数４は以下の数５のように解ける。

ここで、ｅｒｆｃ（ｘ）は相補誤差関数（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｅｒｒｏｒ ＦＵｎｃｔｉｏｎ）である。ｕ＞＞ｆ、即ち被写体距離が光学系の焦点距離より十分大きいとすると、数５はｕによらず一定の値であると考えることが出来る。つまり被写体距離によらず一定のぼけを有する画像が得られることを意味する。像面位置の始点ｖ＋Ｖ（０）、および終点ｖ＋Ｖ（Ｔ）を変化させることで、ぼけが一定となる被写体距離の範囲を変化させることが出来る。

次に、参照画像を用いたＤＦＤの手法について説明する。参照画像Ｒと撮影画像Ｉの間には、以下の数６で示す関係が成立する。

ここで、ｈは位置（ｘ、ｙ）におけるＰＳＦを、ｄ（ｘ、ｙ）は位置（ｘ、ｙ）における被写体距離を表す。また、式中の＊は畳み込み演算を表す。例えば数３のように、ＰＳＦは被写体距離によって異なるため、異なる複数の距離にある被写体が存在する場合、画像の位置ごとに異なるＰＳＦが畳み込まれた画像が撮影画像として得られる。

ここで、被写体距離ｄ１、ｄ２、…、ｄｎに対応するＰＳＦをｈ（ｘ、ｙ、ｄ１）、ｈ（ｘ、ｙ、ｄ２）、…、ｈ（ｘ、ｙ、ｄｎ）とする。例えば参照画像Ｒ（ｘ、ｙ）に存在する被写体が距離ｄ１にある場合、撮影画像Ｉ（ｘ、ｙ）はＲ（ｘ、ｙ）にＨ（ｘ、ｙ、ｄ１）を畳み込んだものに等しく、Ｒ（ｘ、ｙ）に他の被写体距離に対応するＰＳＦを畳み込んだ場合には観測画像との差が生じる。よって、Ｒ（ｘ、ｙ）に各ＰＳＦを畳み込んだ画像と撮影画像の差を順に比較し、その差が最小となるＰＳＦに対応する距離を調べれば、Ｄ（ｘ、ｙ）を求めることが出来る。具体的には以下の数７によって求められる。

実際には撮影画像Ｉに含まれるノイズの影響を低減するため、画像をブロックに区切ってブロック内での誤差の総和を求め、誤差が最小となる距離をそのブロック全体の距離とするなどの処理を行うことで、より安定に距離計測を行うことが出来る。尚、数６および数７をフーリエ変換し、周波数領域上での比較を行うことで距離計測を行ってもよい。周波数領域では数６および数７における畳み込み演算が乗算に変換され、より高速に距離計測を行うことが出来る。

本発明では、これらのＥＤＯＦ及びＤＦＤを応用して、被写体距離の計測を行う。本発明の実施の形態１に係る画像処理装置によって、被写界深度を拡張した参照画像と異なるフォーカス状態で撮影された２枚の画像、合計３枚の画像から被写体距離計測を行う処理の流れについて図３に基づいて説明する。なお、以下では被写界深度を拡張する手法として、露光時間中にフォーカスを変化させる方法を用いるものとして説明を行う。

まず、撮像部１０１によって、それぞれ異なる合焦範囲を有する第１画像および第３画像を撮影する（ステップＳ１０１およびＳ１０５）。説明のため、第１画像の合焦位置は、第３画像の合焦位置よりも手前とする。更に、第１画像および第３画像に加え、合焦位置制御部１０２によって合焦位置を変化させて撮像する第２画像を撮影する。第２画像は、合焦位置を変更開始後（ステップＳ１０２）から、合焦位置変更終了後（ステップＳ１０４）まで、合焦位置を変更させている間に撮影する（ステップＳ１０３）。具体的には第１画像の撮影後に、合焦範囲制御部２によってフォーカス位置を等速で移動させ、合焦位置を所定の間隔だけ移動させて第２画像を撮影する。図２上で各画像の撮影位置を説明すると、第１画像はａ１の位置で撮影、第２画像はａ１からａ２へ合焦位置変更中に撮影、第３画像はａ２の位置で撮影される。このようにして撮影された第２画像は合焦位置変更範囲内で均一なぼけを有する。被写体距離に対して均一なぼけは参照画像の生成に、被写体距離に応じたぼけはＤＦＤによる距離計測にそれぞれ寄与する事になる。ここで第１、第３画像では合焦位置を変更しないと記述しているが、この場合に限らず、第１、第３画像の撮影中に合焦位置の変更を伴っても構わない。また、第２画像の露光中におけるフォーカスの移動速度は等速でなくともよい。

次に、参照画像生成部１０３によって第２画像から参照画像を生成する（ステップＳ１０６）。参照画像は数６より撮影画像に対してＰＳＦを逆畳み込みすることで求められる。本来参照画像を正しく求めるためには被写体距離Ｄ（ｘ、ｙ）が既知である必要があるが、第２画像は被写界深度が拡張されているため、拡張された範囲の被写体距離に対してＰＳＦは一定である。第２画像に対して、均一なぼけに対応する１種類のＰＳＦによる逆畳み込み演算を行うことにより、ａ１からａ２の範囲全てに合焦した参照画像が得られる。尚、逆畳み込みのアルゴリズムはウィーナーフィルタ（Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ）のような既知の手法を用いることが出来る。

このように、第１、第３画像の２枚に加え、広い被写界深度を有する参照画像を用いる事で広範囲の距離計測を行う事が可能となる。

ここで、第１、第３画像及び参照画像の３枚の画像から被写体距離を計測する際には、数７を数８のように３枚用に拡張する。

これにより、３枚以上の画像を用いたＤＦＤが可能となる。しかし、数８のように拡張してしまうと、それぞれ合焦位置の異なる位置で撮影された画像Ｉ１、Ｉ３の結果を足しこむ事となるため、正確な被写体距離を求める際の阻害要因となる。

そこで、本実施形態における被写体距離計測画像選択部１０４では、第２画像の参照画像を用いて被写体距離を計測する際に、第１画像、第３画像のどちらの画像を用いるのが適切かを選択する（ステップＳ１０７）。高精度な被写体距離を求めるため、各画素または領域ごとに、事前に第１画像、第３画像のうち、どちらの画像を用いるのが適切かを選択した上で被写体距離を求める。

被写体距離計測画像選択部１０４では、予め計測済の各フォーカス状態のボケパラメータを参照画像へ畳み込む事で各フォーカス状態における参照画像のボケを表す画像を生成する。そして、撮像部において撮影された複数枚の画像と、各フォーカス状態における参照画像のボケを表す画像との差分値を計算する。さらに、画素または特定領域ごとに差分値の最小値を求め、画素または特定領域ごとにその最小値を持つ１枚の画像を選択し、参照画像と選択された１枚の画像を用いて距離計測を行う。以下その具体例について説明する。

まず、それぞれ参照画像と第１画像Ｉ１、参照画像と第３画像Ｉ３とで数７のように、参照画像Ｒ（ｘ、ｙ）に距離ｄごとのＰＳＦ：ｈを畳み込んだ画像と撮影画像Ｉ１、Ｉ３の差分値を順に計算する。その計算結果を数９のように、それぞれＤ１、Ｄ３に格納する。

図４は近距離に存在する被写体の座標ｘ、ｙ位置における、Ｄ１、Ｄ３それぞれの差分値の例を、横軸をｄとして図示したものである。近距離に存在する被写体の場合は、参照画像Ｒに被写体距離と一致する距離のｈを畳み込んだ画像と、撮影画像が一致する。このため、Ｉ１はＩ３よりも手前側で合焦しており、Ｄ１は図４（ａ）のように手前側で最小値を取り、かつ差分値の勾配変化は大きい。一方でＩ３はＩ１よりも奥側で合焦しており、近距離に存在する被写体は撮影された段階でぼけてしまっているため、Ｄ３は図４（ｂ）のように特定の被写体距離で最小値を取るようなことがなく、差分値の勾配変化は小さくなる。この性質を計測する事で、各画素もしくは領域において被写体計測に好適な画像の選択が可能となる。尚、２枚の画像からの選択について述べたが、複数枚の画像から選択する場合にも同様に、上記の性質を計測し、最も適する画像を選べば良い。また、複数枚の画像の中で最も適する画像が上記の性質を示さない場合には数８のような拡張を行い、被写体距離を計測しても良い。

最後に、被写体距離計測部１０５では、ステップＳ１０６で生成された参照画像と、第１、第３画像を用いステップＳ１０７で生成されたＩｍ（ｘ，ｙ）から、数７に従って距離マップＤ（ｘ、ｙ）を算出する（ステップＳ１０８）。具体的には、ステップＳ１０７で画素単位、あるいは領域単位でどちらの画像を用いるかを、例えば０なら第１画像、１なら第３画像を指し示すような画像選択情報をＩｍ（ｘ、ｙ）へ記録しておき、画素単位、あるいは領域単位でどちらの画像を用いるかを数１０のように変えながら距離マップＤ（ｘ、ｙ）を算出する。これにより、より好適に被写体距離の計測を行う事が可能となる。

以上に示すように、本実施の形態では被写界深度を拡張した参照画像を用いることで、少数の画像から距離計測を高精度に行うことができる。さらに、詳細な被写体距離を計測する前に、画像の画素ごとに被写体計測に適切な画像を選択し、その被写体計測に適切な画像と合焦範囲の広い画像の２枚を用いて被写体距離を計測可能となるため、フォーカス状態が異なる画像間であっても、被写体距離を高精度に計測する事が可能になる。

なお、露光中のフォーカスの変化は標準的なオートフォーカス機構を流用することで実現可能なため、特殊な機構を必要とすることもない。

なお、本実施の形態における撮像部は、光路長がそれぞれ異なるように配置されたｎ個の撮像素子と、光線をｎ個の撮像素子のそれぞれに分割するビームスプリッタを備えてもよい。また、本実施の形態における合焦範囲制御部は、露光中にフォーカス位置を略等速で変化させることで被写界深度を拡張してもよい。

なお、本実施の形態における撮像部は、ｎ個の撮像素子と、光線の光軸方向を変化させる光軸変化手段と、光軸の向きを撮像素子のいずれか１つの方へ向けるための駆動手段を備えても良い。また、本実施の形態における合焦範囲制御部は、露光中にフォーカス位置を略等速で変化させるとともに、駆動手段を所定のパターンで動作させ、光軸方向を変化させてもよい。

（実施の形態２）
以下本発明における実施の形態２について、実施の形態１と同様の内容は省略し説明する。

本実施の形態における画像処理装置及び画像処理方法について、図５を参照しながら説明する。以下、実施の形態１と同じ動作については説明を省略し、異なる動作についてのみ説明を行う。

本実施の形態における画像処理装置２００は、撮像部２０１、合焦範囲制御部２０２、参照画像生成部２０３、被写体距離計測画像選択部２０４、被写体距離計測部２０５、動き量推定部２０６とを有する。なお、本実施の形態では実施の形態１の構成に、新たな構成として動き量推定部２０６が追加される。

動き量推定部２０６では、撮像部２０１で撮影された第１画像と第３画像、参照画像生成部２０３で第２画像から生成された参照画像の３枚の画像間に生じる動き量の推定を行う。

以下、実施形態２の構成を示す図５おける各ブロック間のデータフローについて、実施の形態１の構成との差分について説明する。

撮像部２０１は、第１画像及び第３画像を、動き推定部２０６及び被写体距離計測画像選択部２０４に出力する。

参照画像生成部２０３は、撮像部２０１によって出力された第２画像から、参照画像を生成し、動き推定部２０６及び被写体距離計測画像選択部２０４に出力する。

動き量推定部２０６は、動き量の推定を行い動き量評価値情報として被写体距離計測画像選択部２０４へ出力する。

被写体距離計測画像選択部２０４は、撮像部２０１から出力された第１第３画像及び、参照画像生成部２０３から出力された参照画像及び、動き量推定部２０６から出力された動き量評価値情報とから、画像選択情報を生成する。そして、画像選択情報、動き量評価値情報、参照画像、第１、第３画像とを、被写体距離計測部２０５へ出力する。

ここで、動き量推定部２０６の作用を説明する。画像処理装置２００のように、フォーカス調整機構を制御して順に複数画像を撮影する手法では、画像の撮影タイミングが異なるため、複数画像を撮影している間に被写体が動く場合や、複数画像を撮影している間にカメラが動く場合は、画像間で被写体の位置にずれが生じる。ＤＦＤを用いた被写体距離の計測では、複数のフォーカス状態で撮影された複数の画像間で、同一画素に対するぼけ量の相関値を比較する必要があるが、被写体の位置ずれが生じると、この比較が正確に行えず、計測される被写体距離に誤りが生じる。このように、被写体距離の計測精度は被写体の位置ずれによって低下するため、各画像間で生じた被写体の位置ずれを補正する必要がある。この被写体の位置ずれを推定するのが、動き量推定部２０６である。

本発明の実施の形態２に係る画像処理装置によって、被写界深度を拡張した参照画像と異なるフォーカス状態で撮影された２枚の画像、合計３枚の画像から被写体距離計測を行う処理の流れについて図６に基づいて説明する。なお、被写界深度を拡張する手法として、露光時間中にフォーカスを変化させる方法を用いるものとして説明を行う。以下、図６のステップのうち、図２と同じステップについては同じ符号を用いて説明を省略し、異なるステップを含むステップＳ１０９、ステップＳ１０７について説明を行う。

ステップＳ１０９では被写体の位置ずれを補正するために、動き量推定部２０６にて動き推定を行う。動き量の推定には、ブロックマッチング法を用いることができる。ここで、ブロックマッチング法の処理について図７を用いて説明する。

ブロックマッチング法は、画像間の動き量を特定サイズのブロック領域毎に推定する手法であり、一方の画像（以下、探索元画像と呼ぶ）内に設定したブロック領域の画像と最も相関が高くなる領域を他方の画像（以下、探索先画像と呼ぶ）内から特定することで動き量を推定する。図７に示すように、まず、探索元画像内において複数の画素で構成される注目ブロック領域を設定する。このブロック領域のサイズとしては、８×８画素や１６×１６画素など任意に設定できる。次に、探索先画像内に探索エリアを設定する。この探索エリアは、探索元画像内の注目ブロック領域と最も相関が高くなる領域を探索する範囲を示すものであり、探索元画像内における注目ブロック領域の位置と近い位置に設定することが好ましい。次に、探索元画像内の注目ブロック領域と同じサイズのブロック領域を探索先画像の探索エリア内から切り出し、数１１に基づいて画像の相関を表す評価値ｒｘ，ｙを算出する。

ここで、ｘ，ｙは探索先画像内からブロック領域を切り出した座標位置、（ｘ，ｙ）はブロック領域内の相対的な座標位置、ｆ（ｘ，ｙ）は探索元画像内に設定した注目ブロック領域の画素値、ｇｘ，ｙ（ｘ，ｙ）は探索先画像内から切り出したブロック領域の画素値をそれぞれ表す。探索先画像の探索エリア内からブロック領域を切り出す座標位置ｘ，ｙをずらしながら、数１１に基づく評価値ｒｘ，ｙを算出する。この評価値ｒｘ，ｙは、高ければ高いほど、座標位置ｘ，ｙは正確な位置ずれ量から外れている事を意味する。ブロック領域内のｘ，ｙの中から評価値ｒｘ，ｙが最も小さくなる座標位置を求める。この座標位置と、探索元画像内における注目ブロック領域の座標位置との相対的な位置ずれが画像間の動き量を表す。この処理を探索元画像内の全てのブロック領域に対して行うことにより、画像全体で動き量を推定できる。第１画像と第２画像の参照画像間で推定された動き量をＳｘ１（ｘ，ｙ）、Ｓｙ１（ｘ，ｙ）に格納し、数１１に基づく評価値をｒ１ｘ，ｙに格納する。第３画像と第２画像の参照画像間で推定された動き量をＳｘ３（ｘ，ｙ）、Ｓｙ３（ｘ，ｙ）に格納し、数１１に基づく評価値ｒ３ｘ，ｙに格納する。尚、動き量推定手法としてブロックマッチング法を用いた説明を行ったが、ブロックマッチング法に限定する必要はなく、オプティカルフロー推定などの他の手法を用いても良い。

ステップＳ１０９では、推定された動き量Ｓｘ１（ｘ，ｙ）、Ｓｙ１（ｘ，ｙ）、Ｓｘ３（ｘ，ｙ）、Ｓｙ３（ｘ，ｙ）を用いて各画像間で生じた被写体の位置ずれの補正を行った後に、被写体距離計測を行う。数１０はＳｘ１（ｘ，ｙ）、Ｓｙ１（ｘ，ｙ）、Ｓｘ３（ｘ，ｙ）、Ｓｙ３（ｘ，ｙ）を用いて数１２のように変更され、この数１２を用いて被写体距離計測を行う。

なお、ステップＳ１０７において求められるＩｍ（ｘ，ｙ）は前述のように、数９を用いて計算してもよいし、ステップＳ１０９で算出される評価値ｒ１ｘ，ｙ、ｒ３ｘ，ｙを用いて計算しても良い。

動き量推定部で算出される評価値ｒ１ｘ，ｙ、ｒ３ｘ，ｙを用いて計算する場合は、第１画像と第３画像のぼけ方の違いを利用して、画像選択情報Ｉｍ（ｘ，ｙ）を決定する。既に説明してある通り、第１画像の合焦位置は、第３画像の合焦位置よりも手前に設定しているため、第１画像では手前の距離に位置する被写体は、第３画像と比べ、くっきりと写る。また、手前の距離に位置する被写体は、第２画像から生成される参照画像上でも第１画像と同程度にくっきりと写る。その一方で、第３画像では手前の距離に位置する被写体はぼやけて写る。そのため、手前の距離に位置する被写体上の画素で、ステップＳ１０９のｒ１ｘ，ｙとｒ３ｘ，ｙを計算すると第２画像から生成される参照画像と、第３画像ではぼけ方が異なる分、評価値ｒ３ｘ，ｙはｒ１ｘ，ｙよりも高い値となり、ｒ１ｘ，ｙとｒ３ｘ，ｙの値の差を計測する事により、Ｉｍ（ｘ，ｙ）は決定できる。同様に、遠方の距離に位置する被写体の画素では、ｒ１ｘ，ｙはｒ３ｘ，ｙよりも高い値となるため、ｒ１ｘ，ｙとｒ３ｘ，ｙの値の差を計測する事により、Ｉｍ（ｘ，ｙ）は決定できる。

例えば、画像上のある位置ｘ、ｙにおける評価値が、ある閾値ｓｈを設定した場合に、ｒ３ｘ，ｙ―ｒ１ｘ，ｙ＞ｓｈの関係にある場合には、ｘ、ｙに存在する被写体は手前側にあると考えられるため、Ｉｍ（ｘ，ｙ）＝０として第１画像を指し示す値を記録する。逆にｒ１ｘ，ｙ―ｒ３ｘ，ｙ＞ｓｈの関係にある場合には、ｘ、ｙに存在する被写体は奥側にあると考えられるため、Ｉｍ（ｘ，ｙ）＝１として第３画像を指し示す値を記録する。ｒ１ｘ，ｙとｒ３ｘ，ｙの差がｓｈ未満の場合には、数８のような拡張を行い、被写体距離を計測しても良い。

また、数９と、ステップＳ１０９で算出される評価値ｒ１ｘ，ｙ、ｒ３ｘ，ｙの両方を用いて計算しても良い。両方用いる場合は、画像上のある位置ｘ、ｙの被写体が手前側、もしくは、奥側に存在する事を数９と、ステップＳ１０９で算出される評価値ｒ１ｘ，ｙ、ｒ３ｘ，ｙが共に指し示している場合にＩｍ（ｘ，ｙ）＝０もしくはＩｍ（ｘ，ｙ）＝１として記録すると良い。

このように、動き量推定部２０６を用いて各画像間で生じた被写体の位置ずれを推定する事で、複数のフォーカス状態で撮影された画像で被写体の位置ずれを抑え、被写体距離を計測する事が可能となる。

本発明に係る画像処理装置および画像処理方法は、被写体の動きや撮影方向の変化が生じる場合でも、複数のフォーカス状態で撮影された複数の撮影画像から被写体距離を高精度に計測することを可能にする。これらの構成は、例えば民生用もしくは業務用の撮像装置（デジタルスチルカメラ、ビデオカメラ）などの分野において有用である。

１０１，２０１ 撮像部
１０２，２０２ 合焦範囲制御部
１０３，２０３ 参照画像生成部
１０４，２０４ 被写体距離計測画像選択部
１０５，２０５ 被写体距離計測部
２０６ 動き量推定部

Claims (9)

1. 複数のフォーカス状態で撮影された複数の撮影画像から被写体距離を計測する画像処理装置であって、
   複数のフォーカス状態で画像をｎ枚（ただし、ｎ≧２）撮影する撮像部と、
   前記撮像部の合焦位置および被写界深度を変化させる合焦範囲制御部と、
   前記撮像部によって撮影される複数のフォーカス状態の全てにおける合焦範囲を有する第一の参照画像を生成する参照画像生成部と、
   前期ｎ枚の画像のうち、被写体までの距離を計測するのに用いる距離計測用画像を選択する被写体距離計測画像選択部と、
   前記距離計測用画像および前記第一の参照画像のぼけの度合いから被写体までの距離を計測する距離計測部とを備える、
   ことを特徴とする画像処理装置。
2. 前記画像処理装置は、
   さらに前記距離計測用画像と前記第一の参照画像間の動き量を推定する動き量推定部を備える、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記距離計測用画像と前記第一の参照画像間で生じた前記動き量を打ち消すように補正し、前記距離計測用画像と前記第一の参照画像での画素位置を合わせた状態で、前記距離計測用画像および前記第一の参照画像のぼけの度合いから被写体までの距離を計測する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体距離計測画像選択部は、
   予め計測済の各フォーカス状態のボケパラメータを前記第一の参照画像へ畳み込む事で各フォーカス状態における前記第一の参照画像のボケを表す第二の参照画像を生成し、
   前記撮像部において撮影されたｎ枚の画像と前記第二の参照画像との差分値を計算し、
   画素または特定領域ごとに前記差分値の最小値を求め、
   画素または特定領域ごとに前記最小値を持つ１枚の画像を選択し、
   前記第一の参照画像と前記選択された１枚の画像を用いて距離計測を行う、
   ことを特徴とする請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記被写体距離計測画像選択部は、
   前記動き量を求める際の評価値を基準に、ｎ枚のぼけ画像群から被写体計測用に用いる画像を選択する、
   ことを特徴とする請求項２または請求項３に記載の画像処理装置。
6. 前記被写体距離計測画像選択部は、
   前記撮像部で撮影されたｎ枚の画像のうち、画像選択時に特定領域または画素単位で被写体距離を計測するための画像を選択する、
   ことを特徴とする請求項４または請求項５に記載の画像処理装置。
7. 前記撮像部は、光路長がそれぞれ異なるように配置されたｎ個の撮像素子と、光線を前記ｎ個の撮像素子のそれぞれに分割するビームスプリッタを備え、
   前記合焦範囲制御部は、露光中にフォーカス位置を略等速で変化させることで被写界深度を拡張する、
   ことを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
8. 前記撮像部は、ｎ個の撮像素子と、光線の光軸方向を変化させる光軸変化手段と、前記光軸の向きを前記撮像素子のいずれか１つの方へ向けるための駆動手段を備え、
   前記合焦範囲制御部は、露光中にフォーカス位置を略等速で変化させるとともに、前記駆動手段を所定のパターンで動作させ、光軸方向を変化させる、
   ことを特徴とする請求項１から請求項６のいずれかに記載の画像処理装置。
9. 複数のフォーカス状態で撮影された複数の撮影画像から被写体距離を計測するステップと、
   複数のフォーカス状態で画像をｎ枚（ただし、ｎ≧２）撮影するステップと、
   合焦位置および被写界深度を変化させるステップと、
   複数のフォーカス状態の全てにおける合焦範囲を有する第一の参照画像を生成するステップと、
   前期ｎ枚の画像のうち、被写体までの距離を計測するのに用いる距離計測用画像を選択するステップと、
   前記距離計測用画像および前記第一の参照画像のぼけの度合いから被写体までの距離を計測するステップとを有する、
   画像処理方法。

Images