JP5868183B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、被写体と撮像装置との間の距離を撮像画像より計測する撮像装置又は撮像方法に関するものである。

被写体と撮像装置との間の距離を撮影画像より計測する従来の方法としては、観測された画像のボケを使って距離を推定する、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）という方法が一般的に知られている（例えば、非特許文献１参照）。非特許文献１で提案されているＤＦＤの手法（以下、「Ｐｅｎｔｌａｎｄらの方法」という。）は、画像のエッジに着目し、１枚又は２枚のボケを含んだ観測画像からそのボケ量を推定し、そのボケ量から被写体との距離を推定している。しかし、この方法では被写体の画像のエッジ情報が予め必要であり、通常の撮像装置の観測画像ではレンズによるボケが発生するため、安定かつ高精度に距離情報を推定することが困難である。

一方、特許文献１で提案されている距離計測装置は、Ｐｅｎｔｌａｎｄらの方法の課題であるボケによる距離計測の不安定さを改善するため、多重フォーカスカメラ及び符号化開口を用いている。図１３は特許文献１で用いている多重フォーカスカメラ、図１３はその符号化開口（光学絞り）の例を示している。特許文献１では、図１３の多重フォーカスカメラで焦点位置、すなわちボケ方の異なる３枚の画像を同時に撮影し、各画像間のボケ方の差異から被写体との距離を推定する。ここで、多重フォーカスカメラの絞り（図１３のレンズ１９の左側に配置）を図１４の形状にすると、ボケの周波数特性のゲインはコサイン関数の絶対値となり、通常の円形瞳形状の場合のボケの周波数特性（ＬＰＦ（ローパスフィルタ））に比べて特徴的な、すなわち画像間の少しのボケの差でも検出しやすい特性をもつことが分かっている。この特性により、特許文献１によるとＰｅｎｔｌａｎｄらの方法に比べ、安定かつ高精度に被写体との間の距離を撮影映像より推定することができる。

特許第２９６３９９０号公報

A. P. Pentland: "A new sense for depth of field", IEEE Transaction on Pattern Analysis and Machine Intelligence, 9, 4, pp. 523-531 (1987). H. Nagahara, S. Kuthirummal, C. Zhou, and S. Nayar, "Flexible depth of field photography,"in Proc. European Conference on Computer Vision, vol. 4, 2008, pp. 60-73

しかしながら、特許文献１の方法には次の３つの課題がある。

１．複雑なカメラ構成
焦点位置の異なる３枚の画像を同時に撮影するため、図１３のように３つの撮像センサ２３〜２５及び分光プリズム２０、２１を用いており、装置が大型化しかつ高精度な調整が必要となる。この特性は商品のコスト面からコンシューマー向けカメラには大きな課題となる。また、３つのカメラの焦点位置は固定となるため、測定対象の画像倍率（ズーム率）や測定レンジを動的に変更することが困難で、カメラとしての利用シーンに制限が発生してしまう。

２．光量の減少
被写体の距離によるボケ方の差を顕著にするために図１４のような形状の符号化絞りを用いているが、図１４から明らかなように、この符号化絞りでは開口を絞り込む必要があり、必然的に撮像面に結像する光線の光量が開放絞りに対して大きく減少してしまう。すなわち、カメラとしての撮影感度が大きく低下してしまう。

３．演算コストがかかる
距離推定のために、焦点距離の異なる３枚の画像から（式１）に示す評価関数を作り、距離の値（ｖ）を変えながら評価関数を繰り返し演算し、評価関数の最小化を行なっている。このような推定型の繰り返し演算は一般的に演算コストがかかるため、特にコンシューマー向けカメラでは評価関数を使わずに確定的に距離が算出できるような演算方法が望ましい。

本発明は、前記従来の課題を解決するもので、簡易なカメラ構成で、光量を損なわずに、少ない演算コストで、複数の撮影画像から被写体との距離マップを生成する撮像装置を提供することを目的とする。

前記従来の課題を解決するために、本発明のある局面に係る撮像装置は、被写体の画像から、撮像装置から前記被写体までの距離を示す距離マップを生成する撮像装置であって、撮像面で受光した光を画素毎に電気信号に変換して出力するイメージセンサと、前記イメージセンサの光軸方向の位置を任意に変更するセンサ駆動部と、前記イメージセンサで撮影された画像を取得し、取得した画像を保持する画像取得部と、互いに異なる撮像位置の複数の画像を撮影するように、前記センサ駆動部及び前記画像取得部の動作を制御するセンサ駆動制御部と、前記画像取得部が取得した画像のうちの一の画像から、当該一の画像の全領域にわたり合焦している全焦点画像を生成する全焦点画像生成部と、前記画像取得部で取得した画像のうちの他の画像と前記全焦点画像生成部で生成した全焦点画像から、前記他の画像の各画像領域でのボケ量を算出するボケ量算出部と、前記ボケ量算出部が算出した前記他の画像の各画像領域のボケ量と、レンズの焦点距離を含む前記撮像装置の光学的係数値とから、各画像領域における前記撮像装置と前記被写体との距離を算出し、算出した前記距離を各画像領域における画素値で示す距離マップを生成する距離マップ生成部とを備える。

本構成によると、一の画像からボケのない全焦点画像を生成することにより他の画像のボケ量を直接的に求めることができるため、従来例で挙げたＰｅｎｔｌａｎｄらの方法と比較すると、エッジ情報など被写体の先験的情報がなくとも距離推定が可能であり、かつ安定して距離推定を行うことができる。

また、特許文献１と比較すると、異なる焦点位置の画像を取得するのに１つのイメージセンサで済むためカメラ構成を簡素化することができ（イメージセンサ駆動部は振動によるホコリ除去装置等、コンシューマー向けカメラにも一般的に導入されている）、全焦点画像が直接的に得られるためにボケ画像同士を安定に比較するための符号化絞りが不要で光量の減少が発生しない。

また、他の画像と全焦点画像とのデコンボリューション処理（逆畳み込み）によりボケ量が直接求まるため、評価関数による繰り返し演算が不要となり演算コストを抑えることができる。

なお、本発明は、このような特徴的な処理部を備える撮像装置として実現することができるだけでなく、撮像装置に含まれる特徴的な処理部が実行する処理をステップとする撮像方法として実現することができる。また、撮像方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な不揮発性の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明の撮像装置によれば、簡易なカメラ構成で、光量を損なわずに、少ない演算コストで、複数の撮影画像から被写体との距離マップを生成することができる。

図１は、本発明の実施の形態における撮像装置の構成を示すブロック図である。 図２は、本発明の実施の形態における距離算出処理の動作を示すフローチャートである。 図３は、本発明の実施の形態において各撮像位置でのボケの大きさを幾何学的に説明する図である。 図４は、本発明の実施の形態において撮影する３枚の撮像画像の撮像位置の遷移の説明図である。 図５は、本発明の実施の形態において撮像装置と被写体との距離を算出する単位となる画像領域を示す説明図である。 図６（ａ）および（ｂ）は、本発明の実施の形態における撮影画像（近端画像）Ａの例を示す図である。 図７（ａ）および（ｂ）は、本発明の実施の形態における撮影画像（スイープ画像）Ｂの例を示す図である。 図８（ａ）および（ｂ）は、本発明の実施の形態における撮影画像（遠端画像）Ｃの例を示す図である。 図９（ａ）および（ｂ）は、本発明の実施の形態におけるスイープ画像から生成した全焦点画像Ｄの例を示す図である。 図１０は、本発明の実施の形態において生成した距離マップの例を示す図である。 図１１は、近端画像と全焦点画像とを用いて焦点距離を算出する（式９）を説明する図である。 図１２は、本発明の実施の形態における、マイクロコンピュータを備える撮像装置の構成の一例を示すブロック図である。 図１３は、従来の距離測定装置で用いている多重フォーカスカメラの例を示す図である。 図１４は、従来の距離測定装置における符号化開口の例を示す図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における撮像装置のブロック図を示したものである。

図１において、撮像装置は、イメージセンサ１１と、センサ駆動部１２と、センサ駆動制御部１３と、画像取得部１４と、全焦点画像生成部１５と、ボケ量算出部１６と、距離マップ生成部１７とを備える。撮像装置の構成のうち、ワンチップの集積回路に実装可能な構成要素を破線で囲んで示すが、画像取得部１４はメモリであるので前記集積回路に対して別体としても良い。また、撮像装置の構成のうち、プログラムで実現可能な構成要素を一点鎖線で囲んで示す。

イメージセンサ１１はＣＭＯＳ、ＣＣＤ等であり、撮像面で受光した光を画素毎に電気信号に変換して出力する。センサ駆動部１２は後述のセンサ駆動制御部１３からの制御により、リニアモーターや圧電素子等を用いてイメージセンサ１１の光軸方向の位置を任意に変更する。センサ駆動制御部１３は互いに異なる焦点位置の複数の画像を撮影するように、センサ駆動部１２及び後述の画像取得部１４の動作タイミング等を制御する。画像取得部１４はセンサ駆動制御部１３からの制御信号に応じたタイミングで、イメージセンサ１１で撮影された画像を取得し、取得した画像を保持する。全焦点画像生成部１５は画像取得部１４が取得した画像のうち、一の画像（例えば、スイープ画像）から、当該一の画像の全領域にわたり合焦している全焦点画像を信号処理により生成する。ボケ量算出部１６は画像取得部１４で取得した特定の焦点距離の画像（他の画像、例えば、近端画像または遠端画像）と全焦点画像生成部１５で生成した全焦点画像とから、当該他の画像の各画像領域でのボケ量を信号処理により算出する。距離マップ生成部１７はボケ量算出部１６が算出した前記他の画像の各画像領域のボケ量と、焦点距離を含む撮像装置の光学的係数値とにより、各画像領域において本装置と被写体との距離を算出し、各画像領域における画素値が算出した前記距離を示す距離マップを生成する。

以下、本装置により撮像装置と被写体との距離を計測する処理手順を、図２から図５を使って説明する。図２は処理のフローチャートを、図３は各撮像位置でのボケの大きさの幾何的説明を、図４は本撮像装置で撮影する３枚の撮像画像の撮像位置の遷移を、図５は距離を算出のための画像領域の分割を示したものである。

処理の概略は、イメージセンサ１１を移動しながら撮影した画像（以下、「スイープ画像」という。）から全焦点画像を生成し、その全焦点画像と、撮像位置、つまりボケ方の異なる２種類の画像から各画像領域でのボケ量を推定し、そのボケ量から各画像領域における撮像装置と被写体との距離を算出するものである。以下、図２を中心に順を追って処理の詳細を説明する。

処理は、大きくは「（１）画像取得ステップ」、「（２）全焦点画像取得ステップ」及び「（３）距離算出ステップ」より構成される。

（１）画像取得ステップにおいては、画像取得部１４が、撮像位置の異なる３枚の画像を取得する。

まず、ステップＳ１で、センサ駆動制御部１３がセンサ駆動部１２を制御し、イメージセンサ１１を位置１に移動させる。移動が完了した後、ステップＳ２で、画像取得部１４が、図３の被写体３１の近端側に合焦した画像Ａを取得し保持する。図６（ａ）は、画像Ａの一例を示す図であり、図６（ｂ）は図６（ａ）に示した画像Ａの一部を拡大した図である。図６（ａ）及び図６（ｂ）からも分かるように、撮像装置に近い位置にある湯呑み茶碗に合焦していることが分かる。

次にステップＳ３では、イメージセンサ１１の撮像中に、イメージセンサ１１が位置１から位置２に等速に移動するように、センサ駆動制御部１３がセンサ駆動部１２を制御し、画像取得部１４がスイープ画像Ｂを取得し保持する。図７（ａ）は、画像Ｂの一例を示す画像であり、図７（ｂ）は図７（ａ）に示した画像Ｂの一部を拡大した図である。

最後にステップＳ４では、画像取得部１４がステップＳ３で移動が完了した位置２で被写体３１の遠端側に合焦した画像Ｃを取得し、保持する。図８（ａ）は、画像Ｃの一例を示す画像であり、図８（ｂ）は図８（ａ）に示した画像Ｃの一部を拡大した図である。図８（ａ）及び図８（ｂ）からも分かるように、撮像装置から遠い位置にある植木鉢に合焦していることが分かる。

（２）次に、全焦点画像生成ステップＳ５においては、全焦点画像生成部１５が、画像取得ステップで取得したスイープ画像Ｂから全焦点画像Ｄを生成する。図９（ａ）は、画像Ｄの一例を示す画像であり、図９（ｂ）は図９（ａ）に示した画像Ｄの一部を拡大した図である。図９（ａ）及び図９（ｂ）からも分かるように、全ての画素において合焦していることが分かる。

非特許文献２に開示されているように、イメージセンサを等速で移動することにより得たスイープ画像は全画像領域で均一にボケた画像となり、言い換えれば被写体と撮像装置との距離によらず（Ｄｅｐｔｈ Ｉｎｖａｒｉａｎｔ）、各画像領域で均一のボケが得られる。ここで、イメージセンサをスイープすることにより撮影画像に畳み込まれるボケ関数をＩＰＳＦとすると、ＩＰＳＦは例えば非特許文献２に記載されている（式７）のように、被写体との距離によらず、イメージセンサの移動距離及びレンズモデルにより一意に決定される。そこで、スイープ画像Ｂのフーリエ変換をＩ_sweep、ボケ関数ＩＰＳＦのフーリエ変換をＨ_ipとすると、ボケのない全焦点画像のフーリエ変換Ｉ_aifは（式２）より求めることができる。

（式２）の右辺は被写体との距離に関わらず一定であり、すなわち、スイープ画像ＢをＤｅｐｔｈ Ｉｎｖａｒｉａｎｔなボケ関数ＩＰＳＦでデコンボリューションすることにより、ボケを除去した全焦点画像Ｃを生成することができる。

（３）距離算出ステップでは、撮影した画像の部分領域毎のボケ径（ボケ量）を求め、そのボケ径から被写体との距離を画像領域毎に算出する。まず撮影した画像からボケ径を求める方法を、図３を使って説明する。図３は、被写体と撮像装置の光学系との位置関係を示す図である。図３は、被写体３１、絞り３２、レンズ３３、位置１でのイメージセンサ３４の配置、位置２でのイメージセンサ３５の配置をそれぞれ表している。

図３において、被写体３１はレンズ３３の主点位置から距離ｕに配置され、イメージセンサ３４はレンズの主点位置から距離ｖの位置１に配置されている。被写体３１より到来する光線はレンズ３３を通過し位置１に配置されたイメージセンサ３４に結像される。この時、観測された画像Ａのフーリエ変換Ｉ_Aは、被写体３１の画像のフーリエ変換Ｉ_puにレンズ３３の伝達関数Ｇｌを掛けたものとなり、（式３）で表現できる。

（式３）において、伝達関数Ｇｌはボケの成分を意味し、被写体３１の画像のフーリエ変換Ｉ_puはボケのない被写体３１の光線そのものを意味するため、Ｉ_puの代わりに（式２）で求めた全焦点画像のフーリエ変換Ｉ_aifを使うことがきる。そこで、伝達関数Ｇｌは（式３）を変形し、撮影画像Ａのフーリエ変換Ｉ_Aを全焦点画像のフーリエ変換Ｉ_aifでデコンボリューションすることにより求めることができる（式４）。

一方、前記伝達関数Ｇｌを逆フーリエ変換したものがレンズのＰＳＦ（点像分布関数）となるが、例えばレンズのＰＳＦモデルを一般的なＧａｕｓｓｉａｎ ＰＳＦと仮定すると、レンズのＰＳＦは（式５）で表現できる。

ここで、ｒはＰＳＦ中心からの距離、ｄ₁は位置１におけるボケ径、ｇは定数である。（式５）より、被写体３１の距離ｕ、イメージセンサ３４の距離ｖの時のＰＳＦの形状はボケ径ｄとＰＳＦ中心からの距離ｒにより一意に決定されることが分かる。（式５）の左辺のＰＳＦは、（式４）で求めた伝達関数Ｇｌを逆フーリエ変換することにより求まるため、（式５）より、ｒ＝０つまり左辺のＰＳＦのピーク強度からボケ径ｄ₁を算出することができる。

通常の撮影画像では、撮像装置からの距離が被写体毎に異なるため、（式５）よりイメージセンサ３４に結像する際のＰＳＦも結像する画像領域の位置毎に異なる。そのため、イメージセンサ３４より得られた画像を予め複数の領域に分割し、ブラックマン窓等の窓関数処理を施して切り出した後、領域毎に前記のボケ径算出処理を行う。

図５は切り出す画像領域を説明した図であり、領域（ｉ，ｊ）の画像切り出し位置５１と、領域（ｉ，ｊ＋１）の画像切り出し領域５２とを表している。ボケ量算出部１６及び距離マップ生成部１７は、図５のように、画像をオーバーラップしながら順番に切り出し、切り出した領域単位で処理を行う。以下、各領域での処理を順番に説明する。

ステップＳ６では、ボケ量算出部１６が、画像取得ステップで取得した画像Ａと、全焦点画像生成ステップで生成した全焦点画像Ｄの、それぞれ対応する領域（ｉ，ｊ）を窓関数処理して切り出し、切り出した領域のフーリエ変換Ｉ_A(i,j)、Ｉ_aif(i,j)を（式４）及び（式５）に代入することにより、領域（ｉ，ｊ）におけるイメージセンサ１１の位置１でのボケ径ｄ_1(i,j)を算出する。

同様に、ステップＳ７では、ボケ量算出部１６が、画像取得ステップで取得した画像Ｃと、全焦点画像生成ステップで生成した全焦点画像Ｄの、それぞれ対応する領域（ｉ，ｊ）を窓関数処理して切り出し、切り出した領域のフーリエ変換Ｉ_C(i,j)、Ｉ_aif(i,j)を（式４）及び（式５）に代入することにより、領域（ｉ，ｊ）におけるイメージセンサ１１の位置２でのボケ径ｄ_2(i,j)を算出する。

ステップＳ８では、距離マップ生成部１７が、ステップＳ６及びＳ７で求めたボケ径ｄ_1(i,j)、ｄ_2(i,j)より画像領域（ｉ，ｊ）に写っている被写体が合焦している焦点位置ｖ_(i,j)を算出する。ｄ_1(i,j)とｄ_2(i,j)とｖ_(i,j)の幾何的関係は図４に示した通りであり、イメージセンサ１１の位置１とレンズ主点との距離ｐ₁及びイメージセンサ１１の位置２とレンズ主点との距離ｐ₂より、（式６）で求めることができる。

ステップＳ９では、距離マップ生成部１７が、ステップＳ８で求めたｖ_(i,j)から画像領域（ｉ，ｊ）に写っている被写体とレンズ主点との距離ｕ_(i,j)を求める。レンズの焦点距離をｆ_Lとすると、（式７）のガウスの公式より、ｕ_(i,j)を求めることができる。

レンズ主点の位置を撮像装置の位置とみなすと、画像領域（ｉ，ｊ）に写っている被写体と撮像装置との距離はｕ_(i,j)となる。

ボケ量算出部１６及び距離マップ生成部１７は、前記ステップＳ６からＳ９を、全画像領域、すなわちｉ＝０〜ｍ、ｊ＝０〜ｎについて処理することにより全画像領域での距離、すなわち距離マップを生成することができる。図１０は、図６、図７及び図９にそれぞれ示した画像Ａ、画像Ｂ及び画像Ｄを用いて生成した距離マップの一例を示す図である。図１０では、各画素の輝度値により、撮像装置から被写体までの距離を示しており、輝度値が大きいほど（白いほど）、撮像装置に近い位置に被写体があることを意味し、輝度値が小さいほど（黒いほど）、撮像装置から遠い位置に被写体があることを意味している。例えば、湯呑み茶碗のほうが植木鉢よりも白っぽく表示されているため、撮像装置に近い位置にあることが分かる。

かかる構成によれば、イメージセンサ１１を移動させながら撮影したスイープ画像から全焦点画像が生成される。また、その全焦点画像と、スイープ前後の被写体の遠端側及び近端側の撮像位置で撮影した２種類の画像をそれぞれ対応する画像領域毎にデコンボリューションすることにより各画像領域でのボケ量が推定される。さらに、そのボケ量から各画像領域における撮像装置と被写体との距離が算出される。このことにより、従来例のように特殊な絞りで光量を絞り込むことによる感度の劣化や、最適解を探索するための繰り返し演算を行うことなく、被写体との距離マップを生成することができる。

以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、本実施の形態において、ボケ量を推定するためのレンズのＰＳＦモデルとして（式５）のようなガウシアンモデルを用いたが、特性が予め既知で、かつ実際の撮像装置の特性を反映したモデルであればガウシアンモデル以外でもよく、例えば、一般的によく知られているピルボックス関数でもよい。また、ボケ量を数式モデルとして定義せず、焦点位置を段階的に移動させてあらかじめＰＳＦ特性を測定してデータベース化しておき、そのデータベースの値を参照しながらボケ量を推定するという構成をとることもできる。

なお、ボケ量を推定するためのレンズのＰＳＦモデルとしてピルボックス関数を用いる場合では、ＰＳＦモデルは以下の（式８）のような式で表される。ここで、ｒはＰＳＦ中心からの距離、ｄ₁は位置１におけるボケ径である。このように、（式８）を用いても、被写体３１の距離ｕ、イメージセンサ３４の距離ｖの時のＰＳＦの形状は、ボケ径ｄ₁とＰＳＦ中心からの距離ｒにより一意に決定される。

また、上記実施の形態では、イメージセンサ１１の位置１でのボケ径ｄ_1(j,j)と、領域（ｉ，ｊ）におけるイメージセンサ１１の位置２でのボケ径ｄ_2(i,j)との２つから、被写体とレンズ主点との距離ｕ_(i,j)を（式６）で求めた。しかし、本発明はこれに限定されず、位置１または位置２の一方でのボケ径を用いて焦点距離を算出するとしてもよい。例えば、位置１でのボケ径から焦点距離ｖ_(i,j)を算出する例について以下に説明する。図１１は、位置１におけるボケ径を用いて焦点距離ｖ_(i,j)を算出する式を説明する図である。この場合、位置１でのボケ径ｄ_{１（ｉ，ｊ）}から焦点距離ｖ_(i,j)を算出する式は、（式９）となる。ここで、（式９）において、Ｄはレンズの開口径である。

また、本実施の形態では、異なる焦点位置の画像を撮影するために、センサを駆動して結像位置を変化させているが、センサの代わりにレンズ側を動かしてもよい。具体的には本実施の形態のセンサ駆動部及びセンサ制御部を、レンズ駆動部及びレンズ制御部に変更し、異なる焦点位置の画像を取得するようにレンズを移動するという構成をとることもできる。

また、本実施の形態では、図３のようにレンズが１枚で結像する構成について説明したが、複数枚のレンズより構成される組みレンズを使ってもよい。その場合は、予め設計時に既知である組みレンズの主点位置を使って、本実施の形態のとおりに距離を算出することができる。

また、本実施の形態において用いているレンズについて、イメージセンサ１１の像側について光線を平行に結像する特性をもつ像側テレセントリックを用いてもよい。この場合、イメージセンサ又はレンズを移動してもイメージセンサに結像する像の増倍率が焦点位置によって変化しないため、スイープ画像Ｂの画像を理想的なボケ状態で撮影することができる。すなわち、全焦点画像生成部においてより良好な特性で全焦点画像Ｄを生成でき、ひいては距離マップの生成の特性もより良好にすることができる。

また、上記した撮像装置の一部は、ＣＰＵと画像メモリとを備えるマイクロコンピュータにより実現されていても良い。

図１２は、マイクロコンピュータを備える撮像装置の構成の一例を示すブロック図である。

撮像装置は、イメージセンサ１１と、センサ駆動部１２と、マイクロコンピュータ６０とを備える。なお、イメージセンサ１１の前面には被写体３１からの光を集光するためのレンズ３３が設けられる。

マイクロコンピュータ６０は、ＣＰＵ６４と、画像メモリ６５とを備える。

ＣＰＵ６４は、マイクロコンピュータ６０を、図１に示したセンサ駆動制御部１３と、画像取得部１４と、全焦点画像生成部１５と、ボケ量算出部１６、距離マップ生成部１７として機能させるためのプログラムを実行する。つまり、ＣＰＵ６４は、図２に示したフローチャートの各ステップの処理のプログラムを実行する。なお、画像メモリ６５には、画像取得部１４で取得された画像が保持される。

さらに、上記の撮像装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

さらにまた、上記の撮像装置を構成する構成要素の一部又は全部は、撮像装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしても良い。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしても良い。

また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。

さらに、本発明は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な不揮発性の記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの不揮発性の記録媒体に記録されている上記デジタル信号であるとしても良い。

また、本発明は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。

また、上記プログラム又は上記デジタル信号を上記不揮発性の記録媒体に記録して移送することにより、又は上記プログラム又は上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明にかかる撮像装置は、撮像画像から高精度に距離マップを生成するという特徴を有しており、離れた位置から被写体の形状を容易に測定するレンジファインダとして利用することができる。また生成した全焦点画像から距離マップから左右の視差画像を生成することにより、立体映像を生成する、すなわち３Ｄカメラとして利用することもできる。

１１ イメージセンサ
１２ センサ駆動部
１３ センサ駆動制御部
１４ 画像取得部
１５ 全焦点画像生成部
１６ ボケ量算出部
１７ 距離マップ生成部
３１ 被写体
３２ 絞り
３３ レンズ
３４ 位置１でのイメージセンサ
３５ 位置２でのイメージセンサ
５１ 画像領域（ｉ，ｊ）の切り出し範囲
５２ 画像領域（ｉ，ｊ＋１）の切り出し範囲
６０ マイクロコンピュータ
６４ ＣＰＵ
６５ 画像メモリ

Claims (8)

1. 被写体の画像から、撮像装置から前記被写体までの距離を示す距離マップを生成する撮像装置であって、
   レンズを通して撮像面で受光した光を画素毎に電気信号に変換して出力するイメージセンサと、
   前記イメージセンサの光軸方向の位置を任意に変更するセンサ駆動部と、
   前記イメージセンサで撮影された画像を取得し、取得した画像を保持する画像取得部と、
   互いに異なる撮像位置の複数の画像を撮影するように、前記センサ駆動部及び前記画像取得部の動作を制御するセンサ駆動制御部と、
   前記画像取得部が取得した画像の中のスイープ画像から、当該スイープ画像の全領域にわたり前記レンズの焦点が合焦している全焦点画像を生成する全焦点画像生成部と、
   前記画像取得部で取得した画像の中の他の画像と前記全焦点画像とから、前記他の画像の各画像領域での前記レンズによるボケ量を算出するボケ量算出部と、
   前記ボケ量算出部が算出した前記他の画像の各画像領域のボケ量と、前記レンズの焦点距離を含む前記撮像装置の光学的係数値とから、各画像領域における前記撮像装置と前記被写体との距離を算出し、算出した前記距離を各画像領域における画素値で示す距離マップを生成する距離マップ生成部とを備え、
   前記スイープ画像は、前記レンズの焦点距離を前記被写体の近端から遠端まで連続して移動させながら露光して撮影した画像であり、
   前記他の画像は、前記被写体の近端に前記レンズの焦点を定めた近端画像または前記被写体の遠端に前記レンズの焦点を定めた遠端画像であり、
   前記センサ駆動制御部は、前記画像取得部が、前記近端画像、前記スイープ画像、前記遠端画像の順に連続的に３枚の画像を取得するように、前記センサ駆動部及び前記画像取得部を制御する、
   撮像装置。
2. 前記イメージセンサの像側に配置された光学系は、スイープしても像の大きさが変わらない像側テレセントリック性の光学特性を有する
   請求項１記載の撮像装置。
3. 前記ボケ量算出部は、前記イメージセンサの像側に配置された光学系の特性を、ガウシアンモデルと仮定して、各画像領域のボケ量を算出する
   請求項１記載の撮像装置。
4. 前記ボケ量算出部は、前記イメージセンサの像側に配置された光学系の特性を、ピルボックスモデルと仮定して、各画像領域のボケ量を算出する
   請求項１記載の撮像装置。
5. 前記ボケ量算出部は、前記イメージセンサの前段に配置された光学系の特性を、予め実測した前記光学系のＰＳＦ（点像分布関数）特性と仮定して、当該ＰＳＦ特性に基づいて、各画像領域のボケ量を算出する
   請求項１記載の撮像装置。
6. 撮像装置において、レンズを通して受光した光に基づいて撮影された被写体の画像から、当該撮像装置から前記被写体までの距離を示す距離マップを生成する撮像方法であって、
   互いに異なる撮像位置で撮影された複数の画像を取得する画像取得ステップと、
   前記複数の画像の中のスイープ画像から、当該スイープ画像の全領域にわたり前記レンズの焦点が合焦している全焦点画像を生成する全焦点画像生成ステップと、
   前記複数の画像の中の他の画像と前記全焦点画像とから、前記他の画像の各画像領域での前記レンズによるボケ量を算出するボケ量算出ステップと、
   前記他の画像の各画像領域のボケ量と、前記レンズの焦点距離を含む前記撮像装置の光学的係数値とから、各画像領域における前記撮像装置と前記被写体との距離を算出し、算出した前記距離を各画像領域における画素値で示す距離マップを生成する距離マップ生成ステップとを含み、
   前記スイープ画像は、前記レンズの焦点距離を前記被写体の近端から遠端まで連続して移動しながら露光して撮影した画像であり、
   前記他の画像は、前記被写体の近端に前記レンズの焦点を定めた近端画像または前記被写体の遠端に前記レンズの焦点を定めた遠端画像であり、
   前記センサ駆動制御部は、前記画像取得部が、前記近端画像、前記スイープ画像、前記遠端画像の順に連続的に３枚の画像を取得するように、前記センサ駆動部及び前記画像取得部を制御する、
   撮像方法。
7. 請求項６記載の撮像方法に含まれる各ステップをコンピュータに実行させるための、非一時的なコンピュータ読み取り可能な記録媒体に記録されたプログラム。
8. 請求項１記載の撮像装置に備えられる画像取得部、全焦点画像生成部、ボケ算出部および距離マップ生成部を実装した集積回路。

Images