JP4150506B2

JP4150506B2 - Image capturing apparatus and distance measuring method

Info

Publication number: JP4150506B2
Application number: JP2001036761A
Authority: JP
Inventors: 修司小野
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2000-02-16
Filing date: 2001-02-14
Publication date: 2008-09-17
Anticipated expiration: 2021-02-14
Also published as: JP2001304821A

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体の奥行き距離に関する情報を取得する画像撮像装置及び距離測定方法に関する。特に本発明は、光が照射された被写体から得られる出射光を撮影して被写体の奥行きに関する情報を取得する画像撮像装置及び距離測定方法に関する。
【０００２】
【従来の技術】
物体までの距離情報や物体の位置情報を得るために、物体にスリットや縞模様などのパターン光を投影し、物体に投影されたパターンを撮影して解析する三次元画像計測の手法が知られている。代表的な計測手法として、スリット光投影法（別名、光切断法）、コード化パターン光投影法などがあり、井口征士、佐藤宏介著『三次元画像計測』（昭晃堂）に詳しい。
【０００３】
特開昭６１−１５５９０９号公報（公開日昭和６１年７月１５日）及び特開昭６３−２３３３１２号公報（公開日昭和６３年９月２９日）には、異なる光源位置から被写体に光を照射し、被写体からの反射光の強度比に基づいて、被写体までの距離を測定する距離測定装置及び距離測定方法が開示されている。
【０００４】
特開昭６２−４６２０７号公報（公開日昭和６２年２月２８日）には、位相の異なる２つの光を被写体に照射し、被写体からの反射光の位相差に基づいて、被写体までの距離を測定する距離検出装置が開示されている。
【０００５】
また、河北他「三次元撮像装置Axi-Vision Cameraの開発」（３次元画像コンファレンス９９、1999年）には、投影光に超高速の強度変調を加え、強度変調光で照明された被写体を高速シャッター機能を備えたカメラで撮影し、被写体までの距離によって変化する強度変調度合いから、距離を測定する方法が開示されている。
【０００６】
【発明が解決しようとする課題】
従来の光投影法による計測手法は、３角測量の原理に基づいて、投影パターンが投影された被写体の領域までの距離を測定する。したがって、距離測定の高い分解能を得るためには、原理的に投影光学系と撮影光学系を十分に離して配置する必要があり、測定装置の大型化が避けられないという問題が生じていた。また、投影光学系と撮影光学系の光軸が離れているために、撮影光学系から見た場合に、投影されたパターンが被写体の陰に隠れて観察されない場所ができ、距離情報が得られない「死角」となるという問題も生じていた。
【０００７】
特開昭６１−１５５９０９号公報及び特開昭６３−２３３３１２号公報に開示された距離測定装置及び距離測定方法では、放射位置を異ならせて光を順次照射し、それぞれの反射光を測定する必要があるため、測定に時間差が生じる。そのため、動きのある被写体の場合、距離を測定することができないという問題が生じる。また光源の位置を変えて照射する間に、撮影装置のぶれにより、測定誤差が生じる可能性がある。
【０００８】
また、波長特性の異なる光の場合、同時に照射し、反射光を照射光の波長特性に合わせたフィルターを用いて、分光し、反射光強度を測定することができる。しかし、物体の分光反射率が異なる場合、照射光の波長の違いから反射光強度に違いが生じるため、反射光強度の比から奥行き距離を計算する際の誤差要因となり、正確な奥行き距離が計算できないという問題が生じていた。
【０００９】
特開昭６２−４６２０７号公報に開示された距離検出装置では、位相差を検出するための精度の高い位相検出器が必要となり、装置が高価になり、簡便性に欠ける。また、被写体の点からの反射光の位相を測定するため、被写体全体の奥行き分布を測定することはできない。
【００１０】
また、河北他「三次元撮像装置Axi-Vision Cameraの開発」（３次元画像コンファレンス９９、1999年）に開示された強度変調を用いた距離測定手法は、非常に高速に光変調や光シャッター操作を行う必要があり、測定装置は大型で高価になり、簡便に測定することができないという問題がある。
【００１１】
そこで本発明は、上記の課題を解決することのできる画像撮像装置及び距離測定装置を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【００１２】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、第１の波長を主要な波長成分とする第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から被写体に照射する照射部と、照射部により第１及び第２の照射光が照射された被写体からの出射光に基づいて、被写体までの奥行き距離を算出する奥行き算出部とを備えたことを特徴とする。
【００１３】
照射部は、第１及び第２の照射光を同時に照射してもよい。照射部により第１及び第２の照射光が照射された被写体から得られる出射光を結像する光学結像部と、被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２の波長を有する第２の出射光と、第３の波長を有する第３の出射光とを光学的に分離する分光部と、分光部によって分離され、光学結像部が結像する第１、第２及び第３の出射光を受光する受光部と、受光部が受光する第１、第２及び第３の出射光の強度を検出する光強度検出部とをさらに備え、奥行き算出部は、第１、第２及び第３の出射光の強度を用いて、被写体までの奥行き距離を算出してもよい。
【００１４】
受光部は、３板の固体撮像素子を有し、分光部は、光路分割手段を用いて第１、第２及び第３の出射光を分離し、それぞれを３板の固体撮像素子のいずれか１つに受光させてもよい。受光部は、固体撮像素子を有し、分光部は、第１の波長の光を透過する第１の光学フィルターと、第２の波長の光を透過する第２の光学フィルターと、第３の波長の光を透過する第３の光学フィルターとを有し、第１、第２及び第３の光学フィルターが固体撮像素子の受光面に交互に配置させてもよい。
【００１５】
照射部は、所定の第１の境界波長より短い波長領域の光を透過する第１の光学フィルターと、所定の第２の境界波長より長い波長領域の光を透過する第２の光学フィルターを有し、第１の光学フィルターを透過する第１の照射光と、第２の光学フィルターを透過する第２の照射光とを、光学的に異なる放射位置から被写体に照射し、分光部は、第１及び第２の境界波長の短い方よりも短い第１の波長の光を透過する第１の光学フィルターと、第１及び第２の境界波長の長い方よりも長い第２及び第３の波長の光をそれぞれ透過する第２及び第３の光学フィルターとを有し、被写体から得られる出射光を第１の光学フィルターに透過させることにより、第１の波長を有する第１の出射光を分離し、出射光をそれぞれ第２及び第３の光学フィルターに透過させることにより、第２の波長を有する第２の出射光及び第３の波長を有する第３の出射光を分離させてもよい。
【００１６】
奥行き算出部は、第２及び第３の出射光の強度に基づく値と、第１の出射光の強度とを用いて、被写体までの奥行き距離を算出してもよい。奥行き算出部は、第２及び第３の出射光の強度に基づいて、第１の波長を有する光を第２の照射光の放射位置から照射したと仮定した場合の被写体からの仮の出射光の強度を求め、第１の出射光の強度と仮の出射光の強度とを用いて、被写体までの奥行き距離を算出してもよい。奥行き算出部は、第２の出射光と第３の出射光の平均強度と、第１の出射光の強度とを用いて、被写体までの奥行き距離を算出してもよい。
【００１７】
本発明の第２の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、第１の波長を主要な波長成分とする第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から被写体に照射する照射部と、照射部により第１及び第２の照射光が照射された被写体からの出射光に基づいて、被写体までの奥行き距離を算出する奥行き算出部とを備えたことを特徴とする。
【００１８】
照射部は、第１及び第２の照射光を同時に照射してもよい。照射部は、第１の波長を主要な波長成分とする第１の照射光と、第１の波長より短い第２の波長、及び第１の波長より長い第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から被写体に照射し、照射部により第１及び第２の照射光が照射された被写体からの出射光を結像する光学結像部と、被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２及び第３の波長を有する第２の出射光とを光学的に分離する分光部と、分光部によって分離され、光学結像部が結像する第１の出射光及び第２の出射光を受光する受光部と、受光部が受光する第１及び第２の出射光の強度を検出する光強度検出部とをさらに備え、奥行き算出部は、第１及び第２の出射光の強度を用いて、被写体までの奥行き距離を算出してもよい。
【００１９】
受光部は、２板の固体撮像素子を有し、分光部は、光路分割手段を用いて、第１の出射光と第２の出射光の光路を光学的に分岐させ、それぞれ２板の固体撮像素子のいずれか１つに受光させてもよい。受光部は、固体撮像素子を有し、分光部は、第１の波長の光を透過する第１の光学フィルターと、第２及び第３の波長の光を透過する第２の光学フィルターとを有し、第１の光学フィルターと第２の光学フィルターとが固体撮像素子の受光面に交互に配置されてもよい。
【００２０】
奥行き算出部は、第１の出射光の強度と第２の出射光の強度の半分の値との比に基づいて、被写体までの奥行き距離を算出してもよい。
【００２１】
上記の第１及び第２の形態において、照射部が被写体に第１及び第２の照射光を照射するときの光軸と、結像部が被写体からの出射光を撮像するときの光軸とが略同一であってもよい。光強度検出部は、受光部に撮像された被写体の画像の各画素において第１及び第２の出射光の強度を検出し、奥行き算出部は、画素の各々に対応する被写体の領域までの奥行きを各々求めることにより、被写体の奥行き分布を算出してもよい。
【００２２】
上記の第１及び第２の形態において、第１及び第２の照射光は赤外線領域の光であり、分光部は、被写体から得られる出射光から可視光を光学的に分離する手段をさらに備え、受光部は、分光部により光学的に分離され、光学結像部が結像する可視光を受光する可視光用の固体撮像素子をさらに備え、奥行き算出部が算出する被写体の奥行き分布とともに可視光用の固体撮像素子に撮像された被写体の画像を記録する記録部をさらに備えてもよい。
【００２３】
上記の第１及び第２の形態において、光強度検出部が検出する被写体からの出射光の強度、及び奥行き算出部が算出する被写体までの奥行き距離の少なくとも１つに基づいて、照射部が照射する第１及び第２の照射光の発光時間、強度、放射位置、及び受光部の露光時間の少なくとも１つを制御する制御部をさらに備えてもよい。
【００２４】
本発明の第３の形態においては、被写体の奥行きに関する情報を取得する距離測定方法であって、第１の波長を主要な波長成分とする第１の照射光と、第１の波長とは異なる第２及び第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射する照射段階と、第１及び第２の照射光が照射された被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２の波長を有する第２の出射光と、第３の波長を有する第３の出射光とを光学的に分離する分光段階と、分離された第１、第２及び第３の出射光を撮像する撮像段階と、撮像された第１、第２及び第３の出射光の強度を検出する光強度検出段階と、第１、第２及び第３の出射光の強度を用いて、被写体までの奥行き距離を算出する奥行き算出段階とを備えたことを特徴とする。
【００２５】
奥行き算出段階は、第２及び第３の出射光の強度に基づく値と、第１の出射光の強度とを用いて、被写体までの奥行き距離を算出してもよい。奥行き算出段階は、第２及び第３の出射光の強度に基づいて、第１の波長を有する光を第２の照射光の放射位置から照射したと仮定した場合の被写体からの仮の出射光の強度を求め、第１の出射光の強度と仮の出射光の強度の比に基づいて、被写体までの奥行き距離を算出してもよい。奥行き算出段階は、第２の出射光と第３の出射光の平均強度と、第１の出射光の強度との比に基づいて、被写体までの奥行き距離を算出してもよい。
【００２６】
本発明の第４の形態においては、被写体の奥行きに関する情報を取得する距離測定方法であって、第１の波長を主要な波長成分とする第１の照射光と、第１の波長より短い第２の波長、及び第１の波長より長い第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射する照射段階と、第１及び第２の照射光が照射された被写体から得られる出射光から、第１の波長を有する第１の出射光と、第２及び第３の波長を有する第２の出射光とを光学的に分離する分光段階と、分離された第１の出射光及び第２の出射光を撮像する撮像段階と、受光された第１の出射光及び第２の出射光の強度をそれぞれ検出する光強度検出段階と、第１の出射光の強度と第２の出射光の強度を用いて、被写体までの奥行き距離を算出する奥行き算出段階とを備えたことを特徴とする。
【００２７】
奥行き算出段階は、第１の出射光の強度と第２の出射光の強度の半分の値との比に基づいて、被写体までの奥行き距離を算出してもよい。
【００２８】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００２９】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００３０】
（実施形態１）
本発明の第１の実施形態を説明する。最初に、被写体からの反射光の強度から被写体までの奥行き距離を測定する基本原理について説明する。図１は、本発明の原理説明図である。光源６、８はそれぞれ放射光強度Ｉ_１、Ｉ_２を有する同一波長特性の点光源である。光源６、８はそれぞれ物体２から距離Ｒ_１、Ｒ_２の位置にあり、光源６、８の放射位置の間隔はＬである。光源６を発光させ、照射された物体２からの反射光をカメラ５によって撮影する。次に光源８を発光させ、照射された物体２からの反射光をカメラ５によって撮影する。
【００３１】
光源６から放射された光は全方位に放射される。光源６を中心とする半径ｒの球を考えると、光の半径ｒの球面上の単位面積当たりの光密度は、
【００３２】
Ｉ_１／（４πｒ^２）
で与えられる。したがって、光源６から距離Ｒ_１だけ離れた位置に存在する物体２の領域４からの反射光強度Ｗ_１は、物体２の表面反射率をＲｆとすると、
【００３３】
Ｗ_１＝Ｒｆ・Ｉ_１／（４πＲ_１ ^２）
で与えられる。同様にして、光源８から距離Ｒ_２だけ離れた位置に存在する物体２の領域４からの反射光強度Ｗ_２は、
【００３４】
Ｗ_２＝Ｒｆ・Ｉ_２／（４πＲ_２ ^２）
で与えられる。
【００３５】
光源６による反射光強度Ｗ_１と光源８による反射光強度Ｗ_２の比Ｗ_Ｒは、
Ｗ_Ｒ＝Ｗ_１／Ｗ_２＝（Ｉ_１・Ｒ_２ ^２）／（Ｉ_２・Ｒ_１ ^２）
と求められる。これと、Ｒ_２−Ｒ_１＝Ｌの関係から、光源６と光源８の放射位置間隔Ｌが既知であれば、反射光強度比Ｗ_Ｒを測定して、距離Ｒ_１を式
【００３６】
Ｒ_１＝Ｌ／｛（Ｗ_Ｒ・Ｉ_２／Ｉ_１）^１／２−１｝
により求めることができる。
【００３７】
このように、同色の光源を用いれば、反射光強度比Ｗ_Ｒを求める過程で、表面反射率Ｒｆの影響がキャンセルされるため、被写体の奥行き距離に関する情報を取得することができる。この方法では、光源６と光源８を順に発光し、撮像するため、撮影に時間差が生じる。したがって動きのある被写体には適用することができない。そこで光源６と光源８の波長特性を異ならせ、光源６と光源８を同時に発光し、被写体からの反射光から光源６による反射光と光源８による反射光を波長分離して、それぞれの反射光の強度を測定する方法が考えられる。物体２の表面反射率は一般に波長によって異なる。波長λの光を照射した場合の表面反射率をＲｆ（λ）とする。光源６の波長をλ_１、光源８の波長をλ_２とすると、光源６による反射光強度Ｗ_１は、
【００３８】
Ｗ_１＝Ｒｆ（λ_１）・Ｉ_１／（４πＲ_１ ^２）
で与えられる。一方、光源８による反射光強度Ｗ_２は、
【００３９】
Ｗ_２＝Ｒｆ（λ_２）・Ｉ_２／（４πＲ_２ ^２）
で与えられる。
【００４０】
波長による表面反射率の違いがあるため、反射光強度比Ｗ_Ｒを求めても、表面反射率Ｒｆの項がキャンセルされないため、被写体の奥行き距離に関する情報を取得することができない。波長λ_１とλ_２の差を微小にして、表面反射率Ｒｆ（λ_１）とＲｆ（λ_２）の違いを無視して、反射光強度比Ｗ_Ｒを求め、被写体の奥行き距離を算出することもできるが、計算に誤差が生じる。表面反射率Ｒｆ（λ_１）とＲｆ（λ_２）の違いによる計算誤差を小さくするためには、波長λ_１とλ_２の差を十分に小さくしなければならないが、波長λ_１とλ_２の差を小さくすると、波長分離の精度が悪くなり、波長毎の強度測定に誤差が含まれることになる。したがって、波長分離の分解能を上げて強度測定の精度を上げるためには、波長λ_１とλ_２の差を大きくしなければならないし、表面反射率Ｒｆ（λ_１）とＲｆ（λ_２）の違いを小さくして、距離測定の精度を上げるためには、波長λ_１とλ_２の差を小さくしなければならないというジレンマに陥り、距離測定の精度を改善することに自ずと限界が生じる。
【００４１】
そこで、本実施形態では、第１の波長特性を有する光と、第１の波長特性とは異なる第２の波長特性を有する光を光学的に異なる放射位置から同時に被写体に照射し、第１の波長特性を有する光による反射光と、第２の波長特性を有する光による反射光とを光学的に分離し、第２の波長特性の反射光を用いて、仮に第１の波長特性を有する光を第２の波長特性の光の放射位置から照射した場合に、被写体から得られるであろう仮の反射光強度を求め、第１の波長特性の反射光強度と、仮の反射光強度との比に基づいて、被写体の奥行き距離を算出する。仮の反射光強度を求めることにより、波長による表面反射率の違いをキャンセルすることができるため、奥行き距離を正確に求めることができる。
【００４２】
図２は、本実施形態の画像撮像装置２００の構成図である。画像撮像装置２００として、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が考えられる。画像撮像装置２００は、照射部１００と、撮像部１２０と、処理部６０と、制御部８０とを有する。
【００４３】
照射部１００は被写体に光を照射し、撮像部１２０は照射部１００が照射した被写体を撮像する。処理部６０は撮像部１２０が撮像した被写体の画像を処理して、撮像された被写体の奥行き距離を求め、被写体の奥行き分布情報として記録する。処理部６０はまた、撮像部１２０が撮像した被写体の画像を記録することもできる。制御部８０は、処理部６０が求めた被写体の奥行き距離に基づいてフィードバック制御を行い、照射部１００が照射する光の強度、発光のタイミング、発光時間、放射位置等を制御し、撮像部１２０の露光時間等を制御する。
【００４４】
照射部１００は、光源１０Ａ、１０Ｂと、光学フィルター１２Ａ、１２Ｂとを有する。光源１０Ａ、１０Ｂは異なる位置に設置され、光源１０Ａ、１０Ｂからの光は、それぞれ特定の波長成分を透過する光学フィルター１２Ａ、１２Ｂを透過し、被写体に同時に照射される。照射部１００は、光量を効率的に利用したい場合や、光源１０Ａ、１０Ｂの放射位置の差を光学的に大きくしたい場合には、コンデンサーレンズ等の光学レンズを照射光の光路に挿入して、光を集光させたり、レンズ効果により照射光の光学的な放射位置を変更させてもよい。
【００４５】
撮像部１２０は、光学結像部の一例としての光学レンズ２０と、分光部３０と、受光部４０とを有する。光学レンズ２０は、被写体からの反射光を結像する。分光部３０は、被写体からの反射光を、照射部１００が照射した波長特性に合わせて波長分離する。受光部４０は、光学レンズ２０が結像し、分光部３０によって波長分離された反射光を受光する。
【００４６】
受光部４０は、一例として固体撮像素子である。被写体像は固体撮像素子の受光面上に結像される。結像された被写体像の光量に応じ、固体撮像素子の各センサエレメントに電荷が蓄積され、蓄積された電荷は、一定の順序に走査され、電気信号として読み出される。
【００４７】
固体撮像素子は、被写体からの反射光の強度を、画素単位に高い精度で検出可能なように、Ｓ／Ｎ比が良く、画素数が大きい電荷結合素子（ＣＣＤ）イメージセンサであることが望ましい。固体撮像素子としてＣＣＤ以外に、ＭＯＳイメージセンサ、ＣｄＳ−Ｓｅ密着型イメージセンサ、ａ−Ｓｉ（アモルファスシリコン）密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【００４８】
処理部６０は、画像メモリ６２と、光強度検出部６４と、奥行き算出部６６と、画像補正部６７と、記録部６８とを有する。画像メモリ６２は、撮像部１２０が撮像した被写体の画像を、照射部１００が照射した照射光の波長特性に合わせて格納する。光強度検出部６４が画像メモリ６２に格納された被写体の画像から反射光の強度を画素単位または画素領域単位で検出する。奥行き算出部６６は、光強度検出部６４が検出した反射光強度に基づいて、各画素領域に写された被写体の領域までの奥行き距離を算出する。記録部６８は奥行き算出部６６が算出した被写体の奥行き距離の分布を記録する。画像補正部６７は、画像メモリ６２に格納された被写体の画像について、階調補正、ホワイトバランス等の補正を行う。記録部６８は画像補正部６７が処理した被写体の画像を記録する。また、光強度検出部６４及び奥行き算出部６６はそれぞれ、被写体からの反射光の検出レベル及び被写体の奥行き分布の情報を制御部８０に出力する。記録部６８は、フラッシュメモリ、メモリカード等の半導体メモリに画像データ及び奥行き分布情報を記録する。
【００４９】
制御部８０は、処理部６０が求めた被写体の奥行き距離に基づいてフィードバック制御を行い、照射部１００が照射する光の強度、発光のタイミング、光の放射位置等を制御し、撮像部１２０の受光部４０の受光感度や露光時間等を制御する。制御部８０は、図示しない測光センサの測光データや、測距センサの測距データを用いて、照射部１００と撮像部１２０を制御してもよい。また、制御部８０は、処理部６０が求めた被写体の奥行き距離に基づいて、被写体の画像を撮影するときの撮像部１２０のフォーカス、絞り、露光時間等を調整してもよい。
【００５０】
図３は、本実施形態の照射部１００と撮像部１２０の構成図である。光源１０Ａ、１０Ｂはそれぞれ物体２から距離Ｒ１、Ｒ２の位置にあり、光源１０Ａ、１０Ｂの放射位置間隔はＬである。光学フィルター１２Ａは主に波長λ_Ａの光を透過し、光学フィルター１２Ｂは主に波長λ_Ｂ、λ_Ｃを有する光を透過する。照射部１００は、光源１０Ａの位置から波長λ_Ａの光を、光源１０Ｂの位置から波長λ_Ｂ及びλ_Ｃを有する光を同時に物体２に照射する。
【００５１】
光源１０Ａ、１０Ｂからの光が照射された物体２からの反射光を撮像部１２０の光学レンズ２０が結像する。分光部３０は、波長λ_Ａ、λ_Ｂ、λ_Ｃの３つの光に波長分離して光路を分割するプリズムである。受光部４０Ａ、４０Ｂ、及び４０Ｃは３板の固体撮像素子である。分光部３０によって、分光された波長λ_Ａ、λ_Ｂ、λ_Ｃを有する光はそれぞれ受光部４０Ａ、４０Ｂ、４０Ｃに受光される。各受光部４０Ａ、４０Ｂ、４０Ｃに受光された光は、光電効果により電荷として読み出され、図示しないＡ／Ｄ変換器によりデジタル電気信号に変換され、処理部６０に入力される。
【００５２】
図４は、本実施形態の処理部６０の構成図である。各受光部４０Ａ、４０Ｂ、４０Ｃが出力する被写体像は、それぞれ画像メモリ６２Ａ、６２Ｂ、６２Ｃに格納される。光強度検出部６４は各画像メモリ６２Ａ、６２Ｂ、６２Ｃに格納された画像データを用いて、波長λ_Ａ、λ_Ｂ、λ_Ｃの反射光の強度を検出する。奥行き算出部６６は、光強度検出部６４が検出した波長λ_Ａ、λ_Ｂ、λ_Ｃの反射光の強度を用いて、光源１０Ａから物体２の領域４までの距離Ｒ１を求める。奥行き算出部６６は撮像された画像の画素または画素の領域単位で、画素または画素領域に写された被写体の領域までの奥行き距離を算出し、被写体の奥行き分布を求め、出力する。記録部６８は被写体の奥行き分布情報を記録する。
【００５３】
光強度検出部６４は、検出した波長λ_Ａ、λ_Ｂ、λ_Ｃの反射光の強度を制御部８０へ出力する。奥行き算出部６６は、被写体の奥行き分布情報を制御部８０へ出力する。制御部８０は、強度レベルが適正でない場合や奥行き距離の測定精度が良くない場合、光源１０Ａまたは１０Ｂの放射光強度を調整するか、または光源１０Ａと１０Ｂの放射位置間隔を調整する。制御部８０は、光源１０Ａ、１０Ｂの放射光強度比をあらかじめいくつか容易しておき、被写体の奥行き距離によって、放射光強度比を選択してもよい。たとえば、被写体が近距離にある場合には、放射光強度比を１に近い値に設定し、被写体が遠距離にある場合に、被写体から遠い位置にある光源１０Ｂの放射光強度が大きくなるように、放射光強度比を設定してもよい。
【００５４】
図５は、光強度検出部６４と奥行き算出部６６による奥行き距離計算方法の説明図である。光強度検出部６４は、波長λ_Ａの反射光の強度Ｗ_Ａ、波長λ_Ｂの反射光のＷ_Ｂ、波長λ_Ｃの反射光のＷ_Ｃをそれぞれ検出する。光源１０Ａ、１０Ｂの強度をそれぞれＩ_１、Ｉ_２とし、物体２の波長λにおける表面反射率をＲｆ（λ）とすると、波長λ_Ａの反射光の強度Ｗ_Ａは、
【００５５】
Ｗ_Ａ＝Ｒｆ（λ_Ａ）・Ｉ_１／（４πＲ_１ ^２）
と表され、波長λ_Ｂの反射光の強度Ｗ_Ｂ、波長λ_Ｃの反射光の強度Ｗ_Ｃは、
Ｗ_Ｂ＝Ｒｆ（λ_Ｂ）・Ｉ_２／（４πＲ_２ ^２）
Ｗ_Ｃ＝Ｒｆ（λ_Ｃ）・Ｉ_２／（４πＲ_２ ^２）
と表される。
【００５６】
奥行き算出部６６は、波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃを用いて、波長λ_Ａを有する放射光強度Ｉ_２の光を光源１０Ｂの放射位置から照射したと仮定した場合に、被写体から得られる仮の反射光の強度Ｗ_Ｄを求める。求められたＷ_Ｄの値は、理想的には
【００５７】
Ｗ_Ｄ＝Ｒｆ（λ_Ａ）・Ｉ_２／（４πＲ_２ ^２）
である。したがって、波長λ_Ａを有する光源１０Ａからの光による反射光の強度Ｗ_Ａと、同じ波長λ_Ａを有する光源１０Ｂからの光による仮の反射光の強度Ｗ_Ｄとの比を求めると、表面反射率Ｒｆ（λ_Ａ）の項がキャンセルされ、
【００５８】
Ｗ_Ａ／Ｗ_Ｄ＝（Ｉ_１・Ｒ_２ ^２）／（Ｉ_２・Ｒ_１ ^２）
が得られ、これとＲ_２−Ｒ_１＝Ｌより、被写体の奥行き距離Ｒ_１を算出することができる。
【００５９】
波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃを用いて、仮の反射光の強度Ｗ_Ｄを求める方法には、いくつもの変形がありうる。図６は、補間によって仮の反射光の強度を求める方法の説明図である。波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃを補間することにより、波長λ_Ａの場合の仮の強度Ｗ_Ｄを求める。線形補間して仮の強度Ｗ_Ｄを求めてもよく、また単純に波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃの中間値を仮の強度Ｗ_Ｄとしてもよい。
【００６０】
図７は、外挿によって仮の反射光の強度を求める方法の説明図である。波長λ_Ｂの反射光の強度Ｗ_Ｂ、及び波長λ_Ｃの反射光の強度Ｗ_Ｃを外挿し、波長λ_Ｂより短い波長λ_Ａの場合の仮の強度Ｗ_Ｄを求める。
【００６１】
さらに次の変形例がある。図８は、光源１０Ａ、１０Ｂによるそれぞれの反射光から仮の反射光強度を求める方法を説明する図である。照射部１００は、光源１０Ａから波長λ１及びλ２を有する照射光を、光源１０Ｂから波長λ３及びλ４を有する照射光を同時に照射し、撮像部１２０は、被写体から得られる反射光を、光源１０Ａからの波長λ１、λ２を有するそれぞれの反射光と、光源１０Ｂからの波長λ３、λ４を有するそれぞれの反射光とに分離する。光強度検出部６４は、光源１０Ａからの波長λ１、λ２の反射光の強度を求め、奥行き算出部６６は、光源１０Ａの位置から、同一強度で波長λ５の光を照射したと仮定した場合の反射光強度Ｗ_Ａを算出する。また、光強度検出部６４は、光源１０Ｂからの波長λ３、λ４の反射光の強度を求め、奥行き算出部６６は、光源１０Ｂの位置から、同一強度で波長λ５の光を照射したと仮定した場合の反射光強度Ｗ_Dを算出する。奥行き算出部６６は仮の反射光強度Ｗ_ＡとＷ_Dの比を求め、被写体の奥行き距離を算出することができる。
【００６２】
さらに次の変形例がある。図９（ａ）〜（ｄ）は、長波長または短波長の光のみを透過させるバンドパスフィルターを用いて照射した場合の仮の反射光強度を求める方法を説明する図である。光源１０Ａの光学フィルター１２Ａは、第１の境界波長λ_１よりも長い波長の光のみを透過させるバンドパスフィルターであり、光源１０Ａからの放射光は光学フィルター１２Ａを透過し、図９（ａ）に示した波長特性を有する光として被写体に照射される。光源１０Ｂの光学フィルター１２Ｂは、第２の境界波長λ_２よりも短い波長の光のみを透過させるバンドパスフィルターであり、光源１０Ｂからの放射光は光学フィルター１２Ｂを透過し、図９（ｂ）に示した波長特性を有する光として被写体に照射される。第１の境界波長λ_１は第２の境界波長λ_２より短い波長であってもよい。すなわち光学フィルター１２Ａ、１２Ｂが透過させる光の波長特性は、第１の境界波長λ_１から第２の境界波長λ_２までの波長領域に重なりを有してもよい。したがって、第１の境界波長λ_１が第２の境界波長λ_２より短い場合、光源１０Ａ、１０Ｂからの照射光の波長特性は、第１の境界波長λ_１から第２の境界波長λ_２までの波長領域に重なりを有する。
【００６３】
分光部３０は、波長λ_Ａ、λ_Ｂ、λ_Ｃの光をそれぞれ透過する光学フィルターを有し、被写体から得られる反射光を波長分離し、波長λ_Ａ、λ_Ｂ、λ_Ｃを有する反射光を受光部４０に受光させる。光源１０Ａによる反射光は、分光部３０を通過する前は、図９（ａ）の波長特性を有するが、光学フィルターによって図９（ｃ）のように、波長λ_Ａの成分だけが取り出される。光源１０Ｂによる反射光についても同様であり、分光部３０を通過する前は、図９（ｂ）の波長特性を有するが、光学フィルターによって図９（ｄ）にように、波長λ_Ｂ、λ_Ｃの成分だけがそれぞれ取り出される。ここで、波長λ_Ａは、第１の境界波長λ_１と第２の境界波長λ_２のどちらか長い方よりも長い波長であり、波長λ_Ｂ、λ_Ｃは、第１の境界波長λ_１と第２の境界波長λ_２のどちらか短い方よりも短い波長であることが必要である。なぜなら、分離された波長λ_Ａを有する反射光には、光源１０Ｂの照射光による干渉が含まれてはならないし、分離された波長λ_Ｂ、λ_Ｃを有するそれぞれの反射光には、光源１０Ａの照射光による干渉が含まれてはならないからである。波長λ_Ａを有する反射光の強度Ｗ_Ａを検出し、波長λ_Ｂ、波長λ_Ｃをそれぞれ有する反射光の強度を外挿して、波長λ_Ａの成分が含まれていたと仮定した場合の仮の反射光強度Ｗ_Ｄを求める。反射光強度比Ｗ_Ａ／Ｗ_Ｄから被写体の奥行き距離を求める過程は既に述べた通りである。
【００６４】
上記のいずれの方法においても、仮の反射光強度を補間、外挿、平均などの処理によって正確に求めることができるように、波長λ_Ｂと波長λ_Ｃは線形補間または線形の外挿が可能な範囲で近接した値に設定することがより好ましい。図１０は、３種の物体の表面反射率を示す図である。グラフの横軸は波長、縦軸は反射率である。グラフ３０２、３０４、３０６は、それぞれ人間の肌、道、木の葉の３種の物体の表面反射率を分光計で測定した結果である。６３０ｎｍ、６５０ｎｍ、６７０ｎｍの波長に対する各グラフ上の点をマークした。６３０ｎｍ、６５０ｎｍ、６７０ｎｍの波長領域では、いずれの物体でも線形補間が可能である。また、同波長領域の光源は入手しやすい。波長λ_Ａ、λ_Ｂ、λ_Ｃとして、このような線形補間が可能で、光源としても入手しやすい波長領域の値を選択することができる。また、受光部４０の固体撮像素子の出力信号に対して、通常のデジタルカメラ等で行われる階調補正等の画像補正処理を行うと、信号の線形性が失われる。そこで固体撮像素子への入射光強度に対して線形性を有する信号強度の段階で、強度を検出し、補間、外挿、平均等の処理をすることが好ましい。あるいは、階調補正等の画像補正処理による信号変換関数の逆関数を表すテーブルを用意しておき、画像補正後の信号出力を一旦逆関数のテーブルを参照して、固体撮像素子への入射光強度に対して線形性を有する信号強度に変換してから、強度を検出し、補間、外挿、平均等の処理を行うようにしてもよい。
【００６５】
さらに、上記の説明では分光部３０として、波長分離して光路を分割する光学分割素子、たとえばプリズム、ビームスプリッターを用いたが、分光部３０として、受光部４０の受光面に配置した光学フィルターを用いてもよい。図１１は、受光部４０に設けられる特定波長成分を透過する光学フィルターを説明する図である。受光部４０として単板の固体撮像素子を用い、固体撮像素子の受光面に、光学フィルター３２を設ける。光学フィルター３２は、波長λ_Ａ、λ_Ｂ、λ_Ｃのみをそれぞれ透過させるフィルターが交互に配置される。これにより、固体撮像素子の画素によって波長λ_Ａ、λ_Ｂ、λ_Ｃのいずれの光を受光したものであるかがわかり、波長λ_Ａ、λ_Ｂ、λ_Ｃを有する光を波長分離して受光することができる。プリズムやビームスプリッターを用いる場合と比べて、単板の固体撮像素子に受光させるため、装置を小型化することができる。
【００６６】
上記の実施形態の説明において、照射される光の波長によって表面反射率の違いが大きい被写体を対象にする場合、波長λ_Ａ、λ_Ｂ、λ_Ｃは仮の反射光強度の算出に誤差が生じないように、できるだけ近接していることが望ましい。一方で、各波長成分の反射光の強度の検出精度を上げるためには、波長λ_Ａ、λ_Ｂ、λ_Ｃの以外の波長成分ができるだけ含まれないようにするか、波長λ_Ａ、λ_Ｂ、λ_Ｃの値を互いに離れた値にして、波長λ_Ａ、λ_Ｂ、λ_Ｃの分解能を上げ、波長の干渉をできるだけ少なくすることが望ましい。したがって、被写体の表面反射率の特性や要求される測定精度に応じて、照射部１００の光源１０の波長特性、光学フィルター１２の波長透過特性、撮像部１２０の分光部３０の波長透過特性を設計することが好ましい。
【００６７】
図１２は、本実施形態の距離測定方法のフローチャートである。照射部１００は、波長λ_Ａを主要な波長成分とする第１の照射光と、波長λ_Ａとは異なる波長λ_Ｂ及び波長λ_Ｃを主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射する（Ｓ１００）。
【００６８】
撮像部１２０の光学レンズ２０は、第１及び第２の照射光が照射された被写体からの反射光を結像する（Ｓ１０２）。分光部３０は、被写体からの反射光から、波長λ_Ａを有する第１の反射光と、波長λ_Ｂを有する第２の反射光と、波長λ_Ｃを有する第３の反射光とを光学的に分離する（Ｓ１０４）。
【００６９】
受光部４０は、分離された第１、第２、第３の反射光を受光する（Ｓ１０６）。処理部６０の光強度検出部６４は、第１、第２、第３の反射光の強度Ｗ_Ａ、Ｗ_Ｂ、Ｗ_Ｃを検出する（Ｓ１０８）。
【００７０】
奥行き算出部６６は、第１、第２、第３の反射光の強度Ｗ_Ａ、Ｗ_Ｂ、Ｗ_Ｃを用いて、被写体までの奥行き距離を算出する（Ｓ１１０）。
【００７１】
図１３は、奥行き距離算出処理Ｓ１１０のフローチャートである。第２及び第３の反射光の強度Ｗ_Ｂ、Ｗ_Ｃに基づいて、波長λ_Ａで強度がＩ２の光が第２の照射光の放射位置から照射されたと仮定した場合の被写体からの仮の反射光の強度Ｗ_Ｄを求める（Ｓ１１２）。仮の反射光の強度Ｗ_Ｄは、第２及び第３の反射光の強度Ｗ_Ｂ及びＷ_Ｃを補間または外挿することにより求める。第１の反射光の強度Ｗ_Ａと仮の反射光の強度Ｗ_Ｄの比Ｗ_Ａ／Ｗ_Ｄを求める（Ｓ１１４）。第１、第２の照射光の強度Ｉ_１、Ｉ_２、第１、第２の照射光の放射位置間隔Ｌ、反射光強度比Ｗ_Ａ／Ｗ_Ｄに基づいて、被写体までの距離を算出する（Ｓ１１６）。
【００７２】
図１４は、奥行き距離算出処理Ｓ１１０の変形例のフローチャートである。第２及び第３の反射光の強度Ｗ_Ｂ、Ｗ_Ｃの平均値Ｗ_Ｄ＝（Ｗ_Ｂ＋Ｗ_Ｃ）／２を求める（Ｓ１１８）。第１の反射光の強度Ｗ_Ａと、第２及び第３の反射光の平均強度Ｗ_Ｄの比Ｗ_Ａ／Ｗ_Ｄを求める（Ｓ１２０）。第１、第２の照射光の強度Ｉ_１、Ｉ_２、第１、第２の照射光の放射位置間隔Ｌ、反射光強度比Ｗ_Ａ／Ｗ_Ｄに基づいて、被写体までの距離を算出する（Ｓ１２２）。
【００７３】
以上述べたように、本実施形態の画像撮像装置によれば、異なる波長特性を有する光を光学的に異なる放射位置から同時に被写体に照射し、被写体から得られる反射光から波長特性に合わせて波長分離し、波長分離された反射光の強度を用いて、被写体までの奥行き距離を簡便に求めることができる。
【００７４】
また、被写体からの反射光による像を固体撮像素子に撮像し、画像データとして格納するため、画素または画素領域単位で反射光強度を検出して奥行き距離を算出することができ、撮像された被写体の領域の奥行き分布を得ることができる。したがって、被写体の２次元画像から被写体の奥行き分布を獲得して、被写体の３次元立体画像を作成することが可能である。
【００７５】
（実施形態２）
本発明の第２の実施形態を説明する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置と比較して、照射部１００と撮像部１２０の一部の構成が異なるだけであるから、同一の構成要素については説明を省略し、異なる構成要素についてのみ説明する。図１５は、本実施形態の照射部１００と撮像部１２０の構成図である。本実施形態では、照射部１００の光学フィルター１２Ａは主に波長λ_Ａの光を透過し、光学フィルター１２Ｂは、主に波長λ_Ａより短い波長λ_Ｂと、波長λ_Ａより長い波長λ_Ｃを有する光を透過する。照射部１００は、光源１０Ａの位置から波長λ_Ａの光と、光源１０Ｂの位置から波長λ_Ｂ及びλ_Ｃを有する光を同時に物体２に照射する。
【００７６】
撮像部１２０の分光部３０は、波長λ_Ａを有する光と、波長λ_Ｂ及びλ_Ｃを有する光とに波長分離して光路を分割するプリズムである。受光部４０Ａ及び４０Ｂは２板の固体撮像素子である。分光部３０によって、分光された波長λ_Ａを有する光は、受光部４０Ａに、波長λ_Ｂ及びλ_Ｃを有する光は受光部４０Ｂにそれぞれ受光される。受光部４０Ａ、４０Ｂに受光された光は、電気信号に変換され、処理部６０に入力される。
【００７７】
図１６は、本実施形態の処理部６０の構成図である。各受光部４０Ａ、４０Ｂが出力する被写体像は、それぞれ画像メモリ６２Ａ、６２Ｂに格納される。光強度検出部６４は各画像メモリ６２Ａ、６２Ｂに格納された画像データを用いて、波長λ_Ａを有する反射光、波長λ_Ｂとλ_Ｃを有する反射光の強度を検出する。奥行き算出部６６は、光強度検出部６４が検出した波長λ_Ａの反射光の強度、波長λ_Ｂ及びλ_Ｃの反射光の強度を用いて、光源１０Ａから物体２の領域４までの距離Ｒ１を求める。奥行き算出部６６は撮像された画像の画素または画素の領域単位で、画素または画素領域に写された被写体の領域までの奥行き距離を算出し、被写体の奥行き分布を求め、出力する。記録部６８は被写体の奥行き分布情報を記録する。
【００７８】
図１７は、光強度検出部６４と奥行き算出部６６による奥行き距離計算方法の説明図である。光強度検出部６４は、波長λ_Ａの反射光の強度Ｗ_Ａ、波長λ_Ｂとλ_Ｃを有する反射光の強度Ｗ_Ｅをそれぞれ検出する。光源１０Ａ、１０Ｂの強度をそれぞれＩ_１、Ｉ_２とし、物体２の波長λにおける表面反射率をＲｆ（λ）とすると、波長λ_Ａの反射光の強度Ｗ_Ａは、
【００７９】
Ｗ_Ａ＝Ｒｆ（λ_Ａ）・Ｉ_１／（４πＲ_１ ^２）
と表され、波長λ_Ｂとλ_Ｃを有する反射光の強度Ｗ_Ｅは、
Ｗ_E＝Ｒｆ（λ_Ｂ）・Ｉ_２／（４πＲ_２ ^２）
＋Ｒｆ（λ_Ｃ）・Ｉ_２／（４πＲ_２ ^２）
と表される。
【００８０】
奥行き算出部６６は、波長λ_Ｂと波長λ_Ｃを有する反射光の強度Ｗ_Ｅの半分の値をＷ_Ｄとする。波長λ_Ａは、波長λ_Ｂと波長λ_Ｃの中間の値であるから、Ｗ_Ｄの値は、波長λ_Ａを有する放射光強度Ｉ_２の光を光源１０Ｂの放射位置から照射したと仮定した場合に、被写体から得られる仮の反射光の強度にほぼ等しい。得られたＷ_Ｄの値は、理想的には
【００８１】
Ｗ_Ｄ＝Ｒｆ（λ_Ａ）・Ｉ_２／（４πＲ_２ ^２）
である。したがって、波長λ_Ａを有する光源１０Ａからの光による反射光の強度Ｗ_Ａと、同じ波長λ_Ａを有する光源１０Ｂからの光による仮の反射光の強度Ｗ_Ｄとの比を求めると、表面反射率Ｒｆ（λ_Ａ）の項がキャンセルされ、
【００８２】
Ｗ_Ａ／Ｗ_Ｄ＝（Ｉ_１・Ｒ_２ ^２）／（Ｉ_２・Ｒ_１ ^２）
が得られ、これとＲ_２−Ｒ_１＝Ｌより、被写体の奥行き距離Ｒ_１を算出することができる。
【００８３】
仮の反射光強度Ｗ_Ｄが正確に得られるように、波長λ_Ａは、波長λ_Ｂ、λ_Ｃの中間の波長であることがより好ましい。上記の説明では、分光部３０は、波長λ_Ａを有する光と、波長λ_Ｂ及びλ_Ｃを有する光とに波長分離したが、フィルタリングの方法として、波長λ_Ｂ、λ_Ｃを選択的に透過する必要は必ずしもなく、波長λ_Ａをカットするバンドカットフィルターを用いても同じ効果を奏する。図１８（ａ）〜（ｄ）は、バンドカットフィルターを用いて反射光を分離する方法を説明する図である。図１８（ａ）のように、光源１０Ａからの照射光は、波長λ_Ａを主要な波長成分とする波長特性を有する。図１８（ｂ）のように、光源１０Ｂからの照射光は、波長λ_Ａを間に挟む波長λ_Ｂ、λ_Ｃを主要な波長成分とする波長特性を有する。分光部３０は、図１８（ｃ）に示すような、主に波長λ_Ａだけを透過するバンドパスフィルターと、図１８（ｄ）に示すような、主に波長λ_Ａの波長成分をカットするバンドカットフィルターとを有し、被写体からの反射光をバンドパスフィルターに透過させることにより、波長λ_Ａを有する反射光を分離し、被写体からの反射光をバンドカットフィルターに透過させることにより、波長λ_Ｂと波長λ_Ｃを有する反射光を分離する。波長λ_Ｂと波長λ_Ｃを有する反射光の強度の半分の値と、波長λ_Ａを有する反射光の強度の比に基づいて、被写体の奥行き値を求める方法は上述の通りである。
【００８４】
図１９は、本実施形態の距離測定方法のフローチャートである。照射部１００は、波長λ_Ａを主要な波長成分とする第１の照射光と、波長λ_Ａより短い波長λ_Ｂと、波長λ_Ａより長い波長λ_Ｃを主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射する（Ｓ２００）。
【００８５】
撮像部１２０の光学レンズ２０は、第１及び第２の照射光が照射された被写体からの反射光を結像する（Ｓ２０２）。分光部３０は、被写体からの反射光から、波長λ_Ａを有する第１の反射光と、波長λ_Ｂ及び波長λ_Ｃを有する第２の反射光とを光学的に分離する（Ｓ２０４）。
【００８６】
受光部４０は、分離された第１、第２の反射光を受光する（Ｓ２０６）。処理部６０の光強度検出部６４は、第１、第２の反射光の強度Ｗ_Ａ、Ｗ_Ｅを検出する（Ｓ２０８）。
【００８７】
奥行き算出部６６は、第１の反射光の強度Ｗ_Ａ、第２の反射光の強度Ｗ_Ｅの半分の値Ｗ_Ｄの比Ｗ_Ａ／Ｗ_Ｄを求め（Ｓ２１２）、第１、第２の照射光の強度Ｉ_１、Ｉ_２、第１、第２の照射光の放射位置間隔Ｌ、反射光強度比Ｗ_Ａ／Ｗ_Ｄに基づいて、被写体までの距離を算出する（Ｓ２１４）。
【００８８】
上記の説明では分光部３０として、波長分離して光路を分割する光学分割素子、たとえばプリズム、ビームスプリッターを用いたが、分光部３０として、第１の実施形態と同様に、受光部４０として単板の固体撮像素子を用い、固体撮像素子の受光面に、光学フィルター３２を設けてもよい。光学フィルター３２は、波長λ_Ａのみを透過させるフィルターと、波長λ_Ｂ及びλ_Ｃを透過させるフィルターが交互に配置される。プリズムやビームスプリッターを用いる場合と比べて、単板の固体撮像素子に受光させるため、装置を小型化することができる。
【００８９】
以上述べたように、本実施形態の画像撮像装置によれば、第１の波長を主要な波長成分とする第１の照射光と、第１の波長を中間に挟む第２、第３の波長を主要な波長成分とする第２の照射光とを、光学的に異なる放射位置から同時に被写体に照射し、被写体から得られる反射光から、第１の波長を有する第１の反射光と、第２及び第３の波長を有する第２の反射光とに分離し、第１の反射光強度と、第２の反射光強度の半分の値との比に基づいて被写体の奥行き距離を算出することができる。第２の反射光強度を半分にするだけで、第１の波長を有する光を第２の照射光の放射位置から照射した場合の仮の反射光強度を求めることができるため、非常に簡便に被写体の奥行き距離を算出することができる。また、被写体からの反射光を受光する固体撮像素子を２板にすることができ、装置の小型化を図ることができる。
【００９０】
（実施形態３）
本発明の第３の実施形態を説明する。本実施形態の画像撮像装置は、第１の実施形態の画像撮像装置と比較して、照射部１００と撮像部１２０の一部の構成が異なるだけであるから、同一の構成要素については説明を省略し、異なる構成要素についてのみ説明する。図２０は、本実施形態の照射部１００と撮像部１２０の構成図である。本実施形態では、照射部１００の光源１０Ａ、１０Ｂは赤外光源である。光学フィルター１２Ａは赤外領域における波長λ_Ａの光を透過し、光学フィルター１２Ｂは、赤外領域における波長λ_Ｂ及び波長λ_Ｃを有する光を透過する。照射部１００は、光源１０Ａの位置から赤外領域の波長λ_Ａの光と、光源１０Ｂの位置から赤外領域の波長λ_Ｂ及びλ_Ｃを有する光とを同時に物体２に照射する。物体２にはさらに可視光領域の光、たとえば自然光や照明光が照射されている。
【００９１】
撮像部１２０の分光部３０は、赤外領域の波長λ_Ａを有する光と、赤外領域の波長λ_Ｂ及びλ_Ｃを有する光と、可視光領域の光とに波長分離して光路を分割するプリズムである。受光部４０Ａ、４０Ｂ、及び４０Ｃは３板の固体撮像素子である。分光部３０によって、分光された波長λ_Ａを有する光は、受光部４０Ａに、波長λ_Ｂ及びλ_Ｃを有する光は受光部４０Ｂに、可視光は受光部４０Ｃにそれぞれ受光される。赤外領域の反射光の撮影像がピンぼけしないように、受光部４０Ａ、４０Ｂはピントが合う位置にあらかじめ設定しておく。受光部４０Ａ、４０Ｂ、４０Ｃに受光された光は、電気信号に変換され、処理部６０に入力される。
【００９２】
図２１は、本実施形態の処理部６０の構成図である。各受光部４０Ａ、４０Ｂが出力する被写体像は、それぞれ画像メモリ６２Ａ、６２Ｂに格納される。光強度検出部６４は各画像メモリ６２Ａ、６２Ｂに格納された画像データを用いて、反射光の強度を検出し、奥行き算出部６６は、光強度検出部６４が検出した反射光の強度を用いて、光源１０Ａから物体２の領域４までの距離Ｒ１を求める。光強度検出部６４と奥行き算出部６６の動作は、第２の実施形態と同様であるから、説明を省略する。奥行き算出部６６は撮像された画像の画素または画素の領域単位で、画素または画素領域に写された被写体の領域までの奥行き距離を算出し、被写体の奥行き分布を求め、出力する。記録部６８は被写体の奥行き分布情報を記録する。さらに、受光部４０Ｃが出力する被写体像は画像メモリ６２Ｃに格納される。画像補正部６７は、画像メモリ６２に格納された画像データに対して、階調補正等の画像補正を行い、被写体の画像データとして出力し、記録部６８は被写体の画像データを被写体の奥行き分布情報とともに記録する。
【００９３】
上記では、波長λ_Ｂ及びλ_Ｃを有する反射光を分離せずに、受光部４０Ｂに受光させたが、受光部４０として、４板の固体撮像素子を用いて、分光部３０によって波長λ_Ｂを有する反射光と波長λ_Ｃを有する反射光とを分離させて、異なる固体撮像素子にそれぞれの反射光を受光させてもよい。その場合、第１の実施形態と同様の方法で、波長λ_Ａ、λ_Ｂ、λ_Ｃのそれぞれの反射光の強度を用いて、被写体の奥行き距離を求めることができる。
【００９４】
以上述べたように、本実施形態の画像撮像装置によれば、被写体の奥行き距離測定には赤外光を用いるため、被写体に自然光や照明光が照射された自然な条件のもとでも、被写体の奥行き距離を測定することができる。したがって、被写体の奥行き距離測定のために、部屋を暗室にする必要がない。また、可視光領域の反射光を分離させて撮像することができるため、被写体の奥行き分布を測定すると同時に、被写体の画像を撮影することができる。撮影された被写体の画像から奥行き分布に基づいて、主要被写体を抽出したり、背景と人物像を分離するなど、被写体の奥行き分布を用いた、被写体の画像処理が可能である。
【００９５】
（実施形態４）
本発明の第４の実施形態を説明する。本実施形態の画像撮像装置は、第１、第２、第３の実施形態の画像撮像装置と比較して、照射部１００と撮像部１２０の光軸を同一にするために、ハーフミラー１７と１８を用いた点だけが異なる。図２２は、本実施形態の照射部１００と撮像部１２０の構成図である。第１の実施形態において、ハーフミラー１７と１８を用いた例を示すが、第２、第３の実施形態においても同様の構成を取ることができる。照射部１００の光源１０Ａと１０Ｂの放射位置は距離Ｌだけ離れており、光源１０Ｂからの照射光はハーフミラー１７に反射し、さらにハーフミラー１８に反射して、物体２に照射される。光源１０Ａからの照射光はハーフミラー１７を通過し、ハーフミラー１８に反射して、物体２に照射される。被写体からの反射光はハーフミラー１８と通過し、撮像部１２０の光学レンズ２０によって結像される。
【００９６】
本実施形態では、照射部１００と撮像部１２０の光軸が光学的に同軸であるため、照射部１００によって照射された被写体を撮像部１２０が撮影する際、影になって撮影できない領域が生じることがない。したがって照射された被写体の全領域の奥行き分布を算出することができ、奥行き距離を算出できない死角が生じることはない。また、照射部１００と撮像部１２０の光軸を同軸にすることにより、画像撮像装置２００全体を小型化することができる。
【００９７】
（実施形態５）
図２３は、本発明の実施形態５にかかる原理説明図である。照射位置１１２及び照射位置１１４から、それぞれ強度Ｐ１，Ｐ２の光を物体１２０に照射し、物体１２０によるそれぞれの光の反射光をカメラ１１０で撮像する。カメラ１１０は、例えば電荷結合素子（ＣＣＤ）であって、複数の画素を有し、各画素単位で物体１２０の被測定部１２２及び砒素区手部の近傍１２４からの反射光を撮影し、画素毎にそれぞれの強度を検出する。カメラ１１０で撮像した反射光に基づいて物体１２０の被測定部１２２までの距離Ｌ、被測定部１２２の表面の傾きθ_０及び、被測定部１２２の表面の反射率Ｒ_Ｏｂｊを算出する。照射位置（１１２，１１４）は、任意の位置に配置されてよい。照射位置（１１２，１１４）から物体１２０に照射される光の照射角のうち、いずれかを算出するが、本例においては、カメラ１１０を、照射位置（１１２，１１４）のいずれか一つと光学的に同じ位置に配置し、カメラ１１０が撮像する反射光の入射角に基づいて物体１２０に照射される光の照射角を算出する。本例においては、照射位置１１２とカメラ１１０を光学的に同じ位置に配置した場合について説明する。
【００９８】
図２３に示すように、照射位置１１４は、照射位置１１２からＬ_１２離れた位置に配置される。距離Ｌ_１２は、計測系固有の既知の値である。また、照射位置（１１２，１１４）から物体１２０の被測定部１２２に光を照射する角度をそれぞれθ_１、θ_２とし、照射位置（１１２，１１４）から物体１２０の被測定部の近傍１２４に光を照射する角度をそれぞれθ_１’、θ_２’とする。また、カメラ１１０は、照射位置１１２と光学的に同じ位置に配置されているので、被測定部１２２からの反射光を受光する角度をθ_Ｃ、被測定部の近傍１２４からの反射光を受光する角度をθ_Ｃ’とした場合、θ_Ｃ＝θ_１、θ_Ｃ’＝θ_１’である。また、照射位置１１２から被測定部１２２までの距離をそれぞれＬ_１、被測定部の近傍１２４までの距離をＬ_１’とし、照射位置１１４から被測定部までの距離をＬ_２、被測定部の近傍１２４までの距離をＬ_２’とする。
【００９９】
照射位置（１１２，１１４）から照射された光の、被測定部１２２からの反射光の強度をそれぞれＤ_１、Ｄ_２とすると、Ｄ_１、Ｄ_２は次のように与えられる。
【０１００】
【数１】

すなわち、
【数２】

となる。
【０１０１】
また、
【数３】

であるので、
【数４】

となる。また、
【０１０２】
【数５】

であり、Ｌ_１２、θ_１は既知の値であるので、θ_２はＬの関数で与えられる。すなわち、
【０１０３】
【数６】

となる。よって、
【０１０４】
【数７】

となる。ここで、Ｄ１、Ｄ_２、Ｐ_１、Ｐ_２、θ_１は、計測値又は既知の値であるので、上の式の未知数はθ_０及びＬの２つである。したがって上の条件を満たす（θ_０、Ｌ）の組み合わせを求めることができる。すなわち、被測定部１２２までの距離Ｌを仮定した場合、仮定した距離Ｌに対応する被測定部の面傾きθ_０を算出することができる。また、被測定部の近傍１２４についても、同様に被測定部の近傍１２４までの距離Ｌ’と被測定部の近傍１２４の面傾きθ_０’の組み合わせを求めることができる。
【０１０５】
本発明は、物体１２０の被測定部１２２までの距離Ｌと被測定部１２２の面傾きθ_０との組み合わせと、物体１２０の被測定部の近傍１２４までの距離Ｌ’と被測定部の近傍１２４の面傾きθ_０’との組み合わせに基づいて、被測定部１２２までの距離Ｌ及び面傾きθ_０を算出する。以下、算出方法について詳細に説明する。
【０１０６】
図２４は、被測定部１２２までの距離Ｌ、被測定部１２２の面傾きθ_０を算出する方法の一例の説明図である。まず、被測定部１２２までの距離ＬをＬａと仮定する。図２３に関連して説明した数式に基づいて、仮定した距離Ｌａに対応する被測定部１２２の面傾きθ_０を算出する。次に、算出した面傾きθ_０によって定まる被測定部１２２の面を延長し、被測定部の近傍１２４からの反射光の光路と交わる点に、被測定部の近傍１２４が存在すると仮定した場合の被測定部の近傍１２４までの仮の距離Ｌｂを算出する。このとき被測定部の近傍１２４までの仮の距離Ｌｂは、カメラ１１０と被測定部１２２までの仮の距離Ｌａ、被測定部１２２からの反射光の入射角θ_１、被測定部の近傍１２４からの反射光の入射角θ_１’及び、被測定部１２２の面傾きθ_０に基づいて幾何的に算出することができる。
【０１０７】
次に、算出した仮の距離Ｌｂに対応する、被測定部の近傍１２４の面傾きθ_０’を算出する。面傾きθ_０’は、図２３に関連して説明した数式により算出することができる。物体１２０の被測定部１２２と被測定部の近傍１２４との間隔は、微小であるので、被測定部１２２と被測定部の近傍１２４の面傾きはほぼ同一となる。したがって、算出した面傾きθ_０とθ_０’とを比較することにより、最初に仮定した被測定部１２２までの距離Ｌａが正しい値であるかを判定することができる。すなわち、面傾きθ_０とθ_０’との差が所定の範囲内であれば、仮定した距離Ｌａを被測定部１２２までの距離Ｌとすることができる。
【０１０８】
また、面傾きθ_０とθ_０’との差が所定の範囲内に無い場合は、最初に仮定した距離Ｌａの設定に誤りがあったとして、被測定部１２２までの距離Ｌを他の値に設定して同様の計算を行えばよい。図２３に関連して説明した数式を満たす、被測定部１２２までの距離Ｌが、上限値を有することは明らかであり、下限値は零であるので、仮の距離Ｌａについて、有限の範囲において調べればよい。例えば、有限の範囲の距離Ｌａについて２分探索法によって、被測定部１２２までの真の距離Ｌを抽出してよい。また、仮の距離Ｌａについて、有限の範囲で所定の距離間隔でθ_０、θ_０’の差を算出し、真の距離Ｌを抽出してもよい。また、仮の距離Ｌａについて、複数の値についてθ_０、θ_０’の差を算出し、差が最小となる仮の距離Ｌａを真の距離Ｌとしてもよい。また、被測定部の面傾き情報は、被測定部までの距離情報に基づいて、図２３に関連して説明した数式によって算出することができる。また、図２３に関連して説明した数式によって被測定部の表面反射率情報も算出することができる。
【０１０９】
図２５は、仮の距離Ｌａについての所定の範囲で所定の距離間隔で、面傾きθ_０及び面傾きθ_０’を算出した結果の一例を示す。図２５のグラフにおいて、横軸は、被測定部１２２までの仮の距離Ｌａを示し、縦軸は被測定部１２２及び被測定部の近傍１２４の面傾きを示す。本例において、物体１２０の被測定部１２２までの距離Ｌを２００ｍｍ、被測定部１２２の面傾きを０度とした。また、照射位置１１２と照射位置１１４との距離を１０ｍｍ、θ_１を２０度、仮の距離Ｌａの間隔を１０ｍｍとして計算を行った。
【０１１０】
データ１９２は、横軸に示される仮の距離Ｌａに対応する被測定部１２２の面傾きを示し、データ１９４は、被測定部の近傍１２４の面傾きを示す。仮の距離２００ｍｍにおいて、被測定部１２２及び被測定部の近傍１２４の面傾きが０度で一致する。
【０１１１】
（実施形態６）
図２６は、物体までの距離情報等を獲得する情報獲得方法の原理説明図である。照射位置２１２、照射位置２１４、照射位置２１６から、それぞれ強度Ｐ１，Ｐ２，Ｐ３の光を物体２２０に照射し、物体２２０によるそれぞれの光の反射光をカメラ２１０で撮像する。カメラ２１０は、例えば電荷結合素子（ＣＣＤ）であって、複数の画素を有し、各画素単位で物体２２０の被照射部２２４からの反射光を撮影し、画素毎にそれぞれの強度を検出する。カメラ２１０で撮像した反射光に基づいて物体２２０の被照射部２２４までの距離Ｌ、被照射部２２４の表面の傾きθ_０及び、被照射部２２４の表面の反射率Ｒ_Ｏｂｊを算出する。照射位置（２１２，２１４，２１６）及び、カメラ２１０は、任意の位置に配置されてよいが、本例においては、照射位置２１２，照射位置２１６、カメラ２１０を一直線上に配置した場合について説明する。
【０１１２】
図２６に示すように、照射位置２１６は、照射位置２１２からＬ_１２離れた位置に、照射位置２１４は、照射位置２１２からＬ_２３離れた位置に、カメラ２１０は照射位置２１２からＸ離れた位置に配置される。距離Ｌ_１２、Ｌ_２３、Ｘは、計測系固有の既知の値である。また、照射位置（２１２，２１４，２１６）が、物体２２０の被照射部２２４に、光を照射する角度をそれぞれθ_１、θ_２、θ_３とし、カメラ２１０が、被照射部２２４における反射光を受光する角度をθ_Ｃとする。このうち、θ_Ｃは、カメラ２１０の画素毎に撮影された反射光に基づいて算出される。また、照射位置（２１２，２１４，２１６）から被照射部２２４までの距離をそれぞれＬ_１、Ｌ_２、Ｌ_３とする。
【０１１３】
照射位置（２１２，２１４，２１６）から照射された光の、被照射部２２４における反射光の強度をそれぞれＤ_１、Ｄ_２、Ｄ_３とすると、Ｄ_１、Ｄ_２、Ｄ_３は、次のように与えられる。
【０１１４】
【数８】

すなわち、
【数９】

ただし、ｆ（）は関数とする。また、
【０１１５】
【数１０】

であるので、
【数１１】

となる。また、
【０１１６】
【数１２】

であり、Ｘ、Ｌ_１２、θ_Ｃは既知の値であるので、θ_１、θ_２、θ_３はそれぞれＬの関数で与えられる。すなわち、
【０１１７】
【数１３】

となる。よって、
【０１１８】
【数１４】

となる。Ｄ_１、Ｄ_２、Ｄ_３、θ_Ｃ、Ｐ_１、Ｐ_２、Ｐ_３は、計測値又は既知の値であるので、上の２式から、未知数θ_０、Ｌを求めることができる。また、θ_０が求まれば、Ｄ_１、Ｄ_２、Ｄ_３のいずれかの式からＲ_ｏｂｊを求めることができる。以上より、光学的に異なる３点以上の照射位置から照射した光の、物体による反射光をそれぞれ撮像することにより、物体までの距離情報、物体の表面の傾き情報及び、物体の表面の反射率情報を算出することができる。
【０１１９】
本例においては、照射位置２１２、照射位置２１６、カメラ２１０を一直線上に配置したが、各要素間の距離がわかっていれば、反射光により、物体までの距離情報、物体の表面の傾き情報及び、物体の表面の反射率情報を算出できることは明らかである。
【０１２０】
以上説明した情報獲得方法によれば、物体２２０の表面の傾き等による誤差を無くし、物体２２０までの距離情報を獲得することができる。また、物体２２０の表面の傾き情報、物体２２０の表面の反射率情報を獲得することができる。
【０１２１】
ただし、照射位置（２１２，２１４，２１６）が一直線上に配置されている場合は、図２６に関連して説明した方法では、物体までの距離情報等を算出することができない。以下、照射位置（２１２，２１４，２１６）が一直線上に配置されている場合において、物体までの距離情報、物体の表面の傾き情報及び、物体表面の反射率情報の獲得方法について説明する。
【０１２２】
図２７は、照射位置が一直線上に配置された場合の、物体までの距離情報等を獲得する情報獲得方法の説明図である。照射位置２１２、照射位置２１４、照射位置２１６から、それぞれ強度Ｐ１，Ｐ２，Ｐ３の光を物体２２０に照射し、物体２２０によるそれぞれの光の反射光をカメラ２１０で撮像する。
【０１２３】
図２７に示すように、照射位置２１６は、照射位置２１２からＬ_１３離れた位置に、照射位置２１４は、照射位置２１２からＬ_１２離れた位置に、カメラ２１０は照射位置２１２と実質的に同位置に配置される。距離Ｌ_１２、Ｌ₁ _３は、計測系固有の既知の値である。また、照射位置（２１２，２１４，２１６）が、物体２２０の被照射部２２４に、光を照射する角度をそれぞれθ_１、θ_２、θ_３とし、カメラ２１０が、被照射部２２４における反射光を受光する角度をθ_Ｃとする。このうち、θ_Ｃは、カメラ２１０の画素毎に撮影された反射光に基づいて算出される。本例においては、カメラ２１０が照射位置２１２と同一の位置に配置されているのでθ_Ｃ＝θ_１である。また、照射位置（２１２，２１４，２１６）から被照射部２２４までの距離をそれぞれＬ_１、Ｌ_２、Ｌ_３とする。
【０１２４】
照射位置（２１２，２１４，２１６）から照射された光の、被照射部２２４における反射光の強度をそれぞれＤ_１、Ｄ_２、Ｄ_３とすると、Ｄ_１、Ｄ_２、Ｄ_３は、次のように与えられる。
【０１２５】
【数１５】

すなわち、
【数１６】

である。また、
【０１２６】
【数１７】

であるので、
【数１８】

となる。また、
【０１２７】
【数１９】

であり、θ_１はθ_Ｃと等しく、Ｌ_１２、Ｌ_１３、θ_Ｃは既知であるのでθ_２、θ_３はＬの関数で与えられる。すなわち、
【０１２８】
【数２０】

となる。よって、
【０１２９】
【数２１】

となる。Ｄ_１、Ｄ_２、Ｄ_３、θ_Ｃ、Ｐ_１、Ｐ_２、Ｐ_３は、計測値又は既知の値であるので、上の２式から、未知数θ_０、Ｌを求めることができる。また、θ_０が求まれば、Ｄ_１、Ｄ_２、Ｄ_３のいずれかの式からＲ_ｏｂｊを求めることができる。以上より、光学的に一直線上にある３点の照射位置から照射した光の、物体２２０による反射光を、３点の照射位置のいずれか一つと光学的に同位置でそれぞれ撮像することにより、物体までの距離情報、物体の表面の傾き情報及び、物体の表面の反射率情報を算出することができる。本例においては、照射位置２１２とカメラ２１０の位置を実質的に同一としたが、θ_１、θ_２、θ_３のいずれかとθ_Ｃを同一とすればよいので、照射位置２１４又は照射位置２１６のいずれかと、カメラ２１０の位置を実質的に同一としてもよいことは明らかである。
【０１３０】
図２７に関連して説明した情報獲得方法では、カメラ２１０と照射位置（２１２，２１４，２１６）のいずれかとの光軸が光学的に同軸であるため、照射位置（２１２，２１４，２１６）から照射された物体２２０をカメラ２１０が撮像する際、影になって撮像できない領域を少なくすることができる。また、カメラ２１０と照射位置（２１２，２１４，２１６）のいずれかとの位置が実質的に同じとすることで、カメラ２１０と照射位置との距離を予め調べる必要が無く、また、カメラ２１０と照射位置との距離測定における誤差を無くすことができる。
【０１３１】
図２６又は図２７に関連して説明した情報獲得方法においては、３点の照射位置から物体２２０に光を照射したが、他の例においては、３点以上の照射位置から物体２２０に光を照射してもよい。また、反射光の強度に基づいて、物体２２０までの距離情報、物体２２０の表面の傾き情報及び、物体２２０の表面の反射率情報を算出することが好ましい。また、カメラ２１０の画素毎に、距離情報、傾き情報及び、反射率情報を算出し、物体２２０の距離情報、傾き情報及び反射率情報の分布を算出してもよい。
【０１３２】
また、図２６又は図２７に関連して説明した情報獲得方法において、３点の照射位置から照射される光は、それぞれ異なる波長を主要な波長成分とし、それぞれの照射位置において、実質的に同時に物体２２０に光を照射してもよい。このとき、カメラ２１０は、異なる波長の光をそれぞれ選択的に透過させる波長選択手段を有し、それぞれの照射位置から照射された光により物体２２０からの反射光をそれぞれ撮像することが好ましい。異なる波長を主要な波長成分とする光を同時に物体２２０に照射することにより、動きのある物体についても、距離情報、傾き情報及び、反射率情報を精度よく獲得することが可能となる。しかし、物体２２０の表面の反射率は、光の波長によってことなるので、測定結果に誤差が生じる。誤差を小さくするためには、波長による反射率の違いを補正する必要がある。
【０１３３】
図２８は、波長による物体２２０の表面の反射率の違いを補正した情報獲得方法の説明図である。一例として図２８（ａ）に示すように、照射位置２１２から照射された光の波長をλ_ａ、照射位置２１４から照射された光の波長をλ_ｂ及びλ_Ｃ、照射位置２１６から照射された光の波長をλ_ｄ、λ_ｅとする。また、照射位置２１２から照射された光の強度をＰ_１、照射位置２１４から照射された光の強度をＰ_２、照射位置２１６から照射された光の強度をＰ_３とし、それぞれの波長毎の反射光の強度をＷ_ａ、Ｗ_ｂ、Ｗ_ｃ、Ｗ_ｄ、Ｗ_ｅとする。図２８（ｂ）に示すように、照射位置２１４から強度Ｐ_２で照射された、波長λ_ｂ、λ_ｃの光の反射光の強度Ｗ_ｂ、Ｗ_ｃに基づいて、照射位置２１４から強度Ｐ_２で波長λ_ａの光が照射された場合の反射光の強度Ｗ_ｆを算出する。本例においては、波長λ_ｂ、λ_ｃに基づいて強度Ｗ_ｆを算出しているが、他の例においては、さらに多くの波長成分の反射光に基づいて強度Ｗ_ｆを算出してもよい。同様に、図２８（ｃ）に示すように、照射位置２１６から強度Ｐ_３で照射された、波長λ_ｄ、λ_ｅの光の反射光の強度Ｗ_ｄ、Ｗ_ｅに基づいて、照射位置２１４から強度Ｐ_３で波長λ_ａの光が照射された場合の反射光の強度Ｗ_ｇを算出する。算出された強度Ｗ_ｂ、Ｗ_ｃ、及び検出された強度Ｗ_ａに基づいて物体２２０までの距離情報、物体２２０の表面の傾き情報及び、物体２２０の表面の反射率情報を算出する。上述した情報獲得方法によれば、３点の照射位置において同時に光を照射するので、動きのある物体に対しても、精度良く距離情報、傾き情報、反射率情報を獲得することが可能となる。
【０１３４】
図２９は、本発明に係る情報獲得方法の一例を示すフローチャートである。本実施例における情報獲得方法は、照射段階（Ｓ２００）、撮像段階（Ｓ２０２）及び、算出段階（Ｓ２０４）を備える。
【０１３５】
照射段階（Ｓ２００）は、図２６に関連して説明したように、光学的に異なる３点以上の照射位置から、物体２２０に光を照射する。撮像段階（Ｓ２０２）は、３点以上の照射位置から照射された光による物体からの反射光をそれぞれ撮像する。算出段階（Ｓ２０４）は、撮像段階によって撮像された反射光に基づいて、物体２２０までの距離情報、物体２２０の表面の傾き情報、物体２２０の表面の反射率情報を算出する。
【０１３６】
照射段階（Ｓ２００）は、図２７に関連して説明した情報獲得手段と同様に、光学的に一直線上にある３点の照射位置から物体２２０に光を照射し、また、撮像段階（Ｓ２０２）は、３点以上の照射位置のいずれか一つと光学的に同位置で、３点以上の照射位置からの光の反射光をそれぞれ撮像してもよい。
【０１３７】
また、算出段階（Ｓ２０４）は、図２６又は図２に関連して説明したように、反射光の強度に基づいて物体２２０までの距離情報、物体２２０の表面の傾き情報、物体２２０の表面の反射率情報を算出してもよい。また、照射段階（Ｓ２００）は、光学的に三角形を形成する３点の照射位置から、物体２２０に光を照射してもよい。
【０１３８】
また、照射段階（Ｓ２００）は、図２８に関連して説明した情報獲得方法と同様に、それぞれの照射位置において、異なる波長の光を物体２２０に照射し、それぞれの照射位置において、実質的に同時に物体２２０に光を照射してもよい。この場合、撮像段階（Ｓ２０２）は、異なる波長の光のそれぞれを選択的に透過させる波長選択手段を有し、それぞれの照射位置における光による物体２２０からの反射光をそれぞれ撮像することが好ましい。
【０１３９】
以上述べたように、本発明の画像撮像装置及び距離測定方法によれば、異なる波長特性を有する光を異なる放射位置から同時に被写体に照射し、被写体からの反射光を波長特性に合わせて光学的に分離し、強度を測定することにより、被写体の奥行き距離を簡便に算出することができる。
【０１４０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができる。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１４１】
そのような変更例として、上記の説明では、光が照射された被写体から得られる出射光の一例として反射光を撮像し、反射光の強度の違いから被写体までの距離を求めたが、被写体が光を透過する透明もしくは半透明の物体である場合、被写体を透過した透過光の強度の違いから被写体の奥行き距離を求めることもできる。
【０１４２】
【発明の効果】
上記説明から明らかなように、本発明によれば、光が照射された被写体から得られる出射光を撮影することにより、被写体の奥行き距離を簡便に測定することができる。
【図面の簡単な説明】
【図１】本発明の原理説明図である。
【図２】第１の実施形態の画像撮像装置２００の構成図である。
【図３】第１の実施形態の照射部１００と撮像部１２０の構成図である。
【図４】第１の実施形態の処理部６０の構成図である。
【図５】光強度検出部６４と奥行き算出部６６による奥行き距離計算方法の説明図である。
【図６】補間によって仮の反射光の強度を求める方法の説明図である。
【図７】外挿によって仮の反射光の強度を求める方法の説明図である。
【図８】光源１０Ａ、１０Ｂによるそれぞれの反射光から仮の反射光強度を求める方法を説明する図である。
【図９】長波長または短波長の光のみを透過させるバンドパスフィルターを用いて照射した場合の仮の反射光強度を求める方法を説明する図である。
【図１０】３種の物体の表面反射率を示す図である。
【図１１】受光部４０に設けられる特定波長成分を透過する光学フィルターを説明する図である。
【図１２】第１の実施形態の距離測定方法のフローチャートである。
【図１３】奥行き距離算出処理Ｓ１１０のフローチャートである。
【図１４】奥行き距離算出処理Ｓ１１０の変形例のフローチャートである。
【図１５】第２の実施形態の照射部１００と撮像部１２０の構成図である。
【図１６】第２の実施形態の処理部６０の構成図である。
【図１７】光強度検出部６４と奥行き算出部６６による奥行き距離計算方法の説明図である。
【図１８】バンドカットフィルターを用いて反射光を分離する方法を説明する図である。
【図１９】第２の実施形態の距離測定方法のフローチャートである。
【図２０】第３の実施形態の照射部１００と撮像部１２０の構成図である。
【図２１】第３の実施形態の処理部６０の構成図である。
【図２２】第４の実施形態の照射部１００と撮像部１２０の構成図である。
【図２３】本発明実施形態５に係る原理説明図である。
【図２４】被測定部１２２までの距離Ｌ、被測定部１２２の面傾きθ０を算出する方法の一例の説明図である。
【図２５】仮の距離Ｌａについての所定の範囲で所定の距離間隔で、面傾きθ０及び面傾きθ０’を算出した結果の一例を示す。
【図２６】本発明実施形態５に係る情報獲得方法の原理説明図である。
【図２７】照射位置が一直線上に配置された場合の、情報獲得方法の説明図である。
【図２８】波長による物体２０の表面の反射率の違いを補正した情報獲得方法の説明図である。
【図２９】情報獲得方法の一例を示すフローチャートである。
【符号の説明】
１０光源１２光学フィルター
２０光学レンズ３０分光部
４０受光部６０処理部
６２画像メモリ６４光強度検出部
６６奥行き算出部６７画像補正部
６８記録部８０制御部
１００照射部１２０撮像部
２００画像撮像装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image capturing apparatus and a distance measurement method for acquiring information related to the depth distance of a subject. In particular, the present invention relates to an image capturing apparatus and a distance measurement method that captures information on the depth of a subject by photographing emitted light obtained from the subject irradiated with light.
[0002]
[Prior art]
In order to obtain distance information to an object and position information of an object, a method of 3D image measurement is known in which pattern light such as a slit or a stripe pattern is projected onto an object, and the pattern projected on the object is photographed and analyzed. ing. Typical measurement methods include the slit light projection method (also known as the light cutting method), the coded pattern light projection method, and so on.
[0003]
Japanese Patent Laid-Open Nos. 61-155909 (published on July 15, 1986) and Japanese Patent Laid-Open No. 63-23312 (published on September 29, 1988) radiate light from different light source positions onto a subject. A distance measuring device and a distance measuring method for measuring the distance to a subject based on the intensity ratio of the reflected and reflected light from the subject are disclosed.
[0004]
In Japanese Patent Laid-Open No. 62-46207 (publication date: February 28, 1987), a subject is irradiated with two lights having different phases, and the distance to the subject is determined based on the phase difference of reflected light from the subject. A distance detection device for measuring the above is disclosed.
[0005]
Hebei et al., “Development of Axi-Vision Camera 3D Imager” (3D Image Conference 99, 1999) adds high-speed intensity modulation to projected light, and subjects illuminated by intensity-modulated light at high speed. A method is disclosed in which a distance is measured from an intensity modulation degree that varies depending on the distance to a subject, which is taken with a camera having a shutter function.
[0006]
[Problems to be solved by the invention]
The conventional measurement method using the light projection method measures the distance to the subject area onto which the projection pattern is projected, based on the principle of triangulation. Therefore, in order to obtain a high resolution for distance measurement, in principle, it is necessary to dispose the projection optical system and the photographing optical system sufficiently apart from each other, resulting in a problem that an increase in the size of the measuring apparatus cannot be avoided. In addition, since the optical axes of the projection optical system and the photographing optical system are separated from each other, when viewed from the photographing optical system, there is a place where the projected pattern is hidden behind the subject and cannot be observed, and distance information is obtained. There was also a problem that there was no “dead spot”.
[0007]
In the distance measuring apparatus and the distance measuring method disclosed in JP-A-61-155909 and JP-A-63-233312, it is necessary to sequentially irradiate light at different radiation positions and measure each reflected light. Therefore, there is a time difference in measurement. Therefore, in the case of a moving subject, there arises a problem that the distance cannot be measured. Further, there is a possibility that a measurement error may occur due to shaking of the photographing apparatus during irradiation with changing the position of the light source.
[0008]
In the case of light having different wavelength characteristics, it is possible to measure the reflected light intensity by irradiating simultaneously and spectroscopically reflecting the reflected light using a filter that matches the wavelength characteristics of the irradiated light. However, when the spectral reflectance of the object is different, the reflected light intensity varies due to the difference in the wavelength of the irradiating light. There was a problem of being unable to do so.
[0009]
The distance detection device disclosed in Japanese Patent Application Laid-Open No. 62-46207 requires a highly accurate phase detector for detecting a phase difference, which makes the device expensive and lacks simplicity. Further, since the phase of the reflected light from the point of the subject is measured, the depth distribution of the entire subject cannot be measured.
[0010]
In addition, the distance measurement method using intensity modulation disclosed in Hebei et al. “Development of 3D Imager Axi-Vision Camera” (3D Image Conference 99, 1999) uses light modulation and optical shutter operation very quickly. There is a problem that the measuring apparatus becomes large and expensive and cannot be measured easily.
[0011]
Accordingly, an object of the present invention is to provide an image capturing apparatus and a distance measuring apparatus that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
[0012]
[Means for Solving the Problems]
In order to solve the above-described problem, in the first embodiment of the present invention, there is provided an image pickup apparatus that acquires information related to the depth of a subject, the first irradiation light having a first wavelength as a main wavelength component, and The irradiation unit that irradiates the subject from the optically different radiation position with the second irradiation light having the second and third wavelengths different from the first wavelength as main wavelength components, and the irradiation unit And a depth calculation unit that calculates a depth distance to the subject based on light emitted from the subject irradiated with the second irradiation light.
[0013]
The irradiating unit may irradiate the first and second irradiation lights at the same time. An optical imaging unit that images emitted light obtained from the subject irradiated with the first and second irradiated light by the irradiating unit, and first emitted light having a first wavelength from the emitted light obtained from the subject. And the second outgoing light having the second wavelength and the third outgoing light having the third wavelength are optically separated, and the optical imaging part is imaged by the spectral part. A light receiving unit that receives the first, second, and third outgoing light, and a light intensity detection unit that detects the intensity of the first, second, and third outgoing light received by the light receiving unit, The calculation unit may calculate the depth distance to the subject using the intensity of the first, second, and third emitted light.
[0014]
The light receiving unit has a three-plate solid-state image sensor, and the spectroscopic unit separates the first, second, and third emitted light using an optical path dividing unit, and each of them is one of the three-plate solid-state image sensor. One light may be received. The light receiving unit includes a solid-state image sensor, and the spectroscopic unit includes a first optical filter that transmits light having a first wavelength, a second optical filter that transmits light having a second wavelength, and a third optical filter. A third optical filter that transmits light of a wavelength, and the first, second, and third optical filters may be alternately arranged on the light receiving surface of the solid-state imaging device.
[0015]
The irradiator has a first optical filter that transmits light in a wavelength region shorter than a predetermined first boundary wavelength, and a second optical filter that transmits light in a wavelength region longer than the predetermined second boundary wavelength. Then, the subject is irradiated with the first irradiation light transmitted through the first optical filter and the second irradiation light transmitted through the second optical filter from an optically different radiation position. A first optical filter that transmits light of a first wavelength shorter than the shorter one of the first and second boundary wavelengths, and a second and third wavelength longer than the longer one of the first and second boundary wavelengths The second and third optical filters that respectively transmit the first light, and the first outgoing light having the first wavelength is separated by transmitting the outgoing light obtained from the subject to the first optical filter. And second and third optical filters for the emitted light, respectively. In by transmitting a third outgoing light may be separated with the second outgoing light and the third wavelength having a second wavelength.
[0016]
The depth calculation unit may calculate the depth distance to the subject using a value based on the intensity of the second and third outgoing lights and the intensity of the first outgoing light. The depth calculation unit tentatively emits light from the subject when it is assumed that light having the first wavelength is emitted from the radiation position of the second irradiation light based on the intensities of the second and third emission lights. And the depth distance to the subject may be calculated using the intensity of the first outgoing light and the intensity of the temporary outgoing light. The depth calculation unit may calculate the depth distance to the subject using the average intensity of the second emitted light and the third emitted light and the intensity of the first emitted light.
[0017]
In the second embodiment of the present invention, the image pickup apparatus acquires information related to the depth of the subject, and the first irradiation light having the first wavelength as the main wavelength component is different from the first wavelength. An irradiation unit that irradiates the subject from the optically different radiation position with the second irradiation light having the second and third wavelengths as main wavelength components, and the irradiation unit emits the first and second irradiation light. And a depth calculation unit that calculates a depth distance to the subject based on the emitted light from the subject.
[0018]
The irradiating unit may irradiate the first and second irradiation lights at the same time. The irradiation unit includes a first irradiation light having a first wavelength as a main wavelength component, a second wavelength shorter than the first wavelength, and a third wavelength longer than the first wavelength as a main wavelength component. An optical imaging unit that irradiates the subject with the second irradiation light that is optically different from the radiation position and images the emitted light from the subject irradiated with the first and second irradiation light by the irradiation unit; A spectroscopic unit that optically separates the first outgoing light having the first wavelength and the second outgoing light having the second and third wavelengths from the outgoing light obtained from the subject; A light receiving unit that receives the first outgoing light and the second outgoing light that are separated and imaged by the optical imaging unit, and a light intensity detection that detects the intensity of the first and second outgoing light received by the light receiving unit. And a depth calculation unit using the first and second emitted light intensities to obtain a depth distance to the subject. Calculation may be.
[0019]
The light receiving unit has two plates of the solid-state imaging device, and the spectroscopic unit optically branches the optical paths of the first outgoing light and the second outgoing light by using the optical path dividing means, and each of the two solid plates. Any one of the imaging elements may receive light. The light receiving unit includes a solid-state imaging device, and the spectroscopic unit includes a first optical filter that transmits light of the first wavelength and a second optical filter that transmits light of the second and third wavelengths. And the first optical filter and the second optical filter may be alternately arranged on the light receiving surface of the solid-state imaging device.
[0020]
The depth calculation unit may calculate the depth distance to the subject based on a ratio between the intensity of the first emitted light and a value that is half the intensity of the second emitted light.
[0021]
In the first and second embodiments described above, an optical axis when the irradiating unit irradiates the subject with the first and second irradiation lights, and an optical axis when the imaging unit images the emitted light from the subject. May be substantially the same. The light intensity detection unit detects the intensity of the first and second emitted light in each pixel of the subject image captured by the light receiving unit, and the depth calculation unit determines the depth to the subject region corresponding to each pixel. , The depth distribution of the subject may be calculated.
[0022]
In the first and second embodiments, the first and second irradiation lights are light in the infrared region, and the spectroscopic unit further includes means for optically separating visible light from the emitted light obtained from the subject. The light receiving unit is further optically separated by the spectroscopic unit and further includes a visible light solid-state imaging device that receives visible light formed by the optical imaging unit, and is visible together with the depth distribution of the subject calculated by the depth calculation unit. You may further provide the recording part which records the image of the to-be-photographed object by the solid-state image sensor for light.
[0023]
In the first and second embodiments, the irradiation unit performs irradiation based on at least one of the intensity of light emitted from the subject detected by the light intensity detection unit and the depth distance to the subject calculated by the depth calculation unit. You may further provide the control part which controls at least 1 of the light emission time of the 1st and 2nd irradiation light to perform, an intensity | strength, a radiation position, and the exposure time of the light-receiving part.
[0024]
According to a third aspect of the present invention, there is provided a distance measuring method for acquiring information related to the depth of a subject, and the first irradiation light having the first wavelength as a main wavelength component is different from the first wavelength. An irradiation stage in which the subject is irradiated simultaneously with the second irradiation light having the second and third wavelengths as main wavelength components from the optically different radiation positions, and the first and second irradiation lights were irradiated. From the emitted light obtained from the subject, the first emitted light having the first wavelength, the second emitted light having the second wavelength, and the third emitted light having the third wavelength are optically changed. Spectroscopic stage for separating, imaging stage for imaging the separated first, second and third outgoing lights, and light intensity detecting stage for detecting the intensity of the taken first, second and third outgoing lights And the depth distance to the subject is calculated using the intensities of the first, second and third outgoing lights. Characterized in that a depth calculation step.
[0025]
In the depth calculation step, the depth distance to the subject may be calculated using a value based on the intensity of the second and third emitted lights and the intensity of the first emitted light. In the depth calculation stage, provisional outgoing light from the subject when it is assumed that light having the first wavelength is emitted from the radiation position of the second irradiation light based on the intensities of the second and third outgoing lights. The depth distance to the subject may be calculated based on the ratio of the intensity of the first outgoing light and the intensity of the temporary outgoing light. In the depth calculation step, the depth distance to the subject may be calculated based on the ratio between the average intensity of the second emitted light and the third emitted light and the intensity of the first emitted light.
[0026]
According to a fourth aspect of the present invention, there is provided a distance measurement method for acquiring information related to the depth of a subject, the first irradiation light having a first wavelength as a main wavelength component, and a first wavelength shorter than the first wavelength. An irradiation stage for simultaneously irradiating the subject with the second irradiation light having the main wavelength component of the second wavelength and the third wavelength longer than the first wavelength from the optically different radiation positions; The first outgoing light having the first wavelength and the second outgoing light having the second and third wavelengths are optically separated from the outgoing light obtained from the subject irradiated with the second irradiation light. A spectroscopic stage; an imaging stage for imaging the separated first outgoing light and second outgoing light; and a light intensity detection stage for detecting the intensity of the received first outgoing light and second outgoing light, respectively. Using the intensity of the first outgoing light and the intensity of the second outgoing light, Characterized in that a depth calculation step of calculating the distance can.
[0027]
In the depth calculation step, the depth distance to the subject may be calculated based on the ratio between the intensity of the first emitted light and the half value of the intensity of the second emitted light.
[0028]
The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all combinations of features described in the embodiments are described below. However, this is not always essential for the solution of the invention.
[0030]
(Embodiment 1)
A first embodiment of the present invention will be described. First, the basic principle of measuring the depth distance to the subject from the intensity of the reflected light from the subject will be described. FIG. 1 is an explanatory diagram of the principle of the present invention. The

light sources

6 and 8 are respectively radiated light intensity I₁, I₂Is a point light source having the same wavelength characteristics. The

light sources

6 and 8 are each a distance R from the object 2₁, R₂The distance between the radiation positions of the

light sources

6 and 8 is L. The light source 6 is caused to emit light, and the reflected light from the irradiated object 2 is photographed by the camera 5. Next, the light source 8 is caused to emit light, and the reflected light from the irradiated object 2 is photographed by the camera 5.
[0031]
The light emitted from the light source 6 is emitted in all directions. Considering a sphere with a radius r centered on the light source 6, the light density per unit area on the spherical surface with the radius r of light is
[0032]
I₁/ (4πr²)
Given in. Therefore, the distance R from the light source 6₁Reflected light intensity W from the region 4 of the object 2 existing at a position separated by₁If the surface reflectance of the object 2 is Rf,
[0033]
W₁= Rf · I₁/ (4πR₁ ²)
Given in. Similarly, the distance R from the light source 8₂Reflected light intensity W from the region 4 of the object 2 existing at a position separated by₂Is
[0034]
W₂= Rf · I₂/ (4πR₂ ²)
Given in.
[0035]
Reflected light intensity W from light source 6₁And reflected light intensity W from the light source 8₂Ratio W_RIs
W_R= W₁/ W₂= (I₁・ R₂ ²) / (I₂・ R₁ ²)
Is required. This and R₂-R₁If the radiation position interval L between the light source 6 and the light source 8 is known from the relationship of = L, the reflected light intensity ratio W_RAnd measure the distance R₁The formula
[0036]
R₁= L / {(W_R・ I₂/ I₁)^1/2-1}
It can ask for.
[0037]
Thus, if the light source of the same color is used, the reflected light intensity ratio W_RSince the influence of the surface reflectance Rf is canceled in the process of obtaining the information, information on the depth distance of the subject can be acquired. In this method, since the light source 6 and the light source 8 emit light in order and pick up an image, a time difference occurs in photographing. Therefore, it cannot be applied to a moving subject. Therefore, the wavelength characteristics of the light source 6 and the light source 8 are made different so that the light source 6 and the light source 8 emit light at the same time, and the reflected light from the light source 6 and the reflected light from the light source 8 are wavelength-separated from the reflected light from the subject. A method for measuring the strength of the glass can be considered. The surface reflectance of the object 2 generally varies depending on the wavelength. The surface reflectivity when irradiated with light of wavelength λ is Rf (λ). The wavelength of the light source 6 is λ₁, The wavelength of the light source 8 is λ₂Then, the reflected light intensity W from the light source 6₁Is
[0038]
W₁= Rf (λ₁) ・ I₁/ (4πR₁ ²)
Given in. On the other hand, the reflected light intensity W from the light source 8₂Is
[0039]
W₂= Rf (λ₂) ・ I₂/ (4πR₂ ²)
Given in.
[0040]
Since there is a difference in surface reflectance depending on the wavelength, the reflected light intensity ratio W_RHowever, since the term of the surface reflectance Rf is not canceled, it is impossible to acquire information on the depth distance of the subject. Wavelength λ₁And λ₂The surface reflectance Rf (λ₁) And Rf (λ₂), Ignoring the difference, reflected light intensity ratio W_RIt is possible to calculate the depth distance of the subject, but an error occurs in the calculation. Surface reflectance Rf (λ₁) And Rf (λ₂In order to reduce the calculation error due to the difference in₁And λ₂The difference between the two must be small enough, but the wavelength λ₁And λ₂If the difference is made smaller, the accuracy of wavelength separation becomes worse, and errors are included in the intensity measurement for each wavelength. Therefore, in order to increase the resolution of wavelength separation and increase the accuracy of intensity measurement, the wavelength λ₁And λ₂Must be increased and the surface reflectance Rf (λ₁) And Rf (λ₂) To reduce the difference and increase the accuracy of distance measurement, the wavelength λ₁And λ₂The dilemma of having to reduce the difference between the two is naturally limited in improving the accuracy of distance measurement.
[0041]
Therefore, in this embodiment, the subject is irradiated with light having the first wavelength characteristic and light having the second wavelength characteristic different from the first wavelength characteristic from an optically different radiation position at the same time. The light having the first wavelength characteristic is temporarily separated using the reflected light having the second wavelength characteristic by optically separating the reflected light by the light having the wavelength characteristic and the reflected light by the light having the second wavelength characteristic. Is obtained from the radiation position of the light having the second wavelength characteristic, the provisional reflected light intensity that will be obtained from the subject is obtained, and the reflected light intensity of the first wavelength characteristic and the provisional reflected light intensity Based on the ratio, the depth distance of the subject is calculated. By obtaining the provisional reflected light intensity, the difference in surface reflectance depending on the wavelength can be canceled, so that the depth distance can be obtained accurately.
[0042]
FIG. 2 is a configuration diagram of the image capturing apparatus 200 of the present embodiment. As the image capturing apparatus 200, a digital still camera, a digital video camera capable of capturing a still image, or the like can be considered. The image capturing apparatus 200 includes an irradiation unit 100, an image capturing unit 120, a processing unit 60, and a control unit 80.
[0043]
The irradiation unit 100 irradiates the subject with light, and the imaging unit 120 images the subject irradiated by the irradiation unit 100. The processing unit 60 processes the subject image picked up by the image pickup unit 120, obtains the depth distance of the picked up subject, and records it as the depth distribution information of the subject. The processing unit 60 can also record the subject image captured by the imaging unit 120. The control unit 80 performs feedback control based on the depth distance of the subject obtained by the processing unit 60, controls the intensity of light emitted by the irradiation unit 100, the timing of light emission, the light emission time, the radiation position, and the like, and the imaging unit 120. To control the exposure time and the like.
[0044]
The irradiation unit 100 includes

light sources

10A and 10B and

optical filters

12A and 12B. The

light sources

10A and 10B are installed at different positions, and light from the

light sources

10A and 10B passes through the

optical filters

12A and 12B that transmit specific wavelength components, respectively, and is simultaneously irradiated onto the subject. The irradiation unit 100 inserts an optical lens such as a condenser lens into the optical path of the irradiation light when it is desired to efficiently use the light amount or when the difference between the radiation positions of the

light sources

10A and 10B is optically increased. The light may be condensed, or the optical emission position of the irradiation light may be changed by a lens effect.
[0045]
The imaging unit 120 includes an optical lens 20 as an example of an optical imaging unit, a spectroscopic unit 30, and a light receiving unit 40. The optical lens 20 forms an image of reflected light from the subject. The spectroscopic unit 30 separates the wavelength of the reflected light from the subject in accordance with the wavelength characteristics irradiated by the irradiation unit 100. The light receiving unit 40 receives the reflected light that is imaged by the optical lens 20 and wavelength-separated by the spectroscopic unit 30.
[0046]
The light receiving unit 40 is a solid-state image sensor as an example. The subject image is formed on the light receiving surface of the solid-state imaging device. Charges are accumulated in each sensor element of the solid-state imaging device in accordance with the amount of light of the imaged subject image, and the accumulated charges are scanned in a certain order and read out as electrical signals.
[0047]
The solid-state imaging device is preferably a charge coupled device (CCD) image sensor having a good S / N ratio and a large number of pixels so that the intensity of reflected light from the subject can be detected with high accuracy in units of pixels. . In addition to the CCD, any of a MOS image sensor, a CdS-Se contact image sensor, an a-Si (amorphous silicon) contact image sensor, or a bipolar contact image sensor may be used as the solid-state imaging device.
[0048]
The processing unit 60 includes an image memory 62, a light intensity detection unit 64, a depth calculation unit 66, an image correction unit 67, and a recording unit 68. The image memory 62 stores the image of the subject captured by the imaging unit 120 in accordance with the wavelength characteristics of the irradiation light irradiated by the irradiation unit 100. The light intensity detector 64 detects the intensity of the reflected light from the subject image stored in the image memory 62 in units of pixels or pixel areas. Based on the reflected light intensity detected by the light intensity detection unit 64, the depth calculation unit 66 calculates a depth distance to the subject area captured in each pixel area. The recording unit 68 records the distribution of the depth distance of the subject calculated by the depth calculation unit 66. The image correction unit 67 performs correction such as gradation correction and white balance on the image of the subject stored in the image memory 62. The recording unit 68 records the image of the subject processed by the image correction unit 67. In addition, the light intensity detection unit 64 and the depth calculation unit 66 output information on the detection level of reflected light from the subject and the depth distribution of the subject to the control unit 80, respectively. The recording unit 68 records image data and depth distribution information in a semiconductor memory such as a flash memory or a memory card.
[0049]
The control unit 80 performs feedback control based on the depth distance of the subject obtained by the processing unit 60, controls the intensity of light irradiated by the irradiation unit 100, the timing of light emission, the light emission position, and the like. The light receiving sensitivity of the light receiving unit 40, the exposure time, and the like are controlled. The control unit 80 may control the irradiation unit 100 and the imaging unit 120 using photometric data of a photometric sensor (not shown) or distance measurement data of the distance measuring sensor. The control unit 80 may adjust the focus, aperture, exposure time, and the like of the imaging unit 120 when capturing an image of the subject based on the depth distance of the subject obtained by the processing unit 60.
[0050]
FIG. 3 is a configuration diagram of the irradiation unit 100 and the imaging unit 120 of the present embodiment. The

light sources

10A and 10B are respectively located at distances R1 and R2 from the object 2, and the radiation position interval between the

light sources

10A and 10B is L. The optical filter 12A mainly has a wavelength λ_AThe optical filter 12B mainly has a wavelength λ._B, Λ_CTransmits light having The irradiation unit 100 has a wavelength λ from the position of the light source 10A._ALight having a wavelength λ from the position of the light source 10B._BAnd λ_CThe object 2 is simultaneously irradiated with light having
[0051]
The optical lens 20 of the imaging unit 120 forms an image of the reflected light from the object 2 irradiated with light from the

light sources

10A and 10B. The spectroscopic unit 30 has a wavelength λ_A, Λ_B, Λ_CThis is a prism that divides the optical path by wavelength separation into the three lights. The

light receiving units

40A, 40B, and 40C are three-plate solid-state image sensors. Wavelength λ separated by the spectroscopic unit 30_A, Λ_B, Λ_CAre received by the

light receiving portions

40A, 40B, and 40C, respectively. The light received by each of the

light receiving units

40A, 40B, and 40C is read as a charge by the photoelectric effect, converted into a digital electrical signal by an A / D converter (not shown), and input to the processing unit 60.
[0052]
FIG. 4 is a configuration diagram of the processing unit 60 of the present embodiment. The subject images output by the

light receiving units

40A, 40B, and 40C are stored in the

image memories

62A, 62B, and 62C, respectively. The light intensity detector 64 uses the image data stored in each of the

image memories

62A, 62B, and 62C, and uses the wavelength λ._A, Λ_B, Λ_CThe intensity of the reflected light is detected. The depth calculation unit 66 uses the wavelength λ detected by the light intensity detection unit 64._A, Λ_B, Λ_CThe distance R1 from the light source 10A to the region 4 of the object 2 is obtained using the intensity of the reflected light. The depth calculation unit 66 calculates the depth distance to the pixel or the area of the subject imaged in the pixel area in units of pixels of the captured image or the pixel area, and calculates and outputs the depth distribution of the object. The recording unit 68 records the depth distribution information of the subject.
[0053]
The light intensity detector 64 detects the detected wavelength λ_A, Λ_B, Λ_CThe intensity of the reflected light is output to the control unit 80. The depth calculation unit 66 outputs the depth distribution information of the subject to the control unit 80. When the intensity level is not appropriate or the measurement accuracy of the depth distance is not good, the control unit 80 adjusts the emitted light intensity of the

light source

10A or 10B, or adjusts the emission position interval between the

light sources

10A and 10B. The control unit 80 may facilitate some of the emitted light intensity ratios of the

light sources

10A and 10B in advance, and may select the emitted light intensity ratio according to the depth distance of the subject. For example, when the subject is at a short distance, the radiated light intensity ratio is set to a value close to 1, and when the subject is at a long distance, the radiated light intensity of the light source 10B located far from the subject is increased. Alternatively, a synchrotron radiation intensity ratio may be set.
[0054]
FIG. 5 is an explanatory diagram of a depth distance calculation method by the light intensity detection unit 64 and the depth calculation unit 66. The light intensity detector 64 has a wavelength λ_AReflected light intensity W_A, Wavelength λ_BReflected light W_B, Wavelength λ_CReflected light W_CAre detected respectively. The intensity of each of the

light sources

10A and 10B is I₁, I₂And the surface reflectance at the wavelength λ of the object 2 is Rf (λ), the wavelength λ_AReflected light intensity W_AIs
[0055]
W_A= Rf (λ_A) ・ I₁/ (4πR₁ ²)
And the wavelength λ_BReflected light intensity W_B, Wavelength λ_CReflected light intensity W_CIs
W_B= Rf (λ_B) ・ I₂/ (4πR₂ ²)
W_C= Rf (λ_C) ・ I₂/ (4πR₂ ²)
It is expressed.
[0056]
The depth calculation unit 66 has a wavelength λ_BReflected light intensity W_B, And wavelength λ_CReflected light intensity W_CUsing the wavelength λ_ASynchrotron radiation intensity I₂Is assumed to have been irradiated from the radiation position of the light source 10B, the intensity W of temporary reflected light obtained from the subject_DAsk for. Required W_DThe value of is ideally
[0057]
W_D= Rf (λ_A) ・ I₂/ (4πR₂ ²)
It is. Therefore, the wavelength λ_AThe intensity W of the reflected light by the light from the light source 10A having_AAnd the same wavelength λ_AIntensity W of temporary reflected light by light from light source 10B having_DThe ratio of the surface reflectance Rf (λ_A) Is canceled,
[0058]
W_A/ W_D= (I₁・ R₂ ²) / (I₂・ R₁ ²)
And this and R₂-R₁= Depth distance R of subject from L₁Can be calculated.
[0059]
Wavelength λ_BReflected light intensity W_B, And wavelength λ_CReflected light intensity W_CUsing the intensity W of temporary reflected light_DThere can be many variations in the method for obtaining. FIG. 6 is an explanatory diagram of a method for obtaining the intensity of provisional reflected light by interpolation. Wavelength λ_BReflected light intensity W_B, And wavelength λ_CReflected light intensity W_CBy interpolating the wavelength λ_ATemporary strength W_DAsk for. Temporary intensity W after linear interpolation_DOr simply wavelength λ_BReflected light intensity W_B, And wavelength λ_CReflected light intensity W_CThe intermediate value of tentative strength W_DIt is good.
[0060]
FIG. 7 is an explanatory diagram of a method for obtaining the intensity of provisional reflected light by extrapolation. Wavelength λ_BReflected light intensity W_B, And wavelength λ_CReflected light intensity W_CExtrapolated to wavelength λ_BShorter wavelength λ_ATemporary strength W_DAsk for.
[0061]
Further, there are the following modifications. FIG. 8 is a diagram for explaining a method of obtaining the provisional reflected light intensity from the respective reflected lights from the

light sources

10A and 10B. The irradiation unit 100 simultaneously emits irradiation light having wavelengths λ1 and λ2 from the light source 10A and irradiation light having wavelengths λ3 and λ4 from the light source 10B, and the imaging unit 120 receives reflected light obtained from the subject from the light source 10A. Are divided into respective reflected lights having the wavelengths λ1 and λ2 and reflected lights having the wavelengths λ3 and λ4 from the light source 10B. The light intensity detection unit 64 obtains the intensity of the reflected light of the wavelengths λ1 and λ2 from the light source 10A, and the depth calculation unit 66 assumes that the light of the wavelength λ5 is irradiated with the same intensity from the position of the light source 10A. Reflected light intensity W_AIs calculated. Further, the light intensity detection unit 64 calculates the intensity of the reflected light of the wavelengths λ3 and λ4 from the light source 10B, and the depth calculation unit 66 assumes that the light of the wavelength λ5 is irradiated with the same intensity from the position of the light source 10B. Reflected light intensity W_DIs calculated. The depth calculation unit 66 calculates the provisional reflected light intensity W._AAnd W_DThe depth distance of the subject can be calculated.
[0062]
Further, there are the following modifications. FIGS. 9A to 9D are diagrams for explaining a method of obtaining provisional reflected light intensity when irradiation is performed using a band-pass filter that transmits only long-wavelength or short-wavelength light. The optical filter 12A of the light source 10A has a first boundary wavelength λ₁The band-pass filter transmits only light having a longer wavelength, and the emitted light from the light source 10A passes through the optical filter 12A and is irradiated to the subject as light having the wavelength characteristics shown in FIG. The optical filter 12B of the light source 10B has a second boundary wavelength λ.₂The band-pass filter transmits only light having a shorter wavelength, and the emitted light from the light source 10B passes through the optical filter 12B and is irradiated onto the subject as light having the wavelength characteristics shown in FIG. 9B. First boundary wavelength λ₁Is the second boundary wavelength λ₂It may be a shorter wavelength. That is, the wavelength characteristic of the light transmitted through the

optical filters

12A and 12B is the first boundary wavelength λ.₁To the second boundary wavelength λ₂There may be overlap in the wavelength region up to. Therefore, the first boundary wavelength λ₁Is the second boundary wavelength λ₂When the wavelength is shorter, the wavelength characteristics of the light emitted from the

light sources

10A and 10B are expressed by the first boundary wavelength λ.₁To the second boundary wavelength λ₂There is an overlap in the wavelength region up to.
[0063]
The spectroscopic unit 30 has a wavelength λ_A, Λ_B, Λ_COptical filters that transmit each of the light of each wavelength, the wavelength of the reflected light obtained from the subject is separated, and the wavelength λ_A, Λ_B, Λ_CThe light receiving unit 40 receives the reflected light having The reflected light from the light source 10A has the wavelength characteristic of FIG. 9A before passing through the spectroscopic unit 30, but the wavelength λ is reflected by the optical filter as shown in FIG. 9C._AOnly the components are extracted. The same applies to the reflected light from the light source 10B, and has the wavelength characteristic of FIG. 9B before passing through the spectroscopic unit 30, but with the wavelength λ as shown in FIG._B, Λ_COnly the components are extracted. Where the wavelength λ_AIs the first boundary wavelength λ₁And the second boundary wavelength λ₂Which is longer than the longer one, and wavelength λ_B, Λ_CIs the first boundary wavelength λ₁And the second boundary wavelength λ₂It is necessary that the wavelength be shorter than the shorter one. Because the separated wavelength λ_AThe reflected light having a wavelength of λ must not include interference caused by the light emitted from the light source 10B and the separated wavelength λ._B, Λ_CThis is because each reflected light having the following must not include interference caused by the light emitted from the light source 10A. Wavelength λ_AThe intensity W of the reflected light having_ADetect the wavelength λ_B, Wavelength λ_CExtrapolate the intensity of the reflected light having_ATemporary reflected light intensity W when it is assumed that_DAsk for. Reflected light intensity ratio W_A/ W_DThe process for obtaining the depth distance of the subject from the above is as described above.
[0064]
In any of the above methods, the wavelength λ can be obtained so that the provisional reflected light intensity can be accurately obtained by processing such as interpolation, extrapolation, and averaging._BAnd wavelength λ_CIt is more preferable to set values close to each other within a range where linear interpolation or linear extrapolation is possible. FIG. 10 is a diagram showing the surface reflectance of three types of objects. The horizontal axis of the graph is wavelength, and the vertical axis is reflectance.

Graphs

302, 304, and 306 are results obtained by measuring the surface reflectance of three kinds of objects, that is, human skin, road, and leaves, respectively, with a spectrometer. Points on each graph were marked for wavelengths of 630 nm, 650 nm, and 670 nm. In the wavelength regions of 630 nm, 650 nm, and 670 nm, linear interpolation is possible for any object. In addition, a light source in the same wavelength region is easily available. Wavelength λ_A, Λ_B, Λ_CThus, it is possible to select a value in a wavelength region that allows such linear interpolation and is easily available as a light source. In addition, when image correction processing such as gradation correction performed by a normal digital camera or the like is performed on the output signal of the solid-state imaging device of the light receiving unit 40, the linearity of the signal is lost. Therefore, it is preferable to detect the intensity at the stage of the signal intensity having linearity with respect to the incident light intensity to the solid-state imaging device, and perform processing such as interpolation, extrapolation, and averaging. Alternatively, a table representing the inverse function of the signal conversion function by image correction processing such as gradation correction is prepared, and the signal output after image correction is temporarily referred to the inverse function table, and the incident light to the solid-state image sensor After converting the signal strength to linearity with respect to the strength, the strength may be detected and processing such as interpolation, extrapolation, and averaging may be performed.
[0065]
Further, in the above description, an optical splitting element that splits the optical path by wavelength separation is used as the spectroscopic unit 30, for example, a prism or a beam splitter. It may be used. FIG. 11 is a diagram illustrating an optical filter that transmits a specific wavelength component provided in the light receiving unit 40. A single-plate solid-state image sensor is used as the light-receiving unit 40, and an optical filter 32 is provided on the light-receiving surface of the solid-state image sensor. The optical filter 32 has a wavelength λ_A, Λ_B, Λ_CFilters that transmit only each of them are alternately arranged. As a result, the wavelength λ depends on the pixel of the solid-state image sensor._A, Λ_B, Λ_COf which light is received, and the wavelength λ_A, Λ_B, Λ_CCan be received after wavelength separation. Compared to the case of using a prism or a beam splitter, the single plate solid-state imaging device receives light, so that the apparatus can be miniaturized.
[0066]
In the description of the above embodiment, when targeting a subject having a large difference in surface reflectance depending on the wavelength of the irradiated light, the wavelength λ_A, Λ_B, Λ_CIt is desirable that they be as close as possible so that no error occurs in the calculation of the provisional reflected light intensity. On the other hand, in order to increase the detection accuracy of the reflected light intensity of each wavelength component, the wavelength λ_A, Λ_B, Λ_CWavelength components other than are not included as much as possible, or wavelength λ_A, Λ_B, Λ_CThe wavelength of λ_A, Λ_B, Λ_CIt is desirable to increase the resolution of the wavelength and to reduce the wavelength interference as much as possible. Therefore, the wavelength characteristics of the light source 10 of the irradiation unit 100, the wavelength transmission characteristics of the optical filter 12, and the wavelength transmission characteristics of the spectroscopic unit 30 of the imaging unit 120 are designed according to the characteristics of the surface reflectance of the subject and the required measurement accuracy. It is preferable to do.
[0067]
FIG. 12 is a flowchart of the distance measurement method of this embodiment. The irradiation unit 100 has a wavelength λ_AA first irradiation light having a main wavelength component and a wavelength λ_AA wavelength different from λ_BAnd wavelength λ_CThe object is simultaneously irradiated from the optically different radiation position with the second irradiation light whose main wavelength component is (S100).
[0068]
The optical lens 20 of the imaging unit 120 forms an image of the reflected light from the subject irradiated with the first and second irradiation lights (S102). The spectroscopic unit 30 calculates the wavelength λ from the reflected light from the subject._AA first reflected light having a wavelength λ_BA second reflected light having a wavelength λ_CIs optically separated from the third reflected light (S104).
[0069]
The light receiver 40 receives the separated first, second, and third reflected light (S106). The light intensity detection unit 64 of the processing unit 60 has the first, second, and third reflected light intensities W._A, W_B, W_CIs detected (S108).
[0070]
The depth calculation unit 66 calculates the intensity W of the first, second, and third reflected light._A, W_B, W_CIs used to calculate the depth distance to the subject (S110).
[0071]
FIG. 13 is a flowchart of the depth distance calculation process S110. Intensities W of second and third reflected light_B, W_CBased on the wavelength λ_AAnd the intensity W of the temporary reflected light from the subject when it is assumed that the light having the intensity I2 is irradiated from the radiation position of the second irradiation light_DIs obtained (S112). Temporary reflected light intensity W_DIs the intensity W of the second and third reflected light_BAnd W_CIs obtained by interpolation or extrapolation. The intensity W of the first reflected light_AAnd temporary reflected light intensity W_DRatio W_A/ W_DIs obtained (S114). Intensity I of the first and second irradiation light I₁, I₂, Radiation position interval L of first and second irradiation light, reflected light intensity ratio W_A/ W_DBased on the above, the distance to the subject is calculated (S116).
[0072]
FIG. 14 is a flowchart of a modification of the depth distance calculation process S110. Intensities W of second and third reflected light_B, W_CAverage value W_D= (W_B+ W_C) / 2 is obtained (S118). The intensity W of the first reflected light_AAnd the average intensity W of the second and third reflected light_DRatio W_A/ W_DIs obtained (S120). Intensity I of the first and second irradiation light I₁, I₂, Radiation position interval L of first and second irradiation light, reflected light intensity ratio W_A/ W_DBased on the above, the distance to the subject is calculated (S122).
[0073]
As described above, according to the image pickup apparatus of the present embodiment, light having different wavelength characteristics is irradiated onto the subject simultaneously from optically different radiation positions, and the wavelength of the reflected light obtained from the subject is adjusted according to the wavelength characteristics. The depth distance to the subject can be easily obtained by using the intensity of the reflected light that has been separated and wavelength-separated.
[0074]
In addition, since an image of reflected light from the subject is picked up by a solid-state image sensor and stored as image data, the depth distance can be calculated by detecting the reflected light intensity in units of pixels or pixel areas. Can be obtained. Therefore, it is possible to acquire the depth distribution of the subject from the two-dimensional image of the subject and create a three-dimensional stereoscopic image of the subject.
[0075]
(Embodiment 2)
A second embodiment of the present invention will be described. The image capturing apparatus according to the present embodiment is different from the image capturing apparatus according to the first embodiment only in a part of the configuration of the irradiation unit 100 and the image capturing unit 120, and therefore the same components are described. Omitted, only different components will be described. FIG. 15 is a configuration diagram of the irradiation unit 100 and the imaging unit 120 of the present embodiment. In this embodiment, the optical filter 12A of the irradiation unit 100 mainly has a wavelength λ._AThe optical filter 12B mainly transmits the wavelength λ._AShorter wavelength λ_BAnd wavelength λ_ALonger wavelength λ_CTransmits light having The irradiation unit 100 has a wavelength λ from the position of the light source 10A._AAnd the wavelength λ from the position of the light source 10B_BAnd λ_CThe object 2 is simultaneously irradiated with light having
[0076]
The spectral unit 30 of the imaging unit 120 has a wavelength λ_AAnd a wavelength λ_BAnd λ_CIt is a prism that divides the optical path by separating the wavelength into light having light. The

light receiving units

40A and 40B are two-plate solid-state image sensors. Wavelength λ separated by the spectroscopic unit 30_AThe light having the wavelength λ enters the light receiving unit 40A._BAnd λ_CAre received by the light receiving unit 40B. The light received by the

light receiving units

40A and 40B is converted into an electric signal and input to the processing unit 60.
[0077]
FIG. 16 is a configuration diagram of the processing unit 60 of the present embodiment. The subject images output by the

light receiving units

40A and 40B are stored in the

image memories

62A and 62B, respectively. The light intensity detector 64 uses the image data stored in each of the

image memories

62A and 62B, and uses the wavelength λ._AReflected light with wavelength λ_BAnd λ_CDetecting the intensity of the reflected light. The depth calculation unit 66 uses the wavelength λ detected by the light intensity detection unit 64._AReflected light intensity, wavelength λ_BAnd λ_CThe distance R1 from the light source 10A to the region 4 of the object 2 is obtained using the intensity of the reflected light. The depth calculation unit 66 calculates the depth distance to the pixel or the area of the subject imaged in the pixel area in units of pixels of the captured image or the pixel area, and calculates and outputs the depth distribution of the object. The recording unit 68 records the depth distribution information of the subject.
[0078]
FIG. 17 is an explanatory diagram of a depth distance calculation method by the light intensity detection unit 64 and the depth calculation unit 66. The light intensity detector 64 has a wavelength λ_AReflected light intensity W_A, Wavelength λ_BAnd λ_CThe intensity W of the reflected light having_EAre detected respectively. The intensity of each of the

light sources

10A and 10B is I₁, I₂And the surface reflectance at the wavelength λ of the object 2 is Rf (λ), the wavelength λ_AReflected light intensity W_AIs
[0079]
W_A= Rf (λ_A) ・ I₁/ (4πR₁ ²)
And the wavelength λ_BAnd λ_CThe intensity W of the reflected light having_EIs
W_E= Rf (λ_B) ・ I₂/ (4πR₂ ²)
+ Rf (λ_C) ・ I₂/ (4πR₂ ²)
It is expressed.
[0080]
The depth calculation unit 66 has a wavelength λ_BAnd wavelength λ_CThe intensity W of the reflected light having_EHalf the value of W_DAnd Wavelength λ_AIs the wavelength λ_BAnd wavelength λ_CSince it is an intermediate value, W_DIs the wavelength λ_ASynchrotron radiation intensity I₂Is assumed to be emitted from the radiation position of the light source 10B, the intensity of provisional reflected light obtained from the subject is approximately equal. W obtained_DThe value of is ideally
[0081]
W_D= Rf (λ_A) ・ I₂/ (4πR₂ ²)
It is. Therefore, the wavelength λ_AThe intensity W of the reflected light by the light from the light source 10A having_AAnd the same wavelength λ_AIntensity W of temporary reflected light by light from light source 10B having_DThe ratio of the surface reflectance Rf (λ_A) Is canceled,
[0082]
W_A/ W_D= (I₁・ R₂ ²) / (I₂・ R₁ ²)
And this and R₂-R₁= Depth distance R of subject from L₁Can be calculated.
[0083]
Temporary reflected light intensity W_DSo that is accurately obtained_AIs the wavelength λ_B, Λ_CIt is more preferable that the wavelength is in the middle. In the above description, the spectroscopic unit 30 has the wavelength λ._AAnd a wavelength λ_BAnd λ_CThe wavelength is separated into light having a wavelength λ as a filtering method._B, Λ_CIs not necessarily selectively transmitted, and the wavelength λ_AThe same effect can be achieved by using a band-cut filter that cuts the. 18A to 18D are diagrams illustrating a method of separating reflected light using a band cut filter. As shown in FIG. 18A, the irradiation light from the light source 10A has a wavelength λ._AHas a wavelength characteristic with a main wavelength component. As shown in FIG. 18B, the irradiation light from the light source 10B has a wavelength λ._AWavelength λ between_B, Λ_CHas a wavelength characteristic with a main wavelength component. The spectroscopic unit 30 mainly has a wavelength λ as shown in FIG._AA bandpass filter that only transmits light, and a wavelength λ mainly as shown in FIG._AA band-cut filter that cuts the wavelength component of the light, and transmits the reflected light from the subject through the band-pass filter, so that the wavelength λ_ABy separating the reflected light having a wavelength and transmitting the reflected light from the subject to the band cut filter, the wavelength λ_BAnd wavelength λ_CTo separate reflected light. Wavelength λ_BAnd wavelength λ_CHalf the intensity of the reflected light having a wavelength λ_AThe method for obtaining the depth value of the subject based on the ratio of the intensity of the reflected light having the above is as described above.
[0084]
FIG. 19 is a flowchart of the distance measurement method of this embodiment. The irradiation unit 100 has a wavelength λ_AA first irradiation light having a main wavelength component and a wavelength λ_AShorter wavelength λ_BAnd wavelength λ_ALonger wavelength λ_CThe subject is simultaneously irradiated with the second irradiation light having the main wavelength component as from the optically different radiation position (S200).
[0085]
The optical lens 20 of the imaging unit 120 forms an image of the reflected light from the subject irradiated with the first and second irradiation lights (S202). The spectroscopic unit 30 calculates the wavelength λ from the reflected light from the subject._AA first reflected light having a wavelength λ_BAnd wavelength λ_CIs optically separated from the second reflected light having (S204).
[0086]
The light receiver 40 receives the separated first and second reflected lights (S206). The light intensity detection unit 64 of the processing unit 60 has the first and second reflected light intensities W._A, W_EIs detected (S208).
[0087]
The depth calculation unit 66 calculates the intensity W of the first reflected light._A, Second reflected light intensity W_EHalf of the value W_DRatio W_A/ W_D(S212), the intensity I of the first and second irradiation light I₁, I₂, Radiation position interval L of first and second irradiation light, reflected light intensity ratio W_A/ W_DBased on the above, the distance to the subject is calculated (S214).
[0088]
In the above description, an optical splitting element, such as a prism or a beam splitter, that splits the optical path by wavelength separation is used as the spectroscopic unit 30. However, as the spectroscopic unit 30, a single light receiving unit 40 is used as in the first embodiment. An optical filter 32 may be provided on the light receiving surface of the solid-state image sensor using a solid-state image sensor of a plate. The optical filter 32 has a wavelength λ_AFilter that only transmits light, wavelength λ_BAnd λ_CFilters that transmit light are alternately arranged. Compared to the case of using a prism or a beam splitter, the single plate solid-state imaging device receives light, so that the apparatus can be miniaturized.
[0089]
As described above, according to the image pickup apparatus of the present embodiment, the first irradiation light having the first wavelength as the main wavelength component and the second and third wavelengths sandwiching the first wavelength in the middle. Irradiating the subject simultaneously with the second irradiation light having the main wavelength component from the optically different radiation positions, and from the reflected light obtained from the subject, the first reflected light having the first wavelength; Separating the second reflected light having the second and third wavelengths, and calculating the depth distance of the subject based on the ratio between the first reflected light intensity and a half value of the second reflected light intensity. Can do. By simply halving the second reflected light intensity, the provisional reflected light intensity when the light having the first wavelength is irradiated from the radiation position of the second irradiation light can be obtained. The depth distance of the subject can be calculated. In addition, the number of solid-state imaging elements that receive reflected light from the subject can be two, and the apparatus can be downsized.
[0090]
(Embodiment 3)
A third embodiment of the present invention will be described. The image capturing apparatus according to the present embodiment is different from the image capturing apparatus according to the first embodiment only in a part of the configuration of the irradiation unit 100 and the image capturing unit 120, and therefore the same components are described. Omitted, only different components will be described. FIG. 20 is a configuration diagram of the irradiation unit 100 and the imaging unit 120 of the present embodiment. In the present embodiment, the

light sources

10A and 10B of the irradiation unit 100 are infrared light sources. The optical filter 12A has a wavelength λ in the infrared region._AThe optical filter 12B has a wavelength λ in the infrared region._BAnd wavelength λ_CTransmits light having The irradiation unit 100 has a wavelength λ in the infrared region from the position of the light source 10A._AAnd the wavelength λ in the infrared region from the position of the light source 10B_BAnd λ_CThe object 2 is simultaneously irradiated with light having The object 2 is further irradiated with light in the visible light region, such as natural light or illumination light.
[0091]
The spectral unit 30 of the imaging unit 120 has a wavelength λ in the infrared region._AAnd a wavelength λ in the infrared region_BAnd λ_CIs a prism that splits the optical path by separating the wavelength of the light into light having visible light and light in the visible light region. The

light receiving units

40A, 40B, and 40C are three-plate solid-state image sensors. Wavelength λ separated by the spectroscopic unit 30_AThe light having the wavelength λ enters the light receiving unit 40A._BAnd λ_CIs received by the light receiving unit 40B, and visible light is received by the light receiving unit 40C. The

light receiving units

40A and 40B are set in advance at a position where focus is achieved so that a photographed image of reflected light in the infrared region is not out of focus. The light received by the

light receiving units

40A, 40B, and 40C is converted into an electrical signal and input to the processing unit 60.
[0092]
FIG. 21 is a configuration diagram of the processing unit 60 of the present embodiment. The subject images output by the

light receiving units

40A and 40B are stored in the

image memories

62A and 62B, respectively. The light intensity detector 64 detects the intensity of the reflected light using the image data stored in each of the

image memories

62A and 62B, and the depth calculator 66 uses the intensity of the reflected light detected by the light intensity detector 64. Thus, the distance R1 from the light source 10A to the region 4 of the object 2 is obtained. Since the operations of the light intensity detection unit 64 and the depth calculation unit 66 are the same as those in the second embodiment, description thereof will be omitted. The depth calculation unit 66 calculates the depth distance to the pixel or the area of the subject imaged in the pixel area in units of pixels of the captured image or the pixel area, and calculates and outputs the depth distribution of the object. The recording unit 68 records the depth distribution information of the subject. Further, the subject image output by the light receiving unit 40C is stored in the image memory 62C. The image correction unit 67 performs image correction such as gradation correction on the image data stored in the image memory 62, and outputs it as subject image data. The recording unit 68 converts the subject image data into the depth distribution of the subject. Record with information.
[0093]
In the above, the wavelength λ_BAnd λ_CThe light receiving unit 40B receives the reflected light without separating the light having a wavelength of λ by the spectroscopic unit 30 using a four-plate solid-state imaging device as the light receiving unit 40._BReflected light with wavelength λ_CThe reflected light may be separated from each other, and each of the reflected lights may be received by different solid-state imaging devices. In that case, the wavelength λ is the same as in the first embodiment._A, Λ_B, Λ_CThe depth distance of the subject can be obtained using the intensity of each reflected light.
[0094]
As described above, according to the image pickup apparatus of the present embodiment, since infrared light is used to measure the depth distance of the subject, the subject can be obtained even under natural conditions where the subject is irradiated with natural light or illumination light. The depth distance can be measured. Therefore, it is not necessary to turn the room into a dark room for measuring the depth distance of the subject. Further, since the reflected light in the visible light region can be separated and imaged, it is possible to measure the depth distribution of the subject and simultaneously take an image of the subject. Image processing of the subject using the depth distribution of the subject is possible, such as extracting the main subject from the photographed subject image and separating the background and the person image.
[0095]
(Embodiment 4)
A fourth embodiment of the present invention will be described. Compared with the image pickup devices of the first, second, and third embodiments, the image pickup device of the present embodiment has a half mirror 17 in order to make the optical axes of the irradiation unit 100 and the image pickup unit 120 the same. The only difference is that 18 is used. FIG. 22 is a configuration diagram of the irradiation unit 100 and the imaging unit 120 of the present embodiment. Although the example using the half mirrors 17 and 18 is shown in the first embodiment, the same configuration can be adopted in the second and third embodiments. The radiation positions of the

light sources

10A and 10B of the irradiation unit 100 are separated by a distance L, and the irradiation light from the light source 10B is reflected by the half mirror 17 and further reflected by the half mirror 18 to be irradiated onto the object 2. The irradiation light from the light source 10A passes through the half mirror 17, is reflected by the half mirror 18, and is irradiated onto the object 2. Reflected light from the subject passes through the half mirror 18 and is imaged by the optical lens 20 of the imaging unit 120.
[0096]
In the present embodiment, since the optical axes of the irradiation unit 100 and the imaging unit 120 are optically coaxial, when the imaging unit 120 captures a subject irradiated by the irradiation unit 100, a shadowed area cannot be captured. There is nothing. Therefore, it is possible to calculate the depth distribution of the entire region of the irradiated subject, and no blind spot that cannot calculate the depth distance is generated. In addition, by making the optical axes of the irradiation unit 100 and the imaging unit 120 coaxial, the entire image imaging device 200 can be reduced in size.
[0097]
(Embodiment 5)
FIG. 23 is a diagram for explaining the principle according to the fifth embodiment of the present invention. The object 120 is irradiated with light of intensities P1 and P2 from the irradiation position 112 and the irradiation position 114, and the reflected light of each light from the object 120 is imaged by the camera 110. The camera 110 is, for example, a charge coupled device (CCD), has a plurality of pixels, and captures reflected light from the measured portion 122 of the object 120 and the vicinity 124 of the arsenic section in each pixel unit. Each intensity is detected every time. Based on the reflected light imaged by the camera 110, the distance L of the object 120 to the measured part 122 and the inclination θ of the surface of the measured part 122.₀And the reflectance R of the surface of the measured part 122_ObjIs calculated. The irradiation positions (112, 114) may be arranged at arbitrary positions. One of the irradiation angles of light irradiated on the object 120 from the irradiation position (112, 114) is calculated. In this example, the camera 110 is optically connected to any one of the irradiation positions (112, 114). Therefore, the irradiation angle of the light irradiated on the object 120 is calculated based on the incident angle of the reflected light captured by the camera 110. In this example, the case where the irradiation position 112 and the camera 110 are optically arranged at the same position will be described.
[0098]
As shown in FIG. 23, the irradiation position 114 is L from the irradiation position 112.₁₂It is arranged at a distant position. Distance L₁₂Is a known value unique to the measurement system. In addition, the angle at which light is irradiated from the irradiation position (112, 114) to the part to be measured 122 of the object 120 is set to θ.₁, Θ₂And the angle at which light is irradiated from the irradiation position (112, 114) to the vicinity 124 of the measured portion of the object 120 is θ.₁', Θ₂'. In addition, since the camera 110 is optically disposed at the same position as the irradiation position 112, the angle at which the reflected light from the measured part 122 is received is θ._CThe angle at which the reflected light from the vicinity 124 of the measured part is received is θ_CIf ’,_C= Θ₁, Θ_C′ = Θ₁'. In addition, the distance from the irradiation position 112 to the measured part 122 is set to L, respectively.₁, The distance to the vicinity 124 of the measured part is L₁′, And the distance from the irradiation position 114 to the part to be measured is L₂, The distance to the vicinity 124 of the measured part is L₂'.
[0099]
The intensity of the reflected light from the part to be measured 122 of the light irradiated from the irradiation position (112, 114) is D, respectively.₁, D₂Then D₁, D₂Is given as:
[0100]
[Expression 1]

That is,
[Expression 2]

It becomes.
[0101]
Also,
[Equation 3]

So
[Expression 4]

It becomes. Also,
[0102]
[Equation 5]

And L₁₂, Θ₁Is a known value, so θ₂Is given by a function of L. That is,
[0103]
[Formula 6]

It becomes. Therefore,
[0104]
[Expression 7]

It becomes. Where D1, D₂, P₁, P₂, Θ₁Is a measured or known value, so the unknown in the above equation is θ₀And L. Therefore, the above condition is satisfied (θ₀, L) can be determined. That is, when the distance L to the measured part 122 is assumed, the surface inclination θ of the measured part corresponding to the assumed distance L₀Can be calculated. Similarly, in the vicinity 124 of the measured portion, the distance L ′ to the vicinity 124 of the measured portion and the surface inclination θ of the vicinity 124 of the measured portion.₀A combination of 'can be obtained.
[0105]
The present invention relates to the distance L of the object 120 to the measured part 122 and the surface inclination θ of the measured part 122.₀And the distance L ′ to the vicinity 124 of the measured part of the object 120 and the surface inclination θ of the vicinity 124 of the measured part.₀Based on the combination with ′, the distance L to the measured portion 122 and the surface inclination θ₀Is calculated. Hereinafter, the calculation method will be described in detail.
[0106]
FIG. 24 shows the distance L to the measured part 122 and the surface inclination θ of the measured part 122.₀It is explanatory drawing of an example of the method of calculating. First, it is assumed that the distance L to the measured part 122 is La. Based on the mathematical formula described with reference to FIG. 23, the surface inclination θ of the measured portion 122 corresponding to the assumed distance La₀Is calculated. Next, the calculated surface inclination θ₀The surface of the measured part 122 determined by the above is extended, and it is assumed that the vicinity 124 of the measured part exists at the point where it intersects the optical path of the reflected light from the vicinity 124 of the measured part. A temporary distance Lb is calculated. At this time, the temporary distance Lb to the vicinity 124 of the measurement target is the temporary distance La between the camera 110 and the measurement target 122 and the incident angle θ of the reflected light from the measurement target 122.₁, The incident angle θ of the reflected light from the vicinity 124 of the part to be measured₁′ And the surface inclination θ of the measured part 122₀Can be calculated geometrically.
[0107]
Next, the surface inclination θ of the vicinity 124 of the measured portion corresponding to the calculated temporary distance Lb₀'Is calculated. Face tilt θ₀'Can be calculated by the mathematical formula described with reference to FIG. Since the distance between the measured part 122 of the object 120 and the vicinity 124 of the measured part is very small, the surface inclinations of the measured part 122 and the vicinity 124 of the measured part are substantially the same. Therefore, the calculated surface inclination θ₀And θ₀By comparing with ', it is possible to determine whether or not the initially assumed distance La to the measured part 122 is a correct value. That is, the surface inclination θ₀And θ₀If the difference from 'is within a predetermined range, the assumed distance La can be set as the distance L to the measured portion 122.
[0108]
Also, the surface inclination θ₀And θ₀If the difference from 'is not within the predetermined range, assuming that there is an error in the setting of the initially assumed distance La, the distance L to the measured part 122 is set to another value and the same calculation is performed. Just do it. It is clear that the distance L to the measured part 122 that satisfies the mathematical formula described in relation to FIG. 23 has an upper limit value, and the lower limit value is zero. Find out. For example, the true distance L to the measured part 122 may be extracted by the binary search method for the distance La in a finite range. Further, with respect to the temporary distance La, θ at a predetermined distance interval within a finite range.₀, Θ₀The true distance L may be extracted by calculating the difference '. Further, regarding the temporary distance La, θ₀, Θ₀The difference of ′ is calculated, and the temporary distance La that minimizes the difference may be set as the true distance L. Further, the surface tilt information of the part to be measured can be calculated based on the distance information to the part to be measured by the mathematical formula described in relation to FIG. Further, the surface reflectance information of the part to be measured can also be calculated by the mathematical formula described with reference to FIG.
[0109]
FIG. 25 shows a surface inclination θ at a predetermined distance interval within a predetermined range with respect to the temporary distance La.₀And surface tilt θ₀An example of the result of calculating 'is shown. In the graph of FIG. 25, the horizontal axis indicates the provisional distance La to the measurement target 122, and the vertical axis indicates the surface inclination of the measurement target 122 and the vicinity 124 of the measurement target. In this example, the distance L of the object 120 to the measured part 122 is 200 mm, and the surface inclination of the measured part 122 is 0 degree. Further, the distance between the irradiation position 112 and the irradiation position 114 is 10 mm, θ₁Was calculated by setting the distance of the temporary distance La to 10 mm.
[0110]
Data 192 indicates the surface inclination of the measurement target 122 corresponding to the provisional distance La indicated on the horizontal axis, and data 194 indicates the surface inclination of the vicinity 124 of the measurement target. At a temporary distance of 200 mm, the surface inclinations of the measured part 122 and the vicinity 124 of the measured part match at 0 degree.
[0111]
(Embodiment 6)
FIG. 26 is a diagram illustrating the principle of an information acquisition method for acquiring distance information to an object. From the irradiation position 212, the irradiation position 214, and the irradiation position 216, the object 220 is irradiated with light of intensities P1, P2, and P3, respectively, and the reflected light of each light by the object 220 is imaged by the camera 210. The camera 210 is, for example, a charge coupled device (CCD), has a plurality of pixels, captures reflected light from the irradiated portion 224 of the object 220 for each pixel, and detects the intensity of each pixel. . Based on the reflected light imaged by the camera 210, the distance L of the object 220 to the irradiated portion 224 and the surface inclination θ of the irradiated portion 224.₀And the reflectance R of the surface of the irradiated part 224_ObjIs calculated. The irradiation position (212, 214, 216) and the camera 210 may be arranged at arbitrary positions. In this example, the case where the irradiation position 212, the irradiation position 216, and the camera 210 are arranged in a straight line will be described. .
[0112]
As shown in FIG. 26, the irradiation position 216 is shifted from the irradiation position 212 to L.₁₂At a distant position, the irradiation position 214 is L from the irradiation position 212.₂₃The camera 210 is arranged at a position X away from the irradiation position 212 at a position away from it. Distance L₁₂, L₂₃, X are known values specific to the measurement system. In addition, the irradiation positions (212, 214, 216) indicate the angles at which the irradiated part 224 of the object 220 is irradiated with light by θ₁, Θ₂, Θ₃And the angle at which the camera 210 receives the reflected light at the irradiated portion 224 is θ_CAnd Of these, θ_CIs calculated based on the reflected light imaged for each pixel of the camera 210. Further, the distance from the irradiation position (212, 214, 216) to the irradiated portion 224 is set to L, respectively.₁, L₂, L₃And
[0113]
The intensity of the reflected light at the irradiated portion 224 of the light irradiated from the irradiation position (212, 214, 216) is D, respectively.₁, D₂, D₃Then D₁, D₂, D₃Is given by:
[0114]
[Equation 8]

That is,
[Equation 9]

However, f () is a function. Also,
[0115]
[Expression 10]

So
[Expression 11]

It becomes. Also,
[0116]
[Expression 12]

X, L₁₂, Θ_CIs a known value, so θ₁, Θ₂, Θ₃Is given by a function of L, respectively. That is,
[0117]
[Formula 13]

It becomes. Therefore,
[0118]
[Expression 14]

It becomes. D₁, D₂, D_3,θ_C, P₁, P₂, P₃Is a measured value or a known value, so from the above two equations, the unknown θ₀, L can be obtained. And θ₀D₁, D₂, D₃From any of the formulas_objCan be requested. As described above, the distance information to the object, the tilt information of the surface of the object, and the reflectance of the surface of the object can be obtained by imaging the reflected light of the object irradiated from three or more optically different irradiation positions. Information can be calculated.
[0119]
In this example, the irradiation position 212, the irradiation position 216, and the camera 210 are arranged in a straight line. However, if the distance between each element is known, the distance information to the object and the inclination information of the surface of the object are obtained by reflected light. It is obvious that the reflectance information of the surface of the object can be calculated.
[0120]
According to the information acquisition method described above, it is possible to eliminate the error due to the inclination of the surface of the object 220 and acquire the distance information to the object 220. Further, the tilt information of the surface of the object 220 and the reflectance information of the surface of the object 220 can be acquired.
[0121]
However, when the irradiation positions (212, 214, 216) are arranged on a straight line, the method described with reference to FIG. 26 cannot calculate distance information to the object. Hereinafter, when the irradiation positions (212, 214, 216) are arranged on a straight line, a method for acquiring distance information to the object, inclination information of the surface of the object, and reflectance information of the object surface will be described.
[0122]
FIG. 27 is an explanatory diagram of an information acquisition method for acquiring distance information to an object and the like when the irradiation positions are arranged on a straight line. From the irradiation position 212, the irradiation position 214, and the irradiation position 216, the object 220 is irradiated with light of intensities P1, P2, and P3, respectively, and the reflected light of each light by the object 220 is imaged by the camera 210.
[0123]
As shown in FIG. 27, the irradiation position 216 is shifted from the irradiation position 212 to L.₁₃At a distant position, the irradiation position 214 is L from the irradiation position 212.₁₂At a distance, the camera 210 is disposed at substantially the same position as the irradiation position 212. Distance L₁₂, L₁ ₃Is a known value unique to the measurement system. In addition, the irradiation positions (212, 214, 216) indicate the angles at which the irradiated part 224 of the object 220 is irradiated with light by θ₁, Θ₂, Θ₃And the angle at which the camera 210 receives the reflected light at the irradiated portion 224 is θ_CAnd Of these, θ_CIs calculated based on the reflected light imaged for each pixel of the camera 210. In this example, since the camera 210 is disposed at the same position as the irradiation position 212, θ_C= Θ₁It is. Further, the distance from the irradiation position (212, 214, 216) to the irradiated portion 224 is set to L, respectively.₁, L₂, L₃And
[0124]
The intensity of the reflected light at the irradiated portion 224 of the light irradiated from the irradiation position (212, 214, 216) is D, respectively.₁, D₂, D₃Then D₁, D₂, D₃Is given by:
[0125]
[Expression 15]

That is,
[Expression 16]

It is. Also,
[0126]
[Expression 17]

So
[Expression 18]

It becomes. Also,
[0127]
[Equation 19]

And θ₁Is θ_CEqual to L₁₂, L₁₃, Θ_CIs known, so θ₂, Θ₃Is given by a function of L. That is,
[0128]
[Expression 20]

It becomes. Therefore,
[0129]
[Expression 21]

It becomes. D₁, D₂, D_3,θ_C, P₁, P₂, P₃Is a measured value or a known value, so from the above two equations, the unknown θ₀, L can be obtained. And θ₀D₁, D₂, D₃From any of the formulas_objCan be requested. As described above, the reflected light from the object 220 of the light irradiated from the three irradiation positions that are optically in a straight line is imaged at the same optical position as any one of the three irradiation positions, respectively. The distance information to the object, the tilt information of the object surface, and the reflectance information of the object surface can be calculated. In this example, the irradiation position 212 and the position of the camera 210 are substantially the same.₁, Θ₂, Θ₃And one of_CTherefore, it is clear that either the irradiation position 214 or the irradiation position 216 and the position of the camera 210 may be substantially the same.
[0130]
In the information acquisition method described with reference to FIG. 27, since the optical axis of the camera 210 and one of the irradiation positions (212, 214, 216) is optically coaxial, the irradiation position (212, 214, 216) is determined. When the camera 210 captures an image of the irradiated object 220, it is possible to reduce the area that is shadowed and cannot be captured. In addition, since the position of the camera 210 and one of the irradiation positions (212, 214, 216) is substantially the same, there is no need to previously check the distance between the camera 210 and the irradiation position, and the camera 210 and the irradiation position are also irradiated. An error in measuring the distance to the position can be eliminated.
[0131]
In the information acquisition method described with reference to FIG. 26 or FIG. 27, the object 220 is irradiated with light from three irradiation positions. In another example, the object 220 is irradiated with light from three or more irradiation positions. It may be irradiated. Further, it is preferable to calculate the distance information to the object 220, the inclination information of the surface of the object 220, and the reflectance information of the surface of the object 220 based on the intensity of the reflected light. Alternatively, distance information, inclination information, and reflectance information may be calculated for each pixel of the camera 210, and the distribution of distance information, inclination information, and reflectance information of the object 220 may be calculated.
[0132]
In the information acquisition method described with reference to FIG. 26 or FIG. 27, the light emitted from the three irradiation positions has different wavelength as the main wavelength components, and at the respective irradiation positions, substantially simultaneously. The object 220 may be irradiated with light. At this time, it is preferable that the camera 210 has wavelength selection means for selectively transmitting light of different wavelengths, and images reflected light from the object 220 with the light irradiated from the respective irradiation positions. By irradiating the object 220 with light having different wavelengths as main wavelength components at the same time, distance information, tilt information, and reflectance information can be obtained with high accuracy even for a moving object. However, since the reflectance of the surface of the object 220 varies depending on the wavelength of light, an error occurs in the measurement result. In order to reduce the error, it is necessary to correct the difference in reflectance depending on the wavelength.
[0133]
FIG. 28 is an explanatory diagram of an information acquisition method in which the difference in reflectance of the surface of the object 220 due to wavelength is corrected. As an example, as shown in FIG. 28A, the wavelength of light emitted from the irradiation position 212 is λ._a, The wavelength of the light emitted from the irradiation position 214 is λ_bAnd λ_C, The wavelength of the light emitted from the irradiation position 216 is λ_d, Λ_eAnd Further, the intensity of light emitted from the irradiation position 212 is expressed as P.₁, P represents the intensity of light emitted from the irradiation position 214₂, P represents the intensity of light emitted from the irradiation position 216₃And the intensity of the reflected light for each wavelength is W_a,W_b, W_c, W_d, W_eAnd As shown in FIG. 28B, the intensity P from the irradiation position 214 is obtained.₂At a wavelength of λ_b, Λ_cIntensity W of reflected light_b, W_cBased on the intensity P from the irradiation position 214₂At wavelength λ_aIntensity W of reflected light when irradiated with_fIs calculated. In this example, the wavelength λ_b, Λ_cStrength W based on_fIn other examples, the intensity W is based on the reflected light of more wavelength components._fMay be calculated. Similarly, as shown in FIG. 28C, the intensity P from the irradiation position 216 is obtained.₃At a wavelength of λ_d, Λ_eIntensity W of reflected light_d, W_eBased on the intensity P from the irradiation position 214₃At wavelength λ_aIntensity W of reflected light when irradiated with_gIs calculated. Calculated intensity W_b, W_c, And detected intensity W_aThe distance information to the object 220, the inclination information of the surface of the object 220, and the reflectance information of the surface of the object 220 are calculated based on According to the information acquisition method described above, since light is irradiated simultaneously at three irradiation positions, distance information, inclination information, and reflectance information can be accurately acquired even for a moving object. .
[0134]
FIG. 29 is a flowchart showing an example of an information acquisition method according to the present invention. The information acquisition method in the present embodiment includes an irradiation stage (S200), an imaging stage (S202), and a calculation stage (S204).
[0135]
In the irradiation step (S200), as described with reference to FIG. 26, the object 220 is irradiated with light from three or more irradiation positions that are optically different. In the imaging step (S202), the reflected light from the object by the light irradiated from three or more irradiation positions is imaged. In the calculation step (S204), the distance information to the object 220, the inclination information of the surface of the object 220, and the reflectance information of the surface of the object 220 are calculated based on the reflected light imaged in the imaging step.
[0136]
In the irradiation step (S200), similarly to the information acquisition unit described with reference to FIG. 27, the object 220 is irradiated with light from three irradiation positions that are optically in a straight line, and the imaging step (S202). May image the reflected light of the light from three or more irradiation positions at the same optical position as any one of the three or more irradiation positions.
[0137]
Further, in the calculation step (S204), as described with reference to FIG. 26 or FIG. 2, the distance information to the object 220, the inclination information of the surface of the object 220, the surface information of the object 220 based on the intensity of reflected light The reflectance information may be calculated. In the irradiation step (S200), the object 220 may be irradiated with light from three irradiation positions that optically form a triangle.
[0138]
In the irradiation step (S200), similarly to the information acquisition method described with reference to FIG. 28, the object 220 is irradiated with light of a different wavelength at each irradiation position, and substantially at each irradiation position. At the same time, the object 220 may be irradiated with light. In this case, it is preferable that the imaging step (S202) includes wavelength selection means for selectively transmitting light of different wavelengths, and images reflected light from the object 220 by light at each irradiation position.
[0139]
As described above, according to the image pickup apparatus and the distance measuring method of the present invention, light having different wavelength characteristics is irradiated onto a subject simultaneously from different radiation positions, and reflected light from the subject is optically matched to the wavelength characteristics. The depth distance of the subject can be easily calculated by measuring the intensity.
[0140]
As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above embodiment. It is apparent from the description of the scope of claims that embodiments with such changes or improvements can be included in the technical scope of the present invention.
[0141]
As an example of such a change, in the above description, reflected light is imaged as an example of outgoing light obtained from a subject irradiated with light, and the distance to the subject is obtained from the difference in intensity of the reflected light. In the case of a transparent or translucent object that transmits light, the depth distance of the subject can also be obtained from the difference in intensity of transmitted light that has passed through the subject.
[0142]
【The invention's effect】
As apparent from the above description, according to the present invention, the depth distance of the subject can be easily measured by photographing the emitted light obtained from the subject irradiated with light.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of the present invention.
FIG. 2 is a configuration diagram of an image capturing apparatus 200 according to the first embodiment.
FIG. 3 is a configuration diagram of an irradiation unit 100 and an imaging unit 120 according to the first embodiment.
FIG. 4 is a configuration diagram of a processing unit 60 according to the first embodiment.
FIG. 5 is an explanatory diagram of a depth distance calculation method by a light intensity detection unit 64 and a depth calculation unit 66;
FIG. 6 is an explanatory diagram of a method for obtaining the intensity of provisional reflected light by interpolation.
FIG. 7 is an explanatory diagram of a method for obtaining the intensity of provisional reflected light by extrapolation.
FIG. 8 is a diagram for explaining a method of obtaining provisional reflected light intensity from each reflected light from the

light sources

10A and 10B.
FIG. 9 is a diagram for explaining a method for obtaining provisional reflected light intensity when irradiation is performed using a band-pass filter that transmits only long-wavelength or short-wavelength light.
FIG. 10 is a diagram showing the surface reflectance of three types of objects.
11 is a diagram illustrating an optical filter that transmits a specific wavelength component provided in the light receiving unit 40. FIG.
FIG. 12 is a flowchart of a distance measurement method according to the first embodiment.
FIG. 13 is a flowchart of depth distance calculation processing S110.
FIG. 14 is a flowchart of a modification of depth distance calculation processing S110.
FIG. 15 is a configuration diagram of an irradiation unit 100 and an imaging unit 120 according to the second embodiment.
FIG. 16 is a configuration diagram of a processing unit 60 according to the second embodiment.
17 is an explanatory diagram of a depth distance calculation method by a light intensity detection unit 64 and a depth calculation unit 66. FIG.
FIG. 18 is a diagram for explaining a method of separating reflected light using a band cut filter.
FIG. 19 is a flowchart of a distance measurement method according to the second embodiment.
FIG. 20 is a configuration diagram of an irradiation unit 100 and an imaging unit 120 according to the third embodiment.
FIG. 21 is a configuration diagram of a processing unit 60 according to the third embodiment.
FIG. 22 is a configuration diagram of an irradiation unit 100 and an imaging unit 120 according to the fourth embodiment.
FIG. 23 is a principle explanatory diagram according to Embodiment 5 of the present invention.
24 is an explanatory diagram of an example of a method for calculating a distance L to a measured unit 122 and a surface inclination θ0 of the measured unit 122. FIG.
FIG. 25 shows an example of a result of calculating the surface inclination θ0 and the surface inclination θ0 ′ at predetermined distance intervals within a predetermined range with respect to the temporary distance La.
FIG. 26 is a diagram illustrating the principle of an information acquisition method according to Embodiment 5 of the present invention.
FIG. 27 is an explanatory diagram of an information acquisition method when irradiation positions are arranged on a straight line.
FIG. 28 is an explanatory diagram of an information acquisition method in which a difference in reflectance of the surface of the object 20 due to wavelength is corrected.
FIG. 29 is a flowchart illustrating an example of an information acquisition method.
[Explanation of symbols]
10 Light source 12 Optical filter
20 Optical lens 30 Spectrometer
40 light receiving unit 60 processing unit
62 Image memory 64 Light intensity detector
66 Depth calculation unit 67 Image correction unit
68 Recording unit 80 Control unit
100 Irradiation unit 120 Imaging unit
200 imaging device

Claims

An image capturing device that acquires information about the depth of a subject,
The first irradiation light having the first wavelength as the main wavelength component and the second irradiation light having the second and third wavelengths different from the first wavelength as the main wavelength components are optically An irradiating unit that irradiates the subject from different radiation positions;
A first outgoing light having the first wavelength and a second outgoing light having the second wavelength are emitted from the subject irradiated with the first and second irradiation lights by the irradiation unit. A spectroscopic unit for optically separating the incident light and the third emitted light having the third wavelength;
Based on the intensities of the second and third emitted lights, the provisional emitted light from the subject when it is assumed that the light having the first wavelength is emitted from the radiation position of the second irradiated light. An image pickup apparatus comprising: a depth calculating unit that obtains an intensity and calculates a depth distance to the subject by using the intensity of the first emitted light and the intensity of the temporary emitted light .

The image capturing apparatus according to claim 1, wherein the irradiation unit irradiates the first and second irradiation lights simultaneously.

An optical imaging unit that images emitted light obtained from the subject irradiated with the first and second irradiation lights by the irradiation unit;
A light receiving unit that receives the first, second, and third outgoing lights separated by the spectroscopic unit and imaged by the optical imaging unit;
A light intensity detector that detects the intensity of the first, second, and third emitted light received by the light receiver;
The image capturing apparatus according to claim 2, wherein the depth calculation unit calculates a depth distance to the subject using intensities of the first, second, and third outgoing lights.

The light receiving unit includes a three-plate solid-state imaging device, and the spectroscopic unit separates the first, second, and third outgoing lights using an optical path dividing unit, and each of them separates the three-plate solid-state imaging. The image capturing apparatus according to claim 3, wherein any one of the elements receives light.

The light receiving unit includes a solid-state image sensor, and the spectroscopic unit includes a first optical filter that transmits light of the first wavelength, and a second optical filter that transmits light of the second wavelength. And a third optical filter that transmits light of the third wavelength, and the first, second, and third optical filters are alternately disposed on the light receiving surface of the solid-state imaging device. An image capturing apparatus according to claim 1.

The irradiation unit includes: a first optical filter that transmits light in a wavelength region shorter than a predetermined first boundary wavelength; and a second optical filter that transmits light in a wavelength region longer than a predetermined second boundary wavelength. And irradiating the subject with first irradiation light that passes through the first optical filter and second irradiation light that passes through the second optical filter from an optically different radiation position,
The spectroscopic unit includes a first optical filter that transmits light having a shorter first wavelength than a shorter one of the first and second boundary wavelengths, and a longer one of the first and second boundary wavelengths. Second and third optical filters that respectively transmit light having a long second and third wavelengths, and transmitting the emitted light obtained from the subject to the first optical filter, thereby allowing the first optical filter to transmit the first and second optical filters. Separating the first outgoing light having a wavelength of 1 and transmitting the outgoing light through the second and third optical filters, respectively, and the second outgoing light having the second wavelength and The image capturing apparatus according to claim 3, wherein the third emitted light having a third wavelength is separated.

The depth calculation unit, and the average intensity of the second outgoing light the third outgoing light, by using the intensity of the first outgoing light, according to claim 3 for calculating the depth distance to the subject An image capturing apparatus according to claim 1.

An image capturing device that acquires information about the depth of a subject,
A first irradiation light having a first wavelength as a main wavelength component, a second wavelength shorter than the first wavelength, and a third wavelength longer than the first wavelength as a main wavelength component. An irradiation unit that irradiates the subject with the irradiation light of 2 from an optically different radiation position;
An optical imaging unit that images the emitted light from the subject irradiated with the first and second irradiation lights by the irradiation unit;
A spectroscopic unit that optically separates the first emitted light having the first wavelength and the second emitted light having the second and third wavelengths from the emitted light obtained from the subject;
A light receiving unit that receives the first emitted light and the second emitted light separated by the spectroscopic unit and imaged by the optical imaging unit;
A light intensity detector that detects the intensity of the first and second emitted light received by the light receiver ;
The intensity of the temporary emitted light from the subject when it is assumed that half of the intensity of the second emitted light is the light having the first wavelength emitted from the radiation position of the second emitted light as, by using the intensity of the first intensity of the emitted light and the provisional emitted light, a depth calculation unit for calculating a depth distance to the subject
An image pickup apparatus comprising:

The light receiving unit has a two-plate solid-state imaging device, and the spectroscopic unit optically branches the optical paths of the first outgoing light and the second outgoing light using an optical path dividing unit, The image pickup device according to claim 8 , wherein any one of the two-plate solid-state image pickup devices receives light.

The light receiving unit includes a solid-state image sensor, and the spectroscopic unit transmits a first optical filter that transmits the light having the first wavelength and a second optical that transmits the light having the second and third wavelengths. The image capturing apparatus according to claim 8 , further comprising: an optical filter, wherein the first optical filter and the second optical filter are alternately arranged on a light receiving surface of the solid-state image sensor.

The depth calculation unit according to claim 8 , wherein the depth calculation unit calculates the depth distance to the subject based on a ratio between an intensity of the first emitted light and a half value of an intensity of the second emitted light. Imaging device.

The optical axis when the irradiation unit irradiates the subject with the first and second irradiation light and the optical axis when the imaging unit images the emitted light from the subject are substantially the same. The image capturing device according to claim 4, 5, 6, 9 , or 10 .

The light intensity detection unit detects the intensity of the first and second emitted light in each pixel of the subject image captured by the light receiving unit, and the depth calculation unit corresponds to each of the pixels. The image capturing apparatus according to claim 12 , wherein the depth distribution of the subject is calculated by obtaining each of the depths up to the region of the subject.

The first and second irradiation lights are light in the infrared region,
The spectroscopic unit further includes means for optically separating visible light from the emitted light obtained from the subject,
The light-receiving unit further includes a solid-state imaging device for visible light that is optically separated by the spectroscopic unit and receives the visible light formed by the optical imaging unit,
Imaging apparatus according to claim 13 comprising recording unit further for recording an image of the said object with depth distribution is captured in the solid-state image pickup element for the visible light of the object the depth calculation unit calculates.

The first irradiation that the irradiation unit irradiates based on at least one of the intensity of the emitted light from the subject detected by the light intensity detection unit and the depth distance to the subject calculated by the depth calculation unit. and light emission time of the second irradiation light intensity, the radiation position, and the claims 4, 5 and 6 the control unit further comprising controlling at least one of exposure time of the light receiving portion, according to 9 or 10, Imaging device.

A distance measurement method for acquiring information related to the depth of a subject,
The first irradiation light having the first wavelength as the main wavelength component and the second irradiation light having the second and third wavelengths different from the first wavelength as the main wavelength components are optically Irradiating the subject simultaneously from different radiation positions;
From outgoing light obtained from the subject irradiated with the first and second irradiation light, first outgoing light having the first wavelength, second outgoing light having the second wavelength, and A spectroscopic step of optically separating the third outgoing light having the third wavelength;
An imaging stage for imaging the separated first, second and third outgoing lights;
A light intensity detection step of detecting the intensity of the first, second and third emitted lights imaged;
Based on the intensities of the second and third emitted lights, the provisional emitted light from the subject when it is assumed that the light having the first wavelength is emitted from the radiation position of the second irradiated light. A distance measurement method comprising: a depth calculation step of obtaining an intensity and calculating a depth distance to the subject using the intensity of the first emitted light and the intensity of the temporary emitted light .

The distance measuring method according to claim 16 , wherein the depth calculating step calculates the depth distance to the subject based on a ratio of the intensity of the first emitted light and the intensity of the temporary emitted light.

The depth calculation step calculates the depth distance to the subject based on a ratio of an average intensity of the second emitted light and the third emitted light and an intensity of the first emitted light. Item 17. The distance measuring method according to Item 16 .

A distance measurement method for acquiring information related to the depth of a subject,
A first irradiation light having a first wavelength as a main wavelength component, a second wavelength shorter than the first wavelength, and a third wavelength longer than the first wavelength as a main wavelength component. An irradiation stage for simultaneously irradiating the subject with two irradiation lights from different optically radiating positions;
From the emitted light obtained from the subject irradiated with the first and second irradiated light, the first emitted light having the first wavelength and the second emitted light having the second and third wavelengths. A spectroscopic stage for optically separating incident light;
An imaging stage for imaging the separated first outgoing light and second outgoing light;
A light intensity detection step of detecting the intensity of the received first emitted light and the second emitted light, respectively;
The intensity of the temporary emitted light from the subject when it is assumed that half of the intensity of the second emitted light is the light having the first wavelength emitted from the radiation position of the second emitted light as the intensity of the first outgoing light and with the strength of the temporary emitted light, the distance measuring method and a depth calculation step of calculating a depth distance to the subject.

20. The depth calculation step according to claim 19 , wherein the depth calculation step calculates the depth distance to the subject based on a ratio between an intensity of the first emitted light and a half value of an intensity of the second emitted light. Distance measurement method.