JP2002191060A - ３次元撮像装量 - Google Patents

Abstract

(57)【要約】 【課題】被写体或いはシーン全体の距離情報を一眼のカ
メラで撮像したピント面の画像を、合焦状態に応じて２
つに分離することによって相関法を用いて距離情報を求
めることのできる３次元撮像装置を提供することであ
る。 【解決手段】３次元撮像装置にあっては、マイクロスプ
リットプリズムペア２１は、２次元のアレイ状に配列さ
れてスプリットプリズム板２２を構成する。マイクロレ
ンズ２５は、画素毎に光を感光可能な光透過部３９、４
０と光を感光しない光遮蔽部４１、４２とを有してい
る。上記マイクロスプリットプリズムペア２１は、各要
素であるマイクロスプリットプリズム３１及び３２を有
しており、これらは逆交差の状態に配置されている。ま
た、該マイクロスプリットプリズム３１及び３２の後方
には、２次元固体撮像素子の、それぞれの行に属する画
素３３及び３４が配列されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象物である被写
体の濃淡画像（輝度画像）の他に距離情報（距離画像）
をリアルタイムに取得し、取得された距離画像を用い
て、目的とする被写体の３次元情報を求める３次元撮像
装置に関するものである。

【０００２】

【従来の技術】パッシブに距離情報を得る方法として
は、大別して相関法とコントラスト検出法がある。ここ
では前者に注目する。

【０００３】前者の例として、二眼、或いは多眼ステレ
オ方式、またはオートフォーカス（ＡＦ）に使用される
ＴＴＬ−ＳＩＲ（Ｔｈｒｏｕｇｈ Ｔｈｅ Ｌｅｎｓ
Ｓｅｃｏｎｄａｒｙ ｌｍａｇｅｄ Ｒｅｇｉｓｔｒａ
ｔｉｏｎ；２次結像位相差検出）、或いはＵＳＰ４，１
８５，１９１に代表されるＴＣＬ（ＴｈｒｏｕｇｈＣａ
ｍｅｒａ Ｌｅｎｓ）システム等が知られている。

【０００４】ステレオ方式は、二眼或いは多眼で撮像さ
れた視差を有した複数の画像間の対応をとって視差を求
め、これから被写体の距離情報を得ようとするものであ
る。

【０００５】ここで、図７乃至図９を参照して、ＡＦに
用いられるＴＴＬ−ＳＩＲ、或いはＴＣＬシステムの原
理について説明する。

【０００６】図７（ａ）〜（ｃ）に於いて、撮影レンズ
１を介してピント面２に集光する光束につき、撮影レン
ズ１の瞳の上半分を通過する光束と下半分を逓過する光
束とに分解して考える。

【０００７】図７（ａ）は、被写体Ｐ₀ に対して合焦の
状態、図７（ｂ）は被写体Ｐ₁ に対して前ピンの状態、
そして図７（ｃ）は被写体Ｐ₂ に対して後ピンの状態
を、それぞれ表している。

【０００８】撮影レンズ１の瞳の上半分を通過する光束
を実線で表し、下半分を通過する光束を破線で表すと、
両者がピント面２を通過する位置が、前ピンと後ピンで
反転する性質を有している。これを利用して、合焦状態
を判定する。

【０００９】具体的には、ピント面２に、図８（ａ）に
示される構成の素子を複数個アレイ状に配置する。図８
（ａ）に於いて、マイクロレンズ（或いは蝿の目レン
ズ）３に対応して、２つの受光素子４及び５が配置され
ている。該受光素子４は、マイクロレンズ３に対して、
破線で示されるように入射される光線７を受光する。ま
た、受光素子５は、マイクロレンズ３に対して、実線で
示されるように入射される光線を受光する。言い換える
と、それぞれの受光素子４及び５は、受光する光線に方
向性を有している。

【００１０】このようなマイクロレンズと受光素子の組
を、複数個（例えば２４個等）ピント面２の近傍に配列
する。方向性を区別するために、受光素子４の位置に配
列された受光素子群をＡ系列と称し、受光素子５の位置
に配列された受光素子群をＢ系列と称するものとする。
すると、Ａ系列で受光される光強度分布とＢ系列で受光
される光強皮分布は、図８（ｂ）に、それぞれ光強度分
布８及び９で示されるように、合焦状態からずれた前ピ
ン或いは後ピン状態では、合焦状態からのずれ量に応じ
て左右にずれる。これを測定して、合焦状態からのずれ
量（デフォーカス量）を知ることができる。

【００１１】尚、図８（ｂ）に於いて、縦軸方向は（Ｃ
ＣＤで撮像される）光強度分布、横軸方向は（撮像素子
の走査方向、例えば行の）空間座標或いは番号である。

【００１２】カメラのピント合わせに用いられるスプリ
ットイメージ方式は、図９に示されるように、２つの薄
い楔（Ｗｅｄｇｅ）状のプリズム１１及び１２を逆勾配
に組合わせもの（スプリットプリズムペアと称する）に
より、各プリズム１１及び１２の斜辺の交点がピント面
１３を定める。このピント面１３からｄｚだけずれた面
１４上の点Ｐ′に収束する光束１５は、２δｄｚだけ離
間した２点Ａ、Ｂから発散する光束に変換される．ここ
で、δは各プリズムによる偏角であり、各プリズムの頂
角をα、屈折率をｎとしたとき、（ｎ−１）αで表され
る。これを、接眼レンズ１６を介して肉眼１７で観察す
る。実際には、点の代わりに上下の窓に表示された像の
横ずれが一致するようにピントを合わせる。これは、上
述した２つの方式のうち、相関法に分類することができ
る。

【００１３】

【発明が解決しようとする課題】ところで、二眼または
多眼ステレオ法は、焦点距離を初めとする内部パラメー
タ、カメラ間の位置、姿勢等の外部パラメータといった
カメラパラメータのキャリブレーションや、画像間の対
応を求める、いわゆる対応問題を解決する必要がある。
しかしながら、両者共に困難な課題であり、いまだに満
足のいく解決策を日々求めている段階にある。

【００１４】また、ＴＴＬ−ＳＩＲ、或いはＴＣＬシス
テムは、カメラの視野の中心或いは被写体に於ける一部
のエリアにつき距離情報をとっており、シーン全体の距
離情報をとることができない。

【００１５】また、二眼または多眼ステレオ法では、ズ
ーム操作やフォーカシング操作との協調がうまくいかな
いといった課題を有している。例えば、ズーム操作を行
う場合、二眼または多眼ステレオ法では、使用するレン
ズを全て同じようにズーム操作を行わせる必要が生ず
る。また、フォーカシング操作を行うと、カメラパラメ
ータが変化し、キャリブレーションの修正が、場合によ
っては必要となるという困難がある。

【００１６】したがって本発明は、被写体或いはシーン
全体の距離情報を一眼のカメラで撮像したピント面の画
像を、合焦状態に応じて２つに分離することによって相
関法を用いて距離情報を求めることのできる３次元撮像
装置を提供することを目的とする。

【００１７】また、本発明は、カメラパラメータのキャ
リブレーションをすることなしに、対応問題を軽減する
ことのできる３次元撮像装置を提供することを目的とす
る。

【００１８】

【課題を解決するための手段】すなわち第１の発明によ
る３次元撮像装置は、光が入射する面の少なくとも一部
が複数の領域に区分されており、上記各領域に入射する
各光束は、予め定められた複数の方向のうちから各領域
毎に定められた１の方向に偏向されるように構成され
た、撮像光学系のピント面近傍に配設された光学素子
と、上記各領域に各レンズが同軸に配設されたレンズア
レイと、上記レンズアレイに関して上記光学素子と略共
役の位置に受光面を有し、上記光束の各偏向方向毎に像
を区別して撮像可能な撮像素子と、を具備することを特
徴とする。

【００１９】また、第２の発明による３次元撮像装置
は、撮像レンズのピント位置近傍に設けられた、逆交差
したマイクロスプリットプリズムペアのアレイを含むス
プリットプリズム板と、該マイクロスプリットプリズム
ペアと同軸に配列されたマイクロレンズのアレイと、該
マイクロレンズのアレイに関して上記マイクロスプリッ
トプリズムペアのピント面と共役に配置され、該マイク
ロスプリットプリズムペアの長手方向に平行な走査方向
を有し、それぞれのマイクロスプリットプリズムからの
信号光を別々の走査ラインで撮像する固体撮像素子アレ
イと、を具備することを特徴とする。

【００２０】第３の発明による３次元撮像装置は、画素
毎に光を感光可能な感光領域と光を感光しない非感光領
域とを有する、複数画素を有する受光素子と、上記受光
素子の各画素に対応して各レンズが配設されたレンズア
レイと、を有し、上記各画素の感光領域と対応するレン
ズの光軸との相対的位置関係が、予め定められた複数の
相対的位置関係のうちの１つに該当するように構成され
ており、上記受光素子は上記各相対的位置関係毎に区別
して撮像可能であることを特徴とする。

【００２１】更に、第４の発明による３次元撮像装置
は、撮像レンズのピント位置近傍に設けられたマイクロ
レンズ付固体撮像素子アレイであって、マイクロレンズ
アレイの光軸と該固体撮像素子アレイの各画素に設けら
れたフォトダイオード開口部との相対的位置関係が、偶
数番目の走査ラインと奇数番目の走査ラインとで走査方
向に半画素分ずれて配置されたことを特徴とする。

【００２２】第１の発明による３次元撮像装置にあって
は、撮像光学系のピント面近傍に配設された光学素子
は、光が入射する面の少なくとも一部が複数の領域に区
分されている。そして、上記各領域に入射する各光束
は、予め定められた複数の方向のうちから各領域毎に定
められた１の方向に偏向されるように構成されている。
また、レンズアレイは、上記各領域に各レンズが同軸に
配設されている。そして、撮像素子は、上記レンズアレ
イに関して、上記光学素子と略共役の位置に受光面を有
し、上記光束の各偏向方向毎に像を区別して撮像可能と
なっている。

【００２３】また、第２の発明による３次元撮像装置に
あっては、撮像レンズのピント位置近傍に設けられたス
プリットプリズム板が、逆交差したマイクロスプリット
プリズムペアのアレイを含んでおり、該マイクロスプリ
ットプリズムペアと同軸にマイクロレンズのアレイが配
列されている。そして、固体撮像素子アレイは、該マイ
クロレンズのアレイに関して上記マイクロスプリットプ
リズムペアのピント面と共役に配置され、該マイクロス
プリットプリズムペアの長手方向に平行な走査方向を有
し、それぞれのマイクロスプリットプリズムからの信号
光を別々の走査ラインで撮像するものである。

【００２４】第３の発明による３次元撮像装置にあって
は、画素毎に光を感光可能な感光領域と光を感光しない
非感光領域とを有する複数画素を、受光素子が有してい
る。また、上記受光素子の各画素に対応して各レンズ
が、レンズアレイに配設されている。そして、上記各画
素の感光領域と対応するレンズの光軸との相対的位置関
係は、予め定められた複数の相対的位置関係のうちの１
つに該当するように構成されている。上記受光素子は、
上記各相対的位置関係毎に区別して撮像可能となってい
る。

【００２５】更に、第４の発明による３次元撮像装置に
あっては、撮像レンズのピント位置近傍にマイクロレン
ズ付固体撮像素子アレイが設けられている。そして、マ
イクロレンズアレイの光軸と該固体撮像素子アレイの各
画素に設けられたフォトダイオード開口部との相対的位
置関係が、偶数番目の走査ラインと奇数番目の走査ライ
ンとで走査方向に半画素分ずれて配置されている。

【００２６】

【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態を説明する。

【００２７】図１は、本発明の第１の実施の形態を示す
もので、図１（ａ）は３次元撮像装置に適用されるマイ
クロ化したスプリットプリズムペア（以下、マイクロス
プリットプリズムペアと称する）を説明する断面図、
（ｂ）は同図（ａ）の一部を立体的に示した図、（ｃ）
はマイクロレンズを示した図である。

【００２８】図１（ａ）に於いて、マイクロスプリット
プリズムペア２１は、２次元のアレイ状に配列されてス
プリットプリズム板２２を構成する。このスプリットプ
リズム板２２は、光が入対する面の少なくとも一部が複
数の領域に区分されており、上記各領域に入射する各光
束は、予め定められた複数の方向のうちから各領域毎に
定められた１の方向に偏向されるように構成された光学
素子である。

【００２９】尚、図中２３はピント面を表している。こ
のピント面２３は、マイクロスプリットプリズムペア２
１の斜辺の交点を通る。

【００３０】上記マイクロスプリットプリズムペア２１
の入射光線２８より後方側には、マイクロレンズ２５、
２次元の固体撮像素子２６が配置されている。一方、ピ
ント面２３から所定距離ｄｚだけデフォーカスしてデフ
ォーカス面２４が形成される。このデフォーカス面２４
に対して、光軸２７が直交し、収束する光線２８が入射
される。そして、図中、Ｏ₀ はその収束点、二点Ｏ₁ 、
Ｏ₂ はデフォーカス量ｄｚに対応して２δｄｚだけ離れ
た２点を表している。

【００３１】図１（ｂ）は、同図（ａ）の一部を立体的
に示しているが、煩雑を避けるために、マイクロスプリ
ットプリズムペア２１のマイクロレンズ２５を取り除い
て示している。

【００３２】図１（ｂ）に於いて、マイクロスブリット
プリズムペア２１は、各要素であるマイクロスプリット
プリズム３１及び３２を有しており、これらマイクロス
プリットプリズム３１及び３２は逆交差の状態に配置さ
れている。該マイクロスプリットプリズム３１及び３２
の後方には、２次元固体撮像素子の、例えば偶数番目、
奇数番目のそれぞれの行に属する画素３３及び３４が配
列されている。そして、図示矢印Ｃ方向は、走査の方向
を表している。

【００３３】ここで、逆交差の状態に配置されたマイク
ロスプリットプリズムとは、２つの薄い楔状のプリズム
を逆勾配に組合わせたものをいう。通常、その最急勾配
線を横方向から見て交差した点（実際には線）が、ピン
ト位置を決定する。

【００３４】スプリットプリズムペアに於いて、逆交差
している１つの定義として、スプリットプリズムペアに
於いて、ピント平面とプリズムベアの境界平面の両方に
垂直な平面を想定した場合、一方のプリズムの光の入対
面または射出面の法線方向と、他方のプリズムの対応面
の法線ベクトルが、上記想定平面に対して異なる側にあ
る状態になる。（両者のベクトルが平面に対して異なる
側にある状態とは、平面上に両者のベクトルの始点をお
いた場合、平面によって２分割された空間のそれそれ異
なった空間に各終点があるとの意味である。

【００３５】上記マイクロスプリットプリズム３１及び
３２で定められる光軸２７に平行に入射された光線３５
及び３６は、それぞれ該マイクロスプリットプリズム３
１及び３２で偏向されて、画素３７及び３８のように、
走査方向Ｃに対して前後方向にずれた画素に入射され
る。

【００３６】スプリットプリズム板の入射面に於いて
は、少なくとも一部にはスプリットプリズム群の形成さ
れた部分を有している。この際、入射面全面にスプリッ
トプリズム群が形成されいてもよい。そして、このスプ
リットプリズム群の個々のプリズムの入射面を１つの領
域と捉えられる。この各領域（個々のプリズムの入射
面）に入射してた光は、予め定められた複数の方向（本
実施の形態では２方向）のうちから各領域毎に定められ
た１の方向に偏向される。上記各プリズムは、２方向の
うち何れかの方向に光を偏向する。

【００３７】このように、スプリットプリズム板は好適
なものであるが、これに限定されず、光が入射する面の
少なくとも一部が複数の領域に区分されており、上記各
領域に入射する各光束は予め定められた複数の方向のう
ちから各領域毎に定められた１の方向に偏向されるよう
に構成された光学素子ならばよい。

【００３８】上記マイクロレンズ２５は、図１（ｃ）に
示されるように、光透過部３９、４０と、図中斜線で示
される光遮蔽部４１、４２とが、交互に配置されて構成
されている。

【００３９】図２（ａ）は、本３次元撮像装置の全体構
成の概要を示した図である。

【００４０】図２（ａ）に於いて、光軸４４に沿って入
射される光線は、撮像レンズ４５を介し、クイックリタ
ーンミラー（または半透鏡）４６で反射されて、レンズ
４７を介してデフォーカス量ｄｚの検出装置４８に至
る。また、クイックリターンミラー４６が光路より退避
されている場合は、撮像レンズ４５を通過した光線は、
メインの２次元固体撮像素子４９に至る。

【００４１】図２（ｂ）は、本撮像装置に入射される主
光線の光路を示すもので、図中Ｈ₁、Ｈ₂ は、撮像レン
ズ４５の主点を表している。

【００４２】上記検出装置４８の構造に厚みがある関係
上、入射される光線は検出装置４８に略垂直に入射する
ことが望ましい。このため、検出装置４８の前方にレン
ズ４７が載置されて、撮像光学系（４５及び４７）をテ
レセントリックにしている（主光線が検出装置４８に略
垂直に入射するようにしている）。

【００４３】但し、撮像素子にＣＣＤやＣＭＯＳを使用
したカメラでは、撮像素子に垂直に主光線が入射するよ
うに撮像光学系を設計をする場合が多い（撮像レンズ４
５だけでテレセントリックになっている）が、このよう
な撮像光学系では、レンズ４７は不要となる。

【００４４】次に、このように構成された３次元撮像装
置の動作について説明する。

【００４５】図１（ａ）、１（ｂ）に於いて、ピント面
２３からｄｚだけずれたデフォーカス面２４の点Ｏ₀ に
収束する光束は、マイクロスプリットプリズムペア２１
を透過した後、２δｄｚだけ離れた２点０₁ 、０₂ から
発散するように進む。これら２点０₁ 、０₂ の像は、マ
イクロレンズ２５を介して２次元固体撮像素子２６上に
形成される。その倍率Ｍは、例えば「１」に設定され
る。

【００４６】この場合には、２δｄｚだけ離間した２点
０₁ 、０₂ の、該マイクロレンズ２５による同サイズの
像が、２次元固体撮像素子２６上に形成される。マイク
ロスプリットプリズムペア２１の長手方向の長さは、２
次元固体撮像素子２６の、例えば数画素分の長さを有し
ており、その幅はそれぞれ１画素分とする。

【００４７】また、マイクロスプリットプリズムペア２
１の長手方向は、２次元固体撮像素子２６の走査方向と
平行に配置される。言い換えると、奇数番目に走査され
た画像は、例えばマイクロスプリットプリズムペア２１
の一方を通過した画像を撮像し、偶数番目に走査された
画像はマイクロスプリットプリズムペア２１の他方を通
過した画像を撮像する。両者は、マイクロスプリットブ
リズムペア２１の働きにより、対となる２Ｍδｄｚだけ
横方向にずれた２つの画像を提供している。

【００４８】通常のカメラのピント合わせの場合は、肉
眼により、このずれ量が０になるように調節する。ここ
では、肉眼の代わりに、図１（ｃ）に示されるマイクロ
レンズ２５が用いられている。これは、マイクロレンズ
２５が光遮蔽部４１を有しており、該マイクロレンズ２
５の右半分は、図示されない撮影レンズの２分割された
瞳の一方（例えば下半分）からの光束を優先的に透過さ
せ、マイクロレンズ２５の左半分は図示されない撮影レ
ンズの２分割された瞳の他方（例えば上半分）からの光
束を優先的に透過させる、という役割を有しているから
である。

【００４９】このように配慮すると、マイクロスプリッ
トブリズムペア２１で対とされた、奇数番目に走査され
た画像と、偶数番目に走査された画像とが、それぞれ図
示されないメモリに記憶され、両画像間の相関がペアと
なる各行毎にとられて、横ずれ量２Ｍδｄｚのマップ
（撮像素子上の位置の関数）が求められ、上記Ｍ、δを
既知としてデフォーカス量ｄｚの２次元データ、言い換
えると、被写体全体或いはシーンの距離情報が得られ
る。

【００５０】このとき、相関をとる２つの画像は、同一
の撮像レンズ、撮像素子で撮標された画像であるため、
異なる撮像レンズの異なる配置、姿勢で撮られた２つの
画像間の相関をとる場合と比較して極めて単純化されて
おり、いわゆる対応問題を軽減している。

【００５１】デフォーカス量ｄｚと被写体までの距離ａ
との間には、撮像レンズの焦点距離ｆを介して、次式が
成立する。 （１／ａ）＋（１／ｂ）＝１／ｆ …（１） △ｂ＝−（ｂ² ／ａ² ）△ａ≡ｄｚ …（２） ここで、ｂは撮像レンズから像面（ピント面）までの距
離を表している。撮像装置のＡＦ機能から被写体までの
距離ａが求められ、デフォーカス量ｄｚと、上記（１）
式及び（２）式から、被写体の立体情報Δａを求めるこ
とができる。

【００５２】撮像装置のＡＦ機能は、専用のＡＦセンサ
からの信号を用いるか、上述したマイクロスプリットプ
リズムペア２１の機能を利用して、例えば、視野の中心
付近のエリアでの平均的デフォーカス量ｄｚを求めて、
これが０となるように撮像レンズに帰還をかけることに
より達成することもできる。

【００５３】このように、上記光束の各偏向方向毎に像
を区別して撮像可能な撮像素子は、光の偏向方向（２方
向）毎に、走査線の奇数と偶数を対応させて、区別して
受光している。上記撮像素子は光の仰向方向毎に像を区
別して撮像するが、走査線により像を区別するのは好適
な方法である。

【００５４】次に、図２（ａ）及び（ｂ）を参照する
と、撮像レンズ４５により撮像された図示されない被写
体の画像は、クイックリターンミラー（または半透鏡）
４６を介して、その濃淡画像（輝度画像）はメインの２
次元固体撮像素子４９により撮像される。被写体の距離
情報は、デフォーカス量ｄｚの検出装置４８により、上
述したようにして得られる。レンズ４７の動作は、撮像
レンズ４５の画角を構成する主光線（主点Ｈ₁ に収束
し、主点Ｈ₂ から発散する光線束）を光軸に平行な主光
線（テレセントリック光学系）に変換することにある。

【００５５】次に、図１（ａ）に示されるマイクロスプ
リットプリズムペア２１の機能について説明する。

【００５６】図３（ａ）に於いて、マクロ的なスプリッ
トプリズム５１（図９の例えばプリズム１１）を模式的
に表すとすれば、マイクロスプリットプリズム５２に相
当する。これは、マクロ的なプリズムとリニアフレネル
レンズが等価であるのと似ている。マイクロスプリット
プリズム５２の高さは、撮影に使用するスペクトル領域
の中心波長の整数倍に選択される。

【００５７】また、図４は、マイクロスプリットプリズ
ムペア２１の感度の向上について説明するものである。

【００５８】通常のマイクロスプリットプリズム５３
を、図４（ａ）に示されるような形状であるとすると、
図４（ｂ）に示されるマイクロスプリットプリズム５４
は、同図（ａ）に示されるマイクロスプリットプリズム
５３のピッチを１／４に短縮したものである。こうする
と、マイクロスプリットプリズム５４の頂角（図の左側
の底角）は、マイクロスプリットプリズム５３の頂角の
約４倍となり、感度が４倍となる。この役割は、例え
ば、視野の中心部の距離分解能を、周辺に比較して高く
選びたいときに有効となる。

【００５９】このように、第１の実施の形態によれば、
図１（ａ）に示されるスプリットプリズム板２２は、基
本的にリニアフレネルレンズを一行おきに形成したもの
であり、視野の中心の感度と周辺の感度を任意に変更で
きる可能性を有している。また、基板としてマイクロレ
ンズ２５を要素とする２次元アレイを用いることによ
り、この上にマイクロスプリットプリズムペア２１の２
次元アレイを一体化して密着形成することができる、と
いう利点も有している。

【００６０】この第１の実施の形態には、多くの変更が
可能である。

【００６１】次に、その１つについて、図５を参照して
説明する。

【００６２】図５（ａ）に示される曲線５５は、非球面
を表している。また、図５（ｂ）に示される曲線５６
は、上記非球面５５をこれと等価なフレネル面で近似し
たものを表している。マイクロスプリットプリズムの代
わりに非球面５５と等価なフレネル面で置き換えると、
該マイクロスプリットプリズムの感度は頂角に比例する
ことから、図５（ｂ）に於いて、右側から左側に移行す
るにつれ感度が増大することがわかる。

【００６３】したがって、例えば左端を視野の中心とす
れば、視野の中心で感度が非線型的に高くなり、周辺に
移行するにつれて感度が低下する機能が得られる。これ
は、丁度人間の眼が視野の中心で高感度を有するという
機能をシミュレートすることになる。

【００６４】また、図１（ｂ）に於いて、マイクロスプ
リットプリズム３１、３２の横幅をそれぞれ１画素分の
幅としたが、メモリヘの書き込みがやや複雑となるが、
複数行の幅にわたるとしても可能であることは勿論であ
る。

【００６５】本発明によれば、図２（ａ）に示される検
出装置４８で扱われる画像は、一眼の撮像レンズ４５に
より得られ、メインの２次元固体撮像素子４８により撮
像される輝度画像と同じものであるから、撮像レンズ４
５のズーム操作や合焦動作に協調して動作可能な特徴を
有している。これは、上述したように、多眼ステレオで
は困難な課題である。

【００６６】また、従来の合焦装置にみられる視野の中
心部のみ距離情報をとるのでなく、視野全体の距離情報
を相関をとることにより求めることができるという特徴
を有している。

【００６７】更に、一眼の撮像レンズ４５で得られた画
像の偶数番目の走査から得られた画像と、該画像とペア
となる奇数番目の走査から得られた画像との相関をとる
ことから、いわゆる対応問題を軽減することができる。

【００６８】次に、本発明の第２の実施の形態を説明す
る。

【００６９】図６は、本発明の第２の実施の形態による
３次元固体撮像装置の構成例を示した図である。

【００７０】図６に於いて、２次元固体撮像素子は、各
行６０、６１、６２を有して構成される。上記各行６
０、６１、６２には、画素６５、６６、…を有してい
る。そして、例えば、上記画素６５内には、感光領域で
あるフォトダイオード（ＰＤ）開口部６４を有してい
る。また、画素６５内で、上記ＰＤ開口部６４以外の部
分が非感光領域である。尚、６３はマイクロレンズであ
る。

【００７１】ＰＤ開口部６４の画素６５内での配置は各
行で同じであるが、マイクロレンズの位置が行６１では
隣接する行６０、６２と比べて半画素分ずれている。言
い換えると、偶数番目の行と奇数番目の行でのＰＤ開口
部６４の画素内での位置はそれぞれ同じであるが、マイ
クロレンズは半画素分ずれている。

【００７２】次に、本第２の実施の形態の動作を説明す
る。

【００７３】マイクロレンズ６３の形状は、稠密構造を
とることが望ましく、例えば、図６に示される例では、
六角形状をしている。この中心とＰＤ開口部６４の中心
とはずれているから、受光する光束には方向性、或いは
指向性が生ずる。この指向性は、ＰＤ開口部６４の幅
（行６０の走査方向に平行な幅）が狭いほど高くなる。

【００７４】隣り合う行の受光の指向性は、それぞれの
行のマイクロレンズの光軸に対して反対の方向をとる。
これは、上述した図８（ａ）で説明した機能を、隣り合
う２つの行で分担した形をとっている。

【００７５】言い換えると、２次元固体撮像素子の偶数
番目の行と奇数番目の行とで撮像された画像（それぞれ
偶数画像、奇数画像と称する）では、分割された瞳で被
写体を見たときに生ずる視差に対応した横ずれを生じて
おり、偶数画像、奇数画像間の行毎の相関をとることに
より、図７に示される瞳分割の原理による視差に対応し
た距離情報を得ることができる。

【００７６】このように、第２の実施の形態は、上述し
た第１の実施の形態にみられるマイクロスプリットプリ
ズムのような異方性を有する光学素子を必要とせず、マ
イクロレンズと、これに対応した画素内でのＰＤ開口部
の位量とにより、受光する方向に異方性をもたしてい
る。したがって、第１の実施の形態よりも構成が簡単で
あり、製作が容易であるという利点を有している。

【００７７】また、この第２の実施の形態には、種々の
変更が可能である。

【００７８】図６では、マイクロレンズを半画素分、行
毎にずらしたが、逆にマイクロレンズを四角形状として
桝目状に並べて、ＰＤ開口部を行毎に半画素ずらすとい
うことも可能である。

【００７９】

【発明の効果】以上のように本発明によれば、被写体或
いはシーン全体の距離情報を一眼のカメラで撮像したピ
ント面の画像を、合焦状態に応じて２つに分離すること
によって相関法を用いて距離情報を求めることのできる
３次元撮像装置を提供することができる。

【００８０】また、本発明によれば、カメラパラメータ
のキャリブレーションをすることなしに、対応問題を軽
減することのできる３次元撮像装置を提供することがで
きる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示すもので、図１
（ａ）は３次元撮像装置に適用されるマイクロ化したス
プリットプリズムペアを説明する断面図、（ｂ）は
（ａ）の一部を立体的に示した図、（ｃ）はマイクロレ
ンズを示した図である。

【図２】（ａ）は３次元撮像装置の全体構成の概要を示
した図、（ｂ）は本撮像装置に入射される主光線の光路
を示した図である。

【図３】マクロ的なスプリットプリズム５１を模式的に
表した図である。

【図４】マイクロスプリットプリズムペア２１の感度の
向上について説明するもので、（ａ）は通常のマイクロ
スプリットプリズム５３を模式的に表した図、（ｂ）は
（ａ）に示されるマイクロスプリットプリズム５３のピ
ッチを１／４に短縮して表した図である。

【図５】第１の実施の形態の変形で、（ａ）は非球面５
５を表した図、（ｂ）は上記非球面５５をこれと等価な
フレネル面で近似した図である。

【図６】本発明の第２の実施の形態による３次元固体撮
像装置の構成例を示した図である。

【図７】ＡＦに用いられるＴＴＬ−ＳＩＲ、或いはＴＣ
Ｌシステムの原理について説明するもので、（ａ）は被
写体Ｐ₀ に対して合焦の状態を示した図、（ｂ）は被写
体Ｐ₁ に対して前ピンの状態を示した図、（ｃ）は被写
体Ｐ₂ に対して後ピンの状態を示した図である。

【図８】ＡＦに用いられるＴＴＬ−ＳＩＲ、或いはＴＣ
Ｌシステムの原理について説明するもので、（ａ）は撮
影レンズと受光素子との関係を示した図、（ｂ）は
（ａ）の受光素子位置に配列された受光素子群の光強度
分布図である。

【図９】カメラのピント合わせに用いられるスプリット
イメージ方式を説明する図である。

【符号の説明】

２１ マイクロスプリットプリズムペア、 ２２ スプリットプリズム板、 ２３ ピント面、 ２４ デフォーカス面、 ２５ マイクロレンズ、 ２６ 固体撮像素子、 ２７、４４ 光軸、 ２８、３５、３６ 光線、 ３１、３２ マイクロスプリットプリズム、 ３３、３４、３７、３８ 画素、 ３９、４０ 光透過部、 ４１、４２ 光遮蔽部、 ４５ 撮像レンズ、 ４６ クイックリターンミラー（半透鏡）、 ４７ レンズ、 ４８ 検出装置、 ４９ ２次元固体撮像素子。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０２Ｂ 5/04 Ｇ０２Ｂ 5/04 Ｆ Ｇ０３Ｂ 15/00 Ｇ０３Ｂ 15/00 Ｂ Ｕ 35/08 35/08 Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 5/225 Ｚ Ｆターム(参考） 2F065 AA06 AA53 FF10 JJ03 JJ09 JJ26 LL00 LL04 LL10 LL11 LL47 LL59 QQ23 QQ38 QQ41 2H042 CA12 CA17 2H059 AA09 5C022 AA13 AB26 AC42 AC54 5C061 AB06

Claims (7)

【特許請求の範囲】
1. 【請求項１】 光が入射する面の少なくとも一部が複数
   の領域に区分されており、上記各領域に入射する各光束
   は、予め定められた複数の方向のうちから各領域毎に定
   められた１の方向に偏向されるように構成された、撮像
   光学系のピント面近傍に配設された光学素子と、 上記各領域に各レンズが同軸に配設されたレンズアレイ
   と、 上記レンズアレイに関して上記光学素子と略共役の位置
   に受光面を有し、上記光束の各偏向方向毎に像を区別し
   て撮像可能な撮像素子と、 を具備することを特徴とする３次元撮像装置。
2. 【請求項２】 撮像レンズのピント位置近傍に設けられ
   た、逆交差したマイクロスプリットプリズムペアのアレ
   イを含むスプリットプリズム板と、 該マイクロスプリットプリズムペアと同軸に配列された
   マイクロレンズのアレイと、 該マイクロレンズのアレイに関して上記マイクロスプリ
   ットプリズムペアのピント面と共役に配置され、該マイ
   クロスプリットプリズムペアの長手方向に平行な走査方
   向を有し、それぞれのマイクロスプリットプリズムから
   の信号光を別々の走査ラインで撮像する固体撮像素子ア
   レイと、 を具備することを特徴とする３次元撮像装置。
3. 【請求項３】 上記スプリットプリズム板は、上記マイ
   クロレンズのアレイに密着して形成されたことを特徴と
   する請求項２に記載の３次元撮像装置。
4. 【請求項４】 上記スプリットプリズム板は、視野の中
   心部の感度を向上させた領域を有することを特徴とする
   請求項２に記載の３次元撮像装置。
5. 【請求項５】 上記視野中心部の感度を向上させる感度
   向上手段を更に具備し、該感度向上手段は、非球面若し
   くはこれと等価なリニアフレネルレンズを設けたことを
   特徴とする請求項４に記載の３次元撮像装置。
6. 【請求項６】 画素毎に光を感光可能な感光領域と光を
   感光しない非感光領域とを有する、複数画素を有する受
   光素子と、 上記受光素子の各画素に対応して各レンズが配設された
   レンズアレイと、を有し、 上記各画素の感光領域と対応するレンズの光軸との相対
   的位置関係が、予め定められた複数の相対的位置関係の
   うちの１つに該当するように構成されており、上記受光
   素子は上記各相対的位置関係毎に区別して撮像可能であ
   ることを特徴とする３次元撮像装置。
7. 【請求項７】 撮像レンズのピント位置近傍に設けられ
   たマイクロレンズ付固体撮像素子アレイであって、 マイクロレンズアレイの光軸と該固体撮像素子アレイの
   各画素に設けられたフォトダイオード開口部との相対的
   位置関係が、偶数番目の走査ラインと奇数番目の走査ラ
   インとで走査方向に半画素分ずれて配置されたことを特
   徴とする３次元撮像装置。