JP2000112019A - 電子３眼カメラ装置 - Google Patents

Abstract

(57)【要約】 【課題】低コストで高品質の物体分離および３次元的な
画像情報を取得可能な電子３眼カメラ装置を提供する。 【解決手段】主レンズ４と撮像素子１を有する第１の撮
像手段と、副レンズ５と撮像素子１より有効画素数の少
ない撮像素子２を有し、副レンズ５の光軸が主レンズ４
の光軸と平行である第２の撮像手段と、副レンズ６と撮
像素子１より有効画素数の少ない撮像素子３を有し、副
レンズ６の光軸が主レンズ４の光軸と平行である第３の
撮像手段と、第２の撮像手段の撮像した画像と第３の撮
像手段の撮像した画像とを参照することにより、第１の
撮像手段の撮像した画像の深度情報を得る制御回路１１
とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は電子３眼カメラ装置
に関するものである。

【０００２】

【従来の技術】家庭用コンピュータ（ＰＣ）の浸透とＰ
Ｃの高性能化に伴い、従来の銀塩カメラに代わって個人
用のデジタルカメラが販売され、かつ１００万画素を越
えるＣＣＤを搭載したデジタルカメラが販売されてい
る。この高精細なデジタルカメラは、撮像した画像をＶ
ＧＡ以上の高精細表示装置に表示したり、Ａ４以上の大
判のプリンターで印刷したりするといった用途に好適し
ている。しかし、高精細度にはデバイス上、さらにはメ
モリの容量や表示上の限界がある。一方、デジタルカメ
ラのユーザは圧倒的にＰＣの所有者が多いので、撮像に
より得られた画像を加工したりして楽しむ用途がある。

【０００３】また、現在では、撮像した画像の色調や拡
大、縮小を行なう変換処理、画素の色調等をあるモデル
に合わせて変更するモーフィング処理や、画素単位で変
化や加工を加えるレタッチ処理なども一般に行われてい
る。しかしこれらの処理は画像からの物体情報を用いな
いで、画像の色や濃淡情報のみを用いているので、画素
単位で処理するしかなく、多大な時間を要していた。

【０００４】一方、カメラでの撮像時において撮像と同
時に深さ方向の情報を取得することが出来れば、人物等
の物体と背景とを自動的に分離することが可能であり、
複雑な画像処理や手作業を行なわなくても容易に物体分
離（セグメンテーション）を行なうことが可能となる。
このようなセグメンテーションが出来れば背景を交換し
たり、物体のみを加工したり、３次元空間内に置いた
り、様々な楽しみが増えることが言うまでもない。ま
た、取得した３次元情報を用いて３次元のワイヤーフレ
ームを作ることも可能である。

【０００５】この目的で、深さ方向の情報を取得するこ
とが可能なカメラについては、現在でも技術的に多くの
提案がされている。具体的には、レーザー光による、モ
アレや光切断法を用いて、深さ方向の情報を取得する方
法が提案されている。しかし、この方法では３次元計測
に時間がかかり、かつ、深さ方向の情報を色情報と一緒
に（同時に）取得することが出来ない等の問題があっ
た。またレーザー光を使うため装置が高価で大きくなる
という欠点がある。

【０００６】また、ステレオカメラを用いて深さ方向の
情報を得る方法も提案されている。最も簡単でデジタル
カメラと相性が良いのは２眼式か多眼式のステレオカメ
ラである。この場合は、２つのＣＣＤ等の固体撮像素子
を用いるのでコスト高となるが、固体撮像素子のコスト
が下がれば、小型の構成でありながら短時間で画像を取
り込むことができる利点がある。

【０００７】このステレオカメラは既に古くから提案さ
れている。最近では、特開平６−２７３１７２号公報に
は光軸のずれ量を電気的に補正することが出来るステレ
オカメラの構成が提案されている。また特開平９−７３
５５４号公報には、ステレオ画像からの３次元シーンの
復元法として、一般化距離変換と称する手段によって入
力画像を距離画像に変換し、入力画像の画素値と距離画
像の画素値を併用した対応検索によって対応点を決定す
る手段を提案している。

【０００８】また特開平９−２７９６９号公報では、物
体輪郭線近傍での視差を推定し、１組のステレオ画像か
ら２画像間の任意の視点に対応する中間像を生成する方
法を提案している。

【０００９】一方、特開平５−２８９１７２号公報には
３眼式のカメラが開示されている。これはレンズ付フィ
ルムカメラの構成であり、３つのレンズを備えたカメラ
で、１つのフィルム感光領域に３つの視差の異なる被写
体を撮影し、これをレンチュキュラーレンズ付のフィル
ターを通して観察するものである。

【００１０】

【発明が解決しようとする課題】上記した従来の技術に
おいては、ステレオカメラは２つの撮像素子を用いて被
写体を撮像し、２つの左右の表示装置に表示したり、ま
たは、抽出した特徴点のステレオマッチングによる三角
法により深さ方向の情報を求めている。しかし一般には
これらの技術は、ステレオビューアや距離の計測装置用
に作られたものであった。またステレオマッチングによ
る三角法の計測は従来から既知の技術であるが、従来の
提案では、深さ方向の情報を獲得するためのアルゴリズ
ムの一つであったり、別の角度から見た場合の画像を推
定する方法を開示したものであった。

【００１１】したがって、上記した従来の方法は、デジ
タル画像の取得やその加工に適したものでは無い。実際
に２眼式のカメラで画像を獲得し、通常のステレオマッ
チング処理を実装し、フィールドでのテストを行うと、
多くの問題点が有ることが判明した。したがって、ステ
レオカメラを用いて物体と背景を分離する装置を実現す
るためには以下の要件を満たす必要がある。 ・物体と背景の分離に必要な物体単位の最低限の深さ情
報が得られること。 ・色調情報を得る撮像素子は８０万画素以上の高精細で
あり、レンズ性能も優れていること。 ・通常のデジタルカメラの１．５倍以下のコストである
こと。 ・消費電力の増加が通常のデジタルカメラの２０％以下
であること。 ・画像を取込むメモリの容量が通常のデジタルカメラの
１．５倍以下であること。 ・深さ方向の情報を取得するにあたって、操作者に過大
な負担を与えないこと。

【００１２】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、１つの撮像手
段により撮像した画像の深度情報を、それよりも有効画
素数の少ない２つの撮像手段により撮像した画像を参照
して得ることによって、低コストで高品質の物体分離お
よび３次元的な画像情報を取得可能な電子３眼カメラ装
置を提供することにある。

【００１３】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る電子３眼カメラ装置は、第１の
結像光学系と第１の固体撮像素子を有する第１の撮像手
段と、第２の結像光学系と上記第１の固体撮像素子より
有効画素数の少ない第２の固体撮像素子を有し、上記第
２の結像光学系の光軸が上記第１の結像光学系の光軸と
平行である第２の撮像手段と、第３の結像光学系と上記
第１の固体撮像素子より有効画素数の少ない第３の固体
撮像素子を有し、上記第３の結像光学系の光軸が上記第
１の結像光学系の光軸と平行である第３の撮像手段と、
上記第２の撮像手段の撮像した画像と上記第３の撮像手
段の撮像した画像とを参照することにより、上記第１の
撮像手段の撮像した画像の深度情報を得る深度検出手段
とを具備する。

【００１４】また、第２の発明に係る電子３眼カメラ装
置は、第１の発明に係る電子３眼カメラ装置において、
上記第２の結像光学系と上記第３の結像光学系は等価で
あり、かつ、上記第２の固体撮像素子と上記第３の固体
撮像素子は等価である。

【００１５】また、第３の発明に係る電子３眼カメラ装
置は、第１または第２の発明に係る電子３眼カメラ装置
において、上記第２の結像光学系の光軸と上記第３の結
像光学系の光軸は略３ｃｍ以上離間している。

【００１６】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。 （第１実施形態）図１は、本発明の第１実施形態に係る
電子３眼カメラ装置の構成を示す図である。本発明の電
子３眼カメラ装置を適用した３眼式のデジタルカメラ３
０は、３つのレンズと３つの固体撮像素子（以下、単に
撮像素子と呼ぶ）を具備している。主カメラに搭載され
た第１の撮像素子（図ではＣＣＤ）１と主レンズ（第１
の結像光学系）４が光軸７に沿って配置されるととも
に、２つの焦点距離、画角、口径が等価な副カメラに搭
載された第２、第３の撮像素子（図ではＣＣＤ）２、３
と副レンズ５、６（第２、第３の結像光学系）がそれぞ
れ光軸８、９に沿って配置されている。上記した主レン
ズ４と第１の撮像素子１とは第１の撮像手段を構成し、
上記した副レンズ５と第２の撮像素子２とは第２の撮像
手段を構成し、上記した副レンズ６と第３の撮像素子３
とは第３の撮像手段を構成する。

【００１７】通常のステレオカメラは、全く等価な２つ
のレンズと撮像素子が用いられていた。しかしデジタル
カメラの画像が高品質化すると、１００万画素を越える
高価な撮像素子やレンズを２個（２個以上）搭載するこ
とが形状、重量、価格のどれをとっても実用的とは言い
難い。そこで、本実施形態の構成では図１に示すよう
に、高精細な画像を撮像する撮像素子１及び主レンズ４
の他に、画像の深度情報を計測するための等価な２つの
撮像素子２，３及び副レンズ５，６を別に備えている。

【００１８】撮像素子１，２，３はＣＣＤ、ＣＭＯＳセ
ンサ、ＣＭＤ等の集積型の光電変換素子で構成され、レ
ンズ系４，５，６は１個または複数のレンズと鏡枠、ア
クチュエータを備えている。

【００１９】撮像素子１は高精細な画像を取り込むた
め、最低でもＳＶＧＡの表示が可能な８１万画素であ
り、好ましくは２００万画素以上である。撮像素子２，
３は画像深度情報を計測に用いるために撮像素子１より
も画素数が小さいものを用いる。画素数が小さいと受光
面積が小さくて良い利点がある。例えば３５万画素のＣ
ＣＤは、１／４から１／６インチで十分であり、焦点距
離も口径も小さくできる。よってＣＣＤのみならず、光
学系も小さく出来て、極めて安価なカメラとなる。上記
した副レンズ５，６は従来のＡＦ（自動焦点）用のレン
ズ系を採用しても良い。

【００２０】また基本構成として記録装置１０、制御回
路１１、操作部１２、フラッシュ系１３を備えている。
制御回路１１は上記第２の撮像手段の撮像した画像と上
記第３の撮像手段の撮像した画像とを参照することによ
り、上記第１の撮像手段の撮像した画像の深度情報を得
る深度検出手段としての機能を有している。また、記録
装置１０は脱着可能でも良い。また焦点調節機能や、Ａ
Ｅ（自動露出）、ＡＦ（自動焦点）、日時印刷などの機
能を有していても良い。またＡＦ機能は撮像素子２，３
により代用しても良い。また撮像素子２，３の一部の画
素を用いて計測しても良い。またズーム機能やコンピュ
ータとの通信機能を備えていてもよい。

【００２１】上記したように、本実施形態では、撮像素
子１により撮像した画像の深度情報を、それよりも有効
画素数の少ない２つの撮像素子２，３により撮像した画
像を参照して得るようにしたので、低コストで高品質の
物体分離および３次元的な画像情報を取得可能な電子３
眼カメラ装置を提供することができる。

【００２２】図２は基本的な２眼ステレオ視の原理を説
明するための図である。ここでは説明を簡単にするため
に平行に配置された２つのカメラを考える。ここで左右
のカメラのレンズ中心ＯＬ、ＯＲを通る直線をｘ軸、光
軸方向をｚ軸、ｘ、ｚと直交する方向をｙ軸とする。ま
た２つのカメラ間の距離として定義される基線長をｄと
し、カメラの焦点距離をそれぞれｆ１、ｆ２とする。

【００２３】ここで、左右のカメラのレンズ中心ＯＬ、
ＯＲから焦点距離ｆ１、ｆ２だけ離れた光軸に垂直な２
つのスクリーン面において、３次元シーンの１点（Ｘ，
Ｙ，Ｚ）の投影像を考える。レンズの光軸が各スクリー
ンを貫く点を各スクリーンの原点として左右の座標系を
それぞれとり、左座標系におけるＰＬ座標を（ＸＬ，Ｙ
Ｌ）、右座標系におけるＰＲ座標を（ＸＲ，ＹＲ）とす
ると、３次元シーンの１点（Ｘ，Ｙ，Ｚ）の左右画像へ
の投影像はそれぞれ、ＰＬ（ＸＬ，ＹＬ）（１４）、Ｐ
Ｒ（ＸＲ，ＹＲ）（１５）で表わせる。この左右画像へ
の投影像ＰＬ（ＸＬ，ＹＬ）（１４）、ＰＲ（ＸＲ，Ｙ
Ｒ）（１５）の間には、一般にエピポーラの条件と呼ば
れる以下の関係が成立する。

【００２４】ＸＬ＞ＸＲ ＹＬ＝ＹＲ また、以下の４つの等式が成立する。

【００２５】ＸＬ＝（ｆ１／Ｚ）＊（Ｘ−ｄ／２） ＸＲ＝（ｆ２／Ｚ）＊（Ｘ＋ｄ／２） ＹＬ＝（ｆ１／Ｚ）＊Ｙ ＹＲ＝（ｆ２／Ｚ）＊Ｙ ここで＊は積算を表わす。光学系が同じ焦点距離（ｆ＝
ｆ１＝ｆ２）ならば、 Ｚ＝ｆｄ／（ＸＬ−ＸＲ） （１式） となる。このＺは深さ情報を表わす。また、ＸＬ−ＸＲ
は画素ピッチを表わしている。

【００２６】一方、焦点距離ｆ１とｆ２が異なる場合
は、ＺにＸ成分が含まれることになって、 Ｚ＝（（ｆ１−ｆ２）＊Ｘ＋（ｆ１＋ｆ２）ｄ／２｝／（ＸＬ−ＸＲ） （２式） となり複雑な式になってしまうので、ｆ１とｆ２は同じ
であることが望ましい。

【００２７】ここで１０ミクロン画素の長手方向に１．
１９４ｍｍの有効長のＣＣＤを用いてｆ＝２．２ｃｍの
光学系及びｄ＝３ｃｍとすると、最小の計測距離は１１
ｃｍ、最大計測距離は６６００ｃｍ、１１ｃｍでの最大
計測精度は０．０１８ｃｍとなり、極めて精度の良い三
角測量が可能である。実際には後述する第２実施形態で
示すように比較的小さな撮像素子を用いるため、ここで
は１０ｍ程度の計測距離を考える。

【００２８】焦点距離ｆ１とｆ２が等しくない場合には
次の近似的な方法を用いる。すなわち、（２式）のＸ
Ｌ，ＸＲを求めた後、 Ｚ１＝（（ｆ１＋ｆ２）ｄ／２）／（ＸＬ−ＸＲ） によってＺ１を求める。このあと、Ｚ１とｆとＸＬによ
って決まる画角からＸを求める。その後、求めたＸを
（２式）に代入してＺを求める。次に、再度、Ｚとｆと
ＸＬによって決まる画角からＸを求める。この方法を繰
り返すことによって真のＺを求める。この場合は逐次計
算が必要なので計算時間が膨大となる。よって焦点距離
ｆ１とｆ２は等しいことが望ましい。

【００２９】以下に上記した第１実施形態の作用を説明
する。まず、図３に示すように、撮像素子１及び主レン
ズ４を用いて被写体を撮像して高精細画像３１を得る。
この場合、ＡＥ、ＡＦ、ズーム等の機能を有していても
良い。また、高精細画像３１は８１万画素以上であるこ
とを想定する。

【００３０】次に図４に示すように、撮像素子２及び副
レンズ５と、撮像素子３及び副レンズ６を用いて被写体
を撮影して深さ計測用の左右画像１４，１５を得る。こ
の２つの画像から（１式）に従うステレオマッチングの
方法を用いて各画素単位、及び画素ブロック単位で深さ
の推定を行なって深さ情報を得る。この深さ情報に基づ
いてまとまった物体の画像（Ａ、Ｂ、Ｃ）を物体Ａ、Ｂ
や背景Ｃとして分離する。勿論、画像データとともにこ
の深さ情報を記録して３次元データとして用いても良
い。

【００３１】ここで左右画像への投影像１４、１５は画
素の粗い映像であるため、図５に示すように、撮像素子
１及び副レンズ４により撮影した高精細画像３１と、物
体Ａ、Ｂと背景Ｃとを分離した結果との合成処理を行な
う。この結果、物体Ａ、Ｂの画像に、より高精細なテク
スチャー情報を含めることができる。図６は上記の方法
で合成した最終的な画像を示している。

【００３２】なお、本実施形態のカメラをデジタル画像
のみを撮影するカメラに切り替える事も可能である。 （第２実施形態）図７は本発明の第２実施形態を説明す
るための図である。第２実施形態の基本構成は上記した
第１実施形態と同様である。電子３眼カメラ３０は主レ
ンズ４と等価な２つの副レンズ５、６、及び対応する撮
像素子１、２、３を備えている。副レンズ５及び６の基
線長を２２とする。ここで深さ情報Ｚは（１式）にした
がって、 Ｚ＝ｆｄ／（ＸＬ−ＸＲ） となる。深さ情報Ｚの計測距離の上限は、ｆを大きく、
ｄを大きく、ＸＬ−ＸＲ、即ち画素ピッチを小さくする
のが望ましい。有効面積の小さなＣＣＤでは１／５イン
チで有効画素が３６２×４９２であるならば、３．０４
８×４．０６４ｍｍで８．２６ミクロンピッチとなる。
この場合はＦ３で、ｆ＝５ｍｍの光学系を用いると、程
度が標準的であり、水平画角が３９．３度となる。この
場合は Ｚ＝５ｄ／０．００８２６ 単位（ｍｍ） の関係を得る。この関係を用いてｄの各値に対するＺを
求めると以下のようになる。

【００３３】 ｄ（ｃｍ） Ｚ（ｍ） １ｃｍ ６ｍ ３ｃｍ １８ｍ ５ｃｍ ３０ｍ １０ｃｍ ６０ｍ 以上から本実施形態では基線長ｄ、すなわち、等価な２
つのカメラの中心距離を略３ｃｍ以上とする。勿論、こ
れ以上大きなｆ値や画素のＣＣＤを用いることにより計
測距離を大きくすることができる。 （第３実施形態）図８は、本発明の第３実施形態を説明
するためのシステム構成のブロック図である。第３実施
形態のカメラの基本構成は上記した第１実施形態と同様
である。ここではシステム構成の例を示す。ＣＣＤ等か
らなる撮像素子１，２，３からの電気信号は個別のＡＤ
変換器１６−１，１６−２，１６−３を用いてデジタル
画像に変換される。他に電源回路や増幅回路を設けても
良い。また、撮像素子としてＣＭＯＳセンサを用い、こ
の内部にＡＤ変換機能を持たせてもよい。

【００３４】ＡＤ変換器１６−１，１６−２，１６−３
からのデジタル画像は画像処理・画像変換・画像圧縮部
１７−１，１７−２，１７−３に入力される。ここでは
色の補正や画像圧縮等を行なう。画像処理・画像変換・
画像圧縮部１７−１，１７−２，１７−３を経た画像は
記録装置１０に記録される。ここではＡＤ変換器１６−
１，１６−２，１６−３及び画像処理・画像変換・画像
圧縮部１７−１，１７−２，１７−３を３個ずつ設けた
が１つの素子を切り替えて用いるようにしてもよい。ま
た、画像処理・画像変換・画像圧縮部１７−１，１７−
２，１７−３における機能をソフトウェア処理のみで実
現してもよい。

【００３５】図８において、１１は全体を制御する制御
装置、１２は操作部、１３はフラッシュ系、１８はＡ
Ｅ、１９はＡＦ、２０は焦点補正用のモータ（ＡＦ
Ａ）、２１は表示回路である。 （第４実施形態）図９は、本発明の第４実施形態を説明
するための図である。第４実施形態のカメラの基本構成
は上記した第１実施形態と同様である。ここでは光学系
の例を示す。１，２，３は撮像素子、４は主レンズ、
５，６は副レンズである。ｆ１、ｆ２、ｆ３は焦点距離
である。ここで撮像素子１は高精細な画像を取り込み、
撮像素子２，３はステレオマッチングに用いるものとす
る。このため、撮像素子２，３は画素数、ｆ値（焦点距
離）、画角、Ｆ値が一致していることが望ましい。例え
ば撮像素子２，３は有効面積の小さなＣＣＤとして１／
５インチで有効画素３６２×４９２のものは、３．０４
８×４．０６４ｍｍで８．２６ミクロンピッチとなる。
この場合はＦ３で、ｆ＝５ｍｍの光学系を用いると、程
度が標準的であり、水平画角が３９．９度となる。

【００３６】しかし、撮像素子１は高精細な画像を撮像
するので画素数が大きくなる。例えば撮像素子１は画素
数の小さなＣＣＤとして２／３インチで有効画素１３０
０×１０３０のものは、８．７×６．９ｍｍで６．７ミ
クロンピッチとなる。この場合はＦ３で、ｆ＝１３ｍｍ
の光学系を用いると、程度が標準的で、かつ、水平画角
が３４．３度となる。この場合は撮像素子１の大きさは
撮像素子２、３の３倍程度のものが必要であり、かつ、
主レンズ４のｆ値、口径、Ｆ値も、副レンズ５，６のそ
れよりも３倍程度のものが必要である。

【００３７】このように、撮像素子１の撮像系について
は、撮像素子２，３の撮像系と比較して、ｆ値、口径、
Ｆ値の少なくとも１つが大きいものを用いることによっ
て、高精細な画像で物体分離や深さの情報をも具備する
電子３眼カメラ装置が得られる。 （第５実施形態）図１０は、本発明の第５実施形態を説
明するための図である。ここでは光学系の例を示す。こ
の例は主レンズと副レンズの配置関係を示す。４は主レ
ンズ、５，６は副レンズである。２２は基線長である。
ここで、主レンズ４は高精細な画像を取り込み、副レン
ズ５，６はステレオマッチング用に用いる。

【００３８】この画像の取り込みと、深さの推定、及び
高精細画像との位置合わせは後述する第１１実施形態で
説明するが、主レンズ４と副レンズ５，６との位置関係
を最適に配置することにより、より高精度に位置合わせ
を行なうことが可能である。

【００３９】すなわち、図１０に示すように、主レンズ
４の光軸と、副レンズ５または６の光軸とはともに、副
レンズ５と副レンズ６とを結ぶ直線に直交し、かつその
接点が副レンズ５の光軸中心となるように配置されてい
る。副レンズ５と副レンズ６とを結ぶ直線を成分とする
ベクトルは基線ベクトルと呼ばれる。これによって図２
のｘ方向、特にその中心が正確に一致するため、後のマ
ッチング処理が極めて簡素化される。 （第６実施形態）図１１は、本発明の第６実施形態を説
明するための図である。第６実施形態のカメラの基本構
成は第１実施形態と同様である。ここでは光学系の例を
示す。この例は主レンズ４と副レンズ５，６の配置関係
を示している。ここでは主レンズ４は高精細画像を取り
込むために用いられ、副レンズ５，６はステレオマッチ
ング用に用いられる。

【００４０】この画像の取り込みと、深さの推定、及び
高精細画像との位置合わせは後述する第１１実施形態で
説明するが、主レンズ４と副レンズ５，６との位置関係
を最適に配置することにより、より高精度に位置合わせ
を行なうことが可能である。

【００４１】すなわち、図１１に示すように、主レンズ
４、副レンズ５，６が２等辺三角形を構成するように配
置し、副レンズ５，６の頂点を結ぶ直線が底辺となるよ
うにする。言い換えると、等価な２つの副レンズ５、６
の基線ベクトルを底辺とする二等辺三角形の頂点に、主
レンズ４が配置されている。これによって図２のｘ方向
は、副レンズ５，６の中間点に存在するために、後のマ
ッチング処理が極めて簡素化される。 （第７実施形態）図１２は、本発明の第７実施形態を説
明するための図である。第７実施形態のカメラの基本構
成は第１実施形態と同様である。ここでは光学系の例を
示す。この例は主レンズ４と副レンズ５，６の配置関係
を示している。ここでは、主レンズ４は高精細画像の取
り込みに用いられ、撮像素子５，６はステレオマッチン
グ用に用いられる。

【００４２】この画像の取り込みと、深さの推定、及び
高精細画像との位置合わせは後述する第１１実施形態で
説明するが、主レンズ４と副レンズ５，６の位置関係を
最適に配置することにより、より高精度に位置合わせを
行なうことが可能である。

【００４３】すなわち、図１２に示すように、等価な２
つの副レンズ５，６の基線ベクトルの中点に、主レンズ
４が配置されている。これによって図２のｘ方向は、副
レンズ５，６の中間点に存在し、かつｙ方向は少なくと
も中心部は正確に一致するので後のマッチング処理が極
めて簡素化される。 （第８実施形態）図１３は、本発明の第８実施形態を説
明するための図である。第８実施形態のカメラの基本構
成は第１実施形態と同様である。ここでは画像の記憶方
法の例を示す。ＣＣＤ等の撮像素子１，２，３により取
り込まれた画像は個別のＡＤ変換器（ＡＤＣ）１６−
１，１６−２，１６−３によりデジタル画像に変換され
る。他に電源回路や増幅回路を備えていても良い。撮像
素子１，２，３としてＣＭＯＳセンサを用い、内部にＡ
Ｄ変換機能を備えるようにしてもよい。当該デジタル画
像は画像処理、画像変換、画像圧縮部１７−１，１７−
２，１７−３に入力されて色の補正や画像圧縮等の処理
が施され、その後、内蔵されたあるいは脱着可能な記録
装置１０−１，１０−２，１０−３に記録される。ここ
ではＡＤ変換器と画像処理・変換・圧縮部を３個用いた
が、１つのＡＤ変換器及び画像処理・変換・圧縮部を切
り替えて用いるようにしても良い。また、画像処理・画
像変換・画像圧縮部１７−１，１７−２，１７−３はソ
フトウェア処理のみにより実現するようにしてもよい。

【００４４】ここで記録装置１０−１，１０−２，１０
−３には撮像素子１，２，３により撮像された画像デー
タが個別に格納されるが、画像データ以外に、当該画像
データがどの撮像素子から得られた画像であるかの付加
情報を画像データとともに記録装置１０−１，１０−
２，１０−３の一部（１０’−１，１０’−２，１０’
−３）に同時に格納するようにする。勿論、日付情報や
時間情報をも記録するようにしても良いが、少なくとも
撮像素子１，２，３の番号に関する情報は格納するよう
にする。 （第９実施形態）図１４は、本発明の第９実施形態を説
明するための図である。第９実施形態のカメラの基本構
成は第１実施形態と同様である。ここでは、撮像素子
２，３で取得された画像から各画素単位、または分割単
位を中心にして、その周囲の画素を含む分割領域を用い
てステレオマッチングを行ない、その単位での深さ情報
を取得し、かつ、撮像素子１を用いて高精細な画像を取
得することを特徴とする。

【００４５】図１４（Ａ），（Ｂ）において、参照符号
１４，１５は、撮像素子２，３から得られた画像であ
る。また、参照符号２２は深さ情報を得たい位置であ
る。ここで位置２２は図１４（Ｃ）に示すような最小画
素単位でも良いし、３×３のような分割単位でも良い。
この位置２２の周辺を含むマッチング領域２３を設定す
る。これは通常６×６から１０×１０程度の大きさとす
る。このマッチング領域２３の大きさは画素の細かさに
よって変更しても構わない。また深さ情報を得たい位置
２２によって変化させても構わない。

【００４６】このマッチング領域２３をテンプレートと
して用いて、画像１５の領域内で最も画像が一致する位
置を探索する。この時に上記したエピポーラの条件を満
たす範囲でのみ検索を行なう。よって、ある範囲のｘ方
向のみを合わせれば良い。実際にはそれぞれの位置での
マッチング領域２３，２５の画素単位の差の最小二乗の
和が最小になる部分を探す。このようにして、画像１４
の全面において各位置２２の深さ情報が得られる。この
深さ情報は濃淡や色情報と一緒に記憶装置に格納され
る。さらに図１４（Ｄ）に示すように、深さ情報Ｚに閾
値Ｚｔｈを設定して背景と物体を分離する。この閾値Ｚ
ｔｈの設定は自動でも半自動でも良い。 （第１０実施形態）図１５、１６，１７は本発明の第１
０実施形態を説明するための図である。カメラの基本的
な構成は第１実施形態と同じである。ここでは、撮像素
子２，３から得られた画像に基づいて各画素単位、また
は各分割単位を中心にして、その周囲の画素を含む分割
領域を用いてステレオマッチングを行ない、その各画素
単位、または分割単位に深さの計測値を割り当てた後、
深さ方向に対する各画素単位、分割単位のヒストグラム
を作成し、そのピークを含む分割領域の集合体を、ある
深さに存在する物体であると認識し、または物体と背景
を分離することを特徴とする。

【００４７】図１５に示す参照符号１４は図１に示す撮
像素子２により撮像された画像である。ここでは人物５
０と木５１と背景５２が撮像されている。これを例えば
図１の構成のステレオカメラで撮像し、図１４で説明し
たステレオマッチングを行なって、図１４の各画素また
は分割単位の深さ情報Ｚを求めたとする。ここで、図１
４では深さの閾値Ｚｔｈを用いたが、Ｚｔｈをその都度
設定することは現実的では無い。

【００４８】そこでこの物体分離を簡便に行なうため
に、ここでは各領域の深さ情報Ｚを図１６に示すように
深さ（ｚ）の値で整理して度数分布を作成する。具体的
には画像１４から得た画面を単位画素Ｇ１，Ｇ２，…，
Ｇｉ，…，Ｇｍに分割してステレオマッチングすなわ
ち、テンプレートマッチングを行なう。この結果、対応
点をＸＬ，ＸＲとする。これから（１式）を用いてＺを
求めてＧｉに貼り付ける。

【００４９】度数を求めるにはＺｍｉｎからＺｍａｘを
決めて（或いは計測して）この間を分割してΔＺを求め
Ｚｉの周辺の Ｚｉ−ΔＺ／２＞Ｚ＞Ｚｉ＋ΔＺ／２ の範囲に入るＧｉを計数する。

【００５０】別の例としては深さ方向のヒストグラムを
描く時に、深さ方向の軸を対数にしても良い。対数は自
然対数でも良いし、１０を底とした対数でも良い。ステ
レオマッチングによる深さの計測は三角測量のため、２
枚の画像の距離の逆数に、その距離は比例する。この
為、計測の精度も近い距離は高く、遠い距離は低くな
る。この場合は距離の対数を取れば、その計測の精度や
誤差は対数上では均一となる。具体的にはＺｍｉｎとＺ
ｍａｘを画面上ではＬｏｇ（Ｚｍａｘ）とＬｏｇ（Ｚｍ
ｉｎ）に割り付け、 σＺ＝（Ｌｏｇ（Ｚｍａｘ）−Ｌｏｇ（Ｚｍｉｎ）／分
割数） として度数を計数し、かつ表示する。

【００５１】画像処理をこれはコンピュータの内部で行
なっても良いし、コンピュータの画面上に図示しても良
い。この例では深さ（ｚ）に従って３つの山２６，２
７，２８が出来る。２６は最も近いピークであって人物
５０に相当する。これを物体Ａとする。２７は木５１に
対応し、これを物体Ｂとする。２８は最も遠い背景５２
に対応し、これを背景Ｃとする。背景ＣはＸＬ，ＸＲの
視差が殆ど無いか、全くない場合は計測限界以上である
か、特徴点が無いために計測が不可能であったが、本実
施形態の方法によれば各物体と背景が明確に分離できる
ので閾値Ｚｔｈ１とＺｔｈ２を物体Ａ，Ｂ及び背景Ｃの
各塊の間で設定できる。このＺｔｈの設定は、自動で行
なっても良いし、操作者が画面に表示されている画像を
見ながら手動で行なっても良い。

【００５２】図１７は最終的に完成した分離結果であ
る。これらは、まとまった画像として扱えるし、記憶装
置に格納できる。この例では人物のエッジ部分の様に、
ステレオマッチングが容易であり、Ｚ値が確定する場合
は問題無い。しかし、人物の肌や、木目細かいパターン
などは特徴が無いため、ステレオマッチングしても視差
が無いように計測されてしまう。よってこの様な領域は
無限大と判断されたり、ノイズとなったりする。このた
め、深さ情報Ｚが確定した領域を２次元的に並べて、も
し閉領域を作るか、フレームを含んで閉領域を作るなら
ば、その中は同一と判断して物体分離を行なっても良
い。 （第１１実施形態）図１８，１９，２０は本発明の第１
１実施形態を説明するための図である。カメラの基本的
な構成は第１実施形態と同じである。上記した第１〜第
１０実施形態ではステレオマッチングによる背景分離を
説明した。高精細画像とステレオマッチングに用いた画
像との合成を行なうにあたって、この合成を行ない易い
様に、第５，６，７実施形態ではレンズの配列方法を述
べた。しかし光軸のずれや、ズーム比のずれ、僅かな収
差が存在して位置情報により画像の位置合わせを正確に
行なうことが容易でない。

【００５３】そこで本実施形態では、第１の撮像素子１
で得られる高精細画像と、第２または第３の撮像素子
２，３からの画像を用いて、コントラストの強い、複数
の領域を用いてパターンマッチングを行ない、２つの画
像の座標の変換処理を行なって一致させ、第１の撮像素
子１から得られた高精細なテクスチャー情報と、複数画
素単位での深さ情報を関連付けて表示するか、関連付け
て記録装置に記録するか、または深さ情報に基づいて物
体と背景の分離を行なうようにする。

【００５４】図１８において３１は高精細画像、１４は
ステレオマッチングに使用した画像である。ここでは画
像の内部に４つ以上の基準点、または基準領域２９、３
２を設ける。次にこの基準領域２９，３２の中で同様な
テンプレートマッチングを行ない、座標の対応付けを行
なう。その後、図１９に示すような合成画像３３を得
る。ここでは同一面積の単位画素数が画像３１と画像１
４との間で一致しないので、画像３１の複数の画素に一
つのＺ情報５３を割り当てる。また、画像３１の複数の
情報の内部で濃淡や色情報を用いてセグメンテーション
を行なう。このときの接続情報から深さ情報を割り当て
ても良い。この様にして、物体単位での高精細画像を貼
り付けた物体分離が可能となる。

【００５５】ここで、分離した情報を図２０に示すよう
に物体Ａと物体Ｂ、及び背景Ｃとして、記録領域に物体
単位での１．種類、２．画像データ、３．深さ情報を格
納することができる。２．画像データは、２次元の位置
（画角）とＲＢＧ情報、３．は平均の深さ情報、または
物体の深さの最大値と最小値等である。

【００５６】または、記録領域に物体単位での１．種
類、２．深さ情報を含む画像データを格納するようにし
ても良い。ここで２．画像データは、２次元の位置（画
角）とＲＢＧ情報に加えて、画素単位、または領域単位
で深さ情報を付加する。

【００５７】この結果を格納する場所は、カメラ内の記
憶領域でも良いし、脱着可能な記録装置でも良いし、接
続したコンピュータの記憶装置でも良い。 （第１２実施形態）図２１は本発明の第１２実施形態を
説明するための図である。カメラの基本的な構成や機能
は上記した第１実施形態と同じである。参照符号３０で
示される本カメラは、主レンズ４と副レンズ５，６を備
えている。上記した第１〜第１１実施形態ではステレオ
マッチングによる背景分離を説明した。第１２実施形態
では、本カメラ３０に内蔵された記録装置に記録した情
報をケーブル３８でコンピュータ３５に転送するか、あ
るいは、脱着可能な記録装置１０に記録させることによ
り、上記した画像処理（ステレオマッチング処理、物体
と背景への分離、及び分離した画像情報、深さ情報、あ
るいは分割情報、の記録装置への格納）を別のコンピュ
ータで行なうことを意図している。すなわち、コンピュ
ータ３５の記憶装置に一旦画像を記憶し、応用ソフトを
用いてステレオマッチングや分離作業、高精細画像との
合成等を行なう。この時、使用者は画面３６で処理の進
行状況を見ながら進めてもよい。 （第１３実施形態）図２２は本発明の第１３実施形態を
説明するための図であり、（Ａ）はカメラの正面、
（Ｂ）は背面を表わしている。カメラの基本的な構成や
機能は第１実施形態と同じである。ここで、本カメラ３
０は主レンズ４と副レンズ５，６とを備えている。本カ
メラ３０には記録装置１０を脱着することができる。

【００５８】上記した第１〜第１１実施形態ではステレ
オマッチングによる背景分離を説明した。第１３実施形
態はこれらの画像処理をカメラ３０に内蔵された中央演
算装置を用いて行なうことを意図している。この内蔵の
中央演算装置上で動作する応用ソフトを用いてステレオ
マッチングや分離作業、高精細画像との合成等を行な
う。この時、使用者はカメラ背面の液晶表示部の画面３
７で処理の進行状況をみながら進めても良い。 （第１４実施形態）図２３は本発明の第１４実施形態の
作用を説明するためのフローチャートである。カメラの
基本的な構成や機能は上記した第１実施形態と同じであ
る。ここでは画像取り込み部の具体的な方法を第１実施
形態に基づいて説明する。

【００５９】まず、カメラの電源をＯＮする（ステップ
Ｓ１）。次に初期設定、パラメータの読み込み、ＳＷ類
の設定の読み取りを行なう（ステップＳ２）。次に２Ｄ
（二次元）、３Ｄ（三次元）の設定の判断を行なう（ス
テップＳ３）。２Ｄの場合は本ルーチンは使わない。次
にシャッターをＯＮして（ステップＳ４）、ＡＥ動作、
露出決定（ステップＳ５）、ＡＦ動作、モータ制御（ス
テップＳ６）を行なう。次に、メインＣＣＤ（図１の第
１の撮像素子１に対応）のシャッターをＯＮし（ステッ
プＳ７）、２個のサブＣＣＤ、すなわち、ステレオＣＣ
Ｄ（図１の第２、第３の撮像素子２，３に対応）のシャ
ッターをＯＮする（ステップＳ８）。次に、メインＣＣ
Ｄの画像の取り込み及び転送、画像の圧縮、メモリへの
格納を行ない（ステップＳ９）、ついでステレオＣＣＤ
の画像の取り込み及び転送、画像の圧縮、メモリへの格
納を行なう（ステップＳ１０）。もちろん、メインＣＣ
ＤのシャッターＯＮ（ステップＳ７）とステレオＣＣＤ
のシャッターＯＮ（ステップＳ８）とは同時に行なうの
が望ましい。 （第１５実施形態）図２４は本発明の第１５実施形態の
作用を説明するためのフローチャートである。カメラの
基本的な構成や機能は上記した第１実施形態と同じであ
る。ここでは画像処理、背景分離、合成の具体的な方法
を第１実施形態に基づいて説明する。

【００６０】まず、フローを開始して、初期設定、パラ
メータの読み込みを行なう（ステップＳ２０）。次に、
ステレオマッチング時の分割領域の設定を行なう（ステ
ップＳ２１）。次に、上記したエピローラの条件下にお
いて実際のマッチング処理を行なう（ステップＳ２
２）。次に、各単位の深さ情報Ｚを付加する（ステップ
Ｓ２３）。次に、深さ情報Ｚの最大、最小を計測する
（ステップＳ２４）。次に、ΔＺの設定（対数分割）を
行なう（ステップＳ２５）。次に、ΔＺに含まれる度数
とＺの対数のヒストグラムの作成を行なう（ステップＳ
２６）。次に、物体と背景の分離用のＺｔｈを決定する
（ステップＳ２７）。次に、物体と背景の分離を行なう
（ステップＳ２８）。この時点で第１次処理の完了とす
る（ステップＳ２９）。次に合成処理を開始して、ま
ず、初期設定を行なう（ステップＳ３０）。次に、座標
決定のための比較点の設定を自動であるいは手動にて行
なう（ステップＳ３１）。次に、テンプレートマッチン
グ処理を行なう（ステップＳ３２）。次に、対応点の座
標位置を決定する（ステップＳ３３）。次に、座標変換
及び画像の重ね合わせ処理を行なう（ステップＳ３
４）。次に、必要に応じて高精細画像のセグメンテーシ
ョン処理を行なう（ステップＳ３５）。次に、物体と背
景の分離処理を行なう（ステップＳ３６）。最後に処理
結果の表示、記憶を行なう（ステップＳ３７）。

【００６１】なお、上記した具体的実施形態には以下の
ような構成の発明が含まれている。 １． 画像を取り込む第１の結像レンズ及び第１の撮像
素子と、第１の結像レンズの光軸に対して直交するよう
に配置された、深さ方向を計測するための等価な第２、
第３の２つの撮像素子及び第２、第３の２つの結像レン
ズとを備えた、３眼式のカメラ装置であって、画像取り
込み用の第１の撮像素子の画素数が、深さ計測用の等価
な第２、第３の撮像素子の画素数より大きいことを特徴
とする電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第１実
施形態に対応する。 （効果）等価な２つのカメラで深さ情報を取得し、１つ
の高精細なカメラで画像を取り込むことによって、低コ
ストで高品質の物体分離および３次元的な画像情報を取
得可能な電子３眼カメラ装置を構成できる。 ２． 第２、第３の等価な２つの結像レンズの中心位置
は、カメラボディの長手方向に一致し、その中心距離が
略３ｃｍ以上であることを特徴とする構成１に記載の電
子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第２実
施形態に対応する。 （効果）等価な２つのカメラの中心距離が略３ｃｍ以上
であることで、深さ計測のダイナミックレンジを充分と
ることができ、低コストで高品質の物体分離および３次
元的な画像情報を取得可能な電子３眼カメラ装置を構成
できる。 ３． 前記第１、第２、第３の撮像素子からの信号をそ
れぞれＡＤ変換するＡＤ変換回路と、ＡＤ変換により得
られたデジタル画像を圧縮する圧縮回路または圧縮ソフ
トウェアと、圧縮したデジタル画像を記録するための内
蔵または脱着可能な記録装置と、全体を制御する制御回
路と、自動露出回路とを少なくとも備えることを特徴と
する構成１、２に記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第３実
施形態に対応する。 （効果）本構成の回路を内蔵することで、等価な２つの
カメラで深さ情報を撮り、１つの高精細なカメラで画像
を取り込む事が可能となり、低コストで高品質の物体分
離および３次元的な画像情報を取得可能な電子３眼カメ
ラ装置を構成できる。 ４． 前記第１の結像レンズと、前記第２、第３の結像
レンズのｆ値、口径、Ｆ値の少なくとも１つが異なって
いることを特徴とする構成１または２に記載の電子３眼
カメラ装置。 （対応する発明の実施の形態）本構成は上記した第４実
施形態に対応する。 （効果）この回路を内蔵することで、等価な２つのカメ
ラで深さ情報を撮り、１つの高精細なカメラで画像を取
り込む事が可能となり、低コストで高品質の物体分離お
よび３次元的な画像情報を取得可能な電子３眼カメラ装
置を構成できる。 ５． 前記第１の結像レンズの光軸と、前記第２または
第３の結像レンズの光軸とがともに、前記第２と第３の
結像レンズを結ぶ直線と直交することを特徴とする構成
１〜４のいずれか１つに記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第５実
施形態に対応する。 （効果）深さ情報を含む画像と、１つの高精細なカメラ
で撮像した画像の水平方向の視差が一致するため、画像
の位置合わせが容易になり、低コストで高品質の物体分
離および３次元的な画像情報を取得可能な電子３眼カメ
ラ装置を構成できる。 ６． 前記第１、第２、第３の結像レンズを２等辺三角
形を構成するように配置し、第２と第３の結像レンズの
頂点を結ぶ直線が底辺となることを特徴とする構成１〜
４のいずれか１つに記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第６実
施形態に対応する。 （効果）深さ情報を取得するための画像と、１つの高精
細なカメラでとった画像の水平方向の視差が左右で同一
となるため、画像の位置合わせが容易になり、低コスト
で高品質の物体分離および３次元的な画像情報を取得可
能な電子３眼カメラ装置を構成できる。 ７．前記第２と第３の結像レンズを結ぶ直線の中点に、
前記第１の結像レンズが配置されていることを特徴とす
る構成１〜４のいずれか１つに記載の電子３眼カメラ装
置。 （対応する発明の実施の形態）本構成は上記した第７実
施形態に対応する。 （効果）深さ情報を取得するための画像と、１つの高精
細なカメラで撮像した画像の垂直方向の視差が一致し、
水平視差が左右で同一になるため、画像の位置合わせが
容易になり、低コストで高品質の物体分離および３次元
的な画像情報を取得可能な電子３眼カメラ装置を構成で
きる。 ８． 前記第２、第３の撮像素子から得られた画像と、
前記第１の撮像素子から得られた画像とを圧縮して、内
蔵されたあるいは脱着可能な記憶装置に格納することを
特徴とする構成１〜４のいずれか１つに記載の電子３眼
カメラ装置。 （対応する発明の実施の形態）本構成は上記した第８実
施形態に対応する。 （効果）記憶装置に格納でき、低コストで高品質の物体
分離および３次元的な画像情報を取得可能な電子３眼カ
メラ装置を構成できる。 ９． 前記第２と第３の各撮像素子の画像から各画素単
位、または分割単位を中心にして、その周囲の画素を含
む分割領域を用いてステレオマッチングを行ない、その
単位での深さ情報を取得し、かつ、前記第１の撮像素子
は高精細な画像を取得することを特徴とする構成１〜４
のいずれか１つに記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は、上記した第９
実施形態に対応する。 （効果）ソフト処理で出来るため、低コストで高品質の
物体分離および３次元的な画像情報を取得可能な電子３
眼カメラ装置を構成できる。 １０． 前記第２、第３の各撮像素子から得られた画像
に基づいて各画素単位、または各分割単位を中心にし
て、その周囲の画素を含む分割領域を用いてステレオマ
ッチングを行ない、その各画素単位、または分割単位に
深さの計測値を割り当てた後、深さ方向に対する各画素
単位、分割単位のヒストグラムを作成し、そのピークを
含む分割領域の集合体を、ある深さに存在する物体であ
ると認識し、または物体と背景を分離することを特徴と
する構成７に記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第１０
実施形態に対応する。 （効果）物体と背景との分離を自動、または半自動で行
なうことができ、低コストで高品質の物体分離および３
次元的な画像情報を取得可能な電子３眼カメラ装置を構
成できる。 １１． 前記第１の撮像素子からの画像と、前記第２ま
たは第３の撮像素子からの画像を用いて、コントラスト
の強い、複数の領域を用いてパターンマッチングを行な
い、２つの画像の座標の変換処理を行なって一致させ、
前記第１の撮像素子から得られた高精細なテクスチャー
情報と、複数画素単位での深さ情報を関連付けて表示す
るか、関連付けて記録装置に記録するか、または深さ情
報から、物体と背景の分離を行なうことを特徴とする構
成１または１０に記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第１１
実施形態に対応する。 （効果）高精細な画像を取得可能でかつ、低コストで高
品質の物体分離および３次元的な画像情報を取得可能な
電子３眼カメラ装置を構成できる。 １２． 前記第１の撮像素子及び前記第２または第３の
撮像素子で得られた画像をステレオカメラの本体に内蔵
した記録装置、または脱着可能な記録装置に記録し、ス
テレオマッチング処理、物体と背景への分離、及び分離
した画像情報、深さ情報、あるいは分割情報、の記録装
置への格納を、別のコンピュータシステムを用いて行な
うことを特徴とする構成１、８〜１１のいずれか１つに
記載の電子３眼カメラ装置。 （対応する発明の実施の形態）本構成は上記した第１２
実施形態に対応する。 （効果）カメラに搭載された中央処理装置が簡単なもの
であっても、低コストで高品質の物体分離および３次元
的な画像情報を取得可能な電子３眼カメラ装置を構成で
きる。 １３． ステレオマッチングの処理と物体と背景との分
離、及びその情報の記録装置への格納を、ステレオカメ
ラ内部の中央処理装置にて行い、１つまたは複数の物体
と背景を分離した画像情報、深さ情報、あるいは分割情
報をステレオカメラの本体に内蔵した記録装置、または
脱着可能な記録装置に記録することを特徴とする構成
１、８〜１１のいずれか１つに記載の電子３眼カメラ装
置。。 （対応する発明の実施の形態）本構成は上記した第１３
実施形態に対応する。 （効果）ステレオマッチングの処理と物体と背景との分
離、及びその情報の記録装置への格納を、ステレオカメ
ラ内部の中央処理装置にて行なうようにしたので、コン
ピュータ等の外部処理装置が不要となる。 １４． 第１の結像光学系と第１の撮像素子を有する第
１の撮像手段と、第２の結像光学系と上記第１の撮像素
子より有効画素数の少ない第２の撮像素子を有し、上記
第２の結像光学系の光軸が上記第１の結像光学系の光軸
と平行である第２の撮像手段と、第３の結像光学系と上
記第１の撮像素子より有効画素数の少ない第３の撮像素
子を有し、上記第３の結像光学系の光軸が上記第１の結
像光学系の光軸と平行である第３の撮像手段と、上記第
２の撮像手段の撮像した画像と上記第３の撮像手段の撮
像した画像とを参照することにより、上記第１の撮像手
段の撮像した画像の深度情報を得る深度検出手段と、を
具備することを特徴とすることを特徴とする電子３眼カ
メラ装置。 １５． 上記第２の結像光学系と上記第３の結像光学系
は等価であり、かつ、上記第２の撮像素子と上記第３の
撮像素子は等価であることを特徴とする構成１記載の電
子３眼カメラ装置。 １６． 上記第２の結像光学系の光軸と上記第３の結像
光学系の光軸は略３ｃｍ以上離間していることを特徴と
する構成１または２記載の電子３眼カメラ装置。 １７． 上記第１の結像光学系の光軸と上記第２の結像
光学系の光軸で定義される面が、上記第２の結像光学系
の光軸と上記第３の結像光学系の光軸で定義される面と
直交することを特徴とする構成１、２または３記載の電
子３眼カメラ装置。 １８． 上記第１の結像光学系の光軸と上記第２の結像
光学系の光軸間の距離が、上記第１の結像光学系の光軸
と上記第３の結像光学系の光軸間の距離に等しいことを
特徴とする構成１、２または３記載の電子３眼カメラ装
置。 １９． 上記第１の結像光学系の光軸と上記第２の結像
光学系の光軸と上記第３の結像光学系の光軸は同一平面
上にあることを特徴とする構成５記載の電子３眼カメラ
装置。 ２０． 上記深度検出手段は、一方の撮像手段の撮像し
た画像中の所望の領域との画像差異が最も小さい領域を
他方の撮像手段の撮像した画像中より検出し、両領域の
位置のズレから上記所望の領域の深度情報を検出するこ
とを特徴とする構成１、２、３、４、５または６記載の
電子３眼カメラ装置。 ２１．上記深度検出手段はさらに、上記第１の撮像手段
の撮像した画像を領域分割し、各領域ごとに深度情報を
検出し、この深度情報から各領域を画像中の背景に対応
する領域と画像中の前景に対応する領域とに区分するこ
とを特徴とする構成１、２、３、４、５、６または７記
載の電子３眼カメラ装置。

【００６２】

【発明の効果】本発明によれば、１つの撮像手段により
撮像した画像の深度情報を、それよりも有効画素数の少
ない２つの撮像手段により撮像した画像を参照して得る
ようにしたので、低コストで高品質の物体分離および３
次元的な画像情報を取得可能な電子３眼カメラ装置を提
供することができる。

【００６３】また、本発明によれば、深さ計測のダイナ
ミックレンジを充分とることができ、かつ、低コストで
高品質の物体分離および３次元的な画像情報を取得可能
な電子３眼カメラ装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る電子３眼カメラ装
置の構成を示す図である。

【図２】基本的な２眼ステレオ視の原理を説明するため
の図である。

【図３】撮像素子１及び主レンズ４を用いて被写体を撮
影して高精細画像３１を得るようすを示す図である。

【図４】撮像素子２及び副レンズ５と、撮像素子３及び
副レンズ６を用いて被写体を撮影して深さ計測用の左右
画像を得て、物体と背景とを分離するようすを示す図で
ある。

【図５】高精細画像３１と物体Ａ、Ｂと背景Ｃとを分離
した結果との合成処理を説明するための図である。

【図６】合成した後の最終的な画像を示す図である。

【図７】本発明の第２実施形態を説明するための図であ
る。

【図８】本発明の第３実施形態を説明するためのシステ
ム構成のブロック図である。

【図９】本発明の第４実施形態を説明するための図であ
る。

【図１０】本発明の第５実施形態を説明するための図で
ある。

【図１１】本発明の第６実施形態を説明するための図で
ある。

【図１２】本発明の第７実施形態を説明するための図で
ある。

【図１３】本発明の第８実施形態を説明するための図で
ある。

【図１４】本発明の第９実施形態を説明するための図で
ある。

【図１５】本発明の第１０実施形態を説明するための図
であり、撮像素子により撮像された画像を示している。

【図１６】本発明の第１０実施形態を説明するための図
であり、度数分布図を示している。

【図１７】本発明の第１０実施形態を説明するための図
であり、最終的に完成した分離結果を示している。

【図１８】本発明の第１１実施形態を説明するための図
であり、高精細撮像で得られた画像３１とステレオマッ
チングに使用した画像１４とを示している。

【図１９】本発明の第１１実施形態を説明するための図
であり、合成画像３３を示している。

【図２０】本発明の第１１実施形態を説明するための図
であり、分離した情報としての物体Ａ，Ｂ及び背景Ｃを
示している。

【図２１】本発明の第１２実施形態を説明するための図
である。

【図２２】本発明の第１３実施形態を説明するための図
である。

【図２３】本発明の第１４実施形態の作用を説明するた
めのフローチャートである。

【図２４】本発明の第１５実施形態の作用を説明するた
めのフローチャートである。

【符号の説明】

１，２，３…撮像素子、 ４…主レンズ、 ５，６…副レンズ、 ７，８，９…光軸、 １０…記録装置、 １１…制御回路、 １２…操作部、 １３…フラッシュ系、 ３０…デジタルカメラ。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 第１の結像光学系と第１の固体撮像素子
   を有する第１の撮像手段と、 第２の結像光学系と上記第１の固体撮像素子より有効画
   素数の少ない第２の固体撮像素子を有し、上記第２の結
   像光学系の光軸が上記第１の結像光学系の光軸と平行で
   ある第２の撮像手段と、 第３の結像光学系と上記第１の固体撮像素子より有効画
   素数の少ない第３の固体撮像素子を有し、上記第３の結
   像光学系の光軸が上記第１の結像光学系の光軸と平行で
   ある第３の撮像手段と、 上記第２の撮像手段の撮像した画像と上記第３の撮像手
   段の撮像した画像とを参照することにより、上記第１の
   撮像手段の撮像した画像の深度情報を得る深度検出手段
   と、 を具備することを特徴とすることを特徴とする電子３眼
   カメラ装置。
2. 【請求項２】 上記第２の結像光学系と上記第３の結像
   光学系は等価であり、かつ、上記第２の固体撮像素子と
   上記第３の固体撮像素子は等価であることを特徴とする
   請求項１記載の電子３眼カメラ装置。
3. 【請求項３】 上記第２の結像光学系の光軸と上記第３
   の結像光学系の光軸は略３ｃｍ以上離間していることを
   特徴とする請求項１または２記載の電子３眼カメラ装
   置。