JP2005087468A - 距離画像計測機能を有する撮像装置及び内視鏡装置 - Google Patents

Abstract

【課題】被写体深度が深い場合には広範囲でピントが合うために遠近感が失われ、被写体の絶対的な大きさがわからなくなるため、被写体の実寸を計測できるスケールを画像上に表示する。
【解決手段】距離イメージセンサを用いて、対象物の各部までの距離画像を得、その奥行き方向の距離を用いて幾何学的関係から、対象物を２次元画像に投影した面内の等距離分布を網目状のスケールとして重ねがきすることにより、対象物の大きさを測れるようにする。
【選択図】 図２

Description

本発明は、通常の明暗画像を得るイメージアレイと、対象物までの距離を計測する距離画像センサを一体化することで、取得した明暗画像に対象物の大きさを表すスケールを重ね合わせることで、対象物の大きさを表示する形状計測機能を有するイメージセンサとこれを用いた撮像装置に関するものである。

内視鏡において、撮像側から光スポットの列を放射状に被写体に照射し、各スポットの位置情報から三角測量の原理を用いて、撮像レンズから対象物までの距離を算出する技術が、特許文献１に示されている。かかる従来技術においては、照射される各スポットの対象物の位置における間隔は、絶対的な大きさを表すものではないので、対象物の大きさを表すスケールとして用いることはできなかった。
特開平５−４１９０１号公報

撮像装置において、レンズのF値(焦点距離／レンズの口径)を大きくすることで、被写界深度が深くなり、被写体に対してピント調節を行うことなく撮像を行うことが可能である。この技術は内視鏡などのように機構上ピント調節を行うのが容易でない場合などに用いられる。しかしこれによって広範囲でピントが合うために遠近感が失われ、被写体の絶対的な大きさがわからなくなる。撮像対象物の絶対的な大きさを知りたいという要求は、例えば内視鏡により病巣の大きさ、その成長または縮小の度合いを知りたい場合など多くあると考えられる。本発明は被写体の実寸を計測できるスケールを画像上に表示することで対象物の絶対的な大きさを知り得るものである。

本発明は、通常の明暗画像を得るイメージアレイと、対象物までの距離を計測する距離画像センサを一体化することで、取得した明暗画像に対象物の大きさを表すスケールを重ね合わせることで、対象物の大きさを表示する形状計測機能を有するものである。

撮像対象物の絶対的な大きさを知りたいという要求は、例えば内視鏡により病巣の大きさ、その成長または縮小の度合いを知りたい場合など多くあり、本発明はこれらの要求を満たすことができる。

本発明は、通常の明暗画像を得るイメージアレイと、対象物までの距離を計測する距離画像センサを一体化し、取得した明暗画像に対象物の大きさを表すスケールを重ね合わせることで、対象物の大きさを表示する形状計測機能を有する撮像装置に関するものである。これは、内視鏡などに有用である。レンズのＦ値(焦点距離／レンズの口径)を大きくすることで、被写界深度が深くなり、被写体に対してピント調節を行うことなく撮像を行うことが可能である。しかし、図１に示すように、これによって、被写体の絶対的な大きさがわからなくなる。レンズのしぼりを絞り、Ｆ値を大きくすると、３つの距離のいずれに対してもピントのあった画像が得られる。

そこで、明暗画像を取得するイメージセンサと距離画像を取得するイメージセンサを一体化するか、あるいは、明暗画像と距離画像がともに得られる距離イメージセンサを用いて、対象物の各部までの距離画像を得、その奥行き方向の距離を用いて幾何学的関係により、対象物を２次元画像に投影した面内の距離分布を網目状のスケールを重ねがきすることにより、対象物の大きさを測れるようにする。
距離を測るイメージセンサとして、本発明者が特願２００３−１３２９４５号で提案したCMOSイメージセンサが有用である。このCMOSセンサは光飛行時間法(Time of flight)による距離測定を行うものであり、対象物の明暗画像を距離情報と同時に得ることができる。

奥行き距離から、面内距離を求める原理図を図２に示す。対象物のある点とレンズ間の距離Ｌ１が、レンズと撮像面までの距離ｄに比べて十分大きければ、明らかに次式がなりたつ。

撮像面上のある点と原点の間の距離ｘ１が与えられ、対象物の対応する点までの距離Ｌ１を距離画像センサにより測定することで、対象物の面内の距離Ｘ１を求めることができる。

このようにして求めた面内の等距離線を網目状に、明暗画像上に重ね書きする。その原理を説明する図を図３と図４に示す。
説明の便宜上、１次元の場合について説明するが、容易に２次元に拡張可能である。
図３に示すように、釣り鐘状の対象物を撮像しているとし、撮像面上に一定間隔で配置された画素と、レンズを結ぶ光線を対象物側に延長し、これが、対象物と交わる点を図３では、黒丸で表している。これより明らかなように、対象物までの距離が短い場合には、対象物は大きく写るため、１画素のピッチに対して、対象物と光線の交点のピッチは、距離が遠い場合に比べて狭くなる。そのため、距離画像センサの画素毎に、対象物までの距離を求めて、その線間の距離が一定になるように網目状の面内等距離分布を求めると、図３の釣り鐘状の対象物の場合には、図４のようになる。

これを求める方法を説明する。図３に示すように、撮像面の画素からの光線と対象物との交点の位置に番号をつける。これをｉとすると、図３の例ではｉは０から１０までをとる。いま撮像面と平行な対象物の基準面を考えると、この基準面と光線との交点は、常に一定間隔になる。そのピッチをｐとする。
距離画像センサにより、各画素における面内の距離が式(１)により求められる。これは、図３では、光線と対象物との交点を、基準面に投影した点を求めていることに相当する。例えば、ｉ＝１の点では１ｐ、ｉ＝２の点では、２.２ｐである。従ってｉ＝２の画素に対する等距離線の位置としては、ｉ＝１側にすこし寄った点を取る必要があることが分かる。

これを求めるため、対象物と光線との交点の隣接した２点間で、対象物がほぼ直線的に変化すると考え、近似式を求める。ｉ番目の点の基準面内距離をＸｉとする。ｉ番目の等距離点（２次元の場合は、等距離面）の座標をＹｉとすると、これは、隣接した２点の面内距離の値を用いて次式により求めることができる。

例を考える。Ｘ３＝３.３ｐ，Ｘ２＝２.２ｐであり、式(２)より、Ｙ３を計算すると、

となる。つまり、ｉ＝３の点は、０.３程度、ｉ＝２の点側にずらした点になる。これを図３の釣り鐘状の対象物に対して実施すると図４のように描くことができる。

次に、このような機能を実現するためのイメージセンサについて説明する。これには、繰り返しパルス光を対象物に照射し、光源から放たれた光が対象物で反射して戻ってくるまでの時間を計測することで、距離分布を求めることができる光飛行時間法(Time of flight)による距離画像センサが有用である。
この距離画像センサは、CMOSイメージセンサの技術により、CMOS集積回路として構成することができる。CMOSイメージセンサの技術を用いた距離画像センサは、１つのセンサアレイで、距離情報と明暗情報をともに得ることができるため、その場合には、求めた距離情報と、これにより計算された面内距離分布を、明暗画像上に重ね書きするのは容易である。
なお、これまで面内距離のスケールを網目すなわち変形した格子状のものとして説明したが、これに代えて網目の交点のみをドット表示するもの、面状ではなく直線として１次元のスケールとするものなどの変形が考えられる。また、網目状の変形として正６角形や正３角形を結合した網目状のスケールも考えられる。
１次元のスケールとした場合には、直線の起点・終点を任意に設定できるようにすることが好ましい。

しかし、この場合の明暗画像は、距離画像センサと同じ解像度になるため、距離画像センサの解像度が十分でない場合には、問題となる。
そこで、CMOSイメージセンサの技術を用いて図５に示すように、１つのシリコンチップ上に、明暗画像のイメージセンサと距離画像用のイメージセンサを形成する。それぞれにレンズを設け、同じ対象物の画像を、明暗画像と距離画像の両方に投影する。
シリコンチップ上に一体化することに代えて、セラミックなど他の基盤素材上に明暗画像センサと距離センサを近接して設ける形態での一体化であってもよい。
このとき、明暗画像用イメージセンサと距離画像用イメージセンサの撮像面の大きさを等しくすることもできるが、用途によっては、距離画像用センサの解像度はそれほど高くなくてよく、距離画像用センサの面積を小さくして、イメージセンサチップ全体の面積を小さく実現したい場合がある。

このような場合には、距離画像センサと明暗画像センサに対し、図６のように異なる焦点距離のレンズを用いることで、サイズの異なるセンサに同じ対象物の画像を投影することができる。図６に示すように、明暗画像センサと距離画像センサの大きさが異なり、異なる焦点距離のレンズを用いる場合、対象物の位置によって、両者の倍率の比が変動する。
両者の倍率の比は、次式で与えられる。

ｄ１，ｄ２は既知であり、距離画像センサによりＤ２を求めることができるので、距離画像センサで求めた、面内距離分布を明暗画像上に重ね書きするときには、上式により、倍率の補正を行えばよい。なお、この倍率は、対象物が遠ざかればｄ１/ｄ２の一定値に近づく。

次に、図５のように距離画像センサと、明暗画像センサの２つのセンサを持つ場合の両者の画像の位置ずれについて考える。説明を簡単にするために、図７に示すように、距離画像センサと、明暗画像センサは、同じ大きさの撮像面を持ち、レンズも同じ焦点距離のものを用いるものとする。
対象物の位置により、明暗画像センサ上の対象物の位置と、距離画像センサ上の対象物の位置にずれが生じる。両者に位置ずれが生じない距離が存在する。これを、Ｄ０とすると、対象物の基準面がこれからずれたときの撮像面上での位置ずれ量は、次式で与えられる。

ここで、ｓは、２つのセンサ用、レンズの光軸間の長さ、Ｄは、レンズから対象物の基準面までの距離、ｄは、レンズから撮像面までの距離である。この位置ずれ量を補正することで、明暗画像センサで得た明暗画像上に、正確に距離画像センサにより得た面内距離情報を重ねがきすることができる。

なお、距離画像センサと、明暗画像センサの撮像面の大きさが異なり、レンズの焦点距離が異なる場合についても、計算はやや複雑となるが同様な計算により、位置ずれ量の計算を行うことができる。
距離画像センサでは、対象物までの距離分布が分かるので、図４の面内距離分布を表す網目を重ねがきする機能に加えて、図８に示すように、対象物までの距離を等高線表示し、これを、明暗画像上に重ねがきすることもできる。この等高線表示と、面内等距離線をともに重ねて書くこともできる。

撮像対象物の絶対的な大きさを知りたいという要求は、例えば内視鏡により病巣の大きさ、その成長または縮小の度合いを知りたい場合など多くあり、本発明はこれらの要求を満たすことができる。

レンズのＦ値を大きくした場合の被写界深度 対象物に対する奥行き距離からの面内距離を求める原理図 網目スケール表示の原理 面内等距離線による網目スケールの実例 明暗画像センサと距離画像センサの集積化チップ 明暗画像センサと距離画像センサによる同じ対象物の撮像 明暗画像センサと距離画像センサにおける対象物の位置ずれを説明する図 距離分布の等高線表示

符号の説明

Ｄ：レンズ−被写体間距離
ｄ：レンズ−撮像面間距離
Ｘ：被写体の位置における距離スケール
ｘ：撮像面の位置における距離スケール
Ｌ１：レンズ−対象物間距離
Ｘ１：対象物における基準線からの距離
ｘ１：撮像面における基準線からの距離
ｐ：格子のピッチ
ｈ：対象物の撮像面における大きさ
ｓ：レンズの中心線間距離

Claims (7)

1. 撮像装置において、対象物までの距離の２次元分布を取得するセンサと、対象物をセンサの撮像面上に投影するレンズと、計算手段とからなり、前記レンズと対象物までの距離、前記センサの撮像面上の距離及び撮像面と前記レンズまでの距離から、対象物の面内等距離分布を求めることを特徴とする距離画像計測機能を有する撮像装置。
2. 前記センサは、繰り返しパルス光を対象物に投じ、その反射光を撮像面で受信するまでの光の飛行時間を、その画素毎に測定するために、その飛行時間により生じた遅れ時間に依存する信号を取り出すものである請求項１記載の距離画像計測機能を有する撮像装置。
3. 撮像装置において、対象物の明暗を表す２次元画像と対象物までの距離を表す２次元分布を取得するセンサと、対象物をセンサの撮像面上に投影するレンズと、計算手段とを備え、前記計算手段により前記レンズと対象物までの距離、前記センサの撮像面上の距離及び撮像面と前記レンズまでの距離から、対象物の面内等距離分布を求め、得られた面内等距離画像分布を、明暗画像上に重ねがきすることを特徴とする距離画像計測機能を有する撮像装置。
4. 撮像装置において、対象物の明暗を表す２次元画像と対象物までの距離を表す２次元分布を取得するセンサと、対象物をセンサの撮像面上に投影するレンズと、計算手段とを備え、前記計算手段により前記レンズと対象物までの距離、前記センサの撮像面上の距離及び撮像面と前記レンズまでの距離から、対象物の面内等距離分布を求め、得られた面内距離分布を用いて、明暗画像上の指定した位置に対象物の大きさを測ることができる目盛りを表示することを特徴とする距離画像計測機能を有する撮像装置。
5. 前記センサは、１つのシリコンチップ上に、明暗画像を取得する２次元アレイと距離画像を取得する２次元アレイが一定距離を隔てて配置され、それぞれ毎にレンズを設けて同じ対象画像を投影するものである請求項３または請求項４記載の距離画像計測機能を有する撮像装置。
6. 前記計算手段は奥行き方向を表す等高線を求め、得られた等高線を明暗画像上にかさねて描く機能を有するものである請求項３または請求項４記載の距離画像計測機能を有する撮像装置。
7. 請求項１乃至６記載の距離画像計測機能を有する撮像装置を組み込んでなる内視鏡装置。

Images