JP2006005608A - 撮像装置 - Google Patents

Abstract

【課題】
ステレオ撮像システムにおいて、電子シャッタ機能を用いた露光制御を行った場合に、ステレオ撮像の画像処理能力が低下する不具合を発生させないこと。
【解決手段】
撮像を行う複数の撮像手段と、複数の撮像手段の撮影タイミングの制御を行う撮像同期制御手段と、複数の撮像手段から出力される映像信号に対しステレオ撮像の演算を行うステレオ撮像画像処理手段とを有するステレオ撮像装置によって構成される。
撮像手段が電子シャッタ機能を用いた露光制御を行うことにより、複数の撮像手段の露光期間の重心のタイミングが異なった場合に、撮像同期制御手段が、前記複数の撮像手段の撮影タイミングの同期をずらし露光期間の重心のタイミングを合わせることにより、ステレオ撮像の画像処理能力が低下する不具合が発生しないことを可能とする。
【選択図】 図２

Description

本発明は、複数の撮像手段を備える撮像装置に関する。

本技術分野の背景技術として、例えば、特開２００２−１４５０７２号公報（特許文献１）がある。該公報には、「踏切内を広くカバーしてしかも高精度に障害物の検知ができる踏切障害物検知装置を提供すること」を課題とし、解決手段として、「踏切内の監視領域に向けて少なくとも左右一対のカメラ１１ａ，１１ｂを配置し、これらのカメラにて得た前記監視領域の左右画像を取得すると共に、第１段階の処理として左右画像のうちの片画像を用いて非定常領域判別法（単眼での映像変化検出）により画像中の変化部分を抽出し、変化部分が抽出されたときは、第２段階の処理として左右画像を用いた平面投影ステレオ法による変化部分の画像を検証して監視領域内の障害物検知を行う踏切障害物検知装置において、前記カメラの画像は左右画像が同一タイミングの撮影画像となるよう、同期をとる同期手段２０を設けると共に、この同期手段は、同期信号を発生する同期信号発生手段２２と遅延調整手段２１ａ，２１ｂにより構成し、前記左右一対のカメラは、この遅延調整手段にて調整して用いることを特徴とする」という技術が開示されている。

特開２００２−１４５０７２号公報

例えば監視カメラや立体視カメラにおいて、複数のカメラを用いてステレオ撮像を行い被写体の抽出を行う手法はよく知られている。この際、上記特許文献１のように、ステレオ撮影時の画像処理精度向上のため、図５の５ａに示すように複数カメラ間の撮影時の同期を合わせることは有効である。

ところが、例えば、カメラ毎の光源や反射角や撮影角度が異なる為にカメラ毎の被写体の照度差が大きい場合や、また、感度や光学系や撮影周期など種類が異なるカメラを用いて撮影する場合がある。これらの場合、図５の５ｂに示すように、カメラ毎の露光制御が異なり、カメラ２のように電子シャッタ機能を用いて露光制御を行い５ｂ＿２の期間の露光を行わなかった（撮像信号破棄した）ときには、カメラ間の撮影タイミング（信号出力のタイミング）の同期を合わせることにより、露光期間の重心のタイミングがカメラ間で異なることになる。ステレオ撮像の画像処理は複数カメラの撮影画像を比較演算し画像処理を行う為、カメラ毎に露光期間の重心のタイミングが異なる場合には、動いている被写体に対してのステレオ撮像の画像処理能力が低下する（例えば、被写体抽出の精度が低下し、被写体の大きさや距離の認識制度が低下してしまう。）という問題が生じる。特に、被写体の動きが速い場合には、電子シャッタ機能（あるいはメカシャッタ）を用いて露光時間を短くすることにより被写体の移動による撮影画像のぶれやぼけを抑える制御を行う場合が多いため、問題が顕著化しやすい。例えば、監視カメラでは画像処理能力低下により監視能力が低下してしまうので、カメラ毎の被写体の照度差が大きい場合や種類の異なるカメラを用いる場合でも、被写体（例えば犯人）を鮮明に高画質に撮影できるようにすることが望まれる。

そこで、本発明は、複数の撮像手段を備える撮像装置における高画質化を目的とする。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、複数の撮像手段を備える撮像装置における高画質化を実現できる。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係るステレオ撮像システムを示す模式図である。図１において、１はステレオ撮像装置、１０１＿１は第１の撮像部、１０１＿２は第２の撮像部、１０２は撮像同期制御部、１０３はステレオ撮像画像処理部である。

ステレオ撮像装置１において、第１の撮像部１０１＿１では撮像を行い、撮影した映像信号を出力する。第２の撮像部１０１＿２でも撮像を行い、撮影した映像信号を出力する。撮像同期制御部１０２は、第１の撮像部１０１＿１と第２の撮像部１０１＿２の撮像同期の制御を行う。ステレオ撮像画像処理部１０３では、第１の撮像部１０１＿１と第２の撮像部１０１＿２が出力する映像信号を用いて、被写体抽出／認識処理や三角測量の原理に基づいた被写体までの距離や位置の演算などのステレオ撮像の画像処理を行う。

図２は、本発明の第１実施例に係るステレオ撮像システムの露光制御タイミングの一例を示す図である。 図２の２ａは、カメラ２が電子シャッタ機能を用いた露光制御を行っており、図２の２ｂはカメラ１とカメラ２が共に電子シャッタ機能を用いた露光制御を行っている。カメラ１は図１に示す第１の撮像部１０１＿１と、カメラ２はは図１に示す第２の撮像部１０１＿２と等価である。

ステレオ撮像システムにおいて、電子シャッタ機能を用いて露光制御を行う場合に複数カメラ間の撮影タイミングの同期を合わせることは、図５の５ｂに示すように露光期間の重心のタイミングがカメラ間で異なることになり、ステレオ撮像の画像処理能力が低下する問題が生じる。本実施例では、図２の２ａに示すように、複数カメラ間の撮影タイミングの同期をずらすことにより、それぞれのカメラの露光期間の重心のタイミングを合わせることができる。ステレオ撮像画像処理部１０３では、第１の撮像部１０１＿１と第２の撮像部１０１＿２から出力される映像信号のうち、露光期間の重心のタイミングが合っている映像信号を用いて、ステレオ撮像の画像処理を行えばよい。

このような露光期間の重心のタイミング合わせの制御を行う為には、撮像同期制御部１０２が、第１の撮像部１０１＿１と第２の撮像部１０１＿２から取得する露光制御パラメータを用いた演算結果により、それぞれの撮像部に異なるタイミングの同期信号を入力すればよい。また、露光重心タイミングの基準信号を、撮像同期制御部１０２から第１の撮像部１０１＿１と第２の撮像部１０１＿２に出力し、第１の撮像部１０１＿１と第２の撮像部１０１＿２のそれぞれにおいて、図２の２ａに示すように、露光重心タイミングの基準信号と露光期間の重心のタイミングが同期するように、撮影タイミングをそれぞれの撮像部で制御するようにしてもよい。このように、撮像同期制御部１０２が出力する露光重心タイミングの基準信号を用いて各撮像部で撮影タイミングの制御を行うことにより、撮像同期制御部が各撮像部の露光制御状態を取得し演算処理することなく、ステレオ撮像システムの各カメラの露光期間の重心のタイミングをあわせることが可能となる。

図２の２ｂは、カメラ１、カメラ２共に電子シャッタ機能を用いた露光制御を行っているが、この場合においても同様に、カメラ１とカメラ２の撮影タイミングの同期をずらすことにより、カメラ１とカメラ２の露光期間の重心のタイミングを合わせることができる。

かように本実施例によれば、電子シャッタ機能を用いた露光制御を行っている場合に、カメラ間の撮影タイミングの同期をずらすことにより、複数のカメラ間の露光期間の重心のタイミングを合わせたステレオ撮像が可能であり、ステレオ撮像の画像処理能力を向上させることができる。

図３は、本発明の第２実施例に係るステレオ撮像システムの露光制御タイミングの一例を示す図である。図３の３ａはカメラ２がメカシャッタを用いた露光制御を行っており、図３の２ｂはカメラ２がメカシャッタを用いた露光制御を行っており、図３の３ｃはカメラ１が電子シャッタ機能を用いた露光制御を行いカメラ２が電子シャッタ機能とメカシャッタを用いた露光制御を行っている。カメラ１は図１に示す第１の撮像部１０１＿１と、カメラ２はは図１に示す第２の撮像部１０１＿２と等価である。

ステレオ撮像システムにおいて、メカシャッタを用いて露光制御を行う場合に複数カメラ間の撮影タイミングの同期を合わせることは、図３の３ａに示すように露光期間の重心のタイミングがカメラ間で異なることになり、ステレオ撮像の画像処理能力が低下する問題が生じる。本実施例では、図３の３ｂに示すように、複数カメラ間の撮影タイミングの同期をずらすことにより、それぞれカメラの露光期間の重心のタイミングを合わせることができる。

このような露光期間の重心のタイミング合わせの制御を行う為には、本発明の第一の実施例と同様に、撮像同期制御部１０２がそれぞれの撮像部に異なるタイミングの同期信号を入力してもよいし、撮像同期制御部１０２が露光重心タイミングの基準信号を各撮像部に出力し、それぞれの撮像部において露光重心タイミングの基準信号と露光期間の重心のタイミングが同期するように撮影タイミングを制御するようにすればよい。

図３の３ｃは、カメラ１が電子シャッタ機能を用いた露光制御を行いカメラ２が電子シャッタ機能とメカシャッタを用いた露光制御を行っているが、この場合においても同様に、カメラ１とカメラ２の撮影タイミングの同期をずらすことにより、カメラ１とカメラ２の露光期間の重心のタイミングを合わせることができる。

かように本実施例によれば、メカシャッタを用いた露光制御を行ったいる場合や、電子シャッタ機能とメカシャッタを用いた露光制御を行っている場合に、カメラ間の撮影タイミングの同期をずらすことにより、複数のカメラ間の露光期間の重心のタイミングを合わせたステレオ撮像が可能であり、ステレオ撮像の画像処理能力を向上させることができる。

図４は、本発明の第３実施例に係るステレオ撮像システムの露光制御タイミングの一例を示す図である。図４において、カメラ１とカメラ２の撮像周期は異なっている。カメラ１は図１に示す第１の撮像部１０１＿１と、カメラ２はは図１に示す第２の撮像部１０１＿２と等価である。

ステレオ撮像システムにおいて、撮像周期が異なるカメラの撮影タイミングの同期を合わせることは、図４の４ａに示すように、露光期間の重心のタイミングがカメラ間で異なることになり、ステレオ撮像の画像処理能力が低下する問題が生じる。本実施例では、図４の４ｂに示すように、複数カメラ間の撮影タイミングの同期をずらすことにより、それぞれのカメラの露光期間の重心のタイミングを合わせることができる。

このような露光期間の重心のタイミング合わせの制御を行う為には、本発明の第一の実施例と同様に、撮像同期制御部１０２がそれぞれの撮像部に異なるタイミングの同期信号を入力してもよいし、撮像同期制御部１０２が露光重心タイミングの基準信号を各撮像部に出力し、それぞれの撮像部において露光重心タイミングの基準信号と露光期間の重心のタイミングが同期するように撮影タイミングを制御するようにすればよい。また、撮像周期の異なるカメラの撮像周期を整数倍や整数比にすることにより、上述した露光期間の重心のタイミング合わせの処理を容易にすることが可能である。

かように本実施例によれば、ステレオ撮像システムを構成するカメラの撮像周期が異なっている場合に、カメラ間の撮影タイミングの同期をずらすことにより、複数のカメラ間の露光期間の重心のタイミングを合わせたステレオ撮像が可能であり、ステレオ撮像の画像処理能力を向上させることができる。

なお、上記各実施例において、カメラは２つとして説明してきたが、これに限るものではない。本発明は、３つ以上のカメラを用いて撮像した映像の比較演算を行うシステムにも応用可能である。

また、上記各実施例では露光期間の重心のタイミングを合わせることを説明したが、より簡易には露光期間の中心のタイミングを合わせるようにしてもよい。すなわち、重心とは、露光期間内の各時点での明るさを考慮して、他のカメラと合わせるタイミングを決定する（例えば、露光期間の前半が明るく後半が暗い場合、合わせるタイミングは中心よりも前よりになる）が、例えば特に露光期間が短い場合などでは露光期間内の明るさの変動は少ないとみなして、単に露光期間の中心を他のカメラと合わせるようにしても良い。この場合、回路が簡単になるなどの効果がある。

本発明は監視カメラや立体視カメラに利用可能である。

本発明の第１実施例に係るステレオ撮像システムを示す模式図である。 本発明の第１実施例に係るステレオ撮像システムの露光制御タイミングの一例を示す図である。 本発明の第２実施例に係るステレオ撮像システムの露光制御タイミングの一例を示す図である。 本発明の第３実施例に係るステレオ撮像システムの露光制御タイミングの一例を示す図である。 本発明の従来例に係るステレオ撮像システムの露光制御タイミングの一例を示す図である。

符号の説明

１ ステレオ撮像装置
１０１＿１ 第１の撮像部
１０１＿２ 第２の撮像部
１０２ 撮像同期制御部
１０３ ステレオ撮像画像処理部

Claims (9)

1. 第１の撮像手段と、
   第２の撮像手段と、
   該第１の撮像手段と該第２の撮像手段の露光期間の長さが異なる場合に、該第１及び／または第２の撮像手段を制御し、該第１及び第２の撮像手段の露光期間の重心または中心のタイミングを合わせる制御手段と、
   を備えることを特徴とする撮像装置。
2. 複数の異なる撮像手段と、
   該複数の撮像手段を制御し、該複数の撮像手段の露光期間の重心または中心のタイミングを合わせる制御手段と、
   を備えることを特徴とする撮像装置。
3. 複数の撮像手段と、
   該複数の撮像手段の信号出力タイミングの制御を行う撮像同期制御手段と、
   該複数の撮像手段から出力される映像信号に対しステレオ撮像の演算を行うステレオ撮像画像処理手段と、
   を備え、
   前記撮像同期制御手段は、前記複数の撮像手段の信号出力タイミングの同期をずらし、前記複数の撮像手段の露光期間の重心のタイミングを合わせること、
   を特徴とする撮像装置。
4. 請求項１乃至３のいずれかにおいて、
   前記撮像手段は電子シャッタ機能を有し、
   前記撮像同期制御手段は、該電子シャッタ機能を用いた露光制御により前記複数の撮像手段の露光期間の重心のタイミングが異なった場合に、前記複数の撮像手段の信号出力の同期をずらし、前記複数の撮像手段の露光期間の重心のタイミングを合わせること、
   を特徴とする撮像装置。
5. 請求項１乃至４のいずれかにおいて、
   前記撮像手段はメカシャッタを有し、
   前記撮像同期制御手段は、該メカシャッタを用いた露光制御により前記複数の撮像手段の露光期間の重心のタイミングが異なった場合に、前記複数の撮像手段の信号出力の同期をずらし、前記複数の撮像手段の露光期間の重心のタイミングを合わせること、
   を特徴とする撮像装置。
6. 撮像周期の異なる複数の撮像手段と、
   該複数の撮像手段の信号出力の制御を行う撮像同期制御手段と、
   該複数の撮像手段から出力される映像信号に対しステレオ撮像の演算を行うステレオ撮像画像処理手段と、
   を備え、
   前記撮像同期制御手段は、前記複数の撮像手段の信号出力の同期をずらし、前記複数の撮像手段の露光期間の重心のタイミングを合わせること、
   を特徴とする撮像装置。
7. 請求項６において、
   前記撮像同期制御手段は、撮像周期の長い撮像手段の撮像期間の重心のタイミングに、撮像周期の短い撮像手段の撮像期間の重心のタイミングを合わせるように、前記複数の撮像手段を制御すること、
   を特徴とする撮像装置。
8. 請求項１乃至７のいずれかにおいて、
   前記撮像同期制御手段は、前記複数の撮像手段から撮像期間に関する情報が入力され、前記複数の撮像手段の露光期間の重心のタイミングが合うように各前記撮像手段の同期信号を生成して各前記撮像手段に出力し、
   各前記撮像手段は、該同期信号に同期して撮像すること、
   を特徴とする撮像装置。
9. 請求項１乃至７のいずれかにおいて、
   前記撮像同期制御手段は、前記複数の撮像手段から撮像期間に関する情報が入力され、前記撮像手段の各々が露光期間の重心のタイミングを決める基準に用いる基準信号を生成して前記複数の撮像手段に出力し、
   前記複数の撮像手段は、露光期間の重心のタイミングを該基準信号に合わせるように制御すること、
   を特徴とする撮像装置。
   

Images