JP2008278430A - 撮像装置、撮像方法、及びプログラム - Google Patents

Abstract

【課題】時間解像度及び輝度解像度を高めることができる撮像装置を提供すること。
【解決手段】本発明の撮像装置は、一部の期間が他の受光期間と重複する複数の受光期間のそれぞれにおいて、略同一の被写体からの光を受光して、被写体の複数の撮像画像を撮像する撮像部と、複数の撮像画像の画像内容及び複数の受光期間が重複する期間に基づいて、複数の受光期間に含まれる、複数の受光期間より短い時間長さの期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成する部分露光画像生成部とを備える。
【選択図】図２

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。

露光量の異なる複数のカメラを用いて監視領域を撮影して、監視領域に入る物体を検出した場合には、露光量の異なる複数の画像から、それぞれ露光量の適正な画像部分を取り出してダイナミックレンジの広い画像を合成する装置が知られている（例えば、特許文献１参照。）。
特開２００４−９６４８８号公報

上記特許文献１の装置においては、暗い場所で適切な露出を確保すべく露光時間を長く取るためにはフレームレートを低く設定する必要があり、時間についての分解能が低下してしまう。このため、不審者等の行動を適切に記録することができなくなってしまう虞がある。

そこで本発明は、上記課題を解決することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態における撮像装置は、一部の期間が他の受光期間と重複する複数の受光期間のそれぞれにおいて、略同一の被写体からの光を受光して、被写体の複数の撮像画像を撮像する撮像部と、複数の撮像画像の画像内容及び複数の受光期間が重複する期間に基づいて、複数の受光期間に含まれる、複数の受光期間より短い時間長さの期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成する部分露光画像生成部とを備える。

撮像部が一部の期間が重複する第１受光期間及び第２受光期間でそれぞれ撮像した第１撮像画像と第２撮像画像との差分画像を生成する差分画像生成部と、第１受光期間のうち、第２受光期間と重複する期間以外の期間で受光した場合に得られるべき部分露光画像を取得する部分露光画像取得部とをさらに備え、部分露光画像生成部は、差分画像生成部が生成した差分画像及び部分露光画像取得部が取得した部分露光画像に基づいて、第２受光期間のうち、第１受光期間と重複する期間以外の期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成してよい。

撮像部は、被写体からの光を複数の光に分割するミラー部と、ミラー部によって分割された複数の光をそれぞれ受光する複数の受光部と、複数の受光部のそれぞれに、他の受光部の受光期間と一部の期間を重複させて光を受光させる受光制御部と、複数の受光部が受光した受光量に基づいて、複数の撮像画像を生成する撮像画像生成部とを有してよい。

撮像部は、複数の受光素子を有する受光部と、被写体からの光を分散させて複数の受光素子に受光させる光学ローパスフィルタと、光学ローパスフィルタによって分散された光を、複数の受光素子のそれぞれに他の受光素子の受光期間と一部の期間を重複させて受光させる受光制御部と、受光制御部が同じ期間に被写体からの光を受光させた複数の受光素子の受光量に基づいて、当該期間毎に撮像画像を生成する撮像画像生成部とを有してよい。

本発明の第２の形態における撮像方法は、一部の期間が他の受光期間と重複する複数の受光期間のそれぞれにおいて、略同一の被写体からの光を受光して、被写体の複数の撮像画像を撮像する撮像部と、複数の撮像画像の画像内容及び複数の受光期間が重複する期間に基づいて、複数の受光期間に含まれる複数の受光期間より短い時間長さの期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成する画像生成部とを備える。

本発明の第３の形態によると、撮像装置用のプログラムであって、撮像装置を、一部の期間が他の受光期間と重複する複数の受光期間のそれぞれにおいて、略同一の被写体からの光を受光して、被写体の複数の撮像画像を撮像する撮像部、複数の撮像画像の画像内容及び複数の受光期間が重複する期間に基づいて、複数の受光期間に含まれる複数の受光期間より短い時間長さの期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成する画像生成部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、暗い場所における不審者等の動きを適切に記録することができる撮像装置を提供することができる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る撮像システム１００の利用環境の一例を示す。撮像システム１００は、複数の撮像部１１０ａ及びｂ（以下、撮像部１１０と総称する）、画像処理部１２０、撮像制御部１３０、表示部１４０、及び通信回線１５０を備える。

撮像部１１０ａは、被写体１８０を撮像して得られた撮像画像を、通信回線１５０を通じて画像処理部１２０に提供する。撮像部１１０は、被写体１８０からの光により複数の撮像画像を撮像して、画像処理部１２０に供給する。なお、撮像部１１０は、一部の期間が重複する複数の受光期間のそれぞれで被写体１８０からの光を受けて、複数の受光期間のそれぞれにおいて撮像画像を生成する。そして、画像処理部１２０は、撮像部１１０ａが撮像した複数の撮像画像から、当該受光期間より短い受光期間で撮像した場合に得られる複数の部分露光画像を生成して、表示部１４０に供給する。表示部１４０は、画像処理装置１２０が生成した複数の部分露光画像を、一度に閲覧可能な形で同時に表示する。なお、撮像部１１０ａ及び画像処理部１２０は、例えば撮像装置等として一の装置に実装されてよい。

なお、撮像部１１０ｂの動作は、撮像部１１０ａの動作と略同一であるので説明を省略する。また、表示部１４０は、撮像部１１０ａが生成した複数の部分画像を表示するのと同様に、撮像部１１０ｂが生成した複数の部分露光画像を表示してよい。

なお、画像処理部１２０は、撮像部１１０ａ及びｂが撮像した複数の撮像画像の画像内容に基づいて、撮像部１１０ａおよびｂによる撮像領域内における動きを検出する。撮像制御部１３０は、画像処理部１２０において動きが検出されていない場合には、上記のように受光期間を重複させることなく連続的に撮像させる。そして、撮像制御部１３０は、画像処理部１２０において動きが検出された場合に、受光期間を重複させて撮像させてよい。なお、撮像システム１００は、監視領域を撮像して得られた撮像画像又は当該撮像画像から生成された部分露光画像によって監視領域を監視する監視システムであってよい。なお、通信回線１５０は、コンピュータ・ネットワーク等の通信網、バス等の通信路を含む。

図２は画像処理部１２０のブロック構成の一例を示す。画像処理部１２０は、動き算出部２６５、動き領域特定部２６０、差分画像生成部２２０、動きオブジェクト画像生成部２７０、動きオブジェクト大きさ特定部２７５、部分露光画像生成部２３０、部分露光画像格納部２４０、部分露光画像取得部２５０、及びオブジェクト画像合成部２８０を有する。

撮像部１１０は、一部の期間が他の受光期間と重複する複数の受光期間のそれぞれにおいて、略同一の被写体１８０からの光を受光して、被写体１８０の複数の撮像画像を撮像する。そして、部分露光画像生成部２３０は、複数の撮像画像の画像内容及び複数の受光期間が重複する期間に基づいて、複数の受光期間に含まれる、複数の受光期間より短い時間長さの期間に被写体１８０からの光を受光した場合に得られるべき部分露光画像を生成する。部分露光画像格納部２４０は、部分露光画像生成部２３０が生成した部分露光画像を格納する。

例えば、差分画像生成部２２０は、撮像部１１０が一部の期間が重複する第１受光期間及び第２受光期間でそれぞれ撮像した第１撮像画像と第２撮像画像との差分画像を生成する。そして、部分露光画像取得部２５０は、第１受光期間のうち、第２受光期間と重複する期間以外の期間で受光した場合に得られるべき部分露光画像を取得する。具体的には、部分露光画像取得部２５０は、部分露光画像格納部２４０が格納している部分露光画像の中から、第１受光期間のうち、第２受光期間と重複する期間以外の期間で受光した場合に得られるべき部分露光画像を取得してよい。

そして、部分露光画像生成部２３０は、差分画像生成部２２０が生成した差分画像及び部分露光画像取得部２５０が取得した部分露光画像に基づいて、第２受光期間のうち、第１受光期間と重複する期間以外の期間に被写体１８０からの光を受光した場合に得られるべき部分露光画像を生成する。具体的には、部分露光画像生成部２３０は、差分画像生成部２２０が生成した差分画像と部分露光画像取得部２５０が取得した部分露光画像との和を、第２受光期間のうち、第１受光期間と重複する期間以外の期間に被写体１８０からの光を受光した場合に得られるべき部分露光画像として生成する。

部分露光画像生成部２３０は、一部の期間が重複する第１受光期間及び第２受光期間で撮像部１１０がそれぞれ撮像した第１撮像画像及び第２撮像画像の画像内容、並びに第１受光期間と第２受光期間とが重複する期間に基づいて、重複する期間、第１受光期間における重複する期間以外の期間、及び第２受光期間における重複する期間以外の期間の少なくともいずれかにおける部分露光画像を生成する。そして、動き算出部２６５は、第１撮像画像及び第２撮像画像のそれぞれの画像内容に基づいて、オブジェクトが動く速さを算出する。そして、動きオブジェクト画像生成部２７０は、動き算出部２６５が算出した速さでオブジェクトが動く画像を生成する。そして、オブジェクト画像合成部２８０は、動きオブジェクト画像生成部２７０が生成した画像を、部分露光画像生成部２３０が生成した部分露光画像に合成する。そして、動きオブジェクト画像生成部２７０によってオブジェクトが動く画像が合成された部分露光画像は、表示部１４０に供給されて表示される。

なお、動き領域特定部２６０は、第１撮像画像及び第２撮像画像の画像内容に基づいて、第１撮像画像及び第２撮像画像のそれぞれにおいて動くオブジェクトが存在する領域を特定する。そして、差分画像生成部２２０は、第１撮像画像及び第２撮像画像において動き領域特定部２６０が特定した領域のうち、重複する領域の差分画像を生成する。そして、動きオブジェクト大きさ特定部２７５は、差分画像生成部２２０が生成した差分画像の画像内容に基づいて、動くオブジェクトの大きさを特定する。

そして、動きオブジェクト画像生成部２７０は、動きオブジェクト大きさ特定部２７５が特定した大きさの動くオブジェクトの画像を生成する。そして、オブジェクト画像合成部２８０は、動きオブジェクト画像生成部２７０が生成した画像を、部分露光画像生成部２３０が生成した部分露光画像に合成する。なお、動きオブジェクト画像生成部２７０は、動きオブジェクト大きさ特定部２７５が特定した大きさのオブジェクトが動き算出部２６５が算出した速さで動くオブジェクトの画像を生成してもよい。

このように、画像処理部１２０は、一部の受光期間を重複させて撮像して得られた撮像画像から複数の画像を生成することができるので、オブジェクトが動く様子を細やかに表現した画像を提供することができる。また、長い受光期間で撮像することができるので、信号のＳ／Ｎ比を向上させることができる。このため、撮像システム１００によると、短い受光期間で撮像した場合に比べてより高画質な画像を提供することができる。

図３は、受光期間の一例を示す。図８及び９に関連して説明するように、撮像部１１０は、受光素子の複数の組のそれぞれに一部の期間を重複させて被写体１８０からの光を受光させる。例えば、撮像部１１０は、時刻ｔ１から時刻ｔ４までの期間、受光素子の一の組に被写体１８０からの光を受光させことによって、撮像画像Ｐ３０１を生成する。そして、撮像部１１０は、他の受光素子の複数の組に、露光時間（ｔ４−ｔ１）より短い時間幅ΔＴだけずらして、被写体１８０からの光を順次受光させることによって、撮像画像Ｐ３０２、撮像画像Ｐ３０３、及び撮像画像Ｐ３０４を生成する。

具体的には、撮像部１１０は、時刻ｔ１からΔＴだけ後の時刻ｔ２から、時刻ｔ４よりΔＴだけ後の時刻ｔ５までの期間、受光素子の他の組に受光させて、撮像画像Ｐ３０２を生成する。また、撮像部１１０は、時刻ｔ２からΔＴだけ後の時刻ｔ３から、時刻ｔ５よりΔＴだけ後の時刻ｔ６までの期間、受光素子のさらに他の組に受光させて、撮像画像Ｐ３０３を生成する。また、撮像部１１０は、時刻ｔ３からΔＴだけ後の時刻ｔ４から、時刻ｔ６よりΔＴだけ後の時刻ｔ７までの期間、受光素子のさらに他の組に受光させて、撮像画像Ｐ３０４を生成する。

ここで、時刻ｔ１から時刻ｔ２の期間、時刻ｔ２から時刻ｔ３の期間、及び時刻ｔ３から時刻ｔ４の期間を受光期間とした場合に撮像されることが期待される画像をそれぞれｐ１、ｐ２、及びｐ３とすると、撮像画像Ｐ３０１はｐ１、ｐ２、及びｐ３を足し合わせた画像であるといえる。言い換えると、Ｐ３０１＝ｐ１＋ｐ２＋ｐ３と表すことができる。また、同様にして、時刻ｔ４から時刻ｔ５の期間、時刻ｔ５から時刻ｔ６の期間、及び時刻ｔ６から時刻ｔ７の期間を受光期間とした場合に撮像されることが期待される画像をそれぞれｐ４、ｐ５、及びｐ６とすれば、撮像画像Ｐ３０２、Ｐ３０３、及びＰ３０４については、Ｐ３０２＝ｐ２＋ｐ３＋ｐ４、Ｐ３０３＝ｐ３＋ｐ４＋ｐ５、Ｐ３０４＝ｐ４＋ｐ５＋ｐ６と表すことができる。

ここで、ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、及びｐ６は、本実施形態における部分露光画像の一例である。部分露光画像生成部２３０は、撮像画像Ｐ３０１、Ｐ３０２、Ｐ３０３、Ｐ３０４の画像内容及び受光期間ｔ１〜ｔ４、ｔ２〜ｔ５、ｔ３〜ｔ６、及びｔ４〜ｔ７から、部分露光画像ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、及びｐ６を生成する。

一例としては、部分露光画像取得部２５０は、部分露光画像ｐ１及びｐ６を取得する。部分露光画像ｐ１及びｐ６が既知となると、未知の部分露光画像はｐ２、ｐ３、ｐ４、及びｐ５の４つとなる。一方、上記のように撮像画像Ｐ３０１、Ｐ３０２、Ｐ３０３、及びＰ３０４に関する４つの式が存在するので、部分露光画像生成部２３０は、部分露光画像ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、及びｐ６を生成することができる。例えば、部分露光画像生成部２３０は、ｐ４＝Ｐ３０２−（ｐ２＋ｐ３）＝Ｐ３０２−Ｐ３０１＋ｐ１により、部分露光画像ｐ４を生成することができる。

部分露光画像を生成する他の例としては、部分露光画像生成部２３０は、撮像部１１０が撮像した撮像画像のそれぞれについて空間周波数成分を算出して、予め定められた空間周波数成分より高い周波数成分を持つ撮像画像を複数の撮像画像の中から特定して、特定した撮像画像から部分露光画像を生成する。

例えば、部分露光画像生成部２３０は、撮像画像Ｐ３０１、Ｐ３０２、Ｐ３０３、及びＰ３０４のうち、より高い空間周波数成分を有する撮像画像を、部分露光画像を生成する撮像画像としてより優先して特定する。ここでは、部分露光画像生成部２３０が最も高い空間周波数成分を有する撮像画像としてＰ３０３を特定したとすると、部分露光画像生成部２３０は、ｐ３＝ｐ４＝ｐ５＝Ｐ３０３／３とみなす。これにより、部分露光画像生成部２３０は、ｐ２＝Ｐ３０２−ｐ３−ｐ４、ｐ１＝Ｐ３０１−ｐ２−ｐ３などのようにして、部分露光画像ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、及びｐ６を生成することができる。

なお、より高い空間周波数成分を有する撮像画像とは、空間周波数成分の平均値がより高い撮像画像であってよいし、予め定められた周波数より低い周波数の周波数成分を持つ画像領域の面積がより小さい撮像画像であってもよい。撮像画像中に動くオブジェクトがあれば撮像画像はより低い空間周波数成分を持つことになる。このため、より高い周波数成分を持つ撮像画像は撮像期間中の被写体変化がより小さいことを示すので、そのような撮像画像を部分露光画像の和であると仮定することによって、他の受光期間における部分露光画像をより正確に生成することができる。

なお、本図の例では、ずらし時間ΔＴの長さを受光時間の１／３の長さとしたが、ずらし時間ΔＴの長さは受光時間より短ければよく、本図の例に限るものではない。また、本図の例では、受光期間が開始する時刻を各受光素子の組毎に順次ΔＴずつずらすとしたが、ずらし時間ΔＴは可変であってもよい。また、本図の例では、受光期間の長さは全ての受光素子の組について同じであるとしたが、少なくとも一の組の受光期間の長さは、他の組の受光期間の長さと異なってもよい。

図４は、撮像画像における動くオブジェクトの一例を示す。撮像画像Ｐ３０１には、オブジェクトは、オブジェクト画像４００として撮像される位置からオブジェクト画像４０５として撮像される位置までの範囲にわたって移動している。この場合、動くオブジェクトは、撮像画像Ｐ３０１においてｘ座標ｘ０からｘ１までの範囲にわたって撮像される。

一方、撮像画像Ｐ３０２が撮像される間、オブジェクトは、撮像画像Ｐ３０２においてオブジェクト画像４０２として撮像される位置からオブジェクト画像４０７として撮像される位置までの範囲にわたって移動している。この場合、動くオブジェクトは、撮像画像Ｐ３０２においてｘ座標ｘ３からｘ２までの範囲にわたって撮像される。

この場合、動き領域特定部２６０は、撮像画像Ｐ３０１及び撮像画像Ｐ３０２から、エッジ抽出等によりオブジェクトの輪郭を抽出する。そして動き領域特定部２６０は、予め定められた一致度で一致する色又は形状を有するオブジェクトのうち、撮像画像Ｐ３０１と撮像画像Ｐ３０２との間で位置が変化しているオブジェクトを動きオブジェクトとして特定する。そして動き領域特定部２６０は、当該オブジェクトが含む領域を動き領域として特定する。このように、動き領域特定部２６０は、複数の撮像画像の画像内容に基づいて、複数の撮像画像のそれぞれにおいて動くオブジェクトが存在する領域を特定する。

そして、動き算出部２６５は、撮像画像Ｐ３０２におけるオブジェクト画像の先端のｘ座標ｘ２と撮像画像Ｐ３０１におけるオブジェクト画像の先端のｘ座標ｘ１との差をΔＴで除した値を、オブジェクトのｘ方向の速度として算出する。

次に、動きオブジェクト大きさ特定部２７５が動くオブジェクトの大きさを算出する方法について説明する。差分画像生成部２２０が生成した撮像画像Ｐ３０２と撮像画像Ｐ３０１との間の差分をとると、動くオブジェクトがオブジェクト画像４０２として撮像される位置からオブジェクト画像４０５として撮像される位置までの間を移動している間に撮像されたオブジェクトの画像情報はキャンセルされる。したがって、差分画像には、オブジェクトによる画像の残差は、オブジェクト画像４００の位置からオブジェクト画像４０２の位置までの間、及び、オブジェクト画像４０５の位置からオブジェクト画像４０６の位置までの間に表れる。

この場合、動きオブジェクト大きさ特定部２７５は、差分画像生成部２２０が生成した差分画像において、オブジェクトが動いている方向において、オブジェクトによる画像の残差が存在する先端のｘ座標ｘ４を特定する。また、動きオブジェクト大きさ特定部２７５は、撮像画像Ｐ３０２において、動き方向と反対方向における、動くオブジェクトの先端のｘ座標ｘ３を特定する。そして、動きオブジェクト大きさ特定部２７５は、ｘ座標ｘ３からｘ４まで長さＬを、オブジェクトのｘ方向の長さとして特定する。

なお、本図の例では、ｘ方向に動くオブジェクトを例に挙げて、オブジェクトのｘ方向の大きさ成分及びｘ方向の速度成分を特定する方法について説明したが、同様にしてｙ方向についても、大きさ成分及び速度成分を特定することができる。このため、以下の説明においては、説明が複雑にならないよう、ｘ方向に動くオブジェクトに対する各部の動作を説明する。

図５は、オブジェクト画像合成部２８０がオブジェクト画像を合成する領域の一例を示す。動きオブジェクト画像生成部２７０は、動きオブジェクト大きさ特定部２７５が特定したオブジェクトの長さＬのオブジェクト画像を生成する。例えば、動きオブジェクト画像生成部２７０は、撮像画像Ｐ３０１又はＰ３０２におけるオブジェクト領域の中から、長さＬを持つ領域を切り出して、切り出した領域をオブジェクト画像として生成してよい。そして、オブジェクト画像合成部２８０は、動きオブジェクト画像生成部２７０が生成したオブジェクト画像を、部分露光画像ｐ１における長さＬの領域４６０に配置して、表示部１４０に出力する。

なお、オブジェクト画像合成部２８０は、部分露光画像ｐ１においてオブジェクトが位置することが期待される領域の重心位置に、長さＬの領域４６０を設定してよい。具体的には、オブジェクト画像合成部２８０は、ｘ０とｘ４の中点に重心を持つ長さＬの領域４６０を設定してよい。

図６は、オブジェクト画像合成部２８０がオブジェクト画像を合成する領域の他の一例を示す。オブジェクト画像合成部２８０は、部分露光画像ｐ１においてオブジェクトが存在することが期待される領域６６０を設定してよい。具体的には、オブジェクト画像合成部２８０は、部分露光画像ｐ１のｘ座標におけるｘ０からｘ４までの領域に、オブジェクト画像を配置する。なお、動きオブジェクト画像生成部２７０は、撮像画像Ｐ３０１から、ｘ０からｘ４までの長さを持つ領域を切り出して、切り出した領域をオブジェクト画像として生成してよい。

図７は、受光期間の他の一例を示す。本図の受光期間は、撮像部１１０が時刻ｔ１から時刻ｔ２までの受光期間によって撮像画像Ｐ３００を撮像すること、及び撮像部１１０が時刻ｔ５から時刻ｔ６までの受光期間によって撮像画像Ｐ３０４を撮像することを除いて、図３で説明した受光期間と同一である。

本図で示すような受光期間によると、ｐ１＝Ｐ３００、ｐ５＝Ｐ３０４となる。したがって、部分露光画像生成部２３０は、図２に説明したＰ３０２、Ｐ３０２、及びＰ３０３に関する式を解くことによって、部分露光画像ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、及びｐ５を算出することができる。

図８は、撮像部１１０のブロック構成の一例を示す。撮像部１１０は、複数のミラー部８５０ａ−ｃ（以下、ミラー部８５０と総称する。）、複数の受光部８１０ａ−ｄ（以下、受光部８１０と総称する。）、受光制御部８３０、撮像画像生成部８４０、及び通信路８２０を有する。複数の受光部８１０は、それぞれ複数の受光素子を有する。複数の受光素子のそれぞれはＣＣＤ型素子であってよいし、ＣＭＯＳ型素子であってもよい。

ミラー部８５０は、被写体１８０からの光を複数の光に分割する。複数の受光部８１０は、ミラー部８５０によって分割された複数の光をそれぞれ受光する。具体的には、ミラー部８５０ａは、被写体１８０からの光を２つに分割する。そして、受光部８１０ａは、ミラー部８５０ａが分割した一方の光を受光する。そして、ミラー部８５０ｂは、ミラー部８５０ａが分割した他方の光を、２つに分割する。そして、受光部８１０ｂは、ミラー部８５０ｂが分割した一方の光を受光する。また、ミラー部８５０ｃは、ミラー部８５０ｂが分割した他方の光を、２つに分割する。そして、受光部８１０ｃは、ミラー部８５０ｃが分割した一方の光を受光する。そして、受光部８１０ｄは、ミラー部８５０ｃが分割した他方の光を受光する。

なお、ミラー部８５０はビームスプリッタであってよい。また、ミラー部８５０は、ハーフミラーであってよい。また、ミラー部８５０は、単位時間あたり略同一の光量を受光部８１０のそれぞれに提供することができる分割比を有してよい。また、ミラー部８５０の分割比及び受光部８１０の受光感度は、ミラー部８５０の分割比及び受光部８１０の受光感度を合わせた全体的な感度が略同一となるよう調整されてよい。

受光制御部８３０は、複数の受光部８１０のそれぞれに、他の受光部８１０の受光期間と一部の期間を重複させて光を受光させる。例えば、受光制御部８３０は、図２及び図７に関連して説明したように、受光開始時刻をずらして複数の受光部８１０のそれぞれに受光させる。そして、撮像画像生成部８４０は、複数の受光部８１０のそれぞれが受光した受光量に基づいて、複数の撮像画像を生成する。なお、受光制御部８３０及び撮像画像生成部８４０は、バス等の通信路８２０を通じて、受光部８１０との間で信号を送受信する。

図９は、撮像部１１０のブロック構成の他の一例を示す。撮像部１１０は、複数の受光部９１０ａ−ｄ（以下、受光部９１０と総称する。）、受光制御部９３０、撮像画像生成部９４０、光学ローパスフィルタ９５０、及び通信路９２０を有する。複数の受光部９１０は、それぞれ複数の受光素子を有する。受光部９１０のそれぞれは、複数の受光素子が、例えば一列に配列された受光素子列であってよい。

光学ローパスフィルタ９５０は、被写体１８０からの光を分散させて、受光部９１０において受光素子が配列された方向と略直交する方向に、複数の受光部９１０にわたって受光させる。そして、受光制御部９３０は、光学ローパスフィルタによって分散された光を、複数の受光部９１０のそれぞれに他の受光部９１０の受光期間と一部の期間を重複させて受光させる。例えば、受光制御部９３０は、図２及び図７に関連して説明したように、受光開始時刻をずらして受光部９１０のそれぞれに受光させる。そして、撮像画像生成部９４０は、受光制御部９３０が同じ期間に被写体１８０からの光を受光させた受光部９１０に含まれる複数の受光素子の受光量に基づいて、当該期間毎に撮像画像を生成する。なお、受光制御部９３０及び撮像画像生成部９４０は、バス等の通信路８２０を通じて、受光部８１０との間で信号を送受信する。

なお、複数の受光素子のそれぞれはＣＣＤ型素子であってよいし、ＣＭＯＳ型素子であってもよい。受光素子がＣＣＤ型素子である場合には、撮像画像生成部９４０は、受光部９１０毎、すなわち、受光素子の列毎に、含まれる複数の受光素子が受光した受光量を読み出してよい。

このように、光学ローパスフィルタ９５０は、被写体１８０からの光を分散させて複数の受光素子に受光させる。そして、受光制御部９３０は、光学ローパスフィルタ９５０によって分散された光を、複数の受光素子のそれぞれに他の受光素子の受光期間と一部の期間を重複させて受光させる。そして、撮像画像生成部９４０は、受光制御部９３０が同じ期間に被写体１８０からの光を受光させた複数の受光素子の受光量に基づいて、当該期間毎に撮像画像を生成する。

なお、以上の説明では、撮像部１１０が連続する受光時間にわたって受光することによって撮像画像を生成する場合を例に挙げて説明した。他にも、撮像部１１０は、断続的に被写体１８０からの光を受光して得られた受光量に基づいて撮像画像を生成してもよい。他にも、撮像部１１０は、異なる複数の受光期間のそれぞれから得られた複数の画像を足し合わせて一の撮像画像として生成してもよい。

図１０は、撮像システム１００のハードウェア構成の一例を示す。撮像システム１００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像システム１００が起動時に実行するブート・プログラムや、撮像システム１００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。

ＣＰＵ１５０５により実行されるプログラムは、撮像システム１００を、図１から図９に関連して説明した撮像部１１０、画像処理部１２０、撮像制御部１３０、及び表示部１４０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムを撮像部１１０に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

撮像システム１００の構成の一例を示す図である。 画像処理装置１２０のブロック構成の一例を示す図である。 受光期間の一例を示す図である。 撮像画像における動くオブジェクトの一例を示す図である。 オブジェクト画像を合成する領域の一例を示す図である。 オブジェクト画像を合成する領域の他の一例を示す図である。 受光期間の他の一例を示す図である。 撮像部１１０のブロック構成の一例を示す図である。 撮像部１１０のブロック構成の他の一例を示す図である。 撮像システム１００のハードウェア構成の一例を示す図である。

符号の説明

１００ 撮像システム
１１０ 撮像装置
１２０ 画像処理部
１３０ 撮像制御部
１４０ 表示部
１５０ 通信回線
１８０ 被写体
２２０ 差分画像生成部
２３０ 部分露光画像生成部
２４０ 部分露光画像格納部
２５０ 部分露光画像取得部
２６０ 動き領域特定部
２６５ 動き算出部
２７０ 動きオブジェクト画像生成部
２７５ 動きオブジェクト大きさ特定部
２８０ オブジェクト画像合成部
８１０ 受光部
８２０ 通信路
８３０ 受光制御部
８４０ 撮像画像生成部
８５０ ミラー部
９２０ 通信路
９１０ 受光部
９３０ 受光制御部
９４０ 撮像画像生成部
９５０ 光学ローパスフィルタ

Claims (10)

1. 一部の期間が他の受光期間と重複する複数の受光期間のそれぞれにおいて、略同一の被写体からの光を受光して、被写体の複数の撮像画像を撮像する撮像部と、
   前記複数の撮像画像の画像内容及び前記複数の受光期間が重複する期間に基づいて、前記複数の受光期間に含まれる、前記複数の受光期間より短い時間長さの期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成する部分露光画像生成部と
   を備える撮像装置。
2. 前記撮像部が一部の期間が重複する第１受光期間及び第２受光期間でそれぞれ撮像した前記第１撮像画像と前記第２撮像画像との差分画像を生成する差分画像生成部と、
   前記第１受光期間のうち、前記第２受光期間と重複する期間以外の期間で受光した場合に得られるべき部分露光画像を取得する部分露光画像取得部と
   をさらに備え、
   前記部分露光画像生成部は、前記差分画像生成部が生成した差分画像及び前記部分露光画像取得部が取得した部分露光画像に基づいて、前記第２受光期間のうち、前記第１受光期間と重複する期間以外の期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成する
   を有する請求項１に記載の撮像装置。
3. 前記部分露光画像生成部は、一部の期間が重複する前記第１受光期間及び前記第２受光期間で前記撮像部がそれぞれ撮像した第１撮像画像及び第２撮像画像の画像内容、並びに前記第１受光期間と前記第２受光期間とが重複する期間に基づいて、前記重複する期間、前記第１受光期間における前記重複する期間以外の期間、及び前記第２受光期間における前記重複する期間以外の期間の少なくともいずれかにおける部分露光画像を生成し、
   前記撮像装置は、
   前記第１撮像画像及び前記第２撮像画像のそれぞれの画像内容に基づいて、オブジェクトが動く速さを算出する動き算出部と、
   前記動き算出部が算出した速さで前記オブジェクトが動く画像を生成する動きオブジェクト画像生成部と、
   前記動きオブジェクト画像生成部が生成した画像を、前記部分露光画像生成部が生成した部分露光画像に合成するオブジェクト画像合成部
   をさらに備える請求項１に記載の撮像装置。
4. 前記第１撮像画像及び前記第２撮像画像の画像内容に基づいて、前記第１撮像画像及び前記第２撮像画像のそれぞれにおいて動くオブジェクトが存在する領域を特定する動き領域特定部と、
   前記第１撮像画像及び前記第２撮像画像において前記動き領域特定部が特定した領域のうち、重複する領域の差分画像を生成する差分画像生成部と、
   前記差分画像生成部が生成した差分画像の画像内容に基づいて、前記動くオブジェクトの大きさを特定する動きオブジェクト大きさ特定部と
   をさらに備え、
   前記動きオブジェクト画像生成部は、前記動きオブジェクト大きさ特定部が特定した大きさのオブジェクトが前記動き算出部が算出した速さで動くオブジェクト画像を生成する
   請求項３に記載の撮像装置。
5. 前記部分露光画像生成部は、一部の期間が重複する前記第１受光期間及び前記第２受光期間で前記撮像部がそれぞれ撮像した第１撮像画像及び第２撮像画像の画像内容、並びに前記第１受光期間と前記第２受光期間とが重複する期間に基づいて、前記重複する期間、前記第１受光期間における前記重複する期間以外の期間、及び前記第２受光期間における前記重複する期間以外の期間の少なくともいずれかにおける部分露光画像を生成し、
   前記撮像装置は、
   前記第１撮像画像及び前記第２撮像画像の画像内容に基づいて、前記第１撮像画像及び前記第２撮像画像のそれぞれにおいて動くオブジェクトが存在する領域を特定する動き領域特定部と、
   前記第１撮像画像及び前記第２撮像画像において前記動き領域特定部が特定した領域のうち、重複する領域の差分画像を生成する差分画像生成部と、
   前記差分画像生成部が生成した差分画像の画像内容に基づいて、前記動くオブジェクトの大きさを特定する動きオブジェクト大きさ特定部と、
   前記動きオブジェクト大きさ特定部が特定した大きさの前記動くオブジェクトの画像を生成する動きオブジェクト画像生成部と、
   前記動きオブジェクト画像生成部が生成した画像を、前記部分露光画像生成部が生成した部分露光画像に合成するオブジェクト画像合成部と
   をさらに備える請求項１に記載の撮像装置。
6. 前記撮像部は、
   被写体からの光を複数の光に分割するミラー部と、
   前記ミラー部によって分割された複数の光をそれぞれ受光する複数の受光部と、
   前記複数の前記受光部のそれぞれに、他の受光部の受光期間と一部の期間を重複させて光を受光させる受光制御部と、
   前記複数の受光部が受光した受光量に基づいて、前記複数の撮像画像を生成する撮像画像生成部と
   を有する請求項１に記載の撮像装置。
7. 前記撮像部は、
   複数の受光素子を有する受光部と、
   被写体からの光を分散させて前記複数の受光素子に受光させる光学ローパスフィルタと、
   前記光学ローパスフィルタによって分散された光を、前記複数の受光素子のそれぞれに他の受光素子の受光期間と一部の期間を重複させて受光させる受光制御部と、
   前記受光制御部が同じ期間に被写体からの光を受光させた複数の受光素子の受光量に基づいて、当該期間毎に撮像画像を生成する撮像画像生成部と
   を有する請求項１に記載の撮像装置。
8. 前記複数の受光素子は、複数の受光素子がそれぞれ配列された複数の受光素子列を形成し、
   前記光学ローパスフィルタは、被写体からの光を分散させて、前記受光素子列において受光素子が配列された方向と略直交する方向に複数の前記受光素子列にわたって受光させ、
   前記受光制御部は、前記光学ローパスフィルタによって分散された光を、前記複数の受光素子列のそれぞれに他の受光素子列の受光期間と一部の期間を重複させて受光させ、
   前記撮像画像生成部は、前記受光制御部が同じ期間に被写体からの光を受光させた受光素子列に含まれる複数の受光素子の受光量に基づいて、当該期間毎に撮像画像を生成する
   請求項７に記載の撮像装置。
9. 一部の期間が他の受光期間と重複する複数の受光期間のそれぞれにおいて、略同一の被写体からの光を受光して、被写体の複数の撮像画像を撮像する撮像部と、
   前記複数の撮像画像の画像内容及び前記複数の受光期間が重複する期間に基づいて、前記複数の受光期間に含まれる前記複数の受光期間より短い時間長さの期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成する画像生成部と
   を備える撮像方法。
10. 撮像装置用のプログラムであって、前記撮像装置を、
    一部の期間が他の受光期間と重複する複数の受光期間のそれぞれにおいて、略同一の被写体からの光を受光して、被写体の複数の撮像画像を撮像する撮像部、
    前記複数の撮像画像の画像内容及び前記複数の受光期間が重複する期間に基づいて、前記複数の受光期間に含まれる前記複数の受光期間より短い時間長さの期間に被写体からの光を受光した場合に得られるべき部分露光画像を生成する画像生成部
    として機能させるプログラム。

Images