JP2011082859A - 撮像装置、撮像システム及び演算方法 - Google Patents

Abstract

【課題】ＲＧＢ値と赤外光の信号を得ることができる撮像装置、撮像システム、及び演算方法を提供する。
【解決手段】赤外線カットフィルタと、赤外線カットフィルタを透過した光を受光する複数の画素を有する撮像素子と、前記撮像素子の受光面上に形成された第１波長より長い波長の光を透過する第１フィルタ、第２波長より長い波長の光を透過する第２フィルタ、第３波長より長い波長の光を透過する第３フィルタ、及び第４波長より長い波長の光を透過する第４フィルタを有し、前記赤外線カットフィルタは第５波長より短い波長の光を透過する。演算装置は、撮像素子の画素から得られる画素信号から、青、緑、赤成分、さらに赤外の成分の画素信号を算出する。
【選択図】図４

Description

本発明は、色フィルタを有する撮像装置、撮像システム及び演算方法に関する。

従来から、黄フィルタ、赤フィルタ、補正フィルタを有し、入射光、黄フィルタを透過した光、赤フィルタを透過した光、補正フィルタを透過した光をそれぞれ受光して、ＲＧＢの各値を算出する技術がある（特許文献１）。

特開２００７−２７６６７

しかしながら、上記特許文献１に記載の技術では、ＲＧＢの各値を得ることはできるが、赤外光の信号を得ることはできない。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、ＲＧＢ値と赤外光の信号を得ることができる撮像装置、撮像システム、及び演算方法を提供することを目的とする。

上記目的を達成するために、本発明は、撮像装置であって、赤外線カットフィルタと、赤外線カットフィルタを透過した光を受光する、複数の画素を有する撮像素子と、前記撮像素子の受光面上に形成されたフィルタ特性が異なる４つの光学フィルタと、前記撮像素子の画素が受光した画素信号を演算する演算装置と、を備え、前記４つの光学フィルタは、第１波長より長い波長の光を透過する第１フィルタと、第２波長より長い波長の光を透過する第２フィルタと、第３波長より長い波長の光を透過する第３フィルタと、第４波長より長い波長の光を透過する第４フィルタとを有し、前記赤外線カットフィルタは、第５波長より短い波長の光を透過し、前記演算装置は、前記赤外線カットフィルタに入射した光をそのまま受光する画素から得られる画素信号と、前記第１フィルタを透過した光を受光する画素から得られる画素信号とを減算して青成分の画素信号を算出する青成分算出部と、前記第１フィルタを透過した光を受光する画素から得られる画素信号と、前記第２フィルタを透過した光を受光した画素から得られる画素信号とを減算して緑成分の画素信号を算出する緑成分算出部と、前記第２フィルタを透過した光を受光する画素から得られる画素信号と、前記第３フィルタを透過した光を受光した画素から得られる画素信号とを減算して赤成分の画素信号を算出する赤成分算出部と、を備え、前記第１、第２、第３、第４、及び第５波長は、第１波長＜第２波長＜第３波長＜第４波長＜第５波長の関係を満たすことを特徴とする。

前記第４波長は、赤外線帯域の波長であり、前記第４フィルタを透過する光を受光する画素は、前記第４波長より長く、前記第５波長より短い赤外光を受光することを特徴とする。

上記目的を達成するために、本発明は、撮像システムであって、上記撮像装置と、前記撮像素子を制御する制御装置と、被写体に対して前記第４波長より長く、前記第５波長より短い光を含む赤外光を所定期間出射する発光装置とを有する撮像システムであって、前記撮像素子は、前記赤外線カットフィルタに入射した光、前記第１フィルタを透過した光、前記第２フィルタを透過した光、前記第３フィルタを透過した光をそれぞれ受光する複数の第１画素と、前記第４フィルタを透過した光を受光する複数の第２画素とを有し、前記制御装置は、少なくとも前記発光装置が出射する光の反射光が前記撮像素子に入射する第１期間は、前記第１画素で発生した光電子を蓄積させずに、前記反射光が前記撮像素子に入射しない第２期間に前記第１画素で発生した光電子を蓄積させるように前記第１画素を制御して、前記反射光に依存しない環境光の輝度情報を得ることを特徴とする。

第１光電変換素子を有する前記第１画素は、前記第１光電変換素子が光電変換した電荷を蓄積する第１キャパシタと、前記第１光電変換素子が光電変換した電荷を前記第１キャパシタに転送する第１スイッチング素子と、前記第１光電変換素子が光電変換した電荷を排出する第１電荷排出部と、前記第１光電変換素子が光電変換した電荷を前記第１電荷排出部から排出させる第２スイッチング素子と、をさらに有し、前記制御装置は、前記第１期間に、前記第１スイッチング素子をオフに、前記第２スイッチング素子をオンに制御して、前記第１光電変換素子が光電変換した電荷を前記第１電荷排出部から排出させ、前記第２期間に、前記第２スイッチング素子をオフに、前記第１スイッチング素子をオンに制御して、前記第１光電変換素子が光電変換した電荷を前記第１キャパシタに転送させて、前記第１キャパシタに蓄積された電荷量に基づいて、前記反射光に依存しない環境光の輝度情報を得ることを特徴とする。

前記制御装置は、前記反射光が前記撮像素子に入射しない第３期間と、前記第３期間と同じ長さであり、且つ、少なくとも前記反射光が前記撮像素子に入射する第４期間とに前記第２画素が有する第２光電変換素子を露光させるように前記第２画素を制御し、前記演算装置は、前記第４期間に第２光電変換素子から得られた画素信号から、前記第３期間に前記第２光電変換素子から得られた画素信号を減算して、環境光に依存しない前記反射光の輝度情報を得ることを特徴とする。

第２光電変換素子を有する前記第２画素は、前記第２光電変換素子が光電変換した電荷を蓄積する第２キャパシタ及び第３キャパシタと、前記第２光電変換素子が光電変換した電荷を排出する第２電荷排出部と、前記第２光電変換素子が光電変換した電荷を前記第２キャパシタに転送する第３スイッチング素子と、前記第２光電変換素子が光電変換した電荷を前記第３キャパシタに転送する第４スイッチング素子と、前記第２光電変換素子が光電変換した電荷を前記第２電荷排出部から排出させる第５スイッチング素子と、をさらに有し、前記制御装置は、前記第３期間に、前記第４及び第５スイッチング素子をオフに、前記第３スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を前記第２キャパシタに転送させ、前記第４期間に、前記第３及び第５スイッチング素子をオフに、前記第４スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を前記第３キャパシタに転送させ、前記３期間及び前記第４期間以外の期間に前記第３及び第４スイッチング素子をオフに、前記第５スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を前記第２電荷排出部から排出させ、前記演算装置は、前記第３キャパシタに転送された電荷量に基づく画素信号から、前記第２キャパシタに転送された電荷量に基づく電荷量に基づく画素信号を減算して、環境光に依存しない前記反射光の輝度情報を得ることを特徴とする。

前記制御装置は、前記反射光が前記撮像素子に入射しない第６期間と、前記反射光が前記撮像素子に入射しない第７期間と、前記第６期間と同じ長さであり且つ前記反射光が前記撮像素子に入射する第８期間と、前記発光装置が光の出射を終了した時点から前記第７期間と同じ長さの期間が終了する時点までの第９期間とに、前記第２画素が有する第２光電変換素子を露光させるように前記第２画素を制御し、前記第９期間は、前記反射光が前記撮像素子に入射する期間Ｐｓｒと、前記反射光が前記撮像素子に入射しない期間Ｐｓとを含み、前記演算装置は、前記第８期間に前記第２光電変換素子から得られた画素信号から、前記第６期間に前記第２光電変換素子から得られた画素信号を減算して、前記第８期間における前記反射光の光量情報を取得し、前記第９期間に前記第２光電変換素子から得られた画素信号から、前記第７期間に前記第２光電変換素子から得られた画素信号を減算して、前記発光装置が光の出射を終了してから前記反射光が前記撮像素子に入射する前記期間Ｐｓｒにおける前記反射光の光量情報を取得し、前記第８期間における反射光の光量情報と前記期間Ｐｓｒにおける前記反射光の光量情報との比、及び前記第８期間に基づいて、被写体までの距離を算出することを特徴とする。

前記第２光電変換素子を有する第２画素は、前記第２光電変換素子が光電変換した電荷を蓄積する第６キャパシタ、第７キャパシタ、第８キャパシタ、第９キャパシタと、前記第２光電変換素子が光電変換した電荷を排出する第２電荷排出部と、前記第２光電変換素子が光電変換した電荷を前記第６キャパシタに転送する第６スイッチング素子と、前記第２光電変換素子が光電変換した電荷を前記第７キャパシタに転送する第７スイッチング素子と、前記第２光電変換素子が光電変換した電荷を前記第８キャパシタに転送する第８スイッチング素子と、前記第２光電変換素子が光電変換した電荷を前記第９キャパシタに転送する第９スイッチング素子と、前記第２光電変換素子が光電変換した電荷を前記第２電荷排出部から排出させる第１０スイッチング素子と、をさらに有し、前記制御装置は、前記第６期間に、前記第７〜第１０スイッチング素子をオフに、前記第６スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を第６キャパシタに転送させ、前記第７期間に、前記第６スイッチング素子及び前記第８〜第１０スイッチング素子をオフに、前記第７スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を第７キャパシタに転送させ、前記第８期間に、前記第６及び第７スイッチング素子と前記９及び第１０スイッチング素子をオフに、前記第８スイッチング素子をオンに制御して、前記第２光電変換素子が変換した電荷を第８キャパシタに転送させ、前記第９期間に、前記第６〜第８スイッチング素子及び第１０スイッチング素子をオフに、前記第９スイッチング素子をオンに制御して、前記第２光電変換素子が変換した電荷を第９キャパシタに転送させ、前記第６〜第９期間以外の期間に、前記第６〜第９スイッチング素子をオフに、前記第１０スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を前記第２電荷排出部から排出させ、前記演算装置は、前記第８キャパシタに転送された電荷量に基づく画素信号から、第６キャパシタに転送された電荷量に基づく画素信号を減算して、前記第８期間における反射光の光量情報を取得し、前記第９キャパシタに転送された電荷量に基づく画素信号から、前記第７キャパシタに転送された電荷量に基づく画素信号を減算して、前記期間Ｐｓｒにおける前記反射光の光量情報を取得することを特徴とする。

前記発光装置は、一定の周期で、光を出射し、前記制御装置、及び前記演算装置は、前記一定の周期毎に動作を実行することを特徴とする。

前記発光装置は、パルス状の光を前記所定期間出射し、前記所定期間を前記一定の周期の１パーセント以下であることを特徴とする。

上記目的を達成するために、本発明は、赤外線カットフィルタと、赤外線カットフィルタを透過した光を受光する、複数の画素を有する撮像素子と、前記撮像素子の受光面上に形成されたフィルタ特性が異なる４つの光学フィルタと、を備え、前記４つの光学フィルタは、第１波長より長い波長の光を透過する第１フィルタと、第２波長より長い波長の光を透過する第２フィルタと、第３波長より長い波長の光を透過する第３フィルタと、第４波長より長い波長の光を透過する第４フィルタとを有し、前記赤外線カットフィルタは、第５波長より短い波長の光を透過し、前記第１、第２、第３、第４、及び第５波長は、第１波長＜第２波長＜第３波長＜第４波長＜第５波長の関係を満たし、前記赤外線カットフィルタに入射した光をそのまま受光する画素から得られる画素信号と、前記第１フィルタを透過した光を受光する画素から得られる画素信号とを減算して青成分の画素信号を算出する青成分算出工程と、前記第１フィルタを透過した光を受光する画素から得られる画素信号と、前記第２フィルタを透過した光を受光した画素から得られる画素信号とを減算して緑成分の画素信号を算出する緑成分算出工程と、前記第２フィルタを透過した光を受光する画素から得られる画素信号と、前記第３フィルタを透過した光を受光した画素から得られる画素信号とを減算して赤成分の画素信号を算出する赤成分算出工程と、を備えることを特徴とする。

上記目的を達成するために、本発明は、赤外線カットフィルタと、赤外線カットフィルタを透過した光を受光する、複数の画素を有する撮像素子と、前記撮像素子の受光面上に形成されたフィルタ特性が異なる４つの光学フィルタと、前記撮像素子を制御する制御装置と、被写体に対して前記第４波長より長く、前記第５波長より短い光を含む赤外光を所定期間出射する発光装置と、を備え、前記４つの光学フィルタは、第１波長より長い波長の光を透過する第１フィルタと、第２波長より長い波長の光を透過する第２フィルタと、第３波長より長い波長の光を透過する第３フィルタとを有し、第４波長より長い波長の光を透過する第４フィルタからなり、前記赤外線カットフィルタは、第５波長より短い波長の光を透過し、前記第１、第２、第３、第４、及び第５波長は、第１波長＜第２波長＜第３波長＜第４波長＜第５波長の関係を満たし、前記撮像素子は、前記赤外線カットフィルタに入射した光、前記第１フィルタを透過した光、前記第２フィルタを透過した光、前記第３フィルタを透過した光をそれぞれ受光する複数の第１画素と、前記第４フィルタを透過した光を受光する複数の第２画素とを有する撮像システムが画素信号を演算する演算方法であって、少なくとも前記発光装置が出射する光の反射光が前記撮像素子に入射する第１期間は、前記第１画素で発生した光電子を蓄積させずに、前記反射光が前記撮像素子に入射しない第２期間に前記第１画素で発生した光電子を蓄積させるように前記第１画素を制御する制御工程と、前記赤外線カットフィルタに入射した光をそのまま受光する画素から得られる画素信号と、前記第１フィルタを透過した光を受光する画素から得られる画素信号とを減算して青成分の画素信号を算出する青成分算出工程と、前記第１フィルタを透過した光を受光する画素から得られる画素信号と、前記第２フィルタを透過した光を受光した画素から得られる画素信号とを減算して緑成分の画素信号を算出する緑成分算出工程と、前記第２フィルタを透過した光を受光する画素から得られる画素信号と、前記第３フィルタを透過した光を受光した画素から得られる画素信号とを減算して赤成分の画素信号を算出する赤成分算出工程と、を備えることを特徴とする。

本願発明によれば、カラー画像を得ることができるともに、赤外線画像を得ることができる。

実施の形態に係る撮像システム１００の概略構成を示す図である。 受光部１２４の構成を示す図である。 撮像素子２０２に設けられたオンチップの光学エッジフィルタ１２６を示す図である。 光学エッジフィルタ１２６のフィルタ特性を示す図である。 第１画素２０４ａの回路を示す図である。 第２画素２０４ｂの回路を示す図である。 撮像システム１００の動作を説明するための図である。 第２画素２０４ｂの回路を他の例を示す図である。 測距のためのサイクルのタイミングチャートである。 各第２蓄積期間Ｔｃａ２での放射光、反射光、第６スイッチング素子〜第１０スイッチング素子のオン／オフタイミングの一例を示すタイミングチャートである。 各第２蓄積期間Ｔｃａ２での放射光、反射光、第６スイッチング素子〜第１０スイッチング素子のオン／オフタイミングの他の例を示すタイミングチャートである。

本発明に係る撮像システムについて、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。

図１は、実施の形態に係る撮像システム１００の概略構成を示す図である。撮像システム１００は、図１に示すように、発光装置１０２と、撮像装置１０４とを備える。撮像装置１０４は、受光装置１１０と、演算装置１１２と、制御装置１１４と、これら発光装置１０２、受光装置１１０、演算装置１１２及び制御装置１１４に所定の電源電圧を供給する第１電源１１６及び第２電源１１８とを有する。なお、簡単のため、図１において、第１電源１１６及び第２電源１１８から各装置への電源線の表示を省略する。

発光装置１０２は、制御装置１１４からの指令に基づきパルス光Ｌｐを出力する発光部１４０を有する。この撮像システム１００において、発光装置１０２の発光部１４０は、発光点（エミッタ）を直線状に設けた半導体レーザバーを積層（直列接続）して、面発光が可能とされたものである。

発光部１４０は、赤外光を発光する。例えば、波長が８７０ナノメートル［ｎｍ］の赤外光を１００ワット［Ｗ］の出力で放射可能であってよい。発光部１４０は、パルス光Ｌｐを１００［ナノ秒］の出力時間（パルス幅）で出力する。換言すると、発光部１４０の駆動デューティは、０．１［％］である。

なお、発光部１４０は、リニアアレイ状の発光点を有していてもよく、あるいは、マトリックス状に並べられた複数の発光点を有するものであってもよい。発光素子としてレーザダイオードや発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。発光部１４０の出力は、その他の値でもよく、例えば、２０［Ｗ］より大きく１０［ｋＷ］以下としてもよい。さらにまた、パルス光Ｌｐのパルス幅は、その他の長さでもよく、例えば、１０［ナノ秒］以上１［ミリ秒］以下としてもよい。加えて、発光部１４０の駆動デューティは、その他の値でもよく、例えば、０．０１［％］以上１［％］以下としてもよい。

この撮像システム１００では、発光装置１０２から出射されたパルス光Ｌｐが被写体Ｗで反射し、受光装置１１０に入射する。なお、説明の便宜のため、発光装置１０２から被写体Ｗまでのパルス光Ｌｐを放射光Ｌｅと、被写体Ｗから受光装置１１０までのパルス光Ｌｐを反射光Ｌｒと呼ぶ。

受光装置１１０は、レンズ１２０、赤外線カットフィルタ１２２、及び受光部１２４とを有する。レンズ１２０を通過した入射光Ｌｐ及び環境光Ｌｓは、赤外線カットフィルタ１２２を介して第１受光装置１０４Ａに集光される。受光部１２４は、撮像素子と、撮像素子の受光面上に形成されたフィルタ特性が異なる４つのフィルタを有する光学エッジフィルタを有する。レンズ１２０は、直線状又はマトリックス状に配列された複数のレンズであってもよい。この場合は、赤外線カットフィルタ１２２は、レンズ１２０の入射方向側（前方）に設けられる。

演算装置１１２は、光学エッジフィルタの第１フィルタＹ、第２フィルタＲ、第３フィルタＩＲ１をそれぞれ透過した光を受光した画素の画素信号から、青成分の画素信号を算出する青成分算出部１３０、緑成分の画素信号を算出する緑成分算出部１３２、及び赤成分の画素信号を算出する赤成分算出部１３４を有する。また、演算装置１１２は、第４フィルタを透過した光を受光した画素の画素信号から、反射光Ｌｒの画素信号を得るための演算を行う。また、演算装置１１２は、第４フィルタを透過した光を受光した画素の画素信号から、被写体までの距離を求める演算を行う。制御装置１１４は、撮像システム１００の各部（発光装置１０２、受光部１２４等）を制御する。例えば、制御装置１１４は、発光装置が出射するタイミング、期間等を制御する。また、制御装置１１４は、受光部１２４が露光するタイミング、露光期間を制御する。また、制御装置１１４は、受光部１２４に蓄積された画素信号を読み出す。

図２は、受光部１２４の構成を示す図である。受光部１２４は、マトリックス状に画素２０４が配置された撮像素子２０２と、ゲート駆動回路２０６と、垂直選択回路２０８と、サンプルホールド回路２１０と、水平選択回路２１２と、出力バッファ２１４と、Ａ／Ｄ変換器２１６とを有する。

第１電源１１６は、撮像素子２０２に対して正の電源電圧Ｖｄｄを印加し、第２電源１１８は、撮像素子２０２に対してリセット電圧Ｖｒを印加する。ゲート駆動回路２０６は、各種ゲート駆動信号を出力することにより撮像素子２０２の複数のスイッチング素子、及び複数のリセットスイッチを選択的にオン／オフ制御する。

垂直選択回路２０８は、マルチプレクサ（図示せず）を有し、読出しを行う画素２０４が属する行に対して選択的に、当該画素２０４から蓄積電荷信号を出力させる。水平選択回路２１２は、別のマルチプレクサ（図示せず）を有し、読出しを行う画素２０４が属する列を選択する。読み出された画素はサンプルホールド回路２１０に一端蓄積された後、水平選択回路２１２を介して出力される。そして、バッファ３１４及びＡ／Ｄ変換器２１６を介して演算装置１１２に出力される。

図３は、撮像素子２０２に設けられたオンチップの光学エッジフィルタ１２６を示す図である。光学エッジフィルタ１２６は、複数のロングパスフィルタ（ＬＰＦ）を有する。この複数のロングパスフィルタは、光学エッジフィルタ１２６は、入射された光のうち、第１波長以上の長波長帯域の光を透過する第１フィルタＹと、第２波長以上の波長帯域の光を透過する第２フィルタＲと、第３波長以上の波長帯域の光を透過する第３フィルタＩＲ１と、第４波長以上の波長帯域の光を透過する第４フィルタＩＲ２とを有する。第１〜第４波長のうち、第４波長が最も大きく、次に、第３波長、第２波長の順に大きく、第１波長が最も小さい。また、Ｗと示されている領域は、入射された光をフィルタする機能は有さず、入射された光をそのまま透過する。

それぞれのフィルタは、画素２０４の上にオンチップで配置されている。第１フィルタＹは、第２フィルタＲ、第３フィルタＩＲ１、及び第４フィルタＩＲ２は、１画素に対応して配置されている。ここで、第１フィルタＹ、第２フィルタＲ、及び第３フィルタＩＲ１が配置される画素と、領域Ｗの画素とは、全て同じ面積の画素である。この画素２０４を第１画素２０４ａと呼ぶ。また、第４フィルタＩＲ２が配置される画素は、第１フィルタＹ、第２フィルタＲ、及び第３フィルタＩＲ１が配置される画素の４倍の面積を有する画素である。この画素２０４を第２画素２０４ｂと呼ぶ。つまり、本実施の形態の撮像素子は、第１の面積を有する複数の第１画素２０４ａと、第２の面積を有する複数の第２画素２０４ｂを有することになる。また、第２画素２０４ｂは、第１画素２０４ａより画素数が少なく、第１画素２０４ａと第２画素２０４ｂとの面積比に応じて、第２画素２０４ｂの数が決まる。

図４は、光学エッジフィルタ１２６のフィルタ特性を示す図である。第１フィルタＹは、約４５０ｎｍ以下の波長の光をカット（透過を抑制）し、５００ｎｍ以上の波長の光を透過するフィルタ特性を有する。また、第１フィルタＹは、約４５０ｎｍから５００ｎｍの間では、波長が長くなるにつれ透過率が増大していくフィルタ特性を有する。なお、第１フィルタＹは、約４５０ｎｍから約５５０ｎｍの範囲内で透過率が変化するフィルタ特性を有すればよく、透過率が変化しない短波長側の光の透過を抑制し、透過率が変化しない長波長側の光を透過するフィルタであればよい。つまり、第１フィルタＹは、第１波長以上の光を透過するフィルタ特性を有し、第１波長は、約４５０ｎｍから約５５０ｎｍの間にある。

第２フィルタＲは、約５７０ｎｍ以下の波長の光をカットし、約６２０ｎｍ以上の波長の光を透過するフィルタ特性を有する。また、第２フィルタＲは、約５７０ｎｍから約６２０ｎｍの間では、波長が長くなるにつれ透過率が増大していくフィルタ特性を有する。なお、第２フィルタＲは、波長５５０ｎｍから６５０ｎｍの範囲内で透過率が変化するフィルタ特性を有すればよく、透過率が変化しない短波長側の光の透過を抑制し、透過率が変化しない長波長側の光を透過するフィルタであればよい。つまり、第２フィルタＲは、第２波長以上の光を透過するフィルタ特性を有し、第２波長は、約５５０ｎｍから６５０ｎｍの間にある。

第３フィルタＩＲ１は、約６５０ｎｍ以下の波長の光をカットし、約７００ｎｍ以上の波長の光を透過するフィルタ特性を有する。また、第３フィルタＩＲ１は、約６５０ｎｍから約７００ｎｍの間では、波長が長くなるにつれ透過率が増大していくフィルタ特性を有する。なお、第３フィルタＩＲ１は、波長６００ｎｍから７５０ｎｍの範囲内で透過率が変化するフィルタ特性を有すればよく、透過率が変化しない短波長側の光の透過を抑制し、透過率が変化しない長波長側の光を透過するフィルタであればよい。つまり、第３フィルタＩＲ１は、第３波長以上の光を透過するフィルタ特性を有し、第３波長は、約６００ｎｍから７５０ｎｍの間にある。

第４フィルタＩＲ２は、約８４０ｎｍ以下の波長の光をカットし、約８６０ｎｍ以上の波長の光を透過するフィルタ特性を有する。また、第４フィルタＩＲ２は、約８６５ｎｍから約８６０ｎｍの間では、波長が長くなるにつれ透過率が増大していくフィルタ特性を有する。なお、第４フィルタＩＲ２は、７５０ｎｍから９００ｎｍの範囲内で透過率が変化するフィルタ特性を有すればよく、透過率が変化しない短波長側の光の透過を抑制し、透過率が変化しない長波長側の光を透過するフィルタであればよい。つまり、第４フィルタＩＲ２は、第４波長以上の光を透過するフィルタ特性を有し、第４波長は、約７５０ｎｍから９００ｎｍの間にある。

また、第１波長から第４波長が、第１波長＜第２波長＜第３波長＜第４波長、の関係を有する、第１フィルタＹ、第２フィルタＲ、第３フィルタＩＲ１、及び第４フィルタＩＲ２のフィルタ特性を用いる。したがって、第１フィルタＹ、第２フィルタＲ、第３フィルタＩＲ１、及び第４フィルタＩＲ２は、上記した関係を有するようにそれぞれのフィルタ特性が設定される。

また、図４で示す点線は、光学系に設けられる赤外線カットフィルタのフィルタ特性を示す。赤外線カットフィルタは、約８９０ｎｍ以上の波長の光をカットし、約８８０ｎｍ以下の波長の光を透過するフィルタ特性を有する。また、光学フィルタは、約８８０ｎｍから約８９０ｎｍの間では、波長が長くなるにつれ透過率が減少していくフィルタ特性を有する。なお、赤外線カットフィルタは、透過率が変化しない長波長側の光の透過を抑制し、透過率が変化しない短波長側の光を透過するフィルタである。この赤外線カットフィルタは、光学系に設けられているので、赤外線カットフィルタを透過した光が撮像素子に入射される。

Ｗ領域の第１画素２０４ａは、入射した光をそのまま透過するので、Ｗ領域の第１画素２０４ａを受光した画素の画素信号から、第１フィルタＹを透過した光を受光する第１画素２０４ａの画素の画素信号を減算することで、Ｂ（青）成分の画素信号を得ることができる。また、第１フィルタＹを透過した光を受光する第１画素２０４ａの画素の画素信号から、第２フィルタＲを透過した光を受光する第１画素２０４ａの画素の画素信号を減算することで、Ｇ（緑）成分の画素信号を得ることができる。また、第２フィルタＲを透過した光を受光する第１画素２０４ａの画素の画素信号から、第３フィルタＩＲ１を透過した光を受光する第１画素２０４ａの画素の画素信号を減算することで、Ｒ（赤）成分の画素信号を得ることできる。このように、第１フィルタＹ、第２フィルＲ、第３フィルタＩＲ１によって、ＲＧＢの各値を求めることができる。これにより、それぞれの画素で近赤外域の波長に起因する光電子のクロストークが発生しても、減算してＲＧＢの各画素信号を求めるので、クロストークによる影響を抑えることができ、正確なＲＧＢの画素信号を得ることができる。

また、第４フィルタＩＲ２を透過する光は、第４フィルタＩＲ２と赤外線カットフィルタで構成される波長帯域の光となり、第４フィルタＩＲ２を透過する光を受光する第２画素２０４ｂは、図４の斜線領域の赤外光を受光することになる。第４フィルタＩＲ２と赤外線カットフィルタとにより、発光装置１０２が発光する赤外光の波長帯域の少なくとも一部を透過するフィルタを構成することができる。したがって、発光装置１０２により発光された光の反射光Ｌｒが第４フィルタＩＲ２を透過するとともに、第４フィルタＩＲ２を透過する環境光Ｌｓを抑えることができる。また、第４フィルタＩＲ２と赤外線カットフィルタとにより、透過する光の波長帯域を狭くすることで、さらに、環境光Ｌｓの入射を抑えることができる。

これにより、第４フィルタＩＲ２を透過する光を受光する第２画素２０４ｂは、発光装置１０２が発光した光の反射光Ｌｒを精度よく受光することができる。発光装置１０２が発光した光の反射光Ｌｒを得たい場合に、環境光Ｌｓが混じってしまうと、環境光Ｌｓはノイズ成分と見ることができる。発光装置１０２が発光した光の反射光Ｌｒに対する環境光Ｌｓの比が大きい場合は、ノイズ成分が多い光となるからである。

次に、画素２０４について説明する。図５は、第１画素２０４ａの回路を示す図である。第１画素２０４ａは、光電変換素子３００、電荷集積部２６と、第１キャパシタＣａ１、電荷排出部３０２、第１スイッチング素子ＳＷ１、第２スイッチング素子ＳＷ２、第１リセットスイッチＳＲ１、及び第１アンプＡＰ１を備える。

第１スイッチング素子ＳＷ１は、例えば、ｎチャネル型ＭＯＳトランジスタで構成され、ソースが電荷集積部２６に接続され、ドレインが第１キャパシタＣａ１に接続され、ゲートが図示しないゲート駆動回路２０６に接続されている。ゲート駆動回路２０６は、第１スイッチング素子ＳＷ１のゲートにゲート信号（第１読取信号Ｓｇ１）を供給することで第１スイッチング素子ＳＷ１のオン・オフを選択的に制御して、電荷集積部２６に存在する電荷を第１キャパシタＣａ１に転送する。

第２スイッチング素子ＳＷ２は、例えばｎチャネル型ＭＯＳトランジスタにて構成され、ソースが電荷集積部２６に接続され、ドレインに電荷排出部３０２が接続され、該電荷排出部３０２には、第１電源１１６からの正の電源電圧Ｖｄｄが供給されている。また、ゲートには図示しないゲート駆動回路２０６が接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第１電荷排出信号Ｓｅ１）を第２スイッチング素子ＳＷ２に供給することで（ゲートに供給される電圧を高レベルにすることで）、ゲートをオンにし、電荷集積部２６に存在する電荷を、第１キャパシタＣａ１に転送することなく、電荷排出部３０２を通じて排出する。

第１リセットスイッチＳＲ１は、例えばｎチャネル型ＭＯＳトランジスタにて構成され、ソースには第１スイッチング素子ＳＷ１と第１キャパシタＣａ１との接点ａ１が接続され、ドレインには第２電源１１８からのリセット電圧Ｖｒが供給されている。また、ゲートには図示しないゲート駆動回路２０６が接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第１リセット信号Ｓｒ１）をリセットスイッチＳＥのゲートに供給することで、第１リセットスイッチＳＲ１をオンにして、第１キャパシタＣａ１の電位を一定のリセット電位にする。すなわち、第１キャパシタＣａ１をリセットすることができる。

第１アンプＡＰ１は、例えばｎチャネル型ＭＯＳトランジスタにて構成された第１出力素子ＴＲ１と、第１出力素子ＴＲ１のソースと出力ライン３０４との間に接続された例えばｎチャネル型ＭＯＳトランジスタによる第１出力スイッチＳＥＬ１とを有する。第１出力素子ＴＲ１のゲートには、第１スイッチング素子ＳＷ１と第１キャパシタＣａ１との接点ａ１が接続され、ドレインには第１電源１１６からの正の電源電圧Ｖｄｄが供給され、ソースには第１出力スイッチＳＥＬ１のドレインが接続されている。第１出力スイッチＳＥＬ１は、ゲートに図示しないゲート駆動回路２０６が接続され、ソースに出力ライン３０４が接続されている。

ゲート駆動回路２０６は、ゲート駆動信号（第１出力選択信号Ｓｓ１）を第１出力スイッチＳＥＬ１のゲートに出力することで、第１出力スイッチＳＥＬ１をオンにする。これにより、第１キャパシタＣａ１に蓄積された電荷量に応じた電圧が第１出力素子ＴＲ１で増幅されて第１出力電圧Ｖｏｕｔ１として取り出されることになる。

図６は、第２画素２０４ｂの回路を示す図である。第２画素２０４ｂは、光電変換素子３１０、電荷集積部２６、第２キャパシタＣａ２、第３キャパシタＣａ３、電荷排出部３０６、第３スイッチング素子ＳＷ３、第４スイッチング素子ＳＷ４、第１０スイッチング素子ＳＷ１０、第２リセットスイッチＳＲ２、及び第３リセットスイッチＳＲ３を有する。

第３スイッチング素子ＳＷ３は、例えば、ｎ型チャネル型ＭＯＳトランジスタで構成され、ソースが電荷集積部２６に接続され、ドレインが第２キャパシタＣ２に接続され、ゲートが図示しないゲート駆動回路２０６に接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第２読取信号Ｓｇ２）を第３スイッチング素子ＳＷ３のゲートに供給することで、第３スイッチング素子ＳＷ３のオン・オフを制御して、電荷集積部２６に存在する電荷を第２キャパシタＣａ２に転送する。

第４スイッチング素子ＳＷ４は、例えば、ｎチャネル型ＭＯＳトランジスタで構成され、ソースが電荷集積部２６に接続され、ドレインが第３キャパシタＣａ３に接続され、ゲートが図示しないゲート駆動回路２０６に接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第１読取信号Ｓｇ３）を第４スイッチング素子ＳＷ４のゲートに供給することで、第４スイッチング素子ＳＷ４のオン・オフを制御して電荷集積部２６に蓄積された電荷を第３キャパシタＣａ３に転送する。

第５スイッチング素子ＳＷ５は、例えば、ｎチャネル型ＭＯＳトランジスタで構成され、ソースに電荷集積部２６が接続され、ドレインに電荷排出部３０６が接続され、電荷排出部３０６には、第１電源１１６からの正の電源電圧Ｖｄｄが供給されている。また、ゲートには図示しないゲート駆動回路２０６が接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第２電荷排出信号Ｓｅ２）を第５スイッチング素子ＳＷ５のゲートに供給することで、ゲートをオンにし、電荷集積部２６に存在する電荷を、第２キャパシタＣａ２及び第３キャパシタＣａ３に転送することなく、電荷排出部３０６を通じて排出する。

第２リセットスイッチＳＲ２及び第３リセットスイッチＳＲ３は、例えば、ｎチャネル型ＭＯＳトランジスタで構成されている。第２リセットスイッチＳＲ２のソースに第３スイッチング素子ＳＷ３と第２キャパシタＣａ２との接点ａ１が接続され、第３リセットスイッチＳＲ３のソースに第４スイッチング素子ＳＷ４と第３キャパシタＣａ３との接点ａ２が接続されている。各ドレインには第２電源１１８からのリセット電圧Ｖｒが供給され、各ゲートには図示しないゲート駆動回路２０６が接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第２リセット信号Ｓｒ２、第３リセット信号Ｓｒ３）を第２リセットスイッチＳＲ２及び第３リセットスイッチＳＲ３にそれぞれ供給することで、第２リセットスイッチＳＲ２及び第３リセットスイッチＳＲ３を選択的に又は一斉にオンにする。これにより、第２キャパシタＣａ２及び第３キャパシタＣａ３の電位をそれぞれ一定のリセット電圧にすることができる。

第２アンプＡＰは、例えば、ｎチャネル型ＭＯＳトランジスタで構成された第２出力素子ＴＲ２と、第２出力素子ＴＲ２のソースと第１出力ライン３０８ａとの間に接続された、例えば、ｎチャネル型ＭＯＳトランジスタによる第２出力スイッチＳＥＬ２とを有する。第２出力素子ＴＲ２のゲートには、第３スイッチング素子ＳＷ３と第２キャパシタＣａ２との接点ａ１が接続され、ドレインには第１電源１１６からの正の電源電圧Ｖｄｄが供給され、ソースには第２出力スイッチＳＥＬのドレインが接続されている。

第２出力スイッチＳＥＬ２は、ゲートに図示しないゲート駆動回路２０６が接続され、ソースに第１出力ライン３０８ａが接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第２出力選択信号Ｓｓ２）を第２出力スイッチＳＥＬ２に供給することで、第２出力スイッチＳＥＬ２をオンにする。これにより、第２キャパシタＣａ２に蓄積された電荷量に応じた電圧が第２出力素子ＴＲ２で増幅されて第２出力電圧Ｖｏｕｔ２として取り出されることになる。

第３アンプＡＰは、例えば、ｎチャネル型ＭＯＳトランジスタで構成された第３出力素子ＴＲ３と、第３出力素子ＴＲのソースと第２出力ライン３０８ｂとの間に接続された、例えば、ｎチャネル型ＭＯＳトランジスタによる第３出力スイッチＳＥＬ３とを有する。第３出力素子ＴＲ３のゲートには、第４スイッチング素子ＳＷ４と第３キャパシタＣａ３との接点ａ２が接続され、ドレインには第１電源１１６からの正の電源電圧Ｖｄｄが供給され、ソースには第３出力スイッチＳＥＬ３のドレインが接続されている。

第３出力スイッチＳＥＬ３は、ゲートに図示しないゲート駆動回路２０６が接続され、ソースに第２出力ライン３０８ｂが接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第３出力選択信号Ｓｓ３）を、第３出力スイッチＳＥＬ３のゲートに供給することで、第３出力スイッチＳＥＬ３をオンにする。これにより、第３キャパシタＣａ３に蓄積された電荷量に応じた電圧が第３出力素子ＴＲ３で増幅されて第３出力電圧Ｖｏｕｔ３として取り出されることになる。

次に、撮像システム１００の動作を、図７を用いて説明する。なお、図７において、発光装置１０２からのパルス光Ｌｐの放射期間はＷＬであり、第１スイッチング素子ＳＷ１及び第２スイッチング素子ＳＷ２がオンしている期間は、それぞれＷＤ１、ＷＤ２である。また、第３スイッチング素子ＳＷ３、第４スイッチング素子ＳＷ４、及び第１０スイッチング素子ＳＷ１０がオンしている期間は、それぞれＷＤ３、ＷＤ４、ＷＤ５である。このＷＤ１が第１画素２０４ａの露光期間であり、ＷＤ３及びＷＤ４が第２画素２０４ｂの露光期間である。

撮像システム１００の制御装置１１４は、一定の周期（サイクル）毎に、発光装置１０２を駆動して、サイクル毎に発光時間ＷＬのパルス光Ｌｐを放射する。発光装置１０２から出射されたパルス光Ｌｐ（放射光Ｌｅ）が被写体Ｗで反射して、反射光Ｌｒとして受光装置１１０に入射する。受光装置１１０に入射した光は、光電変換素子３１０で光電変換される。

最初に、撮像システム１００の初期設定として、第２スイッチング素子ＳＷ２及び第１リセットスイッチＳＲ１を共にオンにして、第１スイッチング素子ＳＷ１及び第１出力スイッチＳＥＬ１を共にオフにする。また、撮像システム１００の初期設定として、第５スイッチング素子ＳＷ５、第２リセットスイッチＳＲ２、及び、第３リセットスイッチＳＲ３を全てオンにし、第３スイッチング素子ＳＷ３、第４スイッチング素子ＳＷ４、第２出力スイッチＳＥＬ１、及び第３出力スイッチＳＥＬ３を全てオフにする。これにより、第１画素２０４ａ及び第２画素２０４ｂの電荷集積部２６に存在する不要な電荷が電荷排出部３０２を通じて排出されると共に、キャパシタＣａの電位がリセット電位Ｖｒに設定される。その後、第１リセットスイッチＳＲ１、第２リセットスイッチＳＲ２、及び第３リセットスイッチＳＲ３がオフにされる。

初期設定が終了した後、反射光強度を取得するためのサイクルが１回のみ、あるいは複数回繰り返されることになる。

各サイクルは、最初の時点ｔ１において、制御装置１１４による発光装置１０２の駆動によって、発光装置１０２は放射期間ＷＬが経過する時点ｔ２まで１つのパルス光Ｌｐが出射放射する。時点ｔ１後も、第１スイッチング素子ＳＷ１をオフ、第２スイッチング素子ＳＷ２をオンのままにする。時点ｔ３より長い期間ＷＤ２が経過する時点ｔ４になるまで、第１スイッチ素子ＳＷ１はオフ、第２スイッチング素子ＳＷ２はオンの状態が維持される。この期間ＷＤ２は、撮像素子２０２が、発光装置１０２が発光したパルス光Ｌｐの反射光Ｌｒを受光する期間より長ければよい。これにより、第１画素２０４ａの光電変換素子３００は、反射光Ｌｒを受光して光電変換されるが、蓄積された電荷は、第２スイッチング素子ＳＷ２を介して、電荷排出部３０２により排出される。つまり、レンズ１２０に入射した光、第１フィルタＹを透過した光、第２フィルタＲを透過した光、及び、第３フィルタＩＲを透過した光をそれぞれ受光する第１画素２０４ａの画素値（電荷量）は捨てられることになる。

その後、時点ｔ４において、次にサイクル開始時点までの期間ＷＤ１にわたって第１スイッチング素子ＳＷ１をオンにし、第２スイッチング素子ＳＷ２をオフにする。なお、必ずしも第１スイッチング素子ＳＷ１を次のサイクル開始時点までオンにする必要はなく、期間ＷＤ１を短くしてもよい。これにより、期間ＷＤ１の間に第１画素２０４ａに蓄積された環境光Ｌｓの電荷が第１スイッチング素子ＳＷ１を介して、第１キャパシタＣａ１に転送される。

所定回数のサイクルが終了した段階で、第１出力スイッチＳＥＬ１をオンにすることによって、出力ライン３０４には、第１キャパシタＣａ１に蓄積された電荷量に応じた電圧が第１出力素子ＴＲ１にて増幅されて第１出力電圧Ｖｏｕｔ１として出力される。第１出力電圧Ｖｏｕｔ１は、図示しないＡ／Ｄ変換器２１６によってデジタルデータに変換されて画素信号として演算装置１１２に出力される。つまり、露光とは、画素信号として用いられる電荷を受光して得ることをいい、排出される電荷を受光することは露光と言わない。

そして、演算装置１１２は、出力された領域Ｗの画素の画素信号、第１フィルタＹを透過した光を受光する画素の画素信号、第２フィルタＲを透過した光を受光する画素の画素信号、第３フィルタＩＲ１を透過した光を受光する画素の画素信号から、Ｒ成分、Ｇ成分、及びＢ成分の画素信号を算出する。詳しくは、青成分算出部１３０は、領域Ｗの画素の画素信号から、第１フィルタＹを透過した光を受光する画素の画素信号を減算することで、青色成分の画素信号を算出する。また、緑成分算出部１３２は、第１フィルタＹを透過した光を受光する画素の画素信号から、第２フィルタＲを透過した光を受光する画素の画素信号を減算することで、緑色成分の画素信号を算出する。赤色成分算出部１３６は、第２フィルタＲと透過した光を受光する画素の画素信号から、第３フィルタＩＲ１を透過した光を受光する画素の画素信号を減算することで、赤色成分の画素信号を算出する。この算出されたＲ成分、Ｇ成分、及びＢ成分の画素信号は、環境光Ｌｓのみを受光した（発光装置１０２が射出した光の反射光Ｌｒを含まない光）画素信号である。

このように、発光装置１０２が出射する光の反射光が撮像素子２０２に入射する期間は、第１画素２０４ａで発生した光電子（電荷）を蓄積させずに、反射光が撮像素子２０２に入射しない期間に第１画素で発生した光電子を蓄積させるようにしたので、発光装置１０２が出射した光の反射光があたって光電変換した光電子が、環境光によって発生した光電子と足しあわされて第１画素２０４ａが飽和してしまい、ダイナミックレンジの低下を招くという事態を回避することができる。

なお、発光装置１０２が出射した光の反射光を露光しても、減算法によりＲ、Ｇ、Ｂの各成分の画素信号を算出するので、環境光Ｌｓの画素信号を算出することはできる。しかしながら、発光装置１０２が出射する光の強度が強い場合に、発光装置１０２が出射した光の反射光Ｌｒを露光してしまうと、第１画素２０４ａが飽和してオーバーフローしてしまい、正確な画素信号を得ることはできなくなってしまう。そこで、発光装置１０２が出射した反射光Ｌｒを受光する期間は、第１画素２０４ａは、光電変換した画素値を捨て、発光装置１０２が出射した反射光Ｌｒを受光しない期間だけ、環境光Ｌｓを受光することで、正確な環境光の画素信号を得ることができる。

また、時点ｔ１から期間ＷＤ４が経過する時点ｔ３まで、第３スイッチング素子ＳＷ３をオフのままにし、第４スイッチング素子ＳＷ４をオンにする。これにより、期間ＷＤ４の間に第２画素２０４ｂに蓄積された電荷が第４スイッチング素子ＳＷ４を介して、第３キャパシタＣａ３に転送される。期間ＷＤ４は、撮像素子２０２が、発光装置１０２が発光したパルス光Ｌｐの反射光Ｌｒを受光する期間以上の長さであることが好ましい。

その後、時点ｔ３において、第４スイッチング素子ＳＷ４をオフにして、時点ｔ３から期間ＷＤ３が経過する時点ｔ５まで、第３スイッチング素子ＳＷ３をオンにする。これにより、期間ＷＤ３の間に第２画素２０４ｂに蓄積された環境光Ｌｓの電荷が第３スイッチング素子ＳＷ３を介して第２キャパシタＣａ２に転送される。なお、期間ＷＤ３は、期間ＷＤ４と同じ長さである。

その後、時点ｔ５において、第３スイッチング素子ＳＷ３をオフにし、時点ｔ５から次のサイクルの開始時点までの期間ＷＤ５にわたり第５スイッチング素子ＳＷ５をオンに（第３スイッチング素子ＳＷ３及び第４スイッチング素子ＳＷ４はオフ）にする。これによって、期間ＷＤ５において、第２画素２０４ｂに蓄積された不要な電荷は第５スイッチング素子ＳＷ５を介して、電荷排出部３０６により排出される。

所定回数のサイクルが終了した段階で、第２出力スイッチＳＥＬ２をオンすることによって、第１出力ライン３０８ａには、第２キャパシタＣａ２に蓄積された電荷量に応じた電圧が、第２出力素子ＴＲにて増幅されて第２出力電圧Ｖｏｕｔ２として出力される。また、第３出力スイッチＳＥＬ３をオンすることによって、第２出力ライン３０８ｂには、第３キャパシタＣａ３に蓄積された電荷量に応じた電圧が第３出力素子ＴＲ３にて増幅された第３出力電圧Ｖｏｕｔ３として出力されることになる。

第１出力ライン３０８ａ及び第２出力ライン３０８ｂから出力された第２出力電圧Ｖｏｕｔ２及び第３出力電圧Ｖｏｕｔ３は、図示しないＡ／Ｄ変換器２１６にてそれぞれデジタルの第１画素信号Ｄ１及び第２画素信号Ｄ２に変換されて演算装置１１２に出力される。

演算装置１１２では、供給された第２画素信号Ｄ２から第１画素信号Ｄ１を減算することで、反射光強度画素データＤｒを得る。演算装置１１２は、同一の画素から得られた第２画素信号Ｄ２から第１画素信号Ｄ１を減算する。

発光装置１０２は、パルス光Ｌｐのパルス幅を１［ナノ秒］より長く、且つ、０．２５［秒］未満としているため、パルス光Ｌｐのパルス幅を１フレーム期間の１［％］以下、例えば０．１［％］以下の時間的長さに設定することが可能である。つまり、パルス幅を大幅に短く設定することができることから、１つのパルス光Ｌｐのパワーを高くすることができ、環境光成分に対する発光装置１０２が出射した光の反射光Ｌｒの成分（信号光）のＳ／Ｎ比を大幅に向上させることができる。期間ＷＤ４もパルス光Ｌｐのパルス幅に合わせて短く設定することができ、しかも、環境光Ｌｓのみを読み取る期間ＷＤ３を上述した期間ＷＤ４と同じ時間的長さにできる等、読取時間を短くすることができるため、環境光Ｌｓの入射光量を低減でき、環境光Ｌｓに起因する光ショットノイズ成分を低減することができる。

また、期間ＷＤ３と期間ＷＤ４に挟まれる時間的長さをほぼ０にすることができることから、被写体Ｗにパルス光Ｌｐを照射しない期間（期間ＷＤ３）における電荷の取り込み（未放射時の輝度値の取得）と、パルス光Ｌｐを照射した期間（期間ＷＤ２）における電荷の取り込み（放射時の輝度値の取得）を、短時間に切り換えることが可能となり、未放射時の輝度値と放射時の輝度値の取得にかかる同時性を格段に向上させることができる。

また、上述したサイクルを複数回繰り返す場合は、第３キャパシタＣａ３及び第４キャパシタＣａ４に蓄積される電荷の量を増やすことができる。この場合においても、パルス光列のパルス周期に対するパルス光Ｌｐのデューティ比が１［％］以下（例えば０．１［％］以下）に設定されることから、パルス光列に含まれる各パルス光Ｌｐのパワーを連続光よりも高くすることが可能となり、各パルス幅での環境光Ｌｓ（ノイズ成分）に対する反射光Ｌｒ（信号光成分）のＳ／Ｎ比を大幅に向上させることができる。しかも、複数サイクルにわたって第３キャパシタＣａ３及び第４キャパシタＣａ４にそれぞれ電荷を蓄積することから、信号光成分を増やすことができ、その後の信号処理の精度を高めることが可能となる。また、各サイクルにおいて、期間ＷＤ３における電荷の取り込みと、期間ＷＤ２における電荷の取り込みを、短時間に切り換えることができるため、未放射時の輝度値と放射時の輝度値の取得にかかる同時性を格段に向上させることができる。

以上に示した、実施例により、環境光によるＲＧＢの輝度情報と、環境光に影響しない発光装置１０２が出射した光の反射光Ｌｒの輝度情報を得ることが可能となる。

なお、第２画素２０４ｂは、以下のような構成であってもよい。図８は、第２画素２０４ｂの回路の他の例を示す図である。このような構成を有することで、第２画素２０４ｂは、被写体までの距離を測距することができる。第２画素２０４ｂは、上述した光電変換素子３１０、電荷集積部２６、第６キャパシタＣａ６〜第９キャパシタＣａ９、電荷排出部３０６、第６スイッチング素子ＳＷ６〜第１０スイッチング素子ＳＷ１０、第６リセットスイッチＳＲ６〜第９リセットスイッチＳＲ９、第６アンプＡＰ６〜第９アンプＡＰ９を有する。図８において、回路図を見易くするために、電荷集積部２６を２つの接点で示したが、実際には１つの電荷集積部２６にて構成されるものである。また、第６キャパシタＣａ６と第８キャパシタＣａ８は、電荷集積部２６の中心に対して線対称の位置に配置され、第７キャパシタＣａ７と第８キャパシタＣａ８も、電荷集積部２６の中心に対して線対称の位置に配置されている。同様に、第６キャパシタＣａ６と第７キャパシタＣａ７も、電荷集積部２６の中心に対して線対称の位置に配置され、第８キャパシタＣａ８と第９キャパシタＣａ９も、電荷集積部２６の中心に対して線対称の位置に配置されている。

第６スイッチング素子ＳＷ６及び第６キャパシタＣａ６は、上述した図６の第２画素２０４ｂの第３スイッチング素子ＳＷ３及び第２キャパシタＣａ２と同様の構成であるので説明を省略する。また、第７スイッチング素子ＳＷ７及び第７キャパシタＣａ７は、上述した図６の第２画素２０４ｂの第４スイッチング素子ＳＷ４及び第３キャパシタＣａ３と同様の構成であるので説明を省略する。

第８スイッチング素子ＳＷ８は、例えばｎチャネル型ＭＯＳトランジスタにて構成され、ソースが電荷集積部２６に接続され、ドレインが第８キャパシタＣａ８に接続され、ゲートがゲート駆動回路２０６に接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第３読取信号Ｓｇ３）を第８スイッチング素子ＳＷ８のゲートに供給することで、第８スイッチング素子ＳＷ８のオン・オフを制御して、電荷集積部２６に蓄積された電荷を第８キャパシタＣａ８に転送する。

第９スイッチング素子ＳＷ９は、例えばｎチャネル型ＭＯＳトランジスタにて構成され、ソースが電荷集積部２６に接続され、ドレインが第９キャパシタＣ９に接続され、ゲートがゲート駆動回路２０６に接続されている。ゲート駆動回路２０６は、ゲート駆動信号（第４読取信号Ｓｇ４）を第９スイッチング素子ＳＷ９のゲートに供給することで、第９スイッチング素子ＳＷ９のオン・オフを制御して、電荷集積部２６に蓄積された電荷を第９キャパシタＣａ９に転送する。

第１０スイッチング素子ＳＷ１０は、例えばｎチャネル型ＭＯＳトランジスタにて構成され、ソースに電荷集積部２６が接続され、ドレインに電荷排出部３０６が接続され、該電荷排出部３０６には、第１電源１１６からの正の電源電圧Ｖｄｄが供給されている。また、ゲートにはゲート駆動回路２０６からの電荷排出信号Ｓｅが供給されるようになっている。

従って、ゲート駆動回路２０６は、電荷排出信号Ｓｅ３を第１０スイッチング素子ＳＷ１０のゲートに供給すること（ゲートに供給される電圧を高レベルにすること）により、ゲートをオンにし、電荷集積部２６に存在する不要な光電子を、第６キャパシタＣａ６〜第９キャパシタＣａ９に転送することなく、電荷排出部３０２を通じて排出することができる。

すなわち、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９の全てがオフにされているときに、ゲート駆動回路２０６から第１０スイッチング素子ＳＷ１０のゲートに電荷排出信号Ｓｅ３を送信すること（ゲートに供給される電圧を高レベルにすること）により、第１０スイッチング素子ＳＷ１０をオンにし、光電変換素子３１０で発生した不要な光電子を、第６キャパシタＣａ６〜第９キャパシタＣａ９に振り分けることなく、電荷排出部３０６に排出することができる。これにより、第６キャパシタＣａ６〜第９キャパシタＣａ９には、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９がオンしている期間に光電変換素子３１０で発生した光電子のみを振り分けることが可能となる。その結果、後述する方法により、対象物Ｗとの距離ｚを測定することが可能となる。

第６リセットスイッチＳＲ６〜第９リセットスイッチＳＲ９は、例えばｎチャネル型ＭＯＳトランジスタにて構成されている。第６リセットスイッチＳＲ６のソースに第６スイッチング素子ＳＷ６と第６キャパシタＣａ６との接点ａ１が接続され、第７リセットスイッチＳＲ７のソースに第７スイッチング素子ＳＷ７と第７キャパシタＣａ７との接点ａ２が接続されている。同様に、第８リセットスイッチＳＲ８のソースに第８スイッチング素子ＳＷ８と第８キャパシタＣａ８との接点ａ３が接続され、第９リセットスイッチＳＲ９のソースに第９スイッチング素子ＳＷ９と第９キャパシタＣａ９との接点ａ４が接続されている。各ドレインには第２電源１１８からのリセット電圧Ｖｒが供給され、各ゲートにはゲート駆動回路２０６が接続されている。

従って、各ゲートに対するゲート駆動回路２０６からのゲート駆動信号（第６リセット信号Ｓｒ６〜第９リセット信号Ｓｒ９）によって第６リセットスイッチＳＲ６〜第９リセットスイッチＳＲ９を選択的に又は一斉にオンにすることにより、第６キャパシタＣａ６〜第９キャパシタＣａ９の電位をそれぞれ一定のリセット電位にすることができる。すなわち、第６キャパシタＣａ６〜第９リセットＣａ９をリセットすることができる。

第６アンプＡＰ６及び第７アンプＡＰ７は、上述した図６の第２画素２０４ｂの第２アンプＡＰ２及び第３アンプＡＰ３と同様の構成を有するため、ここではその詳細説明を省略するが、第６アンプＡＰ６の第６出力スイッチＳＥＬ６のソースが第１出力ライン３０８ａに接続され、ゲートには垂直選択回路２０８からの第６出力選択信号Ｓｓ６が供給されるようになっている。同様に、第７アンプＡＰ７の第７出力スイッチＳＥＬ７のソースが第１出力ライン３０８ａに接続され、ゲートには垂直選択回路２０８からの第７出力選択信号Ｓｓ７が供給されるようになっている。

従って、第６出力スイッチＳＥＬ６のゲートに対する第６出力選択信号Ｓｓ６によって第６出力スイッチＳＥＬ６をオンにすることにより、第６キャパシタＣａ６に蓄積された電荷量Ｑ１に応じた電圧が第６出力素子ＴＲ６にて増幅され、第１出力ライン３０８ａを介して第６出力電圧Ｖｏｕｔ６として取り出されることになる。同様に、第７出力スイッチＳＥＬ７のゲートに対する第７出力選択信号Ｓｓ７によって第７出力スイッチＳＥＬ７をオンにすることにより、第７キャパシタＣａ７に蓄積された電荷量Ｑ２に応じた電圧が第７出力素子ＴＲ７にて増幅され、第１出力ライン３０８ａを介して第７出力電圧Ｖｏｕｔ７として取り出されることになる。

第８アンプＡＰ８は、例えばｎチャネル型ＭＯＳトランジスタにて構成された第８出力素子ＴＲ８と、第８出力素子ＴＲ８のソースと第２出力ライン３０８ｂとの間に接続された例えばｎチャネル型ＭＯＳトランジスタによる第８出力スイッチＳＥＬ８とを有する。第８出力素子ＴＲ８のゲートには、第８スイッチング素子ＳＷ８と第８キャパシタＣａ８との接点ａ８が接続され、ドレインには第１電源１１６からの正の電源電圧Ｖｄｄが供給され、ソースには第８出力スイッチＳＥＬ８のドレインが接続されている。第８出力スイッチＳＥＬ８は、ソースに第２出力ライン３０８ｂが接続され、ゲートには、垂直選択回路２０８からの第８出力選択信号Ｓｓ８が供給されるようになっている。

従って、第８出力スイッチＳＥＬ８のゲートに対する第８出力選択信号Ｓｓ８によって第８出力スイッチＳＥＬ８をオンにすることにより、第８キャパシタＣａ８に蓄積された電荷量Ｑ３に応じた電圧が第８出力素子ＴＲ８にて増幅され、第２出力ライン３０８ｂを介して第８出力電圧Ｖｏｕｔ８として取り出されることになる。

第９アンプＡＰ９は、例えばｎチャネル型ＭＯＳトランジスタにて構成された第９出力素子ＴＲ９と、第９出力素子ＴＲ９のソースと第２出力ライン３０８ｂとの間に接続された例えばｎチャネル型ＭＯＳトランジスタによる第９出力スイッチＳＥＬ９とを有する。第９出力素子ＴＲ９のゲートには、第９スイッチング素子ＳＷ９と第９キャパシタＣａ９との接点ａ９が接続され、ドレインには第１電源１１６からの正の電源電圧Ｖｄｄが供給され、ソースには第９出力スイッチＳＥＬ９のドレインが接続されている。第９出力スイッチＳＥＬ９は、ソースに第２出力ライン３０８ｂが接続され、ゲートには、垂直選択回路２０８からの第９出力選択信号Ｓｓ９が供給されるようになっている。

従って、第９出力スイッチＳＥＬ９のゲートに対する第９出力選択信号Ｓｓ９によって第９出力スイッチＳＥＬ９をオンにすることにより、第９キャパシタＣａ９に蓄積された電荷量Ｑ４に応じた電圧が第９出力素子ＴＲ９にて増幅され、第２出力ライン３０８ｂを介して第９出力電圧Ｖｏｕｔ９として取り出されることになる。

次に、撮像システム１００と対象物Ｗとの距離ｚを測定する方法について説明する。

（１）サイクルＣｍ
図９に示すように、撮像システム１００の第２画素２０４ｂでは、各サイクルＣｍ（測定値を求める周期）［回／ｓ］は、第６キャパシタＣａ６〜第９キャパシタＣａ９に電荷を累積的に蓄積する第１蓄積期間Ｔｃａ１と、第６キャパシタＣａ６〜第９キャパシタＣａ９に累積的に蓄積された電荷を読み出す読出期間Ｔｒとからなる。さらに、第１蓄積期間Ｔｃａ１は、第２画素２０４ｂにパルス光Ｌｐを露光し、第６キャパシタＣａ６〜第９キャパシタＣａ９に電荷を蓄積する処理（電荷蓄積処理）を１回行うための第２蓄積期間Ｔｃａ２を複数含む。第１蓄積期間Ｔｃａ１及び読出期間Ｔｒは、１０［ミリ秒］である。また、各第２蓄積期間Ｔｃａ２は、１００［マイクロ秒］である。さらに、各第２蓄積期間Ｔｃａ２におけるパルス光Ｌｐの出力時間（パルス幅）は、１００［ナノ秒］である。したがって、各第２蓄積期間Ｔｃａ２における発光部１４０の駆動デューティは、０．１［％］である。

なお、上述したように、撮像システム１００は、測定結果を三次元画像として出力可能であるため、各サイクルＣｍは、三次元画像のフレームレート［フレーム／ｓ］としても定義可能である。

撮像システム１００では、第１蓄積期間Ｔｃａ１において電荷蓄積処理を１００回行い、これに伴って、第６キャパシタＣａ６〜第９キャパシタＣａ９に蓄積された電荷量Ｑ１〜Ｑ４に基づいて往復期間ΔＰ及び距離ｚを測定する。

（２）測定方法の概要（１つの電荷蓄積期間Ｔｃａ２を対象とした場合）
上記のように、撮像システム１００では、第１蓄積期間Ｔｃａ１全体で第６キャパシタＣａ６〜第９キャパシタＣａ９に蓄積された電荷量Ｑ１〜Ｑ４に基づいて往復期間ΔＰ及び距離ｚを測定するが、発明の理解を容易化するため、以下では、先ずは、１つの第２蓄積期間Ｔｃａ２のみで第６キャパシタＣａ６〜第９キャパシタＣａ９に蓄積された電荷量Ｑ１〜Ｑ４に基づいて往復期間ΔＰ及び距離ｚを求める場合を説明する。

図１０には、第２蓄積期間Ｔｃａ２における放射光Ｌｅ、反射光Ｌｒ、並びに第６スイッチング素子ＳＷ６〜第１０スイッチング素子ＳＷ１０のオン／オフのタイミングチャートが示されている。

詳細は後述するが、撮像システム１００では、反射光Ｌｒの強度Ｉｒ［Ｗ］が一定であれば、反射光Ｌｒが光電変換素子３１０に入射した期間（反射光入射期間Ｐｓｒ）［ｓ］と、反射光入射期間Ｐｓｒにおける反射光Ｌｒの累積光量（反射光測定光量Ａｍｒ）［Ｊ］とが比例関係にあることを利用して、距離ｚを測定する。

すなわち、第１基準期間としての期間Ｐ１において、環境光Ｌｓのみが光電変換素子３１０に入射しているときの累積光量（環境光基準光量Ａｒｓ）［Ｊ］（第６キャパシタＣａ６の電荷量Ｑ１）を求め、第２基準期間としての期間Ｐ３（＝Ｐ１）において、環境光Ｌｓ及び反射光Ｌｒが光電変換素子３１０に入射しているときの累積光量（合成光基準光量Ａｒｉ）［Ｊ］（第８キャパシタＣａ８の電荷量Ｑ３）を求める。また、第１測定期間としての期間Ｐ２において、環境光Ｌｓのみが光電変換素子３１０に入射しているときの累積光量（環境光測定光量Ａｍｓ）［Ｊ］（第７キャパシタＣａ７の電荷量Ｑ２）を求め、第２測定期間としての期間Ｐ４（＝Ｐ２）において、環境光Ｌｓ及び反射光Ｌｒが光電変換素子３１０に入射しているときの累積光量（合成光測定光量Ａｍｉ）［Ｊ］（第９キャパシタＣａ９の電荷量Ｑ４）を求める。期間Ｐ４では、環境光Ｌｓ及び反射光Ｌｒの両方が入射する期間（期間Ｐｓｒ）［ｓ］と、環境光Ｌｓのみが入射する期間（期間Ｐｓ）［ｓ］が存在する。期間Ｐｓｒは、対象物Ｗまでの距離ｚに比例する。この期間Ｐ１、Ｐ２、Ｐ３、Ｐ４が第２画素２０４ｂの露光期間である。

ここで、合成光基準光量Ａｒｉと環境光基準光量Ａｒｓとの差（反射光基準光量Ａｒｒ）［Ｊ］と合成光測定光量Ａｍｉと環境光測定光量Ａｍｓとの差（反射光測定光量Ａｍｒ）［Ｊ］との比（Ａｒｉ―Ａｒｓ：Ａｍｉ―Ａｍｓ）と、期間Ｐ３（＝Ｐ１）と反射光入射期間Ｐｓｒとの比（Ｐ３：Ｐｓｒ）とが等しい。これを利用して、発光装置１０２から出射されたパルス光Ｌｐが対象物Ｗに当たって受光装置１１０に戻って来るまでの期間（往復期間ΔＰ）を求める。そして、往復期間ΔＰに基づいて受光装置１１０と対象物Ｗとの距離ｚを測定する。

（３）測定方法の詳細（１つの第２蓄積期間Ｔｃａ２を対象とした場合）
（ａ）タイミングチャートの説明
図１０において、時点Ｔｅｕは、放射光Ｌｅの放射開始時点を、時点Ｔｅｄは、放射光Ｌｅの放射終了時点を、期間Ｐｅは、時点Ｔｅｕから時点Ｔｅｄまでの期間を示す。時点Ｔｒｕは、光電変換素子３１０に対する反射光Ｌｒの入射開始時点を、時点Ｔｒｄは、光電変換素子３１０に対する反射光Ｌｒの入射終了時点を、期間Ｐｒは、時点Ｔｒｕから時点Ｔｒｄまでの期間を示す。

時点Ｔｇ１ｕ、Ｔｇ２ｕ、Ｔｇ３ｕ、Ｔｇ４ｕは、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９をオンする時点を、ここから時点Ｔｇ１ｄ、Ｔｇ２ｄ、Ｔｇ３ｄ、Ｔｇ４ｄは、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９をオフする時点を、期間Ｐ１は、時点Ｔｇ１ｕから時点Ｔｇ１ｄまでの期間を、期間Ｐ２は、時点Ｔｇ２ｕから時点Ｔｇ２ｄまでの期間を、期間Ｐ３は、時点Ｔｇ３ｕから時点Ｔｇ３ｄまでの期間を、期間Ｐ４は、時点Ｔｇ４ｕから時点Ｔｇ４ｄまでの期間を示す。期間Ｐｓｒは、時点Ｔｇ４ｕから時点Ｔｒｄまでの期間を、期間Ｐｓは、時点Ｔｒｄから時点Ｔｇ４ｄまでの期間を示す。

時点Ｔｄ１ｕ、Ｔｄ２ｕは、第１０スイッチング素子ＳＷ１０をオンする時点を、時点Ｔｄ１ｄ、Ｔｄ２ｄは、第１０スイッチング素子ＳＷ１０をオフする時点を、期間Ｐ５は、時点Ｔｄ１ｕから時点Ｔｄ１ｄまでの期間を、期間Ｐ６は、時点Ｔｄ２ｕから時点Ｔｄ２ｄまでの期間を示す。

反射光Ｌｒが光電変換素子３１０に入射している期間Ｐｒは、時点Ｔｅｕから時点Ｔｒｕまで又は時点Ｔｅｄから時点Ｔｒｄまでの遅れ（往復期間ΔＰ）が発生するものの、期間Ｐｅと等しく（Ｐｅ＝Ｐｒ）、例えば、１０［ナノ秒］以上１［マイクロ秒］以下に設定可能であり、撮像システム１００では、１００［ナノ秒］である。また、制御装置１１４において、期間Ｐ１と期間Ｐ３及び期間Ｐ２と期間Ｐ４はそれぞれ等しく設定される（Ｐ１＝Ｐ３及びＰ２＝Ｐ４）。期間Ｐ１、Ｐ３は、例えば、１０［ナノ秒］以上９０［ナノ秒］以下に設定可能であり、撮像システム１００では、３０［ナノ秒］である。期間Ｐ２は、例えば、１０［ナノ秒］以上９０［ナノ秒］以下に設定可能であり、撮像システム１００では、７０［ナノ秒］である。また、期間Ｐ５は、例えば、０［秒］以上９０［ナノ秒］以下に設定可能であり、撮像システム１００では、７０［ナノ秒］である。期間Ｐ６は、例えば、１０［マイクロ秒］以上１［ミリ秒］以下に設定可能であり、撮像システム１００では、約１００［マイクロ秒］である。このため、期間Ｐ１〜Ｐ６のうち期間Ｐ６が非常に長い。

図１０からわかるように、撮像システム１００の第２画素２０４ｂの第２蓄積期間Ｔｃａ２では、先ず、第６スイッチング素子ＳＷ６をオンにし（期間Ｐ１）、第６スイッチング素子ＳＷ６をオフにするのと同時に第７スイッチング素子ＳＷ７をオンにする（期間Ｐ２）。第７スイッチング素子ＳＷ７をオフにするのと同時に対象物Ｗに対して放射光Ｌｅを出射し、第１０スイッチング素子ＳＷ１０をオンする（期間Ｐ５）。放射光Ｌｅの出力中（期間Ｐｅ）、光電変換素子３１０に対する反射光Ｌｒの入射が開始する（時点Ｔｒｕ）。放射光Ｌｅの出射開始（時点Ｔｅｕ）から期間Ｐ５経過後に第１０スイッチング素子ＳＷ１０をオフにすると共に第８スイッチング素子ＳＷ８をオンにする（期間Ｐ３）。期間Ｐｅの経過後に、放射光Ｌｅの出射を終了すると共に第８スイッチング素子ＳＷ８をオフにし、第９スイッチング素子ＳＷ９をオンにする（期間Ｐ４）。第９スイッチング素子ＳＷ９をオンにしている間（期間Ｐ４）、光電変換素子３１０に対する反射光Ｌｒの入射が終了する（時点Ｔｒｄ）。換言すると、期間Ｐ４が、撮像システム１００の測定レンジ（測定可能な距離の範囲）［ｍ］を規定する。第９スイッチング素子ＳＷ９をオフにするのと同時に第１０スイッチング素子ＳＷ１０をオンにする（期間Ｐ６）。期間Ｐ６が経過すると第１０スイッチング素子ＳＷ１０をオフにし、１回第２蓄積期間Ｔｃａ２を終了する（時点Ｔｄ２ｄ）。それと同時に、次の第２蓄積期間Ｔｃａ２が開始され、第６スイッチング素子ＳＷ６はオンとなる（時点Ｔｇ１ｕ）。なお、発光装置１０２及び受光装置１１０の各部位の制御は、制御装置１１４において行われる。また、制御装置１１４を半導体プロセスにて作製する場合は、温度補償等の観点から、受光部１２４と共に同一のシリコン基板上にＣＭＯＳプロセスで作製することが望ましい。

（ｂ）測定原理の説明
（ｉ）反射光基準光量Ａｒｒの演算
撮像システム１００と対象物Ｗとがそれぞれ固定されていれば、対象物Ｗで反射して撮像システム１００に戻って来る反射光Ｌｒは、一定の強度（単位時間当たりの光量）であると言える。また、期間Ｐ１は、環境光Ｌｓのみが光電変換素子３１０に入射する期間に設定されるため、第６キャパシタＣａ６には、環境光Ｌｓのみに伴う光電子が蓄積される。一方、期間Ｐ３は、環境光Ｌｓと反射光Ｌｒの両方が光電変換素子３１０に入射する期間に設定されるため、第８キャパシタＣａ８には、環境光Ｌｓと反射光Ｌｒの両方に伴う光電子が蓄積される。さらに、期間Ｐ１と期間Ｐ３は同じ長さである。

このため、第８キャパシタＣａ８に蓄積されている電荷量Ｑ３と第６キャパシタＣａ６に蓄積されている電荷量Ｑ１との差は、期間Ｐ３（＝期間Ｐ１）における反射光Ｌｒの累積光量（反射光基準光量Ａｒｒ）を示す。

（ｉｉ）反射光測定光量Ａｍｒ及び往復期間ΔＰの演算
撮像システム１００と対象物Ｗとがそれぞれ固定されていれば、対象物Ｗで反射して撮像システム１００に戻って来る反射光Ｌｒは、一定の強度であると言える。また、期間Ｐ２は、環境光Ｌｓのみが光電変換素子３１０に入射する期間に設定されるため、第７キャパシタＣａ７には、環境光Ｌｓのみに伴う光電子が蓄積される。一方、期間Ｐ４は、環境光Ｌｓと反射光Ｌｒが光電変換素子３１０に入射する期間（期間Ｐｓｒ）と環境光Ｌｓのみが光電変換素子３１０に入射する期間（期間Ｐｓ）の両方を含む期間に設定されるため、第９キャパシタＣａ９には、環境光Ｌｓと反射光Ｌｒの両方に伴う光電子が蓄積される。さらに、期間Ｐ２と期間Ｐ４は同じ長さである。

このため、第９キャパシタＣａ９に蓄積されている電荷量Ｑ４と第７キャパシタＣａ７に蓄積されている電荷量Ｑ２との差は、期間Ｐ４（＝期間Ｐ２）における反射光Ｌｒの累積光量（反射光測定光量Ａｍｒ）を示す。ここで、撮像システム１００では、期間Ｐ４は、放射光Ｌｅの出射を終了する時点Ｔｅｄと同時に開始される。このため、期間Ｐ４では、パルス往復期間ΔＰに対応する反射光Ｌｒが光電変換素子３１０に入射し、第９キャパシタＣａ９に光電子が蓄積される。従って、第９キャパシタＣａ９に蓄積されている電荷量Ｑ４は、期間Ｐ４全体における環境光Ｌｓの累積光量（環境光測定光量Ａｍｓ）と、往復期間ΔＰにおける反射光Ｌｒの累積光量（反射光測定光量Ａｍｒ）との和（合成光測定光量Ａｍｉ）に対応するものである。このため、電荷量Ｑ４と電荷量Ｑ２との差は、反射光測定光量Ａｍｒに対応する電荷量を示す。ここで、往復期間ΔＰは、撮像システム１００と対象物Ｗとの距離ｚに依存する。このため、反射光測定光量Ａｍｒ（電荷量Ｑ４と電荷量Ｑ２の差に対応）と反射光基準光量Ａｒｒ（電荷量Ｑ３と電荷量Ｑ１の差に対応）との比は、往復期間ΔＰと期間Ｐ３（＝期間Ｐ１）との比に等しい（Ａｍｒ：Ａｒｒ＝Ｑ４−Ｑ２：Ｑ３−Ｑ１＝ΔＰ：Ｐ３）。従って、演算装置１１２は、下記の式（Ｆ３）により往復期間ΔＰを演算する。
ΔＰ＝｛（Ｑ４−Ｑ２）／（Ｑ３−Ｑ１）｝×Ｐ３ ……（Ｆ３）

（ｉｉｉ）距離ｚの演算
そして、演算装置１１２は、撮像システム１００と対象物Ｗとの距離ｚを、下記の式（Ｆ４）により演算する。なお、式（Ｆ４）において、ｃは、光速（約３０万［キロメートル毎秒］）を示す定数であり、また、ｃ×ΔＰを２で割っているのは、往復期間ΔＰにおいて、パルス光Ｌｐは、撮像システム１００と対象物Ｗとの間を往復し、距離ｚの２倍の距離を進んでいるためである。
Ｄ＝ｃ×ΔＰ／２ ……（Ｆ４）

（ｉｖ）その他
第２画素２０４ｂの初期設定（リセット動作）としては、下記のような処理がなされる。すなわち、先ず、第６リセットスイッチＳＲ６〜第９リセットスイッチＳＲ９に対して第１リセット信号Ｓｒ１〜第４リセット信号Ｓｒ４を送信すること（第６リセットスイッチＳＲ６〜第９リセットスイッチＳＲ９の各ゲートに供給される電圧を高レベルにすること）に応じて第６リセットスイッチＳＲ６〜第９リセットスイッチＳＲ９を一斉にオンにする。同時に、第１０スイッチング素子ＳＷ１０に電荷排出信号Ｓｄｅを送信すること（第１０スイッチング素子ＳＷ１０のゲートに供給される電圧を高レベルにすること）により、第１０スイッチング素子ＳＷ１０をオンにする。この時、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９に対してゲート駆動信号Ｓｇ１〜Ｓｇ４は送信されず（第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９の各ゲートに供給される電圧を低レベルにし）、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９をオフにしておく。この処理により、第６キャパシタＣａ６〜第９キャパシタＣａ９は、リセット電位に設定される。この後、第６リセットスイッチＳＲ６〜第９リセットスイッチＳＲ９に対する第１リセット信号Ｓｒ１〜第４リセット信号Ｓｒ４の送信を停止し（第６リセットスイッチＳＲ６〜第９リセットスイッチＳＲ９の各ゲートに供給される電圧を低レベルにし）た後、上述した図１０に示すタイミングでの処理が行われる。

（４）測定方法の詳細（第１蓄積期間Ｔｃａ１を対象とした場合）
上記項目（２）、（３）では、１個の第２蓄積期間Ｔｃａ２を対象とした場合を説明したが、撮像システム１００では、１００個の第２蓄積期間Ｔｃａ２（すなわち、第１蓄積期間Ｔｃａ１）において第６キャパシタＣａ６〜第９キャパシタＣａ９に蓄積した電荷量Ｑ１〜Ｑ４（ここでは、「電荷量ｓＱ１〜ｓＱ４」と称する。）を用いて、上記と同様に往復期間ΔＰを演算する。

電荷量ｓＱ１は、第１番目から第１００番目までの各第２蓄積期間Ｔｃａ２で第６キャパシタＣａ６に蓄積された電荷量Ｑ１の合計である。同様に、電荷量ｓＱ２〜ｓＱ４は、第１番目から第１００番目までの各第２蓄積期間Ｔｃａ２で第７キャパシタＣａ７〜第９キャパシタＣａ９に蓄積された電荷量Ｑ２〜Ｑ４の合計である。

演算装置１１２は、上述した式（Ｆ３）に準じた下記の式（Ｆ５）により往復期間ΔＰを演算する。
ΔＰ＝｛（ｓＱ４−ｓＱ２）／（ｓＱ３−ｓＱ１）｝×Ｐ３ ……（Ｆ５）

上記式（Ｆ５）にて求めた往復距離ΔＰに基づいて、上述した式（Ｆ４）によって、演算装置１１２は、撮像システム１００と対象物Ｗとの距離ｚを求める。

このように、１００個の第２蓄積期間Ｔｃａ２に、第６キャパシタＣａ６〜第９キャパシタＣａ９に蓄積された電荷量ｓＱ１〜ｓＱ４によって距離を求めるようにすれば、信号光成分を増やすことができ、その後の信号処理の精度（距離演算の精度）を高めることが可能となる。

（５）その他
なお、撮像システム１００では、複数の第２画素２０４ｂそれぞれにおいて電荷量Ｑ１〜Ｑ４（電荷情報）を用いて、距離ｚを測定する。これにより、各第２画素２０４ｂの距離情報を組み合わせることにより３次元画像を得ることができる。

［撮像システム１００による効果］
以上のような撮像システム１００では、距離測定にあたってのダイナミックレンジを向上させることができると共に、環境光Ｌｓの影響を軽減又は排除することが可能となる。その結果、距離測定の精度を向上することが可能となる。

すなわち、撮像システム１００では、光電変換素子３１０に環境光Ｌｓのみが入射する期間Ｐ１に蓄積される電荷量Ｑ１と、光電変換素子３１０に環境光Ｌｓと反射光Ｌｒの両方が入射する期間Ｐ３に蓄積される電荷量Ｑ３を求める。期間Ｐ１と期間Ｐ３とは同じ長さに設定されることから、電荷量Ｑ３と電荷量Ｑ１の差（Ｑ３−Ｑ１）から、期間Ｐ３における反射光Ｌｒに対応する電荷量（期間Ｐ３における反射光Ｌｒの基準光量Ａｒｒに対応する）を求めることができる。

また、光電変換素子３１０に環境光Ｌｓのみが入射する期間Ｐ２に蓄積される電荷量Ｑ２と、期間Ｐ４に蓄積される電荷量Ｑ４を求める。期間Ｐ４には、環境光Ｌｓと反射光Ｌｒの両方が光電変換素子３１０に入射していた期間（期間Ｐｓｒ）と、環境光Ｌｓのみが光電変換素子３１０に入射していた期間（期間Ｐｓ）が含まれる。期間Ｐ２と期間Ｐ４は同じ長さに設定されることから、電荷量Ｑ４と電荷量Ｑ２の差（Ｑ４−Ｑ２）から、期間Ｐ４のうち期間Ｐｓｒに対応する電荷量（期間Ｐｓｒにおける反射光Ｌｒの光量に対応する）を求めることができる。

ここで、反射光Ｌｒが光電変換素子３１０に入射している間、反射光Ｌｒの強度Ｉｒが一定であるとすると、電荷量Ｑ４及び電荷量Ｑ２の差と電荷量Ｑ３及び電荷量Ｑ１の差との比（Ｑ４−Ｑ２：Ｑ３−Ｑ１）は、期間Ｐｓｒと期間Ｐ３との比（Ｐｓｒ：Ｐ３）と等しい。このため、演算装置１１２は、期間Ｐｓｒを下記の式（Ｆ６）で求めることができる。
Ｐｓｒ＝｛（Ｑ４−Ｑ２）／（Ｑ３−Ｑ１）｝×Ｐ３ ……（Ｆ６）

ここで、時点Ｔｅｄと時点Ｔｇ４ｕが等しいため、期間Ｐｓｒは往復期間ΔＰと等しい。従って、上記式（Ｆ６）より往復期間ΔＰを演算することが可能であり、その結果、往復期間ΔＰと光速に基づき距離ｚを求めることができる。

このように、撮像システム１００では、環境光Ｌｓによって生じる電荷量Ｑ２を取り除くため、環境光Ｌｓの影響を排除又は軽減することができる。

また、距離ｚが短くなる程、反射光Ｌｒの入射期間（すなわち、期間Ｐｓｒ）が短くなり、距離ｚが長くなる程、期間Ｐｓｒが長くなる。一般に、同じ対象物Ｗであれば、距離ｚが短い程、反射光Ｌｒの強度Ｉｒは大きくなり、距離ｚが長い程、強度Ｉｒは小さくなる。このため、距離ｚが短い場合、強度Ｉｒの大きい反射光Ｌｒを短期間入射させ、距離ｚが長い場合、強度Ｉｒの小さい反射光Ｌｒを長期間入射させることとなる。その結果、距離ｚの変化量と比較して、期間Ｐｓｒに入射する反射光Ｌｒの光量Ａｒの変化量は小さくなる。このことは、撮像システム１００のダイナミックレンジの向上につながる。

撮像システム１００では、各サイクルＣｍにパルス光Ｌｐを１００回放射し、第６キャパシタＣａ６〜第９キャパシタＣａ９それぞれに１００回光電子を蓄積した後の電荷量Ｑ１〜Ｑ４を用いて往復期間ΔＰを演算する。一般に、環境光Ｌｓ（例えば、太陽光）の強度は常に変化している。各サイクルＣｍにパルス光Ｌｐを１００回放射し、これに応じた回数だけ光電子を蓄積した後の電荷量Ｑ１〜Ｑ４を用いて往復期間ΔＰを演算することで、環境光Ｌｓの強度を平均化することができる。その結果、環境光Ｌｓによって生じる電荷量を取り除く精度を高め、測定精度を向上させることができる。

撮像システム１００では、パルス光Ｌｐのパルス幅（出力期間）は、１０［マイクロ秒］（＝１００［ナノメートル］×１００回）であり、各サイクルＣｍ（２０［ミリ秒］）の０．０５［％］としている。これに合わせて、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９をオンにする期間Ｐ１〜Ｐ４も短く設定している。このため、仮に同じ周波数のパルス光を用いている他の測距装置が周囲に存在した場合でも、他の測距装置がパルス光を出力するタイミングと撮像システム１００がパルス光Ｌｐを出力するタイミングとが被る可能性が低くなる。その結果、他の測距装置との干渉（他の測距装置からのパルス光を撮像システム１００からのパルス光Ｌｐと誤認識すること）の可能性を低くすることができる。

加えて、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９をオンしている期間Ｐ１〜Ｐ４も短く設定しているため、期間Ｐ１〜Ｐ４において光電変換素子３１０に環境光Ｌｓが入射する期間を短くすることができる。これにより、ノイズ成分としての環境光Ｌｓの影響を小さくし、信号／ノイズ比（Ｓ／Ｎ）を向上することができる。特に、環境光Ｌｓが太陽光の場合、太陽光のショットノイズを低減することができる。

撮像システム１００では、各サイクルＣｍに対して、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９をオンしている期間Ｐ１〜Ｐ４を非常に短く設定している。このため、前回以前のサイクルＣｍで放射したパルス光Ｌｐが今回のサイクルＣｍで検出される現象（エイリアシング現象）が生じる可能性を減少させることができる。すなわち、撮像システム１００の各第２蓄積期間Ｔｃａ２は１００［マイクロ秒］であり、パルス光Ｌｐの放射期間Ｐｅが短いため、パルス光Ｌｐの放射間隔も約１００［マイクロ秒］となる。光速ｃは、約３０万［キロメートル毎秒］であるため、対象物Ｗの実際の位置が、撮像システム１００が出力した距離ｚよりも１５［キロメートル］（＝１００［μｓ］×３０［Ｍｍ／ｓ］／２）遠い位置に存在すれば、エイリアシング現象が発生している可能性が存在する。しかし、発光部１４０により対象物Ｗに照射されるパルス光Ｌｐの強度は、距離ｚの二乗に応じて減少するため、距離ｚよりも１５［キロメートル］遠い位置からの反射光Ｌｒの強度Ｉｒは、距離ｚに対象物Ｗがある場合の強度Ｉｒと比べて非常に小さくなり、光電変換素子３１０ではほとんど検出できない。よって、撮像システム１００では、エイリアシング現象の発生を防止することができる。

［他のタイミングチャート］
上記の例では、図１０のタイミングチャートにより、第６スイッチング素子ＳＷ６〜第９スイッチング素子ＳＷ９を制御したが、これに限られない。例えば、図１０の期間Ｐ３、Ｐ４を期間Ｐ１、Ｐ２より前に位置させてもよい。また、時点Ｔｇ１ｄと時点Ｔｇ２ｕを同時にしたが、時点Ｔｇ２ｕを時点Ｔｇ１ｄよりも後にすることもできる。時点Ｔｇ２ｄと時点Ｔｅｕの関係、時点Ｔｇ３ｄと時点Ｔｇ４ｕの関係も同様である。さらに、時点Ｔｇ４ｕは、時点Ｔｅｄとの相関関係がわかっていれば、時点Ｔｅｄと同時でなくてもよい。

図１１には、時点Ｔｅｄを時点Ｔｇ４ｕより後にしたタイミングチャートが示されている。この場合、演算装置１１２は、往復期間ΔＰを下記の式（Ｆ７）により演算することができる。
ΔＰ＝［（Ｑ４−Ｑ２）／（Ｑ３−Ｑ１）］×Ｐ３―（Ｔｅｄ−Ｔｇ４ｕ）
………（Ｆ７）

あるいは、時点Ｔｅｄを時点Ｔｇ４ｕより前にすることもできる。この場合、演算装置１１２は、往復期間ΔＰを下記の式（Ｆ８）により演算することができる。
ΔＰ＝［（Ｑ４−Ｑ２）／（Ｑ３−Ｑ１）］×Ｐ３＋（Ｔｇ４ｕ―Ｔｅｄ）
………（Ｆ８）

上記の例では、環境光Ｌｓの影響を排除又は軽減するために期間Ｐ１、Ｐ２を設けたが、例えば、暗室等の環境光Ｌｓが存在しない場所又は反射光Ｌｒに対して環境光Ｌｓが小さく、環境光Ｌｓの影響が小さい場合であれば、期間Ｐ３、Ｐ４のみから往復期間ΔＰを求めることもできる。すなわち、下記の式（Ｆ９）により演算装置１１２は、往復期間ΔＰを演算する。
ΔＰ＝（Ｑ４／Ｑ３）×Ｐ３ ………（Ｆ９）

このようにして、第４フィルタを透過した光を受光する第２画素２０４ｂを用いて、被写体までの距離を測定することができる。

なお、図８に示す第２画素２０４ｂを用いる場合であっても、第１画素２０４ａの動作は、同じであり、発光装置１０２が出射した光の反射光Ｌｒを受光する期間は電荷を吐き捨て、発光装置１０２が出射した光の反射光Ｌｒを受光しない期間に蓄積された電荷を演算装置１１２に出力する。

上記実施の形態では、第１画素２０４ａは、第２スイッチング素子ＳＷ２、電荷排出部３０２を有しなくてもよい。この場合は、電荷集積部２６に存在する電荷は、排出されないが、電荷集積部２６に存在する排出したい電荷を第１スイッチング素子ＳＷ１を介して第１キャパシタＣａ１に転送した後、第１リセットスイッチＳＲ１のゲートに第１リセット信号Ｓｒ１を供給することで、第１キャパシタＣの電位を一定のリセット電位にすることができる。つまり、第１キャパシタＣａ１に転送された電荷を排出することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１００…撮像システム １０２…発光装置
１０４…撮像装置 １１０…受光装置
１１２…演算装置 １１４…制御装置
１１６…第１電源 １１８…第２電源
１２０…レンズ １２２…赤外線カットフィルタ
１２４…受光部 １２６…光学エッジフィルタ
１３０…青成分算出部 １３２…緑成分算出部
１３４…赤成分算出部 １４０…発光部
２０２…撮像素子 ２０４…画素
２０６…ゲート駆動回路 ３００、３１０…光電変換素子

Claims (12)

1. 赤外線カットフィルタと、
   赤外線カットフィルタを透過した光を受光する、複数の画素を有する撮像素子と、
   前記撮像素子の受光面上に形成されたフィルタ特性が異なる４つの光学フィルタと、
   前記撮像素子の画素が受光した画素信号を演算する演算装置と、
   を備え、
   前記４つの光学フィルタは、第１波長より長い波長の光を透過する第１フィルタと、第２波長より長い波長の光を透過する第２フィルタと、第３波長より長い波長の光を透過する第３フィルタと、第４波長より長い波長の光を透過する第４フィルタとを有し、
   前記赤外線カットフィルタは、第５波長より短い波長の光を透過し、
   前記演算装置は、
   前記赤外線カットフィルタに入射した光をそのまま受光する画素から得られる画素信号と、前記第１フィルタを透過した光を受光する画素から得られる画素信号とを減算して青成分の画素信号を算出する青成分算出部と、
   前記第１フィルタを透過した光を受光する画素から得られる画素信号と、前記第２フィルタを透過した光を受光した画素から得られる画素信号とを減算して緑成分の画素信号を算出する緑成分算出部と、
   前記第２フィルタを透過した光を受光する画素から得られる画素信号と、前記第３フィルタを透過した光を受光した画素から得られる画素信号とを減算して赤成分の画素信号を算出する赤成分算出部と、
   を備え、
   前記第１、第２、第３、第４、及び第５波長は、第１波長＜第２波長＜第３波長＜第４波長＜第５波長の関係を満たすことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第４波長は、赤外線帯域の波長であり、
   前記第４フィルタを透過する光を受光する画素は、前記第４波長より長く、前記第５波長より短い赤外光を受光することを特徴とする撮像装置。
3. 請求項１又は２に記載の撮像装置と、
   前記撮像素子を制御する制御装置と、
   被写体に対して前記第４波長より長く、前記第５波長より短い光を含む赤外光を所定期間出射する発光装置と、
   を有する撮像システムであって、
   前記撮像素子は、前記赤外線カットフィルタに入射した光、前記第１フィルタを透過した光、前記第２フィルタを透過した光、前記第３フィルタを透過した光をそれぞれ受光する複数の第１画素と、前記第４フィルタを透過した光を受光する複数の第２画素とを有し、
   前記制御装置は、少なくとも前記発光装置が出射する光の反射光が前記撮像素子に入射する第１期間は、前記第１画素で発生した光電子を蓄積させずに、前記反射光が前記撮像素子に入射しない第２期間に前記第１画素で発生した光電子を蓄積させるように前記第１画素を制御して、前記反射光に依存しない環境光の輝度情報を得ることを特徴とする撮像システム。
4. 請求項３に記載の撮像システムであって、
   第１光電変換素子を有する前記第１画素は、
   前記第１光電変換素子が光電変換した電荷を蓄積する第１キャパシタと、
   前記第１光電変換素子が光電変換した電荷を前記第１キャパシタに転送する第１スイッチング素子と、
   前記第１光電変換素子が光電変換した電荷を排出する第１電荷排出部と、
   前記第１光電変換素子が光電変換した電荷を前記第１電荷排出部から排出させる第２スイッチング素子と、
   をさらに有し、
   前記制御装置は、前記第１期間に、前記第１スイッチング素子をオフに、前記第２スイッチング素子をオンに制御して、前記第１光電変換素子が光電変換した電荷を前記第１電荷排出部から排出させ、前記第２期間に、前記第２スイッチング素子をオフに、前記第１スイッチング素子をオンに制御して、前記第１光電変換素子が光電変換した電荷を前記第１キャパシタに転送させて、前記第１キャパシタに蓄積された電荷量に基づいて、前記反射光に依存しない環境光の輝度情報を得ることを特徴とする撮像システム。
5. 請求項３又は４に記載の撮像システムであって、
   前記制御装置は、前記反射光が前記撮像素子に入射しない第３期間と、前記第３期間と同じ長さであり、且つ、少なくとも前記反射光が前記撮像素子に入射する第４期間とに前記第２画素が有する第２光電変換素子を露光させるように前記第２画素を制御し、
   前記演算装置は、前記第４期間に第２光電変換素子から得られた画素信号から、前記第３期間に前記第２光電変換素子から得られた画素信号を減算して、環境光に依存しない前記反射光の輝度情報を得ることを特徴とする撮像システム。
6. 請求項５に記載の撮像システムであって、
   第２光電変換素子を有する前記第２画素は、
   前記第２光電変換素子が光電変換した電荷を蓄積する第２キャパシタ及び第３キャパシタと、
   前記第２光電変換素子が光電変換した電荷を排出する第２電荷排出部と、
   前記第２光電変換素子が光電変換した電荷を前記第２キャパシタに転送する第３スイッチング素子と、
   前記第２光電変換素子が光電変換した電荷を前記第３キャパシタに転送する第４スイッチング素子と、
   前記第２光電変換素子が光電変換した電荷を前記第２電荷排出部から排出させる第５スイッチング素子と、
   をさらに有し、
   前記制御装置は、前記第３期間に、前記第４及び第５スイッチング素子をオフに、前記第３スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を前記第２キャパシタに転送させ、前記第４期間に、前記第３及び第５スイッチング素子をオフに、前記第４スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を前記第３キャパシタに転送させ、前記３期間及び前記第４期間以外の期間に前記第３及び第４スイッチング素子をオフに、前記第５スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を前記第２電荷排出部から排出させ、
   前記演算装置は、前記第３キャパシタに転送された電荷量に基づく画素信号から、前記第２キャパシタに転送された電荷量に基づく電荷量に基づく画素信号を減算して、環境光に依存しない前記反射光の輝度情報を得ることを特徴とする撮像システム。
7. 請求項３又は４に記載の撮像システムであって、
   前記制御装置は、
   前記反射光が前記撮像素子に入射しない第６期間と、前記反射光が前記撮像素子に入射しない第７期間と、前記第６期間と同じ長さであり且つ前記反射光が前記撮像素子に入射する第８期間と、前記発光装置が光の出射を終了した時点から前記第７期間と同じ長さの期間が終了する時点までの第９期間とに、前記第２画素が有する第２光電変換素子を露光させるように前記第２画素を制御し、
   前記第９期間は、前記反射光が前記撮像素子に入射する期間Ｐｓｒと、前記反射光が前記撮像素子に入射しない期間Ｐｓとを含み、
   前記演算装置は、
   前記第８期間に前記第２光電変換素子から得られた画素信号から、前記第６期間に前記第２光電変換素子から得られた画素信号を減算して、前記第８期間における前記反射光の光量情報を取得し、
   前記第９期間に前記第２光電変換素子から得られた画素信号から、前記第７期間に前記第２光電変換素子から得られた画素信号を減算して、前記発光装置が光の出射を終了してから前記反射光が前記撮像素子に入射する前記期間Ｐｓｒにおける前記反射光の光量情報を取得し、
   前記第８期間における反射光の光量情報と前記期間Ｐｓｒにおける前記反射光の光量情報との比、及び前記第８期間に基づいて、被写体までの距離を算出することを特徴とする撮像システム。
8. 請求項７に記載の撮像システムであって、
   前記第２光電変換素子を有する第２画素は、
   前記第２光電変換素子が光電変換した電荷を蓄積する第６キャパシタ、第７キャパシタ、第８キャパシタ、第９キャパシタと、
   前記第２光電変換素子が光電変換した電荷を排出する第２電荷排出部と、
   前記第２光電変換素子が光電変換した電荷を前記第６キャパシタに転送する第６スイッチング素子と、
   前記第２光電変換素子が光電変換した電荷を前記第７キャパシタに転送する第７スイッチング素子と、
   前記第２光電変換素子が光電変換した電荷を前記第８キャパシタに転送する第８スイッチング素子と、
   前記第２光電変換素子が光電変換した電荷を前記第９キャパシタに転送する第９スイッチング素子と、
   前記第２光電変換素子が光電変換した電荷を前記第２電荷排出部から排出させる第１０スイッチング素子と、
   をさらに有し、
   前記制御装置は、
   前記第６期間に、前記第７〜第１０スイッチング素子をオフに、前記第６スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を第６キャパシタに転送させ、
   前記第７期間に、前記第６スイッチング素子及び前記第８〜第１０スイッチング素子をオフに、前記第７スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を第７キャパシタに転送させ、
   前記第８期間に、前記第６及び第７スイッチング素子と前記９及び第１０スイッチング素子をオフに、前記第８スイッチング素子をオンに制御して、前記第２光電変換素子が変換した電荷を第８キャパシタに転送させ、
   前記第９期間に、前記第６〜第８スイッチング素子及び第１０スイッチング素子をオフに、前記第９スイッチング素子をオンに制御して、前記第２光電変換素子が変換した電荷を第９キャパシタに転送させ、
   前記第６〜第９期間以外の期間に、前記第６〜第９スイッチング素子をオフに、前記第１０スイッチング素子をオンに制御して、前記第２光電変換素子が光電変換した電荷を前記第２電荷排出部から排出させ、
   前記演算装置は、
   前記第８キャパシタに転送された電荷量に基づく画素信号から、第６キャパシタに転送された電荷量に基づく画素信号を減算して、前記第８期間における反射光の光量情報を取得し、
   前記第９キャパシタに転送された電荷量に基づく画素信号から、前記第７キャパシタに転送された電荷量に基づく画素信号を減算して、前記期間Ｐｓｒにおける前記反射光の光量情報を取得することを特徴とする撮像システム。
9. 請求項３〜８の何れか１項に記載の撮像システムであって、
   前記発光装置は、一定の周期で、光を出射し、
   前記制御装置、及び前記演算装置は、前記一定の周期毎に動作を実行することを特徴とする撮像システム。
10. 請求項９に記載の撮像システムであって、
    前記発光装置は、
    パルス状の光を前記所定期間出射し、
    前記所定期間を前記一定の周期の１パーセント以下であることを特徴とする撮像システム。
11. 赤外線カットフィルタと、
    赤外線カットフィルタを透過した光を受光する、複数の画素を有する撮像素子と、
    前記撮像素子の受光面上に形成されたフィルタ特性が異なる４つの光学フィルタと、
    を備え、
    前記４つの光学フィルタは、第１波長より長い波長の光を透過する第１フィルタと、第２波長より長い波長の光を透過する第２フィルタと、第３波長より長い波長の光を透過する第３フィルタと、第４波長より長い波長の光を透過する第４フィルタとを有し、
    前記赤外線カットフィルタは、第５波長より短い波長の光を透過し、
    前記第１、第２、第３、第４、及び第５波長は、第１波長＜第２波長＜第３波長＜第４波長＜第５波長の関係を満たす撮像装置が画素信号を演算する演算方法であって、
    前記赤外線カットフィルタに入射した光をそのまま受光する画素から得られる画素信号と、前記第１フィルタを透過した光を受光する画素から得られる画素信号とを減算して青成分の画素信号を算出する青成分算出工程と、
    前記第１フィルタを透過した光を受光する画素から得られる画素信号と、前記第２フィルタを透過した光を受光した画素から得られる画素信号とを減算して緑成分の画素信号を算出する緑成分算出工程と、
    前記第２フィルタを透過した光を受光する画素から得られる画素信号と、前記第３フィルタを透過した光を受光した画素から得られる画素信号とを減算して赤成分の画素信号を算出する赤成分算出工程と、
    を備えることを特徴とする演算方法。
12. 赤外線カットフィルタと、
    赤外線カットフィルタを透過した光を受光する、複数の画素を有する撮像素子と、
    前記撮像素子の受光面上に形成されたフィルタ特性が異なる４つの光学フィルタと、
    前記撮像素子を制御する制御装置と、
    被写体に対して前記第４波長より長く、前記第５波長より短い光を含む赤外光を所定期間出射する発光装置と、
    を備え、
    前記４つの光学フィルタは、第１波長より長い波長の光を透過する第１フィルタと、第２波長より長い波長の光を透過する第２フィルタと、第３波長より長い波長の光を透過する第３フィルタと、第４波長より長い波長の光を透過する第４フィルタとを有し、
    前記赤外線カットフィルタは、第５波長より短い波長の光を透過し、
    前記第１、第２、第３、第４、及び第５波長は、第１波長＜第２波長＜第３波長＜第４波長＜第５波長の関係を満たし、
    前記撮像素子は、前記赤外線カットフィルタに入射した光、前記第１フィルタを透過した光、前記第２フィルタを透過した光、前記第３フィルタを透過した光をそれぞれ受光する複数の第１画素と、前記第４フィルタを透過した光を受光する複数の第２画素とを有する撮像システムが画素信号を演算する演算方法であって、
    少なくとも前記発光装置が出射する光の反射光が前記撮像素子に入射する第１期間は、前記第１画素で発生した光電子を蓄積させずに、前記反射光が前記撮像素子に入射しない第２期間に前記第１画素で発生した光電子を蓄積させるように前記第１画素を制御する制御工程と、
    前記赤外線カットフィルタに入射した光をそのまま受光する画素から得られる画素信号と、前記第１フィルタを透過した光を受光する画素から得られる画素信号とを減算して青成分の画素信号を算出する青成分算出工程と、
    前記第１フィルタを透過した光を受光する画素から得られる画素信号と、前記第２フィルタを透過した光を受光した画素から得られる画素信号とを減算して緑成分の画素信号を算出する緑成分算出工程と、
    前記第２フィルタを透過した光を受光する画素から得られる画素信号と、前記第３フィルタを透過した光を受光した画素から得られる画素信号とを減算して赤成分の画素信号を算出する赤成分算出工程と、
    を備えることを特徴とする演算方法。

Images