JP2026018220A

JP2026018220A - 撮像装置、撮像方法

Info

Publication number: JP2026018220A
Application number: JP2024119419A
Authority: JP
Inventors: 大樹碇
Original assignee: Canon Inc
Current assignee: Canon Inc
Filing date: 2024-07-25
Publication date: 2026-02-05

Abstract

【課題】レンジゲート制御によってターゲット距離領域の画像を得つつ、暗部視認性の良い画像も同時に得ることが可能な撮像装置を提供する。
【解決手段】撮像装置において、特定の波長の光を透過させるカラーフィルタと、１フレーム期間内に複数回発する発光部と、光子の受光頻度に応じてパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウントの値を記憶するメモリと、をそれぞれ備える複数の画素部と、カウントイネーブル信号を生成するカウントイネーブル生成部と、を備え、前記カウントイネーブル生成部は、前記発光部の発光タイミングと非同期で１フレーム期間内のイネーブル期間が１回である第１のカウントイネーブル信号、または前記発光部の発光タイミングと同期した１フレーム期間内のイネーブル期間が複数回である第２のカウントイネーブル信号、のいずれかを生成する。
【選択図】図９

Description

本発明は、カラーフィルタに応じて異なるカウントイネーブル信号を生成してＲＧＢ画像とレンジゲート画像を取得する撮像装置、撮像方法に関するものである。

レンジゲートカメラと呼ばれるカメラを用いた撮影方法がある。これはカメラ前方に所定の周期でパルス光を発光し、ターゲット距離に応じた所定のタイミングでカメラ内部のイメージセンサが露光することで、ターゲット距離にある被写体のみを鮮明に撮像することが可能となる技術である。以下、本技術をレンジゲート制御と呼ぶ。このレンジゲート制御により例えば悪天候であっても所定の距離にある被写体（オブジェクト）を鮮明に撮像することができる。

例えば特許文献１ではパルス光による発光とカメラによる露光のタイミングをタイミングコントローラによって調整し、不要なターゲット距離領域を撮像することを防止する技術が記載されている。また、本特許文献ではパルス光による発光とカメラによる露光のタイミング（ディレイ時間）をフレームごとに変更することで、カメラからの距離が異なる複数のターゲット距離領域の画像を得ることが可能となる構成が記載されている。

ＷＯ１７／１１０４１７号広報

しかしながら、特許文献１記載の技術ではフレーム毎にターゲット距離領域を変更しており、カメラ近傍から遠方までの複数の距離領域を撮影するためには複数フレーム分の時間を必要としてしまうという課題があった。そのため、衝突防止のような即時性の求められるアプリケーションに利用しようとすると、画像を用いた前方のオブジェクト（車両等）の認識が遅れ、衝突防止の処置（自動ブレーキ等）が遅れる可能性があった。

また、ターゲット距離に応じた所定のタイミングでカメラ内部のイメージセンサが露光するため、露光時間はターゲット距離に応じた時間に限定される。そのため、レンジゲート制御をしない場合の露光時間と比較し、所定時間内の露光時間が短くなる傾向にあった。この場合、たとえ繰り返し露光を実施したとしても総じて所定時間内に蓄積されるオブジェクトからの反射光量が少なくなる。そのため、夜間といった暗く単位時間当たりの反射光量が少なくなる時間帯においては前方のオブジェクトを画像から認識することが困難になる可能性があった。

そこで、本発明は、レンジゲート制御によってターゲット距離領域の画像を得つつ、暗部視認性の良い画像をも同時に得ることが可能な撮像装置を提供することを目的の１つとする。

本発明の１側面の撮像装置は、特定の波長の光を透過させるカラーフィルタと、前記カラーフィルタの周波数特性と対応した波長の光を、１フレーム期間内に複数回発する発光部と、前記カラーフィルタを透過した光の光子の受光頻度に応じてパルスを発するセンサ部と、前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素部と、前記カウンタのカウント期間を制御するカウントイネーブル信号を生成するカウントイネーブル生成部と、を備え、前記カウントイネーブル生成部は、前記発光部の発光タイミングと非同期で１フレーム期間内のイネーブル期間が１回である第１のカウントイネーブル信号、または前記発光部の発光タイミングと同期した１フレーム期間内のイネーブル期間が複数回である第２のカウントイネーブル信号、のいずれかを生成することを特徴とする。

本発明によれば、悪天候であっても所定の距離にある被写体を鮮明に撮像することができ、さらに加えて、複数フレームを必要とせずに近傍から遠方までの暗部視認性の良い画像を同時に撮像することが可能な撮像装置を提供することができる。

実施形態に係る光電変換素子１００の構成例を示す図である。センサ基板１１の構成例を示す図である。第１実施形態におけるカラーフィルタ３０の構成例を示す図である。回路基板２１の構成例を示す図である。図２の画素１０１及び、画素１０１に対応した信号処理回路１０３の等価回路を示した図である。ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。実施形態に係るＩＲ発光器５００、カメラ６００及び移動体７００の機能ブロック図である。実施形態に係る反射光の進行と露光タイミングの関係を示した図である。第１実施形態における１フレーム時間の発光及び露光制御動作を示す図である。実施形態における表示部７０３での表示画像の一例を示す図である。実施形態における動作例の詳細を示すフローチャートである。第２実施形態におけるカラーフィルタ４０の構成例を示す図である。第２実施形態における可視光発光器９００の構成例を示す図である。第２実施形態における１フレーム時間の発光及び露光制御動作を示す図である。

＜第１実施形態＞
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

図１は、本発明の実施形態の光電変換素子の構成例を示す図である。以下では、光電変換素子１００が、センサ基板１１と、回路基板２１の２枚の基板が積層され、且つ電気的に接続されることにより構成される、所謂、積層構造である光電変換装置を例にとって説明する。しかしながら、センサ基板に含まれる構成と回路基板に含まれる構成が共通の半導体層に配された、所謂、非積層構造であっても良い。センサ基板１１は、画素領域１２を含む。回路基板２１は、画素領域１２で検出された信号を処理する回路領域２２を含む。

図２は、センサ基板１１の構成例を示す図である。センサ基板１１の画素領域１２は、複数行及び列方向に渡って二次元状に複数配置された画素１０１（画素部）を含む。画素１０１は、アバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部１０２を備える。

ここで、光電変換部１０２は、光子の受光頻度に応じた頻度でパルスを発するセンサ部として機能している。尚、画素領域１２を成す画素アレイの行数及び列数は、特に限定されるものではない。

図３は、画素１０１が有するカラーフィルタ３０の構成例を示す図である。画素領域１２内部の画素１０１の各々がカラーフィルタ３０のいずれかの色を有している。つまり、カラーフィルタがいずれかの周波数特性を有している。カラーフィルタ３０は大きく分けて以下の２種類のフィルタが配置されている。まず１つ目は、それぞれ赤色（Ｒ）、青色（Ｂ）及び緑色（Ｇ）の波長の光をそれぞれ透過させるＲフィルタ、ＧフィルタおよびＢフィルタ（合わせてＲＧＢフィルタ３１）である。２つ目は、赤外光（ＩＲ）の波長の光を透過させる赤外領域のフィルタであるＩＲフィルタ３２である。この構成のカラーフィルタをＲＧＢ－ＩＲフィルタと呼ぶ。

ここで、１つの画素１０１がＲフィルタ、Ｇフィルタ、Ｂフィルタ、ＩＲフィルタのいずれか１つのカラーフィルタに対応している。本実施形態の配置は、図３に示すように、ＢフィルタとＧフィルタを交互に並べた列と、ＩＲフィルタとＲフィルタを交互に並べた列とを組み合わせた配置となっている。なお、ＲＧＢフィルタ３１とＩＲフィルタ３２を組み合わせる配置はこれに限定されるものではない。

図４（ａ）は、回路基板２１の構成例を示す図である。回路基板２１は、図２の各光電変換部１０２で光電変換された電荷を処理する信号処理回路１０３、読み出し回路１１２、制御パルス生成部１１５、水平走査回路１１１、垂直信号線１１３、垂直走査回路１１０、出力回路１１４を有している。

垂直走査回路１１０は、制御パルス生成部１１５から供給された制御パルスを受け、行方向に配列された複数の画素に、順次的に制御パルスを供給する。垂直走査回路１１０にはシフトレジスタやアドレスデコーダといった論理回路が用いられる。

各画素の光電変換部１０２から出力された信号は、各信号処理回路１０３で処理される。信号処理回路１０３は、カウンタやメモリなどが設けられており、メモリにはデジタル値が保持される。水平走査回路１１１は、デジタル信号が保持された各画素のメモリから信号を読みだすために、各列を順次選択する制御パルスを信号処理回路１０３に入力する。

垂直信号線１１３には、垂直走査回路１１０により選択された行の画素の信号処理回路１０３から信号が出力される。垂直信号線１１３に出力された信号は、読み出し回路１１２、出力回路１１４を介して、光電変換素子１００の外部に出力される。読み出し回路１１２には垂直信号線１１３に接続された、複数のバッファが内蔵されている。

図２及び図４（ａ）に示すように、平面視で画素領域１２に重なる領域に、複数の信号処理回路１０３が配される。そして、平面視で、センサ基板１１の端と画素領域１２の端との間に重なるように、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

言い換えると、センサ基板１１は、画素領域１２と画素領域１２の周りに配された非画素領域とを有する。そして、平面視で非画素領域に重なる領域に、垂直走査回路１１０、水平走査回路１１１、読み出し回路１１２、出力回路１１４、制御パルス生成部１１５が配される。

尚、垂直信号線１１３の配置、読み出し回路１１２、出力回路１１４の配置は、図４（ａ）に示した例に限定されない。例えば、垂直信号線１１３が行方向に延びて配されており、読み出し回路１１２を垂直信号線１１３が延びる先に配しても良い。又、信号処理回路１０３は、必ずしもすべての光電変換部に１つずつ設けられる必要はなく、複数の光電変換部に対して１つの信号処理部が共有され、順次信号処理を行う構成となっていても良い。

図４（ｂ）は図４（ａ）にて説明した各信号処理回路１０３へ供給する信号を生成するカウントイネーブル生成部１０４の構成例を示す図である。図４（ｂ）において、ＲＧＢフィルタ３１のＲフィルタを透過した光（光電変換後のＲ信号）を扱う信号処理回路１０３がＲ信号処理回路１０３ｒである。同様にＧ信号を扱う信号処理回路がＧ信号処理回路１０３ｇ、Ｂ信号を扱う信号処理回路がＢ信号処理回路１０３ｂである。また、ＩＲフィルタ３２を透過した光（光電変換後のＩＲ信号）を扱う信号処理回路がＩＲ信号処理回路１０３ＩＲである。

カウントイネーブル生成部１０４は信号処理回路１０３内部のカウンタへ供給するカウントイネーブル信号を生成する。カウントイネーブル信号は信号処理回路１０３内部のカウンタのイネーブル、ディセーブルを制御するための信号である。このカウントイネーブル信号はＲ信号、Ｇ信号、Ｂ信号、ＩＲ信号それぞれの信号処理回路１０３に対して異なる信号が生成できるように構成されている。即ち、複数あるＲ信号処理回路１０３ｒへ供給するカウントイネーブル信号をＲ用カウントイネーブル生成部１０４ｒが生成する。Ｇ信号処理回路１０３ｇ、Ｂ信号処理回路１０３ｂについても、同様にそれぞれＧ用カウントイネーブル生成部１０４ｇ、Ｂ用カウントイネーブル生成部１０４ｂが生成する。そして複数あるＩＲ信号処理回路１０３ＩＲへ供給するカウントイネーブル信号をＩＲ用カウントイネーブル生成部１０４ＩＲが生成する。Ｒ用カウントイネーブル、Ｇ用カウントイネーブル、Ｂ用カウントイネーブル、ＩＲ用カウントイネーブルをそれぞれ独立したタイミングで生成することも可能である。なお図４（ｂ）では信号処理回路１０３とカウントイネーブル生成部１０４との結線は省略されている。

図５は、図２及び図４（ａ）における画素１０１と、画素１０１に対応した信号処理回路１０３の等価回路を示した図である。

光電変換部１０２に含まれるＡＰＤ２０１は、光電変換により入射光に応じた電荷対を生成する。ＡＰＤ２０１の２つのノードのうちの一方のノードは、駆動電圧ＶＬ（第１電圧）が供給される電源線と接続されている。又、ＡＰＤ２０１の２つのノードのうちの他方のノードは、電圧ＶＬよりも高い駆動電圧ＶＨ（第２電圧）が供給される電源線と接続されている。

図５では、ＡＰＤ２０１の一方のノードはアノードであり、ＡＰＤの他方のノードはカソードである。ＡＰＤ２０１のアノードとカソードには、ＡＰＤ２０１がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

尚、逆バイアスの電圧が供給される場合において、アノード及びカソードの電圧差が降伏電圧より大きい電圧差で動作させるガイガーモードと、アノード及びカソードの電圧差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤと呼ぶ。ＳＰＡＤの場合、例えば、電圧ＶＬ（第１電圧）は、－３０Ｖ、電圧ＶＨ（第２電圧）は、１Ｖである。

信号処理回路１０３は、クエンチ素子２０２、波形整形部２１０、カウンタ回路２１１、メモリ回路２１２を有する。クエンチ素子２０２は、駆動電圧ＶＨが供給される電源線とＡＰＤ２０１のアノード及びカソードのうちの一方のノードに接続される。

クエンチ素子２０２は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０１に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。又、クエンチ素子２０２は、クエンチ動作で電圧降下した分の電流を流すことにより、ＡＰＤ２０１に供給する電圧を駆動電圧ＶＨへと戻す働きを持つ（リチャージ動作）。

図５では、信号処理回路１０３は、クエンチ素子２０２の他に波形整形部２１０、カウンタ回路２１１、及びメモリ回路２１２を有する例を示した。

波形整形部２１０は、光子検出時に得られるＡＰＤ２０１のカソードの電圧変化を整形して、パルス信号を出力する。波形整形部２１０としては、例えば、インバータ回路が用いられる。図５では、波形整形部２１０としてインバータを１つ用いた例を示したが、複数のインバータを直列接続した回路を用いても良いし、波形整形効果があるその他の回路を用いても良い。

カウンタ回路２１１は、波形整形部２１０から出力されたパルスの数をカウントし、カウント値を保持する。又、駆動線２１３を介して制御パルスＲＥＳが供給されたとき、カウンタ回路２１１に保持された信号がリセットされる。ここでカウンタ回路２１１は、蓄積期間の開始時と終了時のカウント値の差分に基づいて信号を生成している。

なお、カウンタ回路２１１には図４（ｂ）で説明したカウントイネーブル生成部１０４からカウントイネーブル信号が供給される。このカウントイネーブル信号がＨｉｇｈの区間（カウント期間）においてカウンタ回路２１１は波形整形部２１０から出力されたパルスの数をカウントし、カウントイネーブル信号がＬｏｗの区間ではパルス数をカウントせずにカウント値を保持する。これにより例えばカウントイネーブル生成部１０４が１００ＭＨｚのクロック周波数で動作する回路であった場合、カウントイネーブル信号はクロック周期の１０ｎｓｅｃ単位でのＨｉｇｈ、Ｌｏｗ制御（イネーブル・ディセーブル制御）が可能となる。ここで、光電変換部１０２が光子の受光頻度に応じて出力するパルスの数はカウントイネーブル時のみカウントされることから、パルスの数のカウントイネーブル期間は画素１０１の露光期間と言い換えることができる。よって、本実施形態では露光する、露光しないの切り替え制御を１０ｎｓｅｃ単位で制御できる。

また、図４（ｂ）で示した通り、カウントイネーブル信号はカウントイネーブル生成部１０４によってＲ信号処理回路１０３ｒ、Ｇ信号処理回路１０３ｇ、Ｂ信号処理回路１０３ｂ、ＩＲ信号処理回路１０３ＩＲで異なる信号として生成することが可能である。

本実施形態においては、Ｒ信号処理回路１０３ｒ、Ｇ信号処理回路１０３ｇ、Ｂ信号処理回路１０３ｂとＩＲ信号処理回路１０３ＩＲで異なるカウントイネーブル信号を生成する。生成される信号の詳細はタイミングチャートを用いて後述する。

メモリ回路２１２には、図４（ａ）の垂直走査回路１１０から、図５の駆動線２１４（図４（ａ）では不図示）を介して制御パルスＳＥＬが供給され、カウンタ回路２１１と垂直信号線１１３との電気的な接続、非接続を切り替える。メモリ回路２１２は、カウンタのカウント値を一時的に記憶するメモリとして機能しており、画素のカウンタ回路２１１からの出力信号を垂直信号線１１３に出力する。

尚、クエンチ素子２０２とＡＰＤ２０１との間や、光電変換部１０２と信号処理回路１０３との間にトランジスタ等のスイッチを配して、電気的な接続を切り替えても良い。同様に、光電変換部１０２に供給される電圧ＶＨ又は電圧ＶＬの供給をトランジスタ等のスイッチを用いて電気的に切り替えても良い。

図６は、ＡＰＤ２０１の動作と出力信号の関係を模式的に示した図である。波形整形部２１０の入力側をｎｏｄｅＡ、出力側をｎｏｄｅＢとしている。時刻ｔ０から時刻ｔ１の間において、ＡＰＤ２０１には、ＶＨ－ＶＬの電位差が印加されている。時刻ｔ１において光子がＡＰＤ２０１に入射すると、ＡＰＤ２０１でアバランシェ増倍が生じ、クエンチ素子２０２にアバランシェ増倍電流が流れ、ｎｏｄｅＡの電圧は降下する。

電圧降下量が更に大きくなり、ＡＰＤ２０１に印加される電位差が小さくなると、時刻ｔ２のようにＡＰＤ２０１のアバランシェ増倍が停止し、ｎｏｄｅＡの電圧レベルはある一定値以下には降下しなくなる。その後、時刻ｔ２から時刻ｔ３の間において、ｎｏｄｅＡには電圧ＶＬから電圧降下分を補う電流が流れ、時刻ｔ３においてｎｏｄｅＡは元の電位レベルに静定する。このとき、ｎｏｄｅＡにおいて出力波形がある閾値を越えた部分は、波形整形部２１０で波形整形され、ｎｏｄｅＢでパルス信号として出力される。

次に、実施形態の撮像装置であるＩＲ発光器５００、カメラ６００及び移動体７００について説明する。図７は実施形態に係るＩＲ発光器５００、カメラ６００及び移動体７００の機能ブロック図である。尚、図７に示される機能ブロックの一部は、ＩＲ発光器５００、カメラ６００及び移動体７００に含まれる不図示のコンピュータに、不図示の記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。

しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。又、図７に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

カメラ６００は、図１～図６で説明した光電変換素子１００、結像光学系６０１、画像処理部６０３、認識部６０４、カメラ制御部６０５、記憶部６０６、通信部６０７等を有する。光電変換素子１００は、光学像を光電変換するための図１～図６で説明したアバランシェフォトダイオードで構成されている。

実施形態の撮像装置（カメラ６００、ＩＲ発光器５００）は移動体７００に搭載されており、結像光学系６０１と光電変換素子１００のセットからなるカメラユニットは例えば移動体の前方、後方、側方の少なくとも１方向を撮影するように構成されている。尚、カメラユニットを移動体７００に複数設けても良い。

画像処理部６０３は、光電変換素子１００で取得された像信号に対して例えば黒レベル補正や、ガンマカーブ調整、ノイズリダクション、デジタルゲイン調整、デモザイク処理、データ圧縮等の画像処理を行い、最終的な画像信号を生成する。

光電変換素子１００が出力する像信号は図３で説明したＲＧＢフィルタ３１やＩＲフィルタ３２を透過した光から生成されているため、それぞれＲ信号、Ｇ信号、Ｂ信号、ＩＲ信号となる。画像処理部６０３ではその中のＲ信号、Ｇ信号、Ｂ信号を用い、デモザイク処理等を行うことでカラー画像（ＲＧＢ画像、第１の画像データ）を生成する。つまり、ＲＧＢの画素信号から画像データを生成する。このとき、画像処理部６０３にてホワイトバランス補正、色変換などの処理を行ってもよい。また、同時にＩＲ信号を用いて、ＩＲ画像（モノクロ画像、第２の画像データ）を生成する。つまり、ＩＲの画素信号から画像データを生成する。なお、カラー画像生成とＩＲ画像生成で、異なる画像処理を行ってもよい。

又、画像処理部６０３の出力は認識部６０４、移動体７００のＥＣＵ（ＥｌｅｃｔｒｉｃＣｏｎｔｒｏｌＵｎｉｔ）７０１、カメラ制御部６０５に供給される。認識部６０４（認識処理部）は、画像信号に基づき画像認識を行うことによって周囲の人や車両等のオブジェクトを認識する処理を行う。この認識処理には深層学習を用いる。例えば、深層学習として、学習が容易で検出が速いＹＯＬＯ（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ）を用いることが好ましい。また、その他の深層学習として、ＳＳＤ（ＳｉｎｇｌｅＳｈｏｔＭｕｌｔｉＢｏｘＤｅｔｅｃｔｏｒ）を用いてもよい。もしくは、ＦａｓｔｅｒＲ－ＣＮＮ（ＲｅｇｉｏｎａｌＣｏｎｖｏｌｕｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋ）、ＦａｓｔＲ－ＣＮＮ、Ｒ－ＣＮＮ等を用いてもよい。

また、本実施形態において認識部６０４は認識された物体までの距離を算出する。測距方法として、例えば深層学習から距離推定するような方法がある。一例として、検出された物体の画像のボケといった情報を深層学習で解析することで距離値を算出するような方法がある。その他の方法として撮像装置をステレオカメラとして、三角測量の原理を用いて測距する方法であってもよい。この距離推定を含む認識処理は画像処理部６０３から入力されるカラー画像、ＩＲ画像それぞれに実行され、認識結果は後段のＥＣＵ７０１へ出力される。

尚、本実施形態では移動体７００は例えば自動車の例を用いて説明するが、移動体は航空機、電車、船舶、ドローン、ＡＧＶ、ロボットなど、移動可能なものであれば、どのようなものであっても良い。

カメラ制御部６０５はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することによりカメラ６００の各部の制御を行う。

尚、カメラ制御部６０５は制御手段として機能しており、例えば光電変換素子１００のカウントイネーブル生成部１０４を介して、光電変換素子１００の各フレームの露光期間の長さや、制御信号のタイミングの制御などを行う。

具体的にカメラ制御部６０５は、カウントイネーブル生成部１０４へ所定間隔で繰り返し出力される基準信号を送信する。カウントイネーブル生成部１０４は基準信号をタイミングの基準とし、所定のタイミングでイネーブルとディセーブルを繰り返す信号を生成する。ここで、カウントイネーブル生成部１０４は基準信号からカウントをイネーブルにするまでの期間や、イネーブル幅、ディセーブル幅、またイネーブルおよびディセーブルの繰り返し周期や繰り返し回数等を設定可能である。カメラ制御部６０５が制御信号を介してそれらに対して所定の値を設定することで、基準信号を基準とした所定のタイミングでカウントイネーブル信号がカウンタ回路２１１へ入力され、画素の露光期間が制御される。なお、図４（ｂ）で説明したように本カウントイネーブル信号はＲ信号、Ｇ信号、Ｂ信号、ＩＲ信号それぞれの信号処理回路１０３に対してカウントイネーブル生成部１０４を用いて異なる信号を生成することが可能である。

また、カメラ制御部６０５はＩＲ発光器５００に対しても通信部６０７を介して前述の基準信号と同一の信号を送信する。このように光電変換素子１００へ送信した同一の基準信号をＩＲ発光器５００にも送信することで、ＩＲ発光器５００が基準信号を基準として発光制御を実行することができる。これにより、光電変換素子１００内部の露光タイミングとＩＲ発光器５００による発光タイミングを同期化させることが可能となる。

記憶部６０６は、例えば、メモリカード、ハードディスク等の記録媒体を含み、画像信号を記憶、読出すことができる。通信部６０７は無線や有線のインターフェースを備え、生成した画像信号をカメラ６００の外部に出力すると共に外部からの各種信号を受信する。また、本実施形態において通信部６０７はＩＲ発光器５００の通信部５０３と接続されており、前述の基準信号の送信やカメラ制御部６０５からの制御命令をＩＲ発光器５００へ送信する役割も担っている。

ＩＲ発光器５００はＩＲ発光部５０１、発光制御部５０２、通信部５０３を有する。

ＩＲ発光部５０１は、例えば移動体７００の前方に配置した近赤外線ＬＥＤであって、レンズと発光部で構成される。発光部は発光制御部５０２から出力されるパルス信号に応じて所定の発光時間の間、パルス光を出力する。つまり、パルス光を１フレーム期間内に複数回発する。

発光制御部５０２は、通信部５０３を経由してカメラ６００のカメラ制御部６０５が送信した基準信号を受信し、その基準信号を基準として、所定のタイミングでパルス信号を生成し、ＩＲ発光部５０１へ出力する。ここで、発光制御部５０２は基準信号からパルスを出力するまでの期間や、パルス出力幅、パルス非出力幅、またパルス出力から次のパルス出力までの繰り返し周期や繰り返し回数等を設定可能である。カメラ制御部６０５が通信部６０７、通信部５０３を介して発光制御部５０２に対して所定の値を設定することで、基準信号を基準とした所定のタイミングでパルス信号がＩＲ発光部５０１へ出力され、ＩＲ発光器５００の発光期間が制御される。このように発光制御部５０２は光電変換素子１００へ入力された基準信号と同一の信号を基準として発光制御される。

通信部５０３は、カメラ６００の通信部６０７と通信し、カメラ制御部６０５から発光制御部５０２への設定情報や基準信号を受信し、発光制御部５０２へ送信する。

ＥＣＵ７０１はコンピュータとしてのＣＰＵ及びコンピュータプログラムを記憶したメモリを内蔵しており、メモリに記憶されたコンピュータプログラムをＣＰＵが実行することにより移動体７００の各部の制御を行う。

ＥＣＵ７０１の出力は車両制御部７０２と表示部７０３に供給される。車両制御部７０２は、ＥＣＵ７０１の出力に基づき移動体としての車両の駆動、停止、方向制御等を行う移動制御手段として機能している。又、表示部７０３は表示手段として機能しており、例えば液晶デバイスや有機ＥＬ等の表示素子を含み、移動体７００に搭載されている。

本実施形態においては、ＥＣＵ７０１は認識部６０４から認識結果の情報を受け取っており、認識結果の内容に応じて、車両の停止制御（自動ブレーキ等）を実行することが可能である。またＥＣＵ７０１は、画像処理部６０３からカラー画像およびＩＲ画像を受け取っており、認識結果と合わせて表示部７０３へ送信している。

表示部７０３は、ＥＣＵ７０１の出力に基づき例えばＧＵＩを用いて移動体７００の運転者に対して、光電変換素子１００により取得した画像や、認識部６０４による認識結果、および車両の走行状態等に関する各種情報を表示する。

尚、図７における画像処理部６０３、認識部６０４等は移動体７００に搭載されていなくても良。例えば移動体７００とは別に設けられた、移動体７００をリモートコントロールするため、或いは移動体の走行をモニターするための外部端末等に設けても良い。

図８はＩＲ発光器５００からの放射光とその反射光の進行とカメラ６００の露光タイミングの関係を示した図である。図８では、ターゲット距離に応じて発光タイミングと露光タイミングを同期させた制御（レンジゲート制御）を行うことによってターゲット距離を撮像した画像（レンジゲート画像）を取得する方法について説明する。また、このようにレンジゲート制御によってターゲット距離画像を取得するカメラをレンジゲートカメラと呼ぶ。図８は横軸に距離を、縦軸に時間を示している。

まず、横軸について説明する。距離ｘ１から距離ｘ２までの間に霧８１０が存在し、距離ｘ３には車両８２０が存在している。また、図８においては、レンジゲート制御にて距離Ｄの位置を始点とし、そこからレンジ幅Ｒの範囲でのレンジゲート画像を取得している。この場合、レンジ幅Ｒが撮像したいターゲット距離範囲となる。このとき、車両８２０は、レンジ幅Ｒ内に存在している。

次に縦軸ついて説明する。時間０をＩＲ発光器５００での発光開始タイミングとし、時間ｔｆを発光終了タイミングとする。この時、発光期間はｔｆとなる。また、距離Ｄの位置を始点とし、そこからレンジ幅Ｒの範囲でのレンジゲート画像を取得する場合の露光開始時間を時間ｔ１、露光終了時間を時間ｔ２とする。時間ｔ１とは、時間０にＩＲ発光器５００より放射した放射光が距離Ｄから反射光としてカメラ６００に戻ってきたタイミングである。また、時間ｔ２は時間ｔｆにＩＲ発光器５００より放射した放射光が距離Ｄからレンジ幅Ｒ分だけ進んだ箇所から反射光としてカメラ６００に戻ってきたタイミングである。さらに、霧８１０による最初の反射光がカメラ６００に戻ってくるタイミングを時間ｔ３とする。そして霧８１０による最後の反射光がカメラ６００に戻ってくるタイミングを時間ｔ４とする。

レンジゲート制御において、霧８１０の反射光がカメラ６００に到達する時間ｔ３から時間ｔ４の期間は露光を行わずに、距離Ｄからレンジ幅Ｒ分の反射光が届く時間ｔ１から時間ｔ２の期間のみ露光を行う。これにより霧８１０を除去しつつ、車両８２０の画像を明瞭に取得することができる。

ここで、距離ｘに存在する対象物からの反射光がカメラ６００に戻ってくるまでの時間に関して説明する。時間０に発光開始した放射光が、距離ｘに存在している対象物に当たり、反射光として撮像部に戻ってくるタイミングを時間ｔｒとする。この時、反射光の戻ってくるタイミング時間ｔｒと撮像対象物との距離ｘの関係は以下の式となる。

時間ｔｒ＝２ｘ／光速度ｃ（約３×１０＾８ｍ／ｓ）・・・式（１）
図８に示すように、距離Ｄからレンジ幅Ｒを撮像範囲としたとき、レンジの始点の露光タイミング時間ｔ１は、上記式（１）の距離ｘに距離Ｄを代入することで、以下の式で求めることができる。

時間ｔ１＝２Ｄ／光速度ｃ・・・式（２）
また、レンジの終点の露光タイミング時間ｔ２は上記式（１）の距離ｘに距離Ｄ＋レンジ幅Ｒを代入し、時間ｔｆを足すことで以下の式で求めることができる。

時間ｔ２＝ｔｆ＋２（Ｄ＋Ｒ）／光速度ｃ・・・式（３）
このように撮像したい距離ｘ（ターゲット距離）に応じて、発光から露光までの時間ｔｒを制御することで、カメラとターゲット距離の間に霧などがあってもターゲット距離にある被写体を明瞭に撮像できるレンジゲート制御を実現する。

図９は１フレーム時間あたり（１フレーム期間内）のカラー画像とレンジゲート画像を得るための制御動作を説明したタイミングチャートである。本実施形態では、レンジゲート画像はＩＲ発光器５００による発光と同期させた露光によって前述のＩＲ画像を生成することで得る。

図９において垂直同期信号は撮像のフレーム周期を示し、Ｌｏｗパルスから次のＬｏｗパルスの間の期間が１フレーム時間である。次にＲＧＢ用カウントイネーブルの波形はＲ用カウントイネーブル生成部１０４ｒ、Ｇ用カウントイネーブル生成部１０４ｇ、Ｂ用カウントイネーブル生成部１０４ｂが出力するカウントイネーブル信号の光子数のカウント開始と終了のタイミングを示す。ＲＧＢ用カウントイネーブルの波形はＩＲ光発光制御とは非同期で、１フレーム期間内に１回のみイネーブルになる（第１のカウントイネーブル信号）。また、イネーブル区間の１フレーム時間内のタイミングや長さは周囲の可視光の明るさにより変動する。ＲＧＢ用カウンタ値はＲＧＢフィルタ３１側の画素のカウンタ回路２１１の光子のカウント数の増減の状態を示す。ＩＲ光発光制御はＩＲ発光器５００での発光タイミングを示し、ＩＲ用カウントイネーブルはＩＲ用カウントイネーブル生成部１０４ＩＲが出力するカウントイネーブル信号の光子数のカウント開始と終了のタイミングを示す。ＩＲ光発光制御は１フレーム期間に複数回実施されるため、ＩＲ用カウントイネーブルの波形は、１フレーム期間に複数回イネーブルになる（第２のカウントイネーブル信号）。ＩＲ用カウンタ値はＩＲフィルタ３２側の画素のカウンタ回路２１１の光子のカウント数の増減の状態を示す。ＲＥＳ信号は、駆動線２１３を介してカウンタ回路２１１に供給される制御パルスであって、パルスによって保持されていたカウント値がリセットされる。

まず、カラー画像を得るためのＲＧＢ制御について説明する。本制御において、カメラは太陽光といった可視光の反射光を常時受けているので、ＲＧＢ用カウントイネーブルが開始し終了するまでの期間中に、ＲＧＢ用カウンタ値は０から徐々に増加する。ＲＧＢ用カウントイネーブルが開始し終了するまでの期間が露光時間である。ＲＧＢ用カウントイネーブルが終了した後に、ＲＧＢ用カウンタ値の情報はカウンタ回路２１１からメモリ回路２１２に送られ、ＲＥＳ信号によってＲＧＢ用カウンタ値はリセットされる。ＲＧＢ用カウントイネーブルが開始し終了するまでの露光時間は１フレーム時間内で行われる。

次にレンジゲート画像を得るためのレンジゲート制御について説明する。本制御において、ＩＲ光の発光期間は発光制御部５０２によってパルス状に制御され、光子数のカウントは特定のレンジからのＩＲ光の反射光のみに対して行われる。

発光開始から終了までの発光期間をｔｆ、発光開始から光子数カウント開始までの時間をｔ１、発光開始から光子数カウント終了までの時間をｔ２とする。このとき、ｔ１は発光開始してから特定のレンジに光が到達し、反射した光がカメラ６００までに戻ってくる期間を示す。そして、ｔ１からｔ２までの時間が特定のレンジの反射光の光子数をカウントしている期間となり、ＩＲ用カウントイネーブルが開始し終了するまでの期間である。

ＩＲ用カウントイネーブルが開始し終了するまでの期間内に、光子数に応じてＩＲ用カウンタ値が増加する。

レンジゲート制御を正しく行うためには所定のターゲット距離の範囲に合わせて発光開始と露光開始のタイミングを同期させることが必要である。本実施形態ではカメラ制御部６０５がカウントイネーブル生成部１０４および発光制御部５０２へ同一の基準信号を送信することで同期させている。

タイミングチャート上のＩＲ光発光制御で示したような発光開始してから次の発光開始までの期間がレンジゲート動作サイクルとなる。そして、１つのレンジゲート動作サイクルでカウントしたＩＲ用カウンタ値は保持されたまま、次のレンジゲート動作サイクルでＩＲ用カウンタ値は加算される。なお、発光から次の発光までの期間は、反射光が十分に減衰し、カメラ６００に戻ってこなくなるまでの時間を基準として設定される。

図示のように１フレーム時間内でレンジゲート動作サイクルは設定された所定の複数回実施され、１フレーム時間内で最後に加算されたＩＲ用カウンタ値の情報はカウンタ回路２１１からメモリ回路２１２に送られる。その後にＩＲ用カウンタ値はＲＥＳ信号によってリセットされる。

ＲＧＢ制御において、露光期間はレンジゲート制御に比べ、長く、光子を蓄積しやすいため夜間といった暗く単位時間当たりの反射光量が少なくなる時間帯においても良好なカラー画像が得られる。また、レンジゲート制御のように発光に同期させた露光制御を実施していないため、距離に関係のなく反射光を露光することができ、様々な距離にある被写体を映したカラー画像を得ることが可能である。

一方で、レンジゲート制御において、露光期間はＩＲ発光器５００による発光と同期しているため、狙ったレンジに対して霧といった悪天候下であっても明瞭なＩＲ画像を得ることが可能である。

このように本実施形態では、カウントイネーブル生成をＲＧＢフィルタ３１側の画素とＩＲフィルタ３２側の画素でそれぞれ個別に生成する。これにより、レンジゲート制御されていないカラー画像とレンジゲート制御されたＩＲ画像を同時に得ることが可能となっている。

次に図１０は、本実施形態において、光電変換素子１００から取得されるカラー画像およびＩＲ画像を用いることで得られる好適な効果を示す図である。なお、ＩＲ画像はＩＲ発光器５００の発光タイミングと同期させながらＩＲ信号処理回路１０３ＩＲで露光することによって取得されている。なお、本実施形態ではカメラ６００は移動体７００の前方に取り付けられ、移動体７００の走行方向前方を撮像しているものとする。

図１０（ａ）は、本実施形態におけるカラー画像の一例を示している。図１０（ａ）において、歩行者８３０と霧８１０、車両８２０が撮影されている。また本カラー画像は認識部６０４によって認識処理にかけられ、認識部６０４によって歩行者８３０は検出され、歩行者検出枠８３１が画像に表示されている。また認識部６０４は距離推定を行うため、歩行者検出枠８３１には検出オブジェクトまでの距離を示す数値が併記されており、本例ではカメラ６００から歩行者８３０まで５ｍの距離となっている。

一方で、霧８１０の先に車両８２０があるが、カラー画像においては霧８１０のため車両８２０は不鮮明である。そのため認識部６０４の認識処理で車両８２０は検出できていない。このように、カラー画像はレンジゲート制御されずに撮像されているため、異なる距離にある車両８２０と歩行者８３０を１フレームで撮像できる。また、画像を表示や通知に適したカラー画像として得ることができているが、一方で霧といった悪天候では不鮮明な画像となる。

次に図１０（ｂ）は、本実施形態におけるＩＲ画像の一例を示している。本画像は前述の図８および図９で説明したレンジゲート制御によって撮像されている。図１０（ｂ）において、霧８１０および車両８２０が撮影されている。本実施形態ではレンジゲート制御によって撮影するターゲット距離をカメラ６００から約４０ｍ先前後として設定している。このターゲット距離は、例えば、移動体７００が緊急的にブレーキ動作をした場合に安全に停止できる距離として設定される。そのため移動体７００の現在の速度等に応じて、適応的に変更してもよい。このように設定することで、車両８２０を検出した後に安全に車両８２０に衝突することなく移動体７００は停止することができる。また、安全に停止するためにカメラ６００は常に４０ｍ先を注視することが重要である。本実施形態では移動体７００の周辺といった４０ｍ先とは異なる移動体７００の近傍周辺の監視を前述のカラー画像によって実施することが可能なため、ＩＲ画像は常に４０ｍ先を注視した設定で動作させることが可能となっている。

本ＩＲ画像は、認識部６０４によって認識処理にかけられ、認識部６０４によって車両８２０は検出され、車両検出枠８２１が画像に表示されている。また認識部６０４は距離推定を行うため、車両検出枠８２１には検出オブジェクトまでの距離を示す数値が併記されており、本例ではカメラ６００から車両８２０まで４０ｍの距離となっている。ＩＲ画像はレンジゲート制御によって撮像されているため、霧８１０は薄まり、明瞭な画像として車両８２０を撮像することができ、認識部６０４による認識処理でも車両８２０を検出することができている。

次に図１０（ｃ）は表示部７０３を用いて、移動体７００の運転者に表示する警告画像の一例を示している。本画像は図１０（ａ）および図１０（ｂ）を基としてＥＣＵ７０１によって生成されている。図１０（ｃ）において、まずベースとなる画像全体は図１０（ａ）を用いている。そのため図１０（ｃ）の画像はカラー画像として表示されている。図１０（ｃ）ではそこにカラー画像を用いた認識処理の結果である歩行者検出枠８３１およびＩＲ画像を用いた認識処理の検出結果である車両検出枠８２１を重畳している。これにより、画像を視認した運転者は霧８１０の先に車両８２０が存在することを車両検出枠８２１によって把握することが可能となる。さらにＥＣＵ７０１がこの認識処理の結果から移動体７００に対して緊急ブレーキが必要と判断した場合、車両制御部７０２に対してブレーキを指示しつつ、移動体７００の運転者に対して通知８４０を表示する。これにより、運転者は自動ブレーキが実行されるという事態を正しく把握することが可能となる。

本実施形態ではカラー画像に対して、カラー画像を認識処理したオブジェクト検出結果、およびＩＲ画像を認識処理したオブジェクト検出結果を重畳することで警告画像を生成している。しかしこれに限らず、例えばＩＲ画像の検出枠領域の画像を切り出し、カラー画像に合成して警告画像を生成してもよい。これにより警告画像上で、霧８１０は薄まり、明瞭な画像として車両８２０を表示することが可能となる。

本実施形態では１つのカメラでカラー画像とＩＲ画像を取得しており、それら２つの画像は画角が揃った画像となっている。そのため、合成画像の生成や、図１０（ｃ）で示したようなカラー画像とＩＲ画像の検出結果を１つの画像上に統合する処理を複雑な計算なく容易に実行することが可能となっている。

図１１は、実施形態における動作詳細を示すフローチャートである。本フローチャートおいて、ステップＳ１０１～ステップＳ１０７の各ステップはカメラ制御部６０５内のコンピュータとしてのＣＰＵ等がメモリに記憶されたコンピュータプログラムを実行することによって順次実行される。また、ステップＳ２０１～ステップＳ２０６の各ステップはＥＣＵ７０１内のコンピュータとしてのＣＰＵ等がメモリに記憶されたコンピュータプログラムを実行することによって順次実行される。

図１１のステップＳ１０１ではカメラ制御部６０５がＩＲ発光器５００の設定を行う。具体的にはＩＲ発光器５００内部の発光制御部５０２に対して所定のタイミングでパルス信号を生成するためのパルス出力幅、出力期間、繰り返し周期、繰り返し回数といった設定を行う。これは、図８で示した通りレンジゲート制御における撮像したいターゲット距離に応じて設定される。

次にステップＳ１０２ではカメラ制御部６０５が光電変換素子１００の設定を行う。具体的には光電変換素子１００内部の回路基板２１に対して、結像光学系６０１からの光学像から光電変換し、像信号を生成するための種々の設定である。特に本実施形態においては、前記設定内容にカウントイネーブル生成部１０４がカウントイネーブル信号を生成するための期間や、イネーブル幅、繰り返し周期や繰り返し回数が含まれる。本設定はＲＧＢフィルタ３１側の画素に対する設定とＩＲフィルタ３２側の画素に対する設定で異なる設定とし、特にＩＲフィルタ３２側の画素に対してはＩＲ用カウントイネーブル生成部１０４ＩＲにおいてＩＲ発光器５００の発光周期と同期した設定とする。これにより得られるＩＲ画素はレンジゲート制御されたものとなる。また本ステップで、画像処理部６０３や認識部６０４へのパラメータ設定を完了させる。

次にステップＳ１０３ではカメラ制御部６０５はカメラ６００に対して撮像開始の制御をする。これはＩＲ発光器５００へ発光開始指示を出し、発光を開始させる。さらに光電変換素子１００に対して垂直同期信号の出力を指示し、露光および像信号の生成を開始させる。また、前述の通り、ＩＲ発光器５００側の発光と光電変換素子１００側の露光（カウントイネーブル生成）は、カメラ制御部６０５の基準信号を基準として同期制御されており、レンジゲート制御が可能となっている。

次にステップＳ１０４ではカメラ制御部６０５は、画像処理部６０３を制御し、光電変換素子１００から出力される像信号に対して、各種の画像処理を行い、最終的な画像信号を生成する。ここでは、光電変換素子１００から出力されるＲ信号（Ｒ画素信号）、Ｇ信号（Ｇ画素信号）、Ｂ信号（Ｂ画素信号）を用いてカラー画像を生成し、ＩＲ信号を用いてＩＲ画像を生成する。

次にステップＳ１０５ではステップＳ１０４で取得したカラー画像およびＩＲ画像に対して認識部６０４を用いて認識処理を実行する。認識処理によって、画像内の人や車両等のオブジェクトを検出し、さらに検出されたオブジェクトまでの距離を推定する。本実施形態では、カラー画像とレンジゲート制御によって取得されたＩＲ画像の双方を同時に得られるため、霧といった悪天候下におけるオブジェクトの検出と、移動体７００の周辺のオブジェクトの検出とを１フレームで同時に行うことが可能である。

次にステップＳ１０６では、ステップＳ１０４で取得したカラー画像およびＩＲ画像およびステップＳ１０５における認識結果を移動体７００内部のＥＣＵ７０１へ送信する。送信する認識結果は、例えば検出されたオブジェクト名、検出枠の位置やサイズ情報、また検出されたオブジェクトの距離情報等である。

ステップＳ１０７では、カメラ制御部６０５は次のフレーム処理があるかどうか判定する。次のフレーム処理がある場合にはステップＳ１０４へ戻り処理を継続し、次のフレーム処理がない場合にはカメラ制御部６０５側のフローチャートを終了する。

次にＥＣＵ７０１内部のＣＰＵが実行するステップＳ２０１～Ｓ２０６の処理を説明する。ステップＳ２０１では、ＥＣＵ７０１は画像および認識結果を受信したか否かを判定する。これは前述のステップＳ１０６によって送信されたデータの受信処理である。画像および認識結果を受信した場合にはステップＳ２０２へ進む。

次にステップＳ２０２ではＥＣＵ７０１は、カメラ６００の前方の所定範囲にオブジェクトが存在するか否かを判定する。所定範囲とは例えば移動体７００が緊急的にブレーキ動作をした場合に、オブジェクトに衝突せずに安全に停止できる範囲よりも近距離の距離範囲である。所定範囲内にオブジェクトがないと判定された場合にはステップＳ２０４へ進み、所定範囲内にオブジェクトがあると判定された場合にはステップＳ２０３へ進む。

次にステップＳ２０３では、ＥＣＵ７０１は車両制御部７０２を制御し、移動体７００の停止制御を実行する。これにより所定範囲内にて検出されたオブジェクトと移動体７００の衝突を回避する。

次にステップＳ２０４ではＥＣＵ７０１は表示部７０３に表示する画像を生成する。本画像の一例は図１０（ｃ）で示した画像であって、取得したカラー画像に対して、カラー画像を認識処理したオブジェクト検出結果、およびＩＲ画像を認識処理したオブジェクト検出結果を重畳することで生成している。

次にステップＳ２０５では、ステップＳ２０４で生成した画像を表示部７０３に表示することで移動体７００の運転者に通知する。これにより運転者はオブジェクトの検出結果および自動ブレーキの実行を把握することが可能となる。

ステップＳ２０６では、ＥＣＵ７０１は次のフレーム処理があるかどうか判定する。次のフレーム処理がある場合にはステップＳ２０１へ戻り処理を継続し、次のフレーム処理がない場合にはＥＣＵ７０１側のフローチャートを終了する。

以上の本実施形態により、近傍から遠方まで十分な露光時間で取得された暗部視認性の良いカラー画像と、レンジゲート制御により悪天候であっても所定の距離にある被写体を鮮明に撮像可能なＩＲ画像とを、１フレームで同時に得ることが可能となる。

また、画素内部のフォトダイオードの両端の電圧にアバランシェ増倍が発生した後に、外部クロックが入ってから再度アバランシェ増倍が発生するような逆電圧をかける、いわゆるクロックリチャージング方式のＳＰＡＤがある。その方式の場合、供給されるクロックを止める（いわゆるクロックゲーティングする）ことでアバランシュ増倍およびカウンタ回路によるカウント（露光）を止めることができる。

本実施形態ではカウントイネーブル信号によってカウント（露光）を停止させたが、クロックリチャージング方式のＳＰＡＤであれば前述のクロックゲーティングによって本実施形態と同様の効果を得る構成としてもよい。その場合、カウント停止状態でアバランシェ増倍が発生せず、消費電力を低減することが可能となる。

＜第２実施形態＞
以下、本発明の第２実施形態について説明する。

第１実施形態ではＩＲ発光と同期し、ＩＲ光を露光するカメラによるレンジゲート制御方法について説明した。第２実施形態では、ＩＲ光を用いず、可視光にてレンジゲート制御する場合について説明する。なお、第２実施形態における機能ブロック図は第１実施形態の図７と同様の構成であり、発光器およびカメラ内部のカラーフィルタ部のみが第１実施形態から異なる。

図１２は本発明の第２実施形態における画素１０１が有するカラーフィルタ４０の構成例を示す図である。画素領域１２内部の画素１０１の各々は、カラーフィルタ４０を有しており、それぞれ赤色（Ｒ）、青色（Ｂ）及び緑色（Ｇ）の波長の光をそれぞれ透過させるＲフィルタ、ＧフィルタおよびＢフィルタである。そしてＧフィルタは図示の通りＧ１フィルタおよびＧ２フィルタに分かれて配置されている。この構成のカラーフィルタをＲ－Ｇ１－Ｇ２－Ｂフィルタと呼ぶ。

ここで、１つの画素１０１がＲフィルタ、Ｇ１フィルタ、Ｇ２フィルタ、Ｂフィルタのいずれか１つのカラーフィルタに対応している。本実施形態の配置は、図１２に示すように、ベイヤー型の配列となっているが、組み合わせる配置はこれに限定されるものではない。

なお、本実施形態において、カラーフィルタ４０のＧ１フィルタを透過した光（光電変換後のＧ１信号）を扱う信号処理回路と、Ｇ２フィルタを透過した光（光電変換後のＧ２信号）を扱う信号処理回路は異なる。そして、そこに供給されるカウントイネーブル信号もそれぞれ異なる信号として生成される。これは第１実施形態の図４（ｂ）で説明した構成と同様の構成で、Ｒ信号、Ｇ１信号、Ｇ２信号、Ｂ信号それぞれの信号処理回路に対してそれぞれ異なるカウントイネーブル生成部を有し、異なるカウントイネーブル信号が結線されているためである。これにより本実施形態ではＲ信号、Ｇ１信号、Ｇ２信号、Ｂ信号それぞれの信号処理回路にてカウントイネーブル信号を用いてそれぞれ異なる露光時間が設定可能となっている。

図１３は第２実施形態における可視光発光器９００、カメラ６００及び移動体７００の構成例を示す図である。カメラ６００および移動体７００は、前述のカラーフィルタ４０を除き第１実施形態と同様の構成である。

可視光発光器９００は可視光発光部９０１、発光制御部９０２、通信部９０３を有する。

好ましい実施形態では、可視光発光部９０１は、１つまたは複数の固体発光デバイス、発光ダイオード（ＬＥＤ）、または有機ＬＥＤ（ＯＬＥＤ）を有するヘッドライトモジュールである。したがって、可視光発光部９０１は、夜間やトンネル等の暗環境において移動体７００の運転者が視覚的情報を取得するために人が見ることのできる可視光を放射する機能を有する。

発光制御部９０２は、通信部９０３を経由してカメラ６００のカメラ制御部６０５が送信した基準信号を受信し、その基準信号を基準として、所定のタイミングでパルス信号を生成し、可視光発光部９０１へ出力する。ここで、発光制御部９０２は基準信号からパルスを出力するまでの期間や、パルス出力幅、パルス非出力幅、またパルス出力から次のパルス出力までの繰り返し周期や繰り返し回数等を設定可能である。カメラ制御部６０５が通信部６０７、通信部９０３を介して発光制御部９０２に対して所定の値を設定することで、基準信号を基準とした所定のタイミングでパルス信号が可視光発光部９０１へ出力され、可視光発光器９００の発光期間が制御される。このように発光制御部９０２は光電変換素子１００へ入力された基準信号と同一の信号を基準として発光制御される。

通信部５０３は、カメラ６００の通信部６０７と通信し、カメラ制御部６０５から発光制御部９０２への設定情報や基準信号を受信し、発光制御部９０２へ送信する。

図１４は１フレーム時間あたりのカラー画像と可視光を使ったレンジゲート画像を得るための制御動作を説明したタイミングチャートである。本実施形態では、レンジゲート画像は可視光発光器９００による発光と同期させた露光によって画像を生成することで得る。

図１４において垂直同期信号は撮像のフレーム周期を示し、Ｌｏｗパルスから次のＬｏｗパルスの間の期間が１フレーム時間である。次にＲ－Ｇ１－Ｂ用カウントイネーブルの波形はＲ信号、Ｇ１信号、Ｂ信号それぞれの信号処理回路にカウントイネーブル生成部１０４が出力するカウントイネーブル信号の光子数のカウント開始と終了のタイミングを示す。そしてＲ－Ｇ１－Ｂ用カウンタ値はＲ信号、Ｇ１信号、Ｂ信号それぞれの信号処理回路内部のカウンタ回路２１１の光子のカウント数の増減の状態を示す。なお、Ｒ－Ｇ１－Ｂ用カウンタ値は、可視光発光器９００による発光の反射光も含まれるため、カウント数は第１実施形態に比べ多い傾向となる。可視光発光制御は可視光発光器９００での発光タイミングを示し、Ｇ２用カウントイネーブルはＧ２信号の信号処理回路にカウントイネーブル生成部１０４が出力するカウントイネーブル信号の光子数のカウント開始と終了のタイミングを示す。Ｇ２用カウンタ値はＧ２信号の信号処理回路内部のカウンタ回路２１１の光子のカウント数の増減の状態を示す。

まず、カラー画像を得るためのＲ－Ｇ１－Ｂ制御について説明する。本制御において、Ｒ－Ｇ１－Ｂ用カウントイネーブルが開始し終了するまでの期間中に、Ｒ－Ｇ１－Ｂ用カウンタ値は０から徐々に増加する。Ｒ－Ｇ１－Ｂ用カウントイネーブルが開始し終了するまでの期間が露光時間である。Ｒ－Ｇ１－Ｂ用カウントイネーブルが終了した後に、Ｒ－Ｇ１－Ｂ用カウンタ値の情報はカウンタ回路２１１からメモリ回路２１２に送られ、ＲＥＳ信号によってＲ－Ｇ１－Ｂ用カウンタ値はリセットされる。Ｒ－Ｇ１－Ｂ用カウントイネーブルが開始し終了するまでの露光時間は１フレーム時間内で行われる。このように生成されたＲ信号、Ｇ１信号、Ｂ信号は画像処理部６０３にてデモザイク処理されカラー画像（ＲＧＢ画像、第１の画像データ）が生成される。

次に第２実施形態において可視光によってレンジゲート画像を得るためのレンジゲート制御について説明する。本制御において、可視光の発光期間は発光制御部９０２によってパルス状に制御され、光子数のカウントは特定のレンジからの可視光の反射光のみに対して行われる。よって、本実施形態が効果的であるのは夜間等の外光の少ない環境である。

また、レンジゲート制御のための、発光と露光（Ｇ２用カウンタイネーブル）のタイミング制御は第１実施形態のタイミング制御と同様であり、所定のターゲット距離の範囲に合わせて可視光発光開始と露光開始のタイミングを同期させている。

なお、第２実施形態の発光器である可視光発光器９００にはヘッドライトモジュールが想定される。その場合、レンジゲート制御だけでなく、移動体７００の運転者の視認性を補助する役割も担うため、可視光発光制御は露光の有無つまりＧ２用カウンタイネーブルが動作しているかどうかに関わらず、発光は継続されている。

なお、人の目の時間分解能は約５０ｍｓｅｃ～１００ｍｓｅｃ程度であり、この時間よりも短い光の点滅は連続点灯しているように知覚される。そのため、本実施形態のようなｎｓｅｃオーダーのパルス発光を繰り返しても人の目にちらついて見えることはなく、運転者の視認性を妨げるものではない。また、連続光源に相当する平均光出力を有するようにすることで連続光源に相当する光源レベルを達成することが可能である。よって、外光の少ない環境で、運転者の視認性を妨げずにレンジゲート制御が可能となる。

図示のように１フレーム時間内でレンジゲート動作サイクルは設定された所定の複数回実施される。そして、１フレーム時間内で最後に加算されたＧ２用カウンタ値の情報はカウンタ回路２１１からメモリ回路２１２に送られ、その後にＧ２用カウンタ値はＲＥＳ信号によってリセットされる。また、このように生成されたＧ２信号はＲ信号、Ｇ１信号、Ｂ信号とは個別に画像処理部６０３によって処理され、Ｇ２信号のみを用いたモノクロ画像（第２の画像データ）が生成される。

以上の制御によりＲ－Ｇ１－Ｂ制御において、露光期間はレンジゲート制御に比べ、長く、光子を蓄積しやすいため夜間といった暗く単位時間当たりの反射光量が少なくなる時間帯においても良好なカラー画像が得られる。また、レンジゲート制御のように発光に同期させた露光制御を実施していないため、距離に関係のなく反射光を露光することができ、様々な距離にある被写体を映したカラー画像を得ることが可能である。

一方で、レンジゲート制御において、露光期間は可視光発光器９００による発光と同期しているため、狙ったレンジに対して霧といった悪天候下であっても明瞭なＧ２画像（モノクロ画像）を得ることが可能である。

このように本実施形態では、カウントイネーブル生成をＲ－Ｇ１－Ｂ側の画素とＧ２側の画素でそれぞれ個別に生成する。これにより、レンジゲート制御されていないカラー画像とレンジゲート制御されたＧ２画像（モノクロ画像）を同時に得ることが可能となっている。

車両に本カメラを搭載することを想定した場合に、ＩＲ発光器の搭載が不要になる。そして車両にあらかじめ搭載されているＬＥＤヘッドライトモジュールを可視光発光器９００として制御することで、レンジゲート制御を実現でき、第１実施形態に対してＩＲ発光器の搭載コストを削減可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

１１センサ基板
１２画素領域
２１回路基板
２２回路領域
３０カラーフィルタ
３１ＲＧＢフィルタ
３２ＩＲフィルタ
１００光電変換素子
１０１画素
１０２光電変換部
１０３信号処理回路
１０４カウントイネーブル生成部
２１０波形整形部
２１１カウンタ回路
２１２メモリ回路
２１３駆動線
５００ＩＲ発光器
５０１ＩＲ発光部
５０２ＩＲ発光制御部
５０３通信部
６００カメラ
６０１結像光学系
６０３信号処理部
６０４認識部
６０５カメラ制御部

Claims

特定の波長の光を透過させるカラーフィルタと、
前記カラーフィルタの周波数特性と対応した波長の光を、１フレーム期間内に複数回発する発光部と、
前記カラーフィルタを透過した光の光子の受光頻度に応じてパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素部と、
前記カウンタのカウント期間を制御するカウントイネーブル信号を生成するカウントイネーブル生成部と、
を備え、
前記カウントイネーブル生成部は、前記発光部の発光タイミングと非同期で１フレーム期間内のイネーブル期間が１回である第１のカウントイネーブル信号、または前記発光部の発光タイミングと同期した１フレーム期間内のイネーブル期間が複数回である第２のカウントイネーブル信号、のいずれかを生成することを特徴とする撮像装置。
前記カウントイネーブル生成部は、前記発光部の発光タイミングと、撮像対象のターゲット距離範囲と、に基づいて前記カウントイネーブル信号を生成する、
ことを特徴とする請求項１に記載の撮像装置。
前記カウントイネーブル生成部は、前記カウントイネーブル信号を前記カラーフィルタに対応した画素部ごとに異なる信号として生成し、さらに一部のカラーフィルタに対応した画素部に対して前記発光部の発光タイミングと同期した信号としてカウントイネーブル信号を生成する、
ことを特徴とする請求項１に記載の撮像装置。
前記発光部は、ＩＲ発光を行い、
前記カラーフィルタは、カラーフィルタの一部がＩＲフィルタで構成され、
前記カウントイネーブル生成部は、前記発光部の発光タイミングと同期した信号としてカウントイネーブル信号を生成して前記ＩＲフィルタに対応した画素部へ供給する、
ことを特徴とする請求項３に記載の撮像装置。
前記カラーフィルタは、ＲＧＢ－ＩＲフィルタである、
ことを特徴とする請求項４に記載の撮像装置。
前記発光部の発光タイミングと同期しないカウントイネーブル信号によって生成された画素信号から第１の画像データを生成し、前記発光部の発光タイミングと同期したカウントイネーブル信号によって生成された画素信号から第２の画像データを生成する画像処理部をさらに有する、
ことを特徴とする請求項１に記載の撮像装置。
前記第１の画像データをカラー画像とし、前記第２の画像データをモノクロ画像とする、
ことを特徴とする請求項６に記載の撮像装置。
前記第１の画像データおよび前記第２の画像データに対して認識処理を実行する認識処理部をさらに有する、
ことを特徴とする請求項６に記載の撮像装置。
前記認識処理部による前記第１の画像データの認識結果と、前記第２の画像データの認識結果と、を前記第１の画像データに重畳する、
ことを特徴とする請求項８に記載の撮像装置。
前記認識処理部による前記第１の画像データの認識結果と、前記第２の画像データの認識結果と、に基づいて前記第１の画像データと前記第２の画像データの合成画像を生成する、
ことを特徴とする請求項８に記載の撮像装置。
前記発光部は、可視光発光を行い、
前記カウントイネーブル生成部は、前記発光部の発光タイミングと同期した信号としてカウントイネーブル信号を生成し、前記カラーフィルタに対応した一部の画素部へ供給する、
ことを特徴とする請求項３に記載の撮像装置。
前記カラーフィルタは、Ｒ－Ｇ１－Ｇ２－Ｂフィルタであり、
前記カウントイネーブル生成部は、前記発光部の発光タイミングと同期した信号としてカウントイネーブル信号を、Ｇ１またはＧ２のどちらか一方のカラーフィルタに対応した画素部へ供給する、
ことを特徴とする請求項１１に記載の撮像装置。
前記発光部の発光タイミングと同期しないカウントイネーブル信号によって生成されたＧ１またはＧ２のどちらか一方の画素信号と、Ｒ画素信号と、Ｂ画素信号と、から第１の画像データを生成し、前記発光部の発光タイミングと同期したカウントイネーブル信号によって生成されたＧ１またはＧ２のどちらか一方の画素信号から第２の画像データを生成する画像処理部を有する、
ことを特徴とする請求項１２に記載の撮像装置。
前記第１の画像データをカラー画像とし、前記第２の画像データをモノクロ画像とする、
ことを特徴とする請求項１３に記載の撮像装置。
前記第１の画像データおよび前記第２の画像データに対して認識処理を実行する認識処理部をさらに有する、
ことを特徴とする請求項１３に記載の撮像装置。
前記認識処理部による第１の画像データの認識結果と、前記第２の画像データの認識結果と、を前記第１の画像データに重畳する、
ことを特徴とする請求項１５に記載の撮像装置。
前記認識処理部による第１の画像データの認識結果と、前記第２の画像データの認識結果と、に基づいて前記第１の画像データと前記第２の画像データの合成画像を生成する、
ことを特徴とする請求項１５に記載の撮像装置。
特定の波長の光を透過させるカラーフィルタと、
前記カラーフィルタの周波数特性と対応した波長の光を、１フレーム期間内に複数回発する発光部と、
前記カラーフィルタを透過した光の光子の受光頻度に応じてパルスを発するセンサ部と、
前記パルスの数をカウントするカウンタと、前記カウンタのカウント値を記憶するメモリと、をそれぞれ備える複数の画素部と、
前記カウンタのカウント期間を制御するカウントイネーブル信号を生成するカウントイネーブル生成部と、
を備える撮像方法であって、
前記カウントイネーブル生成部は、前記発光部の発光タイミングと非同期で１フレーム期間内のイネーブル期間が１回である第１のカウントイネーブル信号、または前記発光部の発光タイミングと同期した１フレーム期間内のイネーブル期間が複数回である第２のカウントイネーブル信号、のいずれかを生成することを特徴とする撮像方法。