JP2013126165A - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】可視光及び予め定められた波長域の照明光に感度を有する１つの撮像部を用いて、該照明光の影響による色彩の劣化が抑制された可視画像を得る。
【解決手段】可視光及び予め定められた波長域の照明光に感度を有する複数の画素が配列され、複数のフレームからなる動画像を撮像する撮像部１２と、撮像部１２の撮像領域に照明光を照射する照射部１４と、照射部１４の点灯及び消灯を制御する照明光制御部１６と、撮像部１２により撮像された複数のフレームから、照射部１４の消灯期間に撮像されたフレームを選択する選択部１８と、選択部１８で選択されたフレームを、撮像部１２の撮像領域の可視画像を表わすフレームとして出力する出力部２４と、を備える。
【選択図】図１

Description

開示の技術は撮像装置、撮像方法及びプログラムに関する。

カメラを使った計測技術として、光源により対象物を照射し、その反射光をカメラで受光して撮像し、対象物を計測する技術（アクティブセンシングという場合もある）が、広く知られている。アクティブセンシングによる計測技術には、例えば、距離計測や、視線計測など、様々な計測技術がある。アクティブセンシングでは、例えば、赤外光を照射する近赤外光源など（近赤外ＬＥＤなど）を光源として用い、カメラは赤外光に感度のあるものを用いることが多い。

赤外画像を得る装置として、例えば、１フレーム走査期間おきに赤外のパルス光を照射し、可視光画像を１フレーム走査期間毎に生成し、パルス光の照射時の赤外画素信号からパルス光の非照射時の赤外画素信号を減算する技術が知られている。

一方、通常のカラー画像（可視画像）を撮像するカメラは、人間の色覚に近い色を再現するため、可視光のみが受光されるよう構成されている。カメラが可視域だけでなく赤外域にも感度を有すると、赤外光の影響により、人間が感じる色とは異なる色の画像が撮像されてしまうからである。このようなカメラには、通常、赤外光をカットするフィルタが設けられていることが多い。

また、可視域及び赤外域の双方に感度を有する１台のカメラを、赤外光を用いたアクティブセンシング用、及び通常の可視画像の動画撮像用として共用し、アクティブセンシング及び可視画像の動画撮像を同時に行いたいという要望もある。

これに対して、Ｒ（赤）Ｇ（緑）Ｂ（青）を受光する画素と赤外光Ｉｒを受光する画素で構成されたイメージセンサを搭載したカメラが知られている。このカメラでは、ＲＧＢＩｒのいずれかの光を透過するフィルタが各画素に取り付けられるが、赤外光用の画素の分だけ可視画像の分解能も低下する。また、可視光用フィルタ及び赤外光用フィルタを有するカラーディスクを回転させて可視画像及び赤外画像の両者を撮像する技術も知られているが、製造コストが高くなる。

従って、赤外光をカットするフィルタを設けず、各画素が可視域及び赤外域の双方に感度を有する１台のカメラを用いて、アクティブセンシング及び可視画像の動画撮像を同時に行うことができることが望ましい。しかしながら、前述したように、赤外域にも感度があるカメラでは、赤外光の影響を受けた可視画像が撮像されてしまう。

これに対して、赤外光照射による色の劣化をマトリックス補正により補正する技術が知られている。

特開２００８−８７００号公報 特開２００５−３３１４１３号公報 特開平７−２４６１８５号公報 特許４３９７７２４号公報

ところで、色彩の劣化度は赤外光の強度に依存するため、赤外光の強度に応じた強度で補正処理を施す必要があるが、赤外光の強度が撮像領域の部位によって異なる場合がある。例えば、室内の照明は室内全体に届いており、赤外光の光源に近い対象物にだけ、光源からの赤外光が照射されているような場合である。この場合、光源に近い対象物は赤外光を有する照射を強く受け、光源から遠い領域には赤外光が届かないため、赤外光による色彩の劣化度が部位により異なる。このように部位毎に赤外光の強度が異なる状況において、上記従来技術では、画像全体を適正に補正することは困難である。

また、アクティブセンシング用に赤外光のドットパターンを照射する場合もある。この場合には、更に補正が難しい。なお、アクティブセンシングにおいて、赤外光ではなく特定の波長域の可視光を照射する場合も想定されるが、この場合も、同様の問題が生じる。

開示の技術は、可視光及び予め定められた波長域の照明光に感度を有する１つの撮像部を用いて、該照明光の影響による色彩の劣化が抑制された可視画像を得ることを目的とする。

開示の技術では、可視光及び予め定められた波長域の照明光に感度を有する複数の画素が配列され、複数のフレームを有する動画像を撮像する撮像部の撮像領域に前記照明光を照射する照射部の点灯及び消灯を制御する。更に、開示の技術では、前記撮像部により撮像された複数のフレームから、前記照射部の消灯期間に撮像されたフレームを選択し、前記選択されたフレームを、前記撮像領域の可視画像を表わすフレームとして出力する。

開示の技術は、可視光及び予め定められた波長域の照明光に感度を有する１つの撮像部を用いて、該照明光の影響による色彩の劣化が抑制された可視画像を得ることができる、という効果を有する。

第１実施形態で説明した撮像装置の概略構成を示すブロック図である。 撮像装置をプログラムによって実現する態様におけるハードウェア構成の一例を示す概略ブロック図である。 第１実施形態で説明した撮像処理を示すフローチャートである。 第１実施形態で説明した撮像処理におけるタイミングチャートの一例である。 第１実施形態で説明した撮像処理の変形例を示すフローチャートである。 第１実施形態で説明した撮像装置の概略構成の変形例を示すブロック図である。 第２実施形態で説明した撮像装置の概略構成を示すブロック図である。 第２実施形態で説明した判断・撮像処理を示すフローチャートである。 ｘ値及びｙ値のヒストグラムの具体例を示す図である。 第２実施形態で説明した常時照射撮像処理を示すフローチャートである。 第２実施形態で説明した判断・撮像処理の変形例を示すフローチャートである。 (Ａ)は、照射部を点灯した状態で撮像されたフレームを複数の領域に分割した状態を示す例、(Ｂ)は照射部を消灯した状態で撮像されたフレームを複数の領域に分割した状態を示す例である。 第２実施形態で説明した判断・撮像処理の変形例を示すフローチャートである。 第２実施形態で説明した撮像装置の概略構成の変形例を示すブロック図である。 第３実施形態で説明した撮像装置の概略構成を示すブロック図である。 第３実施形態で説明した撮像処理を示すフローチャートである。 第３実施形態で説明した撮像処理におけるタイミングチャートの一例である。 第３実施形態で説明した撮像装置の概略構成の変形例を示すブロック図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

〔第１実施形態〕

図１には、本実施形態に係る撮像装置１０が示されている。撮像装置１０は、撮像部１２、照射部１４、照明光制御部１６、選択部１８、計測部２０、フレーム生成部２２、出力部２４、及び同期制御部２６を備えている。なお、撮像部１２及び照射部１４を除く撮像装置１０の各機能部は例えば電子回路等で実現することができる。また、撮像部１２及び照射部１４を除く撮像装置１０を、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現してもよい。また撮像装置１０は、利用者による操作入力を受け付ける入力デバイスである操作部を更に備えていてもよい。

撮像部１２は、可視光及び予め定められた波長域の照明光に感度を有する複数の画素が配列され、撮像領域を撮像する。本実施の形態では、該予め定められた波長域の照明光を、赤外光を主たる成分とする光（以下、単に赤外光という）とする。撮像部１２は例えばＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を含む撮像部であってもよい。撮像部１２に配列された複数の画素の各々には、Ｒ（赤），Ｇ（緑），Ｂ（青）のいずれかのカラーフィルタが積層されており、カラーの可視画像の撮像が可能に構成されている。ＲＧＢのカラーフィルタの配列は、ベイヤ配列等周知の配列とされる。本実施の形態では、撮像部１２には、赤外光をカットするフィルタは配置されていない。従って、撮像部１２の各画素は、赤外域にも感度を有する。

また、撮像部１２は、静止画撮像だけでなく、複数のフレームを有する動画像を撮像することが可能に構成されている。以下では、動画像の撮像に着目して説明する。なお、本実施形態において、撮像部１２は、予め定められたフレームレートで動画像の撮像を行うものとする。撮像部１２は、動画像の撮像により得られた各撮像画像（フレーム）の画像データを選択部１８に出力する。なお、本実施形態に係る撮像装置１０は、上記の撮像部１２が設けられた電子機器（例えばデジタルカメラや携帯端末等）としてもよい。

照射部１４は、撮像部１２の撮像領域に赤外光を照射する。照射部１４は、例えば、赤外光を照射するＬＥＤとすることができる。なお、照射部１４が照射する照明光は、赤外光に限定されない。例えば、照射部１４が照射する照明光を、近赤外光としてもよいし、可視域のうち特定の波長域の光としてもよい。照射部１４の点灯及び消灯は、照明光制御部１６により制御される。

選択部１８は、撮像部１２から出力される複数のフレームの画像データの各々から、照射部１４の消灯期間に撮像されたフレームの画像データを可視画像を表わすフレームの画像データとして選択する。選択部１８は、選択したフレームの画像データをフレーム生成部２２に入力する。また、選択部１８は、選択しなかったフレームの画像データ（照射部１４の点灯期間に撮像されたフレームの画像データ）を計測部２０に入力する。

計測部２０は、選択部１８から入力されたフレームの画像データを用いて予め定められた計測処理を行う。本実施形態では、計測部２０は、撮像部１２の撮像領域に存在する視線を計測する視線計測処理を行うものとする。視線計測は、例えば、「“角膜反射を用いた三次元視線計測手法”、画像ラボ2010.12月号、p.57」において、述べられている方式等を用いればよい。

フレーム生成部２２は、選択部１８から入力されたフレームの画像データを出力部２４に入力する。また、フレーム生成部２２は、照射部１４の点灯期間に対応するフレームの画像データを生成して出力部２４に入力する。フレーム生成部２２には、少なくとも１フレーム分の画像データが保持可能なフレームバッファが設けられている。フレーム生成部２２は、選択部１８から１フレーム分の画像データが入力される毎に、入力された画像データをフレームバッファに格納する。本実施形態において、フレーム生成部２２は、フレームバッファに格納された画像データを複写することで画像データの生成を行う。

出力部２４は、フレーム生成部２２から入力されたフレームの画像データを、撮像領域の可視画像を表わすフレームの画像データとして外部に出力する。出力先は、例えば、後述するディスプレイ３２であってもよいし、外付けの記憶装置であってもよいし、通信ネットワークに接続された外部の装置であってもよい。

同期制御部２６は、予め定められた間隔で発生するクロック信号に従ってカウントアップする同期用タイマ４４（図２も参照）のカウント値により、照明光制御部１６、選択部１８、及びフレーム生成部２２の同期をとる。

なお、撮像装置１０の撮像部１２及び照射部１４を除く各機能は、例えば図２に示すコンピュータ４８でも実現することができる。コンピュータ４８はＣＰＵ３０、ディスプレイ３２、操作部の一例としてのキーボード３４、撮像部ＩＦ(Interface)３６、照射部ＩＦ３８、不揮発性の記憶部４０、メモリ４２、及び同期用タイマ４４を備え、これらはバス４６を介して互いに接続されている。撮像部ＩＦ３６には、撮像部１２が接続され、照射部ＩＦ３８には照射部１４が接続される。

記憶部４０には、撮像部１２及び照射部１４が接続されたコンピュータ４８を撮像装置として機能させるための撮像プログラムが記憶されている。ＣＰＵ３０は、撮像プログラムを記憶部４０から読み出してメモリ４２に展開し、撮像プログラムが有するプロセスを実行する。

撮像プログラムは、照明光制御プロセス、選択プロセス、フレーム生成プロセス、出力プロセス、計測プロセス、及び同期制御プロセスを有する。ＣＰＵ３０は、照明光制御プロセスを実行することで、図１に示す照明光制御部１６として動作する。またＣＰＵ３０は、選択プロセスを実行することで、図１に示す選択部１８として動作する。またＣＰＵ３０は、フレーム生成プロセスを実行することで、図１に示すフレーム生成部２２として動作する。またＣＰＵ３０は、出力プロセスを実行することで、図１に示す出力部２４として動作する。またＣＰＵ３０は、計測プロセスを実行することで、図１に示す計測部２０として動作する。またＣＰＵ３０は、同期制御プロセスを実行することで、図１に示す同期制御部２６として動作する。これにより、撮像部１２及び照射部１４が接続された状態で撮像プログラムを実行したコンピュータ４８が、撮像装置１０として機能することになる。

本実施形態では、撮像部１２は、30fps(frame per second)で動画像を撮像するものとする。また、角膜反射法による視線計測は、１／１０秒毎に実施（１秒間に３回実施）することとする。また、同期用タイマ４４は、フレームレートに対応する時間間隔、すなわち１／３０秒毎にカウントアップするものとする。なお、撮像部１２のフレームレート及び視線計測のタイミングは一例であって、これに限定されるものではない。

次に本実施形態の作用として、撮像装置１０で行われる撮像処理について、図３を参照して説明する。本実施形態において、撮像処理の開始時点では、照射部１４は消灯状態とされている。

図３に示す撮像処理では、まず同期制御部２６は、同期用タイマ４４を初期化しカウント値を０にリセットする(ステップ２００)。更に、撮像部１２による所定のフレームレート（本実施形態では30fps）での動画像の撮像も開始される。

ステップ２０２では、同期制御部２６は、同期用タイマ４４のカウント値が１０の倍数であるか否かを判断する。

同期制御部２６は、ステップ２０２で否定判断した場合には、同期用タイマ４４のカウント値が１０の倍数ではない場合の処理が行われるように照明光制御部１６、選択部１８、及びフレーム生成部２２を制御する。これにより、各部で以下の処理が行われる。

まず、照明光制御部１６は、照射部１４が点灯しないように（消灯状態が継続されるように）照射部１４を制御する（図３では不図示）。この消灯期間に、撮像部１２により１フレーム分の撮像が行われる。

ステップ２０４で、選択部１８は、該撮像されたフレームの画像データを選択する。そして、選択部１８は、該選択したフレームの画像データをフレーム生成部２２に入力する。これにより、フレーム生成部２２は選択部１８から入力されたフレームの画像データを、フレームバッファに記憶する。

ステップ２２８では、フレーム生成部２２は、上記選択部１８から入力された画像データをそのまま出力部２４に入力する。出力部２４は、選択部１８で選択されたフレームの画像データを、撮像領域の可視画像を表わすフレームの画像データとして、予め定められた出力先に出力する。

一方、同期制御部２６は、ステップ２０２で肯定判断した場合には、同期用タイマ４４のカウント値が１０の倍数である場合の処理が行われるように照明光制御部１６、選択部１８、及びフレーム生成部２２を制御する。これにより、各部で以下の処理が行われる。

まず、照明光制御部１６は、撮像部１２により１フレーム分の撮像が可能な期間、撮像部１２の撮像領域に赤外光が照射されるように照射部１４を点灯制御する（ステップ２１０）。この照射部１４の点灯期間中に、撮像部１２により１フレーム分の撮像が行われる。照明光制御部１６は、１フレーム分の撮像が可能な期間、照射部１４を点灯させた後、消灯させる。

その後、ステップ２１２で、選択部１８は、撮像部１２により撮像されたフレームの画像データを取得する。選択部１８は、該取得した画像データを、視線計測のために用いる画像データとして、計測部２０に入力し、計測部２０に視線計測を行わせる。
ステップ２１４では、計測部２０が、視線計測を行う。ステップ２１６では、計測部２０は、視線計測結果を出力する。視線計測結果の出力先は、撮像装置１０に設けられた、視線計測の結果を用いて予め定められた処理を行う不図示の構成要素としてもよいし、外部の装置としてもよい。

ステップ２１８では、フレーム生成部２２が、照射部１４の今回の点灯期間の直前の消灯期間において最後に撮像されたフレームの画像データをコピーして、該点灯期間に対応する撮像領域の可視画像を表わすフレームを生成する。本実施形態では、フレームバッファに保持されているフレームの画像データを読み出して用いる。生成されたフレームの画像データは、出力部２４に入力される。出力部２４は、入力された画像データを、照射部１４の今回の点灯期間に対応する可視画像を表わすフレームの画像データとして出力する（ステップ２２０）。

ステップ２２８及びステップ２２０の後、ステップ２３０で、同期制御部２６は、同期用タイマ４４のカウント値がインクリメント（１つカウントアップ）したか否かを判断する。同期制御部２６は、同期用タイマ４４のカウント値がインクリメントするまで待機し、インクリメントした後は、ステップ２０２に戻って、インクリメント後のカウント値が１０の倍数か否かを判断し、上記と同様の処理を行う。

以上説明した処理により、本実施形態では、図４のタイミングチャートに示すように、照射部１４の点灯・消灯、撮像部１２の動画像の各フレームの撮像、計測部２０による計測、出力部２４の可視画像を表わすフレームの画像データの出力の各々が行われる。

すなわち、１／１０秒毎（１０フレーム毎）に、照射部１４が点灯して、視線計測が行われる。本実施形態では、照射部１４の点灯期間に撮像されたフレームの画像データは、撮像領域の可視画像を表わすフレームの画像データとしては選択されない。従って、照射部１４の点灯期間に対応する可視画像の画像データが欠落する。このため、本実施形態では、フレーム生成部２２が、このタイミングのフレームに対応する可視画像の画像データを生成するようにしている（図４の「可視画像」における矢印も参照）。例えば、同期用タイマ４４のカウント値が１０のときの可視画像のフレームは、カウント値が９のときの可視画像のフレームがコピーされて生成されたフレームとなる。

このように、本実施形態では、照射部１４の消灯期間に撮像されたフレームのみで、可視画像の動画像を作成できる。従って、照射部１４の照明による色劣化のない映像を取得できる。

なお、フレーム生成部２２のフレーム生成方法は、上記例に限定されない。例えば、フレーム生成部２２は、照射部１４の点灯期間の直後の消灯期間において最初に撮像されたフレームを複写して、照射部１４の点灯期間に対応する撮像領域の可視画像を表わすフレームを生成するようにしてもよい。

また、照射部１４の点灯期間の直前の消灯期間において最後に撮像されたフレームと、照射部１４の点灯期間の直後の消灯期間において最初に撮像されたフレームとを用いてフレーム補間を行って、フレームを生成するようにしてもよい。ここでフレーム補間とは、フレーム間の動き推定を行い、該推定結果に基づいてフレーム間に内挿する補間フレームを生成することをいう。この場合において、フレーム生成部２２は、照射部１４の点灯期間前後の２つのフレームの画像データを格納するため、少なくとも２つのフレームバッファを有する。フレーム生成部２２は、選択部１８で選択されたフレームの画像データが入力される度に、画像データの格納先を交互に切替える。フレーム補間の際には、各フレームバッファに格納された２つのフレームの画像データが用いられる。

この場合の撮像処理の流れを図５に示す。図５に示す撮像処理では、まず同期制御部２６は、同期用タイマ４４を初期化しカウント値を０にリセットする(ステップ２５０)。ステップ２５２では、同期制御部２６は、同期用タイマ４４のカウント値が１０の倍数であるか否かを判断する。

同期制御部２６は、ステップ２５２で肯定判断した場合には、同期用タイマ４４のカウント値が１０の倍数である場合の処理が行われるように照明光制御部１６、選択部１８を制御する。これにより、各部で以下の処理が行われる。

まず、照明光制御部１６は、撮像部１２により１フレーム分の撮像が可能な期間、赤外光が照射されるように照射部１４を点灯制御する（ステップ２６２）。この照射部１４の点灯期間中に、撮像部１２により１フレーム分の撮像が行われる。照明光制御部１６は、１フレーム分の撮像が可能な期間、照射部１４を点灯させた後、消灯させる。

その後、ステップ２６４で、選択部１８は、撮像部１２により撮像されたフレームの画像データを取得する。選択部１８は、該取得した画像データを、視線計測のために用いる画像データとして、計測部２０に入力し、計測部２０に視線計測を行わせる。ステップ２６６では、計測部２０が、視線計測を行う。ステップ２６８では、計測部２０は、視線計測結果を出力する。

一方、同期制御部２６は、ステップ２５２で否定判断した場合には、カウント値が１０の倍数ではない場合の処理が行われるように照明光制御部１６、選択部１８、及びフレーム生成部２２を制御する。これにより、各部で以下の処理が行われる。

まず、照明光制御部１６は、照射部１４が点灯しないように（消灯状態が継続されるように）照射部１４を制御する（図５では不図示）。この消灯期間に、撮像部１２により１フレーム分の撮像が行われる。ステップ２５４で、選択部１８は、該撮像されたフレームの画像データを選択する。そして、選択部１８は、該選択したフレームの画像データをフレーム生成部２２に入力する。フレーム生成部２２は選択部１８から入力されたフレームの画像データを、一方のフレームバッファに記憶する。

ステップ２５６では、同期制御部２６は、同期用タイマ４４のカウント値が１０の倍数＋１であるか否かを判断する。同期制御部２６は、ステップ２５６で肯定判断した場合には、カウント値が１０の倍数＋１である場合の処理が行われるようにフレーム生成部２２を制御する。これにより、フレーム生成部２２では以下の処理が行われる。

ステップ２５８では、フレーム生成部２２は、２つのフレームバッファに記憶されている画像データを用いてフレーム補間処理を行い、直前の照射部１４の点灯期間に対応する可視画像のフレームの画像データを生成する。すなわち、フレーム生成部２２は、２つ前のフレームの画像データと、今回の撮像されたフレームの画像データとを用いてフレーム補間を行っている。フレーム生成部２２は、フレーム補間により生成したフレームの画像データを出力部２４に入力する。このように、フレーム補間を行ってフレーム生成する場合には、補間するフレームに対して、点灯期間の直前に撮像されたフレームだけでなく、直後に撮像されたフレームも必要になるため、出力が１フレーム分遅れるが、品質の高いフレームの生成が可能となる。

なお、フレーム生成部２２により行われるフレーム補間は、周知の技術を用いることができる。例えば、特開２００９−８１５６１号公報に記載のフレーム補間方法を用いてもよい。具体的には、現フレームと前フレームとの入力時刻の差分と、前フレームと前々フレームとの入力時刻の差分とを求め、これらの差分の比（スケール値）に基づいて予測ベクトルを算出し、前フレームと現フレームとの間の補間フレームを生成する。

図４に示すタイミングチャートを参照して例を挙げると、同期用タイマ４４のカウント値が１０のときの可視画像のフレームが、カウント値が９のときの可視画像のフレーム及びカウント値が１１のときの可視画像のフレームにより生成される。

ステップ２６０では、出力部２４は、入力された画像データを、直前の点灯期間に対応する可視画像を表わすフレームの画像データとして出力する。その後、ステップ２７０で、フレーム生成部２２は、ステップ２５４で選択され、フレームバッファの一方に格納された現フレームの画像データを、出力部２４に出力する。出力部２４は、入力された画像データを、可視画像を表わすフレームの画像データとして出力する。

また、同期制御部２６は、ステップ２５６で否定判断した場合には、カウント値が１０の倍数＋１ではない場合の処理が行われるようにフレーム生成部２２を制御する。これにより、フレーム生成部２２は、ステップ２５８、２６０をスキップし、ステップ２７０で、上述したように、ステップ２５４で選択され且つ２つのフレームバッファの一方に格納されたフレームの画像データを、出力部２４に出力する。出力部２４は、入力された画像データを、可視画像を表わすフレームの画像データとして出力する。

ステップ２６８及びステップ２７０の後、ステップ２７２で、同期制御部２６は、同期用タイマ４４のカウント値がインクリメント（１つカウントアップ）したか否かを判断する。同期制御部２６は、同期用タイマ４４のカウント値がインクリメントするまで待機し、インクリメントした後は、ステップ２５２に戻って、インクリメント後のカウント値が１０の倍数か否かを判断し、上記と同様の処理を行う。

なお、図６に示すように、選択部１８とフレーム生成部２２との間に、劣化補正部２１を設けて撮像装置５０を構成し、選択部１８で選択されたフレームに対して、赤外光の影響による色彩の劣化が補正されるように構成してもよい。ここで、選択部１８で選択されたフレームは照射部１４の消灯期間に撮像されたフレームではあるが、撮像領域に自然光や白熱電灯の光が照射されている場合には、自然光や白熱電灯の光に含まれる赤外域の波長の光の影響を受け色彩が劣化することがある。そこで、劣化補正部２１は、赤外光による可視画像の色彩への影響を補正する処理（劣化補正処理）を行う。劣化補正処理としては、周知の手法を用いることができる。例えば、特許第4397724号公報に記載されている手法を用いてもよい。以下、この手法を簡便に説明する。

補正対象のフレームのＲＧＢ信号Ｓ１に予め定めた第１の定数を指数としてべき乗することによってＲＧＢ信号Ｓ２を得る。また、該フレームのＲＧＢ信号Ｓ１に予め定めた第２の定数を指数としてべき乗することによってＲＧＢ信号Ｓ３を得る。そして、ＲＧＢ信号Ｓ１，Ｓ２，Ｓ３に対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行うことにより、劣化補正したＲＧＢ信号を求める。

ここで、上記各定数及び係数は、ＲＧＢ信号Ｓ１を生成する色信号生成部（本実施形態では、撮像部１２）と上記補正工程の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなるよう定められる。なおかつ、上記各定数及び係数は、上記総合的な特性が、色信号生成部の近赤外域での応答特性を補正するように定められる。

なお、撮像装置１０を前述したようにコンピュータ４８により実現する場合には、記憶部４０の撮像プログラムに、劣化補正プロセスを含めておく。これにより、またＣＰＵ３０は、劣化補正プロセスを実行することで、図６に示す劣化補正部２１として動作する。

〔第２実施形態〕

次に開示の技術の第２実施形態を説明する。なお、第２実施形態の撮像装置６０は、図７に示すように、第１実施形態で説明した撮像装置１０の構成に判断部２８を設けた構成となっている。従って、第１実施形態と同一部分には同一の符号を付して構成の説明を省略し、第１実施形態と異なる部分についてのみ説明する。

判断部２８は、事前に、照射部１４の点灯期間に撮像されたフレームと、照射部１４の消灯期間に撮像されたフレームとを比較して、照射部１４の照明光（本実施形態では赤外光）の点灯期間に撮像されたフレームの色彩に対する赤外光の影響の度合いを判断する。判断結果は、選択部１８及び同期制御部２６に入力される。

上記影響の度合いが予め定められた度合いより大きいと判断された判断結果が同期制御部２６に入力された場合には、選択部１８は、第１実施形態と同様に、照射部１４の消灯期間に撮像されたフレームを選択してフレーム生成部２２に出力する。

また、上記影響の度合いが予め定められた度合い以下である判断された判断結果が同期制御部２６に入力された場合には、同期制御部２６は、照明光制御部１６を介して、撮像部１２による動画像の撮像期間中は、継続して照射部１４を点灯させる。選択部１８は、該撮像期間中に照射部１４が点灯状態で撮像されたフレームの全てを選択する。この場合、選択部１８で選択されたフレームは、直接出力部２４に入力される。また、この場合、点灯期間に撮像されたフレームのうち、予め定められたタイミングで撮像されたフレームは、出力部２４だけでなく計測部２０にも入力され、計測処理に用いられる。

次に本第２実施形態の作用として、撮像装置５０で行われる判断・撮像処理について、図８を参照して説明する。

図８に示す判断・撮像処理では、ステップ１００において、照明光制御部１６が照射部１４を制御して点灯させた状態で、撮像部１２が１フレーム撮像し、照明光制御部１６が照射部１４を制御して消灯させた状態で、撮像部１２が１フレーム撮像する。判断部２８は、照射部１４の点灯期間に撮像されたフレーム（以下、点灯画像という）の画像データ及び照射部１４の消灯期間に撮像されたフレーム（以下、消灯画像という）の画像データを取得する。なお、ここでは、照射部１４を点灯させて撮像した後消灯させて撮像する例について説明したが、照射部１４を消灯させて撮像した後点灯させて撮像するようにしてもよい。

ステップ１０２では、判断部２８は、点灯画像及び消灯画像の各画素のＲＧＢ値を、周知の変換式を用いてＸＹＺ表色系におけるｘｙ値に変換する。

ステップ１０４では、判断部２８は、点灯画像及び消灯画像の各々の、上記変換して求めたｘ値及びｙ値の各々について、図９（Ａ）及び（Ｂ）に示すようにヒストグラムを生成する。

ステップ１０６では、判断部２８は、上記生成した点灯画像のｘ値のヒストグラムに基づいて、ｘ値全体の中から上位１％の位置にあるｘ値を算出すると共に、下位１％の位置にあるｘ値を算出する。また、判断部２８は、上記生成した点灯画像のｙ値のヒストグラムに基づいて、ｙ値全体の中から上位１％の位置にあるｙ値を算出すると共に、下位１％の位置にあるｙ値を算出する。更に、判断部２８は、上記生成した消灯画像のｘ値のヒストグラムに基づいて、ｘ値全体の中から上位１％の位置にあるｘ値を算出すると共に、下位１％の位置にあるｘ値を算出する。また、判断部２８は、上記生成した消灯画像のｙ値のヒストグラムに基づいて、ｙ値全体の中から上位１％の位置にあるｙ値を算出すると共に、下位１％の位置にあるｙ値を算出する。

なお、以下では、上位１％の位置にあるｘ値を「上位１％のｘ値」と呼称し、上位１％の位置にあるｙ値を「上位１％のｙ値」と呼称する。

ステップ１０８では、判断部２８は、点灯画像のｘ値のヒストグラムについて、上位１％のｘ値と下位１％のｘ値の差を分布幅（分布幅Ａｘ）として求める。また、判断部２８は、消灯画像のｘ値のヒストグラムについて、上位１％のｘ値と下位１％のｘ値との差を分布幅（分布幅Ｂｘ）として求める。そして、判断部２８は、分布幅Ａｘの分布幅Ｂｘに対する比Ｃｘを求める。更に、判断部２８は、点灯画像のｙ値のヒストグラムについて、上位１％のｙ値と下位１％のｙ値の差を分布幅（分布幅Ａｙ）として求める。また、判断部２８は、消灯画像のｙ値のヒストグラムについて、上位１％のｙ値と下位１％のｙ値との差を分布幅（分布幅Ｂｙ）として求める。そして、判断部２８は、分布幅Ａｙの分布幅Ｂｙに対する比Ｃｙを求める。なお、比Ｃｘ、Ｃｙは、照射部１４の照明光の点灯期間に撮像されたフレームの色彩に対する赤外光の影響の度合いを示す値として用いられる。

ここで、ｘ値及びｙ値の各ヒストグラムにおいて、上位１％のｘ値と下位１％のｘ値との差、上位１％のｙ値と下位１％のｙ値との差を分布幅として求めているのは、極端に大きな値及び極端に小さな値を排除して、有意な値で判断するためである。なお、分布幅の求め方はこれに限定されず、例えば、上位・下位２％の値の差により分布幅を求めてもよいし、上位・下位３％の値の差により分布幅を求めてもよい。また、各画素の全てのｘ値、ｙ値が有意であるとみなして、最大値と最小値との差を分布幅として求めるようにしてもよい。

ステップ１１０では、判断部２８は、分布幅の比Ｃｘが閾値α未満か否か、及び分布幅の比Ｃｙが閾値α未満か否か、を判断する。判断部２８は、Ｃｘ及びＣｙの少なくとも一方が閾値α未満である場合には、ステップ１１０で肯定判断する。また判断部２８は、Ｃｘ及びＣｙの双方が閾値α以上である場合には、ステップ１１０で否定判断する。ここで、閾値αは、予め定められた影響の度合いを示す値である。

なお、赤外光の影響を受け色彩が劣化すると、分布幅は狭くなる。すなわち、同じ撮像領域を撮像した場合、消灯画像の分布幅は点灯画像の分布幅より狭くなる。また、点灯画像の分布幅と消灯画像の分布幅との差が大きくなるほど、その劣化の度合いも大きくなる。図９（Ａ）、（Ｂ）に分布幅の具体例を示す。図９（Ｂ）に示す分布幅の方が図９（Ａ）に示す分布幅よりも狭いため、赤外光の色彩への影響度が高いことを示している。従って、本実施形態では、分布幅の比を評価するための閾値αを予め定めておき、Ｃｘ及びＣｙと閾値αと比較して色彩への影響を判断するようにしている。

判断部２８は、ステップ１１０で肯定判断した場合には、ステップ１１２で、照射部１４の点灯期間に撮像されたフレームの色彩に対して、照射部１４による赤外光の影響の度合いが上記予め定められた影響の度合いより大きいと判断する。

ステップ１１４では、判断部２８は、間欠照射撮像処理が行われるように、上記判断結果を選択部１８及び同期制御部２６に入力する。これにより、間欠照射撮像処理が開始される。ここで、間欠照射撮像処理とは、第１実施形態で説明したように、可視画像の動画像の撮像中に予め定められた時間間隔をおいて照射部１４を点灯させ計測処理用のフレームを撮像する処理である。従って、ステップ１１４では、例えば、図３或いは図５を参照して説明した撮像処理が行われる。

また、判断部２８は、ステップ１１０で否定判断した場合には、ステップ１１６で、照射部１４の点灯期間に撮像されたフレームの色彩に対して、照射部１４による赤外光の影響の度合いが上記予め定められた影響の度合い以下であると判断する。

ステップ１１８では、判断部２８は、常時照射撮像処理が行われるように、上記判断結果を選択部１８及び同期制御部２６に入力する。これにより、常時照射撮像処理が開始される。ここで、常時照射撮像処理とは、第１実施形態で説明した撮像処理とは異なり、動画像撮像期間中は、継続して照射部１４を点灯させて撮像する処理である。

図１０は、常時照射撮像処理の一例を示すフローチャートである。
図１０に示す常時照射撮像処理では、まずステップ３００で、同期制御部２６は、同期用タイマ４４を初期化しカウント値を０にリセットし、照明光制御部１６を介して照射部１４の点灯を開始させ、赤外光の照射を開始させる。そして、撮像部１２により１フレーム分の撮像が行われる。

ステップ３０２では、選択部１８は、該撮像されたフレームの画像データを選択する。そして、選択部１８は、該選択したフレームの画像データを出力部２４に入力する。
ステップ３０４では、出力部２４は、選択部１８で選択されたフレームの画像データを、撮像領域の可視画像を表わすフレームの画像データとして、予め定められた出力先に出力する。

ステップ３０６では、同期制御部２６は、同期用タイマ４４のカウント値が１０の倍数であるか否かを判断する。同期制御部２６は、ステップ３０６で肯定判断した場合には、同期用タイマ４４のカウント値が１０の倍数である場合の処理が行われるように選択部１８を制御する。これにより、各部で以下の処理が行われる。

まず、ステップ３０８で、選択部１８は、ステップ３０２で選択したフレームの画像データを、視線計測のために用いる画像データとして、計測部２０に入力し、計測部２０に視線計測を行わせる。これにより、計測部２０が、視線計測を行う。ステップ３１０では、計測部２０は、視線計測結果を出力する。

ステップ３１０の後、及び同期制御部２６がステップ３０６で肯定判断した後には、ステップ３１２で、同期制御部２６は、同期用タイマ４４のカウント値がインクリメント（１つカウントアップ）したか否かを判断する。同期制御部２６は、同期用タイマ４４のカウント値がインクリメントするまで待機し、インクリメントした後は、ステップ３０２に戻って、上記と同様の処理を行う。

以上説明した処理により、照射部１４は、撮像部１２の動画像撮像期間中、継続して点灯する。そして、撮像領域は点灯状態において撮像され、撮像された各フレームは、そのまま可視画像を表わすフレームとして出力される。

なお、ここでは、ステップ３０４の処理が、ステップ３０２の直後に実行される例について説明したが、ステップ３０６或いはステップ３１０の後に実行されるようにしてもよい。

このように、本実施形態では、照明光の色彩への影響の度合いが予め定められた度合いより大きいと判断した場合には間欠的に照射部１４を点灯し、影響の度合いが予め定められた度合い以下と判断した場合には照射部１４を継続して点灯状態にするようにした。また、継続して点灯状態にする場合、照射部１４の点灯期間（この場合には、点灯期間＝動画像撮像期間となる）に撮像されたフレームを、撮像領域の可視画像を表わすフレームとして選択して出力するようにした。このため、画質上の必要性がある場合にのみ、照射部１４の照明を間欠的に点灯する制御を行って撮像するため、必要がない場合は、フレーム生成部２２によるフレーム生成等の処理の実施を停止でき、処理負荷等を低減させることができる。

なお、ここでは、分布幅の比Ｃｘ、Ｃｙを閾値αと比較して色彩への影響を判断する例について説明したが、分布幅Ａｘと分布幅Ｂｘとの差Ｄｘ、及び分布幅Ａｙと分布幅Ｂｙとの差Ｄｙを閾値Ｈと比較して判断してもよい。この閾値Ｈも予め定められた影響の度合いを示す値である。この場合において、差Ｄｘ及び差Ｄｙの少なくとも一方が閾値Ｈより大きければ、色彩への影響の度合いが予め定められた度合いより小さいと判断することができる。また、差Ｄｘ及び差Ｄｙの双方が閾値Ｈ以下であれば、色彩への影響の度合いが予め定められた度合いより小さいと判断することができる。

また、ここでは、フレーム全体のｘ値、ｙ値の分布幅を求めて赤外光の色彩への影響を判断する例について説明したが、これに限定されず、フレームを複数の領域に分割して分布幅を求め判断するようにしてもよい。以下、複数の領域に分割して判断する例について、図１１を参照して説明する。

図１１に示す判断・撮像処理では、ステップ１２０において、照明光制御部１６が照射部１４を制御して点灯させた状態で、撮像部１２が１フレーム撮像し、照明光制御部１６が照射部１４を制御して消灯させた状態で、撮像部１２が１フレーム撮像する。判断部２８は、照射部１４の点灯期間に撮像されたフレーム（点灯画像）の画像データ及び照射部１４の消灯期間に撮像されたフレーム（消灯画像）の画像データを取得する。なお、ここでは、照射部１４を点灯させて撮像した後消灯させて撮像する例について説明したが、照射部１４を消灯させて撮像した後点灯させて撮像するようにしてもよい。

ステップ１２２では、判断部２８は、取得した各フレーム（点灯画像及び消灯画像）の各々を複数の領域に分割する。分割方法は点灯画像と消灯画像とで同一とする。図１２に分割例を示す。図１２（Ａ）が消灯画像の一例であり、図１２（Ｂ）が点灯画像の一例である。双方とも、水平方向３×垂直方向４（１２個）の領域に分割されている。判断部２８は、分割した各領域に１〜Ｎ（Ｎは分割した領域の総領域数）までの番号を付与する。

ステップ１２４では、判断部２８は、変数ｎに１をセットする。

ステップ１２６では、判断部２８は、点灯画像の第ｎ領域及び消灯画像の第ｎ領域の各画素のＲＧＢ値を、周知の変換式を用いてＸＹＺ表色系におけるｘｙ値に変換する。

ステップ１２８では、判断部２８は、点灯画像の第ｎ領域及び消灯画像の第ｎ領域の各々の、上記変換して求めたｘ値及びｙ値の各々について、図９（Ａ）及び（Ｂ）に示すようにヒストグラムを生成する。

ステップ１３０では、判断部２８は、点灯画像の第ｎ領域のｘ値のヒストグラムに基づいて、上位１％のｘ値を算出すると共に、下位１％のｘ値を算出する。また、判断部２８は、点灯画像の第ｎ領域のｙ値のヒストグラムに基づいて、上位１％のｙ値を算出すると共に、下位１％のｙ値を算出する。また、判断部２８は、消灯画像の第ｎ領域のｘ値のヒストグラムに基づいて、上位１％のｘ値を算出すると共に、下位１％のｘ値を算出する。また、判断部２８は、消灯画像の第ｎ領域のｙ値のヒストグラムに基づいて、上位１％のｙ値を算出すると共に、下位１％のｙ値を算出する。

ステップ１３２では、判断部２８は、点灯画像の第ｎ領域のｘ値のヒストグラムについて、上位１％のｘ値と下位１％のｘ値の差を分布幅（分布幅Ａｘ）として求める。また、判断部２８は、消灯画像の第ｎ領域のｘ値のヒストグラムについて、上位１％のｘ値と下位１％のｘ値との差を分布幅（分布幅Ｂｘ）として求める。そして、判断部２８は、分布幅Ａｘの分布幅Ｂｘに対する比Ｃｘを求める。更に、判断部２８は、点灯画像の第ｎ領域のｙ値のヒストグラムについて、上位１％のｙ値と下位１％のｙ値の差を分布幅（分布幅Ａｙ）として求める。また、判断部２８は、消灯画像の第ｎ領域のｙ値のヒストグラムについて、上位１％のｙ値と下位１％のｙ値との差を分布幅（分布幅Ｂｙ）として求める。そして、判断部２８は、分布幅Ａｙの分布幅Ｂｙに対する比Ｃｙを求める。

ここでも、ｘ値及びｙ値の各ヒストグラムにおいて、上位１％のｘ値と下位１％のｘ値との差、上位１％のｙ値と下位１％のｙ値との差を分布幅として求めているが、これは一例であって、前述したように、これに限定するものではない。

ステップ１３４では、判断部２８は、分布幅の比Ｃｘが閾値α未満か否か、及び分布幅の比Ｃｙが閾値α未満か否か、を判断する。判断部２８は、Ｃｘ及びＣｙの少なくとも一方が閾値α未満である場合には、ステップ１３４で肯定判断する。また判断部２８は、Ｃｘ及びＣｙの双方が閾値α以上である場合には、ステップ１３４で否定判断する。

判断部２８は、ステップ１３４で肯定判断した場合には、ステップ１３６で、照射部１４の点灯期間に撮像されたフレームの第ｎ領域の色彩に対して、照射部１４による赤外光の影響の度合いが閾値αが示す予め定められた影響の度合いより大きいと判断する。

ステップ１３８では、同期制御部２６は、第１実施形態で説明した間欠照射撮像処理が行われるように、上記判断結果を選択部１８及び同期制御部２６に入力する。これにより、間欠照射撮像処理が開始される。

また、判断部２８は、ステップ１３４で否定判断した場合には、ステップ１４０で、変数ｎが総領域数（図１２に示す例では１２）に等しいであるか否かを判断する。ステップ１４０で、判断部２８が、変数ｎが総領域数Ｎに等しくないと判断した場合には、ステップ１４２で変数ｎに１を加算して、ステップ１２６に戻り、次の領域について上記と同様の処理を繰り返す。

また、ステップ１４０で、判断部２８が、変数ｎが総領域数Ｎに等しいと判断した場合には、ステップ１４４で、判断部２８は、全ての領域について照射部１４による赤外光の影響の度合いが上記予め定められた影響の度合い以下であると判断する。ステップ１４６では、判断部２８は、常時照射撮像処理が行われるように、上記判断結果を選択部１８及び同期制御部２６に入力する。これにより、前述したように、常時照射撮像処理が開始される。

このように、フレームを複数の領域に分割し、領域毎に赤外光による色彩の劣化（影響の度合い）を判断することにより、補正の難しい劣化を検出できるため有効である。

なお、この例では、少なくとも１つの領域について、赤外光の色彩への影響の度合いが大きいと判断された場合に、間欠照射撮像処理する例について説明したが、これに限定されない。例えば、赤外光の色彩への影響の度合いが大きいと判断された領域の数が予め定められた値より多い場合に、間欠照射撮像処理するようにしてもよい。

また、ここでも、各領域の分布幅の比Ｃｘ、Ｃｙを閾値αと比較して色彩への影響を判断する例について説明したが、分布幅Ａｘと分布幅Ｂｘとの差Ｄｘ、及び分布幅Ａｙと分布幅Ｂｙとの差Ｄｙを閾値と比較して判断してもよい。この場合において、差Ｄｘ及び差Ｄｙの少なくとも一方が閾値ｈより大きければ、色彩への影響の度合いが、該閾値ｈが示す予め定められた度合いより大きいと判断することができる。また、差Ｄｘ及び差Ｄｙの双方が該閾値ｈ以下であれば、色彩への影響の度合いが予め定められた度合いより小さいと判断することができる。

また、次に説明する方法で赤外光の影響の度合いを判断してもよい。まず、上記分割した複数の領域から、分割幅の比Ｃｘ、Ｃｙが最小の領域Ｍ１と、分割幅の比Ｃｘ、Ｃｙが最大の領域Ｍ２とを抽出する。そして、領域Ｍ１及びＭ２間でＣｘ、Ｃｙの各々について差分をとり閾値と比較して判断する。該差分が大きいほど、撮像領域の部位によって色彩劣化（影響）の度合いが大きく異なることとなる。仮に劣化補正処理を施す構成としても、部位毎に劣化の度合いが極端に異なる状況においては、画像全体を適正に補正することは困難である。従って、部位毎に劣化の度合いが大きく異なる場合にも、上記間欠照射撮像処理を行うことで、色彩劣化の影響のない動画像を得ることができる。図１３に、領域Ｍ１の比Ｃｘ、Ｃｙと、領域Ｍ２の比Ｃｘ、Ｃｙとの差分から色彩劣化の度合いを判断して撮像する場合の、判断・撮像処理のフローチャートを示す。

図１３に示す判断・撮像処理では、ステップ１５０において、照明光制御部１６が照射部１４を制御して点灯させた状態で、撮像部１２が１フレーム撮像し、照明光制御部１６が照射部１４を制御して消灯させた状態で、撮像部１２が１フレーム撮像する。判断部２８は、照射部１４の点灯期間に撮像されたフレーム（点灯画像）の画像データ及び照射部１４の消灯期間に撮像されたフレーム（消灯画像）の画像データを取得する。なお、ここでは、照射部１４を点灯させて撮像した後消灯させて撮像する例について説明したが、照射部１４を消灯させて撮像した後点灯させて撮像するようにしてもよい。

ステップ１５２では、判断部２８は、取得した各フレーム（点灯画像及び消灯画像）の各々を複数の領域に分割する。分割方法は点灯画像と消灯画像とで同一とする。

ステップ１５４では、判断部２８は、点灯画像の各領域及び消灯画像の各領域の各画素のＲＧＢ値を、周知の変換式を用いてＸＹＺ表色系におけるｘｙ値に変換する。

ステップ１５６では、判断部２８は、点灯画像の各領域及び消灯画像の各領域の各々の、上記変換して求めたｘ値及びｙ値の各々について、図９（Ａ）及び（Ｂ）に示すようにヒストグラムを生成する。

ステップ１５８では、判断部２８は、点灯画像の各領域及び消灯画像の各領域の各々の、図１１のステップ１３０で説明したように、上位１％のｘ値、下位１％のｘ値、上位１％のｙ値、及び下位１％のｙ値を算出する。

ステップ１６０では、判断部２８は、点灯画像の各領域のｘ値のヒストグラムについて、上位１％のｘ値と下位１％のｘ値の差を分布幅（分布幅Ａｘ）として求める。また、判断部２８は、消灯画像の各領域のｘ値のヒストグラムについて、上位１％のｘ値と下位１％のｘ値との差を分布幅（分布幅Ｂｘ）として求める。そして、判断部２８は、分布幅Ａｘの分布幅Ｂｘに対する比Ｃｘを求める。更に、判断部２８は、点灯画像の各領域のｙ値のヒストグラムについて、上位１％のｙ値と下位１％のｙ値の差を分布幅（分布幅Ａｙ）として求める。また、判断部２８は、消灯画像の各領域のｙ値のヒストグラムについて、上位１％のｙ値と下位１％のｙ値との差を分布幅（分布幅Ｂｙ）として求める。そして、判断部２８は、分布幅Ａｙの分布幅Ｂｙに対する比Ｃｙを求める。

ここでも、ｘ値及びｙ値の各ヒストグラムにおいて、上位１％のｘ値と下位１％のｘ値との差、上位１％のｙ値と下位１％のｙ値との差を分布幅として求めているが、これは一例であって、前述したように、これに限定するものではない。

ステップ１６２では、判断部２８は、比Ｃｘ及び比Ｃｙが最小の領域Ｍ１と、比Ｃｘ及び比Ｃｙが最大の領域Ｍ２とを抽出する。ＣｘとＣｙとで最小の領域（或いは最大の領域）が異なる場合には、ＣｘとＣｙとを加算した値が最小となる領域と最大となる領域とを抽出してもよい。

ステップ１６４では、判断部２８は、抽出した領域Ｍ１とＭ２の分布幅の比の差分を計算する。すなわち、判断部２８は、領域Ｍ１の比Ｃｘと領域Ｍ２の比Ｃｘとの差分ＳＢｘ、及び領域Ｍ１の比Ｃｙと領域Ｍ２の比Ｃｙとの差分ＳＢｙを計算する。

ステップ１６６では、判断部２８は、差分ＳＢｘが予め定められた閾値βを超えているか否か、及び差分ＳＢｙが閾値βを超えているか否か、を判断する。判断部２８は、ＳＢｘ及びＳＢｙの少なくとも一方が閾値βを超えている場合には、ステップ１６６で肯定判断する。また判断部２８は、差分ＳＢｘ及びＳＢｙの双方が閾値β未満である場合には、ステップ１６６で否定判断する。ここで、閾値βは、予め定められた影響の度合いを示す値である。

判断部２８は、ステップ１６６で肯定判断した場合には、ステップ１６８で、照射部１４の点灯期間に撮像されたフレームの色彩に対して、照射部１４による赤外光の影響の度合いが上記予め定められた影響の度合いより大きいと判断する。

ステップ１７０では、同期制御部２６は、第１実施形態で説明した間欠照射撮像処理が行われるように、上記判断結果を選択部１８及び同期制御部２６に入力する。これにより、間欠照射撮像処理が開始される。

また、判断部２８は、ステップ１６６で否定判断した場合には、ステップ１７２で、照射部１４の点灯期間に撮像されたフレームの色彩に対して、照射部１４による赤外光の影響の度合いが上記予め定められた影響の度合い以下であると判断する。ステップ１７４では、判断部２８は、常時照射撮像処理が行われるように、上記判断結果を選択部１８及び同期制御部２６に入力する。これにより、前述したように、常時照射撮像処理が開始される。

なお、ここでは、判断部２８が、領域Ｍ１とＭ２間で、比Ｃｘの差分ＳＢｘ及び比Ｃｙの差分ＳＢｙを計算し、これらの値と閾値βとを比較して色彩への影響を判断する例について説明したが、これに限定されず、例えば、以下のように判断してもよい。例えば、判断部２８は、まず、分布幅Ａｘと分布幅Ｂｘとの差Ｄｘ、及び分布幅Ａｙと分布幅Ｂｙとの差Ｄｙが、最も小さい領域ｍ１と、最も大きい領域ｍ２とを抽出する。そして、判断部２８は、領域ｍ１の差Ｄｘと領域ｍ２の差Ｄｘとの差分ＳＤｘを計算し、領域ｍ１の差Ｄｙと領域ｍ２の差Ｄｙとの差分ＳＤｙを計算する。そして、判断部２８は、差分ＳＤｘが予め定められた閾値γを超えているか否か、及び差分ＳＤｙが閾値γを超えているか否か、を判断する。判断部２８は、ＳＤｘ及びＳＤｙの少なくとも一方が閾値γを超えている場合には、照射部１４による赤外光の影響の度合いが閾値γが示す予め定められた影響の度合いより大きいと判断する。また、判断部２８は、ＳＤｘ及びＳＤｙの双方が閾値γ未満である場合には、照射部１４による赤外光の影響の度合いが閾値γが示す予め定められた影響の度合い以下であると判断する。

なお、本実施形態では、赤外光の色彩への影響の度合いが予め定められた度合いより小さいと判断した場合に、常時照射撮像処理を行う例について説明したが、これに限定されない。例えば、影響の度合いが小さいと判断した場合でも第１実施形態で説明したように、照射部１４を間欠的に点灯させる制御を行い、選択部１８は、照射部１４の消灯期間に撮像されたフレームだけでなく点灯期間に撮像されたフレームも選択するようにしてもよい。この場合、選択部１８で選択されたフレームは、フレーム生成部２２は介さずに直接出力部２４に入力される。また、点灯期間に撮像されたフレームは、出力部２４だけでなく計測部２０にも入力され、計測処理に用いられる。

また、本実施形態において、図１４に示すように、選択部１８と出力部２４との間に、劣化補正部２１を設けて撮像装置７０を構成してもよい。この場合、劣化補正部２１は、常時照射撮像処理において選択部１８で選択されたフレームに対して、赤外光の影響による色彩の劣化を補正する。

〔第３実施形態〕

次に開示の技術の第３実施形態を説明する。なお、第３実施形態の撮像装置８０は、図１５に示すように、第１実施形態で説明した撮像装置１０の構成からフレーム生成部２２を省略し、且つ撮像制御部１３を設けた構成となっている。また、第１実施形態の撮像部１２と異なり、本実施形態の撮像部１１は、撮像領域の可視画像を表わすフレームを撮像するときのフレームレートとして予め定められた撮像フレームレートより短い周期での撮像が可能に構成されている。本実施形態では、予め定められた撮像フレームレートを30fpsとし、撮像部１１は、60fpsでの撮像が可能に構成されているものとする。

撮像制御部１３は、同期制御部２６の制御に応じて、撮像部１１のフレームレートを変更する。撮影制御部１３は、例えば、撮像部１１の動画像撮像期間中の少なくとも予め定められた期間に、上記撮像フレームレート30fpsよりも短い周期の60fpsで動画像が撮像されるように撮像部１１を制御する。

選択部１８は、照射部１４の消灯期間に撮像されたフレームの画像データを選択して、出力部２４に入力する。出力部２４は、入力されたフレームの画像データを、撮像領域の可視画像を表わすフレームの画像データとして出力先に出力する。

次に本実施形態の作用として、撮像装置８０で行われる撮像処理について、図１６を参照して説明する。本実施形態において、撮像処理の開始時点では、照射部１４は消灯状態とされている。

図１６に示す撮像処理では、まず同期制御部２６は、同期用タイマ４４を初期化しカウント値を０にリセットする(ステップ２８０)。この時点では照射部１４は消灯状態とされており、この状態で撮像部１２により１フレーム分の撮像が行われる。

ステップ２８２で、選択部１８は、照射部１４の消灯期間に撮像されたフレームの画像データを選択する。そして、選択部１８は、該選択したフレームの画像データを出力部２４に入力する。
ステップ２８４では、出力部２４は、選択部１８で選択されたフレームの画像データを、撮像領域の可視画像を表わすフレームの画像データとして、予め定められた出力先に出力する。

ステップ２８６では、同期制御部２６は、同期用タイマ４４のカウント値が１０の倍数であるか否かを判断する。

同期制御部２６は、ステップ２８６で肯定判断した場合には、同期用タイマ４４のカウント値が１０の倍数である場合の処理が行われるように撮像制御部１３、照明光制御部１６、及び選択部１８を制御する。これにより、各部で以下の処理が行われる。

まず、ステップ２８８では、撮像制御部１３は、撮像部１１のフレームレートを30fpsから60fpsに変更する。これにより、例えば、現在の同期用タイマ４４のカウント値が１０である場合に、同期用タイマ４４のカウント値が１１になる前に、１フレーム分の撮像が実行されることになる。

ステップ２９０では、照明光制御部１６は、撮像部１１により１フレーム分の撮像が可能な期間、赤外光が照射されるように照射部１４を点灯制御する。この照射部１４の点灯期間中に、撮像部１１により１フレーム分の撮像が行われる。照明光制御部１６は、１フレーム分の撮像が可能な期間、照射部１４を点灯させた後、消灯させる。

その後、ステップ２９２で、選択部１８は、撮像部１１により撮像されたフレームの画像データを取得する。選択部１８は、該取得した画像データを、視線計測のために用いる画像データとして、計測部２０に入力し、計測部２０に視線計測を行わせる。
ステップ２９４では、計測部２０が、視線計測を行う。ステップ２９６では、計測部２０は、視線計測結果を出力する。

ステップ２９８では、撮像制御部１３は、フレームレートを60fpsから30fpsに戻す。なお、フレームレートを戻す処理は、フレームレートが60fpsとされた状態で撮像部１１により１フレーム分の撮像が終了した後、同期用タイマ４４のカウント値が１アップする前であれば、いつ行われてもよい。

一方、同期制御部２６が、ステップ２８６で否定判断した場合には、ステップ２８８〜ステップ２９８までの処理は行われない。

ステップ２９９では、同期制御部２６は、同期用タイマ４４のカウント値がインクリメント（１つカウントアップ）したか否かを判断する。同期制御部２６は、同期用タイマ４４のカウント値がインクリメントするまで待機し、インクリメントした後は、ステップ２８２に戻って、インクリメント後のカウント値が１０の倍数か否かを判断し、上記と同様の処理を行う。

すなわち、上記例では、同期用タイマ４４のカウント値が１０の倍数となってからカウント値が１カウントアップするまでの間に、照射部１４を１フレーム分の撮像が可能な時間点灯させ、追加のフレームを計測処理用のフレームとして撮像し取得する。追加フレームは、可視画像を表わすフレームとしては選択されない。選択部１８が可視画像を表わすフレームとして選択するのは、通常の撮像フレームレート（30fps）で撮像されたフレームである。そして、通常の撮像フレームレート（30fps）で撮像されたフレームの各々は、消灯期間に撮像されたフレームであり計測処理には用いられないため、フレームの欠落は生じず、フレーム生成部２２によるフレームの生成は必要ない。

以上説明した処理により、本実施形態では、図１７のタイミングチャートに示すように、照射部１４の点灯・消灯、撮像部１２の動画像の各フレームの撮像、計測部２０による計測、出力部２４の可視画像を表わすフレームの画像データの出力の各々が行われる。なお、図１７において、追加フレームの撮像タイミングを、10の倍数に0.5の端数をつけて示した。

なお、本実施形態では、追加フレームを撮像するにあたりフレームレートを切替える例について説明したが、これに限定されない。例えば、撮像部１１で、可視画像の動画を撮像するときのフレームレートとして予め定められた撮像フレームレートの２倍以上のフレームレートで撮像するように構成し、該撮像されたフレームから必要なフレームを選択して用いるようにしてもよい。

より具体的には、例えば、撮像部１１の動画像撮像期間中は、撮影制御部１３が常に60fpsで撮像されるように撮像部１１を駆動し、選択部１８が撮像されたフレームから１つおきにフレームを選択して、可視画像を表わすフレームとして出力されるよう構成する。これにより、フレームレートが30fpsの可視動画像を得ることができる。この場合において、照明光制御部１６が、選択部１８で選択されるフレーム以外のフレームの撮像タイミングで照射部１４が点灯するよう制御し、該点灯期間中に撮像されたフレームを選択部１８が取得して計測部２０に入力するようにする。

また、本実施形態においても、図１８に示すように、選択部１８と出力部２４との間に、劣化補正部２１を設けて撮像装置９０を構成し、選択部１８で選択されたフレームに対して、赤外光の影響による色彩の劣化が補正されるように構成してもよい。第１実施形態と同様、撮像領域に自然光や白熱電灯の光が照射されている場合には、自然光や白熱電灯の光に含まれる赤外域の波長の光の影響を受け色彩が劣化することがあるためである。

以上、様々な実施形態について説明したが、これに限定されるものではない。例えば、計測部２０で行われる計測処理を、視線計測として説明したが、撮像領域に存在する対象物の撮像部１２までの距離（三次元座標）を測定する距離計測としてもよい。距離計測の方法は、周知の手法を用いることができ、例えば、コード化パターン光投影法を用いてもよい。この手法は、特殊な模様でコード化したパターンの赤外光を撮像領域に投影し、パターン光の投影方向と撮像画像上での画素位置により決まる計測方向との関係から、三次元座標を計測する手法である。この手法を用いる場合には、照射部１４は、予め定められたパターンの赤外光を照射可能に構成されている必要がある。

また、上記各実施形態では、照射部１４が照射する照明光が赤外光である場合を例に挙げて説明したが、これに限定されず、例えば、可視域の予め定められた波長域の光（赤いレーザ光など）であってもよい。この場合には、撮像部１２は、赤外光をカットするフィルタを設けて構成することができる。

また、第２実施形態及び第３実施形態の双方を適用した実施形態としてもよい。すなわち、判断部２８により前述したように色彩への影響の度合いが予め定められた度合い以下であると判断された場合には、常時照射撮像処理を行う。そして、判断部２８により色彩への影響の度合いが予め定められた度合いより大きいと判断された場合には、第３の実施形態で説明したように、撮影制御部１３により予め定められた時間間隔毎に撮像部１１のフレームレートを切替え、追加フレームを撮像する。

更に、上記では撮像プログラムが記憶部４０に記憶されている態様を説明したが、撮像プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の可搬型の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０、５０、６０、７０、８０ 撮像装置
１１、１２ 撮像部
１３ 撮像制御部
１４ 照射部
１６ 照明光制御部
１８ 選択部
２０ 計測部
２１ 劣化補正部
２２ フレーム生成部
２４ 出力部
２６ 同期制御部
２８ 判断部
３０ ＣＰＵ
３２ ディスプレイ
３４ キーボード
４０ 記憶部
４２ メモリ
４４ 同期用タイマ

Claims (14)

1. 可視光及び予め定められた波長域の照明光に感度を有する複数の画素が配列され、複数のフレームを有する動画像を撮像する撮像部と、
   前記撮像部の撮像領域に前記照明光を照射する照射部と、
   前記照射部の点灯及び消灯を制御する制御部と、
   前記撮像部により撮像された複数のフレームから、前記照射部の消灯期間に撮像されたフレームを選択する選択部と、
   前記選択部で選択されたフレームを、前記撮像領域の可視画像を表わすフレームとして出力する出力部と、
   を備えた撮像装置。
2. 前記照明光は、赤外光を主たる成分とする光である
   請求項１に記載の撮像装置。
3. 前記選択部で選択されたフレームに対して、前記照射部とは異なる光源から照射された赤外光の影響による色彩劣化を補正する劣化補正部を更に備え、
   前記出力部は、前記劣化補正部で補正されたフレームを出力する
   請求項２に記載の撮像装置。
4. 前記照射部の点灯期間に対応する前記撮像領域の可視画像を表わすフレームを生成するフレーム生成部を更に備え、
   前記出力部は、更に、前記フレーム生成部で生成されたフレームを、前記照射部の点灯期間に対応する前記撮像領域の可視画像を表わすフレームとして出力する
   請求項１〜請求項３のいずれか１項記載の撮像装置。
5. 前記フレーム生成部は、前記照射部の点灯期間の直前の消灯期間において最後に撮像されたフレーム又は前記照射部の点灯期間の直後の消灯期間において最初に撮像されたフレームを複写して、前記照射部の点灯期間に対応する前記撮像領域の可視画像を表わすフレームを生成する
   請求項４に記載の撮像装置。
6. 前記フレーム生成部は、前記照射部の点灯期間の直前の消灯期間において最後に撮像されたフレームと、前記照射部の点灯期間の直後の消灯期間において最初に撮像されたフレームとを用いてフレーム補間処理を行い、前記照射部の点灯期間に対応する前記撮像領域の可視画像を表わすフレームを生成する
   請求項４に記載の撮像装置。
7. 前記撮像部による動画像撮像中の少なくとも予め定められた期間に、前記撮像領域の可視画像を表わすフレームを撮像するときのフレームレートとして予め定められた撮像フレームレートよりも短い周期で前記動画像が撮像されるように前記撮像部を制御する撮像制御部を更に備え、
   前記制御部は、前記撮像部による動画像撮像中の少なくとも前記撮像フレームレートで撮像されるタイミングでは、前記照射部が消灯するように制御すると共に、前記予め定められた期間における前記撮像フレームレートで撮像されるタイミングが含まれない期間に前記照射部が点灯するように制御し、
   前記選択部は、前記照射部の消灯期間に撮像されたフレームであって、前記撮像フレームレートで撮像されたフレームを選択し、前記照射部の点灯期間に撮像されたフレームは選択しない
   請求項１〜請求項３のいずれか１項記載の撮像装置。
8. 前記照射部の点灯期間に撮像されたフレームと、前記照射部の消灯期間に撮像されたフレームとを比較して、前記照射部の点灯期間に撮像されたフレームの色彩に対する前記照明光の影響の度合いを判断する判断部と、
   前記選択部は、前記判断部により前記影響の度合いが予め定められた度合い以下であると判断された場合には、前記撮像部により撮像された複数のフレームから、更に、前記照射部の点灯期間に撮像されたフレームも選択する
   請求項１〜請求項３のいずれか１項記載の撮像装置。
9. 前記判断部は、前記撮像領域を複数に分割したときの分割領域毎に、前記比較を行って該分割領域毎に前記照明光の影響の度合いを判断することにより、前記照射部の点灯期間に撮像されたフレームの色彩に対する前記照明光の影響の度合いを判断する
   請求項８に記載の撮像装置。
10. 前記制御部は、前記判断部により前記影響の度合いが予め定められた度合いより大きいと判断された場合には、予め定められたタイミングで予め定められた点灯期間点灯し、且つ前記点灯期間以外は消灯するように制御する
    請求項８又は請求項９に記載の撮像装置。
11. 前記制御部は、前記判断部により前記影響の度合いが予め定められた度合い以下であると判断された場合には、前記撮像部の動画像撮像期間中は継続して前記照射部が点灯するように制御する
    請求項８〜請求項１０のいずれか１項記載の撮像装置。
12. 前記照射部の点灯期間に撮像されたフレームを用いて予め定められた計測処理を行う計測部を更に備えた
    請求項１〜請求項１１のいずれか１項記載の撮像装置。
13. 可視光及び予め定められた波長域の照明光に感度を有する複数の画素が配列され、複数のフレームを有する動画像を撮像する撮像部の撮像領域に前記照明光を照射する照射部の点灯及び消灯を制御する制御ステップと、
    前記撮像部により撮像された複数のフレームから、前記照射部の消灯期間に撮像されたフレームを選択する選択ステップと、
    前記選択されたフレームを、前記撮像領域の可視画像を表わすフレームとして出力する出力ステップと、
    を含む撮像方法。
14. コンピュータに、
    可視光及び予め定められた波長域の照明光に感度を有する複数の画素が配列され、複数のフレームを有する動画像を撮像する撮像部の撮像領域に前記照明光を照射する照射部の点灯及び消灯を制御する制御ステップと、
    前記撮像部により撮像された複数のフレームから、前記照射部の消灯期間に撮像されたフレームを選択する選択ステップと、
    前記選択されたフレームを、前記撮像領域の可視画像を表わすフレームとして出力する出力ステップと、
    を含む処理を実行させるためのプログラム。