JP2013219560A - 撮像装置、撮像方法及びカメラシステム - Google Patents

Abstract

【課題】環境光が少ない暗時の赤外光照射に基づく画像（モノクロ画像）に対し、より高精度に色を付加する。
【解決手段】撮像素子により、赤外光が照射された被写体からの反射光により赤外画像を撮像し、また、複数色の可視レーザー光を組み合わせて形成されたパターンが投影された該被写体からの反射光によりカラー画像を撮像する。そして、信号処理部により、カラー画像より複数色の可視レーザー光の反射光強度に応じて決定される色情報を用いて、赤外画像に色を付与する。
【選択図】図６

Description

本開示は、赤外光照射に基づく夜間撮影を行う監視カメラや民生用カムコーダなどに適用して好適な撮像装置、撮像方法及びカメラシステムに関する。

監視カメラでは、一般に、日中に撮影するためのデイモードと夜間に撮影を行うためのナイトモードの２つの機能を備えている。デイモードは通常のカラーによる撮影機能であるが、ナイトモードでは、夜間の暗い環境での撮影を行うために、赤外光（赤外線）を投光して、その反射光を撮影する。これにより、光が全く無い環境においても、鮮明な画像（以下、赤外画像と称す）を取得することが可能となる。

しかしながら、赤外光による撮影では、可視光の撮影と異なり、色情報を取得することができないので、通常、赤外光の明るさに対応して、灰色もしくは緑色のモノクロで画像を表示するのが一般的である。

一方、監視カメラの用途としては、監視エリアでの不審人物、不審物を監視する必要があり、それらを特定するために、人物の服の色、車などの色情報は極めて重要である。しかしながら、夜間などの暗時に通常のカラーモードで撮影すると、ノイズと被写体の信号強度が同レベルとなり、これらを判別することは困難となる。また、閉め切られた屋内などの全く環境光が存在しない場合は、そもそも撮影することができない。暗部の撮影のために、例えば一般照明と同様に可視光を照射することも考えられるが、一般に監視用途では、近隣への不要な照明による迷惑の回避や、監視領域を目立たせなくするために可視光照明を用いないことが多い。

これらの問題の解決策として、上記のような赤外光照射によるナイトモードが用いられるが、赤外光照射により得られる画像では日中と同様に鮮明な画像が得られるものの、被写体の色が判別できないモノクロ画像となってしまう。

また、監視カメラ以外の用途としても、デジタルビデオカメラやカムコーダなどにおいて、赤外光の照射により暗時の撮影を行う機能が備わっているものがあり、これらにおいても、自然な画像を得るために赤外画像に色をつけたいという要望がある。

以上のような問題に対して、環境光の全くない状況においても、赤外画像に色を付加できる手法として、例えば特許文献１に開示されているものがある。これは、投光赤外光として、波長の異なる３種の赤外光を用い、これらの赤外光の物質（樹脂）による反射特性と可視光の反射特性の違いから、被写体の色を推定するものである。特許文献１によれば、例えば、７８０ｎｍ，８７０ｎｍ，９４０ｎｍの３種の赤外光の樹脂による反射率は、それぞれ赤、緑、青の可視光の反射率と正の相関がある。よって、イメージセンサの前に設定されたフィルタなどにより、それぞれの赤外反射光を分光して受光し、それぞれの反射光強度を赤、緑、青に対応させて画像を表色すれば、カラー画像を得ることができる。

一方、デジタルビデオカメラにおいて、暗時の赤外光投光による撮影画像で自然な色を再現する方法が提案されている（例えば、特許文献２を参照）。これは、カメラシステムがナイトモードに入ったことを検知すると、ホワイトバランス調整に使用されるパラメータテーブルを、通常のカラー撮像モードとは異なるものを用いる。それにより、可視光と赤外光が混合している状態でも適切な色再現が行えるというものである。

特開２０１１−５００４９号公報 特開２００５−１３０３１７号公報

しかしながら、特許文献１に記載の技術によれば、赤色に関しては赤外光との相関が高く比較的色の再現性は良好であるが、緑色、青色に関しては、赤外光との相関が明瞭でないため、本来の色を再現することが難しい。また、上記した樹脂に関しては赤外光と可視光との相関がある程度見られるが、樹脂以外の物質では、相関が得られないものや、可視光と赤外光の反射率の相関が樹脂とは異なるものなどが存在する。そのため、カメラに映った被写体を一律の相関関係に基づいて色再現を行うことは不可能である。

また、引用文献２に記載された手法では、本来、環境による可視光がある程度残っている状況でしか色再現はできず、環境光が存在しないシーンで利用することはできない。また、赤外光と可視光の混合信号から可視光成分を取り出すことになるので、色再現精度も高くすることができない。

以上の状況から、環境光が少ない暗時の赤外光照射に基づく画像（モノクロ画像）に対し、より高精度に色を付加する手法が望まれていた。

本開示の一側面では、撮像素子により、赤外光が照射された被写体からの反射光により赤外画像を撮像し、また、複数色の可視レーザー光を組み合わせて形成されたパターンが投影された該被写体からの反射光によりカラー画像を撮像する。そして、信号処理部により、カラー画像より複数色の可視レーザー光の反射光強度に応じて決定される色情報を用いて、赤外画像に色を付与する。

本開示の一側面によれば、複数色（例えば三原色）に対応する可視レーザー光の投影パターンが被写体に直接照射され、その反射光強度を検出して赤外画像に付与する色情報を決定する。

本開示によれば、環境光が少ない暗時の赤外光照射に基づく画像（モノクロ画像）に対し、より高精度に色を付加することができる。

本開示の第１の実施形態に係る撮像システムの構成例を示すブロック図である。 投光部の説明に供する概略構成図である。 ホログラムプレートを介して生成される投影パターン例を示す説明図である。 画角エリアと投影パターンの一例を示す説明図である。 本開示の第１の実施形態に係る撮像素子の動作例を示すシーケンス図である。 図１のカメラ部内の信号処理部の内部構成例を示すブロック図である。 カメラシステムにおける１フレーム画像の生成処理例を示すフローチャートである。 侵入者の色の抽出の各段階を示した説明図である。 赤外画像の注目画素と同一領域内で距離が最も近いレーザーパターンをカラー画像から検出する例の説明図である。 本開示の第２の実施形態における、縮小カラー画像を用いて色情報を抽出する処理の説明図である。 本開示の第３の実施形態における、画角エリア全体にレーザーパターンを走査することにより画面全体から色抽出を行うカメラシステムの説明図である。 本開示の第３の実施形態に係る投光部の一例の構成図である。 ホログラムプレートを介して生成されるスリット光と撮影画角の説明図である。 本開示の第３の実施形態に係る撮像素子の動作例を示すシーケンス図である。

以下に添付図面を参照しながら、本開示を実施するための形態の例（以下、本実施形態例とも称す）について説明する。なお、本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。

なお、説明は以下の順序で行う。
１．第１の実施形態（投光部：ホログラムプレートによる投影パターンを利用した例）
２．第２の実施形態（信号処理部：縮小カラー画像を利用した例）
３．第３の実施形態（走査部：レーザーパターンを画角エリア全面に走査した例）
４．その他（変形例）

＜１．第１の実施形態＞
［カメラシステムの全体構成例］
図１は、本開示の第１の実施形態に係るカメラシステムの構成例を示すブロック図である。
本実施形態例のカメラシステム１は、カメラ部１０（撮像装置の一例）と投光部２０より構成される。カメラ部１０は通常のカメラと同様に、例えばレンズ１１と、撮像素子１２と、前処理部１３と、信号処理部１４と、制御部１６と、不揮発メモリ１７を備えて構成される。

レンズ１１は、被写体からの光を集光し、撮像素子１２の撮像面に結像させる。撮像素子１２は、例えばＣＣＤ（Charge-Coupled Device）などの、光電変換を行う光電変換素子を有する画素が２次元に配置されたイメージセンサであって、その前面には、例えばモザイク状に配列された色分離フィルタ（図示せず）が装着されている。すなわち、撮像素子１２の各画素（光電変換素子）は、レンズ１１及び色分離フィルタを介して入射された被写体の像光を光電変換して撮像信号（信号電荷）を生成し、生成した撮像信号（アナログ信号）を前処理部１３に出力する。色分離フィルタは、入射した光を例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光に分離するものである。

前処理部１３は、例えば撮像素子１２の各画素から出力された撮像信号のノイズを除去する相関２重サンプリング回路や、アナログ信号をデジタル化するＡ／Ｄコンバータ、デモザイクを行うデモザイク処理部を備える。

信号処理部１４は、例えばＤＳＰ（Digital Signal Processor）などの信号処理用のプロセッサである。前処理部１３から出力されるデジタル化された画像データ（画像信号）に対して、プロセッサが所定のプログラムを実行することにより後述する画像処理を行う。画像処理された画像データは、それぞれの段階に応じて第１メモリ１５ａ〜第４メモリ１５ｄ（図中、メモリ１〜メモリ４と記している）に一時的に格納される。この信号処理部１４の詳細ついては後述する。なお、信号処理部１４が、デモザイク処理部などの前処理部１３の一部の機能を備えていてもよい。

またカメラ部１０は、図示しないタイミングジェネレータを備える。タイミングジェネレータは、一定のフレームレートにより画像データが取り込まれるように、撮像素子１２と、前処理部１３及び信号処理部１４により構成される信号処理系を制御する。すなわち、信号処理部１４には、一定のフレームレートで画像データのストリームが供給される。

制御部１６は、カメラ部１０全体の処理を制御し、また信号処理部１４から出力される画像データを外部へ出力するブロックであり、例えばマイクロコンピュータが適用される。例えばカメラシステム１を監視カメラに適用した場合、例えばＬＡＮやインターネット等の電気通信回線を介して外部のモニターに出力する。もしくは、カメラシステム１を民生用カムコーダに適用した場合、ビューファインダに出力する。また、制御部１６は、信号処理部１４から出力される画像データを不揮発メモリ１７に記録することができる。信号処理部１４、第１メモリ１５ａ〜第４メモリ１５ｄ、制御部１６及び不図示のタイミングジェネレータは、バス（図示略）を介して相互に接続されている。

一方、投光部２０は、赤外光（ＩＲ）照射用ＬＥＤ２２Ｌと、赤（Ｒ），緑（Ｇ），青（Ｂ）に対応したレーザー光源２２Ｒ，２２Ｇ，２２Ｂ、それぞれの色のレーザー光源に対応した駆動用のドライバ回路２１Ｒ，２１Ｇ，２１Ｂにより構成される。赤外光照射用ＬＥＤ２２Ｌは、一般に監視カメラに用いられるＬＥＤと同様のものである。レーザー光源２２Ｒ，２２Ｇ，２２Ｂは、例えば半導体レーザーが用いられる。それぞれの色に対応するドライバ回路２１Ｒ，２１Ｇ，２１Ｂは、カメラ部１０の制御部１６から入力される指令に従って動作する。

なお、図１の例では、第１メモリ１５ａ〜第４メモリ１５ｄを別個のメモリとして説明したが、これらの全部又は一部を同一のメモリで構成してもよい。

図２は、投光部２０の説明に供する概略構成図である。
レーザー光源２２Ｒ，２２Ｇ，２２Ｂ（以下、これらを総称してレーザー光源２２とも称す）に用いられる半導体レーザーが出射するレーザー光は通常の可視レーザー光であるが、レーザー光源２２の出射口側にホログラムプレート２４が設けられる。これは、赤色のレーザー光源２２Ｒ、緑色のレーザー光源２２Ｇ、そして青色のレーザー光源２２Ｂのいずれも同様である。

レーザー光源２２から出射されたレーザー光は、前段のレンズ２３により平行光に変換され、その平行光が光の回折を利用するホログラムが設けられたホログラムプレート２４に入射する。ホログラムプレート２４は、平行光であるレーザー光をホログラムによって回折し、レーザー光をある特定のパターンに分散照射する。分散照射されたレーザー光は互いに干渉されていわゆるホログラム再生像２５（投影パターン）が再生される。これにより、回折分散させたレーザー光（ホログラム再生像２５）を、例えばレンズ２３の光軸方向の被写体に投影することができる。カメラシステムにおけるホログラムプレートの利用に関しては、例えば特開２００２−２３７９９０号公報に詳述されている。

図３は、ホログラムプレートを介して生成される投影パターン例を示す説明図である。また図４は、画角エリアと投影パターンの一例を示す説明図である。
ホログラムプレートにより投影される投影パターンは、回折パターンの設計によりさまざまなものが適用可能であるが、本実施形態例では、例えば、投影パターン２５Ａとして図３に示すようなホログラム再生像を再生する。赤色パターン２６Ｒ、緑色パターン２６Ｇ、青色パターン２６Ｂはそれぞれ、赤色レーザー光、緑色レーザー光、青色レーザー光を利用して生成されたパターンである。レーザー光の回折パターンは実際には光点の並びとして投影され、複数色の光点が隣接して略直線に配列されるように設計すると、図３に示すように、線分として投影することができる。本実施形態例では、赤色パターン２６Ｒ、緑色パターン２６Ｇ、青色パターン２６Ｂの線分をそれぞれ隣接させて配置することで単位パターン２６が構成され、複数の単位パターン２６が分散して配置されることで投影パターン２５Ａ（ホログラム再生像）が形成される。

本実施形態例では、線分パターンは水平及び垂直方向に対して略４５度傾いた線分として投影される。線分パターンを略４５度傾けることにより、水平及び垂直方向に関して均等に色情報を取得することができる。そして、これらの線分パターンから構成される投影パターン２５Ａが、カメラ部１０で撮影する画角エリア（撮影画角）２７の全体、もしくは図４に示すように画角エリア２７の略中心部２７ｃに照射されるように位置調整する。投影パターン２５Ａを画角エリア２７の略中心部２７ｃに照射することにより、画角エリア２７の略中心部２７ｃに現れる被写体（例えば侵入者３０）の色を検出することができる。

なお、図３の例では、レーザー光の投影パターン２５Ａの全体形状を略円形として単位パターン２６を破線で示した円内に分散配置したが、投影パターンの形状や大きさ、レーザー光の色は、監視対象もしくは撮影対象に応じて適宜変更してもよい。色再現性の観点から、投影パターンのうち少なくとも１つの単位パターンが、対象の赤外画像の分割領域に含まれるように分散されていることが望ましい。分割領域は赤外画像を複数の領域に分割したうちの一つの領域を指し、詳細は後述する。

［撮像素子の動作例］
図５は、本開示の第１の実施形態に係る撮像素子１２の動作例を示すシーケンス図である。
本実施形態例では、カメラシステム１が１枚の画像（１フレーム）を生成する１フレーム期間（例えば１／３０秒）を２つに分け、それぞれをＩＲモード、ＲＧＢモードとする。撮像素子１２はＩＲモードとＲＧＢモードのそれぞれにおいて１画面分の走査を行う。

ＩＲモードでは、通常の監視カメラの夜間撮影（ナイトモード）と同様に、被写体に赤外光（ＩＲ）を照射して撮像素子１２を用いて赤外画像の撮影を行う。
まず露光期間（垂直ブランキング期間）に赤外光照射用ＬＥＤ２２Ｌから赤外光が被写体に照射され、撮像素子１２の各画素（光電変換素子）は被写体で反射した赤外光の受光量に応じた信号電荷を蓄積する。そして、その後の読出し期間において、撮像素子１２は各画素に蓄積された信号電荷を掃き出す処理を１画面にわたって行い、赤外光による画像データ（赤外画像）が生成される。この撮影によって生成された赤外画像は、図１の第１メモリ１５ａに格納される。

一方、ＲＧＢモードでは、投光部２０から例えば図４に示す投影パターン２５Ａを持つレーザー光を被写体に投影し、撮像素子１２にて撮影を行う。
まず露光期間（垂直ブランキング期間）に投光部２０のレーザー光源２２Ｒ，２２Ｇ，２２ＢからＲ，Ｇ，Ｂの各色のレーザー光が出射され、各ホログラムプレート２４Ｒ，２４Ｇ，２４Ｂを介して被写体に例えば図４に示す投影パターン２５Ａが投影される。撮像素子１２の各画素は被写体で反射した各色のレーザー光の受光量に応じた信号電荷を蓄積する。そして、その後の読出し期間において、撮像素子１２は各画素に蓄積された信号電荷を掃き出す処理を１画面にわたって行い、Ｒ，Ｇ，Ｂの各色のレーザー光による画像データ（カラー画像）が生成される。この撮影によって生成されたカラー画像は、図１の第２メモリ１５ｂに格納される。

カメラシステム１は、ある１フレーム期間においてＩＲモードとＲＧＢモードの撮影が終了した後、次の１フレーム期間においてＩＲモードとＲＧＢモードの撮影を行い、これらの処理を繰り返し実行することにより動画像を撮影する。

なお、カメラシステム１では、一般的に、カラー画像の撮影時は撮像素子１２の前にＩＲカットフィルタが配置され、赤外画像の撮影では外される操作がなされる。しかし、本実施形態例では、夜間などの暗時の撮影を前提とするため、赤外光の外乱光は少ないことが想定され、ＩＲカットフィルタは常時外したままで構わない。

また、ＲＧＢモードにおいて、被写体に投影されたＲ，Ｇ，Ｂの各色の投影パターンは、被写体の色によりそれぞれの反射率が異なる。Ｒ，Ｇ，Ｂの各色のレーザー光の出力は、白色の被写体に照射された時に各々の反射光の検知レベルが同じになるように予め設定しておく。これはホワイトバランス調整と同等な操作である。

［信号処理部の内部構成例］
図６は、図１のカメラ部１０内の信号処理部１４の内部構成例を示すブロック図である。
信号処理部１４は、主に赤外画像取得部１４ａ、セグメンテーション処理部（領域分割部）１４ｂ、カラー画像取得部１４ｃ、レーザーパターン抽出部１４ｄ、画像合成部１４ｅを備えている。

赤外画像取得部１４ａは、図５に示したシーケンスに沿って生成された赤外画像を撮像素子１２から取得する。

ここで、領域分割について説明する。セグメンテーション処理部１４ｂは、取得した赤外画像を所定の条件に従って複数の領域に分割する処理（セグメンテーション処理）を行う。本実施形態例では、撮像素子１２の各画素（光電変換素子）が受光した赤外光の反射光強度に応じて出力する撮像信号の信号レベル（以下、信号値とも称す）に基づき、赤外画像を複数の領域に分割する。

例えば、撮像素子１２の画素配列がベイヤー配列であると想定する。この場合、任意の画素のＲ信号の信号レベルをＲ、Ｇ信号の信号レベルをＧ、Ｂ信号の信号レベルをＢと定義すると、当該画素の信号値（輝度値）は、
（Ｒ＋２Ｇ＋Ｂ）／４
で表される計算式により求められる。各画素についてこの計算式を用いて信号値を計算し、領域分割を行う。なお、ベイヤー配列の場合を例に画素の信号値の算出方法を説明したが、他の配列を採用する撮像素子ではこの限りではない。

図６の説明に戻る。カラー画像取得部１４ｃは、図５に示したシーケンスに沿って生成されたカラー画像を撮像素子１２から取得する。

レーザーパターン抽出部１４ｄは、撮像素子１２により撮像されたカラー画像から各色のレーザー光の反射光強度を取得してレーザーパターンを抽出する。

画像合成部１４ｅは、レーザーパターン抽出部１４ｄで抽出された各色のレーザー光の反射光強度に基づいて決定される色情報に基づき、カラー画像の反射パターンと対応する位置にある赤外画像の該当領域に色を割り当てて合成画像（合成カラー画像）を生成する。画像合成部１４ｅは、生成した合成画像を制御部１６へ出力する。

［１フレーム画像の生成処理例］
以上のように構成されるカメラシステム１を、侵入者の色の抽出に応用する場合の例を説明する。図７は、カメラシステム１における１フレーム画像の生成処理例を示すフローチャートである。また図８（ａ）〜図８（ｅ）は、侵入者の色の抽出の各段階を示した説明図である。

撮像素子１２の画角エリアに侵入者３０が写り込んだ場合、カメラシステム１は侵入者３０の撮影を開始する。すなわち、カメラシステム１は図５に示したシーケンスにより、１フレーム期間内の連続するＩＲモードとＲＧＢモードで赤外画像とカラー画像の２枚の画像を取得する。赤外画像及びカラー画像のそれぞれの画像は、図１の第１メモリ１５ａ、第２メモリ１５ｂにそれぞれ一次格納される。なお、侵入者３０が現れたことをトリガとして撮影を開始する技術は周知であるから詳細な説明は割愛する。

信号処理部１４では、まず赤外画像取得部１４ａが、第１メモリ１５ａより赤外画像の読み出しを行う（ステップＳ１）。
赤外画像は一般的に、赤外光が反射することにより手前に位置する被写体は明るく撮影され、背景は反射光が弱いために暗く撮影される。赤外画像の一例を、図８（ａ）に示す。

続いて、セグメンテーション処理部１４ｂは、赤外画像３５に対してセグメンテーション処理を行い、赤外画像３５内で同一被写体あるいは同一部位と判別される領域の抽出を行う（ステップＳ２）。
セグメンテーション処理の手法としては、さまざまな手法を適用できるが、例えば、赤外画像３５の各画素の信号値のヒストグラムを作成し、その信号値のヒストグラムに応じて複数のエリアにブロック化（分割）する手法などが適用可能である。画素の信号値は、撮像素子１２の各画素で受光された赤外光の反射光強度（信号強度）に対応する。このようなセグメンテーション処理を行うことにより、赤外画像３５内において侵入者３０の各領域、例えば胴体部３１、頭部３２などを抽出することが可能となる（図８（ｂ））。セグメンテーション処理部１４ｂにより赤外画像３５にセグメンテーション処理が施された後の赤外画像３５Ａは、第３メモリ１５ｃに書き込まれる。この赤外画像３５Ａのデータには、赤外画像３５に加え、領域ごとの画素の座標が含まれる。

次に、カラー画像取得部１４ｃが、第２メモリ１５ｂより通常モードで撮影されたカラー画像３６の読み出しを行う（図８（ｃ））（ステップＳ３）。

カラー画像３６は、投光部２０から図４で示したようなＲ，Ｇ，Ｂの投影パターン２５Ａを持つレーザー光が被写体に投影されて撮影される。一般的に、夜間の撮影では、撮像素子から出力される撮像信号のゲインを上げて被写体に対応する撮像信号を強調することが行われる。本実施形態例では、被写体が確認できるまで撮像信号のゲインを上げる必要はなく、所定の投影パターンのレーザー光が投影された被写体で反射した光のパターンが確認できるように調整すればよい。よって、カラー画像としては図８（ｃ）に示すように、侵入者３０などの被写体及び背景は、共に全く見えないか、もしくは、辛うじてその輪郭が判別できる程度となる。被写体に投影したレーザー光のレーザーパターンのうち該被写体で反射したレーザー光のレーザーパターンのみが明るく撮影されることとなる。

なお、撮像素子において生成される撮像信号のゲインを上げなくてよいので、増幅器が不要である。または増幅器もしくは増幅器を含む回路の消費電力が抑えられる。

図８（ｃ）の例では、侵入者３０の胴体部３１の服で反射したレーザー光のレーザーパターン３３−１と、頭部３２で反射したレーザー光のレーザーパターン３３−２が明るく撮影される。本例では、一例として胴体部３１の服で反射したレーザー光のレーザーパターン３３−１ではＧの輝度値が高く、頭部３２で反射したレーザー光のレーザーパターン３３−２ではＲとＧの輝度が高い。

続いて、レーザーパターン抽出部１４ｄが、カラー画像からＲ，Ｇ，Ｂ各色のレーザー光の反射光強度に応じた各色の画素の信号値を取得し、レーザーパターンを抽出する（ステップＳ４）。

被写体に投影されたレーザー光の反射光は、カメラシステム１から被写体までの距離に応じて反射光強度が変わり、また、それぞれの被写体の色によってもＲ，Ｇ，Ｂの反射光強度の比率が異なってくる。図８（ｃ）では、例えば背景に照射されているレーザー光のレーザーパターンの反射光強度はＲ，Ｇ，Ｂ共に極めて弱く、胴体部３１ではＲのみが強く、頭部３２ではＲとＧが強くなっている。図８（ｃ）（ｄ）では、レーザーパターンを反射光強度の強い順に、実線、１点鎖線、破線で表している。信号処理部１４では、例えばＲ，Ｇ，Ｂ各色のレーザーパターンの反射光強度すなわち画素の信号値に予め閾値を設定しておくことにより、レーザー光が実際に照射された被写体が存在する領域を抽出できる。そして、該当領域に含まれる各画素の位置と、その画素におけるＲ，Ｇ，Ｂそれぞれの信号値の情報（色情報）を、第４メモリ１５ｄに書き込む。なお、画素の信号値の閾値は、信号処理部１４が備える図示しないレジスタ又はＲＯＭ（Read Only Memory）、あるいは第４メモリ１５ｄなどに格納してもよい。

そして、画像合成部１４ｅは、Ｒ，Ｇ，Ｂ各色のレーザー光の反射光強度に基づいて決定される色情報を用いて、赤外画像に色を付与する。

一例として、画像合成部１４ｅは、まず赤外画像の注目画素と同一領域内で距離が最も近いレーザーパターンをカラー画像から検出する（ステップＳ５）。この処理を赤外画像の画素ごとに実行する。

次に、画像合成部１４ｅは、該当レーザーパターンにおけるＲ，Ｇ，Ｂそれぞれの信号値を抽出する。この処理では、レーザーパターンのＲ，Ｇ，Ｂそれぞれの信号値を格納している第４メモリ１５ｄから該当情報を読み出して取得する（ステップＳ６）。

図８の例では、図８（ｂ）の赤外画像３５Ａにおける胴体部３１の領域に属する画素に、当該画素が所属する領域の中で画素間の距離が最も近いカラー画像のレーザーパターン３３−１（図８（ｄ））のＲ，Ｇ，Ｂ信号値が割り当てられる。また、赤外画像３５Ａにおける頭部３２の領域に属する画素には、当該画素が所属する領域の中で画素感の距離が最も近いレーザーパターン３３−２のＲ，Ｇ，Ｂ信号値が割り当てられる。一方、輝度信号については、例えば第１メモリ１５ａが参照され、図８（ａ）の赤外画像３５の対応する画素の信号値がそのまま割り当てられる。

以上により、画像合成部１４ｅは、赤外画像の画素ごとに輝度信号Ｙと色信号を決定する。色信号に関しては、例えばレーザーパターンのＲ，Ｇ，Ｂ信号から色差信号Ｃｂ，Ｃｒに変換し、これら輝度信号Ｙと色差信号Ｃｂ，Ｃｒを用いて１フレームの合成画像を生成する（ステップＳ７）。合成画像は、例えば図示しないバッファメモリもしくは不揮発メモリ１７等の記憶手段に一時格納される。そして、画像合成部１４ｅは、図示しないタイミングジェネレータに従い、例えば次のフレーム期間のＩＲモードにおけるブランキング期間等に、輝度信号Ｙと色差信号Ｃｂ，Ｃｒを合成画像として順次出力する。

これらの輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが供給される表示装置（図示略）で、色差信号Ｃｂ，ＣｒをＲ，Ｇ，Ｂ信号に逆算することにより、最終的な合成画像（図８（ｅ））が得られる。その結果、本実施形態例では、例えば赤外画像３５における胴体部３１の領域は赤色、頭部３２の領域は黄色（赤色と緑色の合成色）に着色され、一方、背景については、Ｒ，Ｇ，Ｂ信号ともに強度が弱いので、無彩色の暗い色で表示される。

以上の操作は、撮像素子１２の露光及び走査に同期して、連続した撮像画像に対しシーケンシャルに行われる。これにより、カメラシステム１による赤外画像及びカラー画像の撮影と同時に、リアルタイムに合成画像の生成と表示が可能となる。

なお、図３を参照して説明したように、レーザー光の回折パターンは実際には光点の並びとして投影され、本実施形態例では複数色の光点が隣接して直線に配列されるように設計している。そして、一つの線分を構成する各々の光点に対応する反射光強度は、被写体によって異なってくる。そこで、例えば抽出されたレーザーパターンのＲ，Ｇ，Ｂの色ごとに線分を構成する各光点に対応する反射光強度の平均値を計算し、該平均値を当該レーザーパターンの各色の信号値とする。

または、赤外画像の注目画素と同一領域内にあって対応する画素間の距離が最も近いレーザーパターンを検出し、そのレーザーパターンの該当画素のＲ，Ｇ，Ｂの信号値を用いて、赤外画像の注目画素の色を割り当ててもよい。この場合、赤外画像に対して、より高精度にカラー画像の色を再現することができる。

ここで、赤外画像の注目画素が属する領域内に、複数のレーザーパターンが存在する場合における色の割り当てに、図９を参照して説明する。

図９は、赤外画像の注目画素と同一領域内で距離が最も近いレーザーパターンをカラー画像から検出する例の説明図である。
この例では、赤外画像の胴体部３１の領域内に、２つのレーザーパターン３３−３，３３−４が含まれている。胴体部３１の領域内の注目画素３１−１は、レーザーパターン３３−４よりもレーザーパターン３３−３に距離が近いので、レーザーパターン３３−３のＲ，Ｇ，Ｂの信号値が割り当てられる。一方、胴体部３１の領域内の注目画素３１−２は、レーザーパターン３３−４との距離が最も近いので、レーザーパターン３３−４のＲ，Ｇ，Ｂの信号値が割り当てられる。

あるいは、注目画素からの距離に応じて同一領域内に存在する第１のレーザーパターンと第２のレーザーパターンのＲ，Ｇ，Ｂの信号値に重みをつけ、２つのレーザーパターンのＲ，Ｇ，Ｂの信号値を用いて注目画素に色を付与することも考えられる。

投影パターンが密であるほど、言い換えれば赤外画像の分割領域に投影パターンを構成する単位パターンの数が多く含まれるほど、当該分割領域の色を詳細に再現することができる。

以上説明した第１の実施形態例によれば、被写体に複数色（本例では三原色）に対応する可視レーザー光の投影パターンを直接照射し、その反射光強度を検出して赤外画像に色を付与する。それゆえ、環境光がない暗時の撮影において、従来と比較して色再現精度を格段に向上させることができる。

一方、被写体に照射する光はレーザーパターンによる指向性の高い光線であるので、照明ランプのように外部から監視領域を認知することは困難であり、照明の漏れ光などにより近隣に迷惑をかけることもない。

また、レーザー光が人間にも照射されるが、レーザー光再生ホログラムを利用してレーザー光を拡散しているために、安全上問題のないシステム設計をすることが可能である。

なお、上述した実施形態例では、レーザー光のパターンを投影するためにレーザー光再生ホログラムを用いている。これは、レーザー光を分散させることにより、レーザー光のパターンを広く被写体に投影するとともに、レーザー光源（レーザー光）を人が直視した時の安全性を確保する効果がある。しかしながら、レーザー光源の安全性の追求を必要としない用途などであれば、レーザー光再生ホログラムを用いずに、レーザー光源からのレーザー光を直接被写体に投影することも可能である。この場合、撮影画角内に広くレーザー光のパターンを投影させるために、投影パターンの数だけ、もしくは該投影パターンを構成する単位パターンの数だけ各色のレーザー光源を用意する。

また、上述した実施形態例では、レーザー光の投影パターンとして、Ｒ，Ｇ，Ｂそれぞれのレーザー光の光点によって構成する線分が斜め４５度に投影されたパターンを説明した。しかし、投影パターンはこれに限らず、少なくとも２色のパターンを隣接させた繰り返しのパターンであれば、他の形態でもよい。例えば、レーザー光の投影パターンとして、色ごとにレーザー光の複数の光点が配列され、各色の配列が隣接して構成される単位パターンが分散されたものであればよい。例えば、色ごとにレーザー光の間隔を広くした破線や、形状では曲線や円など、線分以外のパターンも適用可能である。

また、上述した実施形態例では、赤外画像の注目画素の輝度信号をＹ、カラー画像の該当画素の色差信号をＣｂ，Ｃｒとして合成処理を行ったが、最終的に合成される信号は他の方式でも構わない。例えばＹＣｒＣｂ方式に代えてＹＵＶ方式を適用してもよい。

また、上述した実施形態例では、カメラシステム１から赤外光を投光して赤外画像を作成していたが、この例に限られない。例えば、赤外光を投光せず、直接被写体から自然放射される赤外光、または環境光による赤外光の反射光を撮影した画像を用いても同様な機能を得ることができる。

また、上述した実施形態例では、赤外画像を取得する場合とカラー画像を取得する場合とで撮像素子を共用したが、撮影画像の大きさ（画素数）が略同一の別個の撮像素子を用いてもよい。

さらに、上述した実施形態例では、カメラ部１０と投光部２０が一体に構成され、カメラ部１０の制御部１６が投光部２０を制御するカメラシステム１を例に挙げて説明したが、この例に限られない。カメラ部と投光部が別体に構成され、投光部が外部からの制御信号に基づいてカメラ部と独立かつ同期して動作してもよい。

＜２．第２の実施形態＞
第１の実施形態では、赤外画像の各画素に対する色情報をカラー画像から抽出する手段として、赤外画像を領域分割し、その領域の中で注目画素と最も距離の近いレーザーパターンの反射光強度を参照した。第２の実施形態は、カラー画像を縮小化し、縮小カラー画像を用いて簡易に色情報を抽出する例である。ここでは、画像を構成する画素数を減らすことを画像の縮小化という。

図１０（ａ）〜図１０（ｃ）は、本開示の第２の実施形態における、縮小画像を用いて色情報を抽出する処理の説明図である。
まず、カラー画像取得部１４ｃ（画像縮小部の一例）において、撮影されたカラー画像４０Ａに対し、マトリクス状に配列されている複数の画素４１の画素値を近傍の数画素で平均化処理する。図１０（ａ）の例では、４×４画素の画素値を平均化処理し、カラー画像４０Ａを画素数が１／１６の縮小カラー画像４０Ｂに縮小化している（図１０（ｂ））。縮小カラー画像４０Ｂの画素４２は、縮小前のカラー画像の４×４画素に相当する。

このとき、カメラシステムの投光部２０の設置を調整することにより、Ｒ，Ｇ，Ｂのレーザーパターン（例えば単位パターン２６）が、図１０（ｂ）に示すように縮小カラー画像４０Ｂの１画素に１つの組み合わせが含まれるようにしておくことが望ましい。これにより、レーザーパターン抽出部１４ｄが縮小カラー画像４０Ｂの各画素に対応するレーザーパターンを抽出し、画像合成部１４ｅにおいて、縮小画像の画素ごとに上記レーザーパターンの色情報を対応させることができる（図１０（ｃ））。

ここで、図１０（ｂ）に示すように、Ｒ，Ｇ，Ｂの３本（各色）のレーザーパターンは平均化処理により縮小カラー画像４０Ｂの１つの画素４２に対応することになるので、もはや、レーザーパターンはレーザー光の光点ごとに分離されない。それゆえ、図１０（ｂ）に示すレーザーパターンのＲ，Ｇ，Ｂそれぞれの反射光強度に応じた色情報のみが各画素に割り当てられることになる。画像合成部１４ｅにおいて、これらの色情報を、対応する赤外画像の各画素の輝度情報と組み合わせることにより、合成カラー画像４０Ｃを簡易に生成することが可能となる。

図１０（ａ）の例では、カラー画像４０Ａ上の５列のレーザーパターンのうち、左端１列は赤が強く、中央３列は緑が強く、右端１列は青が強い。したがって、合成カラー画像４０Ｃにおいて、中央３列の画素は緑、その左側の列の画素は赤、反対に右側の列の画素は青が割り当てられる。勿論、三原色の色だけでなく、抽出されるレーザーパターンの色に応じて中間色も取り得る。

以上説明した第２の実施形態によれば、複雑な画像処理を行うことなく、撮影したカラー画像から縮小カラー画像の生成を行うのみで簡易な合成カラー画像を生成することができる。

ここで、色情報に関しては縮小カラー画像を用いているために、輝度情報に比べて色情報の解像度が落ちてしまうが、一般的に監視カメラの用途では、侵入してくる人の服、車などの被写体の総体的な色情報がわかればよいので、細部の色情報が欠落しても問題にならない。

＜３．第３の実施形態＞
第１及び第２の実施形態では、カラー画像撮影時に投影するレーザーパターンとして固定されたパターンを用いたが、第３の実施形態では、レーザーパターンをスキャン操作することにより、画面全体から色抽出を行えるようにする。

図１１は、本開示の第３の実施形態における、画角エリア全体にレーザーパターンを走査することにより画面全体から色抽出を行うカメラシステムの説明図である。また、図１２は、本開示の第３の実施形態に係る投光部の一例の構成図である。

図１１に示すように、第３の実施形態に係るカメラシステムは、少なくとも投光部５１、ポリゴンミラー５２（走査部の一例）、カメラ部１０を備えている。カメラ部１０については図１１での記載を省略している。その他の構成は、図１に示したカメラシステム１と同様の構成である。

投光部５１は、レーザー光投光系５１−１と赤外光投光系５１−２を備えて構成される。レーザー光投光系５１−１の内部構成は、図１に示した投光部２０のレーザー光投光系とほぼ同様の構成であり、Ｒ，Ｇ，Ｂのレーザー光源２２Ｒ，２２Ｇ，２２Ｂの前方にホログラムプレート２４Ｒ´，２４Ｇ´、２４Ｂ´が配置される。ただし、ホログラムプレート２４Ｒ´，２４Ｇ´、２４Ｂ´を介して生成されるレーザーパターンは、第１の実施形態例とは異なり、図１３に示すように、スリット光である。

図１３は、ホログラムプレートを介して生成されるスリット光と撮影画角の説明図である。
Ｒ，Ｇ，Ｂのレーザー光源２２Ｒ，２２Ｇ，２２Ｂから出射されたＲ，Ｇ，Ｂのレーザー光は、ホログラムプレート２４Ｒ´，２４Ｇ´、２４Ｂ´によりスリット光５４Ｒ，５４Ｇ，５４Ｂに変換される。Ｒ，Ｇ，Ｂのスリット光５４Ｒ，５４Ｇ，５４Ｂは、互いに隣接しており、レンズ２３（図２）の光軸方向の画角エリア２７全体にわたって照射される。

そして、レーザー光投光系５１−１の前方にポリゴンミラー５２が配置され、このポリゴンミラー５２は一定の速度で回転する。レーザー光投光系５１−１から出射されたＲ，Ｇ，Ｂのスリット光５４Ｒ，５４Ｇ，５４Ｂはポリゴンミラー５２で反射されて、被写体（例えば侵入者３０）に照射され、さらにポリゴンミラー５２の回転により画角エリア２７全体への走査が行われる。ここでは、ポリゴンミラー５２の配置位置を調整して、図１１及び図１３に示すように走査範囲５３が画角エリア２７を包含するように設定し、さらに撮像素子１２の露光及び読出しの動作と同期するように設定している。なお、本例のポリゴンミラー５２は断面形状がほぼ六角形であるが、これ以外の多角形でもよい。

一方、赤外光投光系５１−２から出射された赤外光は、ポリゴンミラー５２で反射させずに、第１の実施形態と同様に、画角エリア２７全体に直接照射する。

図１４は、本開示の第３の実施形態に係る撮像素子の動作例を示すシーケンス図であり、Ｒ，Ｇ，Ｂを含むスリット光５４の走査タイミングと撮像素子１２の露光及び読出しタイミングとの関係を表している。

第１の実施形態と同様に、カメラシステムが１枚の画像（１フレーム）を生成する１フレーム期間（例えば１／３０秒）を、ＩＲモードとＲＧＢモードの２つに分け、撮像素子１２がＩＲモードとＲＧＢモードのそれぞれにおいて１画面分の走査を行う。

スリット光５４とポリゴンミラー５２を用いた走査は、カメラ部１０の画角エリア２７内の各位置に対してスリット光５４を等価的に投光する必要があるため、撮像素子１２のブランキング期間（露光期間）に一回の走査が完了するように設定される。そのブランキング期間に撮像素子１２の各画素は、スリット光５４の通過に伴い、Ｒ，Ｇ，Ｂ各色のレーザー光の反射光を等しい時間間隔で受光する。

また、ポリゴンミラー５２は撮影中、常に回転し続けるが、Ｒ，Ｇ，Ｂのレーザーパターンの照射は、ＲＧＢモードのブランキング期間のみでよいため、それ以外の期間では、Ｒ，Ｇ，Ｂのレーザー光源２２Ｒ，２２Ｇ，２２Ｂはオフとなる。これにより、撮像素子１２は、１走査期間（ポリゴンミラー５２の一つの面による走査期間）に、Ｒ，Ｇ，Ｂのスリット光５４が画角エリア２７全体に照射されたことと同等な画像を得ることが可能となる。

以上のように構成される第３の実施形態によれば、カメラシステムは、第１の実施形態とは異なり、赤外画像の各画素に輝度情報だけでなく、それぞれ対応するＲ，Ｇ，Ｂの色情報を持つことができる。よって、信号処理部１４では、単に画素ごとに、赤外画像から輝度情報（輝度信号Ｙ）を取り出し、カラー画像から色情報（例えば色差信号Ｃｂ，Ｃｒ）を取り出して、輝度情報と色情報を合成して、合成カラー画像を生成することが可能となる。すなわち、第１の実施形態と比較して色情報の割り当て処理が簡素化されている。

なお、上述した実施形態では、レーザー光のスキャン操作にポリゴンミラーを用いたが、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーなどの、他のスキャン機構を用いてもよい。

また、上述した実施形態では、投光パターンとしてホログラムプレートを用いて生成したスリット光を照射したが、他の投光パターンでもよい。例えば、ホログラムプレートを用いないでスポット光源を用い、Ｘ，Ｙ方向に２次元走査が可能な可動式ミラーにより撮影画角内全体をスキャン操作してもよい。

また、上述した本実施形態では、走査部の一例としてホログラムプレートを適用したが、レーザー光をスリット光に変換できる手段であればこれに限られず、例えばシリンドリカルレンズを適用してもよい。

また、例えば、第３の実施形態を第１の実施形態に適用し、スリット光を画角エリア全体に照射して得られた色情報を赤外画像の分割領域に割り当てるようにしてもよい。または、第３の実施形態を第２の実施形態に適用し、スリット光を画角エリア全体に照射して得られた色情報を利用してカラー縮小画像を生成し、赤外画像に色情報を付加するようにしてもよい。

＜４．その他＞
上述した第１〜第３の実施形態では、環境光のない暗時に赤外光を利用して動画像を撮影する場合を例に挙げて説明したが、静止画像の撮影にも適用できることは勿論である。

また、第１の実施形態では赤外画像を領域分割したが、赤外画像を領域分割せずに、赤外画像の各画素に対して可視レーザー光の反射光強度に応じて決定された色情報を付与してもよい。この場合、セグメンテーション処理部１４ｂが不要である。例えばカラー画像において赤外画像の注目画素から最も近いレーザーパターンの可視レーザー光の反射光強度に基づく色情報を、赤外画像の注目画素に割り当てる。

さらに、上述した第１〜第３の実施形態を適宜組み合わせて、本開示の課題を解決するカメラシステムを構成してもよい。
例えば、第１の実施形態における、被写体で反射したレーザー光の反射光強度がしきい値以上であるときの色情報を画像合成に利用する点を、第２及び第３の実施形態に適用してもよい。
また、第１の実施形態における、赤外画像の注目画素と、当該注目画素が所属する領域内におけるカラー画像のレーザーパターンが存在する画素との距離が最も近いレーザーパターンを抽出し、その色情報を利用する点を、第２及び第３の実施形態に適用してもよい。

なお、本開示は以下のような構成も取ることができる。
（１）
赤外光が照射された被写体からの反射光により赤外画像を撮像し、また、複数色の可視レーザー光を組み合わせて形成されたパターンが投影された前記被写体からの反射光によりカラー画像を撮像する撮像素子と、
前記カラー画像より前記複数色の可視レーザー光の反射光強度に応じて決定される色情報を用いて、前記赤外画像に色を付与する信号処理部と、を備える
撮像装置。
（２）
前記信号処理部は、
前記撮像素子により撮像された前記赤外画像を、前記撮像素子の各画素で受光された赤外光の反射光強度に応じて複数の領域に分割する領域分割部と、
前記撮像素子により撮像された前記カラー画像から前記複数色の可視レーザー光の反射光強度を取得してレーザーパターンを抽出するレーザーパターン抽出部と、
前記レーザーパターン抽出部で抽出された前記複数色の可視レーザー光の反射光強度に応じて決定される色情報に基づき、前記カラー画像のレーザーパターンと対応する位置にある前記赤外画像の該当領域に色を割り当てて合成画像を生成する画像合成部と、を備える
前記（１）に記載の撮像装置。
（３）
前記複数色の可視レーザー光を組み合わせて形成されたパターンは、前記可視レーザー光の色ごとに複数の光点が直線に配列された線分を有し、各色の線分が隣接して構成される単位パターンが分散している
前記（１）又は（２）に記載の撮像装置。
（４）
前記レーザーパターン抽出部は、前記カラー画像から色ごとに前記可視レーザー光の反射光強度がしきい値以上である画素と、該当画素における色ごとの可視レーザー光の反射光強度を取得する
前記（２）又は（３）に記載の撮像装置。
（５）
前記画像合成部は、
前記赤外画像の注目画素と、当該注目画素が所属する領域内における前記カラー画像の前記レーザーパターンが存在する画素との距離が最も近いレーザーパターンを抽出し、抽出したレーザーパターンを構成する前記複数色の可視レーザー光の反射光強度に基づいて色情報を決定し、前記注目画素に色を割り当てる
前記（２）乃至（４）のいずれかに記載の撮像装置。
（６）
前記複数色の可視レーザー光を組み合わせて形成されたパターンのうち少なくとも１つの前記単位パターンが、前記赤外画像の分割された領域に含まれるように分散される
前記（３）又は（５）に記載の撮像装置。
（７）
前記撮像素子は、前記赤外画像を取得する第１のモードによる撮像と前記カラー画像を取得する第２のモードによる撮像を１フレーム期間内で行い、
前記信号処理部は、前記１フレーム期間内で撮像された前記赤外画像及び前記カラー画像を用いて１フレームの合成画像を生成する
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）
前記画像合成部は、前記カラー画像のうち近傍に位置する相互の画素の色情報を合成することにより画素数を減少した縮小カラー画像を生成し、該縮小カラー画像の各画素の色情報を前記赤外画像の対応する領域に割り当てる
前記（２）乃至（７）のいずれかに記載の撮像装置。
（９）
前記複数色の可視レーザー光を組み合わせて形成されたパターンの前記単位パターンが、前記縮小カラー画像の各画素に対応するように分散している
前記（８）に記載の撮像装置。
（１０）
前記複数色の可視レーザー光が隣接したパターンを、画角エリア全体にわたって走査する走査部を、更に備える
前記（１）乃至（９）のいずれかに記載の撮像装置。
（１１）
前記複数色の可視レーザー光は、赤色光、緑色光及び青色光のレーザー光である
前記（１）乃至（１０）のいずれかに記載の撮像装置。
（１２）
前記レーザーパターン抽出部は、前記カラー画像から前記パターンに対応する画素の前記色情報として色差信号を抽出し、
前記画像合成部は、対応する前記赤外画像の画素の反射光強度に応じた輝度信号と前記色差信号を用いて前記合成画像を生成する
前記（２）乃至（１１）のいずれかに記載の撮像装置。
（１３）
前記赤外光及び前記複数色の可視レーザー光を照射する投光部を、更に備える
前記（１）乃至（１２）のいずれかに記載の撮像装置。
（１４）
撮像素子により、赤外光が照射された被写体からの反射光により赤外画像を撮像することと、
前記撮像素子により、複数色の可視レーザー光を組み合わせて形成されたパターンが投影された前記被写体からの反射光によりカラー画像を撮像することと、
信号処理部により、前記カラー画像より前記複数色の可視レーザー光の反射光強度に応じて決定される色情報を用いて、前記赤外画像に色を付与することと、
を含む撮像方法。
（１５）
前記赤外光及び前記複数色の可視レーザー光を照射する投光部と、
前記投光部からの赤外光が照射された被写体からの反射光により赤外画像を撮像し、また、前記投光部からの複数色の可視レーザー光を組み合わせて形成されたパターンが投影された前記被写体からの反射光によりカラー画像を撮像する撮像素子と、
前記カラー画像より前記複数色の可視レーザー光の反射光強度に応じて決定される色情報を用いて、前記赤外画像に色を付与する信号処理部と、
を備えるカメラシステム。

なお、上述した各実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（例えば不揮発メモリ１７）を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置、例えば制御部１６）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

以上、本開示は上述した各実施の形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
すなわち、上述した各実施形態の例は、本開示の好適な具体例であるため、技術的に好ましい種々の限定が付されている。しかしながら、本開示の技術範囲は、各説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる使用材料とその使用量、処理時間、処理順序および各パラメータの数値的条件等は好適例に過ぎず、また説明に用いた各図における寸法、形状および配置関係も概略的なものである。

１…カメラシステム、 １０…カメラ部、 １２…撮像素子、 １４…信号処理部、 １４ａ…赤外画像取得部、 １４ｂ…セグメンテーション処理部、 １４ｃ…カラー画像取得部、 １４ｄ…レーザーパターン抽出部、 １４ｅ…画像合成部、 １５ａ〜１５ｄ…第１〜第４メモリ、 １６…制御部、 １７…不揮発メモリ、 ２０…投光部、 ２１……レーザードライバ、 ２１Ｌ…ＬＥＤドライバ、 ２２…レーザー光源、 ２２Ｌ…赤外光照射用ＬＥＤ、 ２４，２４´…ホログラムプレート、 ２５Ａ…投影パターン、 ２６…単位パターン、 ３３−１〜４…レーザーパターン、 ４０Ｂ…縮小カラー画像、 ４０Ｃ…合成カラー画像、 ４１，４２…画素、 ５１…投光部、 ５１−１…レーザー光投光系、 ５２…ポリゴンミラー、 ５４…スリット光

Claims (15)

1. 赤外光が照射された被写体からの反射光により赤外画像を撮像し、また、複数色の可視レーザー光を組み合わせて形成されたパターンが投影された前記被写体からの反射光によりカラー画像を撮像する撮像素子と、
   前記カラー画像より前記複数色の可視レーザー光の反射光強度に応じて決定される色情報を用いて、前記赤外画像に色を付与する信号処理部と、を備える
   撮像装置。
2. 前記信号処理部は、
   前記撮像素子により撮像された前記赤外画像を、前記撮像素子の各画素で受光された赤外光の反射光強度に応じて複数の領域に分割する領域分割部と、
   前記撮像素子により撮像された前記カラー画像から前記複数色の可視レーザー光の反射光強度を取得してレーザーパターンを抽出するレーザーパターン抽出部と、
   前記レーザーパターン抽出部で抽出された前記複数色の可視レーザー光の反射光強度に応じて決定される色情報に基づき、前記カラー画像のレーザーパターンと対応する位置にある前記赤外画像の該当領域に色を割り当てて合成画像を生成する画像合成部と、を備える
   請求項１に記載の撮像装置。
3. 前記複数色の可視レーザー光を組み合わせて形成されたパターンは、前記可視レーザー光の色ごとに複数の光点が配列され、各色の配列が隣接して構成される単位パターンが分散している
   請求項２に記載の撮像装置。
4. 前記レーザーパターン抽出部は、前記カラー画像から色ごとに前記可視レーザー光の反射光強度がしきい値以上である画素と、該当画素における色ごとの可視レーザー光の反射光強度を取得する
   請求項２に記載の撮像装置。
5. 前記画像合成部は、
   前記赤外画像の注目画素と、当該注目画素が所属する領域内における前記カラー画像の前記レーザーパターンが存在する画素との距離が最も近いレーザーパターンを抽出し、抽出したレーザーパターンを構成する前記複数色の可視レーザー光の反射光強度に基づいて色情報を決定し、前記注目画素に色を割り当てる
   請求項３に記載の撮像装置。
6. 前記複数色の可視レーザー光を組み合わせて形成されたパターンのうち少なくとも１つの前記単位パターンが、前記赤外画像の分割された領域に含まれるように分散される
   請求項３に記載の撮像装置。
7. 前記撮像素子は、前記赤外画像を取得する第１のモードによる撮像と前記カラー画像を取得する第２のモードによる撮像を１フレーム期間内で行い、
   前記信号処理部は、前記１フレーム期間内で撮像された前記赤外画像及び前記カラー画像を用いて１フレームの合成画像を生成する
   請求項１に記載の撮像装置。
8. 前記画像合成部は、前記カラー画像のうち近傍に位置する相互の画素の色情報を合成することにより画素数を減少した縮小カラー画像を生成し、該縮小カラー画像の各画素の色情報を前記赤外画像の対応する領域に割り当てる
   請求項２に記載の撮像装置。
9. 前記複数色の可視レーザー光を組み合わせて形成されたパターンの前記単位パターンが、前記縮小カラー画像の各画素に対応するように分散している
   請求項８に記載の撮像装置。
10. 前記複数色の可視レーザー光が隣接したパターンを、画角エリア全体にわたって走査する走査部を、更に備える
    請求項１に記載の撮像装置。
11. 前記複数色の可視レーザー光は、赤色光、緑色光及び青色光のレーザー光である
    請求項１に記載の撮像装置。
12. 前記レーザーパターン抽出部は、前記カラー画像から前記パターンに対応する画素の前記色情報として色差信号を抽出し、
    前記画像合成部は、対応する前記赤外画像の画素の反射光強度に応じた輝度信号と前記色差信号を用いて前記合成画像を生成する
    請求項１に記載の撮像装置。
13. 前記複数色の可視レーザー光を照射する投光部を、更に備える
    請求項１に記載の撮像装置。
14. 撮像素子により、赤外光が照射された被写体からの反射光により赤外画像を撮像することと、
    前記撮像素子により、複数色の可視レーザー光を組み合わせて形成されたパターンが投影された前記被写体からの反射光によりカラー画像を撮像することと、
    信号処理部により、前記カラー画像より前記複数色の可視レーザー光の反射光強度に応じて決定される色情報を用いて、前記赤外画像に色を付与することと、
    を含む撮像方法。
15. 赤外光及び複数色の可視レーザー光を照射する投光部と、
    前記投光部からの赤外光が照射された被写体からの反射光により赤外画像を撮像し、また、前記投光部からの複数色の可視レーザー光を組み合わせて形成されたパターンが投影された前記被写体からの反射光によりカラー画像を撮像する撮像素子と、
    前記カラー画像より前記複数色の可視レーザー光の反射光強度に応じて決定される色情報を用いて、前記赤外画像に色を付与する信号処理部と、
    を備えるカメラシステム。