JP2009066121A

JP2009066121A - 撮像装置

Info

Publication number: JP2009066121A
Application number: JP2007236636A
Authority: JP
Inventors: Koji Tanimoto; 孝司谷本
Original assignee: Sanyo Electric Co Ltd; Sanyo Semiconductor Co Ltd
Current assignee: Sanyo Electric Co Ltd; System Solutions Co Ltd
Priority date: 2007-09-12
Filing date: 2007-09-12
Publication date: 2009-04-02
Anticipated expiration: 2027-09-12
Also published as: US7629565B2; US20090065679A1; JP5184016B2

Abstract

【課題】可視光像と赤外光像との合成画像を撮影する撮像装置において、好適な合成バランスを実現するため、フィルタで固体撮像素子へ入射する可視光を減衰させたり、固体撮像素子や信号処理回路にて赤外光像の信号を増幅させると、ノイズが増加し、画質が低下しやすい。
【解決手段】別々に発光可能な可視光源２０と励起光源２２とを備え、可視光像と、蛍光物質が励起光に対して発する赤外蛍光に基づく赤外光像とを、１つのＣＣＤイメージセンサ１２で露光期間をずらして別々に撮像する。信号処理回路１６は、別々に撮像された可視光像と赤外光像とを合成する。合成バランスの調整は、制御回路１８が駆動回路１４を制御して、可視光源２０及び励起光源２２それぞれの発光強度、又はＣＣＤイメージセンサ１２での露光時間を調整することにより行う。
【選択図】図１

Description

本発明は、可視光像と赤外蛍光物質による赤外光像との合成画像を撮影可能な撮像装置に関する。

蛍光体は、対象物における可視光像では明確でない構造や特定の物質の存在を検知する技術に利用されている。例えば、インドシアニングリーン（以下、ＩＣＧ）という蛍光体は、約８００ｎｍの近赤外光を吸収し励起され、約８５０ｎｍの近赤外光の蛍光を発する色素であり、造影剤として人体に投与することもでき、それにより観察される赤外光像が病気の診断・手術等に利用されている。例えば、下記特許文献１に示す内視鏡装置は、体腔内の可視光像を観察できると共に、ＩＣＧを検査対象者に投与し、励起光を照射して、体腔内の蛍光画像を観察できる。

また、下記特許文献２は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）といった可視光成分に感度を有する可視光画素と、基本的に赤外光成分にのみ感度を有する赤外光画素とを二次元配列したカラー撮像素子を開示している。この固体撮像素子によれば、赤外光画素の信号を用いて、可視光画素の信号から赤外光成分に起因するオフセットを除去し、色再現性が向上した可視光像が得られる。さらにこの固体撮像素子は、同時に赤外光像を撮像することができる。

ここで、診断・手術等においては、可視光像として得られる通常画像と、蛍光に基づく赤外光像とを合成した画像が有用である。蛍光は通常、可視光より強度が微弱であるため、従来の撮像装置は、フィルタで固体撮像素子へ入射する可視光を減衰させたり、固体撮像素子や信号処理回路にて赤外光像の信号を増幅させることにより、合成される可視光像と赤外光像との強度バランスを調整している。
特開２００５−２６１９７４号公報特開２００５−１８４６９０号公報

好適な合成バランスを実現するため、フィルタで固体撮像素子へ入射する可視光を減衰させたり、固体撮像素子や信号処理回路にて赤外光像の信号を増幅させると、ノイズが増加し、画質が低下しやすいという問題があった。そのため、可視光像と赤外光像との好適な合成画像を得ることが難しいという問題があった。

本発明は上記問題点を解決するためになされたものであり、可視光像と赤外光像との好適な合成画像を得ることを可能とする撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体へ可視光帯域の第１成分光を照射する第１光源と、前記被写体へ、赤外蛍光を発する所定の赤外蛍光物質の励起波長を有する第２成分光を照射する第２光源と、前記被写体からの光のうち、前記第１成分光に対応する帯域の成分及び前記赤外蛍光を透過し、前記第２成分光に対応する帯域の成分の透過を阻止する光学フィルタと、前記光学フィルタの透過光に基づいて、可視光像及び赤外光像を撮像可能な固体撮像素子と、前記第１光源及び前記第２光源を交互に点灯させ、前記第１光源及び前記第２光源それぞれの点灯時にて前記固体撮像素子に撮像を行わせる制御部と、前記第１光源の点灯により撮像される前記可視光像と、前記第２光源の点灯により撮像される前記赤外光像とに基づく合成画像を表す合成画像信号を生成する画像信号処理部と、を有する。

本発明によれば、１つの固体撮像素子を用い時分割で可視光像と赤外光像とを撮像する。また、可視光像及び赤外光像それぞれの撮像に対応して、別々の光源を備え、各撮像に適した帯域の光を照射して撮像が行われる。これにより、可視光像及び赤外光像それぞれの撮像に対して別々の露光条件を設定することができ、可視光像及び赤外光像のノイズの抑制を図りつつ、好適な合成画像を得ることが容易となる。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

本実施形態は、ＩＣＧを蛍光造影剤として血管投与した人体等の被写体から可視光像と赤外光像との合成画像を撮影する内視鏡用撮像装置である。図１は、本実施形態に係る撮像装置の概略の構成を示すブロック図である。本撮像装置は、例えば、撮像部２と表示部４とに分けられ、撮像部２は、光源６、光学系８、光学フィルタ１０、ＣＣＤイメージセンサ１２、駆動回路１４、信号処理回路１６及び制御回路１８を含んで構成される。撮像部２は内視鏡の先端部に設けられる。ここで、先端部をできるだけ小型にし被検者の負担を軽減するために、撮像部２のうち例えば、光源６、光学系８、光学フィルタ１０、ＣＣＤイメージセンサ１２を含む一部分のみ先端部に格納し、他の部分は体腔外のユニットに設ける構成とすることができる。この場合、先端部内の光源６及びＣＣＤイメージセンサ１２と体腔外のユニットとは、内視鏡のケーブル状の挿入部内を通された信号線で接続される。また、光源６は、発光部を体腔外に設け、発光部にて生じた光をグラスファイバ等で先端部に導く構成とすることもできる。表示部４は体腔外に置かれ、医師等に体腔内の画像を提供する。

光源６は、Ｒ（赤），Ｇ（緑），Ｂ（青）各色に跨る比較的広帯域の可視光を出射する可視光源２０と、ＩＣＧの励起波長を含む比較的狭帯域の光を出射する励起光源２２とからなる。本撮像装置では、可視光像及び赤外光像の撮像を時分割でＣＣＤイメージセンサ１２により行う。これに対応して、可視光源２０及び励起光源２２は別々に点灯することができる。可視光源２０として、例えば、キセノンランプや白色ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）などを用いることができる。励起光源２２は、ＩＣＧの励起波長に対応して、例えば、７８０ｎｍにピーク波長を有するＬＥＤ等の半導体発光デバイスを用いることができる。特に、７８０ｎｍ帯の発光デバイスとして、ＧａＡｓ系等のレーザダイオード（ＬＤ）がＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）の読み取りに用いられており、これを本装置においても採用することができる。

なお、ＩＣＧが発する蛍光を鮮明に撮像するためには、蛍光波長近傍でのＩＣＧによる蛍光以外の光成分が少ないことが望ましい。この点、後述するように蛍光についての赤外画像の撮像は励起光源２２のみをオンし、可視光源２０はオフして行われる。体腔内では基本的に他の光源は存在しないので、可視光源２０をオフすることで、ＩＣＧの蛍光による赤外画像の撮像を好適に行うことが可能である。

被写体からの光は、光学系８を介して本撮像装置に取り込まれる。光学系８は、レンズ等からなり、ＣＣＤイメージセンサ１２の受光面に光学像を結像させる。

光学フィルタ１０は、ＣＣＤイメージセンサ１２までの入射光路上に配置される。図２は、光学フィルタ１０の分光透過特性を示す模式図である。光学フィルタ１０は、励起波長である７８０ｎｍの近傍帯域の光の透過を好適に阻止する一方、蛍光波長である８５０ｎｍの近傍帯域の光を好適に透過させる特性３０を有する。これにより、ＣＣＤイメージセンサ１２にて、被写体で反射した励起光による不要な画像が撮影されることを防止し、蛍光による赤外光像を好適に撮影することが可能となる。また、光学フィルタ１０は可視光も透過する特性３２を有する。ちなみに、ここで述べたような光学フィルタ１０の特性は、例えば、真空蒸着によりシリカ／チタニアなどを繰り返し１０〜６０層程度積層した薄膜を形成することで実現することができる。

ここで、本撮像装置では、合成画像における可視光像と赤外光像との所望の合成バランスを、別々に撮像される可視光像及び赤外光像の露光条件、つまり可視光像及び赤外光像それぞれの露光時間と可視光源２０及び励起光源２２の発光強度とで調整することができる。すなわち、所望の合成バランスを実現する上で、基本的に、光学フィルタ１０の可視光帯域と赤外帯域とでの透過率のバランスによる調整は不要であり、本実施形態では光学フィルタ１０として、両帯域での透過特性３０，３２は例えば、共に１００％といった高い透過率を有するものを用いる。なお、特性３０，３２の透過率に差異が存在する光学フィルタ１０を用いることも自由である。本撮像装置は基本的に、光学フィルタ１０の透過率に任意の差異が存在しても、可視光像及び赤外光像の露光条件の調整により好適な合成バランスを実現できる。換言すれば、本撮像装置では、光学フィルタ１０の特性３０，３２の透過率のばらつきは、露光条件の調整により容易に吸収できるので、光学フィルタ１０の精度に対する要求が緩和され、光学フィルタ１０の製造又は選択が容易となる。

ＣＣＤイメージセンサ１２は、駆動回路１４からの各種クロックに基づいて動作し、被写体に応じた画像信号を生成する。図３はＣＣＤイメージセンサ４の概略の構成を示す模式的な平面図である。図３に示すＣＣＤイメージセンサ１２はフレーム転送型であり、半導体基板上に形成される撮像部１２ｉ、蓄積部１２ｓ、水平転送部１２ｈ、及び出力部１２ｄを含んで構成される。

撮像部１２ｉを構成する垂直シフトレジスタの各ビットは、それぞれ画素を構成する受光画素として機能する。各受光画素はカラーフィルタを配置され、そのカラーフィルタの透過特性に応じて、受光画素が感度を有する光成分が定まる。撮像部１２ｉはベイヤー配列のカラーフィルタアレイを配置される。

カラーフィルタは例えば、着色した有機材料で形成され、それぞれ対応する色の可視光を透過するが、その材質上、赤外光も透過する。例えば、図４は、ＲＧＢ各フィルタの分光透過特性を示す模式的なグラフであり、同図はフォトダイオードの分光感度特性も併せて示している。各色のカラーフィルタの透過率は、可視光領域ではそれぞれの着色に応じて固有の分光特性を示すが、赤外光領域では互いに類似した分光特性を示す。

一方、フォトダイオードは、波長が７８０ｎｍ程度までの可視光領域全般に加え、さらに７８０ｎｍ程度より長波長の近赤外領域まで感度を有する。そのため、赤外光成分が受光画素に入射すると、当該赤外光成分はカラーフィルタを透過して、フォトダイオードにて信号電荷を発生する。すなわち、各受光画素には、入射光のうち当該画素に配置されたカラーフィルタの色に対応する可視光成分に応じた信号電荷と、赤外光成分に応じた信号電荷とが蓄積され得る。

撮像部１２ｉの各受光画素で発生した信号電荷は、蓄積部１２ｓ、水平転送部１２ｈを介して出力部１２ｄへ転送される。出力部１２ｄは、電気的に独立した容量及びその電位変化を取り出すアンプからなり、水平転送部１２ｈから出力される信号電荷を１ビット単位で容量に受けて電圧値に変換し、時系列の画像信号として出力する。

駆動回路１４は、制御回路１８からのタイミング制御信号等を受けて、ＣＣＤイメージセンサ１２を駆動する各種クロック信号を生成しＣＣＤイメージセンサ１２に供給する。また、駆動回路１４は、制御回路１８の指示を受け、例えば、ＣＣＤイメージセンサ１２での撮像動作に連動して可視光源２０及び励起光源２２それぞれのオン／オフを制御する。具体的には、可視光像の撮像時には可視光源２０がオンされ、励起光源はオフされ、一方、赤外光像の撮像時には励起光源２２がオンされ、可視光源２０はオフされる。

信号処理回路１６は、ＣＣＤイメージセンサ１２が時分割で撮像し出力する可視光像及び赤外光像それぞれの画像信号に基づいて、可視光像と赤外光像とが合成された合成画像を表す画像信号を生成する。信号処理回路１６は、アナログ信号処理回路、Ａ／Ｄ変換回路及びデジタル信号処理回路を含んで構成される。

アナログ信号処理回路は、出力部１２ｄが出力するアナログ信号の画像信号に対して、増幅やサンプルホールド等の処理を施す。Ａ／Ｄ変換回路はアナログ信号処理回路から出力される画像信号を、所定の量子化ビット数のデジタルデータに変換することにより、画像データを生成し、これを出力する。

デジタル信号処理回路はＡ／Ｄ変換回路から画像データを取り込み、各種の処理を行う。例えば、デジタル信号処理回路は、可視光像及び赤外光像それぞれに対して別々に、輪郭補正やガンマ補正などの処理を行い、また、別々にゲイン、オフセットなどを設定できるように構成される。

また、デジタル信号処理回路は、可視光像、赤外光像それぞれに対して所定の処理を施して、それらを重ね合わせた合成画像の輝度データや色データを生成する。

例えば、可視光源２０を点灯して撮像された画像データに対しては、デジタル信号処理回路はＲＧＢ各受光画素にてサンプリングされたＲＧＢ各データに対するフィルタ処理を行う。このフィルタ処理として、互いに異なるサンプリング点にて得られたＲＧＢ各データに対する補間処理が行われ、この補間処理により、画像を構成する各サンプリング点にて、ＲＧＢそれぞれの画素値が定義される。また、フィルタ処理では、画素欠陥やランダムノイズを除去する処理も行われる。このフィルタ処理後のＲＧＢ各データをそれぞれ〈Ｒ〉，〈Ｇ〉，〈Ｂ〉と表す。

一方、励起光源２２を点灯して撮像された画像データについては、受光画素のＲＧＢの種類にかかわらず、いずれも赤外光像のデータを構成する。すなわち、赤外光像については、可視光像に対して行われる上述の空間的な補間処理を行わなくても、それぞれ受光画素に対応する各サンプリング点での赤外蛍光のデータが得られる。但し、デジタル信号処理回路は、各画素値に対して、ＲＧＢ各フィルタ毎の赤外光の透過率の相違を補正する処理を行う。例えば、デジタル信号処理回路は、可視光像に対してのホワイトバランスの調整と同様にして当該補正を行う。具体的には、赤外光像の画像データについて、Ｒ受光画素から得られる画素値の平均値、Ｇ受光画素の画素値の平均値、及びＢ受光画素の画素値の平均値を求め、それらが等しくなるようにＲＧＢそれぞれについて補正係数が定められる。デジタル信号処理回路は、各受光画素の画像値に当該受光画素のＲＧＢの種類に応じた補正係数を乗じ補正画素値を算出する。この補正処理後の赤外光像の画像データをそれぞれ〈ＩＲ〉と表す。

デジタル信号処理回路は、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉，〈ＩＲ〉を用いて、合成画像を表す画像信号を生成する処理を行い、各サンプリング点における輝度データ（輝度信号）Ｙ及び色差データ（色差信号）Ｃｒ，Ｃｂを生成する。なお、この合成画像において、赤外光像を任意の色で表示できるようにデジタル信号処理回路を構成することもできる。

信号処理回路１６にて生成された合成画像の画像信号は、表示部４に入力され、液晶ディスプレイ等の表示デバイスに画像表示される。例えば、ＩＣＧを血管に注入して内視鏡観察を行う場合には、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉に応じたカラー画像で表される体腔内の可視光像に、ＩＣＧの濃度が高い血管等が白く浮き出る赤外光像が合成された合成画像が得られる。

次に、本撮像装置の露光制御について説明する。信号処理回路１６にてデジタル信号処理回路が、画像データを１画面単位で積分し、その積分結果を制御回路１８へ出力する。制御回路１８は、その積分結果に基づいて、駆動回路１４を制御して、可視光像及び赤外光像それぞれの露光時間Ｅ１，Ｅ２を伸縮させたり、可視光源２０及び励起光源２２それぞれの発光強度Ｌ１，Ｌ２を増減させることによって、例えば、可視光像、赤外光像それぞれについての画像データの１画面の積分値Ａ１，Ａ２を所望の値（目標値α_Ｔ１，α_Ｔ２）とするようにフィードバック制御を行う。

積分値Ａ１，Ａ２それぞれの目標値α_Ｔ１，α_Ｔ２は、合成画像における可視光像と赤外光像との所望の合成バランスに応じて設定することができる。例えば、合成画像において、赤外光像より可視光像を明確に表示したい場合には、α_Ｔ１をα_Ｔ２より大きめに設定し、逆に可視光像より赤外光像を明確に表示したい場合には、α_Ｔ２をα_Ｔ１より大きめに設定する。本撮像装置では、このように、基本的に、露光時間や発光強度の調整によって所望の合成バランスの実現を図る。すなわち、一般に微弱な蛍光に基づいて得られる赤外光像に対する信号処理回路１６での増幅ゲインを抑制することにより、ノイズの増加を抑制して、合成画像の画質の向上を図る。

制御回路１８は、例えば、ユーザにより目標値α_Ｔ１，α_Ｔ２を設定される。制御回路１８は、可視光像及び赤外光像の撮像が交互に行われるように、駆動回路１４及び信号処理回路１６を制御する。例えば、第ｋフレームの可視光像Ｐ１（ｋ）、第ｋフレームの赤外光像Ｐ２（ｋ）、第（ｋ＋１）フレームの可視光像Ｐ１（ｋ＋１）、第（ｋ＋１）フレームの赤外光像Ｐ２（ｋ＋１）の順に撮像が行われ、Ｐ１（ｋ）とＰ２（ｋ）とが合成されて第ｋフレームの合成画像Ｐｃ（ｋ）が生成され、Ｐ１（ｋ＋１）とＰ２（ｋ＋１）とが合成されて第（ｋ＋１）フレームの合成画像Ｐｃ（ｋ＋１）が生成される。ここでｋは整数である。

この場合に、制御回路１８は、例えば、第ｎフレームの可視光像Ｐ１（ｎ）の露光条件を、直前に撮像された可視光像Ｐ１（ｎ−１）での積分値Ａ１（ｎ−１）と目標値α_Ｔ１との差を縮小させるフィードバック制御により定める。例えば、制御回路１８は、可視光源２０の発光強度Ｌ１は一定に保ち、露光時間Ｅ１を伸縮制御する。すなわち、Ａ１（ｎ−１）＞α_Ｔ１の場合には、Ｐ１（ｎ）に対する露光時間Ｅ１（ｎ）をＥ１（ｎ−１）より短縮して設定し、Ａ１（ｎ−１）＜α_Ｔ１の場合には、Ｅ１（ｎ）をＥ１（ｎ−１）より伸張して設定する。

赤外光像に対しても同様の露光制御を行うことができる。すなわち、制御回路１８は、赤外光像Ｐ２（ｎ）の露光条件を、赤外光像Ｐ２（ｎ−１）での積分値Ａ２（ｎ−１）と目標値α_Ｔ２との差を縮小させるフィードバック制御により定める。例えば、制御回路１８はまず、励起光源２２の発光強度Ｌ２は一定に保ち、露光時間Ｅ２を伸縮制御する。すなわち、Ａ２（ｎ−１）＞α_Ｔ２の場合には、Ｐ２（ｎ）に対する露光時間Ｅ２（ｎ）をＥ２（ｎ−１）より短縮して設定し、Ａ２（ｎ−１）＜α_Ｔ２の場合には、Ｅ２（ｎ）をＥ２（ｎ−１）より伸張して設定する。

ここで、蛍光が微弱な状態では、制御回路１８は発光強度Ｌ２をそれまでより高いレベルに設定して露光時間Ｅ２の伸縮制御を行う構成とすることができる。これにより、露光時間Ｅ２が例えば、フレームレート等に応じて定められる所定の上限値を超えることを回避できる。

なお、可視光像に対するフィードバック制御は、先行する１フレームだけでなく、先行する複数フレームの可視光像に基づいて行うこともでき、同様に、赤外光像に対するフィードバック制御も、先行する複数フレームの赤外光像に基づいて行うことができる。

続いて、制御回路１８による他の制御方法を説明する。この制御方法では、合成画像Ｐｃ（ｎ）を構成する一対の画像Ｐ１（ｎ），Ｐ２（ｎ）のうち先に撮像される可視光像Ｐ１（ｎ）についての露光制御は、上述の可視光像についてと同様に行われる。すなわち、先行して撮像された可視光像の積分値Ａ１と目標値α_Ｔ１との差を縮小させるフィードバック制御により、例えば、露光時間Ｅ１（ｎ）が定められる。

一方、前記一対の画像のうち後に撮像される赤外光像Ｐ２（ｎ）についての露光制御は、
（１）先行して撮像された赤外光像の積分値Ａ２と目標値α_Ｔ２との差を縮小させるフィードバック制御、
（２）直前に撮像された可視光像Ｐ１（ｎ）の積分値Ａ１（ｎ）に対し、目標値α_Ｔ１，α_Ｔ２により定義される目標合成バランスθの実現を図るフィードフォワード制御、
の２つを併用して行われる。なお、ここで、第ｎフレームでの合成バランスを表す指標θ（ｎ）をθ（ｎ）≡Ａ２（ｎ）／Ａ１（ｎ）と定義し、目標合成バランスでのθをθ_Ｔ≡α_Ｔ２／α_Ｔ１と定義する。

例えば、先行赤外光像Ｐ２（ｎ−１）の積分値Ａ２が目標値α_Ｔ２のλ_２倍（λ_２＜１）であり、直前可視光像Ｐ１（ｎ）の積分値Ａ１が目標値α_Ｔ１のλ_１倍（λ_１＞１）である場合の赤外光像Ｐ２（ｎ）についての露光制御を説明する。

この場合に仮に、上記（１）の先行赤外光像の積分値Ａ２に基づくフィードバック制御を行って、赤外光像Ｐ２（ｎ）にて積分値Ａ２を目標値α_Ｔ２に設定できたとしても、当該赤外光像と合成される可視光像Ｐ１（ｎ）の積分値Ａ１が目標値α_Ｔ１より大きな値λ_１α_Ｔ１であるため、θ／θ_Ｔ＝１／λ_１となる。すなわち、この場合には、θ＜θ_Ｔとなり、合成バランスが目標とする状態からずれてしまう。具体的には、合成画像にて可視光像が明るく表示される結果、赤外光像が相対的に暗く、沈み込んで表示される。

これに対し、本発明に係る上述の（１）のフィードバック制御と（２）のフィードフォワード制御とを併用する制御方式では、先行赤外光像の積分値Ａ２の目標値α_Ｔ２に対する偏差を縮小させる制御と、直前可視光像Ｐ１（ｎ）の積分値Ａ１の変動に追随させて赤外光像Ｐ２（ｎ）の積分値Ａ２を変化させる制御とが行われる。その結果、Ａ２（ｎ）が（λ_２／λ_１）Ａ２（ｎ−１）に近づくように、Ｐ２（ｎ）の露光条件が設定される。例えば、露光時間を制御する場合、制御回路１８は、Ｐ２（ｎ−１）での露光時間Ｅ２（ｎ−１）を基準として、Ｐ２（ｎ）での露光時間Ｅ２（ｎ）を、（λ_２／λ_１）・Ｅ２（ｎ−１）に設定する。これにより、直前の可視光像の積分値Ａ１の変動に対して、目標値θ_Ｔに応じた好適な合成バランスの合成画像を得ることができる。

なお、ここでは、１つの合成画像を構成する一対の可視光像と赤外光像に関し、先に可視光像が撮像される場合を説明したが、先に赤外光像が撮像される構成であってもよい。また、上述したλ_１＞１かつλ_２＜１の場合は一例であり、λ_１，λ_２についての他の場合であってもよい。

本撮像装置では、別々に撮像した可視光像と赤外光像とを用いて合成画像を生成する。よって、可視光像及び赤外光像を同時に１つの画像として撮像する装置とは異なり、当初より可視光像及び赤外光像それぞれの画像信号が互いに分離して得られ、これにより、例えば、合成に際して、赤外光像の画像の明るさの調整や色を付ける等の処理がやりやすい。また、可視光像及び赤外光像それぞれを時分割で撮像する構成としたことで、別々の露光時間を設定することができる。これにより、例えば、露光時間の伸張により赤外光像の露光量の確保が可能となり、励起光源２２の発光強度のみで露光量を確保する構成に比べて、励起光源２２の最大発光量を低く設定でき、励起光源２２のサイズを小さくすることが容易となる。

また、上記実施形態は内視鏡用撮像装置を示したが、本発明は、基本的に外光が存在しない環境下で撮像を行う他の用途の撮像装置に適用することもできる。

本発明の実施形態に係る撮像装置の概略の構成を示すブロック図である。光学フィルタの分光透過特性を示す模式図である。ＣＣＤイメージセンサの概略の構成を示す模式的な平面図である。ＲＧＢ各フィルタの分光透過特性、及びフォトダイオードの分光感度特性を示すグラフである。

符号の説明

２撮像部、４表示部、６光源、８光学系、１０光学フィルタ、１２ＣＣＤイメージセンサ、１４駆動回路、１６信号処理回路、１８制御回路、２０可視光源、２２励起光源。

Claims

被写体へ可視光帯域の第１成分光を照射する第１光源と、
前記被写体へ、赤外蛍光を発する所定の赤外蛍光物質の励起波長を有する第２成分光を照射する第２光源と、
前記被写体からの光のうち、前記第１成分光に対応する帯域の成分及び前記赤外蛍光を透過し、前記第２成分光に対応する帯域の成分の透過を阻止する光学フィルタと、
前記光学フィルタの透過光に基づいて、可視光像及び赤外光像を撮像可能な固体撮像素子と、
前記第１光源及び前記第２光源を交互に点灯させ、前記第１光源及び前記第２光源それぞれの点灯時にて前記固体撮像素子に撮像を行わせる制御部と、
前記第１光源の点灯により撮像される前記可視光像と、前記第２光源の点灯により撮像される前記赤外光像とに基づく合成画像を表す合成画像信号を生成する画像信号処理部と、
を有することを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記固体撮像素子は、それぞれ互いに異なる特定色の可視光に対する感度を有すると共にいずれも赤外光に対する感度を有する複数種類の受光画素を二次元配列したカラー撮像素子であること、を特徴とする撮像装置。
請求項１又は請求項２に記載の撮像装置において、
前記第１光源及び前記第２光源は、それぞれ発光強度を制御可能であり、
前記制御部は、前記可視光像の撮像時の露光条件を、露光時間又は前記第１光源の発光強度によって制御し、前記赤外光像の撮像時の露光条件を、露光時間又は前記第２光源の発光強度によって制御すること、
を特徴とする撮像装置。
請求項１から請求項３のいずれか１つに記載の撮像装置において、
前記制御部は、前記合成画像における前記可視光像と前記赤外光像との所望の合成バランスに応じて、前記可視光像の撮像時及び前記赤外光像の撮像時それぞれの露光条件を設定すること、を特徴とする撮像装置。
請求項４に記載の撮像装置において、
前記制御部は、
前記可視光像及び前記赤外光像それぞれについての目標信号レベルである前記第１目標信号レベル及び第２目標信号レベルを設定され、
前記可視光像の露光条件を、先行して撮像された前記可視光像の信号レベルと前記第１目標信号レベルとの偏差に基づくフィードバック制御により制御し、
前記赤外光像の露光条件を、先行して撮像された前記赤外光像の信号レベルと前記第２目標信号レベルとの偏差に基づくフィードバック制御により制御すること、
を特徴とする撮像装置。
請求項４に記載の撮像装置において、
前記画像信号処理部は、連続して得られる一対の前記可視光像及び前記赤外光像を合成して前記合成画像を生成し、
前記制御部は、
互いに合成される一対の前記可視光像及び前記赤外光像のうち先に撮像されるものを前記第１画像、後に撮像されるものを前記第２画像として、前記第１画像と前記第２画像との目標合成バランスと、当該目標合成バランスに応じた前記第１画像及び前記第２画像それぞれについての目標信号レベルである前記第１目標信号レベル及び前記第２目標信号レベルとを設定され、
前記第１画像の露光条件を、先行して撮像された前記第１画像の信号レベルと前記第１目標信号レベルとの偏差に基づくフィードバック制御により制御し、
前記第２画像の露光条件を、先行して撮像された前記第２画像の信号レベルと前記第２目標信号レベルとの偏差に基づくフィードバック制御と、直前に撮像された前記第１画像の信号レベルに対応して前記目標合成バランスの実現を図るフィードフォワード制御とを併用して制御すること、
を特徴とする撮像装置。