JP6101615B2 - 内視鏡装置 - Google Patents

Description

本発明は、内視鏡装置に関する。

例えば青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各色の照明光や、白色光及び特殊光など、スペクトル（発光波長分布特性、もしくは中心発光波長を指す）が互いに異なる複数の照明光を被写体に順次照射し、各照明光下で被写体を順次撮像する、いわゆる面順次方式の内視鏡装置が知られている（例えば、特許文献１参照）。

内視鏡装置に搭載される撮像素子としては、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサが用いられているが、量産性に優れ且つ消費電力の少ないＣＭＳＯイメージセンサの使用が望まれている。

ＣＭＯＳイメージセンサは、典型的には、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される。そのため、複数の照明光が順次照射される場合に、画素配列における一部のラインについては露光期間に複数の照明光によって露光されてしまう混色の問題が生じ得る。

特許文献１に記載された内視鏡装置においてもＣＭＯＳイメージセンサが用いられているが、照明光の点灯・消灯及び照明光の切り替え、並びにＣＭＯＳイメージセンサの露光及び画素信号の読み出しを制御することにより、上記の混色の問題に対する対策がなされている。

具体的には、１フレーム期間毎に照明光が切り替えられ、１フレーム期間を前後二分割した前半の１／２フレーム期間で露光され、後半の１／２フレーム期間で半数の画素から画素信号が読み出されており、又は２フレーム期間毎に照明光が切り替えられ、前半の１フレーム期間で露光され、後半の１フレーム期間で全ての画素から画素信号が読み出されている。

特開２０１０−０６８９９２号公報

特許文献１に記載された内視鏡装置では、解像度が低下するか又はフレームレートが低下し、画質劣化が懸念される。

本発明は、上述した事情に鑑みなされたものであり、ローリングシャッタ方式で駆動される撮像素子を用いた面順次方式の内視鏡装置において、画質劣化を抑制し、且つ混色の影響を低減することを目的とする。

スペクトルが互いに異なる複数の照明光を被写体に順次照射する照明装置と、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子を有し、上記複数の照明光の各々の下で被写体を順次撮像する撮像装置と、上記複数の照明光の切り換えに伴い、上記複数の照明光のうちの一照明光下で露光される第１期間が上記露光期間よりも短くなる非一様露光ラインの画素の画素信号を、この非一様露光ラインが上記露光期間の全期間に亘ってこの一照明光下で露光されたとした場合の画素信号に補正する補正処理を行う補正部と、を備える内視鏡装置。

本発明によれば、ローリングシャッタ方式で駆動される撮像素子を用いた面順次方式の内視鏡装置において、画質低下を抑制し、且つ混色の影響を低減することができる。

本発明の実施形態を説明するための内視鏡装置の一例の構成を示す図である。 図１の内視鏡装置の機能ブロックを示す図である。 図２の画像処理部の詳細な機能ブロックを示す図である 図１の内視鏡装置における画像表示の一例を示す図である。 図２の撮像素子の構成を示す図である。 図１の内視鏡装置の動作の一例を示す図である。 図６の内視鏡装置の動作例における補正処理を示す図である。 図６の内視鏡装置の動作例の変形例を示す図である。 図１の内視鏡装置の動作の他の例を示す図である。 図１の内視鏡装置の動作の他の例を示す図である。 図１０の内視鏡装置の動作例の変形例を示す図である。 本発明の実施形態を説明するための内視鏡装置の他の例の機能ブロックを示す図である。

以下、本発明の好適な実施形態について、図面を参照して説明する。

図１は、本発明の実施形態を説明するための内視鏡装置の一例の構成を示し、図２及び図３は、図１の内視鏡装置の機能ブロックを示す。

内視鏡装置１は、Ｂ，Ｇ，Ｒの各色の照明光を被写体に順次照射し、各照明光下で被写体を順次撮像し、得られたＢ，Ｇ，Ｒの各色の画像データに基づいてカラー画像データを合成するものである。この内視鏡装置１は、内視鏡本体２と、プロセッサユニット３と、光源ユニット４と、モニタ５とを備えている。

内視鏡本体２は、被写体内に挿入される挿入部１０と、挿入部１０に連なる操作部１１と、操作部１１から延びるユニバーサルコード１２とを有している。内視鏡本体２は、ユニバーサルコード１２を介してプロセッサユニット３及び光源ユニット４に接続される。

光源ユニット４は、青色発光ダイオード４０Ｂ、緑色発光ダイオード４０Ｇ、赤色発光ダイオード４０Ｒと、これらの発光ダイオード４０Ｂ，４０Ｇ，４０Ｒを駆動するドライバ４１とを有している。

ドライバ４１は、発光ダイオード４０Ｂ，４０Ｇ，４０Ｒの各々の点灯・消灯及び光量を制御可能であり、発光ダイオード４０Ｂ，４０Ｇ，４０Ｒが順次点灯されることによってＢ，Ｇ，Ｒの各色の照明光が光源ユニット４から順次出射される。

光源ユニット４から出射されたＢ，Ｇ，Ｒの各色の照明光は、内視鏡本体２のユニバーサルコード１２、操作部１１、挿入部１０に跨ってそれらの内部に挿通されたライトガイド４２によって挿入部１０の先端部１３に導光され、ライトガイド４２の先端面から被写体に向けて照射される。

発光ダイオード４０Ｂ，４０Ｇ，４０Ｒ、ドライバ４１、及びライトガイド４２によって、スペクトル（発光波長分布特性、もしくは中心発光波長を指す）が互いに異なるＢ，Ｇ，Ｒの各色の照明光を被写体に順次照射する照明装置が構成される。

内視鏡本体２の挿入部１０の先端部１３には撮像装置２０が設けられている。

撮像装置２０は、詳細は後述するが、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子３０と、撮像素子３０の各画素から画素信号を読み出す読出部３１と、撮像信号を出力する送信部３２と、撮像素子３０及び読出部３１並びに送信部３２を駆動するドライバ３３とを有している。なお、撮像信号は、フレームの区切りを示すヘッダ情報や画素信号を含んで構成される。

撮像装置２０は、上記の照明装置から順次照射されるＢ，Ｇ，Ｒの各色の照明光下で被写体を順次撮像し、各色の照明光に対応した撮像信号をプロセッサユニット３に送信する。

プロセッサユニット３は、制御部５０と、受信部５１と、画像処理部５２と、表示処理部５３とを有している。

制御部５０は、ＣＰＵ（Central Processing Unit）を主体として構成され、プロセッサユニット３及び光源ユニット４並びに撮像装置２０の動作を統括制御する。

制御部５０は、受信部５１にて受信された撮像信号に含まれるヘッダ情報に基づき、撮像装置２０の撮像タイミング（フレームの区切り）を取得する。

そして、制御部５０は、被写体に照射される照明光が１フレーム毎に切り替わるように、発光ダイオード４０Ｂ，４０Ｇ，４０Ｒを撮像装置２０の撮像タイミングに同期させて適切な光量で順次点灯させるための照明制御信号を光源ユニット４のドライバ４１に送信する。

さらに制御部５０は、受信部５１にて受信された撮像信号が、Ｂ，Ｇ，Ｒのいずれの色の照明光下で撮像されたものであるかを識別するための色成分信号を画像処理部５２に送信する。

画像処理部５２は、ゲイン補正部６０と、ホワイトバランス補正部６１と、セレクタ部６２と、フレームメモリ６３Ｂ，６３Ｇ，６３Ｒと、合成部６４と、Ｙ／Ｃ変換部６５と、測光部６６とを含んで構成されている。

ゲイン補正部６０は、Ｂ，Ｇ，Ｒの各色の照明光が被写体に順次照射される場合に、ローリングシャッタ方式で駆動される撮像素子３０の画素配列における一部のラインが露光期間に複数の照明光によって露光されてしまう混色の影響を低減するためのゲイン補正を行うものである。ゲイン補正部６０によるゲイン補正では、詳細は後述するが、照明光毎に且つ画素配列におけるライン毎に補正値が設定され、制御部５０から入力される色成分信号及び画素信号の入力順に基づいて補正値が切り替えられる。

ホワイトバランス補正部６１は、カラー画像データのホワイトバランスを調整するためのゲイン補正を行うものである。ホワイトバランス補正部６１によるゲイン補正では、照明光毎に補正値が設定され、制御部５０から入力される色成分信号に基づいて補正値が切り替えられる。

セレクタ部６２は、制御部５０から入力される色成分信号に基づき、照明光の色毎に設けられたフレームメモリ６３Ｂ，６３Ｇ，６３Ｒから撮像信号に対応するフレームメモリを選択し、選択したフレームメモリに撮像信号を記憶させる。

合成部６４は、フレームメモリ６３Ｂ，６３Ｇ，６３Ｒに記憶されている画像データを読出し、各色の画像データに基づいてカラー画像データを合成する。

Ｙ／Ｃ変換部６５は、合成部６４によって合成されたＲＧＢカラー画像データを輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂに変換する。Ｙ／Ｃ変換部６５によって生成された輝度信号Ｙ及び色差信号Ｃｒ，Ｃｂは、表示処理部５３に送信され、表示処理部５３によってモニタ５に内視鏡カラー画像として逐次表示される。

測光部６６は、Ｙ／Ｃ変換部６５によって生成された輝度信号Ｙを取得し、画像の明るさを表す測光値を求める。測光値は、例えば画像の輝度平均値若しくはピーク値、又は輝度平均値及びピーク値の重み付け加算値などに基づく公知の測光方式を用いて求めることができる。

測光部６６によって求められた測光値は制御部５０に入力される。制御部５０は、測光値と目標値とを比較して光源ユニット４の発光ダイオード４０Ｂ，４０Ｇ，４０Ｒの光量を決定し、上記の照明制御信号を光源ユニット４のドライバ４１に送信する。

図４は、内視鏡装置１における画像表示の一例を示す。

画像処理部５２のフレームメモリ６３ＢにはＢ照明光下での撮像によって得られるＢ画像データが記憶され、フレームメモリ６３Ｂに記憶されたＢ画像データは、Ｂ照明光下で新たに撮像がなされる都度、その際に得られたＢ画像データによって更新される。フレームメモリ６３Ｇに記憶されたＧ画像データ、及びフレームメモリ６３Ｒに記憶されたＲ画像データもまた、同様にして、対応する色の照明光下で新たに撮像がなされる都度、その際に得られた画像データによって更新される。

合成部６４は、フレームメモリ６３Ｂ，６３Ｇ，６３Ｒのいずれかが更新されると、その都度、フレームメモリ６３Ｂ，６３Ｇ，６３Ｒに記憶されている画像データに基づいてカラー画像データを合成し、合成されたカラー画像データはＹ／Ｃ変換部６５及び表示処理部５３を経てモニタ５に逐次表示される。

図５は、撮像装置２０の構成を示す。

撮像装置２０は、上述のとおり、撮像素子３０と、読出部３１と、送信部３２と、ドライバ３３とを有している。

撮像素子３０は、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子であって、例えばＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサが用いられる。なお、Ｂ，Ｇ，Ｒの各色の照明光を被写体に順次照射する本内視鏡装置１において、撮像素子３０にはモノクロ撮像素子が用いられる。

撮像素子３０は、行列状に配列された多数の画素７０と、垂直走査部７１と、水平走査部７２とを含み、画素７０は、フォトダイオードＤ１と、増幅用トランジスタＭ１と、画素選択用トランジスタＭ２と、リセット用トランジスタＭ３とで構成されている。

また、撮像素子３０には、画素行毎にリセット線７３及び行選択線７４が設けられており、リセット線７３及び行選択線７４は垂直走査部７１に接続されている。そして、画素列毎に信号線７５が設けられており、信号線７５は、ＣＤＳ（Correlated Double Sampling）回路７６を介して列選択用トランジスタ７７に接続されている。

画素７０のフォトダイオードＤ１は、入射光量に応じた信号電荷を生成し、これを蓄積する。フォトダイオードＤ１に蓄積された信号電荷は、増幅用トランジスタＭ１によって増幅され、画素信号として出力される。

垂直走査部７１は、ドライバ３３から入力されるタイミング信号に基づいてリセット線７３を一定の周期で順に選択する。リセット線７３が選択されるのに伴い、選択されたリセット線７３にリセット用トランジスタＭ３が接続されている画素７０の信号電荷が破棄され、画素７０がリセットされる。

また、垂直走査部７１は、ドライバ３３から入力されるタイミング信号に基づいて行選択線７４を一定の周期で順に選択する。行選択線７４が選択されるのに伴い、選択された行選択線７４に画素選択用トランジスタＭ２が接続されている画素７０の画素信号が信号線７５に出力される。

ＣＤＳ回路７６は、信号線７５に出力された画素信号に含まれるノイズを除去し、ドライバ３３から入力されるタイミング信号に基づき、画素信号を一時的に保持する。

水平走査部７２は、ドライバ３３から入力されるタイミング信号に基づいて列選択用トランジスタ７７を順にオンとする。列選択用トランジスタ７７が順にオンとされるのに伴い、ＣＤＳ回路７６に一時的に保持されている画素信号が読出部３１に順次出力される。

読出部３１は、撮像素子３０から逐次出力される画素信号をデジタル変換するＡ／Ｄ変換器や、デジタル変換された画素信号を一時的に保持するメモリなどを含んで構成されている。読出部３１によって読み出された画素信号は、フレームの区切りを示すヘッダ情報と共に送信部３２からプロセッサユニット３に送信される。

以上の構成において、各画素７０のリセット、露光、読み出しの一連の動作は、画素行（ライン）単位で、撮像素子３０の画素配列におけるラインの並びの一方の端のラインＬ_１から他方の端のラインＬ_ｅｎｄに向けて順に行われ、その動作シーケンス（リセット、露光、読み出し）はライン間で一定の時間間隔をあけて開始される。従って、露光期間の開始時点及び終了時点はライン毎に異なるものとなる。

図６は、内視鏡装置１の動作の一例を示す。

図６に示す例では、撮像素子３０の画素配列におけるラインの並びの一方の端のラインＬ_１から他方の端のラインＬ_ｅｎｄまでを１フレームとし、１フレーム分のライン単位の動作シーケンスの終端にあたるラインＬ_ｅｎｄの露光期間の終了時点を照明光の切り替えのタイミングとして、１フレーム毎に照明光がＲ照明光→Ｇ照明光→Ｂ照明光の順に切り替えられている。

そして、図示の例では、１フレーム分のライン単位の動作シーケンスの開始側にあたるラインＬ_１〜Ｌ_５の露光期間の一部が一つ前のフレームの終端ラインＬ_ｅｎｄの露光期間に重複しており、ラインＬ_１〜Ｌ_５の露光期間は照明光の切り替え時点を跨いでいる。従って、ラインＬ_１〜Ｌ_５は、露光期間内に二つの照明光下で露光される。以下、露光期間内に二つの照明光下で露光されるラインを非一様露光ラインといい、露光期間の全期間に亘って単一の照明光が照射されるラインを一様露光ラインという。

例えばＧ照明光下での撮像フレームにおいてＧ照明光下で露光される期間を第１期間として、非一様露光ラインＬ_１は、Ｒ照明光からＧ照明光への切り替え時点を境に、切り替え時点以降の第１期間Ｔ_１ではＧ照明光下で露光され、切り替え時点以前の第２期間Ｔ_２ではＲ照明光下で露光される。この場合に、非一様露光ラインＬ_１の画素の画素信号は、非一様露光ラインＬ_１が露光期間Ｔ_０の全期間に亘ってＧ照明光下で露光されたとした場合の画素信号とは異なるものとなる。本内視鏡装置１では、画像処理部５２のゲイン補正部６０において非一様露光ラインの画素の画素信号を補正する。

図７は、非一様露光ラインの画素の画素信号の補正処理の一例を示す。

いずれのラインが非一様露光ラインとなるか、そして非一様露光ライン毎の第１期間Ｔ_１は、ライン単位の動作シーケンスの開始順及び開始タイミング、並びに照明光の切り替えのタイミングに基づいて既知である。ゲイン補正部６０は、非一様露光ライン毎に、非一様露光ラインの第１期間Ｔ_１の露光期間Ｔ_０に対する時間比率ｔ（Ｔ_１／Ｔ_０）に基づき、非一様露光ラインの画素の画素信号を補正する。

具体的には、ゲイン補正部６０は、非一様露光ラインの第１期間Ｔ_１の露光期間Ｔ_０に対する時間比率をｔ、第２期間Ｔ_２の露光期間Ｔ_０に対する時間比率を１−ｔ、非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、換算係数ｋを用いて、次式（１）により補正処理を行う。

Ｉｃ＝［１／{ｋ（１―ｔ）＋ｔ}］×Ｉ ・・・（１）

式（１）の換算係数ｋは、照明光毎に設定され、一様露光ラインの複数の画素の画素信号に基づいて求めることができる。例えばＧ照明光下での撮像フレームにおいて非一様露光ラインがＲ照明光及びＧ照明光下で露光される場合に、Ｇ照明光に対応する換算係数ｋ_Ｇは、一様露光ラインの複数の画素のＧ照明光下での画素信号の信号値の和ＳＵＭ_Ｇと、Ｒ照明光下での画素信号の信号値の和ＳＵＭ_Ｒとの比ＳＵＭ_Ｒ／ＳＵＭ_Ｇとすることができる。換算係数ｋの算出に用いられる一様露光ラインの複数の画素の画素信号は、例えば各色の照明光下での直近の撮像フレームで得られた画素信号を用いることができる。

換算係数ｋの算出に用いられる一様露光ラインの複数の画素は、非一様露光ラインの隣に並ぶ一様露光ラインの画素であることが好ましく、図６に示す例では、ラインＬ_６からラインの並び順に選ばれる一つ以上のラインの画素であることが好ましい。隣に並ぶライン間では色バランスが似通ったものとなり、式（１）による非一様露光ラインの画素の画素信号の補正精度を高めることができる。

なお、例えば粘膜などの代表的な被写体に関する換算係数ｋを予め求めておき、これをゲイン補正部６０に保持させておいてもよい。

以上の補正処理により、一照明光（例えばＧ照明光）及び他照明光（例えばＲ照明光）の二つの照明光下で露光される非一様露光ラインの画素の画素信号を、その非一様露光ラインが露光期間の全期間に亘って一照明光下（例えばＧ照明光）で露光されたとした場合の画素信号に補正することができ、混色の影響を低減することができる。そして、上記の補正処理によって混色の影響を低減できることにより、解像度やフレームレートを落とすことなく露光期間を確保することができ、画質を高めることができる。

なお、一般に、内視鏡観察では画像中心部に関心領域がおかれることから、非一様露光ラインは、図６に示す例のように、撮像素子３０の画素配列におけるラインの並びの端側に設けられることが好ましい。それによれば、混色の影響を画像縁部に限定することができる。

また、図６に示す例では、照明光の切り替えのタイミングが終端ラインＬ_ｅｎｄの露光期間の終了時点とされているが、始端ラインＬ_１の露光期間の開始時点とすることもできる。その場合には、１フレーム分のライン単位の動作シーケンスの終了側にあたるラインが非一様露光ラインとなる。また、図８に示すように、１フレーム分のライン単位の動作シーケンスの開始側及び終了側に非一様露光ラインが分散して設けられるように、照明光の切り替えのタイミングを設定することもできる。

図９は、内視鏡装置１の動作の他の例を示す。

図９に示す例は、照明光の切り替えのタイミングで画素リセットが行われる点で、図６に示した動作例と異なる。

例えばＧ照明光下での撮像フレームにおいてＧ照明光下で露光される期間を第１期間として、非一様露光ラインＬ_１は、Ｒ照明光からＧ照明光への切り替え時点を境に、切り替え時点以降の第１期間Ｔ_１ではＧ照明光下で露光され、切り替え時点以前の第２期間Ｔ_２ではＲ照明光下で露光される。しかし、照明光の切り替えのタイミングでの画素リセットにより、第２期間Ｔ_２のＲ照明光下での露光によって蓄積される信号電荷は破棄される。従って、非一様露光ラインＬ_１の画素の画素信号は、第１期間Ｔ_１のＧ照明光下での露光によって蓄積された信号電荷に基づくものとなる。

ただし、露光期間中の画素リセットに伴い、非一様露光ラインでは実質的に露光期間が短縮される。そのため、非一様露光ラインの画素の画素信号の信号レベルが低下する。この信号レベルの低下をゲイン補正部６０において補正する。

具体的には、ゲイン補正部６０は、非一様露光ラインの第１期間Ｔ_１の露光期間Ｔ_０に対する時間比率をｔ（Ｔ_１／Ｔ_０）、非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式（２）により補正処理を行う。

Ｉｃ＝Ｉ／ｔ ・・・（２）

以上の補正処理により、非一様露光ラインの画素の画素信号を、その非一様露光ラインが露光期間の全期間に亘って一照明光下で露光されたとした場合の画素信号に補正することができ、混色の影響を低減することができる。

なお、照明光の切り替えのタイミングでの画素リセットは、少なくとも非一様露光ラインの画素について行われればよい。

また、図９に示す例においても、照明光の切り替えのタイミングを開始ラインＬ_１の露光期間の開始時点とすることができる。また、開始側及び終了側に非一様露光ラインが分散して設けられるように、照明光の切り替えのタイミングを設定することもできる。

図１０は、内視鏡装置１の動作の他の例を示す。

図１０に示す例は、隣接する撮像フレームの全てのラインの露光期間と重複しない期間にのみ照明光が照射される点で、図６に示した動作例と異なる。この場合に、ラインＬ_１〜Ｌ_５の露光期間内に照明光が一照明光と照明光無しとで切り替わり、また、ラインＬ_ｅｎｄ〜Ｌ_{ｅｎｄ−４}の露光期間内にも照明光が一照明光と照明光無しとで切り替わる。

例えばＧ照明光下での撮像フレームにおいてＧ照明光下で露光される期間を第１期間として、開始側の非一様露光ラインＬ_１は、照明光の切り替え時点を境に、切り替え時点以降の第１期間Ｔ_１においてのみＧ照明光下で露光される。従って、非一様露光ラインＬ_１の画素の画素信号は、第１期間Ｔ_１のＧ照明光下での露光によって蓄積された信号電荷に基づくものとなる。また、終了側の非一様露光ラインＬ_ｅｎｄは、照明光の切り替え時点を境に、切り替え時点以前の第１期間Ｔ_１においてのみＧ照明光下で露光される。従って、非一様露光ラインＬ_ｅｎｄの画素の画素信号は、第１期間Ｔ_１のＧ照明光下での露光によって蓄積された信号電荷に基づくものとなる。

ただし、非一様露光ラインでは実質的に露光期間が短縮される。そのため、非一様露光ラインの画素の画素信号の信号レベルが低下する。この信号レベルの低下をゲイン補正部６０において補正する。

具体的には、ゲイン補正部６０は、非一様露光ラインの第１期間Ｔ_１の露光期間Ｔ_０に対する時間比率をｔ（Ｔ_１／Ｔ_０）、非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式（３）により補正処理を行う。

Ｉｃ＝Ｉ／ｔ ・・・（３）

以上の補正処理により、非一様露光ラインの画素の画素信号を、その非一様露光ラインが露光期間の全期間に亘って一照明光下で露光されたとした場合の画素信号に補正することができ、混色の影響を低減することができる。

図１１は、図１０に示した内視鏡装置１の動作例の変形例を示す。

図１１に示す例は、撮像素子３０の画素配列におけるラインの並びの端側のラインであって、そのラインの画素の画素信号が破棄されて撮像フレームを構成するラインから除かれる一つ以上のブランクラインを設け、このブランクラインを非一様露光ラインとしたものである。図示の例では、非一様露光ラインＬ_１〜Ｌ_３がブランクラインとされている。

撮像装置２０からプロセッサユニット３に送信される撮像信号は、上記の通りフレームの区切りを示すヘッダ情報などの画素信号以外の信号が含まれる。画素信号以外の信号を送信するためにフレーム間隔をあけてもよいが、フレームレートが低下する。これに対し、ブランクラインを設け、ブランクラインの画素の画素信号を破棄し、撮像フレームを構成するラインからブランクラインを除くことで、破棄される画素信号の送信に要する期間に画素信号以外の信号を送信することが可能となる。それにより、画素信号以外の信号を送信する期間を確保するためにフレーム間隔をあける必要がなくなり、フレームレートを高めることができる。

また、一般に、内視鏡観察では画像中心部に関心領域がおかれることから、ブランクラインを撮像素子３０の画素配列におけるラインの並びの端側に設けることにより、画素信号の欠損による影響を画像縁部に限定することができる。

そして、ブランクラインを非一様露光ラインとすることにより、撮像フレームを構成するラインとなる非一様露光ラインを減じ、混色の影響を低減することができる。さらに、隣接する撮像フレームの全てのラインの露光期間と重複しない期間にのみ照明光を照射する本例では、照明光の照射期間を延長して非一様露光ラインをさらに減じることができ、混色の影響を一層低減することができる。

なお、ブランクラインを設け、ブランクラインを非一様露光ラインとする構成は、上述した内視鏡装置１の他の動作例にも適用可能である。

上述した内視鏡装置１では、光源ユニット４に設けられた光源が発光ダイオード４０Ｂ，４０Ｇ，４０Ｒであるが、光源としてハロゲンランプやキセノンランプなどの白色ランプを用いることもできる。その場合に、光源ユニット４には、Ｂ，Ｇ，Ｒの各色の領域が設けられたカラーフィルタ及び絞りが設けられ、白色ランプから出射される白色光が回転されるカラーフィルタに通されることによりＢ，Ｇ，Ｒの各色の照明光が生成され、絞りが開閉されることによりＢ，Ｇ，Ｒの各色の照明光の光量が制御される。

図１２は、本発明の実施形態を説明するための内視鏡装置の他の例の機能ブロックを示す。

ここまで、Ｂ，Ｇ，Ｒの各色の照明光を順次照射する内視鏡装置の例を説明したが、図１２に示す内視鏡装置１０１は、白色光及び特殊光を順次照射するものである。

特殊光による内視鏡観察の一例として、生体組織の自家蛍光の観察が挙げられる。生体組織に波長４０５ｎｍ前後の光を照射すると、正常組織では波長５２０ｎｍ前後の緑色の蛍光が発生するのに対して、癌などの病変組織では蛍光が発生ぜず、又は蛍光が微弱となる。

白色光及び特殊光を順次照射する内視鏡装置１０１の照明装置は、第１の光源１４０ａ及び第２の光源１４０ｂと、第１の光源１４０ａ及び第２の光源１４０ｂを駆動するドライバ１４１と、ライトガイド１４２と、蛍光体１４３とで構成されている。

第１の光源１４０ａ及び第２の光源１４０ｂ並びにドライバ１４１は、光源ユニット１０４に設けられており、ライトガイド１４２は内視鏡本体２のユニバーサルコード１２、操作部１１、挿入部１０に跨ってそれらの内部に挿通されており、蛍光体１４３は挿入部１０の先端部１３においてライトガイド１４２の光出射側に設けられている。

第１の光源１４０ａは、発振波長４４０ｎｍ〜４６０ｎｍである青色レーザ光を発生させる半導体発光素子である。第１の光源１４０ａより出射される青色レーザ光は蛍光体１４３を励起する励起光である。

第２の光源１４０ｂは、発振波長４００ｎｍ〜４２０ｎｍである青色レーザ光を発生される半導体発光素子である。第２の光源１４０ｂより出射される青色レーザ光は生体組織に自家蛍光を生じさせる特殊光である。

第１の光源１４０ａ及び第２の光源１４０ｂに用いられる上記の半導体発光素子としては、例えばブロードエリア型のＩｎＧａＮ系レーザダイオードやＩｎＧａＮＡｓ系レーザダイオードやＧａＮＡｓ系レーザダイオードなどが用いられる。

蛍光体１４３は、第１の光源１４０ａによる青色レーザ光（励起光）の一部を吸収して緑色〜黄色に励起発光する一種以上の蛍光物質で構成されている。蛍光物質としては、例えばＹＡＧ（Ｙ_３Ａｌ_５Ｏ_１２）系蛍光物質やＢＡＭ（ＢａＭｇＡｌ_１０Ｏ_１７）系蛍光物質などが用いられる。蛍光体１４３で生じる緑色〜黄色の蛍光と、吸収されずに蛍光体１４３を透過した第１の光源１４０ａによる青色レーザ光（励起光）とが合わされて白色光となる。

ドライバ１４１は、第１の光源１４０ａ及び第２の光源１４０ｂの各々の点灯・消灯及び光量を制御可能であり、第１の光源１４０ａ及び第２の光源１４０ｂが順次点灯されることにより、スペクトルが互いに異なる白色光及び特殊光が被写体に向けて順次照射される。撮像装置２０は、白色光及び特殊光の各照明光下で被写体を順次撮像し、各照明光に対応した撮像信号をプロセッサユニット３に送信する。なお、本内視鏡装置１０１では、撮像装置２０の撮像素子３０としてカラー撮像素子が用いられる。そして、白色光及び特殊光の各照明光に対応した画像データは、プロセッサユニット３で画像処理されてモニタ５に画像表示される。

本内視鏡装置１０１においても、白色光及び特殊光が被写体に順次照射され、撮像装置２０の撮像素子３０がローリングシャッタ方式で駆動されることに起因して、撮像素子３０の画素配列における一部のラインが露光期間に複数の照明光によって露光されてしまう混色が生じるが、上述した内視鏡装置１の種々の動作例、及び各動作例における画像処理部５２のゲイン補正部６０での補正処理を適用することにより、混色の影響を低減することができる。

なお、本内視鏡装置１０１の撮像素子３０がカラー撮像素子であるので、上述した換算係数ｋを用いた補正処理において、換算係数ｋは、照明光毎に且つ画素の色種毎に設定され、一様露光ラインの同一色種の複数の画素の画素信号に基づいて求めることができる。

以上、説明したとおり、本明細書には下記事項が開示されている。

（１） スペクトルが互いに異なる複数の照明光を被写体に順次照射する照明装置と、露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子を有し、上記複数の照明光の各々の下で被写体を順次撮像する撮像装置と、上記複数の照明光の切り換えに伴い、上記複数の照明光のうちの一照明光下で露光される第１期間が上記露光期間よりも短くなる非一様露光ラインの画素の画素信号を、この非一様露光ラインが上記露光期間の全期間に亘ってこの一照明光下で露光されたとした場合の画素信号に補正する補正処理を行う補正部と、を備える内視鏡装置。
（２） （１）の内視鏡装置であって、上記補正部は、上記非一様露光ラインの上記第１期間の上記露光期間に対する時間比率に基づいて上記補正処理を行う内視鏡装置。
（３） （２）の内視鏡装置であって、上記非一様露光ラインの上記露光期間内に、照明光が上記一照明光と他照明光とで切り替わり、上記補正部は、上記非一様露光ラインの上記第１期間の上記露光期間に対する時間比率をｔ、この非一様露光ラインが上記他照明光下で露光される第２期間の上記露光期間に対する時間比率を１−ｔ、この非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、換算係数ｋを用いて、次式により上記補正処理を行う内視鏡装置。
Ｉｃ＝［１／{ｋ（１―ｔ）＋ｔ}］×Ｉ
（４） （３）の内視鏡装置であって、上記補正部は、上記露光期間の全期間に亘って単一の照明光が照射される一様露光ラインの画素である複数の画素の上記一照明光下での画素信号の信号値の和ＳＵＭ_Ａと、この複数の画素の上記他照明光下での画素信号の信号値の和ＳＵＭ_Ｂとの比ＳＵＭ_Ｂ／ＳＵＭ_Ａに基づいて上記換算係数ｋを求める内視鏡装置。
（５） （４）記載の内視鏡装置であって、上記複数の画素は、上記非一様露光ラインの隣に並ぶ上記一様露光ラインの画素である内視鏡装置。
（６） （２）の内視鏡装置であって、上記非一様露光ラインの上記露光期間内に、照明光が上記一照明光と他照明光とで切り替わり、上記撮像装置は、照明光が切り替わるタイミングで、少なくとも上記非一様露光ラインの画素のリセットを行い、上記補正部は、上記非一様露光ラインの上記第１期間の上記露光期間に対する時間比率をｔ、この非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式により上記補正処理を行う内視鏡装置。
Ｉｃ＝Ｉ／ｔ
（７） （２）の内視鏡装置であって、上記照明装置は、隣接する撮像フレームの全てのラインの上記露光期間と重複しない期間にのみ上記照明光を照射し、上記非一様露光ラインの上記露光期間内に、照明光が上記一照明光と照明光無しとで切り替わり、上記補正部は、上記非一様露光ラインの上記第１期間の上記露光期間に対する時間比率をｔ、この非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式により上記補正処理を行う内視鏡装置。
Ｉｃ＝Ｉ／ｔ
（８） （１）から（７）のいずれか一つの内視鏡装置であって、上記非一様露光ラインは、上記撮像素子の画素配列におけるラインの並びの端側に設けられる内視鏡装置。
（９） （１）から（８）のいずれか一つの内視鏡装置であって、上記撮像素子の画素配列におけるラインの並びの端側のラインであって、このラインの画素の画素信号が破棄されて撮像フレームを構成するラインから除かれる一つ以上のブランクラインが上記撮像素子に設けられ、上記ブランクラインは上記非一様露光ラインである内視鏡装置。

１ 内視鏡装置
２ 内視鏡本体
３ プロセッサユニット
４ 光源ユニット
５ モニタ
１０ 挿入部
１１ 操作部
１２ ユニバーサルコード
１３ 先端部
２０ 撮像装置
３０ 撮像素子
３１ 読出部
３２ 送信部
３３ ドライバ
４０Ｂ 青色発光ダイオード
４０Ｇ 緑色発光ダイオード
４０Ｒ 赤色発光ダイオード
４１ ドライバ
４２ ライトガイド
５０ 制御部
５１ 受信部
５２ 画像処理部
５３ 表示処理部
６０ ゲイン補正部
６１ ホワイトバランス補正部
６２ セレクタ部
６３Ｂ，６３Ｇ，６３Ｒ フレームメモリ
６４ 合成部
６５ Ｙ／Ｃ変換部
６６ 測光部
７０ 画素
７１ 垂直走査部
７１ 垂直走査部
７２ 水平走査部
７３ リセット線
７４ 行選択線
７５ 信号線
７６ ＣＤＳ回路
７７ 列選択用トランジスタ

Claims (9)

1. スペクトルが互いに異なる複数の照明光を被写体に順次照射する照明装置と、
   露光期間の開始時点及び終了時点が画素配列におけるライン毎に異なるローリングシャッタ方式で駆動される撮像素子を有し、前記複数の照明光の各々の下で被写体を順次撮像する撮像装置と、
   前記複数の照明光の切り換えに伴い、前記複数の照明光のうちの一照明光下で露光される第１期間が前記露光期間よりも短くなる非一様露光ラインの画素の画素信号を、該非一様露光ラインが前記露光期間の全期間に亘って該一照明光下で露光されたとした場合の画素信号に補正する補正処理を行う補正部と、
   を備える内視鏡装置。
2. 請求項１記載の内視鏡装置であって、
   前記補正部は、前記非一様露光ラインの前記第１期間の前記露光期間に対する時間比率に基づいて前記補正処理を行う内視鏡装置。
3. 請求項２記載の内視鏡装置であって、
   前記非一様露光ラインの前記露光期間内に、照明光が前記一照明光と他照明光とで切り替わり、
   前記補正部は、前記非一様露光ラインの前記第１期間の前記露光期間に対する時間比率をｔ、該非一様露光ラインが前記他照明光下で露光される第２期間の前記露光期間に対する時間比率を１−ｔ、該非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、換算係数ｋを用いて、次式により前記補正処理を行う内視鏡装置。
   Ｉｃ＝［１／{ｋ（１―ｔ）＋ｔ}］×Ｉ
4. 請求項３記載の内視鏡装置であって、
   前記補正部は、前記露光期間の全期間に亘って単一の照明光が照射される一様露光ラインの画素である複数の画素の前記一照明光下での画素信号の信号値の和ＳＵＭ_Ａと、該複数の画素の前記他照明光下での画素信号の信号値の和ＳＵＭ_Ｂとの比ＳＵＭ_Ｂ／ＳＵＭ_Ａに基づいて前記換算係数ｋを求める内視鏡装置。
5. 請求項４記載の内視鏡装置であって、
   前記複数の画素は、前記非一様露光ラインの隣に並ぶ前記一様露光ラインの画素である内視鏡装置。
6. 請求項２記載の内視鏡装置であって、
   前記非一様露光ラインの前記露光期間内に、照明光が前記一照明光と他照明光とで切り替わり、
   前記撮像装置は、照明光が切り替わるタイミングで、少なくとも前記非一様露光ラインの画素のリセットを行い、
   前記補正部は、前記非一様露光ラインの前記第１期間の前記露光期間に対する時間比率をｔ、該非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式により前記補正処理を行う内視鏡装置。
   Ｉｃ＝Ｉ／ｔ
7. 請求項２記載の内視鏡装置であって、
   前記照明装置は、隣接する撮像フレームの全てのラインの前記露光期間と重複しない期間にのみ前記照明光を照射し、
   前記非一様露光ラインの前記露光期間内に、照明光が前記一照明光と照明光無しとで切り替わり、
   前記補正部は、前記非一様露光ラインの前記第１期間の前記露光期間に対する時間比率をｔ、該非一様露光ラインの画素の画素信号の信号値をＩ、補正された信号値をＩｃとして、次式により前記補正処理を行う内視鏡装置。
   Ｉｃ＝Ｉ／ｔ
8. 請求項１から７のいずれか一項記載の内視鏡装置であって、
   前記非一様露光ラインは、前記撮像素子の画素配列におけるラインの並びの端側に設けられる内視鏡装置。
9. 請求項１から８のいずれか一項記載の内視鏡装置であって、
   前記撮像素子の画素配列におけるラインの並びの端側のラインであって、該ラインの画素の画素信号が破棄されて撮像フレームを構成するラインから除かれる一つ以上のブランクラインが前記撮像素子に設けられ、
   前記ブランクラインは前記非一様露光ラインである内視鏡装置。

Images