JP2018143400A - 画像処理装置および方法、並びに内視鏡システム - Google Patents

Abstract

【課題】照明分布のムラを低減させる。【解決手段】画像処理装置は、手術対象となる患者の体内に配置された光源により体内の被写体が所定照明強度で照明された状態で撮影された通常照明画像と、所定照明強度よりも照明強度が弱い状態で撮影された弱照明画像とに基づいて、光源により体内の被写体が照明された状態で撮影された画像に対する照明ムラ補正を行う信号処理部を備える。本技術は内視鏡システムに適用することができる。【選択図】図１

Description

本技術は画像処理装置および方法、並びに内視鏡システムに関し、特に、照明分布のムラを低減させることができるようにした画像処理装置および方法、並びに内視鏡システムに関する。

近年の医療では低侵襲性のニーズが高まり、術後のQoL（Quality of Life）にも影響するため、切開創の最小化が求められている。そのため、硬性内視鏡による手術においては硬性内視鏡スコープの細径化が求められている。

現在、一般的に使用されている硬性内視鏡は硬性内視鏡スコープ内に光伝送路を有し、硬性内視鏡スコープ先端から照明光が照射される。そのため、硬性内視鏡スコープ内における光伝送路の分だけ硬性内視鏡スコープの径が大きくなり、細径化を阻む要因となる。

一方で、硬性内視鏡スコープとは別に患者の体内に複数の光源を挿入および留置して体腔内で広範囲に照明光を照射する手法が提案されている（例えば、特許文献１参照）。

特開２００７−２６０３９７号公報

しかしながら、患者の体内に留置する光源を用いた場合、複数光源による照明光の不均一な重なりによって照明分布のムラが発生してしまう。

また、体内の臓器や血管の拍動、手術による術野内の臓器や血管の変形などにより、光源と視野内の臓器等との位置関係が時間とともに変化するため、取得する内視鏡画像上で照明分布のムラが時間的に変動してしまうこともある。

本技術は、このような状況に鑑みてなされたものであり、照明分布のムラを低減させることができるようにするものである。

本技術の第１の側面の画像処理装置は、手術対象となる患者の体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で撮影された画像に対する照明ムラ補正を行う信号処理部を備える。

前記弱照明画像を、前記光源による照明が停止された状態で撮影された画像とすることができる。

画像処理装置には、前記光源による照明を制御する光源制御部をさらに設けることができる。

前記信号処理部には、前記通常照明画像と、前記弱照明画像とに基づいて前記照明ムラ補正のための補正パラメータを算出させ、前記補正パラメータに基づいて前記画像に対する前記照明ムラ補正を行わせることができる。

前記信号処理部には、前記通常照明画像と前記弱照明画像との間の輝度変化率に基づいて、前記補正パラメータを算出させることができる。

前記信号処理部には、所定位置における前記輝度変化率、および前記所定位置とは異なる位置における前記輝度変化率に基づいて、前記所定位置の前記補正パラメータを算出させることができる。

画像処理装置には、硬性内視鏡スコープを有し、前記硬性内視鏡スコープを介して前記体内の被写体から入射した光を受光することで前記画像を撮影する撮影部をさらに設けることができる。

前記画像を、前記通常照明画像および前記弱照明画像のそれぞれを１つのフレームとする動画像とすることができる。

前記信号処理部には、前記動画像に対して前記照明ムラ補正を行い、前記照明ムラ補正により得られた動画像に対してノイズ低減処理を行うことで出力動画像を生成させることができる。

前記信号処理部には、前記動画像のフレームが前記弱照明画像である場合、前記弱照明画像に対して前記照明ムラ補正を行わせてからゲイン調整を行わせ、前記ゲイン調整により得られた画像に対して前記ノイズ低減処理を行わせることで前記出力動画像の１つのフレームを生成させ、前記動画像のフレームが前記通常照明画像である場合、前記通常照明画像に対して前記照明ムラ補正を行わせ、前記照明ムラ補正により得られた画像に対して前記ノイズ低減処理を行わせることで前記出力動画像の１つのフレームを生成させることができる。

前記信号処理部には、前記動画像のフレームが前記弱照明画像である場合、前記ゲイン調整により得られた画像に対して、前記動画像のフレームが前記通常照明画像である場合よりも、より強い処理強度で前記ノイズ低減処理を行わせることができる。

本技術の第１の側面の画像処理方法は、手術対象となる患者の体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で撮影された画像に対する照明ムラ補正を行うステップを含む。

本技術の第１の側面においては、手術対象となる患者の体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で撮影された画像に対する照明ムラ補正が行われる。

本技術の第２の側面の内視鏡システムは、硬性内視鏡スコープを有し、前記硬性内視鏡スコープを介して手術対象となる患者の体内の被写体から入射した光を受光することで画像を撮影する撮影部と、前記体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で前記撮影部により撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で前記撮影部により撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で前記撮影部により撮影された画像に対する照明ムラ補正を行う信号処理部とを備える。

本技術の第２の側面においては、硬性内視鏡スコープを介して手術対象となる患者の体内の被写体から入射した光を受光することで画像が撮影され、前記体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で前記撮影部により撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で前記撮影部により撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で前記撮影部により撮影された画像に対する照明ムラ補正が行われる。

本技術の第１の側面および第２の側面によれば、照明分布のムラを低減させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

内視鏡システムの構成例を示す図である。 内視鏡システムの使用例について説明する図である。 内視鏡システムの使用例について説明する図である。 照明ムラについて説明する図である。 照明ムラの時間的な変化について説明する図である。 照明制御について説明する図である。 照明ムラ補正パラメータの算出について説明する図である。 照明ムラの補正について説明する図である。 照明ムラ補正パラメータの算出について説明する図である。 照明ムラ補正パラメータの算出について説明する図である。 パラメータ算出処理を説明するフローチャートである。 出力画像生成処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈内視鏡システムの構成例〉
本技術は、体内留置光源と、硬性内視鏡スコープを有する撮影部とを同期させて所定の時間間隔ごとに照明を弱くした画像を取得して、取得した画像と、時間方向に隣接した通常照明で取得した画像との差分を用いて照明ムラ補正パラメータを算出し、照明ムラ補正を行うようにしたものである。これにより、硬性内視鏡スコープ内に照明用の光伝送路が不要となるため、硬性内視鏡スコープの細径化を実現して内視鏡手術における低侵襲性を向上させつつ、照明分布のムラを低減させることができる。本技術では、生体の拍動や術野の変化に伴う照明分布のムラの時間変動を低減させた内視鏡画像を得ることができる。

また、照明を弱くした画像は全体的に暗くなるので、本技術では同期した信号処理で通常処理時と同程度の明るさになるように画像の補正が行われる。このとき、画像の明るさを補正するとノイズが増えるので、同期した信号処理を行って照明を弱くした画像だけノイズ低減（除去）の処理を強めることで、通常の画像と同程度のノイズ量となるようにされる。

図１は、本技術を適用した内視鏡システムの一実施の形態の構成例を示す図である。

この内視鏡システム１１は、患者１２の体腔内の患部等の術部に対して手術等を行うためのシステムである。内視鏡システム１１は撮影部２１、モニタ２２、CCU（Camera Control Unit）２３、制御信号源２４、および体内留置光源２５−１乃至体内留置光源２５−Ｎを有している。なお、以下、体内留置光源２５−１乃至体内留置光源２５−Ｎを特に区別する必要のない場合、単に体内留置光源２５とも称することとする。

撮影部２１は、硬性内視鏡スコープ３１およびカメラヘッド３２を有しており、患者１２の体腔内の術部の画像（以下、内視鏡画像とも称する）を撮影し、得られた内視鏡画像の画像データをCCU２３に供給する。すなわち、撮影部２１は患者１２の手術対象となる術部を被写体として撮影を行い、内視鏡画像の画像データを得る。なお、ここでは内視鏡画像は動画像である場合について説明するが、内視鏡画像は静止画像であってもよい。

この例では硬性内視鏡スコープ３１がカメラヘッド３２に接続されており、カメラヘッド３２は、イメージセンサ４１を有している。

硬性内視鏡スコープ３１は、その先端部分が術部近傍に位置するように、先端部分を含む一部分が患者１２内に挿入される。また、硬性内視鏡スコープ３１は、レンズからなる観察光学系を有しており、術部からの光を集光してカメラヘッド３２へと導く。

カメラヘッド３２のイメージセンサ４１は、硬性内視鏡スコープ３１を介して術部から入射した光を受光して光電変換することで術部を撮影し、その結果得られた内視鏡画像の画像データをCCU２３へと出力する。すなわち、イメージセンサ４１は内視鏡画像を撮影する。

モニタ２２は、例えば液晶表示パネル等の表示装置からなり、CCU２３から供給された画像データに基づいて出力画像を表示する。例えば出力画像は、内視鏡画像から得られた、術部を観察するための観察用の動画像である。

CCU２３は、内視鏡システム１１全体の動作を制御する。CCU２３は、光源制御部５１、照明ムラ補正パラメータ記録部５２、および信号処理部５３を有している。

光源制御部５１は、体内留置光源２５による照明のオン、オフや、照明光の照明強度（光量）等を制御するための光源制御情報を制御信号源２４に供給するとともに、光源制御情報を信号処理部５３にも供給する。すなわち、光源制御部５１は光源制御情報により体内留置光源２５による患者１２の術部の照明を制御する。

照明ムラ補正パラメータ記録部５２は、信号処理部５３により算出された、動画像である内視鏡画像の照明ムラを補正するための照明ムラ補正パラメータを記録し、必要に応じて記録している照明ムラ補正パラメータを信号処理部５３に供給する。

信号処理部５３は、光源制御部５１から供給された光源制御情報に基づいて、イメージセンサ４１から供給された画像データに対して各種の信号処理を行う。

例えば信号処理部５３は、光源制御情報およびイメージセンサ４１から供給された画像データに基づいて照明ムラ補正パラメータを算出し、照明ムラ補正パラメータ記録部５２に供給して記録させる。

また、例えば信号処理部５３はイメージセンサ４１から供給された画像データに対して照明ムラ補正パラメータを用いた照明ムラ補正処理や、ゲイン調整、ノイズ低減（Noise Reduction）処理などを行って、術部が表示される出力画像の画像データを生成し、モニタ２２に供給する。ここでは、出力画像が内視鏡画像から得られる動画像である場合を例として説明するが、出力画像は静止画像であってもよい。

制御信号源２４は発信部６１を有しており、光源制御部５１から供給された光源制御情報に従って体内留置光源２５による照明を制御する。

すなわち、制御信号源２４は、光源制御情報に基づいて、指定の光量（照明強度）での照明光の照射（発光）を指示したり、照明光の照射停止（消灯）を指示したりする光源制御信号を生成する。また、制御信号源２４の発信部６１は、生成された光源制御信号を無線（電磁波）により体内留置光源２５に送信するここで、体内留置光源２５による照明動作を制御する。

Ｎ個の体内留置光源２５−１乃至体内留置光源２５−Ｎは、患者１２の体腔内における手術対象となる術部近傍に配置（留置）され、患者１２の術部に照明光を照射する光源である。

体内留置光源２５−１乃至体内留置光源２５−Ｎのそれぞれは、受信部７１−１乃至受信部７１−Ｎのそれぞれを有している。これらの受信部７１−１乃至受信部７１−Ｎは、無線通信により制御信号源２４から送信された光源制御信号を受信する。

なお、以下、受信部７１−１乃至受信部７１−Ｎを特に区別する必要のない場合、単に受信部７１とも称することとする。

体内留置光源２５は、受信部７１により受信された光源制御信号に従って、指定された照明強度で、つまり指定された光量で術部に照明光を照射したり、照明光の照射を停止させたりする。すなわち、体内留置光源２５は、患者１２の体外にある制御信号源２４の制御に従って照明光のオン、オフの切り替え等の動作を行う。

なお、体内留置光源２５の制御は無線に限らず有線の通信により行われてもよい。また、ここでは複数の体内留置光源２５が用いられる例について説明するが、体内留置光源２５は１つであっても勿論よい。

このように、内視鏡システム１１では撮影部２１とは別に設けられた体内留置光源２５により術部の照明が行われる。換言すれば、体内留置光源２５から出力される照明光は、撮影部２１を介さずに術部に照射される。したがって、硬性内視鏡スコープ３１部分に照明光を術部へと照射するための照明光学系、すなわち照明光のライトガイドが不要となるので、その分だけ硬性内視鏡スコープ３１を細径化することができる。これにより、内視鏡手術における低侵襲性を向上させることができる。

〈内視鏡システムの使用例〉
ここで、図２を参照して、図１に示した内視鏡システム１１の使用例について説明する。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２に示す使用例では、内視鏡システム１１は例えば手術対象となる体内の部位である術部１０１を被写体として撮影し、その被写体が映った内視鏡画像に基づいて出力画像が生成される。そして、その出力画像がモニタ２２に供給されて表示され、医師等はモニタ２２に表示された出力画像を見ながら術部１０１に処置を施す内視鏡下手術を行う。

硬性内視鏡スコープ３１は、例えば患者１２（人体）の体腔に挿入され、その体腔内の組織を被写体とする内視鏡画像がカメラヘッド３２により撮影される。

すなわち、撮影部２１は、例えば外観上、手術を行う術者（医師）が手で持って操作するカメラヘッド３２と、患者１２の体内に挿入される細長い筒状の硬性内視鏡スコープ３１とを有する。

内視鏡下手術では、例えば硬性内視鏡スコープ３１と、処置具である鉗子１０２が患者１２の体内に挿入される。

また、手術時には、患者１２の体腔内に留置された体内留置光源２５により術部１０１が照明され、撮影部２１では術部１０１で反射された照明光、すなわち照明光の反射光が硬性内視鏡スコープ３１の先端から硬性内視鏡スコープ３１内に入射し、イメージセンサ４１で受光されることにより、被写体としての術部１０１が撮影される。

この例では、硬性内視鏡スコープ３１を挿入するための創口等から事前に複数の体内留置光源２５が患者１２の体腔内に挿入され、体腔内の術部１０１近傍の位置に体内留置光源２５が留置される。例えば体内留置光源２５をクリップ等により患者１２に固定するようにしてもよい。

なお、図２では、各体内留置光源２５が患者１２の体腔内の術部１０１近傍の位置に留置される例について説明したが、体内留置光源２５は被写体となる術部１０１を適切に照明できるように配置されれば、どのように配置されてもよい。

例えば図３に示すように、各体内留置光源２５が患者１２に挿入された固定器具に固定されるようにしてもよい。なお、図３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図３に示す例では、患者１２に固定器具が挿入されて固定されており、その固定器具に体内留置光源２５が固定されることで、複数の各体内留置光源２５が体腔内の術部１０１近傍に配置されている。

その他、例えば体内留置光源２５として一方向に長い照明光源を用い、その照明光源を患者１２の体腔内に挿入して固定するようにしてもよい。また、紐状のものを用いて体内留置光源２５を２つの鉗子１０２に固定するなどしてもよい。

〈照明ムラ補正について〉
続いて、内視鏡画像撮影時における照明ムラの発生と照明ムラ補正について説明する。

複数の体内留置光源２５により術部が照明される場合、術部近傍では例えば図４に示すように照明ムラ、つまり照明分布のムラが生じる。

図４に示す例では、円形状の領域Ｒ１１は、術部における硬性内視鏡スコープ３１の観察視野となる領域を表している。

また、矢印Ｑ１１により示される位置を中心とする同心円は１つの体内留置光源２５により術部が照明される様子を表している。同様に矢印Ｑ１２および矢印Ｑ１３のそれぞれにより示される各位置を中心とする同心円は、互いに異なる他の体内留置光源２５のそれぞれにより術部が照明される様子を表している。ここでは、各領域における濃淡が照明光による照明強度、すなわち照明強度の分布を表している。

このように複数の体内留置光源２５により術部が照明されると、術部の観察視野の領域Ｒ１１では各位置で照明強度が異なり、照明ムラが生じる。特に体内留置光源２５自体の照明強度、つまり照明光の光量や、体内留置光源２５から術部までの距離などによって、照明光が照射される術部の各領域における照明強度は変化する。

また、内視鏡画像の撮影時には、手術対象の患者１２（生体）の拍動や手術等により術部の形状が変化する。

したがって、術部の形状変化により体内留置光源２５から術部までの距離や、術部と各体内留置光源２５の位置関係などが時間とともに変化するので、例えば図５に示すように照明ムラは時間方向にも変動する。

なお、図５において横方向は時間を示しており、各四角形は動画像としての内視鏡画像の各フレームを表している。また、フレーム内の各位置の濃淡は照明強度、つまり各位置における画素の輝度値を表している。

この例では、先頭のフレームＦＬ１１からフレームＦＬ１２までの連続して並ぶ各フレームでは照明ムラの分布、つまり照明強度の分布はほぼ同じ分布となっている。ところが、フレームＦＬ１２と、その次のフレームＦＬ１３とでは照明ムラの分布が大きく異なっている。このように、内視鏡画像ではフレーム内の各領域で照明強度（輝度）が異なるだけでなく、フレーム内の照明強度の分布が時間とともに変化する。

そこで内視鏡システム１１では、例えば図６に示すように一定の時間間隔で内視鏡画像の１フレーム分の撮影時間の間だけ、各体内留置光源２５の照明強度（照明光の光量）を通常の照明強度よりも弱くなるように制御し、異なる照明強度のフレーム（画像）を用いて照明ムラ補正パラメータを算出するようにした。なお、図６において図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図６の矢印Ｗ１１に示す部分では、予め定められた照明強度（以下、通常照明強度とも称する）で各体内留置光源２５により術部を照明したときの術部における照明強度の分布を表している。この例では照明ムラはあるものの各領域が明るく照明されている。

これに対して、図６の矢印Ｗ１２に示す部分では、通常照明強度よりも弱い照明強度（以下、弱照明強度とも称する）で各体内留置光源２５により術部を照明したときの術部における照明強度の分布を表している。この例では通常照明強度での照明時よりも照明強度が弱く全体的に暗くなっているが、通常照明強度での照明時と比較して照明ムラは少なくなっている。つまり、術分の各領域が略均一に照明されている。

なお、弱照明強度での照明時には照明強度が０となるように、つまり各体内留置光源２５をオフし、照明光の照射（照明）が停止された状態となるようにしてもよい。また、弱照明強度での照明時には、複数の体内留置光源２５による全体的な照明強度が通常照明強度での照明時よりも弱くなれば、各体内留置光源２５での照明強度はどのようにされてもよい。以下では、弱照明強度での照明時には通常照明強度よりも弱く、０より大きい所定照明強度での照明が行われるものとして説明を続ける。

内視鏡システム１１は、基本的には通常照明強度での照明を行いながら内視鏡画像を撮影し、一定の時間間隔で１フレーム分の撮影時間だけ弱照明強度での照明が行われるように制御する。

照明強度の制御時には、光源制御部５１は通常照明強度または弱照明強度での照明光の照射を指示する光源制御情報を生成し、制御信号源２４および信号処理部５３に供給する。また、制御信号源２４は、光源制御部５１からの光源制御情報に応じた光源制御信号を生成し、その光源制御信号を無線により送信することで体内留置光源２５による照明を制御する。

これにより、例えば図７に示す内視鏡画像が得られる。なお、図７において横方向は時間を示しており、各四角形は動画像としての内視鏡画像の各フレームを表している。また、フレーム内の各位置の濃淡は照明強度、つまり各位置における画素の輝度値を表している。

図７に示す例では、フレームＦＬ２２とフレームＦＬ２４の撮影期間中は弱照明強度での照明が行われ、フレームＦＬ２２およびフレームＦＬ２４以外の他のフレームの撮影期間中は通常照明強度での照明が行われて、各フレームが撮影される。

なお、ここでは所定周期で、つまり定期的に弱照明強度での照明が行われる例について説明するが、弱照明強度での照明は不定周期で行われるようにしてもよい。

このように一定周期で弱照明強度での照明が行われるように照明強度を切り替えながら内視鏡画像の撮影が行われると、内視鏡システム１１は、弱照明強度での照明が行われたフレームと、そのフレーム近傍の通常照明強度での照明が行われたフレームとに基づいて、照明ムラ補正パラメータを算出する。

換言すれば、体内留置光源２５により通常照明強度で術部が照明された状態で撮影部２１により撮影された術部の画像（フレーム）と、体内留置光源２５により通常照明強度よりも弱い弱照明強度で術部が照明された状態で撮影部２１により撮影された術部の画像（フレーム）とに基づいて、内視鏡画像の照明ムラ補正が行われる。

具体的には、例えば内視鏡システム１１は、互いに隣接する通常照明強度での照明が行われたフレームＦＬ２１と、弱照明強度での照明が行われたフレームＦＬ２２とに基づいて、期間Ｔ１１において用いられる照明ムラ補正パラメータを算出する。なお、その他、例えばフレームＦＬ２２とその次のフレームとが用いられて照明ムラ補正パラメータが算出されてもよい。

ここで、通常照明強度での照明が行われている状態で撮影されたフレームを特に通常照明フレームとも称することとし、弱照明強度での照明が行われている状態で撮影されたフレームを特に弱照明フレームとも称することとする。

通常照明強度での照明が行われた明るい通常照明フレームと、照明ムラの少ない弱照明フレームという互いに照明強度（輝度）の異なる２つのフレームを用いれば、適切な照明ムラ補正パラメータを得ることができる。なお、照明ムラ補正パラメータは、内視鏡画像の画素ごとに算出されるが、内視鏡画像の互いに隣接する画素からなる領域ごとに算出されるようにしてもよい。

このようにして得られた照明ムラ補正パラメータは、信号処理部５３から照明ムラ補正パラメータ記録部５２に供給されて記録される。そして、その後、照明ムラ補正パラメータ記録部５２に記録されている照明ムラ補正パラメータが用いられて照明ムラ補正処理が行われる。

すなわち、例えば図７の例では、フレームＦＬ２１とフレームＦＬ２２から算出され、照明ムラ補正パラメータ記録部５２に記録されている照明ムラ補正パラメータが用いられて、期間Ｔ１１の各フレームに対する照明ムラ補正処理が行われる。

ここで、期間Ｔ１１は、弱照明フレームであるフレームＦＬ２２から、次の弱照明フレームであるフレームＦＬ２４の直前のフレームＦＬ２３までの期間となっている。

同様に、内視鏡システム１１では、通常照明フレームであるフレームＦＬ２３と、弱照明フレームであるフレームＦＬ２４とに基づいて、フレームＦＬ２４以降において用いられる照明ムラ補正パラメータが算出される。そして、算出された照明ムラ補正パラメータが照明ムラ補正パラメータ記録部５２に供給され、記録される。すなわち、照明ムラ補正パラメータ記録部５２に記録されている照明ムラ補正パラメータが更新される。

このようにして、内視鏡システム１１では弱照明フレームが得られたタイミングで照明ムラ補正パラメータが算出（更新）される。そして、得られた照明ムラ補正パラメータが次の弱照明フレームが得られるまでの間、つまり照明ムラ補正パラメータが更新されるまでの間、各フレームに対して適用される。

また、より詳細には内視鏡システム１１では、出力画像の生成時には、照明ムラ補正処理だけでなく、ゲイン調整処理やノイズ低減処理も行われる。

例えば図８の矢印Ｗ２１に示すように連続する各時刻のフレームからなる内視鏡画像が得られたとする。なお、図８において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。また、図８において横方向は時間を示しており、各四角形は動画像としての内視鏡画像の各フレームを表している。さらに、フレーム内の各位置の濃淡は照明強度、つまり各位置における画素の輝度値を表している。

例えば矢印Ｗ２１に示す内視鏡画像が得られると、弱照明フレームが得られたタイミングで照明ムラ補正パラメータが算出される。

すると、算出された照明ムラ補正パラメータが用いられて各フレームに対して照明ムラ補正処理が行われる。照明ムラ補正処理では、例えば処理対象のフレームの各画素の画素値に対して、それらの画素に対応する照明ムラ補正パラメータが乗算されて、フレーム上における照明ムラが補正される。

矢印Ｗ２２に示す内視鏡画像は、全フレームに対して照明ムラ補正処理が施された内視鏡画像を表しており、この例では各フレーム内における照明ムラが補正されて全領域で照明ムラのない適切な輝度分布のフレームとなっている。

具体的には、矢印Ｗ２２に示す内視鏡画像では、例えばフレームＦＬ２１’がフレームＦＬ２１に対して照明ムラ補正処理を行うことで得られたフレームを表しており、フレームＦＬ２２’がフレームＦＬ２２に対して照明ムラ補正処理を行うことで得られたフレームを表している。また、フレームＦＬ２４’がフレームＦＬ２４に対して照明ムラ補正処理を行うことで得られたフレームを表している。

照明ムラ補正処理が行われると各フレームに対して適宜、ゲイン調整処理が行われた後、さらにノイズ低減処理が行われ、矢印Ｗ２３に示す出力画像とされる。なお、より詳細には、各フレームが順番に処理対象とされ、処理対象のフレームに対して照明ムラ補正処理やノイズ低減処理が行われる。つまり、各フレームが順番に処理される。

ここでは、例えばフレームＦＬ２１’に対してノイズ低減処理が行われて得られたフレームＦＬ２１’’が、内視鏡画像のフレームＦＬ２１に対応する出力画像のフレームとされる。また、フレームＦＬ２２’に対してゲイン調整処理とノイズ低減処理が行われて得られたフレームＦＬ２２’’が、内視鏡画像のフレームＦＬ２２に対応する出力画像のフレームとされる。同様に、例えばフレームＦＬ２４’に対してゲイン調整処理とノイズ低減処理が行われて得られたフレームＦＬ２４’’が、内視鏡画像のフレームＦＬ２４に対応する出力画像のフレームとされる。

特に、矢印Ｗ２３に示す出力画像は各フレームで照明ムラが補正され、かつ各フレームの輝度が略同じである明るい動画像となっている。

具体的には、通常照明フレームよりも全体的に輝度が低い、つまり全体的に暗い弱照明フレームに対して、全体的な明るさ（輝度）が通常照明フレームと同じ明るさとなるようにゲイン調整処理が施される。これに対して、通常照明フレームにはゲイン調整処理は行われない。

なお、ゲイン調整処理におけるゲイン値は、例えば通常照明強度と弱照明強度との差や、通常照明強度と弱照明強度との比などに基づいて予め算出しておけばよい。その他、例えば照明ムラ補正パラメータの算出時に、通常照明フレーム全体の輝度値の平均値と、弱照明フレーム全体の輝度値の平均値との差や比などからゲイン値を算出するようにしてもよい。

ここで、弱照明フレームに対してのみゲイン調整処理が行われるのは、弱照明フレームは通常照明フレームと比べて全体的に輝度が低い暗い画像となっており、照明ムラ補正処理だけでは照明強度切り替えの時間間隔ごとに出力画像が暗くなってしまうからである。内視鏡システム１１では、弱照明フレームのゲイン調整を行うことで、各フレームが略同じ輝度の画像となるようにすることができる。

また、ゲイン調整処理が施されていない通常照明フレームと、ゲイン調整処理が施された弱照明フレームとに対して、それぞれ所定のＮＲフィルタ係数が用いられたフィルタ処理がノイズ低減処理として行われ、出力画像のフレームとされる。

なお、ノイズ低減処理にあたっては、通常照明フレームと弱照明フレームとで、ノイズ低減処理の処理強度が異なるようにすることができる。

例えば弱照明フレームは、上述したゲイン調整処理を行うことで通常照明フレームと同等の輝度レベルとなるが、もともとは通常よりも弱い照明強度での照明を行っている状態で撮影されたフレームであるので、ゲイン調整処理によりノイズが強調されてしまう。

そこで、弱照明フレームに対しては通常照明フレームにおける場合よりも、より強い処理強度でノイズ低減処理を行い、弱照明フレームが通常照明フレームと同程度の輝度レベル（明るさ）およびノイズ感を有する画像となるようにしてもよい。

具体的には、例えばノイズ低減処理の処理強度の調整には、処理強度を調整するための処理強度調整係数を用いるなどすればよい。例えばノイズ低減処理の処理強度を通常の処理強度に調整するための処理強度調整係数である通常強度調整係数と、ノイズ低減処理の処理強度を通常よりも強い（高い）処理強度に調整するための処理強度調整係数である高強度調整係数とが予め用意されているとする。

この場合、信号処理部５３は、弱照明フレームに対しては高強度調整係数をＮＲフィルタ係数に乗算して得られた係数を用いてノイズ低減処理を行う。また、信号処理部５３は、通常照明フレームに対しては通常強度調整係数をＮＲフィルタ係数に乗算して得られた係数を用いてノイズ低減処理を行う。

このようにすることで、弱照明フレームに対しては通常照明フレームにおける場合よりもノイズ低減処理の処理強度をより強くして、ノイズがより多く低減されるようにすることができる。

なお、ノイズ低減処理の処理強度の調整は、ＮＲフィルタ係数に高強度調整係数や通常強度調整係数を乗算するのではなく、ノイズ低減処理に用いるＮＲフィルタ係数のタップ範囲を異なるようにするなど、どのようにして行われてもよい。

以上のように内視鏡システム１１によれば、体内留置光源２５による照明光を用いて患者１２の体腔内の術部を撮影する場合に、時間変動を伴う照明ムラ、つまり照明分布のムラを低減させた出力画像を得ることができる。

〈照明ムラ補正パラメータについて〉
ここで、以上において説明した照明ムラ補正パラメータの具体的な算出例について説明する。

例えば体内留置光源２５による照明により照明ムラが生じないものとし、通常照明強度での照明と、弱照明強度での照明とにより図９に示すような照明分布が得られたとする。

なお、図９では矢印Ｗ３１に示す部分では、通常照明強度で各体内留置光源２５により術部を照明したときの術部における照明強度の分布を表している。また、矢印Ｗ３２に示す部分では、弱照明強度で各体内留置光源２５により術部を照明したときの術部における照明強度の分布を表している。

さらに、矢印Ｗ３１に示す部分や矢印Ｗ３２に示す部分において、各同心円は１つの体内留置光源２５により術部が照明される様子を表しており、各領域における濃淡は照明光による照明強度を表している。

図９に示す例では、照明ムラは生じないので、矢印Ｗ３１に示す部分では全体の照明強度分布、つまり輝度分布が均一になっており、この術部を被写体として内視鏡画像を撮影すれば、輝度が均一な明るい内視鏡画像が得られる。同様に、矢印Ｗ３２に示す部分では、弱照明強度での照明であるため全体的に暗くなってはいるが、全体の照明強度分布、つまり輝度分布は均一になっている。

ここで、術部における矢印Ｑ３１乃至矢印Ｑ３３により示される各位置を観測点ａ乃至観測点ｃとも称することとする。

例えば矢印Ｑ３１により示される観測点ａは、硬性内視鏡スコープ３１の観察視野の略中心となる位置とされ、矢印Ｑ３２により示される観測点ｂは、観測点ａの図中、下側の位置とされている。また、矢印Ｑ３３により示される観測点ｃは、観測点ａの図中、右下側の位置とされている。

さらに矢印Ｗ３１に示す照明状態で撮影された内視鏡画像、つまり通常照明強度での照明で撮影された内視鏡画像のフレームにおける各観測点ａ乃至観測点ｃの位置における画素の輝度値を、それぞれ輝度値Ｉ_ａ’、輝度値Ｉ_ｂ’、および輝度値Ｉ_ｃ’と記すこととする。

同様に、矢印Ｗ３２に示す照明状態で撮影された内視鏡画像、つまり弱照明強度での照明で撮影された内視鏡画像のフレームにおける各観測点ａ乃至観測点ｃの位置における画素の輝度値を、それぞれ輝度値Ｉ_ａ、輝度値Ｉ_ｂ、および輝度値Ｉ_ｃと記すこととする。なお、内視鏡画像の時間的に隣接する通常照明フレームと弱照明フレームとでは同じ観測点は、同じ位置関係の画素位置にあるものとされる。すなわち、例えば通常照明フレームにおいて観測点ａがフレームの中心位置にあるとすると、弱照明フレーム上においても観測点ａはフレームの中心位置にあるものとされる。

この例では照明ムラは生じないので、弱照明強度での照明時の内視鏡画像のフレームに対する通常照明強度での照明時の内視鏡画像のフレームの同位置（画素）の輝度値（画素値）の増加率は内視鏡画像のフレーム上の位置、つまり観測点の位置によらず一定である。

したがって、観測点ａ乃至観測点ｃについて(Ｉ_ａ’-Ｉ_ａ)/Ｉ_ａ＝(Ｉ_ｂ’-Ｉ_ｂ)/Ｉ_ｂ＝(Ｉ_ｃ’-Ｉ_ｃ)/Ｉ_ｃが成立し、例えば輝度値Ｉ_ａ＝Ｉ_ｂであれば、輝度値Ｉ_ａ’＝Ｉ_ｂ’となる。

ここで、例えば(Ｉ_ａ’-Ｉ_ａ)/Ｉ_ａは、観測点ａの位置における弱照明フレームの輝度値Ｉ_ａに対する通常照明フレームの輝度値Ｉ_ａ’の増加率、すなわち弱照明フレームと通常照明フレームとの間の輝度変化率を示している。

一方、体内留置光源２５による照明により照明ムラが生じるものとすると、通常照明強度での照明と、弱照明強度での照明とにより、例えば図１０に示すような照明強度分布が得られる。なお、図１０において図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１０では矢印Ｗ４１に示す部分では、通常照明強度で各体内留置光源２５により術部を照明したときの術部における照明強度の分布を表している。また、矢印Ｗ４２に示す部分では、弱照明強度で各体内留置光源２５により術部を照明したときの術部における照明強度の分布を表している。

さらに、矢印Ｗ４１に示す部分や矢印Ｗ４２に示す部分において、各同心円は１つの体内留置光源２５により術部が照明される様子を表しており、各領域における濃淡は照明光による照明強度を表している。

図１０に示す例では、照明ムラが生じており、矢印Ｗ４１に示す部分では全体の照明強度分布、つまり輝度分布が不均一になっている。例えば矢印Ｑ３１に示す観測点ａの位置や、矢印Ｑ３２に示す観測点ｂの位置では照明強度が強くなっているが、矢印Ｑ３３に示す観測点ｃの位置では、観測点ａや観測点ｂの位置よりも照明強度が弱くなっている。

同様に、矢印Ｗ４２に示す部分では多少の照明ムラが生じており、全体の照明強度分布、つまり輝度分布がやや不均一になっている。

しかし、矢印Ｗ４２に示す部分では弱照明強度での照明となっているため、全体的に暗くなっているが、通常照明強度での照明における場合と比較すると照明ムラは大幅に小さくなっている。換言すれば、照明強度分布が略均一となっている。

この例では、照明ムラが生じているので、弱照明強度での照明時の内視鏡画像のフレームに対する通常照明強度での照明時の内視鏡画像のフレームの同位置（画素）の輝度値（画素値）の増加率は、内視鏡画像のフレーム上の位置、つまり観測点の位置によって異なる。

すなわち、例えば観測点ａおよび観測点ｂについて(Ｉ_ａ’-Ｉ_ａ)/Ｉ_ａ≠(Ｉ_ｂ’-Ｉ_ｂ)/Ｉ_ｂとなり、輝度値Ｉ_ａ＝Ｉ_ｂでも輝度値Ｉ_ａ’≠Ｉ_ｂ’となる。このときの輝度値Ｉ_ａ’と輝度値Ｉ_ｂ’の差が照明ムラである。

上述したように、信号処理部５３では、時間的に互いに隣接する通常照明フレームと弱照明フレームとに基づいて各画素位置、つまり各観測点における照明ムラ補正パラメータが算出される。

互いに隣接する２つのフレームを用いて照明ムラ補正パラメータを算出すれば、計算に用いる２つのフレーム間の時間間隔が最も短くなるので、例えば術部の血流や拍動等による被写体の移動など、照明ムラ以外の輝度変動要因による影響を最小限に抑えることができる。

照明ムラ補正パラメータの算出時には、フレーム（内視鏡画像）上の各画素位置が観測点とされ、例えばフレームの中心位置などの予め定められた所定の観測点が基準となる基準観測点とされる。また、フレーム上の観測点のうち、処理対象となる注目する観測点を注目観測点とも称することとする。

以下では、具体例として上述の観測点ａが基準観測点（以下、基準観測点ａとも称する）とされ、観測点ｂが注目観測点（以下、注目観測点ｂとも称する）とされるものとして、説明を行う。なお、照明ムラ補正パラメータの算出に用いられる通常照明フレームと、弱照明フレームとでは、通常照明フレーム上の基準観測点ａの位置と、弱照明フレーム上の基準観測点ａの位置とは同じ位置関係の位置とされる。同様に、通常照明フレーム上の注目観測点ｂの位置と、弱照明フレーム上の注目観測点ｂの位置とは同じ位置関係の位置とされる。

注目観測点ｂについて照明ムラ補正パラメータを算出する場合、まず基準観測点ａにおける輝度変化率(Ｉ_ａ’-Ｉ_ａ)/Ｉ_ａで、注目観測点ｂにおける輝度変化率(Ｉ_ｂ’-Ｉ_ｂ)/Ｉ_ｂが正規化され、基準観測点ａに対する注目観測点ｂの輝度変化率の割り合いである正規化輝度変化率ｒ_ｂ,ａが求められる。すなわち、次式（１）の計算が行われて正規化輝度変化率ｒ_ｂ,ａが算出される。

次に、得られた正規化輝度変化率ｒ_ｂ,ａの逆数が求められて、得られた逆数が注目観測点ｂの照明ムラ補正パラメータｈ_ｂ,ａとされる。すなわち、次式（２）により注目観測点ｂの照明ムラ補正パラメータｈ_ｂ,ａが算出される。

このような照明ムラ補正パラメータｈ_ｂ,ａにより、注目観測点ｂにおける輝度変化率を基準観測点ａにおける輝度変化率と同等に補正することができるようになる。

照明ムラ補正処理時には、照明ムラ補正パラメータｈ_ｂ,ａが用いられて内視鏡画像の各フレームの注目観測点ｂにおける輝度値（画素値）が補正される。

例えば、上述した通常照明フレームの注目観測点ｂにおける輝度値Ｉ_ｂ’を照明ムラ補正パラメータｈ_ｂ,ａを用いた照明ムラ補正処理により輝度補正するときには、次式（３）が計算されて補正後の輝度値Ｉ_ｈｂ’が算出される。

また、例えば基準観測点ａの照明ムラ補正パラメータｈ_ａ,ａは、上述した式（１）と同様の計算により得られる基準観測点ａの正規化輝度変化率ｒ_ａ,ａの逆数となるから、次式（４）の計算により求めることができ、その値は１となる。

したがって、このような照明ムラ補正パラメータｈ_ａ,ａを用いて、例えば通常照明フレームの基準観測点ａにおける輝度値Ｉ_ａ’を照明ムラ補正処理により輝度補正すると、次式（５）の計算が行われ、補正後の輝度値Ｉ_ｈａ’が算出される。

式（５）の計算から、基準観測点ａにおける輝度値は補正前後で変化しないことが分かる。

さらに、例えば弱照明フレーム上において、基準観測点ａと注目観測点ｂとで輝度値が等しいとする。すなわち、輝度値Ｉ_ａ＝Ｉ_ｂであるものとする。

この場合、注目観測点ｂの照明ムラ補正パラメータｈ_ｂ,ａは次式（６）に示すようになる。

したがって、式（６）の計算により得られた照明ムラ補正パラメータｈ_ｂ,ａを用いた照明ムラ補正処理により、通常照明フレームの注目観測点ｂにおける輝度値Ｉ_ｂ’を輝度補正すると、次式（７）に示す輝度値Ｉ_ｈｂ’が得られる。すなわち、照明ムラ補正処理では次式（７）の計算が行われ、補正後の輝度値Ｉ_ｈｂ’が算出される。

式（７）の計算結果から分かるように、補正後の輝度値Ｉ_ｈｂ’は通常照明フレームにおける基準観測点ａの補正後の輝度値Ｉ_ｈａ’と等しくなる。したがって、照明ムラ補正処理後の通常照明フレームでは、基準観測点ａと注目観測点ｂの輝度値が等しくなり、照明ムラが適切に補正されたことが分かる。

以上のような照明ムラ補正処理によれば、内視鏡画像の各フレームにおける照明強度分布、つまり輝度分布が、照明ムラの少ない弱照明フレームにおける輝度分布と略同じとなるように各観測点の輝度値を補正することができる。これにより、照明ムラを適切に補正することができる。

〈パラメータ算出処理の説明〉
次に、以上において説明した内視鏡システム１１により行われる処理について説明する。

まず、図１１のフローチャートを参照して、内視鏡システム１１が内視鏡画像を撮影するとともに照明ムラ補正パラメータを算出する処理であるパラメータ算出処理について説明する。

ステップＳ１１において、光源制御部５１は弱照明強度での照明を行うか否かを判定する。

例えば内視鏡システム１１では、基本的には通常照明強度で術部を照明しながら、一定の時間間隔で内視鏡画像の１フレーム分の撮影期間だけ弱照明強度での照明を行うようになされている。この場合、弱照明強度での照明を行うタイミングとなったときに、ステップＳ１１において弱照明強度での照明を行うと判定される。

ステップＳ１１において、弱照明強度での照明を行わない、つまり通常照明強度での照明を行うと判定された場合、ステップＳ１２において、光源制御部５１は通常照明強度での照明を指示する光源制御情報を生成する。

そして、光源制御部５１は生成した光源制御情報を制御信号源２４および信号処理部５３に供給する。また、制御信号源２４は、光源制御部５１から供給された光源制御情報に基づいて光源制御信号を生成し、制御信号源２４の発信部６１は無線通信により光源制御信号を送信する。すると、体内留置光源２５の受信部７１は、制御信号源２４から送信された光源制御信号を受信する。

ステップＳ１３において、内視鏡システム１１は、通常照明強度での術部の撮影を行う。

すなわち、体内留置光源２５は、ステップＳ１２の処理で制御信号源２４から受信した光源制御信号に基づいて、通常照明強度で術部に照明光を照射（出力）する。

このようにして術部に照明光が照射されると、その照明光が術部で反射して反射光となり、硬性内視鏡スコープ３１に入射する。すると、硬性内視鏡スコープ３１に入射した反射光は、硬性内視鏡スコープ３１内の観察光学系により導かれてイメージセンサ４１へと入射する。

イメージセンサ４１は、硬性内視鏡スコープ３１を介して術部から入射した反射光を受光して光電変換することにより、術部を撮影する。また、イメージセンサ４１は、撮影により得られた内視鏡画像の１フレーム分の画像データを信号処理部５３へと供給する。

このとき、信号処理部５３へと供給される画像データは、内視鏡画像の通常照明フレームの画像データである。信号処理部５３は、光源制御部５１から供給される光源制御情報により、通常照明強度での照明が行われているか、または弱照明強度での照明が行われているかを知ることができるので、撮影により得られた画像データに対して照明の制御と同期した信号処理を行うことができる。

以上のようにして、術部が通常照明強度で照明されている状態で撮影が行われ、通常照明フレームが得られると、その後、処理はステップＳ１８へと進む。

一方、ステップＳ１１において弱照明強度での照明を行うと判定された場合、ステップＳ１４において、光源制御部５１は弱照明強度での照明を指示する光源制御情報を生成し、制御信号源２４および信号処理部５３に供給する。

また、制御信号源２４は、光源制御部５１から供給された光源制御情報に基づいて光源制御信号を生成し、制御信号源２４の発信部６１は無線通信により光源制御信号を送信する。すると、体内留置光源２５の受信部７１は、制御信号源２４から送信された光源制御信号を受信する。

ステップＳ１５において、内視鏡システム１１は、弱照明強度での術部の撮影を行う。

すなわち、体内留置光源２５は、ステップＳ１４の処理で制御信号源２４から受信した光源制御信号に基づいて、弱照明強度で術部に照明光を照射（出力）する。

このようにして術部に照明光が照射されると、ステップＳ１３における場合と同様に、照明光が術部で反射されて反射光となり、硬性内視鏡スコープ３１を介してイメージセンサ４１に入射する。

イメージセンサ４１は、硬性内視鏡スコープ３１を介して術部から入射した反射光を受光して光電変換することにより術部を撮影し、撮影により得られた内視鏡画像の１フレーム分の画像データを信号処理部５３へと供給する。このとき信号処理部５３へと供給される画像データは、内視鏡画像の弱照明フレームの画像データである。

以上のようにして、術部が弱常照明強度で照明されている状態で撮影が行われ、弱照明フレームが得られると、処理はステップＳ１６へと進む。

ステップＳ１６において、信号処理部５３は、ステップＳ１５の処理で得られた弱照明フレームの画像データと、その弱照明フレームの時間的に直前のフレームである通常照明フレームの画像データとに基づいて照明ムラ補正パラメータを算出する。

例えば信号処理部５３は、上述した式（１）および式（２）と同様の計算を行い、内視鏡画像の各観測点（画素）ごとに照明ムラ補正パラメータを算出する。この場合、弱照明フレームと通常照明フレームとで同じ位置関係の画素の輝度値が用いられて、画素位置ごとに照明ムラ補正パラメータが算出される。

ステップＳ１７において、信号処理部５３は照明ムラ補正パラメータを更新する。すなわち、信号処理部５３は、ステップＳ１６の処理で得られた照明ムラ補正パラメータを照明ムラ補正パラメータ記録部５２に供給し、照明ムラ補正パラメータ記録部５２に記録されている照明ムラ補正パラメータを、新たに供給した照明ムラ補正パラメータに書き換えさせる（上書きさせる）ことで、照明ムラ補正パラメータを更新する。

以上のようにして照明ムラ補正パラメータが更新されると、その後、処理はステップＳ１８へと進む。

ステップＳ１３の処理が行われたか、またはステップＳ１７の処理が行われると、ステップＳ１８において、信号処理部５３は処理を終了するか否かを判定する。例えば内視鏡画像の撮影が終了した場合、ステップＳ１８において処理を終了すると判定される。

ステップＳ１８において、まだ処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。すなわち、内視鏡画像の次のフレームが撮影されて、適宜、照明ムラ補正パラメータが更新される。

これに対して、ステップＳ１８において処理を終了すると判定された場合、パラメータ算出処理は終了する。

以上のようにして内視鏡システム１１は、照明強度を制御しながら内視鏡画像を撮影し、弱照明フレームの撮影のタイミングで照明ムラ補正パラメータを更新する。このようにして算出された照明ムラ補正パラメータを用いれば、適切に内視鏡画像の照明ムラを補正することができる。すなわち、照明分布のムラを低減させることができる。

〈出力画像生成処理の説明〉
続いて、図１１を参照して説明したパラメータ算出処理と並行して行われる出力画像生成処理について説明する。すなわち、以下、図１２のフローチャートを参照して、内視鏡システム１１による出力画像生成処理について説明する。

ステップＳ４１において、信号処理部５３は、イメージセンサ４１から内視鏡画像の１フレーム分の画像データが供給されると、照明ムラ補正パラメータ記録部５２に記録されている照明ムラ補正パラメータを取得する。すなわち、照明ムラ補正パラメータが読み出される。

ステップＳ４２において、信号処理部５３は、イメージセンサ４１から供給されたフレームが弱照明強度での照明で撮影された弱照明フレームであるか否かを判定する。

ステップＳ４２において弱照明フレームでない、つまり通常照明フレームであると判定された場合、処理はステップＳ４３へと進む。

ステップＳ４３において、信号処理部５３は、ステップＳ４１で取得した照明ムラ補正パラメータに基づいて、イメージセンサ４１から供給された通常照明フレームに対して照明ムラ補正処理を行う。例えば信号処理部５３は、通常照明フレームの各画素（観測点）について、上述した式（３）と同様の計算を行うことで各画素の輝度値を補正し、照明ムラを低減させる。

ステップＳ４４において、信号処理部５３は、ステップＳ４３の処理で得られた、照明ムラ補正処理後の通常照明フレームに対して、通常強度調整係数を用いてノイズ低減処理を行う。すなわち、信号処理部５３は、予め用意された通常強度調整係数をＮＲフィルタ係数に乗算し、その結果得られた係数を用いた通常照明フレームに対するフィルタ処理をノイズ低減処理として行う。そして、信号処理部５３はノイズ低減処理により得られたフレームを出力画像の１つのフレームとする。

出力画像のフレームが得られると、その後、処理はステップＳ４８へと進む。

これに対して、ステップＳ４２において弱照明フレームであると判定された場合、処理はステップＳ４５へと進む。

ステップＳ４５において、信号処理部５３はステップＳ４１で取得した照明ムラ補正パラメータに基づいて、イメージセンサ４１から供給された弱照明フレームに対して照明ムラ補正処理を行う。例えば信号処理部５３は、弱照明フレームの各画素（観測点）について、上述した式（３）と同様の計算を行うことで各画素の輝度値を補正し、照明ムラを低減させる。

ステップＳ４６において、信号処理部５３は、ステップＳ４５の処理で得られた照明ムラ補正処理後の弱照明フレームに対してゲイン調整処理を行う。

ゲイン調整処理時には、例えば上述したように通常照明フレームと弱照明フレームなどから算出されたゲイン値が用いられる。

ステップＳ４７において、信号処理部５３はステップＳ４６の処理で得られたゲイン調整処理後の弱照明フレームに対して、高強度調整係数を用いてノイズ低減処理を行う。

すなわち、信号処理部５３は、予め用意された高強度調整係数をＮＲフィルタ係数に乗算し、その結果得られた係数を用いた弱照明フレームに対するフィルタ処理をノイズ低減処理として行う。そして、信号処理部５３はノイズ低減処理により得られたフレームを出力画像の１つのフレームとする。

出力画像のフレームが得られると、その後、処理はステップＳ４８へと進む。

ステップＳ４４の処理が行われたか、またはステップＳ４７の処理が行われて、出力画像のフレームが得られると、ステップＳ４８において信号処理部５３は、得られた出力画像のフレームをモニタ２２に出力し、表示させる。

ステップＳ４９において、信号処理部５３は処理を終了するか否かを判定する。例えば出力画像の表示が終了した場合、ステップＳ４９において処理を終了すると判定される。

ステップＳ４９において、まだ処理を終了しないと判定された場合、処理はステップＳ４１に戻り、上述した処理が繰り返し行われる。すなわち、出力画像の次のフレームが生成されて出力される。

これに対して、ステップＳ４９において処理を終了すると判定された場合、出力画像生成処理は終了する。

以上のようにして内視鏡システム１１は、撮影により得られた内視鏡画像のフレームに対して照明ムラ補正処理等を行い、出力画像を生成する。このように照明ムラ補正処理等を行うことで、照明ムラが補正された出力画像を得ることができる。すなわち、照明分布のムラを低減させることができる。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮影素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本技術は、以下の構成とすることも可能である。

（１）
手術対象となる患者の体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で撮影された画像に対する照明ムラ補正を行う信号処理部を備える
画像処理装置。
（２）
前記弱照明画像は、前記光源による照明が停止された状態で撮影された画像である
（１）に記載の画像処理装置。
（３）
前記光源による照明を制御する光源制御部をさらに備える
（１）または（２）に記載の画像処理装置。
（４）
前記信号処理部は、前記通常照明画像と、前記弱照明画像とに基づいて前記照明ムラ補正のための補正パラメータを算出し、前記補正パラメータに基づいて前記画像に対する前記照明ムラ補正を行う
（１）乃至（３）の何れか一項に記載の画像処理装置。
（５）
前記信号処理部は、前記通常照明画像と前記弱照明画像との間の輝度変化率に基づいて、前記補正パラメータを算出する
（４）に記載の画像処理装置。
（６）
前記信号処理部は、所定位置における前記輝度変化率、および前記所定位置とは異なる位置における前記輝度変化率に基づいて、前記所定位置の前記補正パラメータを算出する
（５）に記載の画像処理装置。
（７）
硬性内視鏡スコープを有し、前記硬性内視鏡スコープを介して前記体内の被写体から入射した光を受光することで前記画像を撮影する撮影部をさらに備える
（１）乃至（６）の何れか一項に記載の画像処理装置。
（８）
前記画像は、前記通常照明画像および前記弱照明画像のそれぞれを１つのフレームとする動画像である
（１）乃至（７）の何れか一項に記載の画像処理装置。
（９）
前記信号処理部は、前記動画像に対して前記照明ムラ補正を行い、前記照明ムラ補正により得られた動画像に対してノイズ低減処理を行うことで出力動画像を生成する
（８）に記載の画像処理装置。
（１０）
前記信号処理部は、
前記動画像のフレームが前記弱照明画像である場合、前記弱照明画像に対して前記照明ムラ補正を行ってからゲイン調整を行い、前記ゲイン調整により得られた画像に対して前記ノイズ低減処理を行うことで前記出力動画像の１つのフレームを生成し、
前記動画像のフレームが前記通常照明画像である場合、前記通常照明画像に対して前記照明ムラ補正を行い、前記照明ムラ補正により得られた画像に対して前記ノイズ低減処理を行うことで前記出力動画像の１つのフレームを生成する
（９）に記載の画像処理装置。
（１１）
前記信号処理部は、前記動画像のフレームが前記弱照明画像である場合、前記ゲイン調整により得られた画像に対して、前記動画像のフレームが前記通常照明画像である場合よりも、より強い処理強度で前記ノイズ低減処理を行う
（１０）に記載の画像処理装置。
（１２）
手術対象となる患者の体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で撮影された画像に対する照明ムラ補正を行う
ステップを含む画像処理方法。
（１３）
硬性内視鏡スコープを有し、前記硬性内視鏡スコープを介して手術対象となる患者の体内の被写体から入射した光を受光することで画像を撮影する撮影部と、
前記体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で前記撮影部により撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で前記撮影部により撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で前記撮影部により撮影された画像に対する照明ムラ補正を行う信号処理部と
を備える内視鏡システム。

１１ 内視鏡システム， ２１ 撮影部， ２３ CCU， ２４ 制御信号源， ２５−１乃至２５−Ｎ，２５ 体内留置光源， ３１ 硬性内視鏡スコープ， ３２ カメラヘッド， ４１ イメージセンサ， ５１ 光源制御部， ５２ 照明ムラ補正パラメータ記録部， ５３ 信号処理部

Claims (13)

1. 手術対象となる患者の体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で撮影された画像に対する照明ムラ補正を行う信号処理部を備える
   画像処理装置。
2. 前記弱照明画像は、前記光源による照明が停止された状態で撮影された画像である
   請求項１に記載の画像処理装置。
3. 前記光源による照明を制御する光源制御部をさらに備える
   請求項１に記載の画像処理装置。
4. 前記信号処理部は、前記通常照明画像と、前記弱照明画像とに基づいて前記照明ムラ補正のための補正パラメータを算出し、前記補正パラメータに基づいて前記画像に対する前記照明ムラ補正を行う
   請求項１に記載の画像処理装置。
5. 前記信号処理部は、前記通常照明画像と前記弱照明画像との間の輝度変化率に基づいて、前記補正パラメータを算出する
   請求項４に記載の画像処理装置。
6. 前記信号処理部は、所定位置における前記輝度変化率、および前記所定位置とは異なる位置における前記輝度変化率に基づいて、前記所定位置の前記補正パラメータを算出する
   請求項５に記載の画像処理装置。
7. 硬性内視鏡スコープを有し、前記硬性内視鏡スコープを介して前記体内の被写体から入射した光を受光することで前記画像を撮影する撮影部をさらに備える
   請求項１に記載の画像処理装置。
8. 前記画像は、前記通常照明画像および前記弱照明画像のそれぞれを１つのフレームとする動画像である
   請求項１に記載の画像処理装置。
9. 前記信号処理部は、前記動画像に対して前記照明ムラ補正を行い、前記照明ムラ補正により得られた動画像に対してノイズ低減処理を行うことで出力動画像を生成する
   請求項８に記載の画像処理装置。
10. 前記信号処理部は、
    前記動画像のフレームが前記弱照明画像である場合、前記弱照明画像に対して前記照明ムラ補正を行ってからゲイン調整を行い、前記ゲイン調整により得られた画像に対して前記ノイズ低減処理を行うことで前記出力動画像の１つのフレームを生成し、
    前記動画像のフレームが前記通常照明画像である場合、前記通常照明画像に対して前記照明ムラ補正を行い、前記照明ムラ補正により得られた画像に対して前記ノイズ低減処理を行うことで前記出力動画像の１つのフレームを生成する
    請求項９に記載の画像処理装置。
11. 前記信号処理部は、前記動画像のフレームが前記弱照明画像である場合、前記ゲイン調整により得られた画像に対して、前記動画像のフレームが前記通常照明画像である場合よりも、より強い処理強度で前記ノイズ低減処理を行う
    請求項１０に記載の画像処理装置。
12. 手術対象となる患者の体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で撮影された画像に対する照明ムラ補正を行う
    ステップを含む画像処理方法。
13. 硬性内視鏡スコープを有し、前記硬性内視鏡スコープを介して手術対象となる患者の体内の被写体から入射した光を受光することで画像を撮影する撮影部と、
    前記体内に配置された光源により前記体内の被写体が所定照明強度で照明された状態で前記撮影部により撮影された通常照明画像と、前記所定照明強度よりも照明強度が弱い状態で前記撮影部により撮影された弱照明画像とに基づいて、前記光源により前記体内の被写体が照明された状態で前記撮影部により撮影された画像に対する照明ムラ補正を行う信号処理部と
    を備える内視鏡システム。

Images