JP5242381B2 - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

Description

本発明は、医療用画像から病変部候補領域を検出し、ポリープ等の病変を検出するのに適した医療用画像処理装置及び医療用画像処理方法に関する。

近年、内視鏡は、例えば医療用分野における検診や診断等において広く用いられるようになった。
この場合、術者は、内視鏡の挿入部を患者の大腸等の体腔内に挿入して、挿入部の先端部に設けた撮像手段により体腔内を撮像し、モニタに表示される内視鏡画像を観察してポリープ等の病変部の検診や診断等の内視鏡検査を行う。このような場合、術者は患者に与える苦痛を少なく、かつ円滑に内視鏡検査を行うことが望まれるため、術者の負担が大きくなる。

このため、例えば第１の従来例としての特開２００４−１８０９３２号公報には、Ｘ線ＣＴ装置等による第１の画像診断装置と、Ｘ線ＴＶ装置等の第２の画像診断装置によりそれぞれ同一関心領域に対する病変候補を検出し、これら２つの検出結果を相互に比較対象して検出結果を合成して術者に提示することにより、術者の見落としを防ぐことができるようにしている。

また、第２の従来例としての特開２００５−１９２８８０号公報においては、内視鏡画像から病変候補領域を色調情報から検出する画像処理方法が開示されている。

しかしながら、上記第１の従来例は、大腸等の体腔内を撮像した内視鏡画像からポリープ等の病変をスクリーニングする場合や診断するような場合には適用し難い。また、Ｘ線ＣＴによる画像では明確な半球状の隆起所見が無い場合には検出が困難である。
内視鏡画像の場合のよう光学的に体腔内を観察した画像においては、色情報も得られるため、色情報も病変検出等に利用できることが望ましい。
一方、第２の従来例は、色情報及び輪郭情報を利用して、出血・発赤及び隆起・陥凹等を検出するようにしている。しかし、この第２の従来例は、ポリープに生じる発赤・褪色調の色調変化の性状を付随的に呈する領域やポリープの周辺粘膜に生じる異常所見領域等の性状を付随的に呈する領域の情報を有効に利用していない。このため、これらの領域の情報を有効に利用して、病変をより精度良く若しくは高い信頼性で検出できることが望まれる。
また、２次元画像から３次元の形状画像を生成して、より信頼度を向上した病変検出ができることが望まれる。

本発明は上述した点に鑑みてなされたもので、内視鏡画像のように色情報を有する医療用画像からポリープ等の病変を精度良く検出することができる医療用画像処理装置及び医療用画像処理方法を提供することを目的とする。
また、本発明は、３次元の形状画像を利用して、より信頼度を向上した病変検出ができる医療用画像処理装置及び医療用画像処理方法を提供することを目的とする。

本発明の一態様の医療用画像処理装置は、複数の色信号からなる医療用画像における少なくとも１つの色信号に基づき病変候補領域を検出する病変候補領域検出手段と、前記医療用画像から病変に伴い付随した性状で発生する付随領域を検出する付随領域検出手段と、前記付随領域の検出結果に応じて前記病変候補領域から病変を検出する際の検出基準を変更する検出基準変更手段と、を具備し、前記付随領域検出手段は、前記付随領域として、白斑若しくは異常血管の異常所見の性状を呈する異常所見領域を検出する。

本発明の一態様の医療用画像処理方法は、複数の色信号からなる医療用画像における少なくとも１つの色信号に基づき病変候補領域を検出する病変候補領域検出ステップと、前記医療用画像から病変に伴い付随した性状で発生する付随領域の有無を検出する付随領域検出ステップと、前記付随領域の有無の検出結果に応じて前記病変候補領域から病変を検出する際の検出基準を変更する検出基準変更ステップと、を具備し、前記付随領域検出ステップは、前記付随領域として、白斑若しくは異常血管の性状を呈する異常所見領域を検出する。

本発明の実施例１に係る、内視鏡システムの構成を示すブロック図である。 本発明の実施例１に係る、大腸のような管状部位内に挿入された内視鏡により撮像する様子を示す図である。 図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像例を示す図である。 図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像例を示す図である。 本発明の実施例１に係る、ＣＰＵによる画像処理機能を示すブロック図である。 本発明の実施例１の画像処理により隆起性病変としてのポリープを検出する処理を示すフローチャートである。 図５のステップＳ４の３次元形状情報算出の処理を示すフローチャートである。 図６のステップＳ１２により算出されるShape Index ＳＩの値による曲面形状を示す図である。 図５のステップＳ６の処理内容を示すフローチャートである。 本発明の実施例２に係る、内視鏡に設けられた撮像装置により撮像された内視鏡画像例を示す図である。 本発明の実施例２に係る、内視鏡に設けられた撮像装置により撮像された内視鏡画像例を示す図である。 本発明の実施例２に係る、ＣＰＵによる画像処理機能を示すブロック図である。 本発明の実施例２の画像処理により隆起性病変としてのポリープを検出する処理を示すフローチャートである。 図１１のステップＳ５１における粘膜性状情報判定の処理内容を示すフローチャートである。 図１１のステップＳ５１における異常血管増成判定の処理内容を示すフローチャートである。

以下、図面を参照して本発明の実施例を説明する。
（実施例１）
図１〜図８は本発明の実施例１に係り、図１は内視鏡システムの構成を示すブロック図、図２は大腸のような管状部位内に挿入された内視鏡により撮像する様子を示す図、図３Ａは図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像例を示す図、図３Ｂは図２の内視鏡に設けられた撮像装置により撮像された内視鏡画像例を示す図、図４はＣＰＵによる画像処理機能を示すブロック図、図５は画像処理により隆起性病変としてのポリープを検出する処理を示すフローチャート、図６は図５のステップＳ４の３次元形状情報算出の処理を示すフローチャート、図７は図６のステップＳ１２により算出されるShape Index ＳＩの値による曲面形状を示す図、図８は図５のステップＳ６の処理内容を示すフローチャートである。

図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた内視鏡画像に対して画像処理を行うパーソナルコンピュータ等により構成される内視鏡画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示する表示モニタ４とから構成される。

内視鏡観察装置２は、体腔内に挿入される内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮影した内視鏡画像を表示するモニタ９とを有する。

内視鏡６は、体腔内に挿入される挿入部１１と、この挿入部１１の後端に設けられた操作部１２とを有する。また、挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。

このライトガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により転送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。

照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子としての例えば電荷結合素子（ＣＣＤと略記）１６とによる撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結蔵された光学像は、このＣＣＤ１６により光電変換される。

このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。

この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像に対応する映像信号が入力される画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。

また、この画像処理装置３は、画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された情報等を記憶する情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び情報等を記憶装置インターフェース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボード等からなる入力操作部２９とを有する。

そして、この表示処理部２８により生成された映像信号は、表示モニタ４に表示され、この表示モニタ４の表示面には画像処理された処理画像が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、情報記憶部２５、記憶装置インターフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。

本実施例においては、図２に示すように、例えば大腸３１のような管状部位（管状器官）に直視型の内視鏡６の挿入部１１が挿入され、撮像装置１７により撮像される。

図３Ａ及び図３Ｂは、内視鏡６によって撮像された隆起性病変としてのポリープを有する２次元の内視鏡画像例を示している。

図３Ａでは、発赤調部３２を伴ったポリープを有する内視鏡画像を示す。なお、ポリープの頂部は、白色調の褪色部３３となっている。
また、図３Ｂは、図３Ａの場合よりも広い領域で白色調の褪色部３３が伴ったポリープを有する内視鏡画像を示す。

このように隆起性病変としてのポリープにおいては、発赤調や白色調（褪色調）の色調変化が付随した性状で発生する場合がしばしばある。本実施例では、このような色調変化を呈する色調変化領域を付随領域としてその有無を検出若しくは判定する。そして、このような色調変化領域の検出結果に応じて、その後に行うポリープ検出若しくは判定を行う際の検出基準を変更（或いは制御）、より具体的には検出基準の閾値を変更する。

また、本実施例においては、上記ポリープ検出を精度良く行うために、撮像された２次元の内視鏡画像から検査対象部位（例えば管腔形状の内面）の３次元形状を推定する。そして、推定された３次元形状の情報を用いて、ポリープ候補としての隆起性変化領域を検出する。

そして、検出された隆起性変化領域に対応する部分（その周辺部を含む）に対して、上記色調変化を伴う付随領域の検出結果に応じて、ポリープ検出を行う検出基準の閾値を変更設定する。

具体的には、色調変化を伴う場合には、隆起性変化によりポリープ検出を行う際に適用する検出基準としては、色調変化を伴わない場合よりも、検出条件を緩和した検出基準を適用する。

後述するように図５に示す方法でポリープ検出を行う例では、色調変化を伴わない場合には検出基準１、色調変化を伴う場合には、検出基準１よりも検出条件を緩和した検出基準２をそれぞれ閾値として隆起性変化によりポリープ検出（判定）を行うことになる。

このようにして、画像処理でポリープ検出を行うことにより、精度良く（或いは高い信頼性で）ポリープ検出結果を得られるようにしている。

図４は、本実施例の画像処理装置３内のＣＰＵ２２による行う画像処理機能を示す。ＣＰＵ２２は、撮像され内視鏡画像のデータから明暗情報（或いは輝度情報）に基づいて、隆起性の病変候補領域としての隆起性変化領域を検出する病変候補領域検出手段としての隆起性変化領域検出機能２２ａと、内視鏡画像の複数の色信号から色調変化領域を検出する付随領域検出手段としての色調変化領域検出機能２２ｂと、検出される隆起性変化領域に対して、隆起性病変としてのポリープ検出を行うポリープ検出機能２２ｄと、このポリープ検出を行う際に色調変化領域が伴うか否かによって、ポリープ検出基準を変更設定する検出基準変更手段としての検出基準の設定機能２２ｃとを有する。

また、このＣＰＵ２２は、隆起性変化領域検出機能２２ａにより、隆起性変化領域を検出する場合、２次元の内視鏡画像の輝度情報を、その形状を推定する形状情報として用いることにより、３次元形状情報を生成する３次元形状情報生成機能２２ｅを有する。

次に本実施例による内視鏡画像からポリープ検出を行うまでの動作を説明する。
本実施例においては、図４に示した各機能をソフトウェアにより実現している。つまり、ＣＰＵ２２は、処理プログラム記憶部２３に記憶（格納）された処理プログラムを読み出し、ＣＰＵ２２はこの処理プログラムに従って処理を行うことにより、図５に示すポリープ検出の画像処理を実行する。

図１に示す内視鏡観察装置２及び画像処理装置３の電源が投入されると、内視鏡６の撮像装置１７で撮像され、ＣＣＵ８で信号処理された内視鏡画像（の映像信号）がモニタ９で表示されると共に、画像処理装置３にも画像入力部２１を経て入力される。

そして、術者が、図示しないキーボード等の画像処理開始キー等を操作することにより、その指示信号がＣＰＵ２２に送られ、ＣＰＵ２２は図５のポリープ検出を行うための画像処理を開始する。

最初のステップＳ１においてＣＰＵ２２は、内視鏡画像Ｉの番号を示すパラメータｉを初期値ｉ＝１に設定し、次のステップＳ２において例えば図１のハードディスク２７或いは画像記憶部２４に順次格納されるｉ番目のＲＧＢ信号からなる内視鏡画像Ｉｉを取り込む。

本実施例における一連の処理は動画像として連続して入力される各フレームの内視鏡画像Ｉｉについて適用されるものとする。この場合に限定されるものでなく、例えば数フレームおきの内視鏡画像に対して図５の画像処理を行うようにしても良い。また、ハードディスク２７その他にファイリングされた内視鏡画像に対して図５の画像処理を行うようにしても良い。
ステップＳ２の後、ステップＳ３においてＣＰＵ２２は、内視鏡画像ＩｉにおけるＲ信号成分（Ｒ画像と略記）Ｒｉを抽出し、次のステップＳ４においてＣＰＵ２２は、Ｒ画像Ｒｉの３次元形状情報を明暗変化（輝度情報の変化）に基づき算出（生成）する。本実施例では、ＣＰＵ２２は、Ｒ画像Ｒｉを用いて３次元形状情報を算出するようにしているが、この他に例えば輝度信号成分の画像を用いて算出しても良い。

２次元のＲ画像Ｒｉから３次元形状情報を算出する処理方法を図６に示す。
２次元の画像から３次元形状情報を算出するために、図６のステップＳ２１に示すようにＣＰＵ２２は３次元形状を推定（生成）する。

３次元形状を生成する方法としては、例えばＳｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇがある。このＳｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇによる３次元形状の生成方法は、照明光源からの照明光で照明された対象部位の反射光の強度が、その面の傾き状態で変化し、その変化が伴った反射光で撮像された内視鏡画に反映されることを利用したものであり、例えば、「コンピュータビジョン，投影中心に点光源がある場合のＳｈａｐｅ−ｆｒｏｍ−Ｓｈａｄｉｎｇ−内視鏡形状からの３次元形状復元− 岡谷、出口：ｐｐ．１９−２６，１９９６」にこの方法が記載されている。また、他の２次元の内視鏡画像から推定された３次元形状を算出（生成）する方法を利用しても良い。

そして、次のステップＳ２２においてＣＰＵ２２は、算出された３次元形状の各曲面において、曲面形状を表す特徴量であるShape IndexＳＩ及びCurvednessＣＶを算出する。Shape IndexＳＩ及びCurvednessＣＶは、以下のようにして算出される。

ＣＰＵ２２は、算出された３次元形状に対して、注目する３次元位置（ｘ、ｙ、ｚ）を含む局所領域（曲面）におけるそのＲ画素値ｆにおける１階偏微分係数ｆｘ、ｆｙ、ｆｚ、及び２階偏微分係数ｆｘｘ，ｆｙｙ，ｆｚｚ，ｆｘｙ，ｆｙｚ，ｆｘｚを算出する。

これらの係数を用いて、ＣＰＵ２２は、「電子情報通信学会、信学技報（MI2003-102），形状情報に基づく３次元腹部ＣＴ像からの大腸ポリープ自動検出手法に関する検討 木村、林、北坂、森、末長 ｐｐ．２９−３４，２００４」中に記載されているようにガウス曲率Ｋ，平均曲率Ｈを算出する。
一方、曲面の主曲率ｋ１，ｋ２（ｋ１≧ｋ２）は、ガウス曲率Ｋと、平均曲率Ｈを用いて、
ｋ１＝Ｈ＋（Ｈ^２−Ｋ）^1/2 ｋ２＝Ｈ−（Ｈ^２ーＫ）^1/2 （１）
と表される。

また、この場合における曲面形状を表す特徴量であるShape IndexＳＩ及びCurvednessＣＶは、それぞれ、
ＳＩ＝１／２−（１／π）arc tan［（ｋ１＋ｋ２）／（ｋ１−ｋ２）］ （２）
ＣＶ＝（（ｋ１^２＋ｋ２^２）／２）^１／２ （３）
となる。

ＣＰＵ２２は、このようにして、３次元の各曲面におけるShape IndexＳＩ及びCurvednessＣＶを３次元形状情報として算出する。

Shape IndexＳＩは、図７に示すように曲面形状を０から１までの値を持つ指標で表す。この場合、Shape IndexＳＩが０の場合には、曲面形状は凹型となり、１の場合は凸型となる。つまり、このShape IndexＳＩの値が１に近い値程、凸型の隆起形状の特徴を有する。

従って、Shape IndexＳＩの値を１に近い閾値として検出基準を設定し、この閾値よりも大きなShapeIndexＳＩの値を持つ領域を検出することにより、隆起性病変としてのポリープを画像処理上で客観的に検出することが可能になる。なお、後述する図５のステップＳ１０に用いる検出基準１では、Shape IndexＳＩの閾値として（ＳＩ＝）０．９に、ステップＳ１１における検出基準２ではShape IndexＳＩの閾値として（ＳＩ＝）０．８に設定して行う。

また、CurvednessＣＶは、曲率半径の逆数を表し、対象曲面の凸型の領域の大きさを限定するような場合に利用される。このようにして、図５におけるステップＳ４の処理が行われる。

そして、本実施例においては、以下に説明するように隆起性病変としてのポリープ検出の画像処理を行う場合、ＣＰＵ２２は、検出基準１と検出基準２とを用いて行う。

一方、図５のステップＳ５においてＣＰＵ２２は、内視鏡画像ＩｉにおけるＲ画像Ｒｉと、内視鏡画像ＩｉにおけるＧ信号成分（Ｇ画像Ｇｉと略記）を抽出する。そして、次のステップＳ６においてＣＰＵ２２は、発赤・褪色調の色調変化を示す色調変化領域の検出を行う。

ステップＳ６における色調変化領域の検出処理は，例えば図８に示すように行う。最初のステップＳ３１においてＣＰＵ２２、Ｒ画像Ｒｉ及びＧ画像Ｇｉに対して暗部・ハレーションあるいは残渣等の不適画素を除外する処理を行う。暗部・ハレーションの除去は、暗部及びハレーションに対応して設定した閾値を用いて簡単に除去することができる。また、残渣は、残渣の色調及びその部分の形状判定等とを組み合わせて除去することができる。

次のステップＳ３２においてＣＰＵ２２は、例えば８×８の小領域に分割する処理を行う。
そして、次のステップＳ３３においてＣＰＵ２２は、分割された小領域の番号を表すパラメータｍと、小領域内の画素の番号を表すパラメータｊとを初期値１に設定する。なお、小領域の番号付けを行う場合、ステップＳ３１の処理により、除外された画素が、その小領域内である割合、例えば50％を超えた場合には、その小領域は処理対象から除外する（ｍの番号に割り付けない）。つまり、小領域に対しても、不適当な小領域は、処理対象から除外する。

次のステップＳ３４においてＣＰＵ２２は、ｊ番目の画素の色度ｇｊ／ｒｊ算出する。ここで、ｇｊは、Ｇ画像Ｇｉの（ｍ番目の）小領域内のｊ番目の画素の輝度レベル、ｒｊはＲ画像Ｒｉの（ｍ番目の）小領域内のｊ番目の画素の輝度レベルを表す。そして、次のステップＳ３５においてＣＰＵ２２は、ｊが小領域内の最後の画素番号ｊｅｎｄか否かの判定を行う。これに該当しない場合には、ステップＳ３６においてＣＰＵ２２はｊを１つ増大させた後、ステップＳ３４に戻り、同様の処理を繰り返す。

このようにして、ｍ番目の小領域内の最後の画素番号ｊｅｎｄまで色度ｇｊ／ｒｊを算出した後、ステップＳ３７に進む。

このステップＳ３７において、ＣＰＵ２２は、そのｍ番目の小領域の色度平均値μｇｒｍを算出する。そして、次のステップＳ３８において、ＣＰＵ２２は、小領域の番号ｍが、最後の番号ｍｅｎｄか否かの判定を行う。これに該当しない場合には、ステップＳ３９において、ＣＰＵ２２は、ｍを１つ増大させた後、ステップＳ３４に戻り、ステップＳ３４〜Ｓ３９の処理を繰り返す。

このようにして、ｍが最後の番号ｍｅｎｄに一致した場合には、ステップＳ４０に進み、このステップＳ４０において、ＣＰＵ２２は、全ての小領域の色度平均値μｇｒ及び標準偏差σｇｒの算出を行う。

そして、次のステップＳ４１においてＣＰＵ２２は、ステップＳ３７において算出されたｍ番目の小領域の色度平均値μｇｒｍが、全ての小領域の場合の色度平均値μｇｒ、及び標準偏差σｇｒを用いて、発赤及び褪色調の色調変化の小領域か否かの判定を行う。

具体的には、ステップＳ４１に示すようにＣＰＵ２２は、小領域の色度平均値μｇｒｍが、正規分布すると見なし、その色度平均値μｇｒｍが全ての小領域の色度平均値μｇｒの分布位置から±（1.5×σｇｒ）の範囲内にあるか否かの判定を行う。
ステップＳ４１の判定条件を満たす場合には、ステップＳ４２に示すようにＣＰＵ２２は、その小領域は発赤及び褪色調の色調変化の小領域でないと検出（判定）する。

一方、ステップＳ４１の条件から逸脱する場合には、ステップＳ４３に示すようにＣＰＵ２２は、発赤又は褪色調の色調変化の小領域として検出する。

より具体的には、色度平均値μｇｒｍが色度平均値μｇｒの分布位置から−1.5×σｇｒより外側に外れた場合に対しては発赤、また色度平均値μｇｒｍが色度平均値μｇｒの分布位置から＋1.5×σｇｒより外側に外れた場合に対しては褪色調の色調変化の小領域として検出（判定）する。

検出（判定）の結果は、小領域の番号ｍ或いは小領域の２次元位置の情報とともに情報記憶部２５（図１参照）等に記憶される。そして、以下に説明する図５のステップＳ９の判定において、その検出結果の情報が利用される。

なお、図８におけるステップＳ４１からＳ４３までの処理は、小領域の番号ｍを変えて、１からｍｅｎｄまで行う。このようにして処理対象の全ての小領域に対してステップＳ４２若しくはＳ４３の処理を行った後、図５のステップＳ７又はステップＳ８の処理に進む。

なお、上述の説明では、色度ｇｊ／ｒｊを用いた例で説明したが、色度としてｂｊ／ｇｊを加えてもよい。この場合には、黄色調粘膜の検出に対応することができる。

また、図８の処理において、色度平均値μｇｒｍとμｇｒの比μrate＝μｇｒｍ／μｇｒに基づき，例えばμrate＜0.5なら発赤調，μrate＞1.5なら褪色調として検出するようにしてもよい。

続いて、図５のステップＳ７においてＣＰＵ２２は、ステップＳ４で算出された３次元形状情報に基づき、隆起性変化領域の検出の処理を行う。例えば、上述したShape IndexＳＩの値が０．８以上の小領域の部分を検出する。

さらに、ステップＳ８において、ＣＰＵ２２は、ステップＳ４による３次元形状情報及びステップＳ６による色調変化領域検出の情報の対応付けを行うことにより、ステップＳ６で検出された色調変化領域に含まれる各画素或いはその小領域が３次元形状上のどの位置に相当するかを特定する。

次のステップＳ９においてＣＰＵ２２は、ステップＳ７及びＳ８による各結果に基づく判定処理を行う。具体的にはＣＰＵ２２は、ステップＳ７において検出した３次元形状上の隆起性変化領域が、ステップＳ８において特定された色調変化領域に該当するか否かを判定する。

そして、ステップＳ９における判定結果がＮＯ，すなわち色調変化を伴わない隆起性変化であれば、ステップＳ１０においてＣＰＵ２２は、検出基準１によるポリープ検出処理を適用する。

一方、ステップＳ９における判定結果がＹＥＳ、すなわち色調変化を伴う隆起性変化であれば、ステップＳ１１においてＣＰＵ２２は、検出基準２によるポリープ検出処理を適用する。

このように本実施例では、ステップＳ１０及びＳ１１に示すようにステップＳ９による判定結果に応じて、ポリープ検出を行う検出基準或いは評価基準を変更して行う。この場合、色調変化が検出された場合には、その領域及びその領域周辺部はポリープの可能性が高いので、隆起性変化の特徴を有する部分を、色調変化が検出されない場合よりも検出条件を緩和して検出することにより、精度良くポリープ或いはポリープ候補を検出する。

また、ポリープ検出処理は種々のものが適用可能であるが、本実施例においては上述したShape IndexＳＩによる検出基準を採用する。
隆起性病変としてのポリープを示す凸型（或いはカップ）形状を検出するためのShape IndexＳＩの閾値として検出基準１を（ＳＩ＝）０．９に、検出基準２は（ＳＩ＝）０．８に設定する（なお、上述のように１に近いほど凸型形状となる）。そして、ステップＳ１０或いはＳ１１においてＣＰＵ２２は、検出基準の０．９或いは０．８のShape IndexＳＩと比較し、その値よりも大きい場合に小領域がポリープと検出（判定）する。

この場合、例えばCurvednessＣＶは、検出基準１及び２のいずれにおいても（ＣＶ＝）０．２を閾値として、この値より大きい場合にポリープとして検出（判定）する。

なお、上記説明では色調変化を伴う場合と、伴わない場合とで検出基準として、Shape IndexＳＩの値を変更しているが、以下のようにCurvednessＣＶの値を変えて検出基準を変更するようにしても良い。
つまり、検出基準１としてShape IndexＳＩの閾値を０．９及びCurvednessＣＶの閾値を０．２０とし、検出基準２としてShape IndexＳＩの閾値を０．９及びCurvednessＣＶの閾値を０．１５にするようにしても良い。

また、検出基準１に対して検出基準２の場合には、Shape IndexＳＩの閾値とCurvednessＣＶの閾値を下げるように変更しても良い。

例えば、検出基準１としてShape IndexＳＩの閾値を０．９及びCurvednessＣＶの閾値を０．２０とし、検出基準２としてShape IndexＳＩの閾値を０．８５及びCurvednessＣＶの閾値を０．１５にするようにしても良い。

このようにしてステップＳ１０或いはステップＳ１１においてＣＰＵ２２は、検出基準１或いは２を閾値に設定して、隆起性変化領域におけるShape IndexＳＩの値によりポリープ検出の処理を行う。

そして、その検出結果を、例えば図１のハードディスク２７に検出対象の内視鏡画像Ｉｉと関連付けて格納すると共に、表示処理部２８を経て表示モニタ４に、例えば検出対象の内視鏡画像Ｉｉと並べて表示する。

そして、図５のステップＳ１２においてＣＰＵ２２はｉを１つ大きくして次の内視鏡画像Ｉｉに対して同様の処理を行う。

このような画像処理を行う本実施例によれば、ポリープの場合に付随的に発生する色調変化の特徴量に対応した色調変化情報を参照することで検出基準の値若しくは条件値を変更（制御）することが可能となり、検出対象がポリープか否かの検出精度（若しくは検出の信頼性）を向上することができる。つまり、一方のみの検出でポリープ検出を行う場合の画像処理の場合に比較して、両方の検出を組み合わせることによって、より精度の高いポリープ検出を可能とする。

なお、上述の説明では、曲面形状を表す特徴量であるShape IndexＳＩ及びCurvednessＣＶの閾値を用いてステップＳ１０或いはステップＳ１１でポリープ検出処理を行う場合を説明したが、隆起性変化領域における基準面からの高さの情報に基づいて検出を行うようにしても良い。

この場合には、検出基準１の場合の高さの閾値を、Ｈ１とした場合には、検出基準とすてＨ１より小さい閾値Ｈ２に変更すれば良い。以上により、色調変化を伴う場合は、ポリープ検出における検出条件を緩和するように変更（制御）することにより，高精度のポリープ検出が可能となる。

なお，本実施例においては病変検出の手段或いは方法として隆起性病変としてのポリープの場合で説明したが、本実施例はこれに限定されるものでなく、陥凹性病変に対しても適用可能であることは明らかである。

この場合には、例えば図５において、ステップＳ７において、隆起性変化領域検出の処理の代わりに陥凹性変化領域を検出するように変更し、またステップＳ９も同様に変更すれば良い。
また、ステップＳ１０及びステップＳ１１における検出基準も、陥凹性病変の特徴量に近い値に変更する。このようにすれば、陥凹性病変に対しても適用可能である。

（実施例２）
次に、図９〜図１３を参照して本発明の実施例２を説明する。
本実施例においても，明暗変化に基づき算出される３次元情報（形状情報）から隆起性変化領域の検出を適用し，隆起性病変としてのポリープ検出を行う。

ポリープは、周辺粘膜において異常所見をともなう場合がある。逆にいうと，粘膜に異常所見が見られる場合にはポリープが発生している可能性も高まっている。粘膜の異常所見としては，例えば図９Ａに示す白斑や、図９Ｂに示す異常血管の増成があげられる。

本実施例では、この異常所見に着目し、粘膜表面に異常所見を呈する場合には、形状情報によるポリープ検出の検出基準（パラメータや閾値等）を変更することにより、ポリープ検出の精度の向上を図ることを可能とする。

具体的には，周辺粘膜に異常所見を伴う隆起性変化領域に対しては、異常所見を伴わない場合よりも、検出条件を緩和した検出基準を適用する。

本実施例における画像処理装置３の構成は図１と同様であり、処理内容が異なる。本実施例では画像処理装置３におけるＣＰＵ２２は、図１０に示す処理機能を有する。つまり、実施例１における図４で示した色調変化領域検出機能２２ｂの代わりに、異常所見領域の検出機能２２ｆを有する。なお、この異常所見領域は、以下に説明するように粘膜性状所見判定の処理で検出（判定）される。

次に図１１を参照して、本実施例における画像処理によりポリープ検出の動作を説明する。図１１に示すフローチャートの処理におけるステップＳ１からステップＳ５までは、図５のフローチャートの処理におけるステップＳ１からステップＳ５と同様であるため、その説明を省略する。

ステップＳ５においてＣＰＵ２２は、内視鏡画像ＩｉにおけるＲ画像Ｒｉと、内視鏡画像ＩｉにおけるＧ画像Ｇｉを抽出し、次のステップＳ５１においてＣＰＵ２２は、（異常所見領域を検出する）粘膜性状所見判定の処理を行う。

この粘膜性状所見判定の処理において、ＣＰＵ２２は、内視鏡画像Ｉｉにおいて特徴的な粘膜性状所見を呈する領域が異常所見を呈する領域か否かの判定を行う。本実施例ではＲ画像Ｒｉ及びＧ画像Ｇｉを使用するものとして、上記のようにステップＳ５１において、後述する一連の処理の適用により、白斑、異常血管増成等の異常所見領域の検出を行う。

続いて、図５のステップＳ７と同様に、ステップＳ４で算出された３次元形状の情報に基づく隆起製変化領域の検出を行う。

続いて、ステップＳ５２においてＣＰＵ２２は、ステップＳ５１及びＳ７による各検出結果に基づく判定処理を行う。このステップＳ５２の判定処理により、異常所見がなければステップＳ１０へ，異常所見があればステップＳ１１に進む。

実施例１の場合と同様に、ステップＳ１０においてＣＰＵ２２は、検出基準１によるポリープ検出処理を適用する。また、ステップＳ１１においてＣＰＵ２２は、検出基準２によるポリープ検出処理を適用する。そして、ステップＳ１０及びＳ１１の処理の後、ステップＳ１２を経てステップＳ２に戻る。

ポリープ検出処理は、種々のものが適用可能であり、例えば実施例１の場合と同様にShape IndexＳＩによる検出やCurvednessＣＶの閾値を用いる等して行う。

本実施例における図１１におけるステップＳ５１の粘膜性状所見判定の処理を図１２及び図１３のフローチャートを参照して説明する。

粘膜性状所見判定の処理として、本実施例では図１２に示す白斑の異常所見の検出処理と、図１３に示す異常血管増成の異常所見の検出処理とを行う。まず、図１２の白斑の異常所見の検出処理を説明する。

最初のステップＳ６１においてＣＰＵ２２は、暗部・ハレーション及び残渣等の不適画素除外の処理を行う。次のステップＳ６２においてＣＰＵ２２は、各画素の色度ｇｊ／ｒｊの算出を行う。ここで、添え字ｊは、画素番号を表す。

次のステップＳ６３において、ＣＰＵ２２は、閾値処理による２値化処理を行う。この場合、例えば（色度の）閾値Ｖｔｈを０．８に設定し、この閾値Ｖｔｈを用いてｇｊ／ｒｊ＞０．８ならば１、それ以外、つまりｇｊ／ｒｊ≦０．８ならば０とする２値化を行い、２値化された２値化画像を生成する。

続くステップＳ６４において、ＣＰＵ２２は、２値化画像に対して２値化の値が１の画素を追跡して、領域のラベル付けを行うラベリング処理を行い、２値化画像からラベリング画像を生成する。

次のステップＳ６５において、ＣＰＵ２２は、ラベリング処理で生成されたラベリング画像に対して、白斑の小塊検出処理を行う。つまり、ラベリング画像中に白斑による小塊に対応するものが発生しているか否かの白斑の小塊検出を行う。

白斑の小塊検出を行う場合、例えば伸長度（＝面積／細線化長）を用いる。そしてラベリング画像に対して伸長度の値Ｅを検出し、その値Ｅが（判定基準の）閾値Ｖｔｈ（例えばＶｔｈ＝１０）より小さいか否かを比較する。そして、Ｅ＜Ｖｔｈ（＝１０）となる小塊数Ｎを算出する。

なお、伸長度でなく、円形度やモーメント特徴量等を検出基準として小塊数Ｎを算出するようにしても良い。
次のステップＳ６６において、ＣＰＵ２２は、ステップＳ６５で検出された小塊数Ｎが白斑検出の検出基準の閾値Ｎｔｈ（例えばＨｔｈ＝２０）より大きいか否かの判定を行う。そして、この条件Ｎ＞Ｎｔｈを満たす場合には、ステップＳ６７に示すようにＣＰＵ２２は、このラベリング画像（Ｇ画像Ｇｉ及びＲ画像Ｒｉ）で、白斑検出と判定し、逆にこの条件を満たさない場合には、ステップＳ６８において白斑検出無しと判定する。

ステップＳ６７、Ｓ６８の検出結果は、ステップＳ５２の判定に利用される。つまり、白斑検出の有無により異常所見の有無として利用される。

また、ステップＳ５１の粘膜性状所見判定の処理として、次に説明する図１３の異常血管増成による異常所見の検出処理を行う。異常血管増成を検出するために、内視鏡画像Ｉｉから局所的な太い血管と細かい複雑な分岐を検出する処理を行う。

最初のステップＳ７１からステップＳ７４までは、図１２とほぼ同様の処理を行う。つまり、ステップＳ７１においてＣＰＵ２２は、暗部・ハレーション及び残渣等の不適画素の除外の処理を行い、次のステップＳ７２において、各画素の色度ｇｊ／ｒｊの算出を行う。また、次のステップＳ７３においてＣＰＵ２２は、閾値処理による２値化処理を行う。この場合には、図１２の場合とは異なる閾値Ｖｔｈを用いて２値化を行う。

ＣＰＵ２２は、例えば、閾値Ｖｔｈを０．２に設定し、この閾値Ｖｔｈを用いてｇｊ／ｒｊ＜０．２ならば１、それ以外、つまりｇｊ／ｒｊ≧０．２ならば０とする２値化を行い、２値化された２値化画像を生成する。

そして、次のステップＳ７４でラベリングの処理を行い、この場合には、ラベリング画像として細線画像を作成する。

そして次のステップＳ７５において、ＣＰＵ２２は、異常血管増成に対応した特徴量検出の処理を行う。この特徴量検出の処理としては、細線画像に対して、分岐・交差点数を検出する。そして、次のステップＳ７６においてＣＰＵ２２は、分岐・交差点数の閾値若しくは判別関数を用いて異常血管増成の検出の有無を行う。

なお、特徴量検出の処理として、分岐・交差点数を用いて行う代わりに、伸長度等を用い、閾値を超える伸長度の数を検出し、その数が異常血管増成検出の閾値を超えるか否かにより異常血管増成の検出（判別）を行うようにしても良い。

図１３の処理による検出結果は、ステップＳ５２の判定に利用される。ステップＳ５２においてＣＰＵ２２は、ステップＳ７により検出された隆起性変化領域が、その粘膜性状所見として図１２による白斑の検出を伴うものか若しくは図１３による異常血管増成の検出を伴うものに該当するか否かの判定を行う。

そして、このステップＳ５２による判定処理の結果以後は、図５に示した実施例１の場合の処理と同様に行う。

つまり、ステップＳ５２の判定処理により、異常所見を伴うものでない場合には、ステップＳ１０においてＣＰＵ２２は、検出基準１を適用してポリープ検出を行い、異常所見を伴う場合には、ステップＳ１１においてＣＰＵ２２は、検出基準２を適用してポリープ検出を行う。そして、ステップＳ１０、Ｓ１１の処理の後、画像のパラメータｉを１つ大きくして、次の内視鏡画像Ｉｉに対して同様の処理を行う。

検出基準１及び検出基準２は、上述したようにShape IndexＳＩによる検出やCurvednessＣＶの閾値を用いる等して行う。

なお、上述の説明において、Ｇ画像Ｇｉに対して、白斑或いは異常血管増成を検出するための検出フィルタを適用してそれらを検出するようにしてもよい。

また、白斑或いは異常血管増成等の異常所見領域が複数フレームにわたって検出された場合には、他のフレームに対しても検出基準２を適用してポリープ検出を行うように検出基準を変更（制御）することも可能である。

このように本実施例によれば、粘膜性状所見の判定処理により、異常所見が検出された場合と検出されない場合とに応じて、隆起性変化領域に対する検出基準を変更して隆起性病変検出としてのポリープの検出を行うことにより、精度の高いポリープの検出を行うことができる。

なお、図１１における画像処理の順序を変更しても良い。例えばステップＳ５１の前にステップＳ７の処理を行うようにしても良い。また、計算量を低減するために、ステップＳ７による３次元の隆起性を有しない非隆起性変化部の検出領域に対応する領域に対してステップＳ５１による粘膜性状所見の判定処理を行うようにしても良い。つまり、本実施例における異常所見の領域は隆起性病変としてのポリープの周辺部において付随的に発生するため、隆起性病変変化領域の周辺の平坦部，周辺粘膜に対してこれらの異常所見を検出）するようにしてもよい。

また、検出基準１、２としては、上述したようにShape IndexＳＩによる検出やCurvednessＣＶの閾値を用いる場合に限定されるものでなく、実施例１において説明したように基準面からの高さの値等に基づいて隆起性病変を検出するようにしても良い。この場合にも、粘膜表面において白斑や異常血管増成をともなう場合はポリープ検出における感度をより高めるよう制御することとなり、高精度のポリープ検出が可能となる。

なお、本実施例における病変検出手段及び方法は、隆起性病変の場合に限らず、実施例１において説明したように陥凹性病変に対しても同様に適用可能である。

なお、上述した実施例１及び実施例２において、画像処理により病変を検出する場合、色調変化或いは異常所見の領域（つまり付随領域）を検出した場合の検出結果に応じて、輝度情報に基づいて隆起性病変領域等の病変候補を検出する際の検出基準を変更する場合で説明したが、両方の検出結果から総合的に病変を検出するようにしても良い。

また、これらの実施例における他の検出方法或いは検出手段として、両方が相関性を持つ領域が存在するか否かにより、病変候補が病変であるか否かを検出するようにしても良い。例えば、病変である可能性が十分に高いと考えられる領域のみを検出したような要望に対応するためには、両方で病変候補として検出されるような相関性がある場合に病変候補として検出すると、病変部分の検出の精度を高くすることができる。

なお、実施例１及び実施例２においては、病変検出手法として３次元形状推定に基づく手法について説明したが、本発明はこれに限定されるものでない。例えば、２次元のＲ画像に対する帯域通過フィルタリングによりエッジを抽出の上、閾値処理による２値化を行い、公知のハフ変換により、ポリープ様病変が呈する円弧形状を示すエッジを検出する手法を適用することが考えられる。

このような場合においても、病変候補として検出するエッジの長さ、面積、或いは円弧の曲率等を検出基準とし、病変部若しくは周辺部の異常所見に基づき検出基準を変更することも可能である。

また、上述した実施例においては、病変検出手法としてShape IndexＳＩ及びCurvednessＣＶに対する閾値処理に基づく手法について説明したが、本発明はこれに限定されるものでない。例えば、閾値処理でなく、凸型、ＣＵＰ型等の各形状所見を有する画像群を教師データとして用意し、算出した各特徴量を用いた識別器による検出手法にも利用することが可能である。例えば、公知の線形判別関数を用いた識別器を使用する場合、異常所見が存在する場合においては、各形状における線形判別関数の適用により得られる値に対する重み付けを制御することにより、凸型形状等を検出し易くする等の制御が可能となる。

なお、上述した実施例等を部分的に組み合わせたり、画像処理する順序を変更したりする変形例等も本発明に属する。

以上説明したように本発明によれば、内視鏡画像等の色情報を有する医療用画像における輝度情報からポリープ等の病変候補領域を検出すると共に、病変に伴い付随した性状で発生する発赤・褪色調部分等の色調変化等を伴う付随領域を検出し、付随領域の検出結果に応じて病変候補領域から病変を検出する検出基準を変更することにより、精度の高い病変検出を行うことができるという産業上の利用可能性を有する。

また、本発明は、以下に記載する付記に述べる特徴を有するものである。
（付記１）
複数の色信号からなる医療用画像における少なくとも１つの色信号に基づき病変候補領域を検出する病変候補領域検出手段と、前記医療用画像から病変に伴い付随した性状で発生する付随領域を検出する付随領域検出手段と、前記付随領域の検出結果に応じて前記病変候補領域から病変を検出する際の検出基準を変更する検出基準変更手段とを具備したことを特徴とする医療用画像処理装置。

（付記２）
前記病変候補領域検出手段は、前記医療用画像から前記少なくとも１つの色信号に基づき、３次元形状の情報を生成する３次元形状の情報生成手段を有し、生成された３次元形状の情報を利用して病変候補領域を検出することを特徴とする付記１に記載の医療用画像処理装置。

（付記３）
前記付随領域検出手段は、前記付随領域として、発赤若しくは褪色等の色調変化の性状を呈する色調変化領域を検出することを特徴とする付記１に記載の医療用画像処理装置。

（付記４）
前記付随領域検出手段は、前記付随領域として、白斑若しくは異常血管の異常所見の性状を呈する異常所見領域を検出することを特徴とする付記１に記載の医療用画像処理装置。

（付記５）
前記検出基準変更手段は、前記検出基準として、生成された前記３次元形状の情報における曲面形状を表す特徴量のShape Index及びCurvednessの少なくとも一方の閾値を変更することを特徴とする付記３に記載の医療用画像処理装置。

（付記６）
複数の色信号からなる医療用画像における少なくとも１つの色信号から病変候補領域を検出する病変候補領域検出手段と、前記医療用画像から病変に伴い付随した性状で発生する付随領域を検出する付随領域検出手段と、前記病変候補領域検出手段により検出された病変候補領域と、前記付随領域検出手段により検出された付随領域とが相関する領域の有無により病変検出を行うことを特徴とする医療用画像処理装置。

（付記７）
複数の色信号からなる医療用画像における少なくとも１つの色信号に基づき病変候補領域を検出する病変候補領域検出ステップと、前記医療用画像から病変に伴い付随した性状で発生する付随領域の有無を検出する付随領域検出ステップと、前記付随領域の有無の検出結果に応じて前記病変候補領域から病変を検出する際の検出基準を変更する検出基準変更ステップとを具備したことを特徴とする医療用画像処理方法。

（付記８）
前記病変候補領域検出ステップは、前記医療用画像から前記少なくとも１つの色信号に基づき、３次元形状の情報を生成する３次元形状の情報生成ステップを有し、生成された３次元形状の情報を利用して病変候補領域を検出することを特徴とする付記７に記載の医療用画像処理方法。

（付記９）
前記付随領域検出ステップは、前記付随領域として、発赤若しくは褪色の色調変化の性状を呈する色調変化領域を検出することを特徴とする付記７に記載の医療用画像処理方法。

（付記１０）
前記付随領域検出ステップは、前記付随領域として、白斑若しくは異常血管の性状を呈する異常所見領域を検出することを特徴とする付記７に記載の医療用画像処理方法。

（付記１１）
前記検出基準変更ステップは、前記検出基準として、生成された前記３次元形状の情報における曲面形状を表す特徴量のShape Index及びCurvednessの少なくとも一方の閾値を変更することを特徴とする付記８に記載の医療用画像処理方法。

（付記１２）
前記検出基準として、生成された前記３次元形状の情報における曲面形状を表す特徴量のShape Index及びCurvednessの少なくとも一方若しくは基準面からの高さの閾値を変更することを特徴とする付記３に記載の医療用画像処理装置。

Claims (2)

1. 複数の色信号からなる医療用画像における少なくとも１つの色信号に基づき病変候補領域を検出する病変候補領域検出手段と、
   前記医療用画像から病変に伴い付随した性状で発生する付随領域を検出する付随領域検出手段と、
   前記付随領域の検出結果に応じて前記病変候補領域から病変を検出する際の検出基準を変更する検出基準変更手段と、
   を具備し、
   前記付随領域検出手段は、前記付随領域として、白斑若しくは異常血管の異常所見の性状を呈する異常所見領域を検出することを特徴とする医療用画像処理装置。
2. 複数の色信号からなる医療用画像における少なくとも１つの色信号に基づき病変候補領域を検出する病変候補領域検出ステップと、
   前記医療用画像から病変に伴い付随した性状で発生する付随領域の有無を検出する付随領域検出ステップと、
   前記付随領域の有無の検出結果に応じて前記病変候補領域から病変を検出する際の検出基準を変更する検出基準変更ステップと、
   を具備し、
   前記付随領域検出ステップは、前記付随領域として、白斑若しくは異常血管の性状を呈する異常所見領域を検出することを特徴とする医療用画像処理方法。

Images