JP2005192880A - 画像処理方法 - Google Patents

Abstract

【課題】 内視鏡画像から病変候補領域の存在する画像を検出することができる画像処理方法が求められている。
【解決手段】 体腔内を撮像し色調情報を有する画像データが入力される入力ステップと、画像データが有する色調情報に基づいて所定の特徴に関する特徴量を算出する算出ステップと、予め設定した所定の色調情報に基づいて予め設定された基準特徴量と、算出ステップにおいて算出した特徴量とを比較する比較ステップと、比較ステップにおける比較結果に応じて、基準特徴量に相当する前記画像データの色調情報に基づいた特徴量があるか否かを判断する画像処理方法。
【選択図】 図１

Description

本発明は、内視鏡装置により撮像した体腔内の内視鏡画像から色調、形状輪郭、粘膜表面の構造変化、及び血管走行形態変化などの病変候補領域の存在画像を検出する画像処理方法に関する。

医療分野においては、Ｘ線、ＣＴ、ＭＲＩ、超音波観測装置、内視鏡装置等の画像撮像機能を有する医療機器を用いた体腔内臓器の観察及び診断が広く行われている。このような画像撮像機能を有する医療機器において、例えば、内視鏡装置は、細長の挿入部を体腔内に挿入し、その挿入部の先端部に設けられた対物光学系により取り込んだ体腔内臓器像を固体撮像素子等の撮像手段により撮像し、その撮像信号を基にモニタ画面に体腔内臓器の内視鏡画像を表示させ、そのモニタ画面に表示された内視鏡画像から術者が観察及び診断を行っている。

この内視鏡装置は、消化管粘膜像を直接的に撮像することが可能であることから、粘膜の色調、病変形状、粘膜表面の微細な構造等の様々な所見を総合的に観察することが可能となっている。

近年、この内視鏡装置と同様に有用性が期待できる新しい画像撮像機能を有する医療機器として、カプセル型内視鏡装置が開発されている。一般に、カプセル型内視鏡装置は、被検者が口から飲み込み体内の消化管内を進行させる過程中に消化管内を撮像し、その撮像された撮像信号を体外に送信するカプセル型内視鏡と、送信された撮像信号を体外において受信し、その受信した撮像信号を記録蓄積する受信器と、この受信器に記録蓄積された撮像信号を基にモニタに撮像画像を表示させる観察装置とから構成されている。このような構成のカプセル型内視鏡装置は、本件出願人が出願している特許願２００３−１２２８０４号に示されている。

前記カプセル型内視鏡装置は、被検者がカプセル型内視鏡を経口的に飲み込んでから体外に排出されるまでの間、体腔内を撮像し、その撮像した撮像信号を体外に設けられた受信器に送信される。このカプセル型内視鏡を被検者が飲み込んでから体腔内の食道、胃、十二指腸、小腸、及び大腸の各消化管を通過して体外に排出されるまで数時間を要する。例えば、カプセル型内視鏡は、毎秒２枚（フレーム）の画像を撮像して体外の受信器に送信するとし、このカプセル型内視鏡を飲み込んでから体外に排出するまで６時間かかったとすると、カプセル型内視鏡が体腔内を進行する間に撮像される画像数は、４３２００枚と膨大な量となる。この膨大な数の画像を観察装置に表示して、観察及び診断する場合、例えば、毎秒１０枚の画像を表示したとしても全画像数を表示するには７２分間と比較的長時間要する。この長時間にわたり表示される撮像画像を術者が観察することになるが、術者にとって時間的負荷が多大であるという問題があった。

また、単位時間あたりに表示する画像数を増加させると観察時間は短縮されるが、病変部の見落とし防止と、正確な観察診断の実現という点から単位時間当たりの表示画像数には限界があり、術者による観察時間の短縮は困難となる問題があった。

このような問題に対して、あらかじめ病変が疑われるシーンを特定し、記録もしくは表示する画像数を変化させるカプセル型内視鏡装置が特許文献１に開示されている。この特許文献１に開示されているカプセル型内視鏡装置は、各撮像画像における色情報から、主として血液の存在を検出し、その血流の存在する画像を病変が存在する候補画像とするものである。
ＰＣＴ ＷＯ ０２／０７３５０７号公報。

前記特許文献１に開示されている、病変が存在する候補画像の決定方法には、次のような課題がある。第１の課題は、特許文献１においては、あらかじめ正常粘膜及び血液の各色調の代表色を定め、対象となる画像の各ブロックの粘膜及び血液の色調と比較する方法である。この方法は、臓器毎の正常粘膜の色調の違い、あるいは粘膜色の個人差による違い等が考慮されておらず、色調変化に基づく病変候補領域の検出は不十分となる。

第２の課題は、明確な色調変化をともなわない、例えば、同じ色調の腫瘍性病変等についてはまったく検出することができない。消化管の病変部の内視鏡画像による所見は、色調変化のみに基づくものではなく、隆起・陥凹等の形状、胃・大腸の小区模様等の粘膜表面の微細な構造変化、及び透見血管像における血管の走行形態の変化等、非常に多岐にわたるものである。

本発明は、このような事情に鑑みてなされたもので、色調、形状の輪郭、粘膜表面の微細な構造変化、及び血管の走行形態の変化等の多岐に渡る内視鏡画像の所見に基づき、病変候補領域の存在する画像を検出することができる画像処理方法を提供することを目的としている。

本発明の画像処理方法は、体腔内を撮像した複数の色信号からなる画像を入力するステップと、前記入力された画像における色調に基づく特徴量を算出するステップと、前記算出された特徴量に基づき前記画像における異常所見領域を決定するステップとからなることを特徴とする。

本発明の画像処理方法は、体腔内を撮像した複数の色信号からなる画像を入力するステップと、前記入力された画像における色調に基づく特徴量を算出するステップと、前記算出された特徴量に基づき前記画像に異常所見領域が存在するか否かを決定するステップとからなることを特徴とする。

本発明の画像処理方法は、体腔内を撮像した複数の色信号からなる画像を入力するステップと、前記画像を複数の領域に分割するステップと、前記分割された領域ごとに色調に基づく特徴量を算出するステップと、前記算出された特徴量に基づき前記複数の領域から異常所見領域を決定するステップとからなることを特徴とする。

本発明の画像処理方法は、正常所見領域を決定するステップをさらに含むとともに、前記異常所見領域を前記決定された正常領域からの距離に基づき決定することを特徴とする。

本発明の画像処理方法の前記特徴量は、複数の色信号の比に基づくものであることを特徴とする。

本発明の画像処理方法の前記画像は、ＲＧＢ画像であることを特徴とする。

本発明の画像処理方法は、前記異常所見領域の決定は前記特徴量の値の分布と異常所見とみなす為の所定の分布との比較結果に基づき決定することを特徴とする。

本発明の画像処理方法は、前記異常所見領域の決定は前記特徴量の値を用いたクラスタリングに基づき決定することを特徴とする。

本発明の画像処理方法は、体腔内を撮像した画像を入力するステップと、前記入力された画像における輪郭を抽出するステップと、前記抽出された輪郭に基づき前記画像において異常所見が存在するか否かを決定するステップとからなることを特徴とする。

本発明の画像処理方法は、前記輪郭の抽出は前記入力された画像に対し輪郭抽出フィルタリングを適用することを特徴とする。

本発明の画像処理方法は、前記異常所見の検出は輪郭の形状の特定結果に基づくものであることを特徴とする。

本発明の画像処理方法は、 前記異常所見の検出は前記輪郭の形状の不整に基づくものであることを特徴とする。

本発明の画像処理方法は、前記異常所見は前記入力された画像における局所的な隆起及び／またはは陥凹であることを特徴とする。

本発明の画像処理方法は、前記抽出された輪郭が正常所見によるものであることを判定するステップをさらに含むことを特徴とする。

本発明の画像処理方法は、体腔内を撮像した画像を入力するステップと、前記入力された画像における粘膜表面の微細構造に基づく特徴量を算出するステップと、前記算出された特徴量に基づき前記微細構造が正常または異常のいずれであるかを決定するステップとからなることを特徴とする。

本発明の画像処理方法は、前記特徴量を用いて識別器による分類を適用するステップをさらに含み、前記分類の結果に基づき前記微細構造が正常または異常のいずれであるかを決定することを特徴とする。

本発明の画像処理方法は、体腔内を撮像した画像を入力するステップと、前記入力された画像における血管の走行形態に基づく特徴量を算出するステップと、前記算出された特徴量に基づき前記血管が正常または異常のいずれであるかを決定するステップとからなることを特徴とする画像処理方法。

本発明の画像処理方法は、前記特徴量を用いて識別器による分類を適用するステップをさらに含み、前記分類の結果に基づき前記血管の走行形態が正常または異常のいずれであるかを決定することを特徴とする。

本発明の画像処理方法は、前記入力される画像がカプセル型内視鏡による撮像画像であることを特徴とする。

本発明の画像処理方法は、前記入力される画像が内視鏡による撮像画像であることを特徴とする。

本発明の画像処理方法により、長時間掛けて、膨大な枚数の撮像画像から色調、及び輪郭が基準特徴と異なる撮像画像を抽出選別することができ、その抽出選別された色調、及び輪郭の基準特徴と異なる撮像画像を表示させることにより、術者による撮像画像からの所見の観察と診断の効率が向上する。

本発明の画像処理方法は、画像における色調情報に基づき、発赤調・褪色調の色調変化又は出血を呈する異常、或いは、色調変化を伴わない隆起又は陥凹等の病変存在の候補画像が速やかに検出することができ、その病変存在候補画像をモニタ表示することにより、術者による病変の観察と診断時の病変存在候補画像の見落としもなく、観察と診断の時間の短縮と効率が向上する効果を有している。

以下、本発明に係る画像処理方法の実施形態について、図面を用いて説明する。最初に、本発明に係る画像処理方法を用いるカプセル型内視鏡装置について、図１乃至図９を用いて説明する。図１は本発明に係る画像処理方法を用いるカプセル型内視鏡装置の概略構成を示すブロック図、図２は本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡の概略構造を説明する説明図、図３は本発明に用いるカプセル型内視鏡装置の概略内部構成を示すブロック図、図４は本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡から送信される信号構成を説明する説明図、図５は本発明に用いるカプセル型内視鏡の位置検出を説明する説明図、図６は本発明に用いるカプセル型内視鏡装置のアンテナユニットを説明する説明図、図７は本発明に用いるカプセル型内視鏡装置のシールドジャケットを説明する説明図、図８は本発明に用いるカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図、図９は本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡の構成を示すブロック図である。

本発明の画像処理方法を用いるカプセル型内視鏡装置１は、図１（Ａ）に示すように、カプセル型内視鏡３、アンテナユニット４、及び外部装置５からなっている。カプセル型内視鏡３は、詳細は後述するが、被検体である患者２の口から体腔内に飲み込まれて蠕動運動により消化管内を進行する形状に形成され、かつ、内部に消化管内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット４は、詳細は後述するが、患者２の身体表面上に設置され、前記カプセル型内視鏡３から送信される撮像画像情報を受信する複数の受信アンテナ１１を有している。外部装置５は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット４が受信した撮像画像情報の各種処理、撮像画像情報の記録、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置５の外装の表面に前記撮像画像を表示させる液晶モニタ１２と、各種機能の操作指示を行う操作部１３が設けられている。

また、この外部装置５は、駆動電源用の電池の残量に関する警告表示用のＬＥＤ、操作部１３として電源スイッチが設けられている。又、カプセル型内視鏡３の内部には、ＣＰＵ及びメモリを用いた演算実行部を備え、受信及び記録した撮像画像情報に対して後述する本発明に係る画像処理方法を実行させるようにしても良い。

この外部装置５は、患者２の身体に装着されると共に、図１（Ｂ）に示すように、クレードル６に装着されることにより端末装置７に接続されるようになっている。この端末装置７は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体９、各種操作処理入力用のキーボード８ａとマウス８ｂ、及び各種処理結果を表示するディスプレイ８ｃからなっている。この端末装置７の基本的機能としては、前記外部装置５に記録されている撮像画像情報をクレードル６を介して取り込み、端末本体９に内蔵されている書換可能なメモリ、或いは端末本体９に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記録させ、かつ、その記録した撮像画像情報をディスプレイ８ｃに表示する画像処理を行う。なお、前記外部装置５に記憶されている撮像画像情報は、前記クレードル６に代えて、ＵＳＢケーブル等によって端末装置７に取り込まれるようにしても良い。

この端末装置７の画像処理は、前記外部装置５から取り込み記録した撮像画像情報から経過時間に応じて表示させる画像の選択、及び後述する本発明に係る画像処理方法による病変部の存在する可能性を示す異常所見の画像の検索等を行う。

次に、前記カプセル型内視鏡３の外形と内部構造について、図２を用いて説明する。カプセル型内視鏡３は、断面がＵ字状の外装部材１４と、この外装部材１４の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材１４ａとからなるカプセル形に形成されている。

この外装部材１４とカバー部材１４ａからなるカプセル形状の内部中空部には、前記カバー部材１４ａの半球の円弧の中央部分の内部には、カバー部材１４ａを介して入射された観察部位像を取り込む対物レンズ１５がレンズ枠１６に収納されて配置されている。この対物レンズ１５の結像位置には、撮像素子である電荷結合素子（以下、ＣＣＤと称する）１７が配置されている。また、前記対物レンズ１５を収納するレンズ枠１６の周囲には、照明光を発光放射させる４つの白色系のＬＥＤ１８が同一平面上に配置されている（図中には２つのＬＥＤのみを表記している）。前記ＣＣＤ１７の後端側の前記外装部材１４の中空部には、前記ＣＣＤ１７を駆動制御して光電変換された撮像信号の生成と、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理と、及び前記ＬＥＤ１８の点灯・非点灯の動作を制御するＬＥＤ駆動の処理とを行う処理回路１９、この処理回路１９の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路２０、この通信処理回路２０からの無線信号を外部に送信する送信アンテナ２３、前記処理回路１９と通信処理回路２０の駆動用電源を供給する複数のボタン型の電池２１が配置されている。

なお、ＣＣＤ１７、ＬＥＤ１８、処理回路１９、通信処理回路２０、及び送信アンテナ２３は、図示しない基板上に配置され、それらの基板の間は、フレキシブル基板にて接続されている。また、前記処理回路１９には、後述する画像処理を行うための図示していない演算回路を備えている。つまり、前記カプセル型内視鏡３は、図３に示すように、前記ＣＣＤ１７、ＬＥＤ１７、及び処理回路１９からなる撮像装置４３と、前記通信処理回路２０を含む送信器３７と、並びに送信アンテナ２３からなる。

次に、前記カプセル型内視鏡３の撮像装置４３の詳細構成について、図９を用いて説明する。撮像装置４３は、ＬＥＤ１８の点灯及び非点灯の動作を制御するＬＥＤドライバ１８Ａ、ＣＣＤ１７の駆動を制御して光電変換された電荷の転送を行う為のＣＣＤドライバ１７Ａ、前記ＣＣＤ１７から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路１９Ａ、前記ＬＥＤドライバ１８ＡとＣＣＤドライバ１７Ａと処理回路１９Ａと及び送信器３７に電池２１からの駆動電源を供給するスイッチ１９、並びに前記スイッチ１９とＣＣＤドライバ１７Ａにタイミング信号を供給するタイミングジェネレータ１９Ｂからなっている。なお、スイッチ１９は、電池２１から前記ＬＥＤドライバ１８Ａへの電源供給をオン・オフをするスイッチ１９Ｃと、前記ＣＣＤ１７、ＣＣＤドライバ１７Ａ、及び処理回路１９Ａへの電源供給をオン・オフするスイッチ１９Ｄ、並びに、前記送信器３７への電源供給をオン・オフするスイッチ１９Ｅからなっている。前記タイミングジェネレータ１９Ｂには、電池２１から常時駆動電源が供給されるようになっている。

このような構成のカプセル型内視鏡３の撮像装置４３は、スイッチ１９Ｃ〜１９Ｅがオフ状態であると、タイミングジェネレータ１９Ｂ以外は非動作状態である。このタイミングジェネレータ１９Ｂからのタイミング信号により、前記スイッチ１９Ｄがオンされると、ＣＣＤ１７、ＣＣＤドライバ１７Ａ、処理回路１９Ａへ電池２１から電源が供給されて動作状態となる。

前記ＣＣＤ１７の駆動初期時に、ＣＣＤ１７の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ１９Ｂは、スイッチ１９ＣをオンさせてＬＥＤドライバ１８Ａを駆動させてＬＥＤ１８を点灯させＣＣＤ１７を露光する。ＬＥＤ１８は、ＣＣＤ１７の所定の露光時間の間点灯させた後、消費電力低減の為にスイッチ１９ＣをオフさせてＬＥＤ１８を消灯される。

前記ＣＣＤ１７の露光期間に蓄えられた電荷は、ＣＣＤドライバ１７Ａの制御により処理回路１９Ａへ転送される。処理回路１９Ａでは、ＣＣＤ１７から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。この内視鏡画像信号は、送信器３７から送信する信号が、例えば、アナログ無線方式ならＣＤＳ出力信号に対して複合同期信号を重畳させたアナログ撮像画像信号を生成して送信器３７へ出力する。また、デジタル無線方式ならアナログ／デジタルコンバータで撮像画像信号をデジタル信号に変換した後、シリアル信号に変換し、スクランブル等の符号化処理を施してデジタル撮像画像信号を送信器３７へ出力する。

この送信器３７は、前記処理回路１９Ａから供給されたアナログ、又はデジタル撮像画像信号に対して変調処理を施して送信アンテナ２３から外部へ無線送信する。この時、スイッチ１９Ｅは、タイミングジェネレータ１９Ｂにより前記処理回路１９Ａから撮像画像信号が出力された時のみ送信器３７に駆動電力が供給するようにオン・オフ操作される。

なお、スイッチ１９Ｅは、処理回路１９Ａから撮像画像信号が出力されてから所定時間経過後に、送信器３７に駆動電力を供給するように制御しても良い。また、カプセル型内視鏡３に設けられた、図示しないｐＨセンサーにより、所定値のｐＨ値を検出したり、湿度センサーにより、所定値以上の湿度を検出したり、又は圧力センサー、或いは加速度センサーにより所定値以上の圧力、或いは加速度を検出したりすることにより被検体である患者２の体腔内に挿入されたことを検出して、この検出信号に基づいて、送信器３７に電源を供給するようにスイッチ１９Ｅを制御するようにしても良い。

なお、前記カプセル型内視鏡２の撮像装置４３は、通常毎秒２枚の画像（毎秒２フレーム＝２ｆｐｓ）を撮像するものであるが、例えば、食道の検査の場合は、毎秒１５〜３０枚の画像（１５ｆｐｓ〜３０ｆｐｓ）を撮像できるようにする。具体的には、カプセル型内視鏡３に、図示しないタイマー回路を設け、このタイマー回路によるタイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるよう撮像装置４３の駆動を制御させる。或いは、カプセル型内視鏡３の電源の投入と共にタイマー回路を作動させて、患者２が飲み込んだ直後の食道を通過するまでの時間は、高速撮像となるように制御することも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。

次に、前記患者２の身体表面上に設置されるアンテナユニット４について説明する。図１（Ａ）に示すようにカプセル型内視鏡３を飲み込んで内視鏡検査を行う場合、患者２は、複数の受信アンテナ１１からなるアンテナユニット４が設置されたジャケット１０を装着する。このアンテナユニット４は、図６に示すように、たとえば、ＧＰＳに使用されているパッチアンテナのような単方向の指向性を有する複数の受信アンテナ１１を患者２の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡３のカプセル本体３Ｄは、身体内に留置されるわけであるから、その身体内のカプセル本体３Ｄを取り囲むように前記複数のアンテナ１１が配置させる。この指向性の高いアンテナ１１を使用することで、身体内のカプセル本体３Ｄ以外からの電波による干渉妨害の影響を受けにくくしている。

前記ジャケット１０は、図７に示すように、患者２の身体表面に設置する前記アンテナユニット４と、ベルトにより患者２の腰に設置された外部装置５の本体部５Ｄを覆うように電磁シールド繊維で形成されたシールドジャケット７２である。このシールドジャケット７２を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット７２は、ジャケット形状以外に、ベスト、及びワンピース形状でも良い。

又、前記シールドジャケット７２に前記外部装置５を装着する例として、図８に示すように、前記外部装置５の外部本体５Ｄに鍵穴７４を設け、前記シールドジャケット７２に設けた鍵７５を前記鍵穴７４に差し込むことにより、ベルト７３に着脱自在に装着できるようにする。或いは、単にシールドジャケット７２に図示しないポケットを設けて、そのポケットに外部本体５Ｄを収納したり、又は、外部装置５の外部本体５Ｄとシールドジャケット７２にマジックテープを設置して、そのマジックテープにより取付固定しても良い。

つまり、アンテナユニット４が配置された身体にシールドジャケット７２を装着することにより、アンテナユニット４に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けにくくしている。

次に、前記アンテナユニット４と外部装置５の構成について、図３を用いて説明する。前記アンテナユニット４は、前記カプセル型内視鏡３の送信アンテナ２３から送信された無線信号を受信する複数の受信アンテナ１１ａ〜１１ｄ、このアンテナ１１ａ〜１１ｄを切り換えるアンテナ切換スイッチ４５からなる。前記外部装置５は、アンテナ切換スイッチ４５からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路３３、この受信回路３３から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号と、撮像画像データを生成する信号処理回路３５、この信号処理回路３５により生成された撮像画像表示用信号により、撮像画像を表示させる液晶モニタ１２、前記信号処理回路３５により生成された撮像画像データを記憶するメモリ４７、及び前記受信回路３３により受信処理された無線信号の大きさにより前記アンテナ切換スイッチ４５を制御するアンテナ選択回路４６とからなる。

前記アンテナユニット４の図中受信アンテナ１１ａ〜１１ｄとして示した複数の受信アンテナ１１は、前記カプセル型内視鏡３の送信アンテナ２３から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ１１ａ〜１１ｄは、前記外部装置５のアンテナ選択回路４６からのアンテナ選択信号によりアンテナ切替スイッチ４５が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スイッチ４５により順次切り替えられた各受信アンテナ１１ａ〜ｄ毎に受信した無線信号が前記受信器３３に出力される。この受信器３３において、各受信アンテナ１１ａ〜１１ｄ毎の無線信号の受信強度を検出して、各受信アンテナ１１ａ〜１１ｄとカプセル型内視鏡３の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路３５へと出力する。前記アンテナ選択回路４６は、前記受信器３３からの出力によって制御される。

前記アンテナ選択回路４６によるアンテナ切替スイッチ４５の動作について説明する。前記カプセル型内視鏡３から送信される無線信号は、図４に示すように、撮像画像信号の１フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。

前記アンテナ選択回路４６は、前記受信回路３３を介して、各受信アンテナ１１ａ〜１１ｄが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路４６は、前記受信器３３からの供給された各アンテナ１１ａ〜１１ｄの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高いアンテナ１１ｉ（ｉ＝ａ〜ｄ）を決定して、アンテナ切替回路４５をそのアンテナ１１ｉに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分から切り替えるようにする。

このように、カプセル型内視鏡３からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路４６によって受信強度が最大となるアンテナ１１ｉを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡３が患者２の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ１１により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡３の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作１回につき常にアンテナ切替動作を１回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を１回行うようにしてもよい。

なお、カプセル型内視鏡３は、患者２の体内を移動しているので、適宜の時間間隔で外部装置５から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡３が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡３が患者２の体内を移動した場合にも、適切な送信出力に設定でき、電池２１のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。

次に、前記複数の受信アンテナ１１とカプセル型内視鏡３の位置関係を示す情報の取得方法について、図５を用いて説明する。なお、図５において、カプセル型内視鏡３を３次元座標Ｘ、Ｙ、Ｚの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ１１ａ〜１１ｄのうち、説明を簡単化するために、３つの受信アンテナ１１ａ、１１ｂ、１１ｃを用い、受信アンテナ１１ａと受信アンテナ１１ｂとの間の距離をＤａｂ、受信アンテナ１１ｂと受信アンテナ１１ｃとの間の距離をＤｂｃ、受信アンテナ１１ａと受信アンテナ１１ｃとの間の距離Ｄａｃとしている。さらに、この受信アンテナ１１ａ〜１１ｃとカプセル型内視鏡３の間は、所定の距離関係としている。

カプセル型内視鏡３の送信された一定の送信強度の無線信号は、各受信アンテナ１１ｊ（ｊ＝ａ、ｂ、ｃ）で受信した場合の受信強度は、カプセル型内視鏡３（カプセル型内視鏡３の送信アンテナ２３）からの距離Ｌｉ（ｉ＝ａ，ｂ，ｃ）の関数となる。具体的には電波減衰量が伴う距離Ｌｉに依存する。従って、カプセル型内視鏡３から送信された無線信号の受信アンテナ１１ｊにより受信した受信強度からカプセル型内視鏡３と各受信アンテナ１１ｊとの間の距離Ｌｉを算出する。この距離Ｌｉの算出には、前記カプセル型内視鏡３と受信アンテナ１１ｊの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路４６に設定する。又、その算出されたカプセル型内視鏡３と各受信アンテナ１１ｊの位置関係を示す距離データは、前記メモリ４７にカプセル型内視鏡３の位置情報として記憶させる。このメモリ４７に記憶された撮像画像情報及びカプセル型内視鏡３の位置情報を基に、前記端末機７による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。

次に、本発明に係る画像処理方法について、図１０乃至図２２を用いて説明する。図１０は、本発明に係る画像処理方法の一実施形態における病変候補画像の決定処理の処理動作を説明するフローチャート、図１１は本発明に係る病変候補画像の処理における粘膜の色調による異常の検出例を説明する説明図、図１２は本発明に係る病変候補画像の処理における発赤・出血の検出例を説明する説明図、図１３は本発明に係る画像処理方法における輪郭情報による異常検出の処理動作を説明するフローチャート、図１４は本発明に係る画像処理方法の輪郭情報による異常検出における輪郭抽出フィルタを説明する説明図、図１５は本発明に係る輪郭情報の検出例を説明する説明図、図１６は本発明に係る輪郭情報である襞の検出例を説明する説明図、図１７は本発明に係る輪郭情報の病変検出例を説明する説明図、図１８は本発明にかかる画像処理方法における隆起・陥凹のともなう病変部の検出処理動作を説明するフローチャート、図１９は本発明に係る隆起・陥凹の検出時の輪郭抽出例を説明する説明図、図２０は本発明に係る隆起・陥凹の検出時の輪郭抽出の一致と評価方法を説明する説明図、図２１は本発明に係る隆起・陥凹の検出時の輪郭抽出による病変判断を説明する説明図、図22は本発明に係る画像処理方法における粘膜表面の微細構造および血管走行状態の病変存在候補画像の検出処理動作を説明するフローチャートである。

この画像処理方法は、撮像画像における色調情報に基づき発赤調・褪色調の色調変化、あるいは出血を呈する異常の存在を認識し、病変存在の候補画像を検出するものである。更に、この色調情報による病変存在候補画像の検出以外に、輪郭情報による隆起・陥凹、及び粘膜表面の微細構造並びに血管走行形態の病変存在候補画像の検出をするものである。

この検出された病変存在の候補画像は、登録され、例えば撮像画像の表示時に参照することにより病変候補の画像から観察を始めることを可能として診断観察の効率化を実現するものである。なお、これから説明する画像処理方法は、ソフトウェアにより実現されるもので、前記カプセル型内視鏡３、外部装置５、または端末装置７のいずれにおいてもこの画像処理方法を用いることができるが、ここでは、パーソナルコンピュータを用いた端末装置７に適用した例を用いて説明する。

この画像処理方法の説明において、画像の大きさは、ＩＳＸ×ＩＳＹ（１≦ＩＳＸ、ＩＳＹ。例えばＩＳＸ＝６４０、ＩＳＹ＝４８０）の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３プレーンからなり、各プレーンの画素の階調数は、８ｂｉｔ、すなわち０乃至２５５の値をとるものとする。

図１０を用いて、本発明にかかる画像処理方法による病変候補画像決定のための処理動作を説明する。この病変候補画像は、前記カプセル型内視鏡３によるＫ枚の撮像画像Ｉｋ、１≦ｋ≦Ｋに対し、色調変化による異常所見の抽出に基づいて病変候補画像の判定を行う。この病変候補の画像が判定されると、その画像番号ｋを登録し、例えば、撮像画像を表示時に参照して病変候補画像から表示させて観察を始める。

前記カプセル型内視鏡３により撮像されて、外部装置５に送信された撮像画像信号は、前記外部装置５において所定の進行処理が施されて、撮像画像信号データとして記憶される。この外部装置５に記憶された撮像画像信号データは、端末装置７に転送記憶される。この端末装置７は、記憶している撮像画像信号データを基に病変候補画像の抽出処理動作を行う。

最初に、ステップＳ１において、撮像画像信号データの画像番号を示すｉを１に初期化する。次に、ステップＳ２において、撮像画像信号データの画像番号ｉの赤（Ｒｉ）、緑（Ｇｉ）、及び青（Ｂｉ）の画像を読み出す。このステップＳ２において読み出されたＲｉ，Ｇｉ，及びＢｉは、ステップＳ３において、画像Ｉｉを構成するＲＧＢの前記画像Ｒｉ、Ｇｉ及びＢｉに対する前処理を行う。本発明において、前処理としては、逆γ補正、大きさ３×３のマスクサイズでのメディアンフィルタリングを用いたノイズ抑制処理を行うものとする。前記逆γ補正及びメディアンフィルタリングについては公知の技術であるため詳細な説明は省略する、
前記ステップＳ３の前処理が終了すると、ステップＳ４において、画像をＮ×Ｍ個の矩形領域に分割する領域分割を行う。ここで、１≦Ｎ≦ＩＳＸ、１≦Ｍ≦ＩＳＹであり、Ｎ＝ＩＳＸ、かつＭ＝ＩＳＹのときは、各画素をそのままの領域として用いることとなる。例えばＩＳＸ＝６４０、ＩＳＹ＝４８０である場合、各ブロックの大きさを１０×１０となるように設定すると、Ｎ＝６４、Ｍ＝４８となる。

前記ステップＳ４の領域分割が終了すると、ステップＳ５において、前記Ｎ×Ｍ個の各領域に対し、異常所見の認識に不適となる暗部及びハレーションの検出を行う。具体的には、領域内の画素ｒｉｔ、ｇｉｔ、及びｂｉｔ（ｔは画像内の画素を特定する添え字、１≦ｔ≦ＩＳＸ×ＩＳＹ）に対し、ｒｉｔ≦Ｔｄ、ｇｉｔ≦Ｔｄ、及びｂｉｔ≦Ｔｄであれば暗部に属する画素とする。ｒｉｔ≧Ｔｈ、ｇｉｔ≧Ｔｈ、及びｂｉｔ≧Ｔｈであればハレーションに属する画素と判定する。なお、前記Ｔｄ及びＴｈは、それぞれ閾値であり、本発明の実施の形態においては、Ｔｄ＝２０、Ｔｈ＝２００と設定する。領域内の画素数Ｌａに対して、暗部またはハレーションに属すると判定された画素数Ｌｎｇの割合Ｌｎｇ／Ｌａが、Ｌｎｇ／Ｌａ≧Ｔｎｇである場合には、その領域をステップＳ６以降の異常所見検出処理の適用対象から除外する。なお、Ｔｎｇは、閾値であり、本発明の実施の形態においては０．５に設定している。

次に、ステップＳ６において、前記ステップＳ５により暗部又はハレーションを除外された以外の領域の各画素ｐの値に基づき、異常所見の認識のための特徴量であるｒ／（ｒ＋ｇ＋ｂ）、及びｇ／（ｒ＋ｇ＋ｂ）の平均値を算出する。このｒ／（ｒ＋ｇ＋ｂ）、及びｇ／（ｒ＋ｇ＋ｂ）は色度と呼ばれるもので、各々０〜１の値をとる。通常（色素、染色剤等を使用しない場合）の内視鏡画像の色調変化は、光の吸収変動により構成される、詳しくは、血液中のヘモグロビンの吸収帯域（波長）に最も依存し、構造成分は一般にＧ画像に多く含まれることが知られている。具体的には血液量が多いほど吸収が大きく、Ｇ画像の画素の値は低くなり、血液量が少ないほど吸収されず反射されることから画素の値は高くなる。したがって、粘膜色調が赤色調であれば、前者のｒ／（ｒ＋ｇ＋ｈ）の値が相対的に大となり、後者のｇ／（ｒ＋ｇ＋ｂ）の値が小となる。また、褪色等により粘膜色調が白色調であれば、相対的に後者のｇ／（ｒ＋ｇ＋ｂ）の値が上昇する。領域Ｒｅｊ、１≦ｊ≦Ｎ×Ｍにおいて、算出された各平均値をｒｊ及びｇｊとする。なお、ｒｊ及びｇｊの算出については、ステップＳ５において暗部またはハレーションに属する画素と判定された画素は除外する。

次に、ステップ７において、前記ステップＳ６により算出された特徴量ｒｊ及びｇｊの値を用いたクラスタリングを行う。このクラスタリングは、パターン認識分野において広く研究・利用されている手法であり、特徴量の値の類似性（距離）に基づき、データをクラスタと呼ばれるグループに分類するものである。クラスタリングについては「多変量解析の徹底研究、 西田俊夫訳、 現代数学社発行」の文献に詳記されている。本発明の実施の形態においては、Ｋ平均法を用いるクラスタリングを行うものとする。

前記クラスタリングの結果として、各領域Ｒｅｊは、ｒ／（ｒ＋ｇ＋ｂ）及びｇ／（ｒ＋ｇ＋ｂ）が構成する特徴空間において、１個以上のクラスタＣｋ、１≦ｋ≦Ｎ×Ｍのいずれかにグループ化される。このクラスタリング結果の例について、図１１を用いて説明する。図１１に示すように、クラスタとして、Ｃ１、Ｃ２、及びＣ３の３個により形成されている。各クラスタは、正常粘膜の色調を反映するクラスタＣ１、発赤調あるいは出血によりｒｊの値がクラスタＣ１に対して大となるクラスタＣ２、褪色により正常粘膜より白色調となることからｇｊの値がクラスタＣ１に対して大となるクラスタＣ３となる。

次にステップＳ８において、前記ステップＳ７において生成されたクラスタに基づく異常所見の検出を行う。具体的には、図１１に示したように、正常粘膜の色調を反映したクラスタＣ１に対し、異常な色調を反映したクラスタＣ２またはＣ３の存在を検出する。この異常所見の検出には、種々の方法が考えられるが、本発明の実施の形態においては、各クラスタの位置、及びクラスタの平均値間の距離に基づく検出を行う。このクラスタの位置、及びクラスタの平均値間の距離による異常所見検出は、図１２を用いて、発赤調・出血の存在により生成されたクラスタＣ２の検出について説明する。前記ｒ／（ｒ＋ｇ＋ｂ）及びｇ／（ｒ＋ｇ＋ｂ）による平面上に２個のクラスタＣ１及びＣ２が生成され、その中心をそれぞれＯ１及びＯ２、その中心Ｏ１およびＯ２のそれぞれの座標を（ｏｒ１、ｏｇ１）及び（ｏｒ２、ｏｇ２）とする。前記クラスタＣ１は、正常粘膜の色調を有する領域により構成されたクラスタであることは、例えばＣ１及びＣ２を構成する領域数ＲＮ１及びＲＮ２がＲＮ１＞ＲＮ２であることに基づき判定することができる。さらに、座標ｏｒ１≦ｏｒ２である関係から発赤調・出血のクラスタＣ２が正常粘膜のクラスタＣ１における色調に比較して赤みが強い領域のクラスタであることがわかる。また、座標ｏｒ１≧ｏｒ２であれば、逆に褪色をともなう白色調の領域であるものと判定できる。次いで、中心Ｏ１及びＯ２間の距離ｄ１２を算出し、ｄ１２≧Ｔｃである場合は、正常粘膜の色調とは異なるクラスタＣ２領域が存在しているものとみなすことができる。なお、前記ｄ１２は、ユークリッド距離、Ｔｃは、閾値であり、例えば、Ｔｃ＝０．２に設定している。このＴｃは、異常所見検出の感度を制御するためのパラメタに相当し、ある正常粘膜の色調と、どの程度異なる場合に、異常所見の存在する画像とするかを規定するものである。

前記ステップＳ８における異常所見の検出が終了するとステップＳ９において、異常所見の検出有無の判定を行う。異常所見が検出されないと判定されると、ステップＳ１１以降が実行される。異常所見が検出されたと判定されると、ステップＳ１０において、画像Ｉｉを異常所見が検出された病変候補画像として、その画像番号ｉを登録して、ステップＳ１１に進む。

ステップＳ１１において、すべての画像枚数Ｋに対する一連の処理の実行されたか、すなわち画像番号ｉ＝Ｋであるか否かを判定し、画像番号ｉが画像枚数Ｋよりも少ないｉ＜Ｋである場合には、ステップＳ１２において、画像番号ｉ＝ｉ＋１として次の画像に対して、前記ステップＳ２乃至Ｓ１１の処理を行い、画像番号ｉが画像枚数Ｋ（ｉ＝Ｋ）となるとこの異常所見の検出処理を終了する。

なお、前記ステップＳ１０において、前記ステップＳ８における異常所見の検出結果が発赤・出血による赤色調であるか、もしくは褪色による白色調であるか等の異常の種別を合わせて登録することも可能である。例えば、患者２の主症状が出血であった場合には、その出血部位の特定が検査の主目的となる。この場合、端末装置７における観察用ソフトウェアを異常の種別、例えば「赤色調」を検索キーとして検索可能に構成することにより、より効率的な観察が可能となる。

この実施の形態において、色調に関する特徴量として、ｒ／（ｒ＋ｇ＋ｂ）、及びｇ／（ｒ＋ｇ＋ｂ）を用いたが、例えばｒ／ｇ、及びｒ／ｂ等の他の特徴量やＨＳＩ空間等への変換値を使用することも当然可能である。

また、この実施の形態において、画像を矩形領域に分割してから、特徴空間におけるクラスタリングを適用したが、各画素ごとの特徴量算出後、画像自体をクラスタリングにより領域分割して同様の処理を適用することも可能である。

以上に説明したように、ステップＳ１〜Ｓ１２の一連の処理により、撮像画像の色調情報に基づき発赤調・褪色調の色調変化、あるいは出血を呈する異常の存在を認識し、病変存在候補画像を検出することが可能となる。

次に、本発明の画像処理方法において、画像における輪郭情報に基づく異常の存在を認識し、病変存在候補画像を検出する輪郭検出について説明する。輪郭検出は、前述した色調変化を伴わない、隆起もしくは陥凹型の病変の検出を行うものである。この輪郭検出による病変候補画像の検出処理動作について、図１３を用いて説明する。

この実施の形態は、カプセル型内視鏡３による撮像画像枚数Ｋの撮像画像Ｉｋ、１≦ｋ≦Ｋに対し、輪郭情報による異常所見の抽出に基づく病変候補画像の判定を行う。最初に、ステップＳ２１において、画像番号を示すｉを１に（ｉ＝１）初期設定する。

次に、ステップＳ２２において、画像Ｒｉを読み出す。この実施の形態において、Ｒ画像を処理の対象として説明する。なお、輪郭情報は、ＲＧＢの各画像に含まれておりいずれの画像も使用することが可能である。次に、ステップＳ２３において、前記画像Ｒｉに対する前処理を適用する。この前処理は、前述したステップＳ３と同じであり、逆γ補正、大きさ３×３のマスクサイズによるメディアンフィルタリングを用いたノイズ抑制処理を行う。

次に、ステップＳ２４において、異常所見の認識に不適切なハレーションの検出を行う。このハレーション検出は、領域内の画素ｒｉｔ（ｔは、画像内の画素を特定する添え字、１≦ｔ≦ＩＳＸ×ＩＳＹ）に対し、ｒｉｔ≧Ｔｈであればハレーションに含まれる画素とし、ｒｉｔの距離ｎ／２内の近傍画素を含め、ステップＳ２５以降の処理対象から除外する。ここで、ｎは後述する輪郭抽出フィルタのサイズであり、ハレーションに含まれる画素によりフィルタリング結果が影響される近傍画素を含めた除外を実施するものである。

前記ステップＳ２４のハレーション検出が終了すると、ステップＳ２５において、輪郭抽出フィルタリングを行う。この輪郭抽出フィルタリングは、種々のものが利用できるが、この実施の形態においては、図１４に示す、サイズ５×５のフィルタを適用する。

次に、ステップＳ２６において、前記ステップＳ２５における輪郭抽出フィルタリングの結果、画像に対する閾値処理による二値化を行う。画像の各画素のフィルタリング後の値をｆｉｔとすると、ｆｉｔ≧Ｔｈｆである画素を抽出する。なお、Ｔｈｆは閾値であり、この実施の形態においては、Ｔｈｆ＝１０であるものとする。

次に、ステップＳ２７において、前記ステップＳ２６における輪郭抽出フィルタリング後の二値画像に対する異常所見検出を行う。なお、この異常所見検出処理の詳細については後述する。このステップＳ２７の二値画像による異常所見検出が行われると、ステップＳ２８において、異常所見が検出されたか判定され、異常所見が検出されないと判定されると、ステップＳ３０以降が実行される。前記ステップＳ２８において、異常所見が検出されたと判定されると、ステップＳ２９において、画像Ｉｉを異常所見を有する病変候補画像として、その画像番号ｉを登録する。

次に、ステップＳ３０において、すべての画像に対する一連の処理の行われたか判定する。すなわち、画像番号ｉが全画像枚数Ｋと等しい（ｉ＝Ｋ）か否かを判定し、画像番号ｉが画像枚数Ｋよりもすくない（ｉ＜Ｋ）である場合、ステップＳ３１において、画像番号ｉに１を加算（ｉ＝ｉ＋１）して、次の画像に対し前記ステップＳ２２〜Ｓ３０を実行し、前記画像番号ｉが全画像枚数Ｋと同じであると、この輪郭情報による病変候補画像の処理動作を終了する。

次に、前記ステップＳ２７における異常所見検出処理の詳細について説明する。正常な体腔内においては、主として管腔構造及び襞による形状の輪郭が存在する。管腔構造による形状の輪郭としては、撮像された画像内のトンネル上の暗部、小腸や大腸の屈曲による壁等が考えられる。図１５に管腔構造による形状の輪郭の抽出例を示している。また、襞は、小腸及び大腸管腔内部に輪状に存在し、主としてなめらかな円弧形状（直線状になる場合もある）の輪郭を呈するもので、図１６に襞による形状の輪郭の抽出例を示している。

一方、隆起あるいは陥凹を伴う病変では、局所的な輪郭の存在、管控構造、あるいは襞による輪郭の不整な変化が生ずる。このような病変による形状の輪郭の抽出例を図１７に示している。図１７（Ａ）は、比較的均一な明るさの背景の中に、隆起型病変による不整な形状の輪郭が抽出されている例を示している。また、図１７（Ｂ）は、襞の上に病変が存在することから本来の円弧形状に対し局所的な不整変化をともなう輪郭が抽出されている例を示している。

この隆起あるいは陥凹を伴う病変による輪郭の認識については、種々の画像認識方法が考えられるが、この実施の形態において用いる隆起・陥凹の伴う病変による輪郭認識を図１８を用いて説明する。図１３を用いて説明した前記ステップＳ２４におけるハレーション領域除外処理（以下、単に前処理画像と称する）、及び前記ステップＳ２６における二値化処理された画像（以下、二値画像と称する。）を基に、ステップＳ２７−１乃至ステップＳ２７−６の一連の処理が実行される。なお、前記前処理画像は、画像における明暗変化を保存しており、管腔方向の検出等に用いる。また、前記二値画像は、輪郭抽出情報として用いる。

ステップＳ２７−１において、局所的な隆起・陥凹による輪郭が存在するか否かを判定する。このステップＳ２７−1の判定は、図１７（Ａ）に示したように、管腔構造、あるいは襞の上ではなく、比較的均一な明るさの背景の中に存在する病変の検出を行うものである。具体的には、図１９に示すように、抽出した二値画像の輪郭に相当する部位を含む矩形領域を設定し、対応する前処理画像上の領域の明暗変化を検出する。図１９においては、対象とする輪郭の始点の座標（ｓｘ，ｓｙ）及び終点の座標（ｅｘ、ｅｙ）により設定され矩形領域の輪郭を境界とする領域Ａ及びＢにおいて、前処理画像の画素値の平均値ｒｍＡ及びｒｍＢを算出する。この平均値ｒｍＡ，ｒｍＢは、始めに、ｒｍＡ＞ｒｍＢ、すなわち、領域Ａが領域Ｂよりも明るいことを比較判定し、平均値の比ｒｍＢ／ｒｍＡ（ただし、ｒｍＡ≠０とする）を算出する。この平均値ｒｍＢ／ｒｍＡが閾値Ｔｈｅより小さい（ｒｍＡ／ｒｍＢ＜Ｔｈｅ）と、各領域Ａ，Ｂの明るさに閾値Ｔｈｅ以上の違いがあることが認められ、管腔構造、あるいは襞による輪郭である可能性が高いものと考えられてステップＳ２７−３に進む。ここで、閾値Ｔｈｅは、この実施の形態においては０．６とする。なお、ｒｍＢ／ｒｍＡ≧Ｔｈｅである場合には、抽出輪郭周囲に大きな明暗変化が存在しないことから、局所的な病変による輪郭である可能性があるものと判定し、前記ステップＳ２８へと進む。

次に、ステップＳ２７−３において、抽出された輪郭に対する円弧形状の近似を行う。円弧形状の近似方法については、本出願人が出願した特開２００３−０９３３２８号公報に示された、抽出領域の細線化画像に対し、半径及び中心をパラメタとする探索的方法を用いて、最適な近似の円の半径及び中心を特定する。

次に、ステップＳ２７−４において、近似した円の半径及び中心に対する、実際の輪郭が構成する弧の一致度を評価する。なお、二値画像において抽出した輪郭は、細線化が適用されているものとする。この弧の一致度の評価は、図２０に示すように、点Ｏ（座標ｏｘ、ｏｙ）は、前記ステップＳ２７−３において、特定された近似円（破線で示す）の中心である。点Ｒ（座標ｒｘ、ｒｙ）は、近似円上の１点であり、点Ｐ（座標ｐｘ、ｐｙ）は、点Ｏと点Ｒを結ぶ線分上において、細線化された抽出輪郭との交点である。この点Ｐは、点Ｒから点Ｏに向かう線分に重複する画素を探索することにより求めることができる。もし線分ＲＯ上に点Ｐが検出されない場合には、点Ｒから点Ｏに向かうのと逆の方向を探索する。画像内に点Ｐが見つからない場合は、対応する輪郭が存在しないので一致度の評価対象から除外する。このとき、線分ＰＯは、輪郭が近似された円弧に近い形状であると、線分ＯＲ（すなわち近似円の半径）及び線分ＯＰの長さは近く、そうでない場合には相違が大となる。したがって、一致度の評価値εを数式１のように定めることができる。

ここで、Ｒ１及びＲＥは、輪郭との比較範囲において近似円をＥ個の点に離散化していることを示している。点Ｐｊは、点Ｒjに対応する細線化後の輪郭の画素である。

前記ステップＳ２７−４の評価値εの算出後、ステップＳ２７−５において、前記ステップＳ２７−４において算出した評価値ε、及び後述するステップＳ２７−２における管腔方向検出の結果に基づく、異常輪郭の判定を行う。前記ステップＳ２７−２においては、前処理画像に対し、本出願人が出願した特開２００３−０９３３２８号公報に示された管腔方向検出が行われる。この管腔方向検出結果の利用の詳細については後述する。

前記ステップＳ２７−５において、近似円と輪郭との一致度の評価値εが閾値Ｔｈεよりも大きい（ε＞Ｔｈε）である場合には、不整な輪郭が存在しているものと判定し、ステップＳ２７−６の異常所見ありの処理が行われる。ここで、閾値Ｔｈεは、例えば１０００に設定する。一方、ε≦Ｔｈεである場合には、近似円との一致度は高いが管控構造、あるいは襞の輪郭として、方向に矛盾がないか否かを確認する。

この判定処理について図２１を用いて説明する。図２１は、抽出した輪郭が近似円に対して比較的良好に一致しているためε≦Ｔｈεであるが、正常な管腔構造、あるいは襞による輪郭とは逆の方向に円弧が生じている。このようなケースは、病変が近接している場合等に起こり得る。そこで、画像中の明暗変化を基に検出した管腔方向と近似円の中心位置との比較に基づき判定する。具体的には、抽出した輪郭に対して、近似円の中心座標の位置が管腔方向側に存在する複合は逆方向にあるものとし、異常輪郭と判定してステップＳ２７−６に進む。

このステップＳ２７−６において、一連の処理の結果、抽出した輪郭が病変によるものである可能性が高いことから前記ステップＳ２７における判定結果として異常所見が存在するものとして前記ステップＳ２８に進む。

なお、この実施の形態において、管腔構造、あるいは襞による形状の輪郭を円弧としたが、直線状に見える場合もある。このような輪郭の認識に対しては、ステップＳ２７−３及びステップＳ２７−４において、円弧形状の認識に加え、公知のハフ変換を用いた直線検出を併用適合して、いずれか適合度の高い近似結果を使用することも可能である。また、輪郭の形状認識においては、モルフォロジフィルタ等の技術を用いてもよい。

以上に説明したように、画像における形状の輪郭情報に基づき、色調変化を伴わない隆起、あるいは陥凹の病変の存在を認識し、病変存在候補画像を検出することが可能となる。

次に、本発明に係る画像処理方法における撮像画像による粘膜表面の微細構造及び血管走行形態の異常の存在を意識して、病変存在候補画像を検出する方法について、図２２を用いて説明する。前記カプセル型内視鏡３による撮像画像枚数Ｋの撮像画像Ｉｋ、１≦ｋ≦Ｋに対し、輪郭情報による異常所見の抽出に基づく病変候補画像の判定を行う。

最初に、ステップＳ４１において画像番号を示すｉを１に初期化し、ステップＳ４２において、画像Ｇｉを読み出す。この実施の形態においては、内視鏡画像に最も粘膜の微細構造及び血管像に関する情報を含んでいるＧ画像の処理を対象とする。

次に、ステップＳ４３において、粘膜表面の微細構造及び血管走行形態に基づく異常所見の検出を行う。この粘膜表面の微細構造は、胃・大腸の小区模様、腺管における腺口形態（ｐｉｔ ｐａｔｔｅｒｎ）等があげられる。これらの所見について、画像処理による特徴量の算出を行う。特徴量の算出方法については、本出願人が出願した特許第２９１８１６２号公報、及び特開２００２−１６５７５７号公報に詳記されており省略説明は省略する。この特徴量の算出方法により得られた特徴量に対しては、識別器を用いた識別分類処理を行う。識別器としては、ニューラルネットワーク、線形判別関数等の種々のものが知られている。この実施の形態においては、識別器として線形判別関数を使用する。

正常及び異常所見の画像から算出された特徴量を教師データとして用いて、線形判別関数を作成し、画像Ｇｉから得られた特徴量を基に画像Ｇｉが正常または異常の判定をステップＳ４４にて行う。この特徴量算出及び判別分類については、前述した特開２００２−１６５７５７号公報に詳細が開示されている。

前記ステップＳ４４において、前記ステップＳ４３による異常所見の検出結果により、異常所見が検出されないと判定されると、ステップＳ４６以降が実行される。前記ステップＳ４４において、異常所見が検出されたと判定されると、ステップＳ４５において、画像Ｉｉを異常所見を有する病変候補画像としてその画像番号ｉを登録する。

次に、ステップＳ４６において、すべての画像に対する一連の処理が実行されたか判定される。すなわち、画像番号ｉが全画像枚数Ｋと等しい（ｉ＝Ｋ）か否かを判定し、画像番号ｉが画像枚数Ｋよりもすくない（ｉ＜Ｋ）場合、ステップＳ４７において、画像番号ｉに１を加算（ｉ＝ｉ＋１）して、次の画像に対し前記ステップＳ４２〜Ｓ４６を実行し、前記画像番号ｉが全画像枚数Ｋと同じであると、この輪郭情報による病変候補画像の処理動作を終了する。

以上に説明したように、画像による粘膜表面の微細構造及び血管走行形態に基づく異常所見を認識し、病変存在候補画像を検出することが可能となる。

なお、前述したように撮像画像による発赤調・褐色調の色調変換と出血、陥没と陥凹、及び粘膜表面の微細構造と血管走行形態の病変存在の候補画像の検出方法をそれぞれ組み合わせて用いることができる。また、これら画像処理手法は、カプセル型内視鏡装置のみではない、通常の内視鏡装置により撮像された撮像画像からの病変存在候補画像の検出にも用いることができる。

［付記］
以上詳述した本発明の実施形態によれば、以下のごとき構成を得ることができる。

（付記１） 体腔内を撮像して得られた色調情報を有する画像データが入力される入力ステップと、
前記画像データが有する色調情報に基づいて所定の特徴に関する特徴量を算出する算出ステップと、
あらかじめ設定した所定の色調情報に基づいて決められた基準特徴量と、前記算出ステップにおいて算出された特徴量とを比較する比較ステップと、
を有することを特徴とした画像処理方法。

（付記２） 体腔内を撮像して得られた色調情報を有する画像データが入力される入力ステップと、
前記画像データを複数の領域に分割して、複数の分割領域を生成する分割ステップと、
前記分割領域が有する色調情報に基づいて、所定の特徴に関する特徴量を前記分割領域毎に算出する算出ステップと、
あらかじめ設定した所定の色調情報に基づいて決められた基準特徴量と、前記算出ステップにおいて算出された特徴量とを比較する比較ステップと、
を有することを特徴とした画像処理方法。

（付記３） 前記比較ステップにおける比較結果に応じて、前記基準特徴量に相当する前記画像データの色調情報に基づいた特徴量があるか否かを判断するステップを更に有することを特徴とした付記１または２に記載の画像処理方法。

（付記４） 前記比較ステップにおける比較結果に応じて、前記基準特徴量に対して、前記画像データの色調情報に基づいた特徴量の距離を判断するステップを更に有することを特徴とした付記１又は２に記載の画像処理方法。

（付記５） 前記特徴量は、複数の色信号の比に基づくものであることを特徴とした付記１乃至４のいずれか１に記載の画像処理方法。

（付記６） 前記画像データは、赤、緑、青の三原色画像であることを特徴とした付記１乃至５のいずれか１に記載の画像処理方法。

（付記７） 前記比較ステップにおいて、前記基準特徴量の分布と、前記画像データの色調情報に基づいた特徴量の分布とを比較結果することを特徴とした付記１乃至６のいずれか１に記載の画像処理方法。

（付記８） 前記比較ステップにおける基準特徴量の分布と、前記画像データの色調情報に基づいた特徴分布の比較は、特徴量の値を用いたクラスタリングにより実行することを特徴とした付記７に記載の画像処理方法。

（付記９） 体腔内を撮像して得られた画像データが入力される入力ステップと、
前記画像データから該画像が有する輪郭形状に関する輪郭情報を抽出する抽出ステップと、
あらかじめ設定した所定の輪郭形状に基づいてあらかじめ設定された基準輪郭情報と、前記抽出ステップにおいて抽出した前記輪郭情報とを比較する比較ステップと、
を有することを特徴とする画像処理方法。

（付記１０） 前記前記抽出ステップによる輪郭情報は、前記入力ステップの画像データに対して輪郭抽出フィルタリングにより抽出することを特徴とした付記９記載の画像処理方法。

（付記１１） 前記比較ステップにおける比較結果に応じて、前記基準輪郭情報に相当する前記画像データの輪郭情報があるか否かを判断するステップを更に有することを特徴とした付記９または１０に記載の画像処理方法。

（付記１２） 前記比較ステップにおける比較結果に応じて、前記基準輪郭情報に対して、前記画像データの輪郭情報により輪郭形状の不整により判断することを特徴とした付記１１に記載の画像処理方法。

（付記１３） 前記輪郭情報は、前記入力ステップにより入力された画像データにおける局所的な隆起及び／または陥凹を示すことを特徴とした付記９乃至１２のいずれか１に記載の画像処理方法。

（付記１４） 前記入力ステップにおいて入力される画像データは、カプセル型内視鏡、或いは内視鏡のいずれかにより撮像されて生成された画像データである特徴とした付記１乃至１３のいずれか１に記載の画像処理方法。

本発明に係る画像処理方法を用いるカプセル型内視鏡装置の概略構成を示すブロック図。 本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡の概略構造を説明する説明図。 本発明に用いるカプセル型内視鏡装置の概略内部構成を示すブロック図。 本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡から送信される信号構成を説明する説明図。 本発明に用いるカプセル型内視鏡の位置検出を説明する説明図。 本発明に用いるカプセル型内視鏡装置のアンテナユニットを説明する説明図。 本発明に用いるカプセル型内視鏡装置のシールドジャケットを説明する説明図。 本発明に用いるカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図。 本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡の構成を示すブロック図。 本発明に係る画像処理方法の一実施形態における病変候補画像の決定処理の処理動作を説明するフローチャート。 本発明に係る病変候補画像の処理における粘膜の色調による異常の検出例を説明する説明図。 本発明に係る病変候補画像の処理における発赤・出血の検出例を説明する説明図。 本発明に係る画像処理方法における輪郭情報による異常検出の処理動作を説明するフローチャート。 本発明に係る画像処理方法の輪郭情報による異常検出における輪郭抽出フィルタを説明する説明図。 本発明に係る輪郭情報の検出例を説明する説明図。 本発明に係る輪郭情報である襞の検出例を説明する説明図。 本発明に係る輪郭情報の病変検出例を説明する説明図。 本発明にかかる画像処理方法における隆起・陥凹のともなう病変部の検出処理動作を説明するフローチャート。 本発明に係る隆起・陥凹の検出時の輪郭抽出例を説明する説明図。 本発明に係る隆起・陥凹の検出時の輪郭抽出の一致と評価方法を説明する説明図。 本発明に係る隆起・陥凹の検出時の輪郭抽出による病変判断を説明する説明図。 本発明に係る画像処理方法における粘膜表面の微細構造および血管走行状態の病変存在候補画像の検出処理動作を説明するフローチャート。

符号の説明

１ カプセル型内視鏡装置
２ 患者
３ カプセル型内視鏡
４ アンテナユニット
５ 外部装置
６ クレードル
７ 端末装置
８ｃ ディスプレイ
９ 端末本体
１１ 受信アンテナ
１７ 電荷結合素子（ＣＣＤ）
１８ ＬＥＤ
１９ 処理回路
２０ 通信処理回路
２３ 送信アンテナ
代理人 弁理士 伊藤 進

Claims (20)

1. 体腔内を撮像した複数の色信号からなる画像を入力するステップと、
   前記入力された画像における色調に基づく特徴量を算出するステップと、
   前記算出された特徴量に基づき前記画像における異常所見領域を決定するステップとからなることを特徴とする画像処理方法。
2. 体腔内を撮像した複数の色信号からなる画像を入力するステップと、
   前記入力された画像における色調に基づく特徴量を算出するステップと、
   前記算出された特徴量に基づき前記画像に異常所見領域が存在するか否かを決定するステップとからなることを特徴とする画像処理方法。
3. 体腔内を撮像した複数の色信号からなる画像を入力するステップと、
   前記画像を複数の領域に分割するステップと、
   前記分割された領域ごとに色調に基づく特徴量を算出するステップと、
   前記算出された特徴量に基づき前記複数の領域から異常所見領域を決定するステップとからなることを特徴とする画像処理方法。
4. 正常所見領域を決定するステップをさらに含むとともに、
   前記異常所見領域を前記決定された正常領域からの距離に基づき決定することを特徴とする請求項１乃至３のいずれか１に記載の画像処理方法。
5. 前記特徴量は、複数の色信号の比に基づくものであることを特徴とする請求項１乃至４のいずれか１に記載の画像処理方法。
6. 前記画像は、ＲＧＢ画像であることを特徴とする請求項１乃至５のいずれか１に記載の画像処理方法。
7. 前記異常所見領域の決定は前記特徴量の値の分布と異常所見とみなす為の所定の分布との比較結果に基づき決定することを特徴とする請求項１乃至６のいずれか１に記載の画像処理方法。
8. 前記異常所見領域の決定は前記特徴量の値を用いたクラスタリングに基づき決定することを特徴とする請求項７記載の画像処理方法。
9. 体腔内を撮像した画像を入力するステップと、
   前記入力された画像における輪郭を抽出するステップと、
   前記抽出された輪郭に基づき前記画像において異常所見が存在するか否かを決定するステップとからなることを特徴とする画像処理方法。
10. 前記輪郭の抽出は前記入力された画像に対し輪郭抽出フィルタリングを適用することを特徴とする請求項９記載の画像処理方法。
11. 前記異常所見の検出は輪郭の形状の特定結果に基づくものであることを特徴とする請求項９または１０のいずれか１に記載の画像処理方法。
12. 前記異常所見の検出は前記輪郭の形状の不整に基づくものであることを特徴とする請求項１１記載の画像処理方法。
13. 前記異常所見は前記入力された画像における局所的な隆起及び／またはは陥凹であることを特徴とする請求項９乃至１２のいずれか１に記載の画像処理方法。
14. 前記抽出された輪郭が正常所見によるものであることを判定するステップをさらに含むことを特徴とする請求項９乃至１３のいずれか１つに記載の画像処理方法。
15. 体腔内を撮像した画像を入力するステップと、
    前記入力された画像における粘膜表面の微細構造に基づく特徴量を算出するステップと、
    前記算出された特徴量に基づき前記微細構造が正常または異常のいずれであるかを決定するステップとからなることを特徴とする画像処理方法。
16. 前記特徴量を用いて識別器による分類を適用するステップをさらに含み、
    前記分類の結果に基づき前記微細構造が正常または異常のいずれであるかを決定することを特徴とする請求項１５記載の画像処理方法。
17. 体腔内を撮像した画像を入力するステップと、
    前記入力された画像における血管の走行形態に基づく特徴量を算出するステップと、
    前記算出された特徴量に基づき前記血管が正常または異常のいずれであるかを決定するステップとからなることを特徴とする画像処理方法。
18. 前記特徴量を用いて識別器による分類を適用するステップをさらに含み、
    前記分類の結果に基づき前記血管の走行形態が正常または異常のいずれであるかを決定することを特徴とする請求項１７記載の画像処理方法。
19. 前記入力される画像がカプセル型内視鏡による撮像画像であることを特徴とする請求項１乃至１８のいずれか１に記載の画像処理方法。
20. 前記入力される画像が内視鏡による撮像画像であることを特徴とする請求項１乃至１８のいずれか１に記載の画像処理方法。

Images