JP7594015B2 - 医療画像処理装置、医療画像処理装置の作動方法、内視鏡システム、及び医療画像処理プログラム - Google Patents

Description

本発明は医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラムに関する。

特許文献１に記載された内視鏡システムは、被写体を撮影した画像を取得する画像取得部と、画像を用いて被写体を認識する認識処理を行う認識部と、被写体に対する操作を判別する判別部と、判別部の判別結果を用いて、認識部を有効または無効に設定する設定部と、認識部の有効または無効の状態を報知する報知部と、を備える。

ＷＯ２０２０／０３６２２４号公報

本発明の一つの実施形態は、関心領域を適切な識別力で表示することができる医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラムを提供する。

本発明の第１の態様に係る医療画像処理装置は、プロセッサを備える医療画像処理装置であって、プロセッサは、被検体の観察画像を取得する画像取得処理と、観察画像から関心領域を認識する関心領域認識処理と、観察画像から被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識処理と、観察画像を、関心領域が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御処理と、を行う。

第２の態様に係る医療画像処理装置は第１の態様において、プロセッサは、器具情報認識処理において、器具情報に基づいて、器具により関心領域に対し処置が行われている処置状態、処置の準備がされている処置前状態、処置状態及び処置前状態以外の状態である非処置状態のいずれであるかを判断し、表示制御処理において、処置状態及び処置前状態では、非処置状態よりも識別力を低下させて観察画像を表示させる。

第３の態様に係る医療画像処理装置は第２の態様において、プロセッサは、表示制御処理において、処置状態では、処置前状態よりも識別力を低下させて観察画像を表示させる。

第４の態様に係る医療画像処理装置は第２または第３の態様において、プロセッサは、器具情報認識処理において、器具が挿入されているか、挿入された器具の種類、挿入の長さ、器具の操作状態、器具と関心領域の距離、観察画像で器具と関心領域が重なっているか否か、のうち少なくとも１つを含む器具情報に基づいて、処置状態、処置前状態、及び非処置状態のうちいずれであるかを判断する。

第５の態様に係る医療画像処理装置は第２から第４の態様のいずれか１つにおいて、プロセッサは、表示制御処理において、処置状態及び／または処置前状態では、関心領域を囲む枠を観察画像に重畳表示させる。

第６の態様に係る医療画像処理装置は第２から第５の態様のいずれか１つにおいて、プロセッサは、表示制御処理において、処置状態及び処置前状態では、関心領域を示す記号を観察画像に重畳表示させる。

第７の態様に係る医療画像処理装置は第２から第６の態様のいずれか１つにおいて、プロセッサは、表示制御処理において、処置状態及び処置前状態では、観察画像において関心領域の一部に文字、図形、記号のうち少なくとも１つを重畳表示させる。

第８の態様に係る医療画像処理装置は第５から第７の態様のいずれか１つにおいて、プロセッサは、処置状態及び前記処置前状態では、非処置状態と比較して重畳表示の識別力を低下させる。

第９の態様に係る医療画像処理装置は第２から第８の態様のいずれか１つにおいて、プロセッサは、表示制御処理において、処置状態及び処置前状態では、非処置状態と比較して関心領域の色彩及び／または明るさを変化させて観察画像を表示させる。

第１０の態様に係る内視鏡システムは、第１から第９の態様のいずれか１つに係る医療画像処理装置と、観察画像を表示する表示装置と、被検体に挿入される内視鏡スコープであって、観察画像を撮影する撮影部を有する内視鏡スコープと、を備える。

本発明の第１１の態様に係る医療画像処理方法は、コンピュータに、被検体の観察画像を取得する画像取得工程と、観察画像から関心領域を認識する関心領域認識工程と、観察画像から被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識工程と、観察画像を、関心領域が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御工程と、を行わせる。第１１の態様及び以下の各態様に係る医療画像処理方法は、医療画像処理装置の作動方法として把握することもできる。

第１２の態様に係る医療画像処理方法は第１１の態様において、器具情報認識工程においては、器具情報に基づいて、器具により関心領域に対し処置を行っている処置状態、処置の準備がされている処置前状態、処置状態及び処置前状態以外の状態である非処置状態のいずれであるかを判断させ、表示制御工程においては、処置状態及び処置前状態では、非処置状態よりも識別力を低下させて観察画像を表示装置に表示させる。

第１３の態様に係る医療画像処理方法は第１２の態様において、表示制御工程においては、処置状態では、処置前状態よりも識別力を低下させて観察画像を表示させる。

第１４の態様に係る医療画像処理方法は第１２または第１３の態様において、器具情報認識工程では、器具が挿入されているか、挿入された器具の種類、挿入の長さ、器具の操作状態、器具と関心領域の距離、観察画像で器具と関心領域が重なっているか否か、のうち少なくとも１つを含む器具情報に基づいて、処置状態、処置前状態、及び非処置状態のうちいずれであるかを判断する。

第１５の態様に係る医療画像処理プログラムは第１１から第１４の態様のいずれか１つに係る医療画像処理方法をコンピュータに実行させる。第１５の態様に係る医療画像処理プログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も、本発明の一態様として挙げることができる。

図１は、第１の実施形態に係る内視鏡システムの外観図である。 図２は、内視鏡システムの要部構成を示すブロック図である。 図３は、画像処理部の機能ブロック図である。 図４は、畳み込みニューラルネットワークの構成を示す図である。 図５は、フィルタによる畳み込み処理の様子を示す図である。 図６は、第１の実施形態に係る医療画像処理方法の手順を示すフローチャートである。 図７は、処置状態等の定義を設定する画面の例を示す図である。 図８は、識別表示の態様を設定する画面の例を示す図である。 図９は、生検ターゲット範囲（関心領域）の識別表示の例を示す図である。 図１０は、関心領域の識別力を低下させて観察画像を表示した例を示す図である。 図１１は、器具と関心領域の距離に応じた識別表示の例を示す図である。 図１２は、器具の操作状態に応じた識別表示の例を示す図である。 図１３は、器具の操作状態に応じた識別表示の他の例を示す図である。 図１４は、器具の操作状態に応じた識別表示のさらに他の例を示す図である。 図１５は、器具の操作状態に応じた識別表示のさらに他の例を示す図である。

以下、添付図面を参照しつつ、本発明に係る医療画像処理装置、医療画像処理方法、内視鏡システム、及び医療画像処理プログラムの実施形態について詳細に説明する。

＜第１の実施形態＞
＜内視鏡システムの構成＞
図１は、内視鏡システム１０（内視鏡システム）の外観図であり、図２は内視鏡システム１０の要部構成を示すブロック図である。図１，２に示すように、内視鏡システム１０は、内視鏡スコープ１００（画像取得部、内視鏡スコープ）、医療画像処理装置２００（医療画像処理装置、プロセッサ、医療画像取得部、関心領域認識部、器具情報認識部、表示制御部、記録制御部）、光源装置３００（光源装置）、及びモニタ４００（表示装置、ディスプレイ）から構成される。

＜内視鏡スコープの構成＞
内視鏡スコープ１００は、手元操作部１０２と、この手元操作部１０２に連設される挿入部１０４とを備える。術者（ユーザ）は手元操作部１０２を把持して操作し、挿入部１０４を被検体（生体）の体内に挿入して観察する。また、手元操作部１０２には送気送水ボタン１４１、吸引ボタン１４２、及び各種の機能を割り付けられる機能ボタン１４３、及び撮影指示操作（静止画像、動画像）を受け付ける撮影ボタン１４４が設けられている。

手元操作部１０２には、内視鏡スコープ１００の個体情報（個体情報、スコープ情報）を記録するスコープ情報記録部１３９が設けられている。個体情報は、例えば内視鏡スコープ１００のタイプ（直視か側視か、等）、機種、個体識別番号、光学系の特性（視野角、歪み等）、被検体の処置に使用される器具（処置具等）の情報等である。画像処理部２０４のスコープ情報取得部２３０（スコープ情報取得部、個体情報取得部；図３を参照）が、この個体情報を取得し、医療画像処理装置２００による処理（画像取得処理、関心領域認識処理、器具情報認識処理、表示制御処理）に用いられる。なお、スコープ情報記録部１３９はライトガイドコネクタ１０８内等、他の部分に設けられていてもよい。

挿入部１０４は、手元操作部１０２側から順に、軟性部１１２、湾曲部１１４、先端硬質部１１６で構成されている。すなわち、先端硬質部１１６の基端側に湾曲部１１４が接続され、湾曲部１１４の基端側に軟性部１１２が接続される。挿入部１０４の基端側に手元操作部１０２が接続される。ユーザは、手元操作部１０２を操作することにより湾曲部１１４を湾曲させて先端硬質部１１６の向きを上下左右に変えることができる。先端硬質部１１６には、撮影光学系１３０、照明部１２３、鉗子口１２６等が設けられる（図１，２参照）。

観察、処置の際には、操作部２０８（図２参照）の操作により、照明部１２３の照明用レンズ１２３Ａ，１２３Ｂから白色光及び／または狭帯域光（赤色狭帯域光、緑色狭帯域光、青色狭帯域光、及び紫色狭帯域光のうち１つ以上）を照射することができる。また、送気送水ボタン１４１の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮影光学系１３０の撮影レンズ１３２（撮影レンズ、撮影部）、及び照明用レンズ１２３Ａ，１２３Ｂを洗浄することができる。先端硬質部１１６で開口する鉗子口１２６には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。

図１，２に示すように、先端硬質部１１６の先端側端面１１６Ａには撮影レンズ１３２（撮影部）が配設されている。撮影レンズ１３２の奥にはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型の撮像素子１３４（撮像素子、画像取得部）、駆動回路１３６、ＡＦＥ１３８（ＡＦＥ：Analog Front End）が配設されて、これらの要素により画像信号を出力する。撮像素子１３４はカラー撮像素子であり、特定のパターン配列（ベイヤー配列、Ｘ－Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）でマトリクス状に配置（２次元配列）された複数の受光素子により構成される複数の画素を備える。撮像素子１３４の各画素はマイクロレンズ、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）のカラーフィルタ及び光電変換部（フォトダイオード等）を含んでいる。撮像素子１３４、駆動回路１３６、及びＡＦＥ１３８を１つのパッケージに含めたイメージセンサを用いてもよい。撮影光学系１３０は、赤，緑，青の３色の画素信号からカラー画像を生成することもできるし、赤，緑，青のうち任意の１色または２色の画素信号から画像を生成することもできる。なお、撮像素子１３４はＸＹアドレス型やＣＣＤ（Charge Coupled Device）型でもよい。また、撮像素子１３４の各画素は紫色光源３１０Ｖに対応した紫色カラーフィルタ、及び／または赤外光源に対応した赤外用フィルタをさらに備えていてもよい。

被検体の光学像は撮影レンズ１３２により撮像素子１３４の受光面（撮像面）に結像されて電気信号に変換され、不図示の信号ケーブルを介して医療画像処理装置２００に出力されて映像信号に変換される。これにより、医療画像処理装置２００に接続されたモニタ４００に被写体の内視鏡画像（観察画像、医療画像）が画面表示される。

また、先端硬質部１１６の先端側端面１１６Ａには、撮影レンズ１３２に隣接して照明部１２３の照明用レンズ１２３Ａ、１２３Ｂが設けられている。照明用レンズ１２３Ａ，１２３Ｂの奥には、後述するライトガイド１７０の射出端が配設され、このライトガイド１７０が挿入部１０４、手元操作部１０２、及びユニバーサルケーブル１０６に挿通され、ライトガイド１７０の入射端がライトガイドコネクタ１０８内に配置される。

ユーザは、上述した構成の内視鏡スコープ１００（挿入部１０４）を被検体である生体内に挿入または抜去しながら決められたフレームレートで撮影を行う（医療画像取得部２２０の制御により行うことができる）ことにより、生体内の時系列の画像を順次撮影することができる。

＜光源装置の構成＞
図２に示すように、光源装置３００は、照明用の光源３１０、絞り３３０、集光レンズ３４０、及び光源制御部３５０等から構成されており、観察光をライトガイド１７０に入射させる。光源３１０は、それぞれ赤色、緑色、青色、紫色の狭帯域光を照射する赤色光源３１０Ｒ、緑色光源３１０Ｇ、青色光源３１０Ｂ、及び紫色光源３１０Ｖを備えており、赤色、緑色、青色、及び紫色の狭帯域光を照射することができる。光源３１０による観察光の照度は光源制御部３５０により制御され、必要に応じて観察光の照度を変更する（上げる、または下げる）こと、及び照明を停止することができる。

光源３１０は赤色、緑色、青色、及び紫色の狭帯域光を任意の組合せで発光させることができる。例えば、赤色、緑色、青色、及び紫色の狭帯域光を同時に発光させて白色光（通常光）を観察光として照射することもできるし、いずれか１つもしくは２つを発光させることで狭帯域光（特殊光）を照射することもできる。光源３１０は、赤外光（狭帯域光の一例）を照射する赤外光源をさらに備えていてもよい。また、白色光を照射する光源と、白色光及び各狭帯域光を透過させるフィルタとにより、白色光または狭帯域光を観察光として照射してもよい。

＜光源の波長帯域＞
光源３１０は白色帯域の光、または白色帯域の光として複数の波長帯域の光を発生する光源でもよいし、白色の波長帯域よりも狭い特定の波長帯域の光を発生する光源でもよい。特定の波長帯域は、可視域の青色帯域もしくは緑色帯域、あるいは可視域の赤色帯域であってもよい。特定の波長帯域が可視域の青色帯域もしくは緑色帯域である場合、３９０ｎｍ以上４５０ｎｍ以下、または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。また、特定の波長帯域が可視域の赤色帯域である場合、５８５ｎｍ以上６１５ｎｍ以下、または６１０ｎｍ以上７３０ｎｍ以下、の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有していてもよい。

上述した特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有していてもよい。この場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

また、光源３１０が発生する光の波長帯域は７９０ｎｍ以上８２０ｎｍ以下、または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、光源３１０が発生する光は７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有していてもよい。

また、光源３１０は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を照射する光源を備えていてもよい。この場合、被検体（生体）内の蛍光物質が発する蛍光の情報を有する医療画像（医用画像、生体内画像）を取得することができる。蛍光画像を取得する場合は、蛍光法用色素剤（フルオレスチン、アクリジンオレンジ等）を使用してもよい。

光源３１０の光源種類（レーザ光源、キセノン光源、ＬＥＤ光源（ＬＥＤ：Light-Emitting Diode）等）、波長、フィルタの有無等は被写体の種類、部位、観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類、部位、観察の目的等に応じて観察光の波長を組合せ及び／または切り替えることが好ましい。波長を切り替える場合、例えば光源の前方に配置され特定波長の光を透過または遮光するフィルタが設けられた円板状のフィルタ（ロータリカラーフィルタ）を回転させることにより、照射する光の波長を切り替えてもよい。

また、本発明を実施する際に用いる撮像素子は撮像素子１３４のように各画素に対しカラーフィルタが配設されたカラー撮像素子に限定されるものではなく、モノクロ撮像素子でもよい。モノクロ撮像素子を用いる場合、観察光の波長を順次切り替えて面順次（色順次）で撮像することができる。例えば出射する観察光の波長を（紫色、青色、緑色、赤色）の間で順次切り替えてもよいし、広帯域光（白色光）を照射してロータリカラーフィルタ（赤色、緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。また、１または複数の狭帯域光（緑色、青色、紫色等）を照射してロータリカラーフィルタ（緑色、青色、紫色等）により出射する観察光の波長を切り替えてもよい。狭帯域光は波長の異なる２波長以上の赤外光（第１狭帯域光、第２狭帯域光）でもよい。

ライトガイドコネクタ１０８（図１，２参照）を光源装置３００に連結することにより、光源装置３００から照射された観察光がライトガイド１７０を介して照明用レンズ１２３Ａ、１２３Ｂに伝送され、照明用レンズ１２３Ａ、１２３Ｂから観察範囲に照射される。

＜医療画像処理装置の構成＞
図２に基づき医療画像処理装置２００の構成を説明する。医療画像処理装置２００は、内視鏡スコープ１００から出力される画像信号を画像入力コントローラ２０２により入力し、画像処理部２０４（プロセッサ、コンピュータ）で必要な画像処理を行ってビデオ出力部２０６から出力する。これにより、モニタ４００（表示装置）に観察画像（医療画像、内視鏡画像、生体内画像）が表示される。これらの処理はＣＰＵ２１０（ＣＰＵ：Central Processing Unit、プロセッサ、コンピュータ）の制御下で行われる。通信制御部２０５は、図示せぬ病院内システム（ＨＩＳ：Hospital Information System）や病院内ＬＡＮ（Local Area Network）、及び／または外部のシステムやネットワークとの間で医療画像の取得等についての通信制御を行う。

＜画像処理部の機能＞
図３は画像処理部２０４の機能ブロック図である。画像処理部２０４は、医療画像取得部２２０（医療画像取得部）と、関心領域認識部２２２（関心領域認識部）と、器具情報認識部２２４（器具情報認識部）、表示制御部２２６（表示制御部）と、記録制御部２２８（記録制御部）と、スコープ情報取得部２３０（スコープ情報取得部）と、を備える。これらの機能を用いた処理については、詳細を後述する。

画像処理部２０４は、上述した機能により、医療画像の認識、生検状態等の判断、特徴量の算出、特定の周波数帯域の成分を強調または低減する処理、特定の対象（関心領域、所望の深さの血管等）を強調または目立たなくする処理を行うことができる。画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備えていてもよい。この場合、特定の波長帯域の信号は、通常光画像に含まれるＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）あるいはＣＭＹ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー）の色情報に基づく演算により得ることができる。また、画像処理部２０４は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって特徴量画像を生成する特徴量画像生成部を備え、医療画像（医用画像）としての特徴量画像を取得及び表示してもよい。なお、上述した処理はＣＰＵ２１０の制御下で行われる。

＜各種のプロセッサによる機能の実現＞
上述した画像処理部２０４の各部の機能は、各種のプロセッサ（processor）及び記録媒体を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。本発明のように画像の学習や認識を行う場合は、ＧＰＵを用いた構成が効果的である。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、コンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのコンピュータ（例えば、画像処理部２０４を構成する各種のプロセッサや電気回路、及び／またはそれらの組み合わせ）で読み取り可能なコードをＲＯＭ２１１（ＲＯＭ：Read Only Memory）やフラッシュメモリ（不図示）等の非一時的記録媒体に記憶しておき、コンピュータがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る医療画像処理方法（医療画像処理装置の作動方法）を実行するためのプログラム及び実行に際して用いられるデータ（医療画像の取得に関するデータ、生検状態等の定義や識別表示の態様設定に用いられるデータ、認識部で用いられるパラメータ等）を含む。ＲＯＭ２１１ではなく各種の光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ２１２（ＲＡＭ：Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。「非一時的記録媒体」として記録部２０７を用いてもよい。

また、ＲＯＭ２１１（ＲＯＭ：Read Only Memory）は不揮発性の記憶素子（非一時的記録媒体）であり、各種の画像処理方法（本発明に係る医療画像処理方法を含む）をＣＰＵ２１０及び／または画像処理部２０４（コンピュータ）に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。ＲＡＭ２１２（ＲＡＭ：Random Access Memory）は各種処理の際の一時記憶用の記憶素子であり、また画像取得時のバッファとしても使用することができる。音声処理部２０９は、ＣＰＵ２１０及び画像処理部２０４の制御により、医療画像処理、部位認識、報知等に関するメッセージ（音声）をスピーカ２０９Ａ（報知部、スピーカ）から出力する。なお、プログラムは、図示しない外部記録媒体に記録されて配布され、その記録媒体からＣＰＵ２１０によりインストールされてもよい。または、プログラムは、ネットワークに接続されたサーバ等に、外部からアクセス可能な状態で記憶され、要求に応じてＣＰＵ２１０によりＲＯＭ２１１にダウンロードされ、インストールおよび実行されてもよい。

＜操作部＞
操作部２０８は図示せぬキーボード、マウス等のデバイスにより構成することができ、ユーザは操作部２０８を介して医療画像処理方法の実行指示や実行に必要な条件（例えば、後述する処置状態等の定義や識別表示の態様）の設定を行うことができる。

＜ニューラルネットワークを用いた認識部＞
第１の実施形態では、ニューラルネットワーク等の学習済みモデル（生体を撮影した画像から構成される画像セットを用いて学習したモデル）を用いて、関心領域認識部２２２及び器具情報認識部２２４を構成することができる。関心領域認識部２２２は観察画像から関心領域を認識し（関心領域認識処理）、器具情報認識部２２４は観察画像から器具の情報（処置状態、処置前状態、非処置状態）を認識する（器具情報認識処理）。具体的には、器具情報認識部２２４は、観察画像から器具の挿入有無や挿入量、器具と関心領域の距離等を判断し、その結果に基づいて内視鏡スコープ１００（医療画像処理装置２００、内視鏡システム１０）の状態が処置状態、処置前状態、非処置状態のいずれであるかを判断する。なお、「処置状態」、「処置前状態」、「非処置状態」は、例えばそれぞれ「器具により関心領域に対し実際に処置が行われている状態（ユーザが処置を行っている状態）」、「器具挿入等、ユーザが処置の準備をしている状態や、器具と関心領域の距離が近い状態」、「処置のための操作（器具挿入等）が行われていない状態（ユーザが処置及びその準備をしていない状態）や、器具と関心領域が遠い状態（処置状態及び処置前状態以外の状態）」として把握することができる。処置状態と処置前状態を分けずに、処置状態と非処置状態に区分してもよい。

なお、「処置」には生検（病変と疑わしい領域を切り取って病理などの検査に回すこと）の他、ＥＳＤ（Endoscopic Submucosal Dissection；内視鏡的粘膜下層剥離術）やＥＭＲ（Endoscopic Mucosal Resection；内視鏡的粘膜切除術）等の内視鏡的切除も含み、「器具」は生検用の器具の他にＥＳＤやＥＭＲ等に用いられる器具も含む。

＜認識部の構成の例＞
以下、ニューラルネットワークとしてＣＮＮ（Convolutional Neural Network）を用いて認識（検出、鑑別等）を行う場合の認識部の構成について説明する。図４はＣＮＮ５６２（ニューラルネットワーク）の構成を示す図である。図４の（ａ）部分に示す例では、ＣＮＮ５６２は、入力層５６２Ａ、中間層５６２Ｂ、及び出力層５６２Ｃを有する。入力層５６２Ａは医療画像取得部２２０が取得した内視鏡画像（医療画像、観察画像）を入力して特徴量を出力する。中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５を含み、入力層５６２Ａが出力する特徴量を入力して他の特徴量を算出する。これらの層は複数の「ノード」が「エッジ」で結ばれた構造となっており、入力した画像に適用される重み係数が、ノード及びエッジに関連付けられて、図示せぬ重み係数記憶部に記憶されている。重み係数の値は、学習が進むにつれて変化していく。

＜中間層における処理＞
中間層５６２Ｂは、畳み込み演算及びプーリング処理によって特徴量を算出する。畳み込み層５６４で行われる畳み込み演算はフィルタを使用した畳み込み演算により特徴マップを取得する処理であり、画像からのエッジ抽出等の特徴抽出の役割を担う。このフィルタを用いた畳み込み演算により、１つのフィルタに対して１チャンネル（１枚）の「特徴マップ」が生成される。「特徴マップ」のサイズは、畳み込みによりダウンスケーリングされる場合は、各層で畳み込みが行われるにつれて小さくなって行く。プーリング層５６５で行われるプーリング処理は畳み込み演算により出力された特徴マップを縮小（または拡大）して新たな特徴マップとする処理であり、抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。中間層５６２Ｂは、これらの処理を行う１または複数の層により構成することができる。なお、ＣＮＮ５６２はプーリング層５６５なしで構成されていてもよい。

ＣＮＮ５６２は、図４の（ｂ）部分に示す例のように全結合層５６６を含んでいてもよい。ＣＮＮ５６２の層構成は、畳み込み層５６４とプーリング層５６５とが１つずつ繰り返される場合に限らず、いずれかの層（例えば、畳み込み層５６４）が複数連続して含まれていてもよい。

図５は、図４に示したフィルタによる畳み込み処理の様子を示す図である。中間層５６２Ｂの最初（１番目）の畳み込み層では、複数の医療画像により構成される画像セット（学習時は学習用画像セット、部位認識時は部位認識用画像セット）とフィルタＦ_１との畳み込み演算が行われる。画像セットは、縦がＨ、横がＷの画像サイズを有するＮ枚（Ｎチャンネル）の画像により構成される。通常光画像を入力する場合、画像セットを構成する画像はＲ（赤色），Ｇ（緑色），Ｂ（青色）の３チャンネルの画像である。この画像セットと畳み込み演算されるフィルタＦ_１は、画像セットがＮチャンネル（Ｎ枚）であるため、例えばサイズ５（５×５）のフィルタの場合、フィルタサイズは５×５×Ｎのフィルタになる。このフィルタＦ_１を用いた畳み込み演算により、１つのフィルタＦ_１に対して１チャンネル(１枚)の「特徴マップ」が生成される。２番目の畳み込み層で使用されるフィルタＦ_２は、例えばサイズ３（３×３）のフィルタの場合、フィルタサイズは３×３×Ｍになる。

１番目の畳み込み層と同様に、２番目からｎ番目の畳み込み層ではフィルタＦ_２～Ｆ_ｎを用いた畳み込み演算が行われる。ｎ番目の畳み込み層における「特徴マップ」のサイズが、２番目の畳み込み層における「特徴マップ」のサイズよりも小さくなっているのは、前段までの畳み込み層またはプーリング層によりダウンスケーリングされているからである。

中間層５６２Ｂの層のうち、入力側に近い畳み込み層では低次の特徴抽出（エッジの抽出等）が行われ、出力側に近づくにつれて高次の特徴抽出（認識対象の形状、構造等に関する特徴の抽出）が行われる。

なお、中間層５６２Ｂは畳み込み層５６４及びプーリング層５６５の他にバッチノーマライゼーションを行う層を含んでいてもよい。バッチノーマライゼーション処理は学習を行う際のミニバッチを単位としてデータの分布を正規化する処理であり、学習を速く進行させる、初期値への依存性を下げる、過学習を抑制する等の役割を担う。

出力層５６２Ｃは、中間層５６２Ｂが算出した特徴量を、部位認識に即した形式で出力する。出力層５６２Ｃは全結合層を含んでいてもよい。

なお、関心領域認識部２２２による関心領域認識処理と器具情報認識部２２４による器具情報認識処理は共通のニューラルネットワークにより行ってもよいし、別個のニューラルネットワークにより行ってもよい。

＜生検ターゲット領域の識別表示＞
内視鏡システム等を用いて範囲的な疾患を観察する場合、病状の進行が進んでいる領域を生検し病理検査の対象とすることが多い。この際、医療画像処理装置で生検ターゲット領域（関心領域等）を検出し、生検に適した領域を表示することが行われる。しかし、器具（処置具）を用いて生検する場合、器具を挿入した時点で医師は生検位置を把握しており、その状態でもターゲット領域に対する識別表示（識別力）を維持すると（後述する図９を参照）、医師の生検を妨げる恐れがある。そこで本発明では、以下に詳細を説明するように、観察画像における器具情報を認識して、観察画像を、生検ターゲット領域（関心領域）が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる。

なお、本発明において「識別力」とは、「観察画像を視認した医師等のユーザが、関心領域を他の領域と識別できること」を意味する。ユーザは、識別力が高いほど、関心領域を他の領域と明確に識別することができる。また、「識別表示」とは関心領域の識別力を高めた状態で観察画像を表示することを意味し、具体的には、後述する表示例で示すように、関心領域自体の強調（例えば塗りつぶし、輪郭表示）や関心領域を示す情報（例えば関心領域を囲む枠の表示、関心領域を示す図形や記号の表示）が含まれる。

＜医療画像処理方法の各処理＞
図６は、第１の実施形態に係る医療画像処理方法（医療画像処理装置の作動方法）の手順を示すフローチャートである。なお、学習用データを用いたＣＮＮ５６２の学習を実行済みであるものとする。

＜生検状態等の定義＞
画像処理部２０４は、操作部２０８を介したユーザの操作に応じて生検状態等の定義を設定する（ステップＳ１００：定義設定工程）。ユーザは、図７に例示する画面７００（モニタ４００に表示される）を介して設定操作を行うことができる。

画面７００は、ラジオボタン及び数値入力領域が配置された領域７０２，７１０，７２０を有する。ユーザは、ラジオボタンを操作することにより各項目による判断を行うか否かを設定することができ、また、各項目の判断基準となる数値を入力することができる。例えば、ユーザは領域７０２（生検状態の定義をする領域）において「器具挿入ＸＸｍｍ以上」のラジオボタン７０３Ａをオンにし、領域７０３Ｂに数値（図７の例では１０ｍｍ）を入力することにより、「器具挿入量が１０ｍｍ以上である場合に、生検状態（処置状態）と判断する」ことを設定することができる。なお、器具情報認識部２２４は、観察画像で器具と関心領域の距離がゼロ、あるいはしきい値以下の場合に「器具と関心領域が重なっている」と判断することができる。

同様に、ユーザは器具と関心領域の距離、及び器具の使用状態（操作状態）により生検状態を判断することを設定できる。なお、「器具が使用状態（操作状態）である」には、例えば鉗子の刃が開いている場合や、スネアのワイヤーの環が縮んでいる場合が含まれる（後述する図９～１５を参照）。また、器具の種類（鉗子、スネア、ブラシ等）に応じて異なる定義を設定してもよい。

ユーザは、生検状態（領域７０２）、生検準備状態（領域７１０）、及び非生検状態（領域７２０）についてこのような操作を行うことができる。なお、図７では器具情報を「生検状態（処置状態）」、「生検準備状態（処置前状態）」、「非生検状態（非処置状態）」の３段階に分ける例を示しているが、生検状態と非生検状態の２段階に分けてもよい。

ユーザは、このような判断基準のオン／オフや数値の入力を複数の項目について行うことができ、オンにした項目が複数ある場合は、器具情報認識部２２４（プロセッサ）は、それらの項目に対応する条件が全て満たされた場合に「生検状態（あるいは、生検準備状態、非生検状態）である」と判断することができる。図７の例では、器具情報認識部２２４は、器具挿入量が１０ｍｍ以上であり、器具と関心領域の距離が１０ｍｍ未満であり、器具が使用状態である場合に「生検状態である」と判断することができる。

＜識別表示の態様設定＞
表示制御部２２６（プロセッサ）は、操作部２０８を介したユーザの操作に応じて識別表示の態様を設定する（ステップＳ１１０：表示制御工程）。ユーザは、図８に例示する画面７５０（モニタ４００に表示される）を介して設定操作を行うことができる。

図８に示すように、画面７５０は、ラジオボタンが配置された領域７６０，７７０，７８０を有する。これらの領域は、それぞれ、生検状態、生検準備状態、及び非生検状態での識別表示の態様を設定するための領域であり、ユーザは、各領域でラジオボタンを操作することにより識別表示の態様を設定することができる。生検状態についての領域７６０にはラジオボタン７６０Ａ～７６０Ｄが設けられており、例えばラジオボタン７６０Ａをオンにすると、生検状態において関心領域は点線で輪郭表示される。同様に、ユーザは領域７７０，７８０のラジオボタンで生検準備状態、非生検状態での識別表示の態様を設定することができる。

ユーザは上述したラジオボタン等の操作により、生検状態及び生検準備状態では非生検状態よりも関心領域の識別力が低下するような識別表示の態様を設定することができる。また、ユーザは、生検状態では生検準備状態よりも識別力が低下するように設定してもよい。器具情報認識部２２４（プロセッサ）は、ユーザの設定では生検状態及び生検準備状態での識別力が非生検状態での識別力よりも低下していない場合に警告のメッセージを出力してもよいし、いずれかの状態で表示態様が設定されたら他の状態での表示態様を連動して設定してもよい（生検状態及び生検準備状態では非生検状態よりも関心領域の識別力を低下させる）。

このように、内視鏡システム１０（内視鏡システム）では、ユーザは必要に応じて生検状態等の定義及び識別表示の態様を設定できる。なお、生検状態等の定義及び識別表示の態様の設定は医療画像処理の開始時だけでなく、処理の間に任意のタイミングで行って良い。さらに、生検状態等の定義及び識別表示の態様の設定を、ユーザの操作によらずに内視鏡システム１０が自動的に行ってもよい。

＜内視鏡画像の取得＞
医療画像取得部２２０（プロセッサ）は、時系列の内視鏡画像（観察画像、医療画像）を取得する（ステップＳ１２０：画像取得工程、画像取得処理）。医療画像取得部２２０は、内視鏡スコープ１００で撮影された内視鏡画像を取得してもよいし、記録部２０７に記録された内視鏡画像を取得してもよい。記録制御部２２８は、取得した内視鏡画像を記録部２０７に記録することができる。

＜関心領域及び器具情報の認識＞
関心領域認識部２２２（プロセッサ）は、ＣＮＮ５６２により、観察画像から関心領域を認識する（ステップＳ１３０：関心領域認識工程、関心領域認識処理）。また、器具情報認識部２２４（プロセッサ）ＣＮＮ５６２により、観察画像から器具情報を認識する（ステップＳ１４０：器具情報認識工程、器具情報認識処理）。器具情報は、内視鏡スコープ１００の鉗子口１２６に連通する管路に挿通された器具が被検体内に挿入されているか、被検体内に挿入された器具の種類、挿入の長さ（被検体内に挿入されている器具の長さ）、被検体内に挿入されている器具の操作状態、被検体内に挿入されている器具と関心領域の距離、観察画像で器具と関心領域が重なっているか否か、のうち少なくとも１つを含む。関心領域認識部２２２及び器具情報認識部２２４は、上述の認識において内視鏡スコープ１００の個体情報を参照してもよい。

＜生検状態等の判断＞
器具情報認識部２２４は、図７で設定した定義及び判断基準となる数値、及びステップＳ１４０で認識した器具情報に基づいて、生検状態または生検準備状態であるか否かを判断する（ステップＳ１５０：状態判断工程）。生検状態または生検準備状態である場合（ステップＳ１５０でＹＥＳ）、表示制御部２２６は、図８で設定した態様にしたがって、生検状態の場合は生検状態の識別表示態様を、生検準備状態の場合は生検準備状態の識別表示態様を設定する（ステップＳ１６０：表示制御工程）。非生検状態である場合（ステップＳ１５０でＮＯ）は、表示制御部２２６は、図８で設定した態様にしたがって非生検状態の識別表示態様を設定する（ステップＳ１７０：表示制御工程）。なお、そもそも関心領域が認識されていない場合は、識別表示を行う必要がない。

＜観察画像の識別表示＞
表示制御部２２６（プロセッサ）は、観察画像を、関心領域が器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる（ステップＳ１８０：表示制御工程）。

図９は、生検ターゲット範囲（関心領域）の識別表示の例である。同図に示す観察画像８００において、領域８３０は真の関心領域であり（領域８３０の境界は説明の便宜上表示したものである；以下同様）、領域８５０は関心領域認識部２２２（ＣＮＮ５６２）が認識（検出）した関心領域である。同図に示す状態では器具は挿入されておらず、非生検状態（非使用状態、非操作状態）である。同図において表示制御部２２６は領域８５０を塗りつぶし表示しており、関心領域の識別力が高いが、上述のように、生検状態や生検準備状態でもこのような識別表示が継続すると医師の妨げとなる恐れがある。そこで本実施形態では、生検状態及び生検準備状態において、以下に例示するように非生検状態よりも関心領域の識別力を低下させた識別表示を行う。なお、これらの識別表示は、生検以外の処置（ＥＳＤやＥＭＲ等）の場合も同様に行うことができる。

（表示例：その１）
図１０は、関心領域の識別力を低下させて観察画像を表示した例を示す図（器具（処置具）の一例である鉗子９００が挿入された生検準備状態）である。図１０の（ａ）部分は観察画像８０２において関心領域の一部に矢印８５２（記号）を重畳表示させた例であり、同図の（ｂ）部分は観察画像８０４において領域８５０（関心領域）を輪郭表示した例であり、同図の（ｃ）部分は観察画像８０６において関心領域の一部に円形の図形８５４（図形）を重畳表示した例を示す。重畳表示する図形は、中サイズ（図８の領域７７０の「一部表示（中）」を参照）である。なお、重畳表示するのは、これらの例に示す図形や記号に限らず文字や数字でもよい。また、表示制御部２２６は、関心領域を囲む枠（バウンディングボックス等）を観察画像に重畳表示してもよい。表示制御部２２６は、生検状態では、重畳表示する文字や数字、記号の数を減らす、実線を点線にする、等により重畳表示の識別力を生検準備状態より低下させることができる。また、表示制御部２２６は、生検状態においては重畳表示の識別力を低下させる他に関心領域の色彩及び／または明るさを変化させる、等により生検準備状態より関心領域の識別力を低下させてもよい。

（表示例：その２）
図１１は器具と関心領域との距離に応じた識別表示の例を示す図である。図１１の（ａ）部分に示す状態では、観察画像８０８において鉗子９００（器具、処置具）と関心領域（真の関心領域８３２，関心領域認識部２２２が認識した関心領域８３４）の距離が遠いので、関心領域８３４は輪郭表示されているが、同図の（ｂ）部分に示す状態では、観察画像８１０において鉗子９００と関心領域の距離が近いので、図形８３５（図形）により関心領域の割合を小さく表示して識別力を低下させている。なお、図１１の（ｂ）部分では関心領域８３４の輪郭を点線で示しているが、この点線は関心領域の割合を小さく表示していることを示すための参考線なので、実際にモニタ４００に表示する必要はない。

（表示例：その３）
図１２は器具の操作状態に応じた識別表示の例を示す図である。図１２の（ａ）部分に示す状態では、観察画像８１２において鉗子９００Ａが挿入されているが刃が閉じている（非操作状態）ので、器具情報認識部２２４は「生検準備状態である」と判断することができる。そこで、表示制御部２２６は関心領域８３６（関心領域認識部２２２が認識した関心領域；真の関心領域は、関心領域８３２である）を塗りつぶし表示して識別力を高めている。これに対し、図１２の（ｂ）部分に示す状態では観察画像８１４において鉗子９００Ｂの刃が開いている（操作状態）ので、器具情報認識部２２４は「生検状態である」と判断することができ、これにより表示制御部２２６は関心領域８３８を輪郭表示にして識別力を低下させている。

（表示例：その４）
図１３は器具の操作状態に応じた識別表示の他の例を示す図である。図１３の（ａ）部分に示す状態では、観察画像８１６においてスネア９０２（器具、処置具）が挿入されているが、ワイヤーの輪９０２Ａが関心領域８４０（病変）に引っかかっていないため、器具情報認識部２２４は「生検準備状態である」と判断することができる。そこで、表示制御部２２６は関心領域８４０に図形８６６Ａ（図形）を重畳表示して識別力を高めている。これに対し、図１３の（ｂ）部分に示す状態では、観察画像８１８において輪９０２Ａが関心領域に引っかかりはじめているため、器具情報認識部２２４は「生検状態である」と判断することができる。そこで、表示制御部２２６は関心領域８４０に小さな円形の図形８６６Ｂ（図形）を重畳表示して、同図の（ａ）部分に示す状態よりも識別力を低下させている。

なお、図１３の（ｂ）部分に示す状態において、器具情報認識部２２４は「器具が関心領域に重なっている（距離がしきい値以下である）」と判断してもよい。

（表示例：その５）
図１４は、器具の操作状態に応じた識別表示のさらに他の例を示す図である。図１４の（ａ）部分に示す状態では、観察画像８２０においてスネア９０２（器具、処置具）が挿入されておりワイヤーの輪９０２Ａが関心領域８４０（病変）に引っかかっているが、輪９０２Ａが開いた状態なので、器具情報認識部２２４は「生検準備状態である」と判断することができる。そこで、表示制御部２２６は関心領域８４０に図形８６８Ａ（図形）を重畳表示して識別力を高めている。これに対し、図１４の（ｂ）部分に示す状態では、観察画像８２２において輪９０２Ａが閉じかけているため、器具情報認識部２２４は「生検状態である」と判断することができる。そこで、表示制御部２２６は関心領域８４０に矢印８６９Ａ（記号）及び点８６９Ｂ（図形、記号）を重畳表示して、同図の（ａ）部分に示す状態よりも識別力を低下させている。

（表示例：その６）
図１５は、器具の操作状態に応じた識別表示のさらに他の例を示す図である。図１５の（ａ）部分に示す状態では、ブラシ９０４（器具）が関心領域８４２から遠いため器具情報認識部２２４は「生検準備状態である」と判断することができ、表示制御部２２６は関心領域８４２に図形８７０Ａ（図形）を重畳表示して識別力を高めている。これに対し、図１５の（ｂ）部分に示す状態では、観察画像８２６においてブラシ９０４が関心領域８４２に近いため、器具情報認識部２２４は「生検状態である」と判断することができ、表示制御部２２６は関心領域８４２に矢印８７０Ｂ（記号）及び点８７０Ｃ（図形、記号）を重畳表示して、同図の（ａ）部分に示す状態よりも識別力を低下させている。

なお、上述した表示例において、表示制御部２２６は非生検状態と比較して塗りつぶし、輪郭、記号等の色彩及び／または明るさを変化させることにより生検状態、生検準備状態の識別力を低下させてもよい。

ＣＰＵ２１０及び画像処理部２０４は、観察が終了するまで（ステップＳ１９０でＮＯの間）、ステップＳ１２０～Ｓ１８０の処理を繰り返す。

以上説明したように、第１の実施形態に係る医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラムによれば、ユーザは必要に応じて生検状態等の定義及び識別表示の態様を設定でき、器具情報認識部２２４が器具の情報を認識し、表示制御部２２６が認識結果に基づいて観察画像の識別表示を行うことにより、関心領域を適切な識別力で表示することができる。

（付記）
上述した態様に加えて、以下に記載の構成も本発明の範囲に含まれる。

（付記１）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき領域である注目領域を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記２）
医療画像解析処理部は、医療画像の画素の特徴量に基づいて、注目すべき対象の有無を検出し、
医療画像解析結果取得部は、医療画像解析処理部の解析結果を取得する医療画像処理装置。

（付記３）
医療画像解析結果取得部は、
医療画像の解析結果を記録する記録装置から取得し、
解析結果は、医療画像に含まれる注目すべき領域である注目領域と、注目すべき対象の有無のいずれか、もしくは両方である医療画像処理装置。

（付記４）
医療画像は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得た通常光画像である医療画像処理装置。

（付記５）
医療画像は、特定の波長帯域の光を照射して得た画像であり、
特定の波長帯域は、白色の波長帯域よりも狭い帯域である医療画像処理装置。

（付記６）
特定の波長帯域は、可視域の青色もしくは、緑色帯域である医療画像処理装置。

（付記７）
特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記８）
特定の波長帯域は、可視域の赤色帯域である医療画像処理装置。

（付記９）
特定の波長帯域は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有する医療画像処理装置。

（付記１０）
特定の波長帯域は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する医療画像処理装置。

（付記１１）
特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１２）
医療画像は生体内を写した生体内画像であり、
生体内画像は、生体内の蛍光物質が発する蛍光の情報を有する医療画像処理装置。

（付記１３）
蛍光は、ピークが３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る医療画像処理装置。

（付記１４）
医療画像は生体内を写した生体内画像であり、
特定の波長帯域は、赤外光の波長帯域である医療画像処理装置。

（付記１５）
特定の波長帯域は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有する医療画像処理装置。

（付記１６）
医療画像取得部は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の情報を有する特殊光画像を取得する特殊光画像取得部を備え、
医療画像は特殊光画像である医療画像処理装置。

（付記１７）
特定の波長帯域の信号は、通常光画像に含まれるＲＧＢあるいはＣＭＹの色情報に基づく演算により得る医療画像処理装置。

（付記１８）
白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備え、
医療画像は特徴量画像である医療画像処理装置。

（付記１９）
付記１から１８のいずれか１つに記載の医療画像処理装置と、
白色の波長帯域の光、または、特定の波長帯域の光の少なくともいずれかを照射して画像を取得する内視鏡と、
を備える内視鏡装置。

（付記２０）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える診断支援装置。

（付記２１）
付記１から１８のいずれか１つに記載の医療画像処理装置を備える医療業務支援装置。

以上で本発明の実施形態及び他の例に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。

１０ 内視鏡システム
１００ 内視鏡スコープ
１０２ 手元操作部
１０４ 挿入部
１０６ ユニバーサルケーブル
１０８ ライトガイドコネクタ
１１２ 軟性部
１１４ 湾曲部
１１６ 先端硬質部
１１６Ａ 先端側端面
１２３ 照明部
１２３Ａ 照明用レンズ
１２３Ｂ 照明用レンズ
１２６ 鉗子口
１３０ 撮影光学系
１３２ 撮影レンズ
１３４ 撮像素子
１３６ 駆動回路
１３８ ＡＦＥ
１３９ スコープ情報記録部
１４１ 送気送水ボタン
１４２ 吸引ボタン
１４３ 機能ボタン
１４４ 撮影ボタン
１７０ ライトガイド
２００ 医療画像処理装置
２０２ 画像入力コントローラ
２０４ 画像処理部
２０５ 通信制御部
２０６ ビデオ出力部
２０７ 記録部
２０８ 操作部
２０９ 音声処理部
２０９Ａ スピーカ
２１０ ＣＰＵ
２１１ ＲＯＭ
２１２ ＲＡＭ
２２０ 医療画像取得部
２２２ 関心領域認識部
２２４ 器具情報認識部
２２６ 表示制御部
２２８ 記録制御部
２３０ スコープ情報取得部
３００ 光源装置
３１０ 光源
３１０Ｂ 青色光源
３１０Ｇ 緑色光源
３１０Ｒ 赤色光源
３１０Ｖ 紫色光源
３３０ 絞り
３４０ 集光レンズ
３５０ 光源制御部
４００ モニタ
５６２Ａ 入力層
５６２Ｂ 中間層
５６２Ｃ 出力層
５６４ 畳み込み層
５６５ プーリング層
５６６ 全結合層
７００ 画面
７０２ 領域
７０３Ａ ラジオボタン
７０３Ｂ 領域
７１０ 領域
７２０ 領域
７５０ 画面
７６０ 領域
７６０Ａ ラジオボタン
７６０Ｂ ラジオボタン
７６０Ｃ ラジオボタン
７６０Ｄ ラジオボタン
７７０ 領域
７８０ 領域
８００ 観察画像
８０２ 観察画像
８０４ 観察画像
８０６ 観察画像
８０８ 観察画像
８１２ 観察画像
８１４ 観察画像
８１６ 観察画像
８１８ 観察画像
８２２ 観察画像
８２６ 観察画像
８３０ 領域
８３２ 関心領域
８３４ 関心領域
８３５ 図形
８３６ 関心領域
８３８ 関心領域
８４０ 関心領域
８４２ 関心領域
８５０ 領域
８５２ 矢印
８５４ 図形
８６６Ａ 図形
８６６Ｂ 図形
８６８Ａ 図形
８６９Ａ 矢印
８６９Ｂ 点
８７０Ａ 図形
８７０Ｂ 矢印
８７０Ｃ 点
９００ 鉗子
９００Ａ 鉗子
９００Ｂ 鉗子
９０２ スネア
９０２Ａ 輪
９０４ ブラシ
Ｆ _１ フィルタ
Ｆ _２ フィルタ
Ｓ１００～Ｓ１９０ 医療画像処理方法の各ステップ

Claims (15)

1. プロセッサを備える医療画像処理装置であって、
   前記プロセッサは、
   被検体の観察画像を取得する画像取得処理と、
   前記観察画像から関心領域を認識する関心領域認識処理と、
   前記観察画像から前記被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識処理と、
   前記観察画像を、前記関心領域が前記器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御処理と、
   を行い、
   前記器具情報認識処理において、前記器具情報に基づいて、前記器具による処置の状態を判断し、
   前記表示制御処理において、前記判断の結果に基づいて前記識別表示を行う、
   医療画像処理装置。
2. 前記プロセッサは、
   前記器具情報認識処理において、前記器具情報に基づいて、前記器具による処置の状態が前記関心領域に対し処置が行われている処置状態、前記処置の準備がされている処置前状態、前記処置状態及び前記処置前状態以外の状態である非処置状態のいずれであるかを判断し、
   前記表示制御処理において、前記処置状態及び前記処置前状態では、前記非処置状態よりも前記識別力を低下させて前記観察画像を表示させる請求項１に記載の医療画像処理装置。
3. 前記プロセッサは、
   前記表示制御処理において、前記処置状態では、前記処置前状態よりも前記識別力を低下させて前記観察画像を表示させる請求項２に記載の医療画像処理装置。
4. 前記プロセッサは、
   前記器具情報認識処理において、前記器具が挿入されているか、挿入された前記器具の種類、前記挿入の長さ、前記器具の操作状態、前記器具と前記関心領域の距離、前記観察画像で前記器具と前記関心領域が重なっているか否か、のうち少なくとも１つを含む前記器具情報に基づいて、前記処置状態、前記処置前状態、及び前記非処置状態のうちいずれであるかを判断する請求項２または３に記載の医療画像処理装置。
5. 前記プロセッサは、
   前記表示制御処理において、前記処置状態及び／または前記処置前状態では、前記関心領域を囲む枠を前記観察画像に重畳表示させる請求項２から４のいずれか１項に記載の医療画像処理装置。
6. 前記プロセッサは、
   前記表示制御処理において、前記処置状態及び前記処置前状態では、前記関心領域を示す記号を前記観察画像に重畳表示させる請求項２から５のいずれか１項に記載の医療画像処理装置。
7. 前記プロセッサは、
   前記表示制御処理において、前記処置状態及び前記処置前状態では、前記観察画像において前記関心領域の一部に文字、図形、記号のうち少なくとも１つを重畳表示させる請求項２から６のいずれか１項に記載の医療画像処理装置。
8. 前記プロセッサは、
   前記処置状態及び前記処置前状態では、前記非処置状態と比較して前記重畳表示の識別力を低下させる請求項５から７のいずれか１項に記載の医療画像処理装置。
9. 前記プロセッサは、
   前記表示制御処理において、前記処置状態及び前記処置前状態では、前記非処置状態と比較して前記関心領域の色彩及び／または明るさを変化させて前記観察画像を表示させる請求項２から８のいずれか１項に記載の医療画像処理装置。
10. 請求項１から９のいずれか１項に記載の医療画像処理装置と、
    前記観察画像を表示する前記表示装置と、
    前記被検体に挿入される内視鏡スコープであって、前記観察画像を撮影する撮影部を有する内視鏡スコープと、
    を備える内視鏡システム。
11. プロセッサを備える医療画像処理装置の作動方法であって、
    前記プロセッサは、
    被検体の観察画像を取得する画像取得工程と、
    前記観察画像から関心領域を認識する関心領域認識工程と、
    前記観察画像から前記被検体の処置に用いられる器具の情報である器具情報を認識する器具情報認識工程と、
    前記観察画像を、前記関心領域が前記器具情報の認識結果に応じた識別力を有する態様で、表示装置に識別表示させる表示制御工程と、
    を実行し、
    前記器具情報認識工程において、前記器具情報に基づいて、前記器具による処置の状態を判断し、
    前記表示制御工程において、前記判断の結果に基づいて前記識別表示を行う作動方法。
12. 前記プロセッサは、
    前記器具情報認識工程においては、前記器具情報に基づいて、前記器具により前記関心領域に対し処置が行われている処置状態、前記処置の準備がされている処置前状態、前記処置状態及び前記処置前状態以外の状態である非処置状態のいずれであるかを判断させ、
    前記表示制御工程においては、前記処置状態及び前記処置前状態では、前記非処置状態よりも前記識別力を低下させて前記観察画像を前記表示装置に表示させる請求項１１に記載の作動方法。
13. 前記プロセッサは、
    前記表示制御工程においては、前記処置状態では、前記処置前状態よりも前記識別力を低下させて前記観察画像を表示させる請求項１２に記載の作動方法。
14. 前記プロセッサは、
    前記器具情報認識工程では、前記器具が挿入されているか、挿入された前記器具の種類、前記挿入の長さ、前記器具の操作状態、前記器具と前記関心領域の距離、前記観察画像で前記器具と前記関心領域が重なっているか否か、のうち少なくとも１つを含む前記器具情報に基づいて、前記処置状態、前記処置前状態、及び前記非処置状態のうちいずれであるかを判断する請求項１２または１３に記載の作動方法。
15. 請求項１１から１４のいずれか１つに記載の作動方法をコンピュータに実行させる医療画像処理プログラム。

Images