WO2020040087A1 - 医療画像処理システム - Google Patents

Abstract

医療画像から注目領域を検出する場合において、注目領域の見落としを防止し、且つ、医療画像から注目領域が消失した場合であっても、注目領域の消失方向を把握することができる医療画像処理システムを提供する。　注目領域検出部（４１）は、医療画像から注目領域を検出する。表示制御部（３７）は、注目領域の移動に従って、注目領域の位置が変化した場合に、注目領域の位置が変化する前に注目領域検出部にて検出された注目領域の検出位置に対して、注目領域の検出結果をモニタ（３４）に表示することを一定時間の間維持する。

Description

医療画像処理システム

　本発明は、医療画像の解析結果を用いる医療画像処理システムに関する。

　現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムなどのように、医療画像を用いる医療画像処理システムが普及している。また、近年においては、医療画像から病変部の可能性のある注目領域を抽出し、抽出した注目領域に対して画像解析を行うことによって、病態に関する診断情報を取得することが行われている。

　例えば、特許文献１では、医療画像から検出した注目領域の画像を保存しておき、医療画像上から注目領域が途絶したタイミングで、医療画像を表示する観察領域とは別の領域に、保存しておいた注目領域の画像を表示している。また、特許文献２では、注目領域が検出された場合において、注目領域が検出されたことを示すアラート情報を一定時間の間表示するようにしている。

国際公開第２０１７／２１６９２２号 特開２０１１－１６０８４８号公報

　特許文献２に示すように、アラート情報を一定時間の間表示することで、ユーザーによる注目領域の見落としを防止することができる。しかしながら、注目領域が医療画像上で一瞬しか映らないような場合には、アラート情報の表示で注目領域の見落としは防ぐことはできるものの、アラート表示は医療画像の周縁部全体に表示されるものであるため、注目領域がどの方向に消失したかについてまでは把握することができない。そのため、ユーザーは注目領域の消失方向の把握に時間を要するため、診断を確実に行うことができないおそれがある。

　本発明は、医療画像から注目領域を検出する場合において、注目領域の見落としを防止し、且つ、医療画像から注目領域が消失した場合であっても、注目領域の消失方向を把握することができる医療画像処理システムを提供することを目的とする。

　本発明の医療画像処理システムは、医療画像取得部と、注目領域検出部と、表示制御物を備えている。医療画像取得部は、観察対象を撮像して得られる医療画像を取得する。注目領域検出部は、医療画像から注目領域を検出する。表示制御部は、注目領域の移動に従って、注目領域の位置が変化した場合に、注目領域の位置が変化する前に注目領域検出部にて検出された注目領域の検出位置に対して、注目領域の検出結果を表示部に表示することを一定時間の間維持する。

　表示制御部は、注目領域の検出位置のうち特定の検出位置において注目領域の検出結果の表示を一定時間の間維持することが好ましい。表示制御部は、注目領域が検出されたタイミングによって、注目領域の検出結果の表示態様を変化させることが好ましい。

　注目領域の検出結果の表示態様は、注目領域を少なくとも含む図形で表した注目領域用図形であり、表示制御部は、注目領域が検出されたタイミングによって、注目領域用図形の表示態様を変化させることが好ましい。注目領域用図形の表示態様には、注目領域用図形の形状、大きさ、色、又は、注目領域用図形の線の強調度合いを含むことが好ましい。

　注目領域の検出結果の表示態様は、注目領域を強調した注目領域強調表示であり、表示制御部は、注目領域が検出されたタイミングによって、注目領域強調表示の強調度合いを変化させることが好ましい。注目領域強調表示には、注目領域を疑似カラーで強調した疑似カラー強調表示を含み、表示制御部は、注目領域が検出されたタイミングによって、注目領域強調表示の強調度合い又は色成分の割合を変化させることが好ましい。

　表示制御部は、医療画像を表示する前記表示部の第１表示領域、又は、医療画像を表示する表示部の第１表示領域と異なる第２表示領域の少なくとも一方に、注目領域の検出結果を表示することが好ましい。第１表示領域で表示する注目領域の検出結果の表示態様と、第２表示領域で表示する注目領域の検出結果の表示態様とは同じ又は異なっていることが好ましい。表示制御部は、医療画像を表示する表示部の第１表示領域の外周部のうち注目領域の検出位置に対応する部分に、注目領域の検出結果を表示することが好ましい。

　本発明によれば、医療画像から注目領域を検出する場合において、注目領域の見落としを防止し、且つ、医療画像から注目領域が消失した場合であっても、注目領域の消失方向を把握することができる。

画像処理システムと内視鏡システムなどを示すブロック図である。 内視鏡システムを示すブロック図である。 医療画像解析処理部の機能を示すブロック図である。 タイミングＴ（Ｎ）、タイミングＴ（Ｎ－Ｑ）、タイミングＴ（Ｎ－Ｓ）の医療画像を示す説明図である。 注目領域が医療画像上にある場合において、注目領域の各検出位置で一定時間の間表示されるバウンディングボックスを示す説明図である。 注目領域が医療画像から消失した場合において、注目領域の各検出位置で一定時間の間表示されるバウンディングボックスを示す画像図である。 バウンディングボックスの連続表示を表す医療画像の画像図である。 複数の検出位置のうちいくつかの検出位置を間引いて特定の検出位置のみバウンディングボックスを表示する医療画像の画像図である。 注目領域の検出タイミングによってバウンディングボックスの枠の濃度を変化させた医療画像の画像図である。 注目領域の検出タイミングによってバウンディングボックスの表示態様を変化させた医療画像の画像図である。 注目領域の検出タイミングによって注目領域用図形の形状を変化させた医療画像の画像図である。 注目領域が医療画像上にある場合において、一定時間の間表示される疑似カラー強調表示を示す説明図である。 注目領域が医療画像上にある場合において、一定時間の間連続表示される疑似カラー強調表示を示す説明図である。 注目領域が医療画像から消失場合において、一定時間の間連続表示される疑似カラー強調表示を示す説明図である。 注目領域の検出タイミングによって疑似カラー強調表示の強調度合いを変化させた医療画像の画像図である。 第２表示領域に表示されるバウンディングボックスを示すモニタの画像図である。 第１表示領域に表示されるバウンディングボックスと第２表示領域に表示される疑似カラー強調表示とを示すモニタの画像図である。 第１表示領域の左下外周部に表示されるバーを示すモニタの画像図である。 画像処理システムを含む診断支援装置を示す概略図である。 画像処理システムを含む医療業務支援装置を示す概略図である。

　［第１実施形態］
　図１に示すように、画像処理システム１０は、医療画像取得部１１、医療画像解析処理部１２、表示部１３、表示制御部１５、入力受信部１６、統括制御部１７、及び、保存部１８を備える。

　医療画像取得部１１は、医療装置である内視鏡システム２１等から直接に、または、ＰＡＣＳ（Picture Archiving and Communication System）２２等の管理システムもしくはその他情報システムを介して、被写体像を含む医療画像を取得する。医療画像は静止画像または動画（いわゆる検査動画）である。医療画像が動画である場合、医療画像取得部１１は、検査後に動画を構成するフレーム画像を静止画像として取得することができる。また、医療画像が動画である場合、医療画像の表示には、動画を構成する１つの代表フレームの静止画像を表示することのほか、動画を１または複数回、再生することを含む。また、医療画像取得部１１が取得する医療画像には、内視鏡システム２１等の医療装置を用いて医師が撮影した画像の他、内視鏡システム２１等の医療装置が医師の撮影指示に依らず自動的に撮影した画像を含む。なお、本実施形態では、画像処理システム１０及び内視鏡システム２１ともに医療画像を用いて画像処理を行うことから、画像処理システム１０及び内視鏡システム２１はいずれも医療画像処理システムに相当する。医療画像システムとしては、その他、リアルタイムに画像を取得して表示する超音波診断装置も含まれる。

　医療画像取得部１１は、複数の医療画像を取得し得る場合、これらの医療画像のうち１または複数の医療画像を選択的に取得できる。また、医療画像取得部１１は、複数の互いに異なる検査において取得した複数の医療画像を取得できる。例えば、過去に行った検査で取得した医療画像と、最新の検査で取得した医療画像と、の一方または両方を取得できる。すなわち、医療画像取得部１１は、任意に医療画像を取得できる。

　本実施形態においては、被写体像を含む医療画像を複数取得する。より具体的には、１回の特定の検査において撮影した医療画像を取得し、かつ、１回の特定の検査において撮影した医療画像が複数ある場合には、一連の医療画像のうち複数の医療画像を取得する。また、本実施形態においては、画像処理システム１０は、内視鏡システム２１と接続し、内視鏡システム２１から医療画像を取得する。すなわち、本実施形態において医療画像は、内視鏡画像である。

　表示部１３は、医療画像取得部１１が取得した医療画像、及び、医療画像解析処理部１２の解析結果を表示するディスプレイである。画像処理システム１０が接続するデバイス等が含むモニタまたはディスプレイを共用し、画像処理システム１０の表示部１３として使用できる。表示制御部１５は、表示部１３における医療画像及び解析結果の表示態様を制御する。

　入力受信部１６は、画像処理システム１０に接続するマウス、キーボード、その他操作デバイスからの入力を受け付ける。画像処理システム１０の各部の動作はこれらの操作デバイスを用いて制御できる。

　統括制御部１７は、画像処理システム１０の各部の動作を統括的に制御する。入力受信部１６が操作デバイスを用いた操作入力を受信した場合には、統括制御部１７は、その操作入力にしたがって画像処理システム１０の各部を制御する。

　保存部１８は、画像処理システム１０が含むメモリ等の記憶デバイス（図示しない）、または、内視鏡システム２１等の医療装置もしくはＰＡＣＳ２２が含む記憶デバイス（図示しない）に、医療画像の静止画等を保存する。

　図２に示すように、本実施形態において画像処理システム１０が接続する内視鏡システム２１は、白色の波長帯域の光もしくは特定の波長帯域の光の少なくともいずれかを照射して被写体を撮影することにより画像を取得する内視鏡３１、内視鏡３１を介して被写体内に照明光を照射する光源装置３２、プロセッサ装置３３、及び、内視鏡３１を用いて撮影した内視鏡画像等の医療画像を表示するモニタ３４を有する。内視鏡３１が照明光に使用する特定の波長帯域の光は、例えば、緑色波長帯域よりも短波長帯域の光、特に可視域の青色帯域または紫色帯域の光である。

　プロセッサ装置３３は、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７を備えている。医療画像取得部３５は、内視鏡３１から出力される医療画像を取得する。医療画像解析処理部３６は、医療画像取得部３５で取得した医療画像に対して、解析処理を行う。医療画像解析処理部３６での処理内容は、画像処理システム１０の医療画像解析処理部１２での処理内容と同様である。表示制御部３７は、医療画像解析処理部３６で得られた医療画像をモニタ３４（表示部）に表示する。プロセッサ装置３３は画像処理システム１０と接続される。なお、医療画像取得部３５は医療画像取得部１１と同様であり、医療画像解析処理部３６は医療画像解析処理部１２と同様であり、表示制御部３７は表示制御部１５と同様である。

　医療画像解析処理部３６は、医療画像取得部１１が取得した医療画像を用いて解析処理をする。図３に示すように、医療画像解析処理部１２は、注目領域検出部４１を含む。注目領域検出部４１では、医療画像から注目領域を検出する注目領域検出処理を行う。注目領域検出処理としては、例えば、ＮＮ（Neural Network）、ＣＮＮ（Convolutional Neural Network）、Adaboost、ランダムフォレストなどを用いてもよい。また、注目領域検出処理として、医療画像の色情報、画素値の勾配等で得られる特徴量を元に、注目領域の検出を行ってもよい。なお、画素値の勾配等は、例えば、被写体の形状（粘膜の大局的な起伏または局所的な陥凹もしくは隆起等）、色（炎症、出血、発赤、または萎縮に起因した白化等の色）、組織の特徴（血管の太さ、深さ、密度、もしくはこれらの組み合わせ等）、または、構造の特徴（ピットパターン等）等によって、変化が表れる。

　なお、注目領域検出部４１で検出される注目領域は、例えば、がんに代表される病変部、良性腫瘍部、炎症部（いわゆる炎症の他、出血または萎縮等の変化がある部分を含む）、大腸憩室、治療痕（ＥＭＲ（Endoscopic mucosal resection）瘢痕、ＥＳＤ（Endoscopic Submucosal Dissection）瘢痕、クリップ箇所）、出血点、穿孔、血管異形性、加熱による焼灼跡もしくは着色剤、蛍光薬剤等による着色によってマーキングしたマーキング部、または、生体検査（いわゆる生検）を実施した生検実施部を含む領域である。すなわち、病変を含む領域、病変の可能性がある領域、生検等の何らかの処置をした領域、クリップやかん子などの処置具、または、暗部領域（ヒダ（襞）の裏、管腔奥のため観察光が届きにくい領域）など病変の可能性にかかわらず詳細な観察が必要である領域等が注目領域になり得る。内視鏡システム２１においては、注目領域検出部４１は、病変部、良性腫瘍部、炎症部、大腸憩室、治療痕、出血点、穿孔、血管異形性マーキング部、または、生検実施部のうち少なくともいずれかを含む領域を注目領域として検出する。

　注目領域検出部４１で注目領域が検出されたことを示す注目領域の検出結果は、表示制御部３７によってモニタ３４に表示される。本実施形態では、図４に示すように、時間の経過とともに、同一の注目領域４４がモニタ３４の第１表示領域３４ａの右上から中央部を経て左下に移動する場合において、注目領域４４の移動経路が分かるように、注目領域の検出結果を表示する。ここで、タイミング（Ｎ）の医療画像４６は、最新の画像である。タイミングＴ（Ｎ－Ｑ）の医療画像４７はタイミング（Ｎ）よりも前のタイミングで取得した画像である。タイミングＴ（Ｎ－Ｓ）の医療画像４８は、タイミングＴ（Ｎ―Ｑ）よりも前のタイミングで取得した画像である。各医療画像において、同一の注目領域４４が注目領域検出部４１によって検出される。以下においては、注目領域４４の動きが右上、中央部、左下に移動した場合における注目領域の検出結果の表示について、説明を行う。

　なお、Ｎ、Ｑ、Ｓは２以上の自然数であって、ＮはＱ、Ｓよりも大きく、ＳはＱよりも大きい。また、モニタ３４の第１表示領域３４ａは、モニタ３４の中央部分に設けられ、医療画像を表示する領域である。モニタ３４の第２表示領域３４ｂは、第１表示領域３４ａと異なる表示領域であって、各種診断情報などを表示するための領域である。

　第１実施形態では、注目領域の検出結果を、注目領域を少なくとも含む図形で表した注目領域用図形によって表示する。注目領域用図形としては、例えば、矩形状のバウンディングボックスを用いる。図５に示すように、タイミングＴ（Ｎ）の医療画像４６においては、左下の位置（検出位置）で検出された注目領域４４の周りを囲んで表示するバウンディングボックス５０が表示されている。医療画像４６では、バウンディングボックス５０に加えて、タイミングＴ（Ｎ－Ｑ）にて中央の位置（検出位置）で検出されたことを示すバウンディングボックス５１と、タイミングＴ（Ｎ－Ｓ）にて右上の位置（検出位置）で検出されたことを示すバウンディングボックス５２が継続して表示されている。なお、バウンディングボックス５０、５１、５２は、注目領域４４の検出後、一定時間の間継続して表示され、その後は、注目領域４４を検出した時間順に、バウンディングボックス５０、５１、５２の表示は消去される。即ち、バウンディングボックス５２が一番最初に消去され、その次にバウンディングボックス５１が消去され、最後に、バウンディングボックス５０が消去される。

　以上のように、一番最近に検出した結果を示すバウンディングボックス５０だけでなく、それよりも前に検出した結果を示すバウンディングボックス５１、５２について、それらバウンディングボックス５１、５２を検出した位置において継続して表示することで、注目領域４４が一瞬で消えた場合であっても、ユーザーによる注目領域４４の見落しを防止することができる。また、注目領域４４を検出した時間順に、バウンディングボックスが画面上から消えていくため、注目領域の動きを直感的に把握することができる。更には、図６に示すように、タイミングＴ（Ｎ）よりも後のタイミングＴ（Ｎ＋Ｍ）の医療画像５４では、注目領域４４がモニタ３４の第１表示領域３４ａから消えた場合であっても、注目領域４４を検出した結果を示すバウンディングボックス５０、５１、５２が一定時間の間継続して表示されているため、注目領域４４がどの方向に消えているかをユーザーが把握することができる。

　なお、注目領域検出部４１によって検出する時間間隔を短くし、且つ、各検出位置においてバウンディングボックスを一定時間の間表示することによって、図７に示すように、バウンディングボックス５５を連続して表示するようにしてもよい。これにより、注目領域４４の移動方向を明確に把握することができる。ただし、バウンディングボックスの連続表示は、その部分の被写体像が見にくくなってしまうこと（視野がつぶれる）がある。これに対しては、図８に示すように、注目領域検出部４１が５つの位置で注目領域４４を検出した場合であっても、検出した５つの検出位置のうちいくつかの検出位置を間引いて特定の検出位置のみバウンディングボックス５８、６０、６２を一定時間の間表示する。これにより、被写体像も把握しつつ、注目領域４４の移動方向も把握することができるようになる。

　また、上記のように、バウンディングボックスを一定時間の間維持して表示する場合においては、注目領域検出部４１が注目領域を検出したタイミングによって、注目領域用図形の表示態様を変化させてもよい。注目領域用図形の表示態様として、例えば、バウンディングボックスの線、即ち枠の濃度（線の強調度合い）を変化させてもよい。例えば、図９に示すように、タイミングＴ（Ｎ）の医療画像４６において、タイミングＴ（Ｎ）での検出結果を示すバウンディングボックス５８の他に、タイミングＴ（Ｎ－Ｐ）での検出結果を示すバウンディングボックス５９、タイミングＴ（Ｎ－Ｑ）での検出結果を示すバウンディングボックス６０、タイミングＴ（Ｎ－Ｒ）での検出結果を示すバウンディングボックス６１、タイミングＴ（Ｎ－Ｓ）での検出結果を示すバウンディングボックス６２が表示されている場合には、一番早いタイミングＴ（Ｎ）のバウンディングボックス５８の枠の濃度を一番濃くし、タイミングＴ（Ｎ）よりも前のタイミングＴ（Ｎ－Ｐ）のバウンディングボックス５９の枠の濃度をバウンディングボックス５８の枠の濃度よりも薄くする。

　また、タイミングＴ（Ｎ－Ｐ）よりも前のタイミングＴ（Ｎ－Ｑ）のバウンディングボックス６０の枠の濃度をバウンディングボックス５９の枠の濃度よりも薄くする。また、タイミングＴ（Ｎ－Ｑ）よりも前のタイミングＴ（Ｎ－Ｒ）のバウンディングボックス６１の枠の濃度をバウンディングボックス６０の枠の濃度よりも薄くする。また、タイミングＴ（Ｎ－Ｒ）よりも前のタイミングＴ（Ｎ－Ｓ）のバウンディングボックス６２の枠の濃度をバウンディングボックス６１の枠の濃度よりも薄くする。以上のように、時間的に前のタイミングに検出した結果を示すバウンディングボックスの枠の濃度を薄くすることにより、バウンディングボックスの存在によって被写体像が見にくくなること（視野がつぶれる）を避けることができる。

　また、上記のように、バウンディングボックスを一定時間の間維持して表示する場合においては、注目領域検出部４１が注目領域を検出したタイミングによって、バウンディングボックスなどの注目領域の検出結果を図形で表した注目領域用図形の形状を変化させてもよい。例えば、図１０に示すように、注目領域用図形としてバウンディングボックスを用いる場合には、タイミングＴ（Ｎ）での検出結果を示すバウンディングボックス５８とタイミングＴ（Ｎ－Ｐ）での検出結果を示すバウンディングボックス５９はそれぞれ実線で枠を表す一方で、タイミングＴ（Ｎ－Ｐ）よりも前のタイミングＴ（Ｎ－Ｑ）、タイミングＴ（Ｎ－Ｒ）、タイミングＴ（Ｎ－Ｓ）での検出結果を示すバウンディングボックス６０、６１、６２はそれぞれ点線で枠を表してもよい。このように、時間的に前のタイミングに検出した結果を示すバウンディングボックスの枠を点線とすることで、バウンディングボックスの存在によって被写体像が見にくくなること（視野がつぶれる）を避けることができる。

　また、例えば、図１１に示すように、注目領域用図形として、タイミングＴ（Ｎ）での検出結果を矩形状のバウンディングボックス５８で表示する一方で、タイミングＴ（Ｎ）よりも前のタイミングＴ（Ｎ－Ｐ）、タイミングＴ（Ｎ－Ｑ）、タイミングＴ（Ｎ－Ｒ）、タイミングＴ（Ｎ－Ｓ）での検出結果を、注目領域用図形として、黒丸６５、６６、６７、６８で表示するようにしてもよい。このように、時間的に前のタイミングに検出した結果については、表示スペースが大きいバウンディングボックスではなく、表示スペースが小さい黒丸で表示することで、被写体像が見にくくなること（視野がつぶれる）を避けることができる。

　なお、第１実施形態において、注目領域検出部４１が注目領域を検出したタイミングによって、注目領域用図形の表示態様を変化させるパターンとしては、上記のパターンの他に、注目領域用図形の大きさ又は色を変化させてもよい。注目領域用図形の大きさを変化させるパターンとしては、例えば、一定時間の間表示を維持する注目領域用図形のうち、注目領域を検出したタイミングが時間的に後のタイミングになる程、注目領域用図形の大きさを小さくする。注目領域用図形の色を変化させるパターンとしては、例えば、一定時間の間表示を維持する注目領域用図形のうち、注目領域を検出したタイミングが時間的に後のタイミングになる程、医療画像の色成分（粘膜などの被写体像の色成分）に近づける。また、第１実施形態においては、注目領域用図形の大きさ、色、形状、又は線などを少なくとも２以上組み合わせたものを、注目領域の検出タイミングによって変化させてもよい。

　［第２実施形態］
　第１実施形態では、注目領域の検出結果の表示態様を注目領域用図形としているが、第２実施形態では、注目領域の検出結果の表示態様を、注目領域を強調した注目領域強調表示とする。第２実施形態では、注目領域強調表示として、注目領域を疑似カラーで強調した疑似カラー強調表示を用いるが、その他の強調表示方法を用いるようにしてもよい。その他の強調表示方法としては、例えば、注目領域に対して特定領域を重畳表示する重畳表示処理、色調や階調の変更処理、又は周波数強調処理などがある。

　図１２に示すように、タイミングＴ（Ｎ）の医療画像７０においては、注目領域４４が左下の位置（検出位置）で検出されたことを示す注目領域の検出結果として、注目領域４４の周りを囲んで表示する疑似カラー強調表示７２が表示されている。医療画像７０では、疑似カラー強調表示７２に加えて、タイミングＴ（Ｎ－Ｑ）にて中央の位置（検出位置）で検出されたことを示す疑似カラー強調表示７３と、タイミングＴ（Ｎ－Ｓ）にて右上の位置（検出位置）で検出されたことを示す疑似カラー強調表示７４が継続して表示されている。なお、疑似カラー強調表示７２、７３、７４は、注目領域４４の検出後、一定時間の間継続して表示され、その後は、疑似カラー強調表示７２、７３、７４は消去される。

　以上のように、最近に検出した結果を示す疑似カラー強調表示７２だけでなく、それよりも前に検出した結果を示す疑似カラー強調表示７３，７４を継続して表示することで、注目領域４４が一瞬で消えた場合であっても、ユーザーによる注目領域４４の見落しを防止することができ、且つ、注目領域４４の消失方向を把握することができる。

　また、注目領域検出部４１によって検出する時間間隔を短くし、且つ、各検出位置において疑似カラー強調表示を一定時間の間表示することによって、図１３に示すように、疑似カラー強調表示７６を連続して表示するようにしてもよい。これにより、注目領域４４の移動方向を明確に把握することができる。また、注目領域４４がモニタ３４の第１表示領域３４ａから消えた場合であっても、図１４に示すように、疑似カラー強調表示７６の連続表示によって、ユーザーによる注目領域４４の見落しを防止することができるだけでなく、注目領域４４がどの方向に消えているかをユーザーが把握することができる。

　ただし、疑似カラー強調表示の連続表示は、その部分の被写体像が見にくくなってしまうことがある。そこで、被写体像も把握しつつ、注目領域４４の移動方向も把握するためには、注目領域検出部４１が注目領域を検出したタイミングによって、疑似カラー強調表示の表示態様を変化させてもよい。例えば、注目領域４４から離れるほど、注目領域を検出したタイミングがより前のタイミングであることから、図１５に示すように、連続表示される疑似カラー強調表示７６のうち、注目領域４４に近いほど強調度合い（疑似カラー強調の濃度）を大きくする一方で、注目領域４４から遠くなるほど強調度合いを小さくする。なお、第２実施形態では、疑似カラー強調表示の強調度合いを、注目領域４４の検出タイミングによって変化させるが、注目領域強調表示の強調度合い又は色の割合を注目領域４４の検出タイミングによって変化させてもよい。

　これにより、注目領域４４の動きを直感的に把握できるようにしつつ、疑似カラー強調表示によって被写体像が見にくくなることを避けることができる。なお、図１５のように、注目領域検出部４１が注目領域を検出したタイミング、疑似カラー強調表示の強調度合いを変化することに代えて、疑似カラー強調表示の色成分を変化するようにしてもよい。この場合、例えば、疑似カラー強調表示のうち、注目領域に近いほど疑似カラー（被写体像の色とかけ離れた色）の色成分の割合を多くする一方、注目領域から遠くなるほど疑似カラーの色成分の割合を少なくして被写体像の色成分に近づける。

　なお、上記第１、第２実施形態では、モニタ３４の第１表示領域３４ａに注目領域の検出結果を表示しているが、第１表示領域３４ａには注目領域の検出結果を表示せずに、第２表示領域３４ｂに、注目領域の検出結果を表示するようにしてもよい。例えば、図１６に示すように、第２表示領域３４ｂに設けたサブ画面８０に、注目領域４４を表示し、注目領域の検出結果であるバウンディングボックス８２を一定時間の間表示するようにしてもよい。これにより、第１表示領域３４ａで被写体像を観察しつつ、第２表示領域３４ｂのサブ画面８０を適宜確認することにより、注目領域の見落しに気付くことができ、且つ、注目領域の動きを把握することができる。バウンディングボックス８２の表示方法は、第１実施形態と同様に、注目領域を検出してから一定時間の間表示を維持するようにする。なお、サブ画面８０には、注目領域４４の他に、被写体像を含む医療画像を表示してもよい。

　なお、第２表示領域３４ｂにおいて注目領域の検出結果を表示する場合には、バウンディングボックス８２などの注目領域用図形を表示する他、疑似カラーなどの注目領域強調表示で表示するようにしてもよい。また、第２表示領域３４ｂではなく、モニタ３４とは別のモニタ（図示しない）に、注目領域の検出結果を表示するようにしてもよい。この場合には、内視鏡システム２１から、別のモニタに対して注目領域の検出結果が送信される。

　また、第１表示領域３４ａと第２表示領域３４ｂの両方に、注目領域の検出結果を表示するようにしてもよい。例えば、図１７に示すように、第１表示領域３４ａでは、注目領域の検出結果としてバウンディングボックス８４を表示する一方で、第２表示領域のサブ画面８０では、疑似カラー強調表示８５を連続表示する。ここで、サブ画面８０では、注目領域４４の表示をせずに、疑似カラーの強調表示のみを表示することで、注目領域の動き以外の余分な情報がなくなるため、ユーザーは注目領域の動きを把握し易くなる。なお、第１表示領域３４ａで注目領域強調表示を行い、第２表示領域３４ｂでバウンディングボックスなどの注目領域用図形を表示するようにしてもよい。

　なお、上記第１、第２実施形態では、モニタ３４の第１表示領域３４ａに注目領域の検出結果を表示しているが、第１表示領域３４ａには注目領域の検出結果を表示せずに、第１表示領域３４ａの外周部に、注目領域の検出結果を表示するようにしてもよい。例えば、図１８に示すように、第１表示領域３４ａの外周部のうち、注目領域４４が検出された左下の位置に対応する左下外周部に沿って、注目領域の検出結果を表す検出表示用バー８６を表示するようにしてもよい。検出表示用バー８６は、注目領域４４が検出されてから一定時間の間継続して表示される。

　これにより、ユーザーによる注目領域４４の見落しを防ぐことができ、且つ、第１表示領域３４ａから注目領域４４が消えた場合も、ユーザーは、注目領域の消失方向を直感的に把握することができる。また、検出表示用バー８６を、ユーザーの視線が集中する第１表示領域３４ａに表示しないことにより、ユーザーによる注目領域４４の観察を妨げることがなくなる。更には、検出表示用バー８６を第１表示領域３４ａの外周部に表示することで、ユーザーの視線移動を少なくすることができる。なお、注目領域の検出結果を第１表示領域３４ａの外周部に表示することに加えて、注目領域の検出結果を第１表示領域３４ａの内部に一定時間表示し、又は、注目領域の検出結果を第２表示領域３４ｂに一定時間表示するようにしてもよい。また、注目領域の検出結果を第１表示領域３４ａの外周部に一定時間の間表示を維持する場合には、第１表示領域３４ａにおける注目領域の検出結果については表示を維持しなくてもよい。この場合には、第１表示領域３４の医療画像に対するユーザーの診断の妨げを減らしつつ、注目領域の見落しを防止することができる。

　なお、図１９に示すように、内視鏡システム２１その他モダリティやＰＡＣＳ２２とを組み合わせて使用する診断支援装置６１０は、上記実施形態及びその他変形例の画像処理システム１０を含むことができる。また、図２０に示すように、例えば内視鏡システム２１を含む、第１検査装置６２１、第２検査装置６２２、…、第Ｎ検査装置６３３等の各種検査装置と任意のネットワーク６２６を介して接続する医療業務支援装置６３０は、上記実施形態及びその他変形例の画像処理システム１０を含むことができる。

　この他、画像処理システム１０、内視鏡システム２１、及び、画像処理システム１０を含む各種装置またはシステムは、以下の種々の変更等をして使用できる。

　医療画像としては、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像を用いることができる。

　医療画像としては、特定の波長帯域の光を照射して得た画像を使用する場合、特定の波長帯域は、白色の波長帯域よりも狭い帯域を用いることができる。

　特定の波長帯域は、例えば、可視域の青色帯域または緑色帯域である。

　特定の波長帯域が可視域の青色帯域または緑色帯域である場合、特定の波長帯域は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、３９０ｎｍ以上４５０ｎｍ以下または５３０ｎｍ以上５５０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

　特定の波長帯域は、例えば、可視域の赤色帯域である。

　特定の波長帯域が可視域の赤色帯域である場合、特定の波長帯域は、５８５ｎｍ以上６１５ｎｍまたは６１０ｎｍ以上７３０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、５８５ｎｍ以上６１５ｎｍ以下または６１０ｎｍ以上７３０ｎｍ以下の波長帯域内にピーク波長を有することが好ましい。

　特定の波長帯域は、例えば、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有することができる。

　特定の波長帯域が、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域を含み、かつ、特定の波長帯域の光は、酸化ヘモグロビンと還元ヘモグロビンとで吸光係数が異なる波長帯域にピーク波長を有する場合、特定の波長帯域は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、４００±１０ｎｍ、４４０±１０ｎｍ、４７０±１０ｎｍ、または、６００ｎｍ以上７５０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

　医療画像が生体内を写した生体内画像である場合、この生体内画像は、生体内の蛍光物質が発する蛍光の情報を有することができる。

　また、蛍光は、ピーク波長が３９０ｎｍ以上４７０ｎｍ以下である励起光を生体内に照射して得る蛍光を利用できる。

　医療画像が生体内を写した生体内画像である場合、前述の特定の波長帯域は、赤外光の波長帯域を利用することができる。

　医療画像が生体内を写した生体内画像であり、前述の特定の波長帯域として、赤外光の波長帯域を利用する場合、特定の波長帯域は、７９０ｎｍ以上８２０ｎｍまたは９０５ｎｍ以上９７０ｎｍ以下の波長帯域を含み、かつ、特定の波長帯域の光は、７９０ｎｍ以上８２０ｎｍ以下または９０５ｎｍ以上９７０ｎｍ以下の波長帯域にピーク波長を有することが好ましい。

　医療画像取得部１１は、白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像に基づいて、特定の波長帯域の信号を有する特殊光画像を取得する特殊光画像取得部を有することができる。この場合、医療画像として特殊光画像を利用できる。

　特定の波長帯域の信号は、通常光画像に含むＲＧＢまたはＣＭＹの色情報に基づく演算により得ることができる。

　白色帯域の光、または白色帯域の光として複数の波長帯域の光を照射して得る通常光画像と、特定の波長帯域の光を照射して得る特殊光画像との少なくとも一方に基づく演算によって、特徴量画像を生成する特徴量画像生成部を備えることができる。この場合、医療画像として特徴量画像を利用できる。

　内視鏡システム２１については、内視鏡３１としてカプセル内視鏡を使用できる。この場合、光源装置３２と、プロセッサ装置３３の一部と、はカプセル内視鏡に搭載できる。

　上記実施形態及び変形例において、医療画像取得部１１、医療画像解析処理部１２及び医療画像解析処理部１２を構成する各部、表示制御部１５、入力受信部１６、統括制御部１７、並びに、医療画像取得部３５、医療画像解析処理部３６、表示制御部３７、注目領域検出部４１といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路、GPU (Graphical Processing Unit)などが含まれる。

　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ、ＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。

　本発明の他の形態としては、プロセッサ装置が、医療画像取得部によって、観察対象を撮像して得られる医療画像を取得し、注目領域検出部によって、前記医療画像から注目領域を検出し、表示制御部によって、前記注目領域の移動に従って、前記注目領域の位置が変化した場合に、前記注目領域の位置が変化する前に前記注目領域検出部にて検出された前記注目領域の検出位置に対して、前記注目領域の検出結果を表示部に表示することを一定時間の間維持する医療画像処理システム。

１０　画像処理システム
１１　医療画像取得部
１２　医療画像解析処理部
１３　表示部
１５　表示制御部
１６　入力受信部
１７　統括制御部
１８　保存部
２１　内視鏡システム
２２　ＰＡＣＳ
３１　内視鏡
３２　光源装置
３３　プロセッサ装置
３４　モニタ
３４ａ　第１表示領域
３４ｂ　第２表示領域
３５　医療画像取得部
３６　医療画像解析処理部
３７　表示制御部
４１　注目領域検出部
４４　注目領域
４６　医療画像
４７　医療画像
４８　医療画像
５０、５１、５２　バウンディングボックス
５４　医療画像
５５、５８、５９、６０、６１、６２　バウンディングボックス
６５、６６、６７、６８　黒丸
７０　医療画像
７２、７３、７４、７６　疑似カラー強調表示
８０　サブ画面
８２、８４　バウンディングボックス
８５　疑似カラー強調表示
８６　検出表示用バー
６１０　診断支援装置
６２１　第１検査装置
６２２　第２検査装置
６２６　ネットワーク
６３０　医療業務支援装置
６３３　検査装置

Claims (10)

1. 　観察対象を撮像して得られる医療画像を取得する医療画像取得部と、
   　前記医療画像から注目領域を検出する注目領域検出部と、
   　前記注目領域の移動に従って、前記注目領域の位置が変化した場合に、前記注目領域の位置が変化する前に前記注目領域検出部にて検出された前記注目領域の検出位置に対して、前記注目領域の検出結果を表示部に表示することを一定時間の間維持する表示制御部とを備える医療画像処理システム。
2. 　前記表示制御部は、前記注目領域の検出位置のうち特定の検出位置において前記注目領域の検出結果の表示を一定時間の間維持する請求項１記載の医療画像処理システム。
3. 　前記表示制御部は、前記注目領域が検出されたタイミングによって、前記注目領域の検出結果の表示態様を変化させること請求項１記載の医療画像処理システム。
4. 　前記注目領域の検出結果の表示態様は、前記注目領域を少なくとも含む図形で表した注目領域用図形であり、
   　前記表示制御部は、前記注目領域が検出されたタイミングによって、前記注目領域用図形の表示態様を変化させる請求項３記載の医療画像処理システム。
5. 　前記注目領域用図形の表示態様には、前記注目領域用図形の形状、大きさ、色、又は、前記注目領域用図形の線を含む請求項４記載の医療画像処理システム。
6. 　前記注目領域の検出結果の表示態様は、前記注目領域を強調した注目領域強調表示であり、
   　前記表示制御部は、前記注目領域が検出されたタイミングによって、前記注目領域強調表示の強調度合いを変化させる請求項３記載の医療画像処理システム。
7. 　前記注目領域強調表示には、前記注目領域を疑似カラーで強調した疑似カラー強調表示を含み、
   　前記表示制御部は、前記注目領域が検出されたタイミングによって、前記注目領域強調表示の強調度合い又は色成分の割合を変化させる請求項６記載の医療画像処理システム。
8. 　前記表示制御部は、前記医療画像を表示する前記表示部の第１表示領域、又は、前記医療画像を表示する前記表示部の第１表示領域と異なる第２表示領域の少なくとも一方に、前記注目領域の検出結果を表示する請求項１ないし７いずれか１項記載の医療画像処理システム。
9. 　前記第１表示領域で表示する注目領域の検出結果の表示態様と、前記第２表示領域で表示する注目領域の検出結果の表示態様とは同じ又は異なっている請求項８記載の医療画像処理システム。
10. 　前記表示制御部は、前記医療画像を表示する前記表示部の第１表示領域の外周部のうち前記注目領域の検出位置に対応する部分に、前記注目領域の検出結果を表示する請求項１ないし７いずれか１項記載の医療画像処理システム。
     

Images