JP2018121886A - 画像処理装置、および画像処理プログラム - Google Patents

Abstract

【課題】 解析結果を効率的に提示する画像処理装置および画像処理プログラムを提供することを技術課題とする。
【解決手段】 被検眼の画像を処理する画像処理装置であって、前記被検眼の画像を取得する画像取得手段と、前記画像取得手段によって取得された画像に基づいて、前記被検眼の診断結果を得る診断手段と、前記診断結果に基づいて、表示手段の表示形態を変更する表示制御手段と、を備えることを特徴とする。これによって、解析結果を効率的に提示する。
【選択図】 図６

Description

被検眼の撮影画像を処理するための画像処理装置、および画像処理プログラムに関する。

従来、眼科撮影装置（例えば、光干渉断層計、眼底カメラなど）で得られた被検眼の画像、および画像の解析結果に基づいて、被検眼の診断が行われていた。

特開２０１５−１０４５８１号公報

ところで、被検眼を診断する場合、どの被検者に対しても一律の解析結果表示に基づいて診断していたため、検者は診断を下すまでに複数の解析結果を全て見比べる必要があり、負担であった。

本開示は、従来の問題点に鑑み、解析結果を効率的に提示する画像処理装置および画像処理プログラムを提供することを技術課題とする。

上記課題を解決するために、本開示は以下のような構成を備えることを特徴とする。

（１） 被検眼の画像を処理する画像処理装置であって、前記被検眼の画像を取得する画像取得手段と、前記画像取得手段によって取得された画像に基づいて、前記被検眼の診断結果を得る診断手段と、前記診断結果に基づいて、表示手段の表示形態を変更する表示制御手段と、を備えることを特徴とする。
（２） 被検眼の画像を処理する画像処理装置において実行される画像処理プログラムであって、前記画像処理装置のプロセッサによって実行されることで、前記被検眼の画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された画像に基づいて、前記被検眼を診断する診断ステップと、前記診断ステップにおいて得られた診断結果に基づいて、表示手段の表示形態を変更する表示制御ステップと、を前記画像処理装置に実行させることを特徴とする。

本実施例に係る眼科撮影装置の構成について説明する概略構成図である。 制御動作のフローチャートを示す図である。 数学モデルの一例を示す図である。 画像を分割する様子を示す図である。 表示部に表示させた解析画面の一例を示す図である。 疾患確率マップの一例を示す図である。 検出対象の指定について説明する図である。

＜第１実施形態＞
以下、本開示に係る画像処理装置の第１実施形態について説明する。第１実施形態における画像処理装置（例えば、画像処理装置１００）は、被検眼の画像を処理することによって、被検眼の診断のために有用な情報を取得する。画像処理装置は、例えば、画像取得部（例えば、画像取得部１）と、診断部（例えば、診断部２）と、画像処理部（例えば、画像処理部４）などを備える。

画像取得部は、例えば、被検眼の画像を取得する。画像取得部は、例えば、有線（USBケーブル、LANケーブル、IEEE1394ケーブルなど）または無線などの通信手段によって、眼科撮影装置または記憶部などに接続される。診断部（例えば、診断処理部）は、例えば、被検眼を診断する。画像処理部は、診断結果に応じた処理手法を用いて画像を処理する。このように、第１実施形態の画像処理装置は、診断部の診断結果に応じた画像処理の手法が用いられるため、各疾患に適した手法で画像処理を行うことができる。

なお、画像処理装置は、選択部（例えば、選択部３）をさらに備えてもよい。選択部は、例えば、診断部によって得られた診断結果に基づいて、画像を処理するための処理手法を選択する。この場合、画像処理部は、選択部によって選択された処理手法を用いて被検眼の画像を処理する。このように、診断結果に基づく処理手法が選択部によって選択されるため、画像処理装置は、容易に好適な画像処理を行うことができる。

なお、診断部は、例えば、画像取得部によって取得された画像に基づいて、被検眼の診断を行う。この場合、例えば、診断部は、機械学習アルゴリズムによって訓練された数学モデルを用いて診断を行ってもよい。機械学習アルゴリズムは、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークは、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネットなど）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワークなど）等である。

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習することで、強識別器を構築する。

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて、学習を行って多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐をたどり、各決定木から得られる結果を平均（あるいは多数決）する。

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で線形入力素子のパラメータを学習する。

数学モデルは、例えば、入力データと出力データとの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。入力用訓練データは、数学モデルに入力されるサンプルデータである。例えば、入力訓練データには、過去に撮影された被検眼の画像が用いられる。出力用訓練データは、数学モデルによって予測する値のサンプルデータである。例えば、出力用訓練データには、病名または病変の位置などの診断結果が用いられる。数学モデルは、ある入力訓練データが入力されたときに、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって各入力と出力との相関データ（例えば、重み）が更新される。

例えば、診断部は、数学モデルに画像を入力することによって、被検眼の診断結果の出力を得る。例えば、数学モデルからは、各疾患に該当する確率などが出力される。診断部は、訓練された数学モデルを用いることによって、自動で画像診断を行うことができる。

なお、画像処理部は、画像の撮影部位を特定し、特定した撮影部位に応じて画像を補正してもよい。例えば、画像処理部は、生体（例えば、眼球）の特徴点（例えば、中心窩、視神経乳頭、角膜頂点など）を基準として、画像の撮影部位を特定する。例えば、画像から中心窩を検出することによって、眼球のどの部位を撮影した画像であるかを特定する。そして、画像処理部は、特定された撮影部位に応じて画像を補正する。例えば、画像処理部は、撮影部位に応じた画像の位置補正を行ってもよいし、画像の歪み補正を行ってもよい。

なお、診断部は、画像処理部によって補正された画像に基づいて被検眼を診断してもよい。補正された画像を自動診断に用いることで、画像の位置または歪み等の影響による診断精度の低下を防ぐことができる。

なお、画像処理部は、生体の特徴点を基準として、画像を２つ以上の領域に分割してもよい。例えば、中心窩を基準点として、複数の同心円状の領域に画像を分割してもよいし、格子状の領域に分割してもよい。画像を複数の領域に分割することによって領域毎に適した診断を行うことができる。例えば、各領域に特化した画像処理アルゴリズムを用いることができ、診断精度を上げることができる。また、特定の領域に発生しやすい疾病の情報などを考慮しやすい。

なお、診断部は、分割前の画像と、分割後の画像を数学モデルへの入力に用いてもよい。分割前後の画像に基づいて画像診断を行うことによって、自動診断の精度を上げることができる。

なお、画像診断には、様々な種類の画像が用いられてもよい。例えば、断層画像、眼底画像、血管画像、前眼部画像などがあり、撮影部位も様々である。これらの画像は、例えば、ＯＣＴ装置、眼底カメラ、前眼部観察カメラ、スリットランプ、シャインプルーフカメラ等の各種眼科撮影装置によって撮影される。このように、モダリティの異なる画像を機械学習に用いる場合、どの部位を撮影した画像であるかを特定し、画像の位置合わせ、または補正を行うとよい。

なお、選択部は、処理手法として、画像処理アルゴリズムを選択してもよい。画像処理アルゴリズムは、画像を処理するために複数用意される。選択部は、例えば、複数の画像処理アルゴリズムから少なくとも１つを選択する。また、選択部は、画像処理アルゴリズムのパラメータを選択してもよい。パラメータは、例えば、重み係数、識別器、エネルギー（グラフの重み）、または閾値等の画像処理に用いられる値である。

なお、第１実施形態の画像処理装置は、操作受付部と、シーケンス作成部（例えば、シーケンス作成部８）を備えてもよい。操作受付部は、ユーザ（検者）の操作を受け付ける。操作受付部は、例えば、マウスまたはタッチパネルなどのユーザインターフェイスである。シーケンス作成部は、操作受付部によって受け付けたユーザの操作情報に基づいてシーケンスを作成する。シーケンスは、検査または解析等の順序である。例えば、ユーザは自身の好みでシーケンスを作成し、それを画像処理装置に実行させる。シーケンスを作成する場合、例えば、検者は、撮影方法（スキャン数、スキャン位置、スキャン角度など）、検出方法、判別方法、解析方法、表示方法などを設定する。

なお、第１実施形態の画像処理装置は、評価部（例えば、評価部９）を備えてもよい。評価部は、シーケンス作成部によって作成されたシーケンスを評価する。例えば、評価部は、検査時間および検査の正確さ等によってシーケンスを評価する。もちろん、ユーザが設定した評価値をシーケンスに付与してもよい。また、シーケンス作成部は、評価値が高くなるような効率的なシーケンスを作成してもよい。

なお、第１実施形態の画像処理装置は、共有部（例えば、共有部１０）を備えてもよい。共有部は、例えば、ネットワークに接続された共有サーバ等にシーケンスを送信または受信する。これによって、ユーザは、シーケンスを他のユーザと共有することができる。また、共有部は、シーケンスの評価値をシーケンスとともに共有してもよい。これによって、ユーザは、評価値の高いシーケンスを選択し、画像処理装置に実行させることで、効率的に検査を行うことができる。

なお、選択部は、画像に対する検出対象を選択してもよい。例えば、ある画像で選択された領域について、他の画像についても自動で選択されるようにしてもよい。これによって、画像の特定部位を拡大表示させたい場合など、各画像に対して特定部位を選択するという手間を省くことができる。

なお、画像処理部は、画像取得部によって取得された画像の画風を変更してもよい。画像処理部は、例えば、別のモダリティの画風に変換してもよい。例えば、画像処理部は、ＯＣＴ装置によって撮影された眼底画像を、眼底カメラで撮影された眼底画像のように変換してもよい。また、画像処理部は、あるメーカーの装置で撮影された画像を、他のメーカーの装置の画風に変換してもよい。画像処理手段は、例えば、画像診断に用いる画像の画風を統一させることによって、診断精度を向上させることができる。

なお、数学モデルは、大まかな病気の分類分けをする数学モデルと、詳細な分類を行う数学モデルによって構成されてもよい。例えば、大まかな病気を分類する数学モデルは、眼底全体の画像が入力され、黄斑疾患かそれ以外であるかなど、大まかな診断結果が用いられてもよい。詳細な診断を行う数学モデルは、入力用訓練データとして、眼底全体の画像の他、分割された画像、または大まかな診断結果等が用いられ、出力用訓練データとしては、病名、病変の位置、病態等の詳細な診断結果が用いられてもよい。

なお、画像処理装置は、被検眼を撮影する眼科装置とともに、画像処理システムを構成してもよい。また、例えば、画像処理装置のプロセッサは、画像処理プログラムを実行してもよい。画像処理プログラムは、例えば、画像取得ステップと、診断ステップと、画像処理ステップを含む。画像取得ステップは、例えば、被検眼の画像を取得するステップである。診断ステップは、例えば、被検眼の診断結果を得るステップである。画像処理ステップは、例えば、診断結果に応じた処理手法を用いて画像を処理するステップである。画像処理プログラムは、例えば、画像処理装置の記憶部等に記憶されてもよいし、外部の記憶媒体に記憶されてもよい。

＜第２実施形態＞
以下、本開示に係る画像処理装置の第２実施形態について説明する。第２実施形態における画像処理装置（例えば、画像処理装置１００）は、被検眼の画像を処理することによって、被検眼の診断のために有用な情報を取得する。画像処理装置は、例えば、画像取得部（例えば、画像取得部１）と、診断部（例えば、診断部２）と、表示制御部（例えば、表示制御部６）などを備える。

画像取得部は、被検眼の画像を取得する。画像取得部は、有線または無線などの通信手段によって、撮影装置または記憶部などに接続される。診断部（診断処理部）は、画像取得部によって取得された画像に基づいて、被検眼を診断する。診断部は、例えば、機械学習アルゴリズムによって訓練された数学モデルを用いて被検眼の診断を行ってもよい。

表示制御部は、診断部によって得られた診断結果に基づいて、表示部の表示形態（例えば、画面構成）を変更する。例えば、表示制御部は、表示レイアウトを変更してもよし、表示項目を変更してもよい。診断結果に応じた表示レイアウトおよび表示項目は、予め設定されていてもよいし、ユーザが任意に設定できるようにしてもよい。

例えば、被検眼が黄斑疾患であった場合、表示制御部は、網膜の厚みマップを表示させてもよい。これによって、ユーザは、網膜厚の偏りなどの網膜の異常を容易に確認することができる。また、例えば、被検眼が緑内障であった場合、表示制御部は、被検眼と正常眼との比較画面を表示させてもよい。これによって、ユーザは、緑内障の進行具合を容易に確認できる。また、例えば、被検眼が緑内障であった場合、表示制御部は、被検眼の隅角画像を表示させてもよい。これによって、ユーザは、被検者の隅角が狭くなっていないかどうか容易に確認することができる。また、例えば、被検眼が糖尿病網膜症であった場合、表示制御部は、眼底の血管画像（Angiography）を表示させてもよい。これによって、新生血管等の発生による眼底の血管の異常を容易に確認できる。

なお、表示制御部は、例えば、診断部によって画像から検出された病変部を拡大表示させてもよい。これによって、ユーザは、病変部の存在を認識でき、その詳細をすぐに確認できる。

なお、表示制御部は、疾患の位置と確率を示した確率マップ、または疾患の位置とグレード（進行度）を示したグレードマップを表示させてもよい。これらのマップを確認することによって、ユーザは、被検眼の状態を容易に把握することができる。

表示制御部は、診断結果に応じた治療法を表示させてもよい。例えば、処方する点眼液、レーザの照射位置等を表示させてもよい。これによって、被検眼の治療計画がスムーズに行えるようになる。また、表示制御部は、解析結果を表示させる際に、読影のポイントを表示させてもよい。例えば、表示制御部は、チェック項目を順次表示させることによって、疾患を見逃す可能性を低減できる。

なお、画像処理部は、例えば、数学モデルが学習済みの画像と、被検眼の撮影画像とで、両者の画風を統一させる画像処理を行ってもよい。これによって、機械学習を用いた診断の精度が向上する。

なお、画像処理装置のプロセッサは、画像処理プログラムを実行してもよい。画像処理プログラムは、例えば、画像取得ステップと、診断ステップと、表示制御ステップを含む。画像取得ステップは、例えば、被検眼の画像を取得するステップである。診断ステップは、画像取得ステップにおいて取得された画像に基づいて、被検眼を診断するステップである。表示制御ステップは、例えば、診断ステップにおいて得られた診断結果に基づいて、表示手段の表示形態を変更するステップである。

＜実施例＞
以下、本開示に係る画像処理装置の実施例を説明する。本実施例の画像処理装置１００は、画像処理によって被検眼の診断を行う。画像処理装置１００は、例えば、一般的なパーソナルコンピュータであってもよい。例えば、画像処理装置１００は、デスクトップＰＣ、ノート型ＰＣ、またはタブレット型ＰＣなどである。もちろん、サーバ等であってもよい。また、画像処理装置１００は、眼科撮影装置等の内部に格納されたコンピュータであってもよい。

画像処理装置１００は、例えば、画像取得部１、診断部２、選択部３、画像処理部４、記憶部５、表示制御部６、表示部７などを備える。画像取得部１は、被検眼に関する種々の画像を取得する。画像取得部１は、眼科撮影装置と有線または無線を介して接続されている。眼科撮影装置は、例えば、断層画像を撮影する光干渉断層計（ＯＣＴ）およびシャインプルーフカメラ、眼底画像を撮影する眼底カメラおよび走査型レーザ検眼鏡（ＳＬＯ）、前眼部画像を撮影する角膜形状測定装置、超音波画像を撮影する超音波診断装置等の被検眼を撮影する装置である。眼科撮影装置は、撮影した被検眼の画像を画像取得部１に送信する。画像取得部１は、被検眼の画像を各眼科撮影装置から受信し、記憶部５等に記憶させる。なお、画像取得部１は、ＨＤＤ、ＵＳＢメモリ等の外部記憶装置などから被検眼の画像を取得してもよい。

診断部２は、例えば、画像取得部１によって取得された画像に基づいて被検眼を診断する。例えば、診断部２は、機械学習アルゴリズムによって訓練された数学モデルを用いて画像診断を行う。機械学習アルゴリズムは、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等である。例えば、数学モデルは、被検眼の画像が入力されることによって、各種疾患について被検眼が発症している確率を出力するように訓練される。診断部２は、数学モデルに被検眼の画像を入力することによって診断結果の出力を得る。

選択部３は、診断部２によって得られた診断結果に基づいて、画像の処理手法を選択する。ここで、処理手法の選択は、複数の画像処理アルゴリズムの中から必要な画像処理アルゴリズムを選択する場合と、画像処理アルゴリズムに用いられるパラメータを選択する場合を含む。画像処理アルゴリズムは、機械学習によって構築された画像処理アルゴリズムであってもよいし、人為的に設計された画像処理アルゴリズムであってもよい。

画像処理部４は、画像取得部１によって取得された種々の画像を処理する。画像処理部４は、選択部３によって選択された処理手法によって画像を処理する。例えば、画像処理部４は、網膜層のセグメンテーションを行う画像処理、網膜厚を解析する画像処理、網膜厚を正常眼と比較する画像処理、血管を検出する画像処理などの様々な画像処理を行う。画像処理部４が画像処理によって取得した解析結果は、表示部７または記憶部５等に送られる。

記憶部５は、画像処理装置１００の制御に関わる各種プログラム、各種画像データ、診断結果、および解析結果などを記憶する。表示部７は、画像取得部１によって取得された画像、診断結果、および解析結果などを表示する。表示部７は、タッチパネル式のディスプレイであってもよい。この場合、表示部７は、操作部（操作受付部）として兼用される。表示制御部６は、表示部７の表示を制御する。

なお、画像取得部１、診断部２、選択部３、画像処理部４、記憶部５、表示制御部６は、例えば、画像処理装置１００として用いられるコンピュータのプロセッサ（例えば、ＣＰＵなど）が、各種プログラムを実行することによって実現されてもよいし、それぞれ独立した制御基板として設けられてもよい。

＜制御動作＞
本実施例の画像処理装置１００が画像処理を行うときの制御動作を図２に基づいて説明する。以下の例では、ＯＣＴ装置２００によって撮影された断層画像を用いる場合を説明する。ＯＣＴ装置２００は、例えば、眼底に近赤外線の測定光を照射することによって得られた戻り光と、測定光に対応する参照光との干渉を利用して網膜の断層画像を取得する装置である。なお、ＯＣＴ装置２００によって撮影された断層画像に限らず、他の種類の画像を用いてもよい。

（ステップＳ１：画像取得）
まず、画像取得部１は、画像診断に用いる被検眼の画像を取得する。例えば、ＵＳＢケーブル等によって接続されたＯＣＴ装置２００の記憶部５等から被検眼の断層画像を取得する。もちろん、ＵＳＢメモリ等によって画像データの取得を行ってもよい。画像取得部１は、取得された画像を記憶部５等に記憶させる。

（ステップＳ２：画像診断）
次いで、診断部２は、取得された画像に基づいて被検眼の診断を行う。診断部２は、例えば、機械学習アルゴリズムによって訓練された数学モデルを用いて画像診断を行う。画像処理に用いられる数学モデルとしては、例えば、多層型のニューラルネットワーク等が知られている。

例えば、ニューラルネットワークは、データを入力するための入力層Ｐと、予測したいデータを生成するための出力層Ｑと、入力層Ｐと出力層Ｑの間の１つ以上の隠れ層Ｈとで構成され、各層には複数のノード（ユニットとも呼ばれる）が配置される（図３参照）。各ノードは、複数の入力を受け取り、１つの出力を計算する。例えば、各層の各ノードに入力されたデータは、隣接する層の各ノードに出力される。このとき、径路毎に異なる重みが付加される。例えば、あるノードから次のノードに伝達される出力値は、経路毎の重みによって増強あるいは減衰される。重みが付加されたデータは、ノードに入力されると、活性化関数等の関数が適用され、次の層の各ノードに出力される。この入出力が隣接する各層の間で繰り返され、最終的に出力層から予測データが出力される。

例えば、第１層のノードをｉ＝１,…,Ｉ、第２層のノードをｊ＝１,…,Ｊ、で表すと、第２層のノードが受け取る総入力ｕ_ｊは、次式（１）のように、第１層の各入力ｘ_ｉにそれぞれ異なる重みｗ_ｊｉを掛けたものをすべて加算し、これにバイアスと呼ばれる１つの値ｂ_ｉを足したものになる。

また、第２層のノードの出力ｚ_ｉは、次式（２）のように、総入力ｕ_ｉに対する活性化関数等の関数ｆの出力となる。活性化関数としては、例えば、ロジスティックジグモイド関数、双曲線正接関数、正規化線形関数、マックスアウト等の関数が挙げられる。

上記のようなニューラルネットワークにおける数学モデルは、訓練データセットを用いて訓練されることで、新しいデータに関する予測を行うことができる。訓練データセットは、例えば、入力用訓練データと出力用訓練データのセットであり、入力用訓練データが入力層に入力された場合に、出力層から出力用訓練データに近い値が出力されるように各層の各ノードの重みとバイアスが調整される。訓練データセットは複数用意されており、繰り返し重みとバイアスが調整されることで、様々なデータに対して汎用性がある重みおよびバイアスを得ることができ、未知のデータに対しても予測値を出力できる。数学モデルの訓練は、例えば、入力用訓練データの入力に対する出力と、対応する出力用訓練データとの誤差が許容される範囲に入るまで続けられる。重みの調整には、バックプロパゲーション（誤差逆伝播法）等が用いられる。

例えば、被検眼の画像から疾患の有無を判定する場合、複数の被検眼の画像と、その被検眼の診断結果を１セットとする複数の訓練データセットなどを用いて訓練される。この場合、例えば、入力層には各画素に対応する複数のノードが設けられ、それぞれ画素値が入力される。出力層には各疾患に対応する複数のノードが設けられ、各ノードからはその疾患に該当する確率が出力される。なお、出力用訓練データに用いる診断結果として、病態、および疾患の位置等を含ませてもよい。これによって、画像の入力に対して、疾患の状態または位置などを数学モデルに出力させてもよい。

診断部２は、画像取得部１によって取得された被検眼の画像を記憶部５から読み出し、入力層の各ノードに入力する。そして、診断部２は、数学モデルの規則に従って算出された各疾病の確率を出力層から取得する。診断部２は、出力された診断結果を記憶部５に記憶させる。

なお、上記のように、ニューラルネットワークを用いる場合、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）を用いてもよい。ＣＮＮは、畳み込み処理とプーリング処理を含む数学モデルであり、特に画像処理の分野で用いられることが多い。詳しくは特開平１０−２１４０６、または特開２０１５−０３２３０８号公報を参照されたい。

なお、画像診断は機械学習に基づく自動診断でもよいし、ユーザが被検眼の画像を表示部７で確認することで診断を行ってもよい。この場合、ユーザは、例えば、タッチパネルなどの操作部によって診断結果を画像処理装置１００に入力する。なお、機械学習によって自動診断を行う際、被検者の問診情報、または撮影情報（例えば、ＯＣＴのスキャン設定など）を用いてもよい。もちろん、ＯＣＴ以外の複数のモダリティの情報を用いてもよい。

（ステップＳ３：処理手法選択）
診断部２による診断結果が得られると、選択部３は、診断結果に応じて画像の処理手法を選択する。つまり、選択部３の選択によって、画像の処理手法が切り換えられる。例えば、選択部３は、記憶部５に記憶された複数の画像処理手法の中から、少なくとも１つの手法を選択する。例えば、記憶部５には、被検眼の疾患、病態、位置などに応じて設計された複数の画像処理アルゴリズムが記憶部５に記憶されており、各疾患の状態とそれに対応する画像処理アルゴリズムが紐づけられている。これによって、選択部３は、被検眼の診断結果に対応する画像処理アルゴリズムを選択する。

なお、選択部３は、画像処理手法を選択する際、疾患に応じてパラメータの異なる画像処理アルゴリズムを選択してもよいし、画像処理アルゴリズムそのものを変更してもよい。前者の場合、例えば、選択部３は、診断結果が糖尿病であれば糖尿病患者データから学習したパラメータが用いられる数学モデル（例えば、セグメンテーションアルゴリズムなど）を選択し、診断結果がＡＭＤ（加齢黄斑変性症）であればＡＭＤ患者データから学習したパラメータが用いられる数学モデルを選択する。パラメータは、例えば、グラフの重み、処理に用いる閾値などである。後者の場合、例えば、選択部３は、網膜の構造が大きく崩れる糖尿病などの疾患であれば、患者データから学習した画像処理アルゴリズムを選択し、正常眼または網膜の構造がほぼ変化しない緑内障などであれば、最短経路探索またはグラフカットのようなグラフ探索、レベルセットまたはスネークのような動的輪郭モデル、もしくはキャニー法のようなエッジ検出などの画像処理アルゴリズムを選択する。

（ステップＳ４：画像解析）
選択部３によって画像の処理手法が選択されると、画像処理部４は、選択された処理手法を用いて画像処理を行う。例えば、画像処理部４は、選択部３によって選択された画像処理アルゴリズムを記憶部５から読み出し、被検眼の画像を解析する。

（ステップＳ５：解析結果表示）
画像処理部４によって画像処理が施されると、表示制御部６は、その結果を表示部７に表示させる。例えば、検者は、表示部７に表示された画像の解析結果に基づいて、被検眼の診断を行う。

以上のように、本実施例の画像処理装置１００は、詳細な画像解析の前に診断部２による自動診断を行うことによって、症例に適した解析手法を用いて画像解析をすることができる。したがって、画像処理装置１００は、画像解析の成功率を向上させ、より適正な診断情報を検者に提供できる。

従来は、ＯＣＴ装置２００などで撮影された画像と、画像を解析して得られた定量値（網膜厚または乳頭Ｃ／Ｄ比など）に基づいて、検者が診断を行っていた。しかしながら、疾患により網膜の形態は大きく変化するため、特定の画像処理アルゴリズムですべての疾患に対応することは難しい。例えば、正常眼の知見に基づいたアルゴリズムになっていた場合、疾患によって網膜構造が崩れると解析に失敗してしまう。また、画像の種類や撮影条件によって、画像に写る可能性のある疾患の候補すべてを対象として画像処理を行い、これらの結果に基づいて画像診断を行う場合、解析に時間がかる。また、同じ疾患であっても、患者によって進行度合いや症状が異なるため、画像処理に失敗する可能性もある。したがって、本実施例のように機械学習による自動診断に基づいて、画像処理アルゴリズムを切り換えることによって、効率的に画像処理を行える。

なお、診断部２は、画像処理部４によって得られた詳細な解析結果に基づいて、再度自動診断をおこなってもよい。つまり、最初に診断部２による仮の診断を行い、その診断結果に応じた解析手法によって得られた解析結果に基づいて、再度、診断部２が最終的な診断を行ってもよい。これによって、画像処理装置１００は、より正確な自動診断を行うことができる。

なお、機械学習による自動診断において、眼底における位置情報を利用してもよい。この場合、機械学習に用いる画像および被検眼の画像に関して座標系を統一させるとよい。特にモダリティの異なる画像を用いる場合は、各画像の座標系を統一すると有効である。例えば、中心窩または視神経乳頭などの生体の特徴点を基準として座標系を統一してもよい。例えば、画像処理部４は、取得された断層画像において、中心窩を検出する。中心窩は、視神経乳頭よりも小さな陥凹形状である。したがって、画像処理部４は、例えば、断層画像から小さな窪み形状を検出し、それを中心窩とする。疾患等で中心窩が判別不能な場合は、眼底の周辺部位またはケラト値などから眼球形状を推定し、中心窩の位置を推定してもよい。自動で検出できない場合は手動で指定できるようにしてもよい。画像処理部４は、中心窩の位置を特定すると、その位置を基準として各画像の位置を合わせる。また、撮影部位に応じて画像の歪み補正を行ってもよい。このように、画像の座標系を統一することによって、画像の位置情報を利用でき、疾患の分類または自動診断の精度を上げることができる。

なお、画像処理部４は、基準点に基づいて、画像を分割してもよい。例えば、画像処理部４は、同心円状の複数の領域（図５（ａ））、または格子状の領域（図５（ｂ））に画像を区分し、分割してもよい。また、同心円状の領域をさらに放射状に分割してもよい（図６参照）。画像を分割する場合、診断部２は、分割された画像を機械学習による自動診断のための入力データに用いてもよい。これによって、画像の位置情報（撮影部位）を考慮した自動診断を容易に実現できる。なお、診断部２は、分割された画像とともに、分割する前の画像も入力データとして自動診断に用いてもよい。

なお、画像処理装置１００は、シーケンス（装置の動作の流れ）を任意に設定できるようにしてもよい。例えば、画像処理装置１００は、シーケンスを作成するためのシーケンス作成部８（図１参照）を備えてもよい。シーケンス作成部８は、機械学習によってシーケンスを自動で作成してもよいし、検者の操作に基づいてシーケンスを作成してもよい。例えば、シーケンス作成部８は、検者の操作履歴に基づいて、少ない操作でいつもの検査を行えるようなシーケンスを作成してもよい。シーケンス作成部８は、画像処理装置１００の診断または解析に関するシーケンスを作成してもよいし、眼科撮影装置の撮影に関するシーケンスを作成してもよい。つまり、シーケンス作成部８によって作成されたシーケンスは、眼科撮影装置および画像処理装置１００等からなる眼科撮影システムに適用されうる。シーケンスは、例えば、撮影方法（例えば、スキャンの角度または枚数など）、検出（例えば、検出対象、検出方法、画像処理アルゴリズムのパラメータなど）、判別方法、表示内容等の組み合わせによって決定される。

診断部２または画像処理部４は、任意に設定されたシーケンスに従って、診断・解析を行う。なお、画像処理装置１００は、シーケンスを評価する評価部９を備えてもよい。評価部９は、シーケンス作成部８によって作成されたシーケンスを評価する。評価部９は、処理時間、患者への負担（撮影に掛かる時間等）、正確さ（診断時に医師が評価）等によってシーケンスを評価し、記憶部５等に記憶させる。また、画像処理装置１００は、シーケンスを共有する共有部１０を備えてもよい。例えば、シーケンス作成部８によって作成されたシーケンスを、ネットワークを介して他のユーザに公開してもよい。このとき、評価部９に付与された評価値をシーケンスと共に公開してもよい。共有部１０は、他のユーザによって公開されたシーケンスを取得してもよい。また、例えば、シーケンス作成部８は、他の検者の操作履歴に基づいて、いつもの検査に加えて他の検査を行うシーケンスを作成してもよい。

なお、選択部３は、診断部２の診断結果に基づいて、画像の検出対象を選択してもよい。例えば、診断結果が緑内症であった場合、隅角が狭くなっていることがあるため、選択部３は、前眼部断層画像が入力されたときの検出対象として隅角を選択し、検者に提示してもよい。このように、選択部３は、各疾患の診断において重要となる部位を検出対象として選択することによって、診断および解析を効率的に行うことができる。

なお、画像の検出対象は、ユーザが設定してもよい。例えば、ユーザは、１枚以上の画像で領域を選択することによって、別の画像で対応する領域を検出させることができる。例えば、図５（ａ）に示すように、ある前眼部断層画像３１において、ユーザはタッチパネル等の操作部を操作して、検出対象を選択するためのカーソル３３を隅角部分の領域に合わせ、検出対象を設定する。この場合、画像処理部４は、別の前眼部断層画像３２においても、前眼部画像３１において指定した領域に対応する隅角を検出対象として検出する（図５（ｂ）参照）。例えば、画像処理部４は、前眼部断層画像３２において、前眼部断層画像３１のカーソル３３内における画像の特徴と一致する箇所を検出する。このように、ある画像に対して選択した特徴を、他の画像に対しても検出させるで、検者が個々の画像に対して検出対象を指定する手間を省くことができ、診断のために重要な情報を効率的に取得できる。

なお、ステップＳ５において、表示制御部６は、被検眼の診断結果に応じて表示部７の表示形態を変更してもよい。疾病に応じて確認する場所と解析内容が異なるため、表示制御部６は、検者が必要とする情報を見やすい形態で表示させる。例えば、表示制御部６は、各疾患に応じたセグメンテーション処理、緑内障用解析、血管密度解析（網膜静脈閉塞症等の場合）、注目位置の拡大表示等を行う。

例えば、表示レイアウトの変更例を図６に基づいて説明する。図６（ａ）は、診断結果が加齢黄斑変性症だった場合に表示部７に表示する表示レイアウトの例である。加齢黄斑変性症、中心性漿液性脈絡網膜症、網膜剥離などの黄斑疾患の場合、網膜の厚さに異常が見られる場合があるため、網膜の厚みを示す厚みマップ４１が表示部７に表示される。また、表示部７には、断層画像４２、網膜厚の解析チャート４３、正常眼の網膜厚との比較画像４４、各網膜層の３次元画像などが表示される。診断結果が緑内障だった場合も、正常眼の網膜厚との比較画像４４等が表示される。

図６（ｂ）は、診断結果が糖尿病網膜症であったときのレイアウトである。糖尿病網膜症が疑われる場合、血管に異常が見られる場合があるため、ＯＣＴアンジオグラフィ４６を表示させる。これによって、検者は、糖尿病網膜症に見られる血管の異常を確認することができる。

また、表示制御部６は、診断および解析によって特定された病変部の位置を表示させてもよい。例えば、表示制御部６は、マーカ４７によって病変部の位置を表示する。これによって、検者が病変部を探すために、操作部を操作させる手間を省くことができる。さらに、表示制御部６は、病変部を拡大表示してもよい。例えば、図６（ｂ）に示すように網膜浮腫Ｆが存在する場合、表示制御部６は、浮腫Ｆが検出された部位の拡大画像４８を表示してもよい。このように、病変部が拡大表示されることによって、確認したい領域を詳細に確認できる。

上記のように、診断結果に応じて表示部７の表示形態を変更することによって、表示を切り換えるための操作が減り、効率的な診断を行うことができる。また、表示制御部６は、疾患が疑われる部位を主に表示部７に表示させるため、検者は、確認作業を効率良く行うことができる。また、経験の少ないユーザであっても疾患を見落とす可能性が低くなる。

なお、表示レイアウトは、図６に示すものに限らず、種々の表示レイアウトが考えられる。例えば、診断結果に応じた表示レイアウトは、検者によって任意に設定されてもよい。この場合、示制御部６は、診断結果ごとに予め設定された表示レイアウトを読み出して表示部７に表示させる。なお、図６に示すように、表示制御部６は、診断結果ごとに設定された表示レイアウトをタブの選択などによって任意に切り換えて表示できるようにしてもよい。

なお、表示制御部６は、疾患のグレードまたは確率を示すマップを表示させてもよい。例えば、図７に示すように、被検眼に取得される。例えば、マップ５１は、疾患が発症している場所と確率が疾患ごとに色分けして表示され、確率が大きいほど色が濃く表示される。このように、マップ５１を表示することによって、被検眼の状態が容易に確認できる。

なお、表示レイアウトは、上記の例に限らない。例えば、上記の画像が全て画面に表示され、診断された疾病と関連のある解析結果が拡大または強調して表示されてもよい。また、表示レイアウトは、ユーザが適宜設定できるようにしてもよい。ユーザが設定した表示レイアウトは、ネットワークを介して他のユーザに公開され、共有できるようにしてもよい。

なお、表示制御部６は、診断手順を表示部７に表示させてもよい。例えば、表示した画像に対して、眼底の色はどうか、網膜厚はどれくらいか、などの診断に必要なチェック項目を表示させてもよい。また、チェックが完了した旨の操作を行うと、次の手順を表示させるようにしてもよい、これによって、診察が不慣れであっても効率的に診断を行うことができる。

また、表示制御部６は、診断結果に応じた処置の提案を表示部７に表示させてもよい。例えば、表示制御部６は、診断部２による診断結果に応じた治療方法や参考文献を表示部７に表示させてもよいし、診断部２によって診断された病名の確度を上げるために必要な追加検査情報を表示部７に表示させてもよい。また、表示制御部６は、レーザ治療の際にレーザを照射する位置を表示部７に表示させてもよい。

また、画像処理部４は、同じ解析に対して異なる手法で解析を行い、その結果を保存または表示させてもよい。一般的に解析処理の時間と精度はトレードオフの関係にあり、高精度の解析処理は時間がかかることが多い。従って、ある解析処理に対して、高速で処理できるアルゴリズムと、低速で高精度なアルゴリズムの２つで解析し、その両方の解析結果を保存し、適宜切り換えて表示できるようにしてもよい。例えば、画像処理部４によって高速な解析処理が実行され、撮影後の確認画面等では高速アルゴリズムで得られた結果が表示される。それと並行して、バックグラウンドでは画像処理部４によって低速高精度な解析処理が実行され、診察の際に高精度な結果が表示される。これによって、時間を掛けた高精度な解析結果を提供でき、かつ、待ち時間も少なく感じられる。なお、２つの解析結果は切り替え表示可能であってもよいし、同時に表示できてもよい。

また、画像処理部４は、ＯＣＴ装置２００によって取得された血管画像から特徴量を抽出し、抽出される特徴量が眼底カメラで撮影された眼底画像の特徴量に近づくように血管画像の変換を繰り返し実行してもよい。これによって、ＯＣＴ装置２００によって取得した眼底血管画像を眼底カメラで撮影した眼底画像のように表示させることができる。

なお、画像処理部４は、血管画像とカラー眼底画像を合成してもよい。この場合、血管画像と眼底画像を撮影し、２つの画像を合成して表示部７に表示させてもよい。

なお、画像処理部４は、診断に用いる画像の画風を変換してもよい。画像処理部４は、例えば、画像の輝度、コントラスト、または色彩を調整することによって、画風を変更する。これによって、メーカーの異なる装置で撮影された画像であっても、自動診断に利用することができる。例えば、あるメーカーの装置で撮影された画像を数学モデルの学習に用いた場合、他のメーカーの装置で撮影された画像を判定することができない可能性がある。しかしながら、他のメーカーの装置で撮影された画像を学習に用いた画像の画風に変換することによって、適正な判定結果を得られる確率が高くなる。つまり、別のメーカーの画像を使えるため、使えるデータが大幅に増える。また、互いに異なるメーカーの装置を使用している病院の間で、データの連携を取ることができる。

なお、以上の実施例において、機械学習による自動診断に断層画像を用いたが、これに限らない。例えば、眼底カメラ、走査型レーザ検眼鏡などによって撮影された眼底正面画像であってもよいし、ＯＣＴ装置によって撮影された血管画像（Angiography）でもよい。また、シャインプルーフカメラによって撮影された断層画像、前眼部観察カメラによって撮影された前眼部画像、角膜形状測定装置によって撮影されたトポグラフィ画像、レーザースペックル画像化法（LSFG）によって得られた眼底血流画像、またはマイクロペリメータによって得られた視感度情報が機械学習に用いられてもよい。

なお、例えば、自動診断に用いるデータは、２次元データだけでなく、３次元データを用いてもよい。例えば、各種疾病眼と正常眼について、ＯＣＴのマップデータ（３次元データ）による機械学習を行い、被検眼に関する任意のデータに基づいて診断を行ってもよい。なお、入力に用いる各画像間のＸＹＺ各方向のずれはハード（例えば、トラッキング）またはソフトによる補正を行ってもよい。

なお、上記の実施例において、機械学習アルゴリズムを用いて画像診断を行う場合、画像の他に、人種、性別、年齢、遺伝子情報等に関する特徴パラメータを数学モデルに入力してもよい。

なお、上記の実施例では、ニューラルネットワークによって画像診断を行ったが、これに限らない。例えば、ランダムフォレスト、ブースティング等の他の機械学習アルゴリズムを用いてもよい。例えば、ランダムフォレストを用いる場合、いくつかの決定木によってそれぞれ疾患の確率が求められ、各決定木から得られる疾患の確率を平均することで最終的な診断結果が取得される。また、ブースティングによって得られた識別器によって、被検眼がどの疾患であるかを分類してもよい。

なお、画像取得部１は、サーバ等から画像を取得してもよい。例えば、多数の機種で撮影された複数の測定結果がネットワークを介してサーバに記憶され、画像取得部１は、サーバから他の装置で撮影された画像データを取得できてもよい。例えば、画像取得部１は、被検者の登録情報および検査情報等が管理される電子カルテシステムから画像を取得してもよい。

１００ 画像処理装置
１ 画像取得部
２ 診断部
３ 選択部
４ 画像処理部
５ 記憶部
６ 表示制御部
７ 表示部
２００ ＯＣＴ装置

Claims (12)

1. 被検眼の画像を処理する画像処理装置であって、
   前記被検眼の画像を取得する画像取得手段と、
   前記画像取得手段によって取得された画像に基づいて、前記被検眼の診断結果を得る診断手段と、
   前記診断結果に基づいて、表示手段の表示形態を変更する表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記表示制御手段は、前記表示レイアウトを変更することを特徴とする請求項１の画像処理装置。
3. 前記表示制御手段は、前記表示項目を変更することを特徴とする請求項１または２の画像処理装置。
4. 前記表示制御手段は、前記画像から検出された病変部を拡大表示させることを特徴とする請求項１〜３のいずれかの画像処理装置。
5. 前記表示制御手段は、疾患の位置と確率を示した確率マップを表示させることを特徴とする請求項１〜４のいずれかの画像処理装置。
6. 前記表示制御手段は、疾患の位置とグレードを示したグレードマップを表示させることを特徴とする請求項１〜５のいずれかの画像処理装置。
7. 前記表示制御手段は、前記診断手段によって前記被検眼が黄斑疾患であると診断された場合、網膜の厚みマップを表示させることを特徴とする請求項１〜６のいずれかの画像処理装置。
8. 前記表示制御手段は、前記診断手段によって前記被検眼が緑内障であると診断された場合、前記被検眼と正常眼との比較画面を表示させることを特徴とする請求項１〜７のいずれかの画像処理装置。
9. 前記表示制御手段は、前記診断手段によって前記被検眼が緑内障であると診断された場合、前記被検眼の隅角画像を表示させることを特徴とする請求項１〜８のいずれかの画像処理装置。
10. 前記表示制御手段は、前記診断手段によって前記被検眼が糖尿病網膜症であると診断された場合、眼底の血管画像を表示させることを特徴とする請求項１〜９のいずれかの画像処理装置。
11. 前記表示制御手段は、前記診断結果に応じた治療法を表示させることを特徴とする請求項１〜１０のいずれかの画像処理装置。
12. 被検眼の画像を処理する画像処理装置において実行される画像処理プログラムであって、前記画像処理装置のプロセッサによって実行されることで、
    前記被検眼の画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得された画像に基づいて、前記被検眼を診断する診断ステップと、
    前記診断ステップにおいて得られた診断結果に基づいて、表示手段の表示形態を変更する表示制御ステップと、
    を前記画像処理装置に実行させることを特徴とする画像処理プログラム。

Images