[go: up one dir, main page]

JP2018114031A - 眼底画像処理装置 - Google Patents

眼底画像処理装置 Download PDF

Info

Publication number
JP2018114031A
JP2018114031A JP2017005437A JP2017005437A JP2018114031A JP 2018114031 A JP2018114031 A JP 2018114031A JP 2017005437 A JP2017005437 A JP 2017005437A JP 2017005437 A JP2017005437 A JP 2017005437A JP 2018114031 A JP2018114031 A JP 2018114031A
Authority
JP
Japan
Prior art keywords
value
pixel
image
hue
blood vessel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017005437A
Other languages
English (en)
Inventor
茂出木 敏雄
Toshio Modegi
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2017005437A priority Critical patent/JP2018114031A/ja
Publication of JP2018114031A publication Critical patent/JP2018114031A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

【課題】 眼底画像に対して動脈と静脈を識別する処理を実行し、動脈と静脈が識別された画像を用いて動静脈径比の判定を行う眼底画像処理装置を提供する。【解決手段】 抽出した血管領域の各画素に対して、カラー眼底画像のRGB値をL階調の色相値に変換し、色相変換画像を得る色相変換手段(20,30,40)と、色相変換画像の色相値に基づき、動脈・静脈の属性が付与された動静脈識別画像を得る動静脈識別画像生成手段60と、動静脈識別画像に対して計測範囲を設定する計測範囲設定手段72と、計測範囲内の動静脈識別画像の画素値に基づき、各計測範囲に動脈・静脈の属性を付与する属性付与手段74と、カラー眼底画像に対して各計測範囲の血流に相当する範囲を血流範囲として特定する血流範囲特定手段76と、動脈の計測範囲で特定された血流範囲と、静脈の計測範囲で特定された血流範囲とに基づき動静脈径比を算出する動静脈径比算出手段65を備える。【選択図】 図2

Description

本発明は、眼底画像の処理技術に関し、特に、眼底画像を用いて動静脈径比を得るための技術に関する。
生活習慣病として代表的な高血圧・脂質異常症・糖尿病・動脈硬化など、いわゆるメタボリックシンドロームにおいて、血圧・脂質・血糖は簡便に計測でき自己検診も可能である。しかし、動脈硬化の計測(通称:血管年齢検査)については、現状ではPWV検査(脈波伝播速度)、ABI検査(足関節上腕血圧比)、頚動脈エコー検査など、検査設備を備えた循環器専門のクリニックでないと計測ができない。
これに対して、眼科クリニックが保有する眼底カメラを用いて眼底血管口径を計測することにより、高血圧や動脈硬化を簡便に計測する手法も知られている。眼底は人体の中で唯一血管を直接観察できる箇所であり、眼底動脈の硬化が全身の動脈と同様に進行すると仮定すれば、眼底写真の撮影により動脈硬化の計測が可能になる。眼底カメラは小型化・低価格化が進み、海外では既にスマートフォンでも撮影できる特殊なレンズが販売されており、眼底写真の自己撮影のインフラも整いつつある。
眼底写真を用いた高血圧や動脈硬化の計測手法として、Scheie分類が提案されており、動静脈径比、動静脈交叉部の静脈径比、動脈の血柱反射比の3者が主要な計測項目であり、これらに対応した計測支援手法も提案されている(特許文献1参照)。また、動静脈径比の計測を完全自動で行う手法も提案されている(特許文献2参照)。
特開2007−319403号公報 特開平10−243924号公報
特許文献1に記載の技術では、血管幅の計測について、ユーザにより円形で指示された中心から、隣接画素との画素値の差が大きい箇所を境界とみなし、最近傍の境界点までの距離をもとに、血管の半径を算出している。しかし、眼底の病態により血管境界がぼけている場合、境界点を特定できず、血管幅が小さ目に計測される問題がある。特許文献2に記載の技術では、動脈と静脈では輝度に差があり(背景に比べ双方とも輝度が低いが、静脈は動脈より顕著に低い)、同一のしきい値で二値化して血管抽出すると、動脈幅は小さ目に静脈幅は大き目になる。そのため、動静脈径比が正しく計測できない。また、動静脈判別を自動で行う手法を提案し、誤判定箇所を血管の連続性により自動修正する機能も提案されているが、血管の分岐箇所では連続性の判定も誤る可能性がある。
上記のような問題により、現状では眼科医が眼底写真の上にゲージを当てて目視で計測する手法が一般的である。そのため、動静脈径比は1/2、1/3といった大まかな数値になり、進行度を定量的に比較できないという問題がある。一方、読み取り精度を上げても、計測者の主観によるバラツキ、計測箇所によるバラツキが多くなり、多くの計測箇所をサンプリングする必要があるが、眼科医の作業負荷が大きく現実的ではない。
そこで、本発明は、与えられた眼底画像に対して動脈と静脈を識別する処理を実行し、動脈と静脈の識別が行われた画像を用いて動静脈径比の判定を行うことが可能な眼底画像処理装置を提供することを課題とする。
上記課題を解決するため、本発明第1の態様では、
カラー眼底画像に対して血管領域を抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してRGB値を取得し、取得したRGB値をL階調(Lは正の整数)の色相値に変換し、画素値がL階調の色相値に変換された色相変換画像を得る色相変換手段と、
前記色相変換画像の各画素の色相値に基づいて、動脈または静脈の属性が付与された動静脈識別画像を得る動静脈識別画像生成手段と、
前記動静脈識別画像に対して、血流を含む範囲を、少なくとも2箇所、計測範囲として設定する計測範囲設定手段と、
前記計測範囲に含まれる動静脈識別画像の画素値に基づいて、前記各計測範囲に対して動脈または静脈の属性を付与する属性付与手段と、
前記カラー眼底画像に対して前記各計測範囲に含まれる血流に相当する範囲を血流範囲として特定する血流範囲特定手段と、
動脈の属性が付与された計測範囲において特定された血流範囲と、静脈の属性が付与された計測範囲において特定された血流範囲とに基づいて動静脈径比を算出する動静脈径比算出手段と、
を備えることを特徴とする眼底画像処理装置を提供する。
また、本発明第2の態様では、
前記計測範囲設定手段は、外形が台形である計測用図形を表示し、外部からの指示に基づき、動静脈識別画像に重ねて配置された前記計測用図形の位置及び形状を修正し、当該計測用図形の平行な2辺がそれぞれ表示された血流をまたぐように設定する手段を更に有し、
前記血流範囲特定手段は、前記計測用図形の平行な2辺に基づいて血流範囲の2端点を各々特定し、特定された血領範囲の4端点を4頂点とする外形が台形形状の図形を前記計測用図形に代えて前記カラー眼底画像に重ねて表示することを特徴とする眼底画像処理装置を提供する。
また、本発明第3の態様では、
カラー眼底画像に対して血管領域を抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してRGB値を取得し、取得したRGB値をL階調(Lは正の整数)の色相値に変換し、画素値がL階調の色相値に変換された色相変換画像を得る色相変換手段と、
前記色相変換画像の各画素の色相値に基づいて、動脈または静脈の属性が付与された動静脈識別画像を得る動静脈識別画像生成手段と、
前記動静脈識別画像に対して、動脈、静脈それぞれ1本以上を含む範囲を計測範囲として設定する計測範囲設定手段と、
前記計測範囲に含まれる動静脈識別画像の動脈の属性をもつ画素数の総和と、動脈と静脈の属性をもつ画素数の総和との比率に基づいて、動静脈径比を算出する動静脈径比算出手段と、
を備えることを特徴とする眼底画像処理装置を提供する。
また、本発明第4の態様では、
前記カラー眼底画像に対して所定の大きさの画素ブロックの輝度値の平均値が最大となる位置を視神経乳頭部の基準点として探索する視神経乳頭探索手段を更に有し、
前記計測範囲設定手段は、前記探索された視神経乳頭部の基準点より所定の距離だけ下方の位置に所定の大きさの矩形領域を前記計測範囲として設定するようにしていることを特徴とする眼底画像処理装置を提供する。
また、本発明第5の態様では、
前記色相変換手段は、前記カラー眼底画像に対して血管領域を強調し、血管領域である確率が高いほど高い輝度値が設定されたグレースケールの血管強調画像を得る血管領域強調手段を更に有し、
前記血管強調画像の中で所定の値以上の画素値をもつ画素を血管領域の画素として抽出するようにし、
前記動静脈識別画像生成手段は、前記色相変換画像の前記血管領域に対応する画素を基に、L階調のヒストグラムを算出し、算出されたヒストグラムを用いて判別分析法により二値化のしきい値を算出するしきい値算出手段を更に有し、
前記色相変換画像の前記血管領域に対応する各画素のL階調の色相値と前記しきい値との比較結果に基づいて、動脈または静脈の属性が付与された前記動静脈識別画像を得るようにしていることを特徴とする眼底画像処理装置を提供する。
また、本発明第6の態様では、
前記色相変換手段は、
前記血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してRGB値を取得し、取得したRGB値をK(KはLより大きい整数)階調の色相値に変換し、画素値がK階調の色相値に変換された多階調色相変換画像を得る多階調色相変換手段と、
前記K階調の範囲内に、cmin(cminは正の整数)からcmax(cmaxはcminより大きくK−1より小さい)の範囲の中央階調領域を定義する中央階調領域定義手段と、
前記多階調色相変換画像に対して、cmin以下を0、cmax以上をL−1に飽和させ、cminからcmaxまでを0からL−1の値をとるL階調の前記色相変換画像に変換する低階調化手段と、
を更に有することを特徴とする。
また、本発明第7の態様では、前記多階調色相変換手段は、前記血管領域の全ての画素に対して、前記取得したRGB値を実数の色相値に変換した後、最小の実数の色相値を0、最大の実数の色相値をK−1に変換するようにK階調の整数の色相値に変換することを特徴とする。
また、本発明第8の態様では、前記中央階調領域定義手段は、前記多階調色相変換画像の前記血管領域に対応する画素をもとに、算出された高精度ヒストグラムにおいて、前記血管領域に対応する画素の総数をCt、中央値をhcとして、中央値hcの両側それぞれにCt/4の画素が含まれる範囲を前記中央階調領域として定義することを特徴とする。
また、本発明第9の態様では、
前記血管領域強調手段は、
前記カラー眼底画像が有する色成分のうち少なくとも1つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、当該画素の画素値に所定の値から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
前記平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
を有することを特徴とする。
また、本発明第10の態様では、前記色相変換手段は、前記血管強調画像が256階調の画素値をもつとき、128以上の画素値をもつ画素を血管領域の画素として抽出することを特徴とする。
また、本発明第11の態様では、前記多階調色相変換手段は、前記取得したRGB値をK階調の色相値に変換する際、R、G、Bに対応する値をr、g、bとし、αを所定の実数値とし、h=(g−b)α/(2r−g−b)を用い、2r−g−b=0の場合h=0とし、2r−g−b<0の場合、通常眼ではh=0とし、白内障眼では、h=(g−b)α/(2r−g−b)として、得られたhの値に基づいて、変換を行うことを特徴とする。
また、本発明第12の態様では、前記しきい値算出手段は、前記L階調を256階調とし、算出されたヒストグラムの階調1から階調254の範囲を用いて判別分析法の処理を実行し、前記しきい値を算出することを特徴とする。
また、本発明第13の態様では、前記動静脈識別画像生成手段は、前記L階調を256階調とし、前記しきい値をSavとすると、前記色相変換画像の前記血管領域に対応する各画素の色相値Hueに対して、(Hue−Sav)×2なる演算を行って−255から255の範囲の画素値に変換し、前記血管領域に対応しない各画素に対して画素値0を設定し、画素値が正の場合は動脈の属性が付与された画素、画素値が負の場合は静脈の属性が付与された画素、画素値が0の場合は、前記血管領域に含まれない画素になるように、前記動静脈識別画像を生成することを特徴とする。
また、本発明第14の態様では、
前記動静脈識別画像生成手段により生成された動静脈識別画像に対して、画素値が(最大値−1)から1の値をもつ画素を補正対象画素として順次探索し、
探索された各補正対象画素の画素値の絶対値をZTとし、前記補正対象画素の8近傍画素の中で画素値の絶対値の最大値をZM、前記8近傍画素の中で動脈の属性をもつ画素の画素値の絶対値の総和をCp、前記8近傍画素の中で静脈の属性をもつ画素の画素値の絶対値の総和をCnとすると、ZM>ZTであり、
最大値ZMをもつ画素の属性が動脈でCp>Cnを満たす、または最大値ZMをもつ画素の属性が静脈でCp<Cnを満たす場合、前記補正対象画素の属性を最大値ZMをもつ画素の属性に置換し、前記補正対象画素の画素値の絶対値をZMに置換するように、前記探索された全ての補正対象画素に対して順次補正するようにしている動静脈識別画像補正手段を更に有することを特徴とする。
また、本発明第15の態様では、
前記動静脈識別画像生成手段により生成された動静脈識別画像より、(2N+1)×(2N+1)画素(N≧1)の画素ブロックを順次抽出し、前記画素ブロックの中で、動脈の属性をもつ画素数の総和をCpa、前記画素ブロックの中で、静脈の属性をもつ画素数の総和をCnaとすると、
Cpa>Cnaの場合、前記画素ブロックの中の全ての画素の属性を動脈に設定し、Cpa<Cnaの場合、前記画素ブロックの中の全ての画素の属性を静脈に設定するように補正する動静脈識別画像補正手段を更に有することを特徴とする。
また、本発明第16の態様では、コンピュータを、前記眼底画像処理装置として機能させるためのプログラムを提供する。
本発明によれば、動静脈径比の判定を行い易くするための画像を得ることが可能となる。
本発明の一実施形態に係る眼底画像処理装置100のハードウェア構成図である。 本発明の一実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。 本発明の一実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。 フルカラー眼底画像と血管強調画像の一例を示す図である。 K=2048としたときの、2048階調色相ヒストグラムを示す図である。 図5のヒストグラムを基に抽出された中央階調領域を示す図である。 L=256としたときの、L階調変換画像Hue(x,y)の一例を示す図である。 L=256としたときの、256階調色相ヒストグラムを示す図である。 第1の手法による動静脈識別画像Hues(x,y)の補正の一例を示す図である。 第2の手法による動静脈識別画像Hues(x,y)の補正の一例を示す図である。 動静脈判定結果画像AVsepの表示例を示す図である。 第1の手法による補正後の動静脈判定結果画像AVsepの表示例を示す図である。 第1の手法および第2の手法による補正後の動静脈判定結果画像AVsepの表示例を示す図である。 血管領域強調手段10の詳細を示す機能ブロック図である。 血管領域強調手段10によるステップS100の血管領域強調処理の詳細を示すフローチャートである。 グレースケール眼底画像上の画素(x,y)と平均値Mean(x,y)を算出するための近傍画素との関係を示す図である。 ステップS130の線状成分強調処理の詳細を示すフローチャートである。 オープニング処理で用いる線形構造要素の一例を示す図である。 オープニング処理で用いる円形構造要素の一例を示す図である。 方向d=1の場合の線形構造要素の具体的な画素値を示す図である。 方向d=2の場合の線形構造要素の具体的な画素値を示す図である。 図4に対応する白内障眼のフルカラー眼底画像と血管強調画像の別の一例を示す図である。 図22に示す症例に対する動静脈判定結果画像AVsepの表示例を示す図である。 図23に示す症例に対する第1に手法および第2の手法による補正後の動静脈判定結果画像AVsepの表示例を示す図である。 図3におけるS700「動静脈径比を算出」の第1の実施形態に係る処理詳細を示すフローチャートである。 図3におけるS700「動静脈径比を算出」の第2の実施形態に係る処理詳細を示すフローチャートである。 図3におけるS700「動静脈径比を算出」の第3の実施形態に係る処理詳細を示すフローチャートである。 図4に示す通常眼のフルカラー眼底画像に対して第1の実施形態に基づき動静脈径比を算出した例を示す図である。 図22に示す白内障眼のフルカラー眼底画像に対して第1の実施形態に基づき動静脈径比を算出した例を示す図である。 図4に示す通常眼のフルカラー眼底画像に対して第2の実施形態に基づき動静脈径比を算出した例を示す図である。 図22に示す白内障眼のフルカラー眼底画像に対して第3の実施形態に基づき動静脈径比を算出した例を示す図である。
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。
<1.装置構成>
図1は、本発明の一実施形態に係る眼底画像処理装置のハードウェア構成図である。本実施形態に係る眼底画像処理装置100は、汎用のコンピュータで実現することができ、図1に示すように、CPU(Central Processing Unit)1と、コンピュータのメインメモリであるRAM(Random Access Memory)2と、CPU1が実行するプログラムやデータを記憶するためのハードディスク、フラッシュメモリ等の大容量の記憶装置3と、キーボード、マウス等の指示入力I/F(インターフェース)4と、データ記憶媒体等の外部装置とデータ通信するためのデータ入出力I/F(インターフェース)5と、液晶ディスプレイ等の表示デバイスである表示部6と、を備え、互いにバスを介して接続されている。
図2は、本実施形態に係る眼底画像処理装置の構成を示す機能ブロック図である。図2において、10は血管領域強調手段、20は多階調色相変換手段、30は中央階調領域定義手段、40は低階調化手段、50はしきい値算出手段、60は動静脈識別画像生成手段、65は動静脈径比算出手段、67は動静脈識別画像補正手段、70は眼底画像記憶手段、80は動静脈識別画像記憶手段である。多階調色相変換手段20、中央階調領域定義手段30、低階調化手段40は、まとめて色相変換手段として機能する。
血管領域強調手段10は、カラー眼底画像に対して血管領域を強調し、血管領域である確率が高い画素ほど高い値が設定されたグレースケールの血管強調画像を得る。多階調色相変換手段20は、血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、血管領域の各画素に対して、カラー眼底画像の対応する画素を参照してRGB値を取得し、取得したRGB値をK(>L)階調(K,Lは共に正の整数)の色相値に変換し、画素値がK階調の色相値に変換された多階調色相変換画像を得る。中央階調領域定義手段30は、K階調の範囲内に、cmin(>0)からcmax(<K−1)の範囲の中央階調領域を定義する。低階調化手段40は、多階調色相変換画像に対して、cmin以下を0、cmax以上をL−1に飽和させ、cminからcmaxまでを0からL−1の値をとるL階調の色相変換画像に変換する。しきい値算出手段50は、色相変換画像の血管領域に対応する画素を基に、L階調のヒストグラムを算出し、算出されたヒストグラムを用いて判別分析法により二値化のしきい値を算出する。動静脈識別画像生成手段60は、色相変換画像の血管領域に対応する各画素のL階調の色相値としきい値との比較結果に基づいて、動脈または静脈の属性が付与された動静脈識別画像を得る。
動静脈識別画像補正手段67は、動静脈識別画像に対して補正を行う。計測範囲設定手段72は、動静脈識別画像に対して、血管を含む範囲を計測範囲として設定する。属性付与手段74は、計測範囲に含まれる動静脈識別画像の画素値に基づいて、各計測範囲に対して動脈または静脈の属性を付与する。血流範囲特定手段76は、カラー眼底画像に対して各計測範囲に対応する領域から血流に相当する一次元の範囲である血流範囲を特定する。視神経乳頭探索手段78は、カラー眼底画像に対して所定の大きさの画素ブロックの輝度値の平均値が最大となる位置を視神経乳頭部の基準点(ほぼ重心)として探索する。動静脈径比算出手段65は、動脈の属性が付与された計測範囲において特定された血流範囲と、静脈の属性が付与された計測範囲において特定された血流範囲とに基づいて動静脈径比を算出する。
血管領域強調手段10、多階調色相変換手段20、中央階調領域定義手段30、低階調化手段40、しきい値算出手段50、動静脈識別画像生成手段60、動静脈径比算出手段65、動静脈識別画像補正手段67、計測範囲設定手段72、属性付与手段74、血流範囲特定手段76、視神経乳頭探索手段78は、CPU1が、記憶装置3に記憶されているプログラムを実行することにより実現される。眼底画像記憶手段70は、可視光・光源方式の眼底カメラを用いてフルカラーで撮影された、血管領域の抽出対象となるフルカラー眼底画像を記憶した記憶手段であり、記憶装置3により実現される。眼底画像処理装置にフルカラー眼底画像を読み込ませて、そのまま処理を行う場合は、RAM2が眼底画像記憶手段70としての役割を果たす。フルカラー眼底画像とは、RGBの3成分により記録された画像データであり、被験者の眼底が撮影されたものである。本実施形態では、RGB各色8ビット256階調で記録されたものを用いている。
動静脈識別画像記憶手段80は、動静脈識別画像生成手段60により生成され、または、動静脈識別画像補正手段67により補正された動静脈識別画像を記憶する記憶手段であり、記憶装置3により実現される。動静脈識別画像は、動脈である可能性の高い画素は正の大きい値を持ち、静脈である可能性の高い画素は負の小さい値を持つ画像であり、本実施形態では、8ビット256階調の形式のグレースケール形式(モノクロ形式)であって、さらに各画素が動脈/静脈の別を示す正負の符号を備えた形式で記録される。
図2に示した各構成手段は、現実には図1に示したように、コンピュータおよびその周辺機器等のハードウェアに専用のプログラムを搭載することにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。なお、本明細書において、コンピュータとは、CPU等の演算処理部を有し、データ処理が可能な装置を意味し、パーソナルコンピュータなどの汎用コンピュータだけでなく、タブレット等の携帯型端末も含む。
図1に示した記憶装置3には、CPU1を動作させ、コンピュータを、眼底画像処理装置として機能させるための専用のプログラムが実装されている。この専用のプログラムを実行することにより、CPU1は、血管領域強調手段10、多階調色相変換手段20、中央階調領域定義手段30、低階調化手段40、しきい値算出手段50、動静脈識別画像生成手段60としての機能を実現することになる。また、記憶装置3は、眼底画像記憶手段70、動静脈識別画像記憶手段80として機能するだけでなく、眼底画像処理装置としての処理に必要な様々なデータを記憶する。
<2.処理動作>
<2.1.前処理>
まず、処理対象とするフルカラー眼底画像を用意する。フルカラー眼底画像としては、デジタル方式の眼底カメラによりフルカラーで撮影した画像ファイルがあれば、そのまま使用できる。また、アナログ方式の眼底カメラにより写真媒体に記録された古いものであれば、保管されていたアナログのネガ・ポジフィルム、印画紙、インスタント写真等をスキャナによりフルカラーで読み取る等してデジタルのフルカラー眼底画像ファイルを取得する。一般には、可視光・光源方式の眼底カメラを用いてフルカラーで撮影することによりフルカラー眼底画像が得られる。取得したフルカラー眼底画像は、眼底画像処理装置の眼底画像記憶手段70に記憶させる。本実施形態では、フルカラー眼底画像としてR,G,B各成分8ビット256階調のカラー画像を用意する。
<2.2.処理概要>
次に、図1、図2に示した眼底画像処理装置の処理動作について説明する。図3は、本発明の一実施形態に係る眼底画像処理装置の処理概要を示すフローチャートである。上述のように、処理対象であるフルカラー眼底画像は、RGB各色8ビット256階調の画像データである。したがって、x方向の画素数Xs、y方向の画素数Ysのフルカラー眼底画像は、色成分を示す変数c=0(Red),1(Green),2(Blue)とすると、Image(x,y,c)=0〜255(x=0,・・・,Xs−1;y=0,・・・,Ys−1;c=0,1,2)と定義される。まず、血管領域強調手段10が、フルカラー眼底画像に対して、血管領域を強調する処理を行い、血管強調画像を得る(ステップS100)。血管領域強調手段10、および血管領域強調手段10が行うステップS100の血管領域強調処理の詳細については後述する。血管強調画像Tray(x,y)は、血管領域であるか否かの確率を示す256段階の血管抽出度をもつグレースケール画像である。血管強調画像において、Tray(x,y)=0の場合は完全に非血管領域を示し、Tray(x,y)=255の場合は完全に血管領域を示す。図4は、フルカラー眼底画像と血管強調画像の一例を示す図である。図4(a)に示すフルカラー眼底画像に対して、ステップS100の処理を実行することにより、図4(b)に示す血管強調画像が得られる。図4(b)に示される通り、本願で使用している血管領域強調処理では、Tray(x,y)の値が比較的大きい血管領域であると判定される画素領域の中には、眼底撮影時の枠線など、本来であれば非血管領域に含まれなくてはいけない非眼底領域の画素も含まれてしまう。
血管強調画像が得られたら、次に、多階調色相変換手段20が、血管領域画素の色相変換を行う(ステップS200)。具体的には、まず、血管強調画像Tray(x,y)>128を満たす座標(x,y)に対応する全ての画素Image(x,y,c)に対して、以下の〔数式1〕に従った処理を実行することにより色相値hを得る。なお、〔数式1〕においては、r=Image(x,y,0)、g=Image(x,y,1)、b=Image(x,y,2)とする。
〔数式1〕
通常眼の場合
2r>g+bのとき、h=(g−b)α/(2r−g−b)
2r≦g+bのとき、h=0
白内障眼の場合
2rとg+bが等しくないとき、h=(g−b)α/(2r−g−b)
2r=g+bのとき、h=0
〔数式1〕に従った処理を実行する際、事前の設定に従って、通常眼、白内障眼に応じた処理が行われる。事前の設定は、オペレータが、指示入力I/F4を介して、通常眼、白内障眼であるかを指定することにより行われる。〔数式1〕におけるαとしては、任意の実数値を設定することができるが、本実施形態では、α=768.0に設定されている。通常眼の場合は、血管領域では必ず2r>g+bとなり、それを満たさない画素は非眼底領域(撮影時の枠線など)と判断できるが、白内障眼の場合は、フルカラー眼底画像においてBlue成分であるbの値が大きくなり、血管領域でも2r<g+bとなることがある。通常眼の設定で行うと、血管領域に対してh=0と非眼底領域と誤判定し、多くの血管領域が抽出されなくなる。そのため、白内障と考えられる場合には、2r=g+bになる画素を除き全ての画素を血管領域とみなす。尚、数式1は血管強調画像Tray(x,y)>128を満たす血管領域の画素に対して適用しているが、眼底カメラで撮影時の枠線など眼底画像に含まれる非眼底領域の画素もTray(x,y)>128を満たしてしまうため、そのまま血管領域として処理する。
〔数式1〕における処理は、h=(g−b)α/(2r−g−b)を用い、2r−g−b=0の場合h=0とし、2r−g−b<0の場合、通常眼では非眼底領域(非血管領域)の画素と判断しh=0とし、白内障眼では、血管領域でも2r−g−b<0を満たす画素があるため、血管領域であるか非眼底領域(非血管領域)の画素であるかを色相値で判断できないため、非眼底領域(非血管領域)の画素も含めて血管領域の画素とみなし、h=(g−b)α/(2r−g−b)で算出される色相値を与える。
続いて、算出されたhの最小値hmin、hの最大値hmaxを用いて、以下の〔数式2〕に従った処理を実行することによりK階調変換画像Hueh(x,y)を得る。K階調変換画像Hueh(x,y)は、後述するL階調変換画像Hue(x,y)より相対的に多階調であるため、多階調色相変換画像と呼ぶこともできる。
〔数式2〕
Hueh(x,y)=(h−hmin)(K−1)/(hmax−hmin)
0≦Hueh(x,y)≦K−1
〔数式2〕の第1式の結果得られたHueh(x,y)は実数値であるため、小数点以下1桁を四捨五入して整数値に置き換える。〔数式2〕における階調Kとしては、任意の値を設定することができるが、本実施形態では、K=2048に設定されている。この場合、K階調変換画像Hueh(x,y)は、0〜2047の値をとる2048階調のグレースケール画像である。色相値hは、血管強調画像Tray(x,y)>128となる血管領域である可能性が高い画素についてのみ、求められているため、K階調変換画像Hueh(x,y)も血管領域である可能性が高い画素に対応する画像となる。
K階調変換画像が得られたら、次に、中央階調領域定義手段30が、中央階調領域の抽出を行う(ステップS300)。具体的には、まず、K階調変換画像Hueh(x,y)の、血管強調画像Tray(x,y)>128を満たす画素(x,y)におけるヒストグラムhisth(h1)(0≦h1≦K−1)を求める。ヒストグラムhisth(h1)が得られたら、以下の〔数式3〕に従った処理を実行することにより、ヒストグラムhisth(h1)の中央値(50%位置)hcを求める。
〔数式3〕
Ct=Σh1=0,Khisth(h1)
Σh1=0,hchisth(h1)≧Ct/2
〔数式3〕において、Ctは、K階調変換画像Hueh(x,y)の画素の総数である。〔数式3〕の第2式の条件を最初に満たしたh1の値hcを中央値とする。
中央値hcが得られたら、以下の〔数式4〕に従った処理を実行することにより、中央階調領域の最小値cminと最大値cmaxを求める。
〔数式4〕
hc−1≧h1≧0の範囲で、Σh1=cmin,hc-1histh(h1)≧Ct/4
hc≦h1≦K−1の範囲で、Σh1=hc,cmaxhisth(h1)≧Ct/4
〔数式4〕において、第1式をh1=hc−1から小さい方へ順に積算していき、初めて第1式が成立したときのh1の値を最小値cminとし、第2式をh1=hcから大きい方へ順に積算していき、初めて第2式が成立したときのh1の値を最大値cmaxとする。
図5は、K=2048としたときの、2048階調色相の高精度ヒストグラムを示す図である。図5においては、中央値hc=1032、最小値cmin=1023、最大値cmax=1037となった例を示している。図6は、図5のヒストグラムを基に抽出された中央階調領域を示す図である。図6の例では、cmin(1023)からcmax(1037)までが中央階調領域として抽出されている。
中央階調領域が抽出されたら、次に、低階調化手段40が、K階調変換画像Hueh(x,y)の低階調化を行う(ステップS400)。具体的には、以下の〔数式5〕に従った処理を実行することによりL階調色相変換画像Hue(x,y)を得る。なお、Lは正の整数である。
〔数式5〕
Tray(x,y)>128を満たす(x,y)に対して
Hue(x,y)=(Hueh(x,y)−cmin)(L−1)/(cmax−cmin)
Hue(x,y)<0の場合、Hue(x,y)=0
Hue(x,y)>L−1の場合、Hue(x,y)=L−1
〔数式5〕に示すように、演算後のHue(x,y)が負の値かL−1を超える場合、それぞれ最小値0、最大値L−1に飽和させる。〔数式5〕における階調Lとしては、任意の値を設定することができるが、本実施形態では、L=256に設定されている。この場合、L階調変換画像Hue(x,y)は、0〜255の値をとる256階調のグレースケール画像である。
図7は、L=256としたときの、L階調変換画像Hue(x,y)の一例を示す図である。動脈に相当する画素は高輝度となり、静脈に相当する画素は低輝度となる。前述の通り、Tray(x,y)>128を満たす画素の中には、眼底カメラで撮影時の枠線など眼底画像に含まれる非眼底領域の画素も含まれ、これらのL階調色相変換画像Hue(x,y)の値は、飽和させた画素値の0(通常眼の場合)またはL−1(白内障眼の場合)をとる。
L階調変換画像が得られたら、次に、しきい値算出手段50は、しきい値を算出する(ステップS500)。具体的には、まず、0〜L−1の値をもつグレースケールのL階調変換画像Hue(x,y)(x=0,・・・,Xs−1;y=0,・・・,Ys−1)に対して、Tray(x,y)>128を満たす(x,y)について濃度ヒストグラムHist(va)(va=0,・・・,L−1)を算出する。そして、ヒストグラムを2分割する境界(しきい値)をs(s=2,・・・,L−2)とし、以下の〔数式6〕に従った処理を実行し、判別値D(s)を算出する。
〔数式6〕
Sum1(s)=Σva=1,s-1Hist(va)va
Sum2(s)=Σva=s,L-2Hist(va)va
N1(s)=Σva=1,s-1Hist(va)
N2(s)=Σva=s,L-2Hist(va)
V1(s)=Sum1(s)/N1(s)
V2(s)=Sum2(s)/N2(s)
W(s)=(V1−V2)
D(s)=N1(s)N2(s)W(s)2
上記〔数式6〕の第1式において、Σの添え字の“va=1,s−1”は、vaが1からs−1までの総和を求めることを示している。同様に、第2式〜第4式においても添え字の範囲で総和を求める。va=0の場合は静脈であることが明らかであり,va=L−1の場合は動脈であることが明らかであり、血管領域に含まれる非眼底領域の画素もva=0(通常眼の場合)またはva=L−1(白内障眼の場合)をとるため、演算の範囲から除外している。また、上記〔数式6〕において、N1(s)は階調値(画素値)sより低階調側の画素個数、N2(s)は階調値(画素値)sより高階調側の画素個数、V1(s)は階調値(画素値)sより低階調側の階調平均値、V2(s)は階調値(画素値)sより高階調側の階調平均値である。例えば、L=256の場合、va=1〜254の範囲を用いて判別分析法の処理を実行していることになる。
上記〔数式6〕の最後の式である判別式に従ってD(s)を算出し、判別値D(s)を最大とするsを二値化(動静脈識別)のしきい値Savに選定する。ステップS500における、しきい値Savを特定する処理は、公知の判別分析法と実質的に同じものとなっている。
図8は、L=256としたときの、256階調色相ヒストグラムを示す図である。図8の例では、中央値hc=1032、最小値cmin=1023、最大値cmax=1037である場合に、しきい値Sav=201が特定された例を示している。
しきい値Savが得られたら、次に、動静脈識別画像生成手段60が、動静脈識別画像を生成する(ステップS600)。具体的には、まず、以下の〔数式7〕に従った処理を実行することにより動静脈識別画像Hues(x,y)を得る。
〔数式7〕
Tray(x,y)>128のとき、h2=(Hue(x,y)−Sav)×2
Tray(x,y)≦128のとき、h2=0
|h2|>255の場合、|h2|←255(正負符号はそのまま)
Hues(x,y)=h2(正負の符号付き)
〔数式7〕においては、L階調変換画像Hue(x,y)としきい値Savとの比較結果に基づいて、Hues(x,y)を求めている。〔数式7〕に従った処理の結果、動脈である可能性の高い画素(x,y)は正の値を持ち、静脈である可能性の高い画素(x,y)は負の値を持つ動静脈識別画像Hues(x,y)が得られる。すなわち、動静脈識別画像Hues(x,y)の各画素には、正負の符号により動脈または静脈の属性が付与されている。
動静脈識別画像生成手段60は、さらに、以下の〔数式8〕に従った処理を実行することにより動静脈判定結果画像AVsep(x,y,c)を得る。
〔数式8〕
AVsep(x,y,0)=(Hues(x,y)/2+L/2)×Tray(x,y)/(L−1)
AVsep(x,y,1)=Tray(x,y)/4
AVsep(x,y,2)=(−Hues(x,y)/2+L/2)×Tray2(x,y)/(L−1)
動静脈判定結果画像AVsep(x,y,c)においても、フルカラー眼底画像Image(x,y,c)と同様、色成分を示す変数c=0(Red),1(Green),2(Blue)となっている。動脈の場合はRed成分が大きくなるとともにBlue成分が小さくなり、静脈の場合はBlue成分が大きくなるとともに、Red成分が大きくなり、Green成分は血管領域であれば大きくなり、血管領域であるか否かを識別する作用をもたせているが、動脈と静脈の視覚的な識別を容易にするため、血管強調画像の画素値を大きく削減している。得られた動静脈判定結果画像AVsep(x,y,c)において、L=256の場合、一般的なフルカラー画像として表示させることができ、動脈、静脈の別を視覚的に把握することができる。
動静脈識別画像Hues(x,y)が得られたら、次に、動静脈径比算出手段65が、動静脈識別画像で識別されている動脈領域および静脈領域に対応する元の眼底画像の領域を参照しながら後述する手法により動静脈径比を算出する(ステップS700)。
上記実施形態では、動静脈識別画像生成手段60が〔数式7〕に従って算出した動静脈識別画像Hues(x,y)を用いて、そのまま動静脈径比を算出したが、L階調色相変換画像Hue(x,y)の色相値に対して単一のしきい値Savだけで動静脈を二値判定する方法では、動静脈の判定が誤った画素が少なからず存在する。動静脈識別画像Hues(x,y)において誤った動静脈の属性が付与された画素を補正し、補正後の動静脈識別画像Hues(x,y)を用いて動静脈径比を算出する方が高精度な結果を得ることができる。このような補正は、動静脈識別画像補正手段67により行われるが、はじめに、提案する補正方法の原理を説明する。動脈に流れる血液は、酸素が結合したヘモグロビンをもつ赤血球が主に流れるため色相値は赤色に傾き、静脈に流れる血液は、二酸化炭素が結合したヘモグロビンをもつ赤血球が主に流れるため色相値は青色に傾くが、部分的には動脈に静脈血が流れたり、その逆もあるため、色相値だけで動静脈を完全に判別することはできない。動静脈の判定が誤った画素を補正する方法としては、血管属性の一貫性を活用することが考えられる。一連の血管とみなせる領域の動脈または静脈の属性が部分的に反転することは有りえないため、動脈と静脈の属性が局所的に反転している箇所があれば、誤りであると補正することができる。しかし、血管は分岐したり交差したりするため、一連の血管とみなせる領域を2次元の眼底画像から抽出することは難しい。そこで、本願では一連の血管の一部とみなせる血管領域内の連結した画素ブロックに注目し、画素ブロック内で動脈と静脈の属性が局所的に反転している画素を補正する方法を2つ提案する。以下に、動静脈識別画像補正手段67が行う補正について、2通りの手法を説明する。
第1の手法について説明する。第1の手法では、ステップS600における動静脈識別画像Hues(x,y)の生成後、動静脈識別画像補正手段67は、まず、kをL−2(最大値(L−1)−1)〜1に順次変化させ、符号付き色相値の絶対値|Hues(x,y)|=kを満たす画素(x,y)を補正対象画素として探索する。その補正対象画素(x,y)の8近傍の画素(x+u,y+v)(u=−1,0,1;v=−1,0,1;u=v=0を除く)の符号付き色相値に対して、以下の〔数式9〕に従った処理を実行し、正符号の色相値総和Cp、負符号の色相値総和Cnを算出する。
〔数式9〕
Cp=Σu=-1,1Σv=-1,1; Hues(x+u,y+v)>0Hues(x+u,y+v)
Cn=−Σu=-1,1Σv=-1,1; Hues(x+u,y+v)<0Hues(x+u,y+v)
〔数式9〕において、第1式は、8近傍の画素のうち正の値をとる色相値の総和を算出するためのものであり、第2式は、8近傍の画素のうち負の値をとる色相値絶対値の総和を算出するためのものである。続いて、8近傍の画素(x+u,y+v)のうち絶対値が最大となる色相値をHues(x+um,y+vm)とし、以下の〔数式10〕に従った処理を実行し、補正された動静脈識別画像Hues(x,y)を得る。
〔数式10〕
|Hues(x+um,y+vm)|>|Hues(x,y)|を満たし(第1条件)、
Hues(x+um,y+vm)>0かつCp>Cn(第2条件)、またはHues(x+um,y+vm)<0かつCp<Cn(第3条件)を満たす場合、
Hues(x,y)←Hues(x+um,y+vm)
〔数式10〕においては、第1条件を満たし、第2条件または第3条件を満たす場合に、符号付き色相値Hues(x,y)がHues(x+um,y+vm)の値に置換されることになる。第2条件における“Hues(x+um,y+vm)>0”は画素の属性が動脈であることを示し、第3条件における“Hues(x+um,y+vm)<0”は画素の属性が静脈であることを示している。また、第1条件は、探索された補正対象画素の画素値の絶対値|Hues(x,y)|をZTとし、補正対象画素の8近傍画素の中で画素値の絶対値の最大値|Hues(x+um,y+vm)|をZMとすると、ZM>ZTと表現することもできる。探索された補正対象画素(x,y)に対して、〔数式10〕に従った処理を実行したら、同一のkの値で探索された符号付き色相値の絶対値|Hues(x,y)|=kを満たす他の画素(x,y)に対して、同様に〔数式9〕〔数式10〕に従った処理を実行する。|Hues(x,y)|=kを満たす全ての画素(x,y)に対して前述の処理を実行したら、kの値をデクリメントし、|Hues(x,y)|=kを満たす画素を探索し、|Hues(x,y)|=kを満たす全ての画素(x,y)に対して前述の処理を実行する。kの値をデクリメントした結果、k=0になったら、動静脈識別画像補正手段67による第1の手法に基づく処理は終了とする。
図9は、第1の手法による動静脈識別画像Hues(x,y)の補正の一例を示す図である。図9(a)は動静脈識別画像Hues(x,y)の中でk=70の条件で探索された画素の一例とその画素の8近傍を示す。図9(a)(b)にそれぞれ示す9個の画素のうち、中央に示す画素が探索された補正対象の画素(x,y)であり、他の画素は8近傍画素(x+u,y+v)(u=−1,0,1;v=−1,0,1;u=v=0を除く)である。図9(a)の例で、〔数式9〕に従った処理を実行すると、Cp=60+180+130+110=380となり、Cn=−(−20−60−40−30)=150となり、絶対値が最大となる色相値Hues(x+um,y+vm)=130となる。
図9(a)の場合、〔数式10〕の第1条件は|130|>|−70|となるため、本条件を満たし、第2条件は130>0かつ380>150となるため、本条件を満たす。したがって、図9(b)に示すように、〔数式10〕に従い中央の画素が(x,y)の値が、130に置き換えられることになる。図9(a)から図9(b)に変換するのと同様な処理を、k=70の条件で探索された他の画素に対して実行するとともに、kの値を254から1に変えた条件で探索された全ての画素に対して実行する。
第2の手法について説明する。第2の手法は、実質的にはモルフォロジー膨張処理である。第2の手法では、ステップS600における動静脈識別画像Hues(x,y)の生成後、動静脈識別画像補正手段67は、まず、−255〜255の値をもつ動静脈識別画像において、モルフォロジーのサイズを(2N+1)×(2N+1)とすると、N≦x≦Xs−N−1,N≦y≦Ys−N−1の各画素(x,y)の周辺(2N+1)×(2N+1)画素(N≧1)の画素ブロックを順次抽出する。Nの値としては、眼底画像のサイズが1280×1024画素の場合、第1の方法のようにN=1(3×3画素)では効果が弱いため、N=3(7×7画素)以上に設定することが望ましい。そして、各画素ブロックに対して、〔数式9〕と同様な以下の〔数式11〕に従った処理を実行し、正符号の色相値を持つ色相値の総和Cpa、負符号の色相値を持つ色相値の絶対値の総和Cnaを計数する。
〔数式11〕
Cpa=Σu=-N,NΣv=-N,N; Hues(x+u,y+v)>0Hues(x+u,y+v)
Cna=−Σu=-N,NΣv=-N,N; Hues(x+u,y+v)<0Hues(x+u,y+v)
そして、Cpa>Cnaの場合、中央の画素の色相値Hues(x,y)の符号を正にする。また、Cpa<Cnaの場合、中央の画素の色相値Hues(x,y)の符号を負にする。いずれも絶対値の変更は行わない。このようにして、(N,N)から(Xs−N−1,Ys−N−1)の範囲の(Xs−2N)×(Ys−2N)個の全ての画素に対して、周辺の(2N+1)×(2N+1)個の画素ブロックを参照しながら、同様な補正処理を繰り返す。この時、隣接する画素の周辺の画素ブロックには既に補正を行った画素が含まれるが、本願では更新後の色相値を用いる(更新前の色相値を用いる方法もあるが、更新後の色相値を用いる方法の方が補正効果が強くなる)。また、(Xs−2N)×(Ys−2N)個の全ての画素に対して補正処理が終了しても補正効果が不十分であることが多いため、(Xs−2N)×(Ys−2N)個の全ての画素に対する補正処理を複数回繰り返すことが望ましい。本願では6回繰り返すようにしている。
図10は、第2の手法による動静脈識別画像Hues(x,y)の補正の一例を示す図である。図10(a)(b)にそれぞれ示す25個の画素のうち、中央の画素が(x,y)であり、周辺の24画素が(x+u,y+v)(−N≦u≦N,−N≦v≦N;N=2)である。図10(a)の例では、〔数式11〕に従い、Cpa=1350となり、Cna=470となる。
図10(a)の場合、Cpa(=1350)>Cna(=470)であるため、図10(b)に示すように、5×5個の中央の画素の色相値Hues(x,y)の符号が正に変換されることになる。
動静脈識別画像生成手段60により生成され、または動静脈識別画像補正手段67により補正された動静脈判定結果画像AVsep(x,y,c)は、表示部6に表示することができる。
また、動静脈識別画像生成手段60は、フルカラー動静脈判定結果画像AVsep(x,y,c)から2種のグレースケール動静脈判定結果画像を生成することができる。具体的には、以下の〔数式12〕に従った処理を実行し、グレースケール動静脈判定結果画像を生成する。
〔数式12〕
av=AVsep(x,y,1)×4
AVsep(x,y,0)>AVsep(x,y,2)のとき、
h3=(AVsep(x,y,0)×255/av−128)×2
AVsep(x,y,0)<AVsep(x,y,2)のとき、
h3=−(AVsep(x,y,2)×255/av−128)×2
AVsep(x,y,0)=AVsep(x,y,2)のとき、h3=0
h3<−255の場合、h3←−255
h3>255の場合、h3←255
動脈像をグレースケールで表示する場合、R=G=B=h3×av/128とし、静脈像をグレースケールで表示する場合、R=G=B=−h3×av/128とし、RGB同一の階調で表示させる。ただし、0≦R,G,B≦255の範囲を超えないようにする。
図11〜図13は、図4(a)に示す通常眼のフルカラー眼底画像に対して、前述の一連処理に基づいて動静脈判定結果画像AVsepを生成した例を示す図である。図11は、動静脈識別画像生成手段60により生成され動静脈識別画像補正手段67による補正を行っていない場合、図12は、動静脈識別画像補正手段67により第1の手法を用いて補正を行った場合、図13は、動静脈識別画像補正手段67により第1の手法および第2の手法を用いて補正を行った場合を示している。第2の手法はN=3に設定し、694×599画素(原画像:700×605画素)に対する一連の補正処理を6回繰り返している。図11〜図13のいずれも左側の図がフルカラー表示、右側上段が動脈のグレースケール表示、右側下段が静脈のグレースケール表示である。
また、本願発明は前述の通り白内障眼にも対応しており、図23と図24は、図22(a)に示す700×605画素の白内障眼のフルカラー眼底画像に対して、前述の一連処理に基づいて動静脈判定結果画像AVsepを生成した例を示す図である。図23は、動静脈識別画像生成手段60により生成され動静脈識別画像補正手段67による補正を行っていない場合で、図22(b)に示す血管強調画像を生成し、図示は省略するが、図7と同様な256階調変換画像を作成し、前述の判別分析法によりしきい値Sav=89と算出し、動静脈判定結果画像AVsepを生成したものである。通常眼の図11に比べ、ブルー成分に富むため、Savの値が顕著に低く静脈側に傾いていることが分かる。また、通常眼の図11では、血管領域に含まれる撮影時の枠線など非眼底領域の画素値は静脈側の−255という値が多くなるが、白内障眼の図23では、動脈側の+255という値が多くなる。図24は、図13と同様に動静脈識別画像補正手段67により第1の手法および第2の手法を用いて補正を行った場合を示している。第2の手法は同様にN=3に設定し、694×599画素(原画像:700×605画素)に対する一連の補正処理を6回繰り返している。図23と図24のいずれも左側の図がフルカラー表示、右側上段が動脈のグレースケール表示、右側下段が静脈のグレースケール表示である。
更に、動静脈識別画像生成手段60は、指示入力I/Fを介した外部からの指示に基づいて、対話的に、フルカラー動静脈判定結果画像AVsep(x,y,c)を修正することもできる。具体的には、ユーザにより修正領域(x1≦x≦x2,y1≦y≦y2)と動脈または静脈の属性変更が指示された場合に、その領域内の血管領域の対象画素の属性を全て動脈または静脈に変更する。詳細には、対象画素がAVsep(x,y,0)>AVsep(x,y,2)で動脈への属性変更の場合は、そのまま変更しない。対象画素がAVsep(x,y,0)>AVsep(x,y,2)で静脈への属性変更の場合は、AVsep(x,y,0)とAVsep(x,y,2)の値を互いに逆転させる。対象画素がAVsep(x,y,0)<AVsep(x,y,2)で動脈への属性変更の場合は、AVsep(x,y,0)とAVsep(x,y,2)の値を互いに逆転させる。対象画素がAVsep(x,y,0)<AVsep(x,y,2)で静脈への属性変更の場合は、そのまま変更しない。
<3.血管領域強調手段>
次に、血管領域強調手段10、および血管領域強調手段10が行うステップS100の血管領域強調処理の詳細について説明する。図14は、血管領域強調手段10の詳細を示す機能ブロック図である。図14において、11はグレースケール変換手段、12は画像平坦化手段、13は線状成分強調手段、14は画素階調変換手段である。
図15は、血管領域強調手段10によるステップS100の血管領域強調処理の詳細を示すフローチャートである。グレースケール変換手段11は、フルカラー眼底画像Image(x,y,c)に対して、以下の〔数式13〕に従った処理を実行することによりグレースケール変換する(ステップS110)。
〔数式13〕
Gr(x,y)=Image(x,y,1)
上記〔数式13〕において、Image(x,y,1)は、フルカラー眼底画像のうち、G(グリーン、緑)の成分を示している。したがって、上記〔数式13〕においては、各画素のG成分のみを抽出し、グレースケール形式の画像Gr(x,y)を得ている。一般に健常者の眼底画像は、主にG成分とB成分に血管像が現れる。一方、白内障の症状が進んだ患者の眼底画像は、B成分の血管像が健常者に比べてネガポジ反転したり(背景部のB成分の輝度が血管領域に対して向上する)、不鮮明になる。そのため、単一の色成分であるG成分を抽出することにより健常者、白内障患者の双方の血管成分を抽出し易くなる。
さらに、グレースケール変換手段11は、グレースケール形式の画像Gr(x,y)に対して、以下の〔数式14〕に従った処理を実行することによりネガポジ反転してグレースケール眼底画像Gray(x,y)を得る。ここで、眼底画像に対してネガポジ反転させる理由は、血管候補領域の輝度を高くし背景の非血管候補領域の輝度を低くすることにより、グレースケール眼底画像の血管候補領域に対して疑似カラーで着色することができ、複数のグレースケール眼底画像を合成しても背景部(非血管候補領域)が混ざり合わないため、血管候補領域の位置関係が把握しやすくなるためである。
〔数式14〕
Gray(x,y)=255−Gr(x,y)
上記〔数式14〕に従った処理を実行して、ネガポジ反転することにより、周囲に比べ輝度が低い血管領域の画素値が高い状態に変換される。ここで、ネガポジ反転とは、元の画素値の大きいもの程小さい値に変換する処理を意味する。
グレースケール眼底画像が得られたら、次に、画像平坦化手段12が、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、その画素の画素値に所定の値から平均値を減算した値を加算することにより、平坦化画像を作成する(ステップS120)。具体的には、以下の〔数式15〕に従った処理を実行することにより、グレースケールの平坦化画像Gray´(x,y)を得る。
〔数式15〕
Mean(x,y)={Σj=-m+1,mΣi=-m+1,mGray(x+i,y+j)}/(4m2
Gray´(x,y)=Gray(x,y)+Mid−Mean(x,y)
上記〔数式15〕において、mは1以上の整数であり、Σの添え字の“j=−m+1,m” “i=−m+1,m”は、jが−m+1からmまで、およびiが−m+1からmまでの4m2個の画素の総和を求めることを示している。すなわち、Mean(x,y)は、画素(x,y)から前後左右m画素の範囲に含まれる近傍画素の画素値の平均値を示している。近傍画素の画素数としては、画像の全画素の1/3000〜1/7000の範囲とすることが好ましい。本実施形態では、m=8として近傍画素を256(=4m2=2m×2m)個としている。これは、グレースケール眼底画像Gray(x,y)が1280×1024画素の場合、約1/50000に相当する。
この平均値Mean(x,y)を用いて、〔数式15〕の第2式により、各画素(x,y)の画素値Gray(x,y)に所定の値Midから平均値Mean(x,y)を減算した値を加算することにより、平坦化画像Gray´(x,y)が得られる。所定の値Midは、画素が取り得る階調の中央値である。本実施形態では、画像が0〜255の値を取り得るため、中央値としては、127、128の2つがあるが、便宜上Mid=128としている。
上記平均値Mean(x,y)を算出する際、上記〔数式15〕の第1式に示したように、直接近傍画素の画素値の総和を求めるようにしてもよいが、この手法だと、演算処理の負荷が高い。そのため、本実施形態では、画像平坦化手段12は、以下の〔数式16〕に従った処理を実行することにより、少ない処理負荷で高速に平均値Mean(x,y)を算出するようにしている。
〔数式16〕
S(i,j)=Σjj=0,j-1Σii=0,Xs-1Gray(ii,jj)+Σjj=0,iGray(ii,j)
Mean(x,y)={S(x+m,y+m)−S(x−m,y+m)−S(x+m,y−m)+S(x−m,y−m)}/(4m2
上記〔数式16〕の第1式において、S(i,j)は、先頭の画素(画像の左上端x=0、y=0)から画素(i,j)までの画素値Gray(ii,jj)の全Xs×j+i+1個の累積値である。
図16は、グレースケール眼底画像上の画素(x,y)と平均値Mean(x,y)を算出するための近傍画素との関係を示す図である。大きな太枠で囲ったように、平均値Mean(x,y)を算出するために、左上方の画素(x−m+1,y−m+1)〜右下方の画素(x+m,y+m)の全2m×2m個の画素値を加算する必要がある。この際、画像の先頭の画素から画素(x,y)までの画素値の累積値S(x,y)を〔数式16〕の第1式を用いて算出しておく。すると、前記2m×2m個の近傍画素と、それらの左方に隣接する画素(x−m,y−m+1)〜画素(x−m,y+m)からなる2m個の画素、それらの上方に隣接する画素(x−m+1,y−m)〜画素(x+m,y−m)からなる2m個の画素、およびそれらの左上方に隣接する画素(x−m,y−m)を加えた各画素は、図16に示したような累積値をもつ。
そうすると、平均値Mean(x,y)は、〔数式16〕の第2式に示すように、4つの画素の累積値を加減算するだけの少ない処理負荷で高速に算出することができる。ここで、累積値を加算する4つの画素とは、図16に、小さい太枠で囲った(x+m,y+m)、(x−m,y+m)、(x+m,y−m)、(x−m,y−m)の4画素である。グレースケール眼底画像Gray(x,y)の各画素(x,y)に近傍画素の平均値Mean(x,y)を所定の値Midから減算した値を加算することにより、平坦化画像Gray´(x,y)が得られる。
結局、〔数式16〕に従った処理を実行することにより、画像平坦化手段12は、画像のサイズがXs×Ysである前記グレースケール眼底画像に対して、あらかじめ(0,0)から(Xs−1,y−1)の範囲のXs×y個、および(0,y)から(x,y)の範囲のx+1個からなる全Xs×y+x+1個の画素値の総和を各画素(x,y)における累積値S(x,y)として算出する処理を行い、S(x+m,y+m)−S(x−m,y+m)−S(x+m,y−m)+S(x−m,y−m)の値を、2m×2mで除算した値を平均値として算出している。各画素(x,y)における累積値S(x,y)を事前に算出する処理が余分に加わるが、この計算はXs×Ys回の加算演算だけで行える。これに対して、累積値S(x,y)を用いずに、各画素(x,y)における平均値Mean(x,y)を算出しようとすると、各画素ごとに2m×2m回の加算演算が必要となり、トータルXs×Ys×2m×2m回の加算演算が必要となる。これに対して、累積値S(x,y)を用いれば、各画素ごとに4回の加減算で済み、事前の画像全体の累積値計算を含めてトータルXs×Ys×5回の加減算で完結する。
平坦化画像が得られたら、次に、線状成分強調手段13が、平坦化画像に対して、オープニング処理(収縮・膨張処理)を行って線状成分の強調を行い、線状成分強調画像を得る(ステップS130)。図17は、ステップS130における線状成分強調の処理動作を示すフローチャートである。
まず、線状成分強調手段13は、画像平坦化手段12により得られた平坦化画像に対して、8種の線形構造要素によるオープニング処理を行う(ステップS131)。ステップS131のオープニング処理では、線形構造要素を複数個用いて、複数の線形オープニング画像を作成する。本実施形態では、指定構造要素として8個の線形構造要素を用いる。これは、方向が8方向に異なる線形の構造要素である線形構造要素である。図18は、本実施形態で用いる線形構造要素の一例を示す図である。
図18に示す線形構造要素は、マスクとしての役割を果たすものであるため、二値画像である。そのため、図18において、“0”と表記された画素の値は“0”であるが、“0”以外の数値が表記された画素の値は、8種類の各方向dに応じて“1”となり、他の方向のとき“0”である。図18における“0”以外の数字は方向を示している。“1”は水平方向(図面左右方向)であり、以後数字が1増えるに従って22.5度間隔で方向が変化する。“2” “4”“6”“8”については、画素の格子状配置の関係から、同一数字の列が直線上に配列することができないため、近傍の区画に配置されている。“234”や“678”などの3桁の数字は、それぞれ“2” “3”“4”の3方向、“6”“7”“8”の3方向のいずれかの方向の場合に、画素値が“1”となることを示している。なお、“9”は中心となる画素を示しており、中心となる画素の値は常に“1”である。
図18に示すように、線形構造要素は、円形構造要素の半径Rの2倍の長さで画素幅が1画素であって、22.5度間隔の直線の少なくとも近傍に配置され、8方向を定義したものとなる。実際には、各方向において画素値“1”が与えられる連続する画素は、直線となることが好ましいが、線形構造要素の全体画素数が少ない場合は、必ずしも直線にならない。そのため、図18の例では、“2” “4”“6”“8”で示す方向については、直線ではなく、画素値“1”となる画素は、22.5度間隔の直線の近傍に配置されることになる。
実際に用いる線形構造要素は、中心から半径7画素の条件を追加したものとなる。すなわち、図18に示した線形構造要素と、図19に示した円形構造要素の論理積(AND)をとったものとなる。図19は、本実施形態で用いる円形構造要素の一例を示す図である。図19に示すように、本実施形態では、半径7画素、すなわち中心から距離7画素以下を有効とした15×15のマスク画像の形態である円形構造要素を用いる。図19に示すように、15×15の画素のうち、中心から距離7画素以下の画素値は“1”、その他の中心から距離7を超える画素の画素値は“0”である。図18に示した線形構造要素と、図19に示した円形構造要素の論理積(AND)をとることにより、例えば、方向d=1の場合は、図20に示したような二値のマスク画像が得られる。また、方向d=2の場合は、図21に示したような二値のマスク画像が得られる。図20、図21において、“1”と示されている画素が参照画素である。すなわち、オープニング処理の際に参照される参照画素が定義された(2R+1)×(2R+1)画素の2値画像で、半径Rの円形内部に参照画素が定義され、2R+1の長さで画素幅が1画素であって、22.5度間隔の直線の少なくとも近傍に配置されることにより、8方向が定義されることになる。
図18に示した線形構造要素はM(d,u,v)={0,1}(d=1,・・・,8;u=−R,・・・,0,・・・,R;v=−R,・・・,0,・・・,R)と定義することができる。なお、Rは有効とする半径を示しており、図18の例では、R=7である。また、uは図18における横軸、vは図18における縦軸を、それぞれ示す。線状成分強調手段13は、線形構造要素M(d,u,v)を用いて、上記〔数式15〕に従った処理を実行して得られた平坦化画像Gray´(x,y)に対して、以下の〔数式17〕に従った処理を実行し、収縮画像Eray(x,y)を得る。
〔数式17〕
Eray(d,x,y)=MINu=-R,R;v=-R,R[(255−M(d,u,v)×254)×(Gray´(x+u,y+v)+1)−1]
上記〔数式17〕において、MINは最小値をとることを示しており、MINの添え字の“u=−R,R;v=−R,R”は、u,vが−RからRの範囲における演算を行うことを示している。すなわち、“x=R,・・・,Xs−R−1;y=R,・・・,Ys−R−1“の各画素Gray´(x,y)に対して、“u=−R,R;v=−R,R”の隣接画素内でM(u,v)=1である画素値の最小値に変換を行っている。したがって、図18の例では、線形構造要素の(2R+1)×(2R+1)画素でR=7として225画素を用いて演算を行い、その最小値がEray(x,y)として与えられることになる。
上記〔数式17〕に従った処理を実行して収縮画像Eray(d,x,y)が得られたら、このEray(d,x,y)をGray´(x,y)に置き換えて、上記〔数式17〕に従った処理を繰り返し実行することもできる。繰り返しの回数は、適宜設定することが可能である。ただし、通常は画質劣化を抑えるため、1回に設定し繰り返しは行わない。8つの各方向dについて行うことにより、d=1〜8の8種の収縮画像Eray(d,x,y)が得られる。
収縮処理を繰り返し実行して8種の収縮画像Eray(d,x,y)が得られたら、次に、線状成分強調手段13は、収縮処理に用いた線形構造要素を指定構造要素として用いて膨張処理を行う。具体的には、線形構造要素M(d,u,v)を用いて、収縮画像Eray(d,x,y)に対して、以下の〔数式18〕に従った処理を実行し、膨張後の画像Dray(d,x,y)を得る。
〔数式18〕
Dray(d,x,y)=MAXu=-R,R;v=-R,R[M(d,u,v)×Eray(d,x+u,y+v)]
上記〔数式18〕において、MAXは最大値をとることを示しており、MAXの添え字の“u=−R,R;v=−R,R”は、u,vが−RからRの範囲における演算を行うことを示している。すなわち、“x=R,・・・,Xs−R−1;y=R,・・・,Ys−R−1“の各画素Eray(d,x,y)に対して、“u=−R,R;v=−R,R”の隣接画素内でM(d,u,v)=1である画素値の最大値に変換を行っている。したがって、図18の例では、線形構造要素の(2R+1)×(2R+1)画素として225画素を用いて演算を行い、その最大値がDray(d,x,y)として与えられることになる。
上記〔数式18〕に従った処理を実行して膨張後の画像Dray(d,x,y)が得られたら、このDray(d,x,y)をEray(d,x,y)に置き換えて、上記〔数式18〕に従った処理を繰り返し実行することもできる。繰り返しの回数は、収縮処理の繰り返しの回数と同じ回数にする必要があり、通常は収縮処理とも1回に設定し繰り返しは行わない。8つの各方向dについて行うことにより、d=1〜8の8種の膨張後の画像Dray(d,x,y)が得られる。収縮および膨張を行った結果得られる画像は、線形オープニング画像Dray(d,x,y)として得られる。
次に、線状成分強調手段13は、8種の線形オープニング画像の最大値の画像を作成する処理を行う(ステップS132)。具体的には、以下の〔数式19〕に従った処理を実行し、最大値の画像である線状成分強調画像Lray(x,y)を得る。
〔数式19〕
Lray(x,y)=MAXd=1,8Dray(d,x,y)
上記〔数式19〕において、MAXは最大値をとることを示しており、MAXの添え字の“d=1,8”は、8種の全ての線形オープニング画像Dray(d,x,y)における演算を行うことを示している。すなわち、各画素(x,y)について、8種の線形オープニング画像Dray(d,x,y)の最大値を取得する処理を行っている。この結果、最大値の画像である線状成分強調画像Lray(x,y)が得られる。
線状成分強調画像が得られたら、次に、画素階調変換手段14が、線状成分強調画像に対して、階調変換(コントラスト補正)を行い、血管強調画像を得る(ステップS140)。具体的には、まず、画素階調変換手段14は、0〜255の値をもつ、線状成分強調画像Lray(x,y)のXs×Ys個の全画素について、画素値vbの度数分布H(vb)(vb=0,・・・,255)を求める。そして、以下の〔数式20〕に示す条件を満たす最小値vbminを求める。
〔数式20〕
Σvb=0,vbminH(vb)≧(Xs×Ys)×α
上記〔数式20〕において、Σの添え字の“vb=0,vbmin”は、vbが0からvbminまでの総和を求めることを示している。したがって、上記〔数式20〕に示す条件とは、全画素数(Xs×Ys)のうち、およそ比率α×100%の画素が、画素値vbmin以下の画素値となることを示している。比率αとしては、眼底画像中に含まれる血管以外の領域の比率を与える必要があり、この比率は取得された眼底画像ごとに変動するが、平均的には0.7〜0.9、典型的な例として0.8と設定することが好ましい。結局、〔数式20〕を用いることにより、線状成分強調画像に含まれる非血管候補領域と血管候補領域とを判別する画素値のしきい値として、線状成分強調画像の最小画素値vb=0から数えて画素数の総和が線状成分強調画像の全画素数の所定の比率αを超える画素値のうち最小の画素値vbminを特定することができる。
上記〔数式20〕に示す条件を満たす最小値vbminが求められたら、次に、画素階調変換手段14は、x=0,・・・,Xs−1;y=0,・・・,Ys−1の全画素に対して、以下の〔数式21〕に従った処理を実行し、コントラスト補正を行い、血管強調画像Tray(x,y)を得る。
〔数式21〕
Tray(x,y)={Lray(x,y)−vbmin}×255×β/(255−vbmin)
上記〔数式21〕において、βは輝度スケーリング値である。輝度スケーリング値βとしては、任意に設定することができるが、設定された比率αに依存するため、α=0.8に設定した場合、好ましくは70〜90、特に好ましい例として80とすることができる。すなわち、βはαの100倍程度に設定することが好ましい。
Tray(x,y)は画素値であるため、〔数式21〕の結果が負の値となった場合には、Tray(x,y)=0と置き換える。したがって、所定の条件Lray(x,y)>vbminを満たさない画素は、最小値“0”に置き換えられ、所定の条件Lray(x,y)>vbminを満たす画素は、最小値“0”より大きい値“1”から最大値の範囲になるようにTray(x,y)の画素値が設定される。Tray(x,y)においては、階調の最小値である“0”が血管候補領域外を示し、血管候補領域は“1”以上、“255”以下となる。血管候補領域の最小値は、階調の最小値付近の値が設定される。本実施形態では、階調の最小値付近の値として、階調の最小値+1を設定しているが、それ以上であってもよい。もちろん、血管領域のコントラストを高くするため、階調の最小値+1であることが好ましい。このようにして得られた血管強調画像Tray(x,y)は、血管領域である確率が高い画素ほど高い値をもつグレースケールの画像となる。
所定の条件Lray(x,y)>vbminを満たさない画素を最小値に設定する場合、上述のように“0”とすることが好ましいが、“0”以外の値であってもよい。眼底領域は一般に円形をしているため、矩形形状の眼底画像には非眼底領域も含まれるため、非眼底領域を“0”に設定し、眼底領域内の非血管候補領域を“1”に設定し、眼底領域内の血管候補領域を“2”〜“255”に設定することもできる。コントラストを高くすることが目的であるため、当然のことながら、血管候補領域における最小値は“0”に近い値にすることが好ましい。
本実施形態では、8種類の方向に従って8種の線形オープニング画像に対して処理を行うため、22.5度の均等間隔で変更させた各方向に均等に粒状成分の抽出を抑えることができる。作成する画像の数も方向に応じた8個だけであるため、演算処理の負荷を抑えることができる。
<4.動静脈径比の算出>
(動静脈径比算出に関する第1の実施形態)
図25は、図3の動静脈径比を算出する処理(ステップS700)について、第1の実施形態を詳細に示したフローチャートである。はじめに、計測範囲設定手段72が、動静脈識別画像を表示部6に表示させた上に計測用図形を重ねて表示する(ステップS701)。この計測用図形は外形が台形(長方形及び正方形も含む意味)で、利用者から見ると、計測ゲージのような印象を与える図形である。本実施形態では、好ましい例として、計測用図形の初期状態を台形の一形態である長方形としている。
計測用図形が表示されたら、利用者は、指示入力I/F4により計測用図形を縦横に変倍、移動、回転させて、平行な2辺が計測対象の血流をまたがるように配置する。すると、計測範囲設定手段72は、表示画面上で配置された計測用図形の4頂点に対応する動静脈識別画像の4頂点で特定される範囲を計測範囲として設定する(ステップS702)。そして、計測用図形の平行な2辺の少なくとも一方の辺を計測線として設定する。本実施形態では、計測用図形の4辺のうち、計測用図形の内部の線分と接する平行な2辺それぞれを1次元の計測線として設定する。
ここで、計測用図形として台形を用いることが好ましい理由について説明する。動静脈径比を算出するためには、動脈および静脈の各々血管走行方向と直交する方向に1箇所ずつ計測線を設定し、各々の計測線を基に1次元の血流範囲が特定されれば、動脈と静脈の血流幅を計測でき、動静脈径比の算出が可能である。しかし、利用者(医療従事者)により手動で設定される計測線が血管走行方向に対して直交方向から外れ斜めになっていると、算出される動静脈径比は不正確な値になる。本実施形態では、図28(a)・図29(a)に示される通り、計測用図形として2つの計測線を備える台形(好ましくは長方形)を用い、各計測線内点を計測線に対して垂直に結ぶ基準線を備えるようにした。 これにより、利用者が計測用図形の基準線を血管走行方向に沿って設定するようにすれば、設定される計測用図形の2つの計測線(平行な2辺)が血管走行方向に対して直交方向から外れることを軽減することができる。更に、単一の計測用図形から平行な2辺に基づき1次元の血流範囲は同時に2箇所特定され、図28(b)・図29(b)に示される通り、計測用図形は、元の形状が長方形であった場合でも、血管に合わせて長方形以外の台形に変化する等して血管にフィッティングされ、2箇所の血流範囲の2端点を基に2箇所の血流幅を同時に計測できる。そのため、血流幅の変化が大きい箇所でも、2箇所の平均値を計測値とすることにより、計測範囲の設定位置に基づく計測値のバラツキを軽減することが可能となる。
ステップS701とステップS702の処理を複数回実施し、少なくとも2箇所以上に計測範囲を設定する。設定された各計測範囲には計測用図形の4頂点の座標値が定義されているため、動静脈識別画像において、この4頂点の座標値の範囲の画素を参照し、動脈の属性をもつ画素の画素数Cpbと静脈の属性をもつ画素の画素数Cnbをカウントする。Cpb>Cnbであれば、当該計測範囲に動脈の属性を付与し、Cnb>Cpbであれば、当該計測範囲に静脈の属性を付与する(ステップS703)。図28(a)は、図11に示される動静脈識別画像に、前述の動静脈識別画像補正手段67による補正を加えた画像に対して、ステップS701からステップS703を実行し、2箇所の計測範囲を設定した一例である。四角形の各計測範囲それぞれに対して1次元の計測線が2箇所設定される。図28(a)の左側の長方形で示されている計測範囲およびその内部の2箇所の計測線には動脈の属性が付与されており、右側の長方形で示されている計測範囲およびその内部の2箇所の計測線には静脈の属性が付与されている。図29(a)は、図23に示される動静脈識別画像に、同様に、動静脈識別画像補正手段67による補正を加えた画像に対して、ステップS701からステップS703を実行し、2箇所の計測範囲を設定した他の一例である。図29(a)の左側の長方形で示されている計測範囲およびその内部の2箇所の計測線には静脈の属性が付与されており、右側の長方形で示されている計測範囲およびその内部の2箇所の計測線には動脈の属性が付与されている。
次に、血流範囲特定手段76が、動静脈識別画像の元のフルカラー眼底画像を参照し、各計測線の2頂点の座標値の範囲の画素を参照し(ステップS704)、血流範囲端部を特定する処理を行う(ステップS705)。ステップS705では、各計測範囲の計測用図形の血管と交叉している、計測線であるいずれかの辺をサンプリングし、各サンプルのRGBフルカラーの画素値をグレースケール変換して1次元の輝度配列を作成する。このグレースケール変換は、前述の血管領域強調手段10におけるグレースケール変換手段11と同様に、〔数式13〕に基づき、フルカラーのRGB成分よりG成分だけを抽出する方法をとる。そして、1次元の輝度配列の各要素に隣接する要素を参照しながら微分処理を行い、1次元の微分輝度配列を作成する。この微分輝度配列の極大値を与える要素および極小値を与える要素に対応するフルカラー眼底画像の画素を血流範囲の2箇所の端部として特定する。同様な処理を同計測用図形のもう1つの計測線である対向する辺、および他の計測範囲に対応する計測用図形の2辺(2つの計測線)に対しても行い、各計測用図形の2辺に対して特定された4つの端点で構成される四角形をフルカラー眼底画像に重ねて表示する(ステップS706)。そうすると、動静脈識別画像に重ねて表示されている計測用図形の各々が、フルカラー眼底画像の血流部分にフィッティングした状態で表示される。
図28(b)は、図28(a)に示される動静脈識別画像の2箇所に定義され計測用図形の各々が、ステップS704からステップS706を実行することにより、フルカラー眼底画像の血流部分にフィッティングさせた一例である。左側の計測用図形は動脈にフィッティングされ、右側の計測用図形は静脈にフィッティングされている。図29(b)は、図29(a)に示される動静脈識別画像の2箇所に定義され計測用図形の各々が、同様に、ステップS704からステップS706を実行することにより、フルカラー眼底画像の血流部分にフィッティングさせた他の一例である。左側の計測用図形は静脈にフィッティングされ、右側の計測用図形は動脈にフィッティングされている。
このようにして、動脈と静脈の各々1箇所以上に、フィッティングされた計測用図形が得られたら、動脈属性をもつ計測範囲の計測用図形が血流部分に交差している2辺(2つの計測線)の長さの平均値を、静脈属性をもつ計測範囲の計測用図形が血流部分に交差している2辺(2つの計測線)の長さの平均値で除算し、動静脈径比を算出する(ステップS707)。図28に示す例では、同図下段にAV-ratio:0.764706と表示されているのが、算出された動静脈径比で、この値は正常範囲である。図29に示す例では、同図下段にAV-ratio:0.655172と表示されているのが、算出された動静脈径比で、この値はやや動脈硬化が進んだ状態である。
(動静脈径比算出に関する第2の実施形態)
図26は、図3のステップS700の処理について、第2の実施形態を詳細に示したフローチャートである。はじめに、動静脈識別画像を表示部6に表示させ、利用者は、指示入力I/F4により計測範囲を(x1,y1)から(x2,y2)(x1<x2、y1<y2)の矩形形状により指定する。すると、計測範囲設定手段72は、表示画面上で指定された矩形形状の4頂点に対応する動静脈識別画像の4頂点で特定される範囲を計測範囲として設定する(ステップS711)。この計測範囲は、動脈と静脈が各々1本以上含まれるように、図25における第1の実施形態の計測範囲より比較的大き目に1箇所だけ指定することにより行われる。
図30の左に示す画像は、図13に示される動静脈識別画像に、前述の動静脈識別画像補正手段67による補正を加えた画像に対して、ステップS711を実行し、計測範囲を設定した一例である。次に、以下の〔数式22〕に従い、指定された矩形領域(x1,y1)から(x2,y2)の範囲で、各画素が0を除く正負の符号を持った値を有する動静脈識別画像Hues(x,y)において、正の値を持った動脈属性の画素の画素数Cpcをカウントする(ステップS712)。続いて、負の値を持った静脈属性の画素の画素数Cncをカウントする(ステップS713)。
〔数式22〕
Cpc=Σy=y1,y2Σx=x1,x2; Hues(x,y)>0
Cnc=Σy=y1,y2Σx=x1,x2; Hues(x,y)<0
そして、正の値を持った画素の画素数Cpcを、負の値を持った画素の画素数Cncで除算し、その結果Cpc/Cncを動静脈径比として得る(ステップS714)。図30の左に示す計測範囲を設定した動静脈識別画像に対して、ステップS712からステップS714を実行して算出された動静脈径比は、同図右および下段に示される通り、87%で正常範囲である。
(動静脈径比算出に関する第3の実施形態)
図27は、図3のステップS700の処理について、第3の実施形態を詳細に示したフローチャートである。第3の実施形態は、第2の実施形態におけるステップS711の手動で計測範囲を設定する処理を、元のフルカラー眼底画像を参照しながら自動的に行うようにしたものである(ステップS715〜ステップS717)。はじめに、フルカラー眼底画像に対して、グレースケール変換を行う(ステップS715)。これは前述の血管領域強調手段10におけるグレースケール変換手段11と同様に、〔数式13〕に基づき、フルカラーのRGB成分よりG成分だけを抽出する。次に、視神経乳頭部の探索を行う(ステップS716)。視神経乳頭部は、所定の大きさの画素ブロックの平均値が最大となる位置を視神経乳頭部の基準点と定義し、前述の血管領域強調手段10における画像平坦化手段12と同様に、グレースケール変換眼底画像の全ての画素に対して〔数式15〕の第1式に基づき、近傍画素の平均値Mean(x,y)を算出し、この値が最大となる位置(Xmax,Ymax)を視神経乳頭部の基準点であるとみなし1箇所探索する。基準点とは、本実施形態においては、ユニークに特定される視神経乳頭部内の点であり、重心位置に近い点であるが、必ずしも重心位置ではない。
具体的な探索としては、注目画素(x,y)を中心にY軸方向に−m+1からmまで、X方向に−m+1からmまでの4m2個の画素の総和を求める。視神経乳頭は比較的大きいため、前述の血管領域強調手段10の画像平坦化手段12において設定するmの値より比較的大き目に設定する必要があり、本実施形態では、m=40に設定している。そのため、〔数式15〕の第1式で平均値Mean(x,y)を算出しようとすると、かなりの処理時間を要するため、前述の通り、〔数式16〕で高速に算出する方法で行う。
このようにして、視神経乳頭部の基準点(Xmax,Ymax)が決定したら、所定の距離dsだけ下方に所定のDx×Dyの計測範囲を設定する(ステップS717)。即ち、(Xmax−Dx/2,Ymax−ds−Dy/2)から(Xmax+Dx/2−1,Ymax−ds+Dy/2−1)の矩形領域を計測範囲として設定する。本願実施形態では、ds=35、Dx=Dy=73に設定している。図31の左に示す画像は、図24に示される動静脈識別画像に、前述の動静脈識別画像補正手段67による補正を加えた画像に対して、ステップS715からステップS717を実行することにより、計測範囲を自動的に設定した一例である。この後のステップS712からステップS714は、第2の実施形態と同様である。図31の左に示す計測範囲を設定した動静脈識別画像に対して、ステップS712からステップS714を実行して算出された動静脈径比は、同図右および下段に示される通り54%で、この値は動脈硬化がやや進んだ状態である。
<5.変形例等>
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、撮影により得られた眼底画像としてフルカラー画像を用いたが、近年業務用のデジタルカメラの階調は10ビット以上に拡大しており、各色1024階調等のフルカラー画像を取得することも可能になっており、より階調数の多いカラー画像を用いてもよい。
1・・・CPU(Central Processing Unit)
2・・・RAM(Random Access Memory)
3・・・記憶装置
4・・・指示入力I/F
5・・・データ入出力I/F
6・・・表示部
10・・・血管領域強調手段
11・・・グレースケール変換手段
12・・・画像平坦化手段
13・・・線状成分強調手段
14・・・画素階調変換手段
20・・・多階調色相変換手段(色相変換手段)
30・・・中央階調領域定義手段(色相変換手段)
40・・・低階調化手段(色相変換手段)
50・・・しきい値算出手段
60・・・動静脈識別画像生成手段
65・・・動静脈径比算出手段
67・・・動静脈識別画像補正手段
70・・・眼底画像記憶手段
72・・・計測範囲設定手段
74・・・属性付与手段
76・・・血流範囲特定手段
78・・・視神経乳頭探索手段
80・・・動静脈識別画像記憶手段
100・・・眼底画像処理装置

Claims (16)

  1. カラー眼底画像に対して血管領域を抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してRGB値を取得し、取得したRGB値をL階調(Lは正の整数)の色相値に変換し、画素値がL階調の色相値に変換された色相変換画像を得る色相変換手段と、
    前記色相変換画像の各画素の色相値に基づいて、動脈または静脈の属性が付与された動静脈識別画像を得る動静脈識別画像生成手段と、
    前記動静脈識別画像に対して、血流を含む範囲を、少なくとも2箇所、計測範囲として設定する計測範囲設定手段と、
    前記計測範囲に含まれる動静脈識別画像の画素値に基づいて、前記各計測範囲に対して動脈または静脈の属性を付与する属性付与手段と、
    前記カラー眼底画像に対して前記各計測範囲に含まれる血流に相当する範囲を血流範囲として特定する血流範囲特定手段と、
    動脈の属性が付与された計測範囲において特定された血流範囲と、静脈の属性が付与された計測範囲において特定された血流範囲とに基づいて動静脈径比を算出する動静脈径比算出手段と、
    を備えることを特徴とする眼底画像処理装置。
  2. 前記計測範囲設定手段は、外形が台形である計測用図形を表示し、外部からの指示に基づき、動静脈識別画像に重ねて配置された前記計測用図形の位置及び形状を修正し、当該計測用図形の平行な2辺がそれぞれ表示された血流をまたぐように設定する手段を更に有することにより、
    前記血流範囲特定手段は、前記計測用図形の平行な2辺に基づいて血流範囲の2端点を各々特定し、特定された血流範囲の4端点を4頂点とする外形が台形形状の図形を前記計測用図形に代えて前記カラー眼底画像に重ねて表示すること
    を特徴とする請求項1に記載の眼底画像処理装置。
  3. カラー眼底画像に対して血管領域を抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してRGB値を取得し、取得したRGB値をL階調(Lは正の整数)の色相値に変換し、画素値がL階調の色相値に変換された色相変換画像を得る色相変換手段と、
    前記色相変換画像の各画素の色相値に基づいて、動脈または静脈の属性が付与された動静脈識別画像を得る動静脈識別画像生成手段と、
    前記動静脈識別画像に対して、動脈、静脈それぞれ1本以上を含む範囲を計測範囲として設定する計測範囲設定手段と、
    前記計測範囲に含まれる動静脈識別画像の動脈の属性をもつ画素数の総和と、動脈と静脈の属性をもつ画素数の総和との比率に基づいて、動静脈径比を算出する動静脈径比算出手段と、
    を備えることを特徴とする眼底画像処理装置。
  4. 前記カラー眼底画像に対して所定の大きさの画素ブロックの輝度値の平均値が最大となる位置を視神経乳頭部の基準点として探索する視神経乳頭探索手段を更に有し、
    前記計測範囲設定手段は、前記探索された視神経乳頭部の基準点より所定の距離だけ下方の位置に所定の大きさの矩形領域を前記計測範囲として設定するようにしていること
    を特徴とする請求項3に記載の眼底画像処理装置。
  5. 前記色相変換手段は、前記カラー眼底画像に対して血管領域を強調し、血管領域である確率が高い画素ほど高い値が設定されたグレースケールの血管強調画像を得る血管領域強調手段を更に有し、
    前記血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、
    前記動静脈識別画像生成手段は、前記色相変換画像の前記血管領域に対応する画素を基に、L階調のヒストグラムを算出し、算出されたヒストグラムを用いて判別分析法により二値化のしきい値を算出するしきい値算出手段を更に有し、
    前記色相変換画像の前記血管領域に対応する各画素のL階調の色相値と前記しきい値との比較結果に基づいて、動脈または静脈の属性が付与された前記動静脈識別画像を得るようにしていることを特徴とする請求項1から請求項4のいずれか一項に記載の眼底画像処理装置。
  6. 前記色相変換手段は、
    前記血管強調画像の中で所定の値以上の値をもつ画素を血管領域の画素として抽出し、前記血管領域の各画素に対して、前記カラー眼底画像の対応する画素を参照してRGB値を取得し、取得したRGB値をK(KはLより大きい整数)階調の色相値に変換し、画素値がK階調の色相値に変換された多階調色相変換画像を得る多階調色相変換手段と、
    前記K階調の範囲内に、cmin(cminは正の整数)からcmax(cmaxはcminより大きくK−1より小さい)の範囲の中央階調領域を定義する中央階調領域定義手段と、
    前記多階調色相変換画像に対して、cmin以下を0、cmax以上をL−1に飽和させ、cminからcmaxまでを0からL−1の値をとるL階調の前記色相変換画像に変換する低階調化手段と、
    を更に有することを特徴とする請求項5に記載の眼底画像処理装置。
  7. 前記多階調色相変換手段は、前記血管領域の全ての画素に対して、前記取得したRGB値を色相値に変換した後、最小の色相値を0、最大の色相値をK−1に変換するようにK階調の整数の色相値に変換することを特徴とする請求項6に記載の眼底画像処理装置。
  8. 前記中央階調領域定義手段は、前記多階調色相変換画像の前記血管領域に対応する画素をもとに、算出された高精度ヒストグラムにおいて、前記血管領域に対応する画素の総数をCt、中央値をhcとして、中央値hcの両側それぞれにCt/4の画素が含まれる範囲を前記中央階調領域として定義することを特徴とする請求項6または請求項7に記載の眼底画像処理装置。
  9. 前記血管領域強調手段は、
    前記カラー眼底画像が有する色成分のうち少なくとも1つの色成分に基づいてグレースケール眼底画像を得るグレースケール変換手段と、
    前記グレースケール眼底画像の各画素に対して、所定の範囲に含まれる近傍画素の画素値の平均値を算出し、当該画素の画素値に所定の値から前記平均値を減算した値を加算することにより、平坦化画像を作成する画像平坦化手段と、
    前記平坦化画像に対して、所定の構造要素を用いてオープニング処理を行い血管候補領域の輝度を一定以上に揃えた線状成分強調画像を作成する線状成分強調手段と、
    前記線状成分強調画像において、所定の条件を満たさない画素値を、変換後の血管強調画像の階調の最小値になるように置き換え、前記所定の条件を満たす画素値が、階調の最小値付近の値から最大値の範囲になるように画素の階調を補正し、血管強調画像を作成する画素階調変換手段と、
    を有することを特徴とする請求項5から請求項8のいずれか一項に記載の眼底画像処理装置。
  10. 前記色相変換手段は、前記血管強調画像が256階調の値をもつとき、128以上の値をもつ画素を血管領域の画素として抽出することを特徴とする請求項5から請求項9のいずれか一項に記載の眼底画像処理装置。
  11. 前記多階調色相変換手段は、前記取得したRGB値をK階調の色相値に変換する際、R、G、Bに対応する値をr、g、bとし、αを所定の実数値とし、h=(g−b)α/(2r−g−b)を用い、2r−g−b=0の場合h=0とし、2r−g−b<0の場合、通常眼ではh=0とし、白内障眼では、h=(g−b)α/(2r−g−b)として、得られたhの値に基づいて、変換を行うことを特徴とする請求項6に記載の眼底画像処理装置。
  12. 前記しきい値算出手段は、前記L階調を256階調とし、算出されたヒストグラムの階調1から階調254の範囲を用いて判別分析法の処理を実行し、前記しきい値を算出することを特徴とする請求項5から請求項8のいずれか一項に記載の眼底画像処理装置。
  13. 前記動静脈識別画像生成手段は、前記L階調を256階調とし、前記しきい値をSavとすると、前記色相変換画像の前記血管領域に対応する各画素の色相値Hueに対して、(Hue−Sav)×2なる演算を行って−255から255の範囲の画素値に変換し、前記血管領域に対応しない各画素に対して画素値0を設定し、画素値が正の場合は動脈の属性が付与された画素、画素値が負の場合は静脈の属性が付与された画素、画素値が0の場合は、前記血管領域に含まれない画素になるように、前記動静脈識別画像を生成することを特徴とする請求項12に記載の眼底画像処理装置。
  14. 前記動静脈識別画像生成手段により生成された動静脈識別画像に対して、画素値が(画素値の最大値−1)から1の値をもつ画素を補正対象画素として順次探索し、
    探索された各補正対象画素の画素値の絶対値をZTとし、前記補正対象画素の8近傍画素の中で画素値の絶対値の最大値をZM、前記8近傍画素の中で動脈の属性をもつ画素の画素値の絶対値の総和をCp、前記8近傍画素の中で静脈の属性をもつ画素の画素値の絶対値の総和をCnとすると、ZM>ZTであり、
    最大値ZMをもつ画素の属性が動脈でCp>Cnを満たす、または最大値ZMをもつ画素の属性が静脈でCp<Cnを満たす場合、前記補正対象画素の属性を最大値ZMをもつ画素の属性に置換し、前記補正対象画素の画素値の絶対値をZMに置換するように、前記探索された全ての補正対象画素に対して順次補正するようにしている動静脈識別画像補正手段を更に有することを特徴とする請求項1から請求項13のいずれか一項に記載の眼底画像処理装置。
  15. 前記動静脈識別画像生成手段により生成された動静脈識別画像より、(2N+1)×(2N+1)画素(N≧1)の画素ブロックを順次抽出し、前記画素ブロックの中で、動脈の属性をもつ画素数の総和をCpa、前記画素ブロックの中で、静脈の属性をもつ画素数の総和をCnaとすると、
    Cpa>Cnaの場合、前記画素ブロックの中の全ての画素の属性を動脈に設定し、Cpa<Cnaの場合、前記画素ブロックの中の全ての画素の属性を静脈に設定するように補正する動静脈識別画像補正手段を更に有することを特徴とする請求項1から請求項14のいずれか一項に記載の眼底画像処理装置。
  16. コンピュータを、請求項1から請求項15のいずれか一項に記載の眼底画像処理装置として機能させるためのプログラム。
JP2017005437A 2017-01-16 2017-01-16 眼底画像処理装置 Pending JP2018114031A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017005437A JP2018114031A (ja) 2017-01-16 2017-01-16 眼底画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017005437A JP2018114031A (ja) 2017-01-16 2017-01-16 眼底画像処理装置

Publications (1)

Publication Number Publication Date
JP2018114031A true JP2018114031A (ja) 2018-07-26

Family

ID=62983517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017005437A Pending JP2018114031A (ja) 2017-01-16 2017-01-16 眼底画像処理装置

Country Status (1)

Country Link
JP (1) JP2018114031A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563863A (zh) * 2020-04-22 2020-08-21 江苏理工学院 一种直方图受限的图像增强方法及装置
WO2021040258A1 (ko) * 2019-08-30 2021-03-04 국민대학교산학협력단 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
CN113643354A (zh) * 2020-09-04 2021-11-12 深圳硅基智能科技有限公司 基于增强分辨率的眼底图像的血管管径的测量装置
CN116453171A (zh) * 2023-06-09 2023-07-18 博奥生物集团有限公司 白睛区域内血脉颜色的检测方法、装置、电子设备和介质
WO2023182622A1 (ko) * 2022-03-22 2023-09-28 사회복지법인 삼성생명공익재단 동맥 및 정맥을 기준으로 안저 영상을 표준화하는 방법 및 영상처리장치
US12533022B2 (en) 2021-07-12 2026-01-27 Welch Allyn, Inc. Retinal vital sign assessment

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021040258A1 (ko) * 2019-08-30 2021-03-04 국민대학교산학협력단 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
CN111563863A (zh) * 2020-04-22 2020-08-21 江苏理工学院 一种直方图受限的图像增强方法及装置
CN113643354A (zh) * 2020-09-04 2021-11-12 深圳硅基智能科技有限公司 基于增强分辨率的眼底图像的血管管径的测量装置
CN113643354B (zh) * 2020-09-04 2023-10-13 深圳硅基智能科技有限公司 基于增强分辨率的眼底图像的血管管径的测量装置
US12533022B2 (en) 2021-07-12 2026-01-27 Welch Allyn, Inc. Retinal vital sign assessment
WO2023182622A1 (ko) * 2022-03-22 2023-09-28 사회복지법인 삼성생명공익재단 동맥 및 정맥을 기준으로 안저 영상을 표준화하는 방법 및 영상처리장치
CN116453171A (zh) * 2023-06-09 2023-07-18 博奥生物集团有限公司 白睛区域内血脉颜色的检测方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
JP2018114031A (ja) 眼底画像処理装置
JP2018171177A (ja) 眼底画像処理装置
US20200143526A1 (en) Image processing method and device
CN110706246A (zh) 一种血管图像分割方法、装置、电子设备和存储介质
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
US11406340B2 (en) Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
JP2018102586A (ja) 眼底画像処理装置
KR102380560B1 (ko) 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법
CN113870270A (zh) 一种统一框架下的眼底影像视杯、视盘分割方法
CN114170378B (zh) 医疗设备、血管及内部斑块三维重建方法和装置
CN115147360A (zh) 一种斑块分割方法、装置、电子设备及可读存储介质
US20240104701A1 (en) System and method for non-invasive visualization and characterization of lumen structures and flow therewithin
JP2018201629A (ja) 眼底画像処理装置
CN116897532A (zh) 深度图像的修复方法及装置、摄像头组件及电子设备
JP6620636B2 (ja) 眼底画像処理装置
JP6747130B2 (ja) 眼底画像処理装置
JP2019522519A (ja) 対象の身体の少なくとも一部の画像における構造の少なくとも一部をマッピングするための方法及び装置
JP7382059B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN114612484A (zh) 基于无监督学习的视网膜oct图像分割方法
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN112509080A (zh) 一种基于迁移学习的颅内血管模拟三维模型的建立方法
JP6481432B2 (ja) 眼底画像処理装置
CN115222665B (zh) 一种斑块检测方法、装置、电子设备及可读存储介质
CN116645391A (zh) 学生脊柱健康管理系统及方法
JP2019208708A (ja) 画像作成方法および眼底画像処理装置