JP2002500795A - 輪郭検出段階を含む画像処理方法及びシステム - Google Patents

Abstract

(57)【要約】 対象（ＬＶ）を表わす点で形成される強度画像を処理するための、対象輪郭（ＣＴ）を表わす最小路を決定するよう自動的に点を供給するステップを含む方法であって、強度画像のデータを捕捉する段階と、画像の所与の点が対象に関連する画像の所定の領域に属する確率を示す確率値（Ｐ）の数値を求め、上記確率値（Ｐ）から対象の輪郭モデル（ＳＰ）を導出し、画像（Ｊ₀）を上記輪郭モデル（ＳＰ）及び上記確率値（Ｐ）に基づいて３次元マトリックス画像（ＩＭ）へ変換し、上記３次元マトリックス画像（ＩＭ）の中で上記最小路（ＣＴ）を決定するために動的プログラミング（ＤＰ）を実行する方法である。適用：医用撮像装置。

Description

【発明の詳細な説明】 輪郭検出段階を含む画像処理方法及びシステム 本発明は点で形成される強度画像を処理する方法に関連し、この方法は、画像 中に表現される対象の輪郭検出のためのステップを含み、動的プログラミング手 順のためのステップを含む。本発明はまた、かかる方法を実行する手段を有する システム、及びかかるシステムに関連するＸ線装置に関連する。 本発明は医用撮像の分野において使用される。 画像中の輪郭の検出のための方法は、「IEEE TRANSACTIONS ON PATTERN ANALY SIS AND MACHINE INTELLIGENCE，VOL．18，NO.9，SEPTEMBER 1996」の中の文献 「Encoding of a priori Information in Active Contour Models」より既知で ある。この文献は、輪郭復元の問題をエネルギー最小化過程としてモデル化する ためにアクティブ輪郭理論を用いる。動的プログラミングに基づく計算的な解法 は、輪郭候補に関連づけられたエネルギーが局部エネルギー分布の積分へ分解さ れることを必要とする。引用された文献は、異なる局部エネルギーモデルをモデ ル化する文法的体系及びこれらのモデル間の可能な遷移の組を開示する。文法的 な符号化は、対象の形状についての先験的な知識及び関連づけられた画像の強度 要素を表わすために使用される。数値実験において直面する多様性は、文法的体 系の中に埋め込まれるエネルギー最小化手順によって処理される。引用された文 献は、ストリングマッチングのためのKnuth-Morris-Prattアルゴリズムと称され るアルゴリズムをエネルギー最小化のための動的プログラミングアルゴリズムと 組み合わせる、アルゴリズムによる解法を開示する。上述の文献の中で開示され る方法は、初期化ステップを必ず必要とする。更に、方法は、先験的な知識を表 わすために局部的な情報のみを使用する。 本発明は、複雑な画像、即ち雑音が多くぼやけた画像の中での輪郭検出の完全 に自動化された輪郭検出方法を提供することを目的とする。例えば、本発明は、 心臓の左心室の輪郭を検出するために医用画像を処理することを目的とする。 本発明の目的は、請求項１に開示される方法によって達成される。 本発明による方法は、既知のアクティブ輪郭検出方法の３つの主な欠点、即ち 、初期化への依存性、局部情報の排他的な使用、閉塞の感度を軽減する。本発明 の方法の重要な特徴は、方法の各ステップにより高次の先験的な情報を導入する ことである。更に初期化ステップは、多解像度ニューラルネットワークと隠れマ ルコフモデルで強化された動的プログラミング手順との密接な協働によって完全 に自動化される。 ディジタルＸ線画像中で左心室の自動輪郭検出を実行するためのシステムに関 連づけられたＸ線装置もまた提案される。 本発明の上述及び他の面は、以下説明される実施例及び添付の図面を参照する ことにより非制限的な例によって明らかとなろう。図中、 図１は、左心室を解剖学的クラスと共に図式的に示す図であり、 図２はニューラルネットワークのための特徴ベクトル計算を示す図であり、 図３は左心室の原Ｘ線画像中のラバーバンドを示す図であり、 図４は、図３の画像を変換した画像を示す図であり、 図５は、マトリックス画像の一部を示す図であり、 図６は、検出された左心室輪郭を原画像上に重ね合わせて示す図であり、 図７は、方法を実行するためのシステムに関連づけられたＸ線装 置を示す図である。 本発明は、医用適用において一般的に生じるような、広い内在的な多様性を伴 う低コントラスト及び雑音の多い画像中の輪郭検出に関する。本発明はまた、工 業用の装置への適用のためのしっかりとした自動手順に関する。 以下、本発明を医用撮像分野での適用を例として説明する。本発明は、ディジ タルＸ線右前方斜（ＲＡＯ）投射心室撮影図（心室のＸ線画像）中の左心室ＬＶ 境界を自動的に検出する方法からなる。 引用された文献によって開示されるように、輪郭復元の問題をエネルギー最小 化過程としてモデル化することが知られている。エネルギー関数は各候補輪郭と 関連づけられる。これらのアクティブな輪郭は内力及び外力によって制御される 。内力は平滑さといった全体の形状特徴を設定し、外力は高傾斜値といった局部 画像特徴に向かって輪郭を誘引する。最小化は、離散動的プログラミングＤＰ手 順によって実行される。この技術はアクティブ輪郭ＡＣ検出と称される。この方 法は反復的である。 既知の方法は３つの主な欠点を有する。第１の欠点は、初期輪郭の精度が低い ことである。各反復的方法に内在する問題は、初期化段階である。これは、所望 のエッジに向かって収束することを可能とするために良い初期輪郭を必要とする アクティブ輪郭方法では、より重大である。この輪郭は通常は操作者によって手 動で描かれねばならない。 第２の欠点は、通常は局部情報からのみ導出される外力の形状にある。これを 助けうる先験的な知識を導入することは従って困難である。引用された文献によ れば、この問題は、許容可能な形状の小さな組の中で内力を抑制する所望の輪郭 の全体形状に対して制約を課すことによって解決される。 第３の欠点は、通常は閉塞に対して強固ではなく、前処理エッジ 検出ステップが誤って所望の輪郭の一部をスキップする場合に失敗する、ＡＣア ルゴリズムの中核部にある。 これらの欠点を克服するため、本発明は、多解像度ニューラルネットワークと 強化された動的プログラミング手順との間の密接な協働に基づく新しい方法を提 案する。 この方法は、原画像中で左心室の初期輪郭を自動的に見つけるためのニューラ ルネットワークＮＮの使用を含む初期化のための第１のステップを含む。このＮ Ｎは、フィルタのピラミッドから得られる大局情報を使用し、結果として生ずる 事後確率は、動的プログラミング手順ＤＰのための第２のステップのための基本 的な状態として使用される。 ディジタルＸ線撮像は、一般的に心臓学適用において使用される。頻繁に行わ れる種類の心臓検査は、カテーテルを通じて患者の左心室ＬＶの中に造影剤を注 入することを含む。これは、Ｘ線画像中におけるＬＶ室の視覚化を可能とする。 画像又は画像シーケンスは記録されてもよく、医師は終期収縮フレーム及び終期 拡張フレーム中にＬＶ境界を描かねばならない。当該のパラメータ、例えばＬＶ 室の体積、収縮期の駆出率、及び一回拍出量が計算されうる。今日では、当該の 画像フレーム中のＬＶの半自動セグメント化のため及びその体積の推定のための 技術が可能である。しかしながら、従来技術のアルゴリズムは、各画像フレーム 中のキー点を正確に定めるためには、操作者との間にかなりの相互作用を必要と する。 局部画像形態は誤ったキー同定を避けるために十分な情報を提供しせず、また 、グレースケール心室撮影図は低いコントラスト及び高いレベルの雑音を有する ため、このタスクを自動化することは困難であった。この雑音は、心室に関係の ない組織による放射線の散乱、カテーテル法の手順中の患者の呼吸によって発生 されるアーティファクト、及び肋骨及び横隔膜のＬＶへの妨害によるものである 。更に、注入された造影剤はＬＶの中の血液と均一に混ざらず、 一般的にＬＶの頂部領域はあまり多くの染料を受けない。 アクティブ輪郭体系の主な問題は、所望の位置への収束を可能とするために良 い初期推量を行なう必要があることである。医療分野では、この初期輪郭は通常 は操作者によって手で描かれる。本発明は自動化されたシステムを構築するため に完全に自動化された方法を提案することを目的とするため、方法の第１のステ ップが適当な初期輪郭を与える必要がある。この目的は、人工ニューラルネット ワークＮＮを例を用いて学習させることに基づいて上記第１のステップにおいて 達成される。 この第１のステップは、所与の点が所定のクラスに属する可能性を推定するた めに多解像度情報を使用するＮＮに基づく。この第１のステップは幾つかのサブ ステップを含む。 第１のサブステップでは、ＮＮ構造、即ち、出力（特徴クラス）、選択される べき点、及びこれらの点について計算されたＮＮ入力ベクトルが定義される。第 ２のサブステップでは、ＮＮ学習及び結果が記述され、第３のサブステップでは 、その出力から初期ＡＣ輪郭を構築する方法が与えられる。 第１のサブステップは、原画像中で検出されるべき対象の測定の特徴に対応す る「所望のクラス」を定義するものである。左心室輪郭検出への適用のため、図 １に示されるように１５の解剖学的クラスが定義された。クラスＢＰｎ及びＢＡ ｎは（ｎ＝１，．．．，４とする）ＬＶ境界である。３つのキー点は、大動脈弁 の前側ＶＡ及び後ろ側ＶＰ、及び頂部ＡＰである。これらの点はＬＶ室を特徴付 けるために非常に重要であり、医師は通常これらを手動で選択する必要がある。 ニューラルネットワークの選択性を増加させるため、ＬＶ境界クラスでない追加 的なクラスがＰＡ，ＰＰ，ＣＡ，ＣＩ及びＣＥとして定義される。 計算時間を減少させるため、「最大傾斜」を有する点のみがニューラルネット ワークへ供給される。これらは、その傾斜強度が その方法に沿った局部極値であるような点である。その一番近い近傍の傾斜より も低い傾斜を有する点は廃棄される。 第１のサブステップはまた、ニューラルネットワーク入力ベクトルを定義する ために役立つ。図２を参照するに、原画像Ｊ₀、例えば５１２×５１２画素から 開始して、多解像度表現を生成するために１組の低域通過フィルタリングされた 変形が発生される。Ｊ₀に対応する最も細かいスケールＬ⁰に加えて、Ｋの他のス ケールｋ＝１．．ＫのときのＬ^k）が、Ｊ₁及びＪ₂として表記される半分又は四 分の一の公称の画像サイズで計算され、３乃至７０画素の範囲の大きさσ_k（空 間標準偏差）のカーネルで平滑化される。これは、図２に示されるフィルタＦの ピラミッドによって図示される。かかる大きなカーネルサイズを効率的に実施す るために、反復フィルタリングが使用される。実施において、殆ど等方性のイン パルス応答を達成するために多くの注意を払わねばならない。続いて、ｘ及びｙ に関するＬ^k画像の導関数が計算される。フィルタリングされた出力の制御可能 な表現は、様々な部分導関数の一次結合として導出されうる。この制御可能フィ ルタバンクは、以下の導関数の等価の表現、 を与える。最も細かいスケール（ｋ＝０）では、次数ｌ＝１で終了し、従って３ つの成分を発生する。他のスケールｋ＝１，．．，７では、４次までの導関数が 計算され、１０５の特徴値が得られる。この１０５＋３＝１０８の特徴に、図２ 中、Ｊ’によって図示されるような傾斜に関する情報が加えられ、即ち、１つの エントリは傾斜の強度であり、１６の２値エントリは傾斜方向を符号化するため である（１つのエントリは１に設定され、残りは０に設定される）。最後の特徴 は、ピラミッドの第１の半分のサイズの画像Ｊ１につい て計算されたエッジの湾曲である。 ディメンション１２６の特徴ベクトルＶ（ｘ，ｙ）は、従って画像の位置（ｘ ，ｙ）において各選択された点について計算される。異なるスケールを使用する ことは、局部を文脈上の情報と組み合わせることを可能とする。この入力ベクト ルＶ（ｘ，ｙ）が供給されたニューラルネットワークＮＮは、現在点（ｘ，ｙ） についてＣ₁と表記される１５のクラスの可能性を与える。特徴ベクトル計算は 図２に示される。 第２のサブステップは、多解像度ＮＮ学習を含む。ニューラルネットワークア ーキテクチャは、従って１２６の入力ノードと、５０の隠れニューロンと、１５ の出力ニューロンとによって決められる。ニューラルネットワークの学習は数千 の例（「特徴ベクトル」−「所望の出力」の対）及び数十の画像からなる学習セ ットを用いて行われ、一般化は数十の他の画像から抽出された数千の例からなる 試験セットを用いて検査される。ニューラルネットワークの性能は学習セット及 び試験セットの夫々の分類について９３．０９％及び７９．３４％のオーダの正 しさである。 第３のサブステップは、ニューラルネットワークの出力の推定に関する。ニュ ーラルネットワークの出力は、従って位置（ｘ，ｙ）において選択された点が所 定のクラスに属するという事後確率Ｐ（Ｃ_j／Ｖ（ｘ，ｙ））の推定値である。 ＮＮは、重要なクラスについて画像の最も確からしい領域の発見を確実に可能と する。これらのクラスの夫々について、画素強度がＮＮによって推定される対応 する確率である、夫々の確率画像が構築される。ゼロ強度は、非選択点に属する とみなされる。 この画像は、高い確率を有する領域を見いだすために、かなり小さいカーネル （３画素の空間標準偏差）によって平滑化される。これらの確率マップでは、最 大画素強度は５の特定の確率画像に対して見いだされる。実際、少なくとも５０ 画素だけ離された最初の３ つの最大が計算される。これは、これらの５の特定の連続クラス、即ち図１に示 されるようにＶＡ，ＢＡ２，ＡＰ，ＢＰ３及びＶＰを連結する３⁵＝２４３の可 能な多角形線を与える。上述の５のキー点の一貫していない相対位置を廃棄する ため、及び許容可能な多角形を見いだすために、例えば「頂部は大動脈弁の両端 の右側にある」といった、簡単な規則が使用されうる。 図３に示されるように、ニューラルネットワークはこのように、検出されるべ き対象の非常に粗なモデルである多角形線ＰＬを与えうる。この線は、非ローカ ル情報から計算され、「平均」対象形態についての高次の以前の知識と一貫性が ある。 図３は、横隔膜が左心室と交差する場所の画像に対するＮＮの結果を示す図で ある。円盤状の部分は医師によって与えられた点であり、波線は粗モデルである 。この線に沿った十字は、検出されたキー点である。この画像では、３つのキー 点に亘る平均誤差は１６．９画素である。５８のサイズ５１２×５１２画素の試 験画像では、検出されたキー点は、医師によって決められた対応する点から２６ ．７画素の平均距離にある（標準偏差は１９．７）。現時点において、医用画像 の処理に必要とされる精度は、従前よりもはるかに大きい。従ってもはや、画像 中の３つのキー点を手動で指すことだけでは方法を開始するのに十分ではない。 このため、本発明は全体のＬＶ輪郭を自動的に検出することを目的とする。従っ て、有用なニューラルネットワーク出力は多角形線及び画像を変換し動的プログ ラミングＤＰ手順を行うために使用される確率マップである。 本発明による方法はすると画像変換のステップを含む。標準的なＤＰは一次元 で動作するため、画像についての因果律規則が決定されねばならない。この手順 は、ＮＮによって以前に見いだされた線を追従する画像を構築することによって 行われる。新しい画像は、この線の周りの「ラバー」バンドＲＢである。図３は ＮＮによって決められた線に沿ったラバーバンドを示す図である。変換されるべ き画像は多角形線ＰＬに基づいて数学的に計算される「スプライン」ＳＰの周り に描写される。変換は最小距離パラダイムに基づく。ラバーバンド画像は、矩形 画像の中へマップされねばならない。重なり合う領域中の点は、最も近い中央線 へ変換される。対応する変換された画像は図４中に示される。これは全単射変換 でないため、画像中の幾つかの点は黒のままであり、即ちそれらはどの点にも対 応しない。 このラバーバンドＲＢを展開する変換は、３次元の確率マトリックスを構築す るようニューラルネットワークによって計算された事事後確率Ｐマップに対して 実行される。水平の次元は、「時間」ｔ又はスプラインＳＰに沿った路であり、 垂直の次元はラバーバンドの幅Ｗによって決められ、候補点を符号化するもので あり、第３の次元はこれらの点についての異なる事後確率Ｐを記憶する。図５は 、かかる人工３次元確率マトリックス画像ＩＭの小さな部分を示す図である。 本発明による方法はまた動的プログラミングのためのステップを含む。このス テップは当業者によって既知であるように単に点を連結するのではなく、点及び クラスの組の連結を行う２次元形式のアルゴリズムに基づく。現在点Ｓ（ｘ，ｙ ）のクラスｉと可能な先行点Ｓ’のクラスｊとの間のかかるリンクの費用は、α 、β、及びγを重み係数とすると、 Ｃ（Ｓ_j’，Ｓ_i）＝Ｃ^*（Ｓ_j） 累積費用 ＋βＤ（Ｓ’，Ｓ） 点間距離 ＋αＣ（Ｓ_i） 局部費用 ＋γｃ_t（ｊ，ｉ） ｊ−ｉ遷移費用 として定義される。 従って、リンクの費用は、Ｓ_j’に達するための累積費用と、（原画像中で計 算された）３つの点Ｓ’とＳとの間の距離と、 Ｓ_jＣ（Ｓ_i）＝−ｌｏｇＰ（Ｃ_i／Ｖ（ｘ，ｙ）） を受ける費用と、クラスｊからクラスｉへ移る遷移費用、即ち、 ｃ_t（ｊ，ｉ）＝−ｌｏｇＰ（Ｃ_i（ｔ）／Ｃ_j（ｔ−１）） とに依存し、但し、Ｐ（Ｃ_j／Ｖ（ｘ，ｙ））は点Ｓ（ｘ，ｙ）におけるクラス Ｃ_iに対する事後確率であり、多解像度ニューラルネットワークによって推定さ れる。遷移確率Ｐ（Ｃ_i（ｔ）／Ｃ_j（ｔ−１））は予め固定であってもよく、又 はシステムによって推定されてもよい。 図５は、幾つかの選択された点についての様々な境界クラスの確率Ｐ（ｃｉ） をグレー（濃い方がより高い）で示す結果としての画像マトリックスＩＭの小さ な合成されたサンプルである。列ｓ，ｓ−１，ｓ−２．．．毎の点の数は一定で はなく、これらの有効点は時間軸に沿って列に沿っては均一には分布されていな いことに注意すべきである。 本発明によれば、方法は変換された画像の隣接する列の中にない点を連結する 可能性を与える。これらの「ジャンプ」は選択されたフェーズが誤って幾つかの 中間点をとばした時でさえ、リンクが見いだされることを確実とする。以前の点 はこのように、数十の点、例えば５１の位置に亘る扇形の中について探索されね ばならない。点Ｓのクラスｉに到達するための最善の費用は、ｊ∈｛１．．．Ｎ ｝とし、Ｓ’∈Ｐｒｅｄ（Ｓ）は扇形領域中の有効点の組とし、Ｎを所定のクラ スの数とすると、 として定義される。かかるリンクは、画像マトリックス中で前方へ（因果的な順 序で）進む全ての組（点、クラス）について計算される。最も確からしい輪郭Ｃ Ｔは、最も低い費用を有する１つの結果として回復される。 図６は、この強化された動的手順によって見いだされた境界ＣＴ （黒線）を示す図である。事後確率を使用することにより非常に正確な結果が得 られることがわかるだろう。 自動輪郭抽出は、難しい問題であり、医用適用だけでなく、（ＭＰＥＧ−４に おける場合のように）オブジェクトベースの符号化といった多数の他の適用にお いて使用されうる。本発明による方法は、アクティブ輪郭検出手順に、より高次 の情報を導入するステップに基づく。多解像度ニューラルネットワークは、所定 のクラスについて事後確率を計算するために使用される。これらの確率はまず、 因果律及び画像変換を決めるために使用される。これらは次に、確かに境界とし て分類された点を通る費用を低下するため、及び２つのかかる点を連結する費用 を決めるための両方のために動的プログラミング手順を誘導するために使用され る。この連結は、確率状態オートマトンへ符号化される。 かかる完全に自動化された輪郭抽出は、複雑な画像の場合でさえも達成されう る。計算時間は、ＮＮの大きな入力ベクトルの中の最も関連のある特徴を選択す ることによって減少されうる。ＮＮ学習のためにより多くの画像を使用すること によって、精度は増加されうる。 図７は、例として、Ｘ線源１、患者をのせる台２、画像処理システムを形成す るのに適した手段３０を設けられたプロセッサを含むディジタル画像処理システ ム５へデータを与えるカメラ管４に結合される画像インテンシファイア装置を含 むＸ線検査装置を示す図である。この画像処理システム３０は、本発明による輪 郭検出方法を実行する。プロセッサは幾つかの出力を有し、そのうちの１つの出 力１６は放射線画像又は強度画像を視覚化するための表示システム７へ結合され る。表示システムは、画像を記憶するための記憶手段を含みうる。

Claims (1)

1. 【特許請求の範囲】 １． 対象輪郭を表わす最小路を決める点を自動的に供給する段階を含む、対象 を表わす点によって形成される強度画像を処理する方法であって、 強度画像のデータを捕捉する段階と、 画像の所与の点が対象に関連する画像の所定の領域に属する可能性を示す確率 値の数値を求め、該確率値から対象の輪郭モデルを導出する段階と、 該画像モデル及び該確率値に基づいて画像を３次元マトリックス画像へ変換す る段階と、 該３次元マトリックス画像中で該最小路を決定するために動的プログラミング を行う段階とを含む方法。 ２． 画像変換の段階は、 該確率値から導出された対象の輪郭モデルを追従するラバーバンド状の画像を 構築する段階と、 ラバーバンド状の画像を、縦軸（ｔ）のための線、及び、直交軸のための画像 の点の上記縦軸への所与の距離（Ｗ）としてまっすぐにされた輪郭モデルを有す る矩形のラバーバンド画像へマップする段階と、 第３の次元を点の確率値によって構成されるラバーバンド画像に関連づけるこ とによって、矩形のラバーバンド画像に基づいて３次元マトリックス画像を形成 する段階とを含む、請求項１記載の方法。 ３． 動的プログラミング段階は、 該縦軸（ｔ）に対して因果の向きを与える段階と、 ３次元画像中で、その確率値に関連づけられる点（Ｓ）をその確率値に関連づ けられる先行点（Ｓ’）と連結し、一方、該確率値と 連結されるべき点に関する局部的及び文脈上の強度情報を考慮に入れる段階とを 含む、請求項２記載の方法。 ４． 確率値は、原画像の点に関連する局部及び文脈上の強度情報を考慮に入れ るベクトルのための入力と、点が原画像の所定の領域に属する確率を示す確率値 を与えるための出力とを有するニューラルネットワークによって与えられる、請 求項１乃至３のうちいずれか一項記載の方法。 ５． 多数の重要な点は、ニューラルネットワークによって対応する領域に属す る高い可能性を有するものとして決定された点から選択され、上記重要な点は原 画像中で多角形を決定し、スプラインと称される数学的な線は画像中の対象のた めの輪郭モデルを構成するよう多角形から構築される、請求項４記載の方法。 ６． 処理された画像は医用Ｘ線ディジタル画像であり、対象は心臓の左心室で あり、対象輪郭は大動脈弁限界点及び頂部によって構成される少なくとも３つの 重要な点を含む、請求項１乃至５のうちいずれか一項記載の方法。 ７． 請求項１乃至６のうちいずれか一項記載の方法を実行するための手段を含 む医用画像の処理のためのシステム。 ８． 医用ディジタル画像を形成するためのＸ線検出器を含むＸ線装置であって 、 請求項７記載の画像処理システム及び処理された画像を表示するためのシステ ムと関連づけられる装置。