JP4584575B2 - ３ｄ画像に表示される３ｄサーフェイスとインタラクトする画像処理方法 - Google Patents

Description

発明の詳細な説明

本発明は、２次元表示手段を用いて３次元（３Ｄ）オブジェクトの処理画像を表示し、表示された３Ｄオブジェクトのサーフェイスとインタラクトするための画像処理方法に係る。本発明は更に、医療撮像装置又はシステムと、この装置又はシステムにより生成された医療用３次元画像を処理し、人体の臓器である３Ｄオブジェクトのサーフェイスとインタラクトするためのプログラムプロダクトに係る。

本発明は、医療撮像方法及びプログラムプロダクトの分野、及び、医療撮像装置又はシステムにおいて特に適用される。

人体内の管状構造を２次元及び３次元撮像するシステムは、米国特許第５，８９１，０３０号（ジョンソン外）により既に公知である。このシステムは、例えば、生きている人の消化管を撮像するために、例えば、コンピュータ断層撮影（ＣＴ）スキャナ、及び、コンピュータワークステーションといった医療撮像装置と共に用いられる。ＣＴスキャナを用いて、人間の結腸の軸方向の断面画像が生成され、これらの画像は、コンピュータワークステーションに転送される。結腸の内腔に従う結腸の中線が画成される。コンピュータワークステーションは、リフォーマット化された断面画像、ボリュームレンダリングされたスカウト（scout）、及び、管腔内（interluminal）ビューを生成し且つ表示することにより結腸の中線の画成をサポートする。半自動の中線画成ツールも有する。中線が画成された後、画像のモンタージュが、診断目的のために表示される。画像には、横断面、経管的な（transluminal）断面、管腔内ボリュームレンダリング画像がある。

従って、容積測定の画像データは、２Ｄリフォーマット化されたビューと３Ｄレンダリングの生成に用いられ、更に、データを検索するためにも用いられる。この特許は、円筒状又は管状のサーフェイスのみに焦点を当てる。リフォーマット化された２Ｄ画像及びレンダリングされた画像は、画成された中線に従って予め生成され、そして、次に検索に用いられる。この検索は、所定の中線の経路の周りの領域に制限される。モデルとの直接的な３Ｄインタラクションは困難である。何故なら、視野は制限され、従って、サーフェイスの一部は隠れる場合があるからである。ユーザが、３Ｄサーフェイス上で線、輪郭、及び領域を指示し且つ描き、また、一般的に、３Ｄ画像データとインタラクトすることが困難であり得る。

本発明は、２Ｄ表示手段を用いて３Ｄオブジェクトを表示し、その表示された３Ｄオブジェクトのサーフェイス上を検索し且つサーフェイスとインタラクトするための画像処理方法に関する。より具体的には、本発明は、２Ｄ表示手段を用いて、管状形状に制限されず、その代わりに多数の丸み及び曲がりくねりを有し得る３Ｄ人体臓器である３Ｄオブジェクトを表示し、その表示された３Ｄ人体臓器のサーフェイス上を検索し且つサーフェイスとインタラクトするための画像処理方法に関する。

３次元オブジェクトを表す３次元画像は、一般的に、計算手段と、スクリーン上に見られる３Ｄ画像に作用するための、計算手段に接続されるマウスのような２Ｄインタフェース装置とに関連付けられる２Ｄスクリーン上に表示される。２Ｄマウスを用いて、２Ｄスクリーン上に表示される３Ｄ画像に作用する際に発生する問題は、操作者が、３Ｄ環境において回転する又は検索する際に、３Ｄデータをインタラクティブに操作することが困難であることである。例えば、マウスを用いて３Ｄオブジェクトを動かす又は回転する、或いは、視点を変える際に、領域を選択する、輪郭を描く等を行うことが困難である。３Ｄ画像に表示される３Ｄオブジェクトがメッシュモデルを用いてセグメント化される場合でも、メッシュモデルを扱うことが困難であることに注意されたい。更なる問題としては、医療画像において、臓器を表す３Ｄオブジェクトは、そのサーフェイスの視覚化と、そのサーフェイスにおける検索を困難にする曲がりくねりを示す場合があるということである。特に、曲がりくねりは、３Ｄデータの処理と、３Ｄサーフェイスの２Ｄ表示を非常に困難にしてしまう。

本発明は、３Ｄ画像に示される３Ｄオブジェクトのサーフェイス上の容易な検索を可能にする方法を提案することを目的とする。本発明によると、この方法は、３Ｄオブジェクトのサーフェイスの少なくとも２つの組合わせにされるビューを構成及び表示する段階を有する。少なくとも２つの組合わせにされるビューは、局所的なインタラクションが行われる３Ｄオブジェクトのサーフェイスのグローバル３Ｄビューと関連のあるローカル２Ｄビューを有する。

提案する画像処理方法は、請求項１に記載する。

本発明の方法の利点は、モデルは、オリジナルの画像データと一致する前に、抽出され且つ確認される点である。医療分野において、関連性のある医療情報を、モデルサーフェイス上に写像することができる。この医療情報は、画像テクスチャ、カラー符号化、又は、任意の他の視覚的な手段（例えば、潅流、動作、変形）を表し得る。

本発明は更に、２つのビューのうちの１つにおいてそのビューにおけるデータを処理するために、オブジェクトのサーフェイス上をインタラクティブに検索し、もう１つの組合わせにされるビューにおける対応するデータを自動更新する段階を有する方法を提供することを目的とする。

本発明は更に、画像を表示する表示手段と、画像データに作用するインタフェース手段を有し、更に、上述した方法を実行する処理手段を有する撮像システムを提供することを目的とする。３Ｄオブジェクトのサーフェイスの、組合わせにされるグローバル３Ｄビューとローカル２Ｄビューは、この撮像システムを用いて表示される。操作者は、例えば、マウスクリックボタンを用いて３Ｄサーフェイス上にカーソルを位置付けることにより、３Ｄビューにおける焦点と称する検索開始点を選択することができる。焦点の周りの領域は、２Ｄビューに自動的に投影される。３Ｄ環境においてインタラクティブに検索するには、ユーザは、２Ｄビュー内を検索し、２Ｄビューにおけるデータを処理さえすればよい。このことは、３Ｄビューにおけるよりも容易である。２Ｄビューと３Ｄビューとのつながりを用いて、データ野処理は、３Ｄビューにおいて自動的且つ同時に更新される。更に、両方のビューは同時に更新されるので、焦点は、両方のビューの中心に、常に設定され得る。従って、操作者は、２Ｄビューを、以下に「バーチャルマウスパッド」と称するツールとして用いることができる。操作者は、バーチャルマウスパッド上をスライドすることによって２Ｄビュー内を検索する。バーチャルマウスパッド上をスライドすることは、結果として、操作者が、３Ｄサーフェイス上を実際に連続的にスライドすることができることをもたらす。操作者は、２Ｄビューにおける所与のタスクを完了するために３Ｄビューにおける焦点を再び再位置付けることができる。

本発明は、画像処理手段を有するＸ線医療検査装置と、本発明の方法を実行するプログラムプロダクト又はプログラムパッケージに関する。

本発明を、図面を参照しながら、以下に詳細に説明する。

本発明は、例えば、グレイレベルで表現される３次元画像に適用される画像処理方法に関する。この画像は、医療検査装置により供給され、オブジェクトと称する臓器の３次元サーフェイスを表し得る。このオブジェクトは、管状の臓器に制限されない。ユーザがこのオブジェクトを、例えば、背景に対しよりよく見えるようにするために、このオブジェクトは、セグメント化され得る。

３Ｄオブジェクトを表す３Ｄ画像は、計算手段と、３Ｄ画像上を検索し且つ３Ｄ画像に作用するためのマウスといった２Ｄインタフェース装置とに関連付けられる、２Ｄスクリーンといった表示手段を有する撮像システムを用いて表示される。

この画像処理方法は、３Ｄオブジェクトサーフェイスの少なくとも２つの組合わせにされるビューを更なる同時表示を考慮して構成する段階を有する。３Ｄオブジェクトサーフェイスの少なくとも２つの組合わせにされるビューは、３Ｄオブジェクトのサーフェイスのグローバル３Ｄビューとローカル２Ｄビューとを有し、ローカル２Ｄビューに局所的なインタラクションが行われ３Ｄビュー上に自動的に更新される。

本発明の方法は、２つの組合わせにされるビューの静的及び動的表示のための手段を有する。操作者は、例えば、マウスクリックボタンといったユーザインタフェースを用いて３Ｄサーフェイス上にカーソルを位置付けることによって、焦点と示される検索開始点を、３Ｄビューにおいて選択することができる。焦点の周りの領域が画成され、その領域は２Ｄビューに自動的に投影される。本発明の方法によると、この領域の振幅は、自動的に範囲が決められ、それにより、素子の歪みが所定の閾値を越えることを阻止する。その領域の部分に、異なる色が、その歪みに応じて付され得る。一般的に、この領域の所与の点における歪みは、この点を焦点から隔てる距離の逆関数である。更に、本発明の方法によると、ビューは更に、対応するランドマークを形成する方向付け手段を有する。３Ｄビューに重ねられる方向軸は、第１のランドマークを形成し、２Ｄビューに重ねられる対応する方向軸は、対応する第２のランドマークを形成する。異なる軸に異なる色が付けられ、対応する軸は、同じ色が付けられ、それにより、操作者が、２つのビューの夫々においてそれらを容易に認識することができるようにすることが好適である。

本発明の方法は更に、組合わせにされるビューの動的表示のための手段を有する。この方法は、２つのビューのうちの１つにおいてそのビューにおけるデータを処理するために、オブジェクトサーフェイス上をインタラクティブに検索し、組合わせにされるビューにおける対応するデータが自動更新される段階を有する。３Ｄ環境においてインタラクティブに検索するには、ユーザは、２Ｄビューにおいて検索し、３Ｄビューにおけるよりも容易である２Ｄビューにおけるデータを処理するだけでよい。２Ｄビューと３Ｄビューとのつながりにより、データの処理は、３Ｄビューに自動的且つ同時に更新される。更に、両方のビューは同時に更新されるので、焦点及びランドマークは、両方のビューの中心に常に設定され得る。従って、操作者は、２Ｄビューを以下に「バーチャルマウスパッド」と称する物として用いることができる。２Ｄビューにおいて検索することにより、操作者は、３Ｄサーフェイス上を連続的にスライドすることができる。操作者は、２Ｄビューにおける所与のタスクを完了するために、３Ｄビューにおける焦点及びランドマークを再位置付けすることができる。その代わりに、２Ｄビュー上を指し示すことにより、操作者は、３Ｄビューを更新することができる。

本発明の画像処理方法は、以下の段階を有する。

１）関心のオブジェクトの３Ｄ画像の獲得
３次元画像を獲得する方法は、本発明の一部ではない。本発明の方法は、超音波システム又はＸ線装置、或いは、当業者に知られる他のシステムによって獲得することのできる臓器の３次元画像に適用することができる。３次元オブジェクトを図１Ａに示す。この例では、３Ｄオブジェクトは、１９９４年６月２０−２４日の間、米国シアトルで開催されたコンピュータ・ビジョン及びパターン認識の国際会議（ＣＶＰＲ‘９４）のプロシーディングスにおける「シンプレックス・メッシュ：ジェネラル・レプレゼンテーション・フォ・３Ｄシェイプ・リコンストラクション（Simplex Meshes: a General Representation for 3-D shape Reconstruction）」という名称の発行物において、Ｈ．デリンゲッテ（Delingette）により開示されるセグメンテーション技術に従いセグメント化される。この文書では、３次元オブジェクトを再生するための物理ベースのアプローチが提示される。このアプローチは、「シンプレックスメッシュ」の幾何学に基づいている。メッシュの柔軟性のある挙動は、各頂点（メッシュのノード）において抽出されるシンプレックスの角度によって平均曲率を制御する局所安定化関数によりモデル化される。この関数は、視点‐不変であり、固有、且つ、スケールに敏感である。従って、シンプレックスメッシュは、非常に適応性のある構造である。非常に湾曲した又は不正確な部分におけるメッシュ分解能を増加するための改善処理は、より単純な形状を有する部分から複雑なモデルを再生するようシンプレックスメッシュを接続することにある。シンプレックスメッシュは、一定の頂点の連結度を有し、各頂点は、３つの隣接する頂点に接続される。これは、全てのタイプの方向付け可能なサーフェイスを表すことができる。４つの独立した変換を決定して、可能なメッシュ変換の全てのレンジが達成される。これらは、フェースにおけるエッジを挿入する又は削除することにある。変換は、内力及び外力を示唆する。内力は、外部制約に対する物理ベースのモデルの応答を決定する。内力は、それらが固有の視点不変であり、スケールに依存するよう表現される。同様の種類の制約が、輪郭に対しても成り立つ。従って、引用した発行物は、所与の３Ｄオブジェクトを表す単純なモデルを供給する。これは、モデルを再整形し且つ調節するために関心の３Ｄオブジェクトに加えられる力を決める。「シンプレックスメッシュ技術」は、ロバストにセグメント化される画像を供給する反復法である。

２）２つの組合わせにされるビューの静的表示
図１Ａ及び図１Ｂを参照するに、２つの組合わせにされるビューウィンドウからなるセットが構成され、スクリーン上に表示される。図１Ａに示すように、この組合わせにされるビューウィンドウのセットは、関心のオブジェクトの３Ｄグローバルビューを表示する第１のビューウィンドウ３２Ａを有する。この３Ｄグローバルビューはセグメント化され、従って、シンプレックスメッシュモデルのフェース及びエッジを有する３Ｄオブジェクトを示すことが好適である。図１Ａにおいて、例として、セグメント化されたオブジェクトは、球形又は円形のオブジェクト１０である。このビューが３Ｄグローバルオブジェクトを表すという指示は、第１のウィンドウ３２Ａのサブウィンドウ３１Ａに与えられることが好適である。図１Ｂに示すように、この組合わせにされるビューのセットは更に、関心のオブジェクトの局所領域の２Ｄ投影ビューを表示する第２のウィンドウ３２Ｂを有する。第２のウィンドウ３２Ｂは、それが、ローカル２Ｄビューを表すことを示す指示を、サブウィンドウ３１Ｂに有する。

ユーザは、例えば、メッシュモデルのサーフェイス１０上にマウスカーソルを位置付け、マウスボタンをクリックすることにより、３Ｄグローバルビュー３２Ａにおける検索開始点Ｐ０を選択する。以下、ユーザによりクリックされた点は、焦点と称する。この例では、焦点Ｐ０は、メッシュモデルのフェース１１Ａに位置付けられる。焦点Ｐ０周りの開いた領域１２Ａは、当業者には周知である平滑化技術を用いて、第２のウィンドウ３２Ｂにおける２Ｄビューに投影され、投影されたサーフェイス１２Ｂを形成する。投影されたサーフェイス１２Ｂの領域の寸法は、投影歪みを阻止するために、制限される。

焦点Ｐ０、及び、投影される領域１２Ａ、１２Ｂの視覚化を容易にするために、関心のゾーンに異なる色を付し得る。例えば、焦点Ｐ０が位置付けられる、組合わせにされる第１及び第２のウィンドウにおけるメッシュモデルのフェース１１Ａ、１１Ｂは、図１Ａ及び図１Ｂにおいて第１のグレイレベルにより示す第１の色が付けられる。焦点の周りのリングゾーンは、そのゾーン内で見つけられる歪み値に関連付けられた異なる色が付せられ得る。一般的に、歪みは、焦点への距離と共に増加する。選択された投影領域１２Ｂは、平滑化の歪みに応じて範囲が決められる。

第２のウィンドウ３２Ｂに示す２Ｄローカルビューは、第１のウィンドウ３２Ａに示す３Ｄグローバルビューと組合わせにされる。２Ｄビューと３Ｄビューとの直接的な１対１の写像は、モデルセルを介して間接的に知られるので、２つのビューの間には直接的な対応がある。インタフェース手段により２Ｄローカル投影ビュー３２Ｂに行われる任意の動作は、３Ｄグローバルビュー３２Ａにおいて自動的に更新される。

図３Ａ及び図３Ｂを参照するに、組合わせにされるビューには、対応するランドマークが与えられる。図３Ａに示すように、３Ｄグローバルビューは、スクリーンの平面にある第１の軸１Ａと第２の直交軸２Ａと、スクリーンの平面に直交する第３の軸３Ａを有する。図３Ｂに示すように、２Ｄローカルビューは、スクリーンの平面にある第１の対応軸１Ｂと第２の直交対応軸２Ｂと、スクリーンの平面に直交する第３の対応軸３Ｂを有する。第１の対応する軸１Ａ、１Ｂは、図面では実線として示す第１の色を有し得る。第２の対応軸２Ａ、２Ｂは、図面では破線として示す第２の色を有し得る。第３の対応軸３Ａ、３Ｂは、図面では×印として表す第３の色を有し得る。従って、ユーザは、組合わせにされるビューにおける対応する軸を容易に認識することができる。

２Ｄビューと３Ｄビューとの直接的な１対１の写像は、平滑化処理から受け継がれるので、２つのビューにおける各画素間に直接的な対応がある。インタフェース手段により、２Ｄローカル投影ビュー３２Ｂの画素に行われる任意の動作は、３Ｄグローバルビュー３２Ａの対応する画素上に自動的に更新される。この特性は、ユーザインタフェースに接続される計算手段により行われる連結計算により得られる。この特性は、メッシュモデルの３Ｄサーフェイスに医療情報を容易に写像するのに特に有用である。この情報は、２Ｄサーフェイスビューにおいて取り入れられる。この医療情報は、画像テクスチャ、カラー符号化、又は、臓器に関連する潅流、動作、変形といった任意の他の視覚的な手段を表し得る。この特性は更に、３Ｄサーフェイスでの設計に特に有用である。設計は、２Ｄサーフェイスビューで非常に容易に行われる。設計は、特定の臓器の一部をマークするために描かれる線、臓器の一部を画成する又は強調するための輪郭であり得る。

３）組合わせにされるビューにおけるインタラクティブ検索のための動的表示
２Ｄマウスを用いて、２Ｄスクリーン上に表示される３Ｄサーフェイス上を直接検索する際の問題は、操作者が、３Ｄ環境において回転する又は検索する際に、３Ｄデータをインタラクティブに操作することが困難であることである。例えば、マウスを用いて３Ｄオブジェクトを動かす又は回転させ、そして、同時に領域を選択すること、オブジェクトの前の部分から始まりオブジェクト又は臓器の背後に位置する部分まで続く輪郭を描くこと等は困難である。３Ｄ画像に表示される３Ｄオブジェクトがメッシュモデルを用いてセグメント化される場合でも、メッシュモデルを扱うことが困難であることに注意されたい。更なる問題としては、医療画像では、臓器を表す３Ｄオブジェクトは、そのサーフェイスの視覚化とそのサーフェイスにおける検索を困難にする曲がりくねりを示す場合があることである。特に、曲がりくねりは、３Ｄデータの処理と、３Ｄサーフェイスの２Ｄ表示を非常に困難にしてしまう。

３Ｄビュー３２Ａにおいてインタラクティブに検索するには、ユーザは、２Ｄビュー３２Ｂにマウスボタンを置いてクリックさえすればよい。図１Ｂに示すように、ユーザは、開始点Ｐ０に対し上方向に検索したいと希望するかも知れない。その場合、ユーザは、例えば、２Ｄローカルビュー３２Ｂのフェース２１Ｂに置かれる新しい焦点Ｐ１を選択する。自動的に、焦点は、矢印１００に沿って移動し、点Ｐ１となる。

図２Ａ及び図２Ｂを参照するに、グローバルビュー及びローカルビューは共に、自動的且つ同時に更新される。本発明によると、新しい焦点は、更新されたウィンドウ３２Ａ及び３２Ｂの中心に、自動的且つ同時に設定される。従って、新しい焦点は、常に、更新されたウィンドウの中心に位置付けられる。この特性は、ユーザに、２Ｄビュー上を連続的にスライドするためのバーチャルマウスパッドとして２Ｄビューを用い、３Ｄビュー上を自動的且つ同時にスライドすることを可能にする。図２Ａは、グローバルビューウィンドウ３２Ａの中心、及び、ローカルビューウィンドウ３２Ｂの中心における新しい焦点Ｐ１を示す。この新しい焦点は、フェース２１Ｂに置かれる。新しく計算された投影領域は、ローカルビュー３２Ｂにおいて２２Ｂである。対応する３Ｄ領域２２Ａは、３Ｄビュー３２Ａにおいて、自動的且つ同時に見つけられる。この手順は、検索タスクが完了するまで繰り返すことが可能である。

図４Ａ及び図４Ｂを参照するに、２つの組合わせにされる画像のうちの１つの画像上をスライドすることにより焦点及び画像点が更新されるだけでなく、ランドマークも更新される。従って、ユーザは、迷うことなく複雑なサーフェイス上を容易に検索することができる。ユーザは、領域選択、サーフェイスモデルの周りに曲線を描くこと、モデルの一部を切り出すこと、複雑なサーフェイス上の領域を区分すること、測地線領域エリア等の曲線のある輪郭を測定することといったような３Ｄサーフェイスモデルとの連続的なインタラクションを行うことが可能である。テクスチャが利用可能であり、モデル上に写像される場合、ユーザは、写像されたテクスチャに対し、エッジ検出、特徴抽出、及び、他の測定を行うことができる。例えば、ガイドワイヤの動作を追跡すること、ステントを検出することは、２Ｄローカルビュー上で行うことがより容易である可能な作業である。モデルとのインタラクションは、引用した例に制限されるものではない。本発明は、本発明が心室のモデルに適用可能である心臓学の分野や、本発明が脊椎のモデルに適用可能である脊椎病理学の分野や、動脈学及び静脈学等の分野等において特に興味深い。

４）投影技術
当業者に周知である、ローカルサーフェイス平滑化をもたらす任意の投影技術を用いることができる。例えば、図５Ａ及び図５Ｂを参照して説明する当業者に周知である投影技術を用いることが可能である。この技術は、図５Ａに示すように、平面Ｐを３ＤオブジェクトＳに関連付ける作業を有する。図５Ｂは、３Ｄオブジェクトと平面の横断面を示す。横断面の輪郭の各点は、矢印方向Ｄに沿って平面の横断面に投影される。オブジェクトの断面は、平面の各カラムに対応するよう設計され、オブジェクトの横断面の対応する輪郭の点が、平面上に投影される。従って、オブジェクトの輪郭の投影が得られる。投影を行うための様々な方法は、例えば、アカデミック・プレスのアンドリュー Ｓ．グラスナー（Glassner）により編集された「グラフィックス・ジェムズ（Graphics gems）」（ゼロックス・パロ・アルト・リサーチ・センタ，パロ・アルト，カリフォルニア）の３０７−３１７ページに説明される。

５）本発明の方法を実行するシステム
図６を参照するに、医療診断撮像装置１５０は、３次元デジタル画像データを獲得する手段と、上述した処理方法に応じて３次元デジタル画像データを処理するデジタル処理システム１２０を有する。医療検査装置は、画像データを処理システム１２０に供給する手段を有し、処理システム１２０は、画像データを表示手段１３０及び／又は記憶手段１４０に供給する少なくとも１つの出力１０６を有する。表示手段は、ワークステーション１１０のスクリーン１４０であり、記憶手段は、ワークステーション１１０のメモリであり得る。記憶手段は、或いは、外部の記憶手段であってもよい。画像処理システム１２０は、ワークステーション１３０の好適にプログラムされたコンピュータか、又は、本発明の方法段階の機能を実行するよう構成されるＬＵＴ、メモリ、フィルタ、論理演算子といった回路手段を有する特殊目的プロセッサであり得る。ワークステーション１３０の命令は、プログラムプロダクトにより与えられる。ワークステーション１３０は、キーボード１３１及びマウス１３２も有し得る。

画像処理方法により処理される、２Ｄスクリーン上の第１のウィンドウにおける３Ｄオブジェクトのグローバル３Ｄビューを示す図である。 画像処理方法により処理される、２Ｄスクリーン上の第２のウィンドウにおける２Ｄ投影されたローカルビューを示す図である。 図１Ｂの矢印に従った移動の後に更新されたグローバル３Ｄビューを示す図である。 図１Ｂの矢印に従って移動の後に更新された投影されたローカルビューを示す図である。 ランドマークを有する図１Ａのグローバル３Ｄビューを示す図である。 ランドマークを有する図１Ｂの投影されたローカルビューを示す図である。 ランドマークを有する図２Ａのグローバル３Ｄビューを示す図である。 ランドマークを有する図２Ｂの投影されたローカルビューを示す図である。 ３Ｄオブジェクトの領域を投影し、ローカル２Ｄビューを形成する投影の技術を説明する図である。 ３Ｄオブジェクトの領域を投影し、ローカル２Ｄビューを形成する投影の技術を説明する図である。 画像処理方法を実行するシステムを有する装置を示す図である。

Claims (14)

1. ２次元表示手段を用いて３次元（３Ｄ）オブジェクトの処理画像を表示し、表示された３Ｄオブジェクトのサーフェイスとインタラクトするための画像処理方法であって、
   前記３Ｄオブジェクトの前記サーフェイスの少なくとも２つの組合せにされるビューを構築し且つ表示する段階を有し、
   前記少なくとも２つの組合せにされるビューは、前記３Ｄオブジェクトの前記サーフェイスのグローバルな３Ｄビューと、局所的なインタラクションが行われる前記３Ｄオブジェクトのサーフェイスの関連のローカルな２Ｄビューとを有し、
   当該画像処理方法は、更に、
   前記３Ｄビューと前記２Ｄビューとの直接的な１対１の写像を得るための平滑化処理を行う段階と、
   前記３Ｄビューにおいて前記３Ｄオブジェクトの前記サーフェイス上の焦点となる開始点を選択する段階と、
   投影歪が所定の閾値を超えることを阻止するために寸法が制限された前記２Ｄビューのサーフェイス領域に投影サーフェイス領域を形成するために、前記３Ｄビューの前記焦点の周りの、前記平滑化処理に基づく歪に応じて範囲が決められた領域を前記２Ｄビューに投影する段階と、
   を備えた画像処理方法。
2. 前記２つの組合せにされるビューは、対応するランドマークを形成する方向付け手段を更に有する請求項１記載の方法。
3. 第１のランドマークを形成するよう方向軸が前記３Ｄビュー上に重ねられ、対応する方向軸は、対応する第２のランドマークを形成するよう前記２Ｄビュー上に重ねられ、
   異なる軸には異なる色が付けられ、前記対応する方向軸には、前記２つのビューの夫々において前記対応する軸を認識できるよう同じ色が付けられる請求項２記載の方法。
4. 前記組合せにされるビューの更なる動的表示のために、
   前記３Ｄオブジェクトのサーフェイス上をインタラクティブに検索する段階を有し、
   前記段階は、前記２Ｄビューにおいて新しい場所に前記焦点をスライドし、前記３Ｄビューにおいて新しい焦点を自動更新し、前記新しい焦点の周りの新しい領域を画成し、前記２Ｄビューに前記領域を自動的に投影するサブ段階と、前記２Ｄビューの前記新しい領域におけるデータを処理し、前記組合せにされる３Ｄビューにおける対応するデータを自動的及び同時に更新するサブ段階とを有する請求項１乃至３のうちいずれか一項記載の方法。
5. 両方のビューが同時に更新され、前記焦点及び前記ランドマークは、両方のビューの中心に常に設定される請求項２乃至４のうちいずれか一項記載の方法。
6. 異なる軸に対して異なる色、及び、異なる領域に対して異なる色になるように前記３Ｄビューにおける各要素に対して異なる色が付けられ、前記２Ｄビューにおける対応する要素に対しては対応する色が付けられ、
   前記異なる色は、両方のビューにおいて、同時且つ自動的に更新される請求項１乃至５のうちいずれか一項記載の方法。
7. 関心の前記３Ｄオブジェクトは、メッシュモデル技術を用いてセグメント化される請求項１乃至６のうちいずれか一項記載の方法。
8. 臓器を表す３Ｄ医療画像におけるデータを処理するために、
   医療情報が、３Ｄメッシュモデル上に対応付けられ、
   前記医療情報は、前記２Ｄビューに取り込まれ、
   前記医療情報は、画像テクスチャ、色分け又は他の視覚的手段の形式で示される視覚的な医療指示を含み、他の視覚的手段は、臓器に関連する潅流、動作若しくは変形を表す請求項７記載の方法。
9. 設計が、前記２Ｄビュー上で行われ、前記３Ｄビューにおいて自動的且つ同時に更新され、
   前記設計には、特定の臓器の一部をマークするために描かれる線、臓器の一部を画成する輪郭、臓器又は臓器の一部を強調する特定のデザインが含まれる請求項８記載の方法。
10. 検査段階の間に、バーチャルマウスパッドにより前記２Ｄビュー上をスライドすることで３Ｄサーフェイスモデルとの連続的なインタラクションが行われ、
    インタラクションには、領域を選択すること、前記サーフェイスモデルの任意の部分に曲線を描くこと、モデルの一部を切り出すこと、複雑なサーフェイス上の領域を区分すること、曲線のある輪郭を測定することが含まれ、前記画像テクスチャが利用可能であり前記モデルに写像される場合には、インタラクションには、前記写像される前記画像テクスチャに対し、エッジ検出、特徴抽出、及び／又は医療測定が含まれ、前記医療測定は、ガイドワイヤの動作を追跡すること及び／又はステントを検出することである請求項８又は９記載の方法。
11. 臓器の前記モデルは、心臓学における心室のモデル、背骨における脊椎のモデル、動脈学及び静脈学における血管モデルを含む請求項８乃至１０のうちいずれか一項記載の方法。
12. 請求項１乃至１１のうちいずれか一項記載の方法に従って画像データを処理するように、構築された回路手段を有する特殊用途プロセッサ又はプログラムされたコンピュータを有するシステム。
13. 人体の臓器の３次元画像を獲得する手段と、
    組合せにされる３Ｄビューと２Ｄビューを表示する表示手段と、
    前記２Ｄビュー及び前記３Ｄビューに作用するインタフェース手段と、
    請求項１乃至１１のうちいずれか一項記載の方法を実行する処理手段と、
    を有する医療診断撮像装置。
14. 請求項１乃至１１のうちいずれか一項記載の方法をコンピュータに実行させるための命令セットを有するコンピュータプログラム。

Images