JP6059261B2 - マルチモーダル画像統合におけるレジストレーション精度を改善するインテリジェントなランドマーク選択 - Google Patents

Description

本開示は、画像形成ツール、特に、改善された精度を備えたマルチモーダル画像レジストレーションのためのシステム及び方法に関する。

マルチモダリティ画像レジストレーションのために、従来の強さに基づく方法を使用することは、異なる画像モダリティが異なるコントラスト及び解剖学的構造を提示し得るので、しばしば不適切である。代わりに、特徴に基づく方法が広く使用されており、これは、セグメンテーションから取得される表面ランドマーク及び内在的ランドマークに依存する。表面に基づくレジストレーション技術における重要な問題は、それがセグメンテーション結果の精度にひどく依存することである。セグメンテーションの精度は、超音波のような、低い信号対雑音比を有する画像形成モダリティにおいて、しばしば信頼できない。そのため、表面ランドマーク及び内在的ランドマークの両方を使用することが好ましい。表面ランドマークは、臓器境界のセグメンテーションに基づき容易に取り出し可能であり、一方、内在的ランドマークは、手動又は自動のいずれにせよ見つけ出すのがより困難であり得る。２００９年６月２５日付けで公開された国際公開第２００９／０７７９３８（Ａ１）号明細書、“Ｓｕｃｅｓｓｉｖｅ Ｌａｎｄｍａｒｋ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ”は、段階的に実行されるレジストレーションを開示しており、夫々の段階でランドマークの組が結果を改善するために変更され、そのようなランドマークの組の変更がユーザによって提示される第１及び第２の画像の比較に基づきユーザによって決定される。

しかし、画像の性質の違いにより、異なるモダリティの画像の間でランドマーク対を決定することは困難である。ランドマーク対のための手動による選択は多くの場合に好まれるが、手動による選択は主観的であり且つ一貫性がない。

本原理に従って、異なるモダリティの画像においてランドマーク対を選択するための新規の解決法が提供される。ランドマーク対の選択は、表面ランドマークに基づき動画像を静止画像とレジストレーションするようレジストレーション変換を決定することを含む。静止画像上で識別される内在的なランドマークは、レジストレーション変換を用いて、レジストレーションされた画像上にオーバーレイされる。夫々のオーバーレイされたランドマークは、レジストレーションされた画像において対応するランドマーク対を識別するのを助けるよう、球又は他のオブジェクト内に包含される。レジストレーションされた画像において識別されたランドマークは、レジストレーション変換の逆を用いて、動画像へ逆変換される。動画像は、静止画像と非剛体レジストレーションされる。有利に、本原理は、対応する内在的ランドマーク対を見つけ出すようガイダンスを提供する。本原理における表面ランドマーク及び内在的ランドマークの両方の使用は、レジストレーション精度を改善する。

画像レジストレーションシステムは、第１の画像の内在的なランドマークを識別するよう構成される画像特徴検出モジュールを有する。画像レジストレーション及び変換モジュールは、表面ランドマークに基づき第２の画像を前記第１の画像とレジストレーションしてレジストレーションされた画像を生成するように、プロセッサを用いてレジストレーション変換を計算するよう構成される。ランドマーク識別モジュールは、前記レジストレーション変換を用いて前記内在的なランドマークを前記第２の画像にオーバーレイし、該オーバーレイされたランドマークを仮想オブジェクト内に包含して前記レジストレーションされた画像において対応するランドマーク対を識別し、該識別されたランドマークと共に前記レジストレーションされた画像を用いて前記第２の画像を前記第１の画像とレジストレーションするよう構成される。

画像レジストレーション方法は、第１の画像の内在的なランドマークを識別することを含む。レジストレーション変換は、表面ランドマークに基づき第２の画像を前記第１の画像とレジストレーションしてレジストレーションされた画像を生成するようプロセッサを用いて計算される。前記内在的なランドマークは、前記レジストレーション変換を用いて前記レジストレーションされた画像にオーバーレイされる。前記オーバーレイされたランドマークは、前記レジストレーションされた画像において対応するランドマーク対を識別するよう仮想オブジェクト内に包含される。前記第２の画像は、前記識別されたランドマークと共に前記レジストレーションされた画像を用いて前記第１の画像とレジストレーションされる。

画像レジストレーション方法は、第１の画像及び第２の画像の剛体レジストレーションを行うことを含む。前記第１の画像及び前記第２の画像の内在的な特徴は、前記第１の画像及び前記第２の画像の類似度を測定して剛体レジストレーション及び非剛体レジストレーションのうちの１つを選択するよう、プロセッサを用いて識別される。前記第２の画像は、前記選択された剛体又は非剛体レジストレーションを用いて前記第１の画像とレジストレーションされる。

一実施形態に従って、一貫したランドマーク対を識別するインテリジェントなランドマーク選択のためのシステムを示すブロック／フロー図である。 一実施形態に従って、表面ランドマークを選択するボールセレクタ・システムを表す。 一実施形態に従って、外形関心領域選択システムを示す。 一実施形態に従って、一貫したランドマーク対を識別するインテリジェントなランドマーク選択のための方法を示す。 一実施形態に従って、一貫したランドマーク対を識別するインテリジェントなランドマーク選択のための方法を示すブロック／フロー図である。 一実施形態に従って、レジストレーションのために関心領域を選択する方法を示すブロック／フロー図である。 一実施形態に従って、最適なレジストレーション方法を選択する方法を示すブロック／フロー図である。

本開示は、上記の図面を参照して、好ましい実施形態の下記の説明を詳細に与える。

本原理に従って、システム、装置及び方法のための実施形態は、マルチモーダル画像統合におけるレジストレーション精度を改善するインテリジェントなランドマーク選択を提供する。インテリジェントなランドマーク選択は、レジストレーション精度を改善するよう、ユーザが異なるモダリティの画像の間で一貫したランドマーク対を選択するのを支援する。一実施形態において、インテリジェントなランドマーク選択は、表面ランドマークに基づき異なるモダリティの画像である静止画像及び動画像のレジストレーションを行うようレジストレーション変換を決定することを含む。静止画像において特定される内在的ランドマークは、レジストレーション変換を用いて、レジストレーションされた画像上にオーバーレイされる。夫々のオーバーレイされたランドマークは、レジストレーションされた画像において対応するランドマーク対を識別するのを助けるよう球又は他のオブジェクト内に包含される。レジストレーションされた画像において特定されたランドマークは、レジストレーション変換の逆を用いて動画像へ逆変換される。動画像は、静止画像と非剛体レジストレーションされる。本原理における表面ランドマーク及び内在的ランドマークの両方の使用は、精度を改善する。

他の実施形態において、最初のレジストレーションは、レジストレーションを特定の関心領域に制限することによって、改善され得る。関心領域は、例えば、ｉ）手動により関心領域を決定すること、ｉｉ）患者固有のアトラスから関心領域を選択すること、及びｉｉｉ）レジストレーションのための全てのランドマークを使用することによって、ユーザによって指示されてよい。手動により関心領域を決定することは、ｉ）手動により表面ランドマークを選択すること又は関心領域を特定すること、及びｉｉ）望まないランドマークをフィルタリングするよう具体的な閾値を設定することを含んでよい。それらの選択肢は、ユーザが最良の結果を達成するよう特定の組み合わせにおいて選択肢を使用することができるので、互いに排他的でない。レジストレーションを画像内の特定の関心領域に制限することによって、レジストレーションのより良い精度が局所領域において達成される。

更なる他の実施形態において、最初のレジストレーションは、剛体レジストレーションと非剛体レジストレーションとの間で最適に選択することによって、更に改善され得る。最適なレジストレーション方法を選択することは、最初に静止画像及び動画像の剛体レジストレーションを行い、それらの画像の類似度を評価するようそれらの画像から内在的な特徴を取り出すことを含む。内在的な特徴の抽出は、例えば、解剖学的ランドマーク対の間の距離及びダイスの類似度係数のようなメトリクスを適用することを含んでよい。メトリクスに基づき、剛体又は非剛体レジストレーションは、手動により又は自動的に選択される。自動的にレジストレーション方法を選択することは、取り出された特徴に基づき非剛体レジストレーションの性能を予測するよう機械学習エンジンを適用することを含む。有利に、最適に剛体又は非剛体レジストレーションのいずれかを選択することは、画像統合の最良の品質をユーザに提供する。

図に示されている様々な要素の機能は、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアに加えて専用のハードウェアの使用を通じて提供され得る。プロセッサによって提供される場合に、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は一部が共有され得る複数の個別プロセッサによって、提供され得る。加えて、語“プロセッサ”又は“コントローラ”の明示的な使用は、もっぱらソフトウェアを実行可能なハードウェアに言及していると解釈されるべきではなく、制限なしに、デジタル信号プロセッサ（“ＤＳＰ”）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、不揮発性ストレージ、等を暗に含むことができる。

加えて、本発明の原理、態様、及び実施形態、並びにそれらの具体例を挙げている本願における全ての記述は、それらの構造的及び機能的同等物を包含するよう意図される。加えて、そのような同等物は、現在知られている同等物及び将来開発される同等物（すなわち、構造に関わらず同じ機能を実行する開発されたあらゆる要素）の両方を含むことが意図される。よって、例えば、本願で与えられているブロック図は、本発明の原理を具現する実例となるシステム構成要素及び／又は回路の概念図を表すことが、当業者によって認識されるであろう。同様に、あらゆるフローチャート、フロー図及び同様のものは、コンピュータ可読記憶媒体において実質的に表され、故にコンピュータ又はプロセッサによって、そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと実行され得る様々なプロセスに相当することが、認識されるであろう。

加えて、本原理の実施形態は、コンピュータ又はあらゆる命令実行システムによる又はそれに関連した使用のためのプログラムコードを提供するコンピュータにより使用可能な又はコンピュータにより読み出し可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形をとることができる。本明細書のために、コンピュータにより使用可能な又はコンピュータにより読み出し可能な記憶媒体は、命令実行システム、装置、又はデバイスによる又はそれに関連した使用のためのプログラムを包含、記憶、通信、伝播、又は輸送するあらゆる装置であることができる。媒体は、電子、磁気、光、電磁気、赤外線、又は半導体システム（又は装置若しくはデバイス）、あるいは伝播媒体であることができる。コンピュータ可読媒体の例には、半導体又は固体状態メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、剛体磁気ディスク及び光ディスクがある。光ディスクの目下の例には、コンパクトディスク−読み出し専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）及びブルーレイディスク（ＢＤ）がある。

ここで、同じ参照符号が同じか又は類似する要素を表す図面、最初に図１を参照すると、レジストレーション精度を改善するよう、ユーザが、異なるモダリティによってスキャンされた画像から一貫したランドマーク対を選択することを支援するインテリジェントなランドマーク選択のためのシステム１００が、一実施形態に従って実例として表されている。システム１００はワークステーション又はコンソール１０６を有してよく、ワークステーション又はコンソール１０６からレジストレーションが監督及び管理される。ワークステーション１０６は、望ましくは、１以上のプロセッサ１３０と、プログラム及びアプリケーションを記憶するメモリ１０８とを有する。システム１００の機能及び構成要素は、１以上のワークステーション又はシステムにまとめられてよいことが理解されるべきである。

メモリ１０８は、スコープＡ１０２からの静止画像１１０と、スコープＢ１０４からの動画像１１２とを記憶してよい。スコープＡ１０２及びスコープＢ１０４は、あらゆる画像形成装置であってよく、例えば、磁気共鳴画像形成（ＭＲＩ）システム、フルオロスコープシステム、コンピュータ断層撮影（ＣＴ）システム、超音波システム、等であるが、それらに限られない。好ましい実施形態では、スコープＡ１０２及びスコープＢ１０４は、異なるモダリティのスコープである。システム１００は、レジストレーション精度を改善するよう、ユーザがスコープＡ１０２からの画像１１０及びスコープＢ１０４からの画像１１２から一貫したランドマーク対を選択するのを支援する。

ワークステーション１０６は、画像１１０及び１１２を見るための１以上のディスプレイ１２６を有してよい。ディスプレイ１２６はまた、ユーザがワークステーション１０６並びにその構成要素及び機能と相互作用することを可能にすることができる。これは更に、ユーザインターフェース１２８によって容易にされる。ユーザインターフェース１２８は、ワークステーション１０６とのユーザインタラクションを可能にするよう、キーボード、マウス、ジョイスティック、又は何らかの他の周辺機器又は制御を含んでよい。

コンピュータ実装プログラム１１４は、ワークステーション１０６のメモリ１０８に記憶される。プログラム１１４は、スコープＡ１０２のモダリティの静止画像１１０の内在的なランドマークを検出及び識別する画像特徴検出モジュール１１６を含む。モジュール１１６における内在的ランドマーク検出は、手動により又は自動的に実行されてよいことが知られる。モジュール１１６における手動による特徴検出は、ワークステーション１０６と相互作用するよう、ディスプレイ１２６及びユーザインターフェース１２８の使用を採用してよい。モジュール１１６における自動的な特徴検出は、特徴を検出するよう、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）又はＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）方法を採用してよい。

プログラム１１４は、表面ランドマークに基づきスコープＢ１０４のモダリティの動画像１１２をスコープＡ１０２のモダリティの静止画像１１０とレジストレーションするようレジストレーション変換を決定する画像レジストレーション及び変換モジュール１１８を含む。１つの特に有用な実施形態において、レジストレーションは、レジストレーションを特定の関心領域に制限することを含んでよい。レジストレーション範囲に境界を定めることによって、レジストレーション精度は局所領域について改善される。ユーザが本原理に従って関心領域を指示する幾つかの方法が存在する。例えば、ユーザは、ｉ）レジストレーション範囲を手動により決定し、ｉｉ）予め設定されたアトラスから範囲を選択し、その範囲内のランドマークのみが更なるレジストレーションのために使用され、あるいは、ｉｉｉ）レジストレーションのための全ての表面ランドマークを使用してよい。最後のｉｉｉ）は、一実施形態において、デフォルトの選択肢であってよい。関心領域を指示する他の方法も考えられる。それらの選択肢は互いに排他的でないことが知られる。ユーザは、最良の結果を得るよう特定の組み合わせにおいて選択肢を使用してよい。

レジストレーションのための関心領域の手動選択は、関心領域又は表面ランドマークを手動により線引きすることによって達成されてよい。一実施形態において、ユーザは、ランドマークを１つずつ取り出すことに代えて、例えば、球状ボールセレクタを用いて、３次元（３Ｄ）空間において表面ランドマークを手動により選択してよい。本原理は、球状ボールセレクタに制限されず、むしろセレクタはあらゆる形であってよいことが理解されるべきである。少しの間図２を参照すると、ボールセレクタ・システム２０２が実例として表されている。ユーザは、ボールセレクタ２０２の半径を調整することができ（例えば、左クリック＋スクロール）、ボールセレクタ２０２内の全ての表面ランドマーク２０４が選択（例えば、ダブル左クリック）又は除外（例えば、ダブル右クリック）され得る。

他の実施形態において、ユーザは、解剖学的ランドマークを線引きするよう関心領域の輪郭を手動により示してよい。少しの間図３を参照すると、関心領域選択システム３００に基づく解剖学的ランドマークが実例として表されている。ユーザは、レジストレーションのためにランドマーク３０４を選択するよう関心領域３０６の輪郭３０２を手動により示してよい。これは、ディスプレイ１２６及びユーザインターフェース１２８の使用を含んでよい。輪郭３０２を示された関心領域３０６の輪郭３０６内にある表面ランドマーク３０４のみがレジストレーションにおいて使用され得る。

更なる他の実施形態において、ランドマークは、解剖学的閾値に基づき関心領域内で選択される。動画像１１２における夫々のランドマークについて、静止画像１１０における夫々のランドマークまでの距離が決定され、最短の距離が動画像１１２における夫々のランドマークについて決定される。次いで、ユーザは、最短の距離についての閾値を特定することができ、全てのランドマークは、それらの最短距離が閾値よりも大きい場合に除外され得る。そのような閾値化は、レジストレーションのための２つのボリュームが予め剛体整列されており、一貫性のないセグメンテーションが大きい最短距離を有するランドマークに主として対応すると想定する。これは、例えば、経直腸的超音波診断法（prostate transrectal ultrasound）（ＴＲＵＳ）融合の場合に当てはまる。閾値化はまた、ボリューム内のスライス範囲に基づいてよく、それにより、ユーザはスライス範囲を特定し、この範囲外のランドマークを除外する。

他の実施形態に従って、関心領域は、患者固有のアトラスから範囲を選択することによって選択され得る。患者固有アトラスの生成は、１）複数の手動セグメンテーションを平均化することによって、予め設定されたアトラスと共にテンプレートセグメンテーションを生成すること、２）患者固有のセグメンテーションを整合させるようテンプレートを変形させること、３）変形されたテンプレートアトラスを患者固有のセグメンテーションに面付けすること、及び４）面付けされたアトラスに基づき表面ランドマークを分離することを含んでよい。予め設定されたアトラスの選択範囲内にあるランドマークは、更なるレジストレーションのために使用され得る。

図１を参照し直すと、プログラム１１４の画像レジストレーション及び変換モジュール１１８は、スコープＢ１０４のモダリティの動画像１１２をスコープＡ１０２のモダリティの静止画像１１０とレジストレーションする。レジストレーションは、アプリケーション及び関心のある臓器に基づき剛体又は非剛体のいずれかであってよい。特に有用な実施形態において、画像レジストレーション及び変換モジュール１１８は、最適なレジストレーション方法（例えば、剛体又は非剛体レジストレーション）を選択するための意志決定支援を含む。動画像１１２は静止画像１１０と剛体レジストレーションされ、内在的な特徴は、２つの画像の類似度を評価するよう取り出される。マルチモーダル画像統合のために、強さ範囲及び画像コントラストは極めて異なることがある。例えば、ＭＲＩにおいて可視的である特定のランドマークは、超音波コントラストの下で可視的であるかどうか分からない。そのようなものとして、一般的に、単一モダリティ・レジストレーションにおいて使用される従来の方法（例えば、相互情報量又は二乗標準差分法）を用いて類似度を測定することは実際的ではない。代わりに、内在的な解剖学的構造に基づく特徴がより適切である。

剛体整列された画像に基づく内在的な特徴の特徴抽出は、自動的に又は手動により成し遂げられ得る。内在的特徴抽出は、内在的な特徴の内部ひずみ（internal warp）を理解するよう２以上のメトリクスを使用してよい。例えば、次のメトリクスが適用されてよい。すなわち、１）解剖学的ランドマーク対の間の距離、及び２）ダイスの類似度係数であり、これは、２×｜Ａ１ｉｎｔｅｒｓｅｃｔＡ２｜／｜Ａ１｜＋｜Ａ２｜によって計算され得る。なお、Ａ１及びＡ２は、２つのセグメント化されたボリュームである。他のメトリクスも考えられる。例えば、メトリックは、内在する形態学的特徴及びそれらの変形パターンを考慮してよい。

それらのメトリクスに基づき、剛体レジストレーション又は非剛体レジストレーションのうちの一方が手動により又は自動的に選択され得る。自動決定は、この決定実行プロセスを容易にするよう機械学習エンジンを含んでよい。機械学習エンジンは、最初に、十分に多様性のあるメトリクスの組を含むトレーニングデータセット対の組に基づきトレーニングプロセスを受ける。例えば、人工神経ネットワーク又はサポートベクタマシンのような機械学習方法は、剛体レジストレーションと非剛体レジストレーションとの間を選択するよう機械学習エンジンをトレーニングするために使用されてよい。機械学習エンジンは、同じように最良の決定を行うための特徴及びメトリクスの最も最適な組を決定するよう更にトレーニングされ得る。結果として得られる決定は、取り出される特徴に基づく非剛体レジストレーションの性能の予測であり得る。更なる他の実施形態において、非剛体レジストレーションが推奨される場合に、全体ボリュームレジストレーションが部分的レジストレーションより優れているかどうかが評価される。部分的レジストレーションでは、画像ボリュームの一部のみが正確にレジストレーションされ、一方、残りはそうであってもなくてもよい。

図１を参照し直すと、プログラム１１４の画像レジストレーション及び変換モジュール１１８がスコープＢ１０４のモダリティの動画像１１２をスコープＡ１０２のモダリティの静止画像１１０とレジストレーションすると、画像特徴検出モジュール１１６において見つけられた画像１１０の内在的なランドマークは、最初のレジストレーションから計算されたレジストレーション変換に基づき、スコープＢ１０４のレジストレーションされた画像上にオーバーレイされる。スコープＢ１０４のモダリティにおける内在的なランドマークは、画像形成モダリティの性質により見つけ出すことが困難なことがある。レジストレーションされた画像上の夫々のオーバーレイされたランドマークは、ユーザがランドマークを見つけ出すのを支援するよう仮想オブジェクト内に包含される。仮想オブジェクトは、ユーザにより定義された大きさを有してよい。好ましい実施形態では、仮想オブジェクトは、ユーザにより定義された半径の球である。

ここで図４を参照すると、球４００内に包含されたランドマークが、一実施形態に従って実例として表されている。夫々のオーバーレイされたランドマーク４０４は、ユーザがスコープＢ１０４のモダリティにおいて対応するランドマークを見つけるのを支援するよう、所与の半径の球４０２によって包含される。図１のランドマーク識別モジュール１２０は、球内のランドマーク識別を実行してよく、これは、例えば、ＳＩＦＴ又はＳＵＲＦのような画像解析アルゴリズムを用いる自動識別、又はユーザによる手動識別を含んでよい。ユーザは、半径を特定し、全ての関心を引く点又はただ１つの点を表示すべきかどうかを決定してよい。スコープＡ１０２のモダリティの画像１１０において存在する解剖学的構造の幾つかは、スコープＢ１０４のモダリティのレジストレーションされた画像において存在しないことがある。そのようなものとして、ユーザは、そのような範囲に存在するランドマークを除くことができる。

画像レジストレーション及び変換モジュール１１８は、次いで、スコープＢ１０４のモダリティのレジストレーションされた画像における対応するランドマークを、スコープＢ１０４のモダリティの動画像１１２へ逆変換する。これは、最初のレジストレーションの変換の逆に基づく。最後に、画像レジストレーション及び変換モジュール１１８は、表面ランドマーク及び内在的ランドマークの両方を結合することによって、スコープＡ１０２のモダリティの画像１１０及びスコープＢ１０４のモダリティの画像１１２の非剛体レジストレーションを行う。

上述されたように、１つのモダリティにおけるランドマークは、他のモダリティにおいて見つけ出すのが困難である。インテリジェントなランドマーク選択のためのシステム１００は、ユーザが異なるモダリティによってスキャンされた画像から一貫したランドマーク対を選択するのを支援する。具体的に、システム１００は、レジストレーション精度を改善するよう、表面ランドマーク及び内在的ランドマークの両方を利用する。

ここで図５を参照すると、一貫したランドマーク対を識別するインテリジェントなランドマーク選択のための方法５００が、一実施形態に従って実例として表されている。ブロック５０２で、第１の画像（すなわち、静止画像）及び第２の画像（すなわち、動画像）は夫々第１のスコープ及び第２のスコープから供給される。第１及び第２のスコープは、あらゆる画像形成装置を含んでよく、例えば、ＭＲＩシステム、フルオロスコープシステム、ＣＴシステム、超音波システム、等があるが、これらに限られない。１つの好ましい実施形態では、第１及び第２のスコープは異なるモダリティのスコープである。インテリジェントなランドマーク選択のための方法５００は、レジストレーション精度を改善するよう、ユーザが第１及び第２の画像の間で一貫したランドマーク対を選択するのを支援する。一実施形態において、第１の画像は、解剖学的構造のより良い解像度及び輪郭描写を有する。よって、ブロック５０４で、第１の画像の内在的なランドマークが識別される。内在的なランドマークの識別は、手動による又は自動の識別を含んでよい。内在的なランドマークの自動識別は、ＳＩＦＴ又はＳＵＲＦのような特徴検出方法によって成し遂げられてよい。特徴検出の他の方法も考えられる。ブロック５０６で、レジストレーション変換が、表面ランドマークに基づき第２の画像を第１の画像とレジストレーションするよう決定される。

１つの特に有用な実施形態では、レジストレーションは、レジストレーション範囲を特定の関心領域に制限することを含んでよい。臨床応用では、ユーザは、特定の局所画像領域にしか興味がないことがある。例えば、病巣バイオプシーは、術前ＭＲＩの診断に基づき前立腺の後方部にしか注目しないことがある。この場合に、前部領域におけるレジストレーション精度はプロシージャにとって無関係であり、一方、後部領域におけるレジストレーション精度はより関連がある。ここで図６を参照すると、レジストレーションのために関心領域を選択する方法６００が、一実施形態に従って実例として表されている。方法６００は、レジストレーションを特定の関心領域に制限して、その局所範囲においてレジストレーションのより良い精度を有するようにする。ブロック６０２で、関心領域を選択する多数の方法が存在する。関心領域を決定するためのレジストレーション選択肢は、ブロック６０４において関心領域を手動により選択すること、ブロック６１０において患者固有のアトラスから関心領域を選択すること、及びブロック６１２において画像内の全ての表面ランドマークを選択することを含んでよい。一実施形態において、画像内の全ての表面ランドマークを選択すること（ブロック６１２）は、デフォルトの選択肢である。関心領域を指示する他の方法も考えられる。例えば、ユーザは、前部又は後部のような、相対的な解剖学的位置を示すことによって、関心領域を特定してよい。それらの選択肢は互いに排他的でないことが知られる。ユーザは、所望の結果を得るよう特定の組み合わせにおいて選択肢を使用してよい。

ブロック６０６で、関心領域の手動による選択は、輪郭描写を含んでよい。一実施形態において、輪郭描写は、３Ｄ空間において表面ランドマークを選択するよう球状ボールセレクタを用いて実行される。ボールセレクタは球状に制限されず、あらゆる形状であってよいことが知られる。ユーザは、ボールセレクタの半径を調整し、且つ、ボール内の全ての表面ランドマークが選択又は除外され得るかどうかを示すことができる。ユーザはまた、ボールセレクタ内の表面ランドマークの逆選択のための選択肢を有してよい。他の実施形態において、輪郭描写は、関心領域の輪郭を示すことによって、ユーザによって実行される。例えば、ユーザは、レジストレーションのための重要な病変及び欠陥の輪郭を手動により示してよい。ブロック６０８で、関心領域の手動による選択は、閾値化を更に含んでよい。閾値化は、ユーザにより特定された閾値に基づくランドマークのフィルタリングを通じてレジストレーションのためのランドマークを選択することを含んでよい。動画像における夫々のランドマークから静止画像における夫々のランドマークまでの最短距離が最初に決定される。ユーザにより特定された閾値よりも大きい最短距離を有するランドマークは、レジストレーションの間除外され得る。閾値化は、レジストレーションのための２つの画像が予め剛体整列されており、一貫性のないセグメンテーションが大きい最短距離を有するランドマークに主として対応すると想定する。他の閾値化方法も考えられる。例えば、ユーザはまた、スライス範囲を特定し、この範囲外のランドマークを除外することができる。

ブロック６１０で、ユーザは、患者固有のアトラスから関心領域を選択することによって、レジストレーションのための関心領域を選択してよい。患者固有のアトラスを生成することは、１）複数の手動セグメンテーションを平均化することによって、予め設定されたアトラスと共にテンプレートセグメンテーションを生成すること、２）患者固有のセグメンテーションを整合させるようテンプレートを変形させること、３）変形されたテンプレートアトラスを患者固有のセグメンテーションに面付けすること、及び４）面付けされたアトラスに基づき表面ランドマークを分離することを含んでよい。

有利に、方法６００は、レジストレーションのより良い精度が局所領域において達成されるように、レジストレーションのための関心領域を選択すること提供する。

図５のブロック５０６を参照し直すと、第２の画像は、表面ランドマークに基づき第１の画像とレジストレーションされる。レジストレーションは、アプリケーション及び関心のある臓器に基づき剛体又は非剛体であってよい。１つの特に有用な実施形態では、レジストレーションは、取り出された画像特徴及びそれらの変形パターンに基づき剛体レジストレーションと非剛体レジストレーションとの間で決定するための方法を含む。ここで図７を参照すると、最適なレジストレーション方法を選択するための方法７００が、一実施形態に従って実例として表されている。ブロック７０２で、動画像は、最初に、静止画像と剛体レジストレーションされる。正確な剛体レジストレーションがこの方法において仮定されることが知られる。マルチモーダル画像統合に関し、強さ範囲及び画像コントラストはいずれも極めて異なることがある。そのため、通常は、単一モダリティ・レジストレーションにおいて使用される従来の方法（例えば、相互情報量及び二乗標準差分）を用いて類似度を測定することは実際的でない。代わりに、内在的な解剖学的構造に基づく類似度測定がより適切である。ブロック７０４で、内在的な解剖学的特徴が、２つの画像の類似度を評価するよう取り出される。特徴抽出は、内在的な特徴の内部ひずみを理解するのを助けるようメトリクスを計算することを含んでよい。例えば、次のメトリクスが一実施形態に従って適用されてよい。すなわち、１）解剖学的ランドマーク対の間の距離、及び２）ダイスの類似度係数である。他のメトリクスも考えられる。例えば、内在する形態学的特徴及びそれらの変形パターンが使用されてよい。

メトリクスを用いて、方法７００は、剛体レジストレーションと非剛体レジストレーションとの間で選択する。一実施形態において、ブロック７０６で、メトリクスは、手動によりレジストレーション方法を選択するために使用され得る。他の実施形態では、ブロック７０８で、機械学習エンジンが、自動的にレジストレーション方法を選択するために適用される。十分に多様性のあるメトリクスの組を含むトレーニングデータセット対の組に基づき、例えば、人工神経ネットワーク又はサポートベクタマシンのような機械学習方法は、剛体レジストレーションと非剛体レジストレーションとの間を選択するようトレーニングされ得る。機械学習エンジンは更に、最良の決定を行うための特徴及びメトリクスの最適な組について決定するようトレーニングされ得る。機械学習エンジンは、ブロック７１０で、取り出される特徴に基づく剛体及び非剛体レジストレーションの性能を予測してよい。一実施形態において、非剛体レジストレーションが選択される場合に、機械学習エンジンは、全体ボリュームレジストレーションが部分的レジストレーションより優れているかどうかを評価する。

最適なレジストレーション方法を選択するための方法７００は、夫々の具体的な画像データのために最適なレジストレーションメトリックを選択することによって、ユーザに最良の品質の画像統合を提供する。

（第２のスコープのモダリティの）第２の画像のランドマークは、画像形成モダリティの性質により見つけ出すのが困難であることがある。そのようなものとして、図５のブロック５０８を参照し直すと、第１の画像の内在的なランドマークは、最初のレジストレーション（ブロック５０６）で計算されたレジストレーション変換に基づき、第２のスコープのレジストレーションされた画像上にオーバーレイされる。ブロック５１０で、レジストレーションされた画像上の夫々のオーバーレイされた内在的なランドマークは、対応するランドマーク対を見つけるようユーザをガイドするために、仮想オブジェクト内に包含される。仮想オブジェクトは、ユーザが対応するランドマーク対を識別するのを支援するよう、オーバーレイされたランドマークを強調表示する。仮想オブジェクトは、ユーザにより定義された大きさを有してよい。好ましい実施形態では、仮想オブジェクトは球である。ユーザは、球の半径を特定し、且つ、全てのオーバーレイされた点を表示すべきか否かを決定してよい。第１の画像内の特徴は、レジストレーションされた画像において存在しないことがある。ユーザは、そのような範囲に存在するランドマークを除くことができる。仮想オブジェクト内で内在的なランドマークを識別することは、手動により又は自動的に実行されてよい。ランドマークの自動識別は、ＳＩＦＴ又はＳＵＲＦのような画像解析方法を適用することを含んでよい。なお、他の方法を考えられる。

ブロック５１６で、第２の画像は、識別されたランドマークと共に、レジストレーションされた画像を用いて、第１の画像とレジストレーションされる。ブロック５１６は、ブロック５１２及び５１４を含む。ブロック５１２で、レジストレーションされた画像内の対応するランドマークは、最初のレジストレーション（ブロック５０６）で計算されたレジストレーション変換の逆に基づき第２の画像（すなわち、動画像）へ逆変換され得る。ブロック５１４で、第２の画像（すなわち、動画像）は、表面ランドマーク及び内在的ランドマークの両方を結合することによって、第１の画像と非剛体レジストレーションされる。表面ランドマーク及び内在的ランドマークの結合は、レジストレーション精度を改善するよう示されてきた。

添付の特許請求の範囲を解釈する際に、次の点が理解されるべきである：
ａ）語“有する”は、所与の請求項において挙げられている以外の要素又は動作の存在を除外しない；
ｂ）要素の単称は、そのような要素の複数個の存在を除外しない；
ｃ）特許請求の範囲における如何なる参照符号も、それらの適用範囲を制限しない；
ｄ）幾つかの“手段”は、同じ項目若しくはハードウェア若しくはソフトウェア実装構造又は機能によって表され得る；及び
ｅ）動作の具体的な順序は、具体的に示されない限りは求められるよう意図されない。

マルチモーダル画像統合におけるレジストレーション精度を改善するインテリジェントなランドマーク選択のための好ましい実施形態（実例であり限定でないよう意図される。）について記載してきたが、変更及び変形が上記の教示を鑑みて当業者によってなされ得ることが知られる。そのため、変更は、添付の特許請求の範囲によって要点をまとめられる、本願で開示される実施形態の適用範囲内にあるように、開示される本開示の特定の実施形態においてなされてよいがこと理解されるべきである。特許法によって求められる詳細及び列挙をこのように記載してきたが、特許によって保護されることを請求され且つ希望されるものは、添付の特許請求の範囲において示されている。

Claims (13)

1. 第１の画像の内在的なランドマークを識別するよう構成される画像特徴検出モジュールと、
   表面ランドマークに基づき第２の画像を前記第１の画像とレジストレーションしてレジストレーションされた画像を生成するようにプロセッサを用いてレジストレーション変換を計算するよう構成される画像レジストレーション及び変換モジュールと、
   前記レジストレーション変換を用いて前記内在的なランドマークを前記第２の画像にオーバーレイし、該オーバーレイされたランドマークを仮想オブジェクト内に包含して前記レジストレーションされた画像において対応するランドマーク対を識別し、該識別されたランドマークと共に前記レジストレーションされた画像を用いて前記第２の画像を前記第１の画像とレジストレーションするよう構成されるランドマーク識別モジュールと
   を有する画像レジストレーションシステム。
2. 前記ランドマーク識別モジュールは更に、前記レジストレーションされた画像における前記識別されたランドマークを前記レジストレーション変換を用いて前記第２の画像へ変換することによって、前記識別されたランドマークと共に前記レジストレーションされた画像を用いて前記第２の画像を前記第１の画像とレジストレーションするよう構成される、
   請求項１に記載の画像レジストレーションシステム。
3. 前記ランドマーク識別モジュールは更に、前記レジストレーション変換の逆を使用するよう構成される、
   請求項２に記載の画像レジストレーションシステム。
4. 前記ランドマーク識別モジュールは更に、前記第１の画像及び前記第２の画像に非剛体レジストレーションを行うことによって、前記識別されたランドマークと共に前記レジストレーションされた画像を用いて前記第２の画像を前記第１の画像とレジストレーションするよう構成される、
   請求項２に記載の画像レジストレーションシステム。
5. 前記ランドマーク識別モジュールは更に、表面ランドマーク及び内在的ランドマークを用いて前記第２の画像を前記第１の画像とレジストレーションするよう構成される、
   請求項１に記載の画像レジストレーションシステム。
6. 前記仮想オブジェクトは、球を含む、
   請求項１に記載の画像レジストレーションシステム。
7. 前記仮想オブジェクトは、ユーザにより定義された範囲を含む、
   請求項５に記載の画像レジストレーションシステム。
8. 前記第１の画像及び前記第２の画像は異なるモダリティの画像である、
   請求項１に記載の画像レジストレーションシステム。
9. 第１の画像の内在的なランドマークを識別するステップと、
   表面ランドマークに基づき第２の画像を前記第１の画像とレジストレーションしてレジストレーションされた画像を生成するようにプロセッサを用いてレジストレーション変換を計算するステップと、
   前記レジストレーション変換を用いて前記内在的なランドマークを前記レジストレーションされた画像にオーバーレイするステップと、
   前記オーバーレイされたランドマークを仮想オブジェクト内に包含して前記レジストレーションされた画像において対応するランドマーク対を識別するステップと、
   前記識別されたランドマークと共に前記レジストレーションされた画像を用いて前記第２の画像を前記第１の画像とレジストレーションするステップと
   を有する画像レジストレーション方法。
10. 前記識別されたランドマークと共に前記レジストレーションされた画像を用いて前記第２の画像を前記第１の画像とレジストレーションするステップは、前記レジストレーションされた画像における前記識別されたランドマークを前記レジストレーション変換を用いて前記第２の画像へ変換することを含む、
    請求項９に記載の画像レジストレーション方法。
11. 前記識別されたランドマークと共に前記レジストレーションされた画像を用いて前記第２の画像を前記第１の画像とレジストレーションするステップは、前記第１の画像及び前記第２の画像の非剛体レジストレーションを行うことを含む、
    請求項１０に記載の画像レジストレーション方法。
12. 前記第１の画像及び前記第２の画像の非剛体レジストレーションを行うことは、表面ランドマーク及び内在的ランドマークを使用することを含む、
    請求項１１に記載の画像レジストレーション方法。
13. 前記オーバーレイされたランドマークを仮想オブジェクト内に包含することは、前記オーバーレイされたランドマークを球内に包含することを含む、
    請求項９に記載の画像レジストレーション方法。

Images