JP6333265B2 - ３ｄコンピュータ断層撮影のための複数の骨のセグメンテーションの方法 - Google Patents

Description

本発明は、独立請求項に記載される、３次元コンピュータ断層撮影のための複数の骨のセグメンテーションのための方法およびコンピュータ読み取り可能な媒体に関する。

本発明は、概して、コンピュータ断層撮影（ＣＴ）の分野に関し、より詳細には、コンピュータ断層撮影を用いた自動的な複数の骨のセグメンテーションに関する。

ＣＴはたとえば患者の所定体積をスキャンする。当該体積内に互いに隣接して異なる物体が存在する場合がある。このスキャンからのＣＴデータはいずれの物体も表している。診断補助、計画またはインプラントの設計のため、これらの物体がセグメンテーションされる場合がある。たとえば、３次元（３Ｄ）ＣＴ画像からのヒトの骨のセグメンテーションは、多くの臨床用途、たとえば、可視化の向上、病気の診断、インプラントの設計、切削ガイドの設計や手術計画に重要である。各物体に関連づけられた位置またはボクセルが決定される。

物体の人手による追跡は、特に３次元では時間がかかる。骨構造の多様性および複雑性、骨組織の密度の不均一性、部分容積効果による骨の境界の不鮮明さおよび弱さ、骨粗鬆症などの病気の場合に起因して、自動検出は未だ困難な課題である。特に、隣りあう骨が互いに近すぎる場合、骨の間の隙間が非常に狭く、あるいは、骨同士が境を接している場合には骨の間の隙間がなくなるため、これらの骨の分離は非常に難しくなる。結果的に、伝統的なセグメンテーションの方法では、多くの場合、境界が重なりを生じる。図１は、境界の重なり領域４０が生じる自動セグメンテーションを用いた大腿骨（上図）および脛骨（下図）を示す。セグメンテーションはこの重なりエラーのために、正確でない場合がある。

まず、以下に記載の好ましい実施形態は、３次元コンピュータ断層撮影のための複数の物体のセグメンテーションのための方法、システム、命令およびコンピュータ読み取り可能な媒体を含む。隣りあう物体は個々にセグメンテーションされる。２つの物体に属するとして示された重なる領域または位置が識別されうる。個々のセグメンテーションに対する信頼度マップが用いられて、両方ではなく、一方のまたは他方の物体に属するとして重なりの位置がラベル付けされる。この再セグメンテーションは、重なりに局所的に用いられ、他の位置には用いられない。再セグメンテーションにおける信頼度マップおよび重なり位置のみへの適用は、互いに独立にまたは組み合わせて用いられうる。

第１の態様では、３次元コンピュータ断層撮影のための複数の骨のセグメンテーションの方法が提供される。患者の第１および第２の骨を表すコンピュータ断層撮影（ＣＴ）データが受信される。プロセッサは、第１および前記第２の骨を個別にセグメンテーションする。プロセッサは、セグメンテーションの第１の信頼度マップに応じて、第１の骨の前記セグメンテーションをリファインし、セグメンテーションの第２の信頼度マップに応じて、第２の骨のセグメンテーションをリファインする。プロセッサは、第１および前記第２の信頼度マップに応じて、第１および前記第２の骨のセグメンテーションの結果を一体的に調整する。セグメンテーションの調整した結果を用いて、第１および前記第２の骨を示す画像が出力される。

第２の態様では、コンピュータ読み取り可能な不揮発性保存媒体には、３次元コンピュータ断層撮影のための複数の物体のセグメンテーションの、プログラムされたプロセッサにより実行される命令を表すデータが保存されている。コンピュータ読み取り可能な不揮発性保存媒体は、コンピュータ断層撮影データの第１のボクセルを、第１の境界を有する第１のセグメントに属するとしてラベル付けし、コンピュータ断層撮影データの第２のボクセルを、第２の境界を有する第２のセグメントに属するとしてラベル付けし、但し、第２のボクセルの少なくともいくつかは、第１のセグメントに属するとしてもラベル付けされており、第１のボクセルから第１の境界までの第１の距離を計算し、第２のボクセルから第２の境界までの第２の距離を計算し、第１および第２の距離と、空間排他的制約とに応じて、第１のボクセルが第１のセグメントにのみ存在しかつ第２のボクセルが第２のセグメントにのみ存在するように、エネルギー関数を最少化し、最少化の後に、第１および第２のセグメントの画像を生成する、命令を含む。

第３の態様では、コンピュータ読み取り可能な不揮発性保存媒体には、３次元コンピュータ断層撮影のための複数の物体のセグメンテーションのための、プログラムされたプロセッサにより実行される命令を表すデータが保存されている。コンピュータ読み取り可能な不揮発性保存媒体は、コンピュータ断層撮影情報から第１の物体の位置を識別し、コンピュータ断層撮影情報から第２の物体の位置を識別し、重なる第１および第２の物体の位置を決定し、第１の物体または第２の物体にのみ存在すべき、それぞれの重なりの位置を変更し、重なりの外側の位置の変更を避ける、命令を含む。

本発明は、請求項によって定められ、本明細書における何物も請求項の限定ととられるべきではない。本発明の他の態様および利点は、好適な実施形態と関連して以下に記載されており、独立にまたは組み合わせて請求項に記載されうる。

図面中の要素は、必ずしも寸法を定めるものではなく、代わりに、本発明の内容を示すにおいて強調されている。さらに、図面中、同様の参照番号は、異なる図において対応する部分を示す。

物体の重なりを示す２つの物体のセグメンテーションを含むコンピュータ断層撮影である。 ３次元コンピュータ断層撮影のための複数の物体のセグメンテーションのための方法の一実施形態を示す。 ３次元コンピュータ断層撮影のための複数の物体のセグメンテーションのための別の実施形態のフローチャート図である。 Ａ、ＢおよびＣは、セグメンテーションの異なる段階を表すコンピュータ断層撮影画像である。 重なっているセグメンテーション、および、重なりの再セグメンテーション補正を含むコンピュータ断層撮影画像を示す。 ３次元コンピュータ断層撮影のための複数の物体のセグメンテーションのためのシステムの一実施形態を示すブロック図である。

複数の隣りあう物体の自動セグメンテーションが提供される。コンピュータ断層撮影（ＣＴ）データによって表される全ての物体がセグメンテーション可能である。たとえば、２つの異なる器官がセグメンテーションされる。本明細書中に記載される実施形態で用いられる別の例では、隣りあう骨がセグメンテーションされる。ＣＴデータによって表される位置が、一方または他方の骨、たとえば、大腿骨または脛骨としてラベル付けされる。一体的な複数の骨のセグメンテーションが、３次元（３Ｄ）ＣＴ画像から自動的に実行される。

３Ｄ ＣＴ画像からの骨の自動セグメンテーションは、多くの臨床用途において、有用ではあるが未だ困難な課題である。特に、ヒトの関節まわりの隣りあう骨は非常に近く、互いに接触している場合もあり、従来の骨のセグメンテーション方法では、特に骨が個々にセグメンテーションされる場合には、重なりエラーを生じやすい。十分に自動化された、計算が効率的な、正確な一体的セグメンテーションシステムが、複数の骨のセグメンテーションに対して提供される。一実施形態では、各骨は、姿勢の推定および非剛体境界変形に関して、周辺空間学習（Marginal Space Learning：ＭＳＬ）のフレームワークを用いて最初にセグメンテーションされる。セグメンテーションの重なりを排除するため、最初のセグメンテーションの結果と、マルコフランダムフィールド（ＭＲＦ）における隣りあう骨の間の空間排他的制約とから導かれる信頼度マップとを用いて、骨は、再セグメンテーションされる。結果として、再セグメンテーションによって重なりは効果的に排除される。さらに、再セグメンテーションは最初のセグメンテーションの結果の局所的な重なり領域にのみ適用されるため、再セグメンテーションにはわずかな計算コストしか要しない。この一体的セグメンテーションは、約１秒の追加計算で、グラウンドトルースと比較して１００％までセグメンテーションの重なりエラーを低減できる。

図２および３は、３次元コンピュータ断層撮影のための複数の物体のセグメンテーションの方法の実施形態を示す。これらの方法は、図６のシステム、プロセッサ、サーバ、コンピュータおよび／または異なるシステムを用いて実施される。概して、プロセッサは、３Ｄ ＣＴデータを受信し、本方法のステップを実行して、３Ｄ ＣＴデータによって表される隣りあう複数の物体に対して異なる位置の指標を出力する。

図２または３に示されるよりも、より多くのステップ、異なるステップまたはより少ないステップを用いてもよい。たとえば、他の種類のデータにアクセスするステップ、出力を送信するステップ、および／または、セグメンテーションを保存するステップを用いてもよい。別の例では、他の最初のセグメンテーションステップが用いられる（たとえば、ステップ２４〜３０、ステップ４４〜５８が置き換えられる）。任意の個々の物体のセグメンテーションを用いることができる。別の例として、重なり領域に限定される再セグメンテーションを、信頼度マップ無しに用いてもよい。各ステップは、図示の順で、または、異なる順で行われる。

図２に示される実施形態において、自動セグメンテーションは、ステップ４２の最初のセグメンテーション、および、ステップ６０の一体的再セグメンテーションを含む。ステップ４２の最初のセグメンテーションでは、各骨が個別に検出され、セグメンテーションされる。骨はまず、ステップ４４において周辺空間学習を用いて位置決めされる。目標の骨の最良の相似変換またはその群が、所定体積内において検索される。ステップ４６において位置が見いだされ、次にステップ４８において最上位の位置の候補の回転（orientation）が見いだされ、次にステップ５０において最上位の位置＋回転の候補のスケールが見いだされる。その後、学習ベースの３Ｄ境界検出器を用いて、ステップ５４において初期形状が推論され、ステップ５６において統計的形状モデル（ＳＳＭ）空間における形状変形が導かれる。得られた形状は、さらに、ステップ５８において、グラフベースのセグメンテーションアルゴリズムを用いて、画像データにより適合するようにリファインされる。他のステップが用いられてもよい。

各骨が個別にセグメンテーションされるため、隣りあう骨の間でセグメンテーションの重なりが生じうる。重なりエラーを除去するため、ステップ６０で一体的再セグメンテーションが実行される。ステップ６２において重なりが識別され、ステップ６４において局所重なり領域が抽出される。空間排他的制約を用いて、重なり領域に対するラベルが隣りあう骨に関して同時に最適化される。

図３は、図２のステップと同じかまたは同様のステップを表す。図２および３の方法は、以下に共に記載されている。

ステップ２０において、ＣＴデータが受信される。ＣＴデータは患者のスキャンによって受信される。Ｘ線の源と検出器が患者の周囲を回転し、患者の所定体積を通過したＸ線投射が得られる。検出強度が、体積を表すデータに再構成される。代替的な実施形態では、ＣＴデータはメモリから受信され、たとえば、ＤＩＣＯＭ（Digital Imaging Communications in Medicine）アーカイブシステムからデータがロードされる。

ＣＴデータは患者を表している。器官の一部または全部、組織の種類、骨、または、他の解剖構造がデータによって表される。たとえば、データは、膝関節の大腿骨および脛骨の部分を表している。他の組織、たとえば、他の骨がＣＴデータに表されていてもよい。

３Ｄ ＣＴデータは何らかのフォーマットを有している。一実施形態では、３Ｄ ＣＴデータは、デカルト座標系の規則格子にフォーマットされている。異なる格子位置またはボクセルは、患者のスキャン体積内の異なる空間位置を表している。受信時または受信後の３Ｄ ＣＴデータは、たとえば、背景、軟組織、関心の無い組織を除去するよう処理され、または、セグメンテーションの前処理がされる。

ステップ２２および４２において、最初のセグメンテーションが行われる。最初のセグメンテーションは、ステップ４４における物体の位置決め、または、ステップ２４における姿勢の推定を含み、ステップ５２またはステップ２６および２８における形状の適合化を含む。より多い、異なるまたはより少ないアプローチを最初のセグメンテーションの実行に用いてもよい。

最初のセグメンテーションは、個々の物体に対してである。骨の例において、大腿骨と脛骨が検出され、１つの関節という物体としてではなく、個々の物体としてセグメンテーションされる。ステップ２２において、複数の物体が個別にセグメンテーションされる。一方の物体の位置がＣＴデータを用いて決定される。他方の物体の位置がＣＴデータを用いて決定される。同じ処理が行われてもよいが、異なる識別器、入力または目的が、異なる骨を見いだすために用いられうる。異なる処理が異なる物体に用いられてもよい。各骨のボクセルは、他の物体の重なりまたは位置や配置に関係なく、個別の物体として位置決めされる。一方の物体は他方の物体とは独立に位置決めされる。代替的な実施形態では、１つの物体の特徴、位置または他の特性は、別の物体をセグメンテーションするために用いられる。１つの物体に関する情報は、別の物体のセグメンテーションのために用いられるが、両方の物体のセグメンテーションは、重なりを避けるために空間的に制限されない。重なりが存在しうるので、セグメンテーションは個別である。

最初のセグメンテーションによって、ＣＴデータのボクセルがラベル付けされる。あるボクセルが物体に属する場合、当該ボクセルはそのようにラベル付けされる。ボクセルが物体に属しない場合、ボクセルはそのようにラベル付けされる。ボクセルのラベルは、物体内のボクセルおよび／または物体の境界にあるボクセルを示す。

異なる物体の個別のセグメンテーションにおいて、所定のボクセルに関するラベルは、いずれの物体にも属さないか、１つまたは複数の物体に属する。１つまたは複数のボクセルまたは位置は、２つ以上の異なるセグメントの一部としてラベル付けされ、または、２つ以上の異なるセグメントの一部として含まれる。たとえば、一群のボクセルが、脛骨に属するとしてラベルされ、同時に、大腿骨に属するとしてラベル付けされる。

任意のセグメンテーションを、個々のセグメンテーションに用いることができる。図２および３に示される実施形態においては、信頼度マップが、個々のセグメンテーションに用いられる。信頼度マップは、各物体について用いられる。他の実施形態では、信頼度マッピングは用いられない。

ステップ４４〜５８および２４〜２８は、個々のセグメンテーションに関する２つの実施形態を示している。以下の説明では、セグメンテーションは所定の物体について記載されている。セグメンテーションは異なる物体について繰り返される。

ステップ２４において、物体の姿勢が推定される。姿勢とは、位置、回転および／またはスケールである。姿勢に関する任意のパラメタ構造を用いることができる。姿勢は、境界を含まなくともよく、またはそうでなければセグメントの特定位置を含まなくともよい。しかし、姿勢は、代わりに、たとえば、境界ボックス、骨格または他のパラメタ化などを用いてパラメタ化または一般化された、物体の位置を示す。

ステップ４４には姿勢の推定の例が記載されている、他の姿勢推定を用いてもよい。周辺空間学習による１つまたは複数の分類識別器または識別器が姿勢を推定するためにトレーニングされる。他の識別器を用いてもよい。識別器への入力特徴は、ステアラブル特徴、３次元Ｈａａｒ特徴、および／または、ＣＴデータの入力特徴である。識別器は、入力から姿勢を識別するために、アノテーション付きのまたはグラウンドトルースのトレーニングデータから機械的にトレーニングされる。行列または他の関数がデータ処理によって学習される。複数の識別器がトレーニングされてもよく、たとえば位置、回転およびスケールの推定のそれぞれについて個別の識別器がトレーニングされてもよい。

一実施形態では、目標の骨は、所定の体積Ｉ内の最適な相似変換パラメタについて検索することより３Ｄ ＣＴデータから最初に検出される。相似変換パラメタ（または姿勢パラメタ）は９つのパラメタ、すなわち、移動（translation）ｔ＝（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）、回転ｒ＝（ｒ_ｘ，ｒ_ｙ，ｒ_ｚ）および不均等スケーリングｓ＝（ｓ_ｘ，ｓ_ｙ，ｓ_ｚ）で定められる。他の実施形態では、より少ない、より多い、または異なるパラメタが、姿勢の特徴づけに用いられる。姿勢の推定のタスクは、事後確率を最大化することにより下記式のように数式化できる：

事後確率を解くことには、９つの空間次元パラメタ空間における検索が含まれ、これは、実際には計算上非常に高コストでありうる。周辺空間学習は、全体の検索空間を周辺空間推論に分解するために用いられる。後述のように、物体の局所化は、３つのステップ、すなわち、位置、回転およびスケールに分けられる。各ステップの出力は、ステップからの多数の（たとえば１００〜１０００個）の候補であるため、検索は、ステップ４６、４８および５０の、位置推定、位置−回転推定、および、完全相似変換推定として特徴づけられる。各ステップの後、限られた数の最良の候補のみが保持され、検索空間が狭められ、推論が加速される。事後確率関数の周辺空間解は以下のように表される：

周辺事後確率を学習するため、分類識別器たとえば確率ブーストツリー（ＰＢＴ）または確率ブーストネットワークが用いられうる。３Ｄ Ｈａａｒ特徴が位置検出に対して用いられ、ステアラブル特徴が回転およびスケールの推論に対して用いられる。

姿勢が出力される。姿勢は、線、点、ボックス、正方形または他の形状として表されうる。図４Ａは、物体に適合した位置、回転およびスケールを有する方形のボックスとしての姿勢を示す。姿勢のパラメタは、境界ボックスとして表される。他の表現が用いられてもよく、何らの表現も用いられなくともよい。姿勢はユーザに示されても、または、示されなくともよい。

ステップ５２において、物体の形状が決定される。たとえば、骨の境界が位置決めされる。境界および決定は、境界ボックスに制限され、および／または、不適切な配置を避けるように姿勢の推定が用いられる。

ステップ２６において、物体に対する形状が初期化される。ステップ５４において、初期化には統計的形状モデルを用いられるが、他の初期化が用いられてもよい。たとえば、ランダムウォーカー、方向性フィルタリング、閾値処理または他の物体検出が行われる。

統計的形状モデルは、姿勢に変換される。統計的形状モデルは、物体に特有であり、ＣＴデータに表される物体の平均および／または平均からの偏差を表す。姿勢の推定の後、目標の物体の形状は、統計的形状モデルに基づいて以下のように初期化される：

式中、総和はｉ＝１からＮであり、ｘは初期形状を示し、ｆは姿勢によって推定される姿勢推定（^＾ｔ，^＾ｒ，^＾ｓ）を用いた剛体変換であり、μおよびνはトレーニングアノテーションから得られた統計的形状モデルの平均および誘導固有ベクトルであり、Ｎは、形状変化部分空間の次元であり（たとえば３であるが、別の数でもよい）、ｃ＝（ｃ_ｉ，ｉ＝１，…，Ｎ）は、機械トレーニング技術を用いて推論された形状変化係数である。

係数に関する任意の機械学習を用いることができ、たとえば、確率ブーストツリーまたは確率ブーストネットワークを用いることができる。係数学習は以下のように表される：

学習された係数はモデルを表す。特定の患者のＣＴデータに適用される識別器の学習ではなく、モデルは患者特有のＣＴデータの入力無しに任意の数の患者への適用に対して学習される。トレーニングデータからの任意の入力特徴を用いることができ、たとえば、ステアラブル特徴を用いることができる。モデルにおいて現れる平均は、初期形状を示す。

式（４）に示されるように、形状変化係数の推論は、非剛体変形に関する一般的な周辺空間学習フレームワークにおける拡張ステップとしてみることができる。

ステップ２８において、統計的モデルまたは他のモデルによって与えられる形状は、この特定の配置に関するＣＴデータに変形される。初期化によって姿勢に基づく統計的形状モデルの平均が位置決めされる。モデルはその後、検査中の患者に関するＣＴデータに適合される。ＣＴデータに適合されるとき、モデルは、統計的形状モデルの統計に基づいて変形される。

ステップ５６に１つの例の適合が示されている。ステップ５６において、統計的形状モデルおよびＣＴデータから境界が推論される。初期化形状がさらに境界検出器によって変形される。統計的形状モデルの偏差確率または変化確率が考慮されうる。他の実施形態では、境界検出器は、さらなる偏差の制限または統計無しに平均形状およびＣＴデータを用いる。たとえば、平均境界は、境界検出に関する局所化された検査領域を示すが、そうでなければ境界検出を制限しない。

一実施形態では、境界検出は識別問題として数式化される。モデルは、たとえばメッシュで表される境界に対する初期開始点を確立する。識別によって、回転（Ｏ_ｘ，Ｏ_ｙ，Ｏ_ｚ）を有する境界通過点（Ｘ，Ｙ，Ｚ）が存在するか否かが判別される。境界検出器は、患者のＣＴデータに対する最適位置に対して法線方向に沿って、現在推定された形状面（たとえば、統計的形状モデルの平均形状位置）にメッシュ制御点を移動させるために用いられ得る。境界検出器からの識別スコアは、最高、最低、または、メッシュ点に対する最適な適合を示す他の出力である。調整後、変形された形状は、面を平滑化するために、統計的形状モデル部分空間に投射される。たとえば、統計的形状モデル部分空間の次元は、トレーニングアノテーションからの９８％の形状変化を捕捉するよう選択される。統計的形状モデルは、ＣＴデータに適合され、または、境界またはそうでないとして位置の識別についての限定または入力として機能する。

図４Ｂは、境界変形がもっともよく画像に適合した後の、アウトラインとして得られた形状の例を示す。統計的形状モデルによる形状の詳細の損失によるエラーのいくらかは、起こりうる境界検出エラーとともに存在しうる。図４Ｂは、コンセプトを表すよう示され、ユーザに示されても、示されなくともよい。他のセグメンテーションのアプローチが用いられてもよく、たとえば、姿勢推定を用いない、統計的形状モデル化を用いない、周辺空間学習を用いない、機械学習識別器を用いない、および／または、他の処理を用いないアプローチが用いられてもよい。

ステップ３０および５８において、セグメンテーションがリファインされる。セグメンテーションはたとえばフィルタリングや他の処理によって変更される。任意のリファインを用いることができる。リファインは任意であってもよい。

一実施形態では、セグメンテーションは、セグメンテーションに関する信頼度マップを用いてリファインされる。グラフベースのエネルギー関数が、信頼度マップに基づいて最少化される。任意の信頼度マップを用いてよく、たとえば、境界を検出するために用いられる確率的識別器からの出力などを用いてよい。信頼度マップは、物体の一部であるとして示される所定のボクセルが物体の一部であるという信頼度の尤度、スコア、または、レベルを表す。一実施形態では、信頼度マップは、物体の境界からのボクセルの距離に基づいて計算される。物体の一部であるとしてラベル付けされたボクセルについて、物体の最も近い境界位置への距離が信頼度を決定するために計算され、用いられる。一般に、物体の中にあるが境界からより遠くにあるボクセルは、物体の中にあるが境界により近いボクセルよりも、物体の一部である可能性がより高い。距離に基づいて信頼度を割り当てる任意の関数を用いた信頼度マップとして、距離マップが用いられ、たとえば、距離の逆数が単独で信頼度として用いられる（または、境界からの距離が信頼度であり、より大きい数がより高い信頼度を表す）。

１つのアプローチの例では、セグメンテーションをＣＴデータにより適合するようリファインする。ＣＴデータをよりよく適合するため、グラフベースのエネルギー関数は以下のように表される：

式中、Ｄ_ｐ（Ｌ_ｐ）の総和は、体積Ｐの要素であり、ΣＶ_ｐ，ｑ（Ｌ_ｐ，Ｌ_ｑ）の総和は隣りあうボクセルＮの対の集合の要素ｐ，ｑであり、Ｌ＝｛Ｌ_ｐ｜ｐ∈Ｐ｝は、体積Ｐの二値ラベル化（Ｌ_ｐ∈｛０，１｝）であり、Ｄ_ｐ（Ｌ_ｐ）は下記式で定義される１変数のデータ項である：

Ｍ（ｐ）は境界変形後のセグメンテーションの境界に対するボクセルｐの符号付き最短距離を評価する。ｐがセグメンテーション（前景）の内側にあればＭ（ｐ）＞０、ｐがセグメンテーションの外側（背景）にあればＭ（ｐ）＜０、ｐがセグメンテーションの境界上にあればＭ（ｐ）＝０である。Ｍは従前のセグメンテーションの信頼度マップと見ることができる。Ｍ（ｐ）がより大きければ（より小さければ）、より高い確率で、ボクセルｐは前景（または背景）として識別されるべきである。ボクセルｐがセグメンテーションの境界に近付いているとき（Ｍ（ｐ）≒０）、ラベルＬ_ｐはより不明確となり、より高い確率で、セグメンテーションのリファインによって更新される。ｇ（．）は距離を信頼度にマッピングする任意の関数であり、たとえば、以下のように定義されるシグモイド関数である：

式中、τは従前のセグメンテーション結果の不明確さの範囲を制御するパラメタである（たとえば３〜５ｍｍ）。式（５）中、Ｎは隣りあうボクセルの全ての対の集合であり、Ｖ_ｐ，ｑは下記式の２変数の相互作用項である：

式中、δ（．）は下記式のクロネッカーのδ関数であって、
Ｉ_ｐ≠Ｉ_ｑの場合、δ（Ｌ_ｐ≠Ｌ_ｑ）＝１であり、Ｉ_ｐ＝Ｉ_ｑの場合、δ（Ｌ_ｐ≠Ｌ_ｑ）＝０であり、
λおよびσは、それぞれ規則化パラメタおよび一定の係数である。任意の数値が可能であり、たとえば、λは１〜２であり、σは３０〜１７５である。Ｉ_ｐおよびＩ_ｑは、ボクセルｐおよびｑの強度をそれぞれ示す。２変数項は、同様の強度の隣りあうボクセルを、同じラベルに割り当てられるようにする。

セグメンテーションは、式（５）のエネルギー関数を最少化することによりリファインされる。エネルギー関数の任意の最適化を用いることができ、たとえば、多項式時間計算量を有する最大フロー最小カットアルゴリズムを用いて解くことができる。他の解、関数、他のグラフベースのコスト関数、または、他のリファインのアプローチも用いることができる。

図４Ｃはグラフベースのセグメンテーションのリファインの後の改善された結果の例を示す。１つまたは複数のエラーが除去される。結果は、ＣＴデータ中のラベル付けされた物体を表すセグメントである。他のセグメンテーションを用いてもよい。

複数の物体が個別にまたは個々にセグメンテーションされる。隣りあう物体について、１つまたは複数のボクセルが複数の物体に属するとしてラベル付けされる。個々のセグメンテーションは、通常、良い結果を実現しうるが、個々の骨のセグメンテーションはいかなる空間制約も無く個別に実行される。すなわち、２つの骨についての図１の例に示されるように、２つの物体が互いに非常に近づいたときに、重なりエラーが生じうる。

ステップ６０および３４において、重なりエラーを除去するために、再セグメンテーションが一体的に実行される。一体的再セグメンテーションでは空間制約を導入して、重なりを防ぐ。セグメンテーションは、空間制約を用いてさらにリファインされるか、または、ステップ３０および３８のリファインにおいて空間制約が導入される。

再セグメンテーションをより計算上効率的にするため、再セグメンテーションは、複数の物体に属するとしてラベルされたボクセルについてのみ、または、重なり位置についてのみ実行される。ステップ３２および６２において重なり位置が識別される。ボクセルのラベルは、所定のボクセルが複数のボクセルに属するとして個別のセグメンテーションによってラベル付けされているか否かがチェックされる。あるいは、再セグメンテーションは、所定のまたはユーザが設定したサイズの、重なり位置の周囲およびこれを含む局所重なり領域について実行される。別の他の実施形態では、再セグメンテーションは、全ての位置またはボクセルについて実行される。

ステップ６４において、局所重なり領域が抽出される。重なりに関するＣＴデータのみが用いられるか、または、重なりの周囲の領域内のデータのみが用いられる。他のデータのデータマスキングによって、または、当該領域または重なり内のボクセルに関する値を除去することにより、再セグメンテーションのためのＣＴデータが抽出される。あるいは、隣りあうボクセルが再セグメンテーションの計算について利用可能であるように、ＣＴデータが抽出無しに用いられる。

ステップ３４において、個々のセグメンテーションの結果が一体的に調整される。各位置についてのラベルが、複数ではなく、１つの物体のみに存在するように変更される。所定のボクセルについて、複数の物体のうちの１つを選択するために任意の基準を用いることができる。基準は一体的であり、双方の物体を考慮に入れる。

一実施形態では、信頼度マップが一体的再セグメンテーションのために用いられる。複数の物体からの信頼度マップは、各物体の要素である位置またはボクセルの尤度を示す。最高の信頼度を有する物体がボクセルに関する物体として選択される。平滑でない境界を避けるための他のアプローチが一体的な変更のために用いられてもよい。

単なる選択ではなく、グラフベースの関数を用いることができる。ステップ６６において、空間制約を用いる２変数のコセグメンテーションが用いられる。物体の重なりがなく各ボクセルをラベル付けするように制約されたグラフベースのエネルギー関数が最少化される。ボクセルのラベルを１つの物体のみに存在するか、または、いずれの物体にも存在しないように変更するため、空間制約との組み合わせにおいて距離および信頼度が用いられる。導入された特定の空間排他的制約を用いて、再セグメンテーションによって重なりエラーの完全な除去が保証される。

物体の対は、ＡおよびＢとしてラベル付けされる。Ｌ_ＡおよびＬ_Ｂは骨ＡおよびＢのラベル付けをそれぞれ表す。Ｌ_Ａ（ｐ）＝１であれば、ボクセルｐは骨Ａの内側にあり、そうではなくＬ_Ａ（ｐ）＝０であれば、骨Ｂの内側にある。式（５）のエネルギー関数は下記式のように２つの物体に展開される：

式中、Ｄの総和は体積ｐ内のボクセルのものであり、Ｖの総和は集合Ｎ内のボクセルのものであり、全ての符号は式（５）におけるものと同じ意味を有している。式（９）は、セグメンテーションにおける式（５）の使用とは別個に、付加的に用いられる。式（９）は、一体的再セグメンテーションのために用いられ、したがってここでＭはステップ３０および５８のリファインの後のセグメンテーションの結果に基づいている。式（９）に示されるように、Ｅ（Ｌ_Ａ，Ｌ_Ｂ）の最少化はＥ（Ｌ_Ａ）およびＥ（Ｌ_Ｂ）の最少化に個別に分解可能である。というのも、Ｌ_ＡおよびＬ_Ｂの間の相互作用項が式（９）のエネルギー関数中に存在しないからである。物体ＡおよびＢは実質的に個別にセグメンテーションされる。

一体的再セグメンテーションに関して、物体ＡおよびＢは空間において重なることができないため、空間排他的制約がＬ_ＡおよびＬ_Ｂの間に存在する。Ｌ_Ａ（ｐ）＝１の場合、Ｌ_Ｂ（ｐ）＝０でなければならず、その逆も成り立つ。この空間制約は、下記式のように、２変数項を加えることにより、式（９）のエネルギー関数に導入される：

式中、Ｌ_Ａ（ｐ）＝Ｌ_Ｂ（ｐ）＝１の場合、Ｗ（Ｌ_Ａ（ｐ），Ｌ_Ｂ（ｐ））＝∞であり、そうでなければ０である。

エネルギー関数

を最少化する最適解は、Ｌ_Ａ（ｐ）およびＬ_Ｂ（ｐ）が同時に１でありえないことを保証する（∀ｐ∈Ｐ）。導入した２変数項Ｗ_{Ａ（ｐ），Ｂ（ｐ）}（Ｌ_Ａ（ｐ），Ｌ_Ｂ（ｐ））は優モジュラであり、というのも、Ｗ（０，１）＋Ｗ（１，０）＜Ｗ（０，０）＋Ｗ（１，１）であるからであり、したがって、最大フロー最小カットアルゴリズムによって直接最適化し得ない。この問題に対処するため、ラベルＬＢの２値的意味が

に反転されるか、または、そうでなければ、このあいまいさを避けるように変更される。エネルギー関数

は、いつでも劣モジュラとなり、最大フロー最小カット解を、Ｌ_ＡおよびＬ_Ｂの最適な一体的ラベル付けを見いだすように用いることができる。あるいは、異なる最少化解が用いられてもよい。

最少化は、重なりと関連づけられた局所領域についてのみ実行されるため、重なり内のボクセルのみが変更される。調整は識別された重なりボクセルについてのみ実行される。これは、重なり領域の外側のボクセルのラベルの変更を防ぐ。空間制約を用いた一体的セグメンテーションは各個別の骨の最初のセグメンテーションから生じた局所重なり領域についてのみ用いられる。最初のセグメンテーションにおいて重なりが存在しない場合、一体的セグメンテーションはスキップされる。開始時から従前の空間制約を用いる一体的セグメンテーションの実行と比較して（すなわち、個々の個別のセグメンテーション無しの一体的セグメンテーションと比較して）、効率的な計算をもたらされる。

ステップ３６において、画像はセグメンテーションの調整された結果を含む物体を示す。グラフィック、ハイライト、多色化または他の視覚的な手がかりが、物体同士を区別するために画像に加えられ、含まれる。たとえば、１つの骨または１つの骨の周囲の境界はその骨または別の骨の境界と異なる色である。画像は、最少化後に生成され、隣りあう骨のいずれの部分も両方の骨に属するとして示されない。図５は、個々のセグメンテーションから得た重なりを有する骨（各対の右側）、および、一体的再セグメンテーションの後に表示された結果（各対の左側）の４つの例を示す。境界は、異なる色のグラフィック線で示されている。

画像はユーザまたはプロセッサが選択した視野方向からのＣＴデータの２次元画像に対する３次元レンダリングである。レンダリングは、サーフェスレンダリング、プロジェクションレンダリングまたは他のレンダリングを用いることができる。他の実施形態では、画像は体積を通る平面を表す２次元画像であり、たとえば、多平面再構成またはユーザが選択した視野面を用いて提供される。

図６は、自動化された整形外科手術計画のためのシステムまたはプラットフォームの例を示す。このシステムは、プロセッサ１２と、メモリ１４と、ディスプレイ１６と、ＣＴスキャナ１８とを有している。プロセッサ１２、メモリ１４およびディスプレイ１６は、コンピュータ、ラップトップ、タブレット、ワークステーション、サーバ、ＣＴワークステーションまたは他の処理装置である。より多い、異なる、または、より少ない要素が設けられていてもよい。たとえば、ユーザ入力、ネットワークインタフェースおよび／またはマルチプロセッサが設けられる。別の例として、ＣＴスキャナ１８は設けられない。

ＣＴスキャナ１８は、ソースおよびディテクタを有している。ガントリが患者の周りでソースおよびディテクタを回転させる。ＣアームがＣＴデータを形成するＣＴ様のイメージング用ガントリに代わって用いられてもよい。プロセッサ１２または他のプロセッサ（たとえばＣＴスキャナ１８の）が検出されたＸ線情報から体積を表すＣＴデータを再構成する。

ディスプレイ１６は、ＣＲＴ、ＬＣＤ、フラットパネル、プラズマ、プロジェクタ、プリンタ、これらの組み合わせあるいは、他の任意の現在既知のまたは今後開発されるディスプレイである。画像処理ユニットまたは他のハードウェアまたはソフトウェアを用いて、ディスプレイ１６は、グラフィカルユーザインタフェース、ＣＴ画像、セグメント情報を含むＣＴ画像またはこれらの組み合わせを表すために、デカルト座標または他の座標フォーマットの黒白または多色のピクセルを生成する。代替的なまたは付加的な実施形態では、セグメントは、メモリ１４、異なるメモリに出力されるか、ネットワークを介して送信されるか、または、別の処理（たとえば、手術計画、インプラント設計または切削ガイド設計）のためにプロセッサ１２に送られる。

メモリ１４は、信用度マップ、距離、識別器、モデル、計算された入力特徴、画像、ＣＴデータ、または、３次元コンピュータ断層撮影のための複数の骨のセグメンテーションに用いられる他の情報を保存する。他のデータが保存されてもよい。

代替的にまたは付加的に、メモリ１４は、３次元コンピュータ断層撮影のための複数の骨のセグメンテーションのためのプログラムされたプロセッサによって実行される命令を表すデータを保存するコンピュータ読み取り可能な不揮発性保存媒体である。本明細書中に記載される処理、方法および／または技術のための命令は、コンピュータ読み取り可能な保存媒体またはメモリ、たとえばキャッシュ、バッファ、ＲＡＭ、リムーバブルディスク、ハードドライブあるいは、他のコンピュータ読み取り可能な保存媒体において提供される。コンピュータ読み取り可能な保存媒体は、種々の種類の揮発性および不揮発性の保存媒体を含む。図面および本明細書中に記載された機能、ステップまたはタスクは、コンピュータ読み取り可能な保存媒体に保存された１つ以上の命令セットに応じて実行される。機能、ステップまたはタスクは、命令セット、保存媒体、プロセッサまたは処理ストラテジの特定の種類に依存せず、単独でまたは組み合わせで動作する、ソフトウェア、ハードウェア、集積回路、ファームウェア、マイクロコードなどによって実行可能である。同様に、処理ストラテジは、マルチプロセッシング、マルチタスキング、パラレルプロセッシングなどを含んで良い。

一実施形態では、命令はローカルまたはリモートシステムによる読み取りのためにリムーバブルメディア装置に保存される。他の実施形態では、命令は、コンピュータネットワークまたは電話回線を通じて転送されるためにリモート位置に保存される。さらに別の実施形態では、命令は、所与のコンピュータ、ＣＰＵ、ＧＰＵまたはシステム内に保存される。

プロセッサ１２は、汎用プロセッサ、特定目的集積回路、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ、マルチプロセッサ、アナログ回路、デジタル回路、ネットワークサーバ、画像処理ユニット、これらの組み合わせ、あるいは、既知のまたは今後開発されるセグメンテーションを実行するための装置である。ユーザは、たとえば、起動コマンドを入力し、患者を選択し、患者の骨のデータを選択し、外科処置を選択し、そうでなければセグメンテーションを呼び出すワークフローを初期化する。プロセッサ１２は、隣りあう物体を含む複数の物体を、重なり無しで自動的にセグメンテーションする。処理を通じたシーケンシングによって、プロセッサ１２はさらなるユーザ入力無しで、たとえば、画像中の位置または領域の入力無しに、自動的にセグメンテーションするよう構成されている。代替的な実施形態では、ユーザは、たとえば１つ以上の位置を入力することにより、セグメンテーションを確認し、および／または、変更することができる。

一実施形態では、プロセッサ１２は、メモリ１４について３．２３ＧＢのＲＡＭを有する２．２９ＧＨｚで動作するインテル（登録商標）コア（商標）ＣＰＵである。最初のセグメンテーションそれぞれについて（図２参照）、プロセッサ１２は、セグメンテーションされる骨に依存して、約２０〜３０秒を要する。重なり領域は通常、全体体積よりもはるかに小さい。一体的再セグメンテーションが最初のセグメンテーションから生じた局所重なり領域にのみ用いられる場合、一体的再セグメンテーションは効率的に計算可能である。たとえば、一体的再セグメンテーションは、平均約１秒で実行される。最初のセグメンテーションが重なりを生じなければ、一体的再セグメンテーションは、無視できる追加計算コストでスキップされる。一体的再セグメンテーションは、１００％で重なりエラーを低減するが、他の実施形態では、それよりも低く低減する場合がある。

セグメンテーションには、機械学習識別器の使用が含まれる。１つまたは複数の機械学習検出器または識別器が姿勢、境界、統計的形状および／または境界変形を検出するために用いられる。任意の機械学習を用いることができる。１分類または２値識別器、異なる識別器の集まり、カスケード化識別器、階層的識別器、多分類識別器、モデルベース識別器、機械学習ベースの識別器、または、これらの組み合わせを用いることができる。多分類識別器には、ＣＡＲＴ、ｋ近傍法、ニューラルネットワーク（たとえば、多層パーセプトロン）、混合モデル、その他が含まれる。確率ブーストツリーが使用可能である。エラー訂正符号を教師信号として用いるパターン識別器（ＥＣＯＣ）が使用可能である。

識別器は、コンピュータを用いてトレーニングデータセットからトレーニングされる。任意の数の、エキスパートのアノテーションによるデータセットが用いられる。たとえば、関心のある物体を表す約２０万個の体積がアノテーションされる。異なるトレーニングセット、または、異なるアノテーションを有する同じトレーニングセットが、異なる物体、異なる境界点、異なる姿勢パラメタ、または、他の異なる識別器の使用のために、機械トレーニング識別器に用いられる。アノテーションは、体積内の物体の境界または体積から抽出された平面などのグラウンドトルースを示す。この多数のアノテーションによって、機械学習の使用により、起こりうる特徴の大きなプールにわたって関連する特徴が学習できる。

任意の特徴を用いることができる。特徴には、３Ｄ Ｈａａｒ特徴、ウェーブレット様特徴、強度特徴、ステアラブル特徴、グラジエント特徴、および／または、他の特徴が含まれる。識別器は、所望の解剖構造と検出されない情報とを区別するために種々の特徴ベクトルを学習する。識別器は、特徴に基づいて区別するよう教育される。解剖構造のセグメンテーションに関連する特徴が抽出され、エキスパートのアノテーションに基づいた機械アルゴリズムにおいて学習される。トレーニングによって、所定の識別に対する最も決定力のある特徴が決定され、決定力の無い特徴が破棄される。特徴の異なる組み合わせを、異なる物体の検出、異なる解像度または時間における同じ物体、および／または、異なる位置、移動、回転またはスケールに関連づけられた同じ物体の検出に用いることができる。たとえば、異なる一連の識別段階で、３Ｄ体積データから計算される異なる特徴が用いられる。各識別器は、ポジティブなターゲットをネガティブなものから区別するために用いられる区別力のある特徴の集合を選択する。

識別器に用いられるデータはＣＴデータである。再構成されたＣＴ強度から特徴が抽出される。ＣＴデータは生の、再構成されたデータである。他の実施形態では、データはフィルタリングされ、またはそうでなければ、セグメンテーションのための使用の前に処理される。他の種類のイメージング（たとえば異なるモダリティ）のデータまたは患者特有の非イメージングデータ（たとえば年齢、体重および／または他の診断に関連する情報）が用いられうる。

一度トレーニングされると、識別器はセグメンテーションの一部として用いられる。１つまたは複数の識別器の区別力のある特徴に対応する患者特有のデータの入力により、異なる物体の位置が決定される。トレーニングされた識別器は、行列で表され、入力された特徴の値がこの行列および学習された出力結果に入力される。行列以外の他の構造も、学習識別器の具体化に用いることができる。

本発明について種々の実施形態を参照して上述したが、本発明の内容を逸脱することなく、多くの変更および修正がなされうる。したがって、上述の詳細な説明は、限定ではなく例示を意図したものであり、請求項が、全ての均等物を含み、本発明の内容および範囲を定める。

Claims (13)

1. プロセッサ（１２）が実行する、３次元コンピュータ断層撮影のための複数の骨のセグメンテーションの方法であって、
   患者の第１の骨および第２の骨を表すコンピュータ断層撮影（ＣＴ）データを受信（２０）し、
   前記第１の骨および前記第２の骨を個別にセグメンテーションし（２２）、
   前記セグメンテーションの第１の信頼度マップに応じて、前記第１の骨の前記セグメンテーションをリファインし（３０）、但し、前記第１の信頼度マップは、前記第１の骨の要素である位置またはボクセルの尤度を示し、
   前記セグメンテーションの第２の信頼度マップに応じて、前記第２の骨の前記セグメンテーションをリファインし（３０）、但し、前記第２の信頼度マップは、前記第２の骨の要素である位置またはボクセルの尤度を示し、
   リファインした前記第１の骨の前記セグメンテーションと、リファインした前記第２の骨の前記セグメンテーションとの重なりを識別し（３２）、
   前記第１の信頼度マップに応じてリファインした前記第１の骨のセグメンテーションの結果、および、前記第２の信頼度マップに応じてリファインした前記第２の骨のセグメンテーションの結果を、空間排他的制約を用いて一体的に調整し（３４）、これにより、識別された前記重なりを排除し、
   前記セグメンテーションの調整した結果を用いて、前記第１の骨および前記第２の骨を示す画像を出力する（３６）、
   ことを特徴とする方法。
2. 前記受信（２０）は、前記患者の３次元体積を表す前記ＣＴデータの受信を含み、当該３次元体積は、前記第１の骨および前記第２の骨と他の組織とを含む、請求項１記載の方法。
3. 前記個別のセグメンテーション（２２）は、前記ＣＴデータからの前記第１の骨の独立なセグメンテーションと、前記ＣＴデータからの前記第２の骨の独立なセグメンテーションとを含む、請求項１または２記載の方法。
4. 前記個別のセグメンテーション（２２）は、所定の処理における前記第１の骨を表すボクセルの位置決めと、当該処理の繰り返しにおける前記第２の骨を表すボクセルの位置決めとを含み、前記処理は、異なる前記骨に対して異なる識別器を用いる、請求項１または２記載の方法。
5. 前記個別のセグメンテーション（２２）は、前記第１の骨の第１の姿勢の推定（２４）、および、前記第２の骨の第２の姿勢の推定（２４）を含み、前記第１の姿勢および前記第２の姿勢は位置および回転を含む、請求項１または２記載の方法。
6. 前記第１の姿勢の推定（２４）および前記第２の姿勢の推定（２４）は、前記ＣＴデータの３次元Ｈａａｒ特徴を用いた周辺空間学習による分類識別器を用いた推定（２４）を含む、請求項５記載の方法。
7. 前記個別のセグメンテーション（２２）は、前記第１の姿勢に変換される第１の統計的形状モデルを用いた前記第１の骨に関する第１の形状の初期化（２６）、および、前記第２の姿勢に変換される第２の統計的形状モデルを用いた前記第２の骨に関する第２の形状の初期化（２６）を含む、請求項５記載の方法。
8. 前記個別のセグメンテーション（２２）は、前記第１の統計的形状モデルおよび前記第２の統計的形状モデルおよび前記ＣＴデータに基づいた、前記第１の形状および前記第２の形状の変形を含む、請求項７記載の方法。
9. 前記第１の骨のリファインは、前記第１の信頼度マップの関数であるグラフベースのエネルギー関数の最少化を含み、前記第２の骨のリファインは、前記第２の信頼度マップの関数であるグラフベースのエネルギー関数の最少化を含む、請求項１から８のいずれか１項記載の方法。
10. 前記第１の骨のリファインは、前記第１の骨の境界からの距離が大きいほどボクセルに関する信頼度が大きい距離マップを含む前記第１の信頼度マップに応じたリファインを含み、前記第２の骨のリファインは、前記第２の骨の境界からの距離が大きいほどボクセルに関する信頼度が大きい距離マップを含む前記第２の信頼度マップに応じたリファインを含む、請求項９記載の方法。
11. 前記調整は、前記第１の骨と前記第２の骨との重なり無しに各ボクセルにラベル付けするように制約されたグラフベースのエネルギー関数の最少化を含む、請求項１から１０のいずれか１項記載の方法。
12. さらに、
    前記第１の骨および前記第２の骨の両方としてラベル付けされたボクセルを識別し、
    識別された前記ボクセルについてのみ前記調整を行う、
    請求項１から１１のいずれか１項記載の方法。
13. 前記出力（３６）は、前記第２の骨から区別された前記第１の骨を含む前記画像を表示することを含む、請求項１から１２のいずれか１項記載の方法。

Images