JP5174040B2 - 画像の構成要素と背景とを区別するためにコンピュータで実行される方法および画像の構成要素と背景とを区別するためのシステム - Google Patents

Description

本出願は、２００７年２月５日に米国特許商標局に出願された仮出願第６０／８８８，１４７号の利益を主張し、この仮出願の内容はその全体が参照により本明細書に組み込まれる。

本発明は、画像処理に関し、詳しくは、画像の構成要素と背景とを区別するためにコンピュータで実行される方法および画像の構成要素と背景とを区別するためのシステム、さらに詳しくは、顕微鏡画像において細胞をセグメント化（分割）して計数するためのシステムおよび方法に関する。

２Ｄおよび３Ｄの顕微鏡検査（および、他の供給源）から入手することができる細胞の画像が、ますます一般的になってきている。多数のさまざまな用途において、画像内の細胞を背景から分割（セグメント化）し、さらには互いに分割することによって、画像を分析することが重要である。このセグメンテーションは、種々の診断上の疑問に答えるために使用することができる細胞の計数または分類（細胞の形状、色などによる）の準備段階であることが多い。細胞の自動計数を実行するために、いくつかのソフトウェアパッケージが市販されているが、これらのパッケージは、特定の型の顕微鏡画像にきわめて特化しており、さらなる分析を可能にしていない。さらには、そのようなパッケージの多くが、追加のハードウェア設備および装置を必要とし、おそらくは極めて高価である。そのようなソフトウェアの例として、ＭＡＣＥ（Ｍａｍｍａｌｉａｎ Ｃｅｌｌ Ｃｏｌｏｎｙ Ａｎａｌｙｓｉｓ−Ｗｅｉｓｓ Ａｓｓｏｃｉａｔｅｓ）、Ｂｉｏ−Ｏｐｔｉｃｓ Ｃｏｒｐ．、Ｇｕａｖａ Ｔｅｃｈｎｏｌｏｇｉｅｓ、Ｎｅｘｃｅｌｏｍ Ｂｉｏｓｃｉｅｎｃｅ、Ｎｅｗ Ｂｒｕｎｓｗｉｃｋ Ｓｃｉｅｎｔｉｆｉｃ、Ｄａｋｏ Ｃｏｒｐ、ＱＭ Ｓｏｌｕｔｉｏｎｓ、Ｐａｒｔｅｃ Ｃｏｒｐ、Ｓｙｎｏｐｔｉｃｓ Ｉｎｃ、などが挙げられる。

したがって、顕微鏡画像の画像セグメンテーションのための汎用的な方法に対するニーズが存在している。

本発明の一態様に係る、画像の構成要素と背景とを区別するためにコンピュータで実行される方法は、前記構成要素の図および背景を形成する画素を含む画像を入力するステップと、予め定められた分類に属する確率を各画素に割り当てるためのモデルを用意するステップと、各画素に、予め定められた分類に属する確率を割り当てるための第１のセグメンテーションを実行するステップと、各画素を、該当する確率および予め定められた閾値に従って構成要素と背景とにラベリング（ラベル付け）するステップと、構成要素としてラベリングされた画素のグループについてグループ間の境界を決定するために、当該ラベリングされた画素の等周グラフ分割を実行し、第２のセグメンテーションを実行するステップと、境界を視覚化して出力するステップとを含む。

本発明の一態様に係る、画像の構成要素と背景とを区別するためのシステムは、メモリ装置およびプロセッサを備え、メモリ装置は、前記画像の構成要素の図（ビュー；ｖｉｅｗ）を形成する画素を含む画像データを含むデータセットと、前記画像の構成要素と背景とを区別するためのシステムを具体化する複数の命令とを保存する。また、プロセッサは、前記データセットを受け取るとともに、前記複数の命令を実行し、予め定められた分類に属する確率を画像データの各画素に割り当てるためのモデルを用意するステップと、各画素に、予め定められた分類に属する確率を割り当てるための第１のセグメンテーションを実行するステップと、各画素を、該当する確率および予め定められた閾値に従って構成要素と背景とにラベリング(ラベル付け)するステップと、構成要素としてラベリングされた画素のグループについてグループ間の境界を決定するために、当該ラベリングされた画素の等周グラフ分割を実行し、第２のセグメンテーションを実行するステップと、境界を視覚化して出力するステップとを含む方法を実行する。

本発明の一実施形態による細胞の区別方法を説明するためのフローチャートである。 入力画像を示す図である。 本発明の一実施形態によるセグメンテーション結果を示す図である。 コンピュータで読み取り可能なコードであって、本発明の一実施形態に従って細胞を区別するための命令を具体化するコードを実行するためのコンピュータシステムの図である。

本発明の好ましい実施形態を、添付の図面を参照して以下でさらに詳しく説明する。

本発明の実施形態によれば、システムおよび方法が、細胞の区別およびセグメンテーションを実行する。この方法は、２Ｄおよび３Ｄの両顕微鏡細胞画像に適用可能であり、かつさまざまな細胞の型に適用可能である。この方法を、ライブ顕微鏡検査または特定の型の細胞の進化を追跡するための時間的な画像の取得など、時間が追加のパラメータである４Ｄに拡張することができる。この方法は、細胞の計数、細胞の内部の構造（例えば、細胞核の存在および形状）の特定、（例えば、形状変化の評価および形状分析のための）細胞の形態計測分析、細胞表面、体積測定、（例えば、蛍光画像化における）色変化の評価、など、さまざまな種類の分析を可能にする。

図１を参照すると、細胞の区別およびセグメンテーション方法は、細胞についての色／強度モデルを取得するステップ１０１，１０２と、ランダムウォークセグメンテーションアルゴリズム（ｒａｎｄｏｍ ｗａｌｋｅｒ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）のための一式の事前確率（ｐｒｉｏｒ）としてモデルを使用して、「細胞」画素を「背景」画素から分割するステップ１０３と、「細胞」画素からなるつながった構成要素のそれぞれについて、等周セグメンテーションアルゴリズム（ｉｓｏｐｅｒｉｍｅｔｒｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）によって構成要素を構成細胞に分けるステップ１０４，１０５とを含む。

細胞の色／強度モデルの取得１０１に関して、細胞の外観モデル（ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ）を生成するためにさまざまな方法が存在している。外観モデルは、画素に関する色／強度が該当の細胞分類に属する可能性を表わす確率ｐ_iを各画素ｖ_iに割り当てる。色／強度から確率への写像を得るための１つの典型的な方法は、細胞に属する画素についての予めラベリングされた一式の学習サンプルを与えるカーネル推定（パルツェン窓（Ｐａｒｚｅｎ ｗｉｎｄｏｗｉｎｇ））による。

カテゴリ「細胞」についての小さな一式の学習用の例が与えられ、各画素の強度／色が分類「細胞」に属する確率を割り当てるモデル１０２が形成される。１に近い確率は白色に写像され、ゼロに近い確率は黒色に写像される（別の写像を実行してもよい）。

細胞クラスタのセグメンテーション１０３に関しては、外観モデルが、画素を「細胞」および「背景」に大まかに分類するために充分である。モデルは、純粋に各画素の強度に基づいており、近隣のなかでのコンテクトには基づいていないため、このモデルだけではノイズの影響を受けやすい。このノイズによる問題を克服するために、学習された確率が、各画素の「細胞」または「背景」のいずれかとしてのラベル１０３を精緻化するために、ランダムウォークのための事前確率として使用される。この解決策はノイズに強く、各画素は「細胞」または「背景」にラベリング（ラベル付け）される。この例においてグラフに使用される重み付け関数を、

と書くことができ、
ここで、Ｉ_iは画素ｖ_iにおける色を表し、βは自由パラメータであり、

は色ベクトルのノルムを表わす。ここで、重みを割り当てるための類似性の任意の指標（例えば、色、確率の差、肌理の勾配、など）を、同様に適用することが可能である。

モデルの作成１０１における確率を、ランダムウォークセグメンテーションアルゴリズム１０３のための確率として使用した後、各画素について、「細胞」または「背景」のいずれかとしてのラベリングが得られる。線は「細胞」または「背景」としてラベリングされた領域の間の境界を示す。ラベリングは、画素レベルにおいては正確であるが、細胞が依然として１つにつながっており、したがって個々の細胞を区別するためのさらなる処理が必要である。

典型的なランダムウォークは、分割（セグメント化）するべき物体を示すいくつかのシード画素を含む画像から出発する。ランダムウォークを１つおきの画素から出発させ、ランダムウォークがシード画素のうちの１つに到達する確率が決定される。ランダムウォークが特定の方向へと移動する確率は、画像の構造によって決定される。画素強度の変化は、ランダムウォークが隣の画素へと横切る確率の指標である。したがって、ランダムウォークは、分割された物体の内側へと移動する可能性が高く、物体の境界を横切る可能性は、比較的低い。画素からシード点までの経路に沿って決定された確率を乗算することによって、非２値のセグメンテーションを表わす確率分布が得られる。

細胞クラスタの区別１０４，１０５に関しては、ラベリングステップ１０３の出力が、各画素に対して「細胞」または「背景」に属するラベルを与えるが、本方法は、「細胞」とラベリングされたそれぞれの画素を、「細胞１」、「細胞２」、などを表わすラベルでさらに区別１０４する。この目的のために、等周グラフ分割技法（ｉｓｏｐｅｒｉｍｅｔｒｉｃ ｇｒａｐｈ ｐａｒｔｉｔｉｏｎｉｎｇ ｔｅｃｈｎｉｑｕｅ）が、提案される分割の等周比が容認（閾値によって表わされる）できないほどに大きくなるまで、クラスタを分割すべく順次に適用される。この段階において、１０３からの同じ重み付け関数（１）が再使用される。

等周比の典型的な実例は、ｈ（Ｓ）で表わされる所与のセットＳの境界と体積との間の比として決定される。グラフＧ（グラフは、頂点（ノード）ｖ∈Ｖおよび辺ｅ∈Ｅ∈Ｖ×Ｖを有するペアＧ＝（Ｖ，Ｅ）である）のための等周セットは、ｈ（Ｓ）＝ｈ_Gである任意のセットＳおよび

である。体積の制約

を満たすセットの仕様を、その補集合とともに、区切りと考えることができる。セットＳの境界は、

として定められ、ここで

は、セットの補集合を指し、

である。２つの頂点ｖ_iおよびｖ_jにまたがる辺ｅが、ｅ_ijによって示されている。分割は、Ｖｏｌ_Sを最大にしつつ、

を最小にする。

細胞部分は、小さな細胞または他の何らかの点で望ましくない（例えば、誤ってラベリングされた）細胞を除くために、さらに事後処理することができる。この実施例では、予め定められた閾値を下回るサイズの細胞を、「背景」としてラベリングし直した。閾値は、画像化される細胞の型に応じて設定することができ、例えば、特定の型の細胞は、既知のサイズ範囲を有することができ、そのようなサイズ範囲は、背景から細胞を区別するための上限および下限を設定するために使用することができる。同様に同様にして、（１０１から）細胞である確率が高いとして分割された細胞も、背景に割り当て直された。特定の用途においては、この事後処理は、一部の細胞が色、形状、内部構造の存在などの関心細胞についての他の基準を満たさない場合に、当該一部の細胞を背景としてラベリングし直してもよい。

図２Ａは典型的な入力画像を示し、図２Ｂはこれに対応するセグメンテーション結果を示している。図２Ｂの線２００は、隣り合う細胞（例えば、２０１）の間の境界または細胞と背景（例えば、２０２）との間の境界を示している。これらのセグメンテーションに鑑み、細胞の色、形状、および数についての情報を取り出すことは容易である。

細胞の計数および多数の他の用途のためのデジタル顕微鏡画像の分析は、個々の細胞を分割（セグメント化）するという問題を解決することを含む。典型的な方法は、細胞のセグメンテーションを達成するために、セグメンテーション技法を順次の処理ステップにて使用する。

本発明を、さまざまな形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはこれらの組み合わせにて実現できることが理解される。一実施形態においては、本発明を、プログラム記憶装置上に実際に具体化されたアプリケーションプログラムとしてのソフトウェアにて実現することができる。このアプリケーションプログは、任意の適切なアーキテクチャを有するマシンにアップロードし、そのようなマシンによって実行することができる。

図３を参照すると、本発明の一実施形態によれば、顕微鏡画像の細胞を分割（セグメント化）して計数するためのコンピュータシステム３０１が、とりわけ、中央演算処理装置（ＣＰＵ）３０２、メモリ３０３、および入力／出力（Ｉ／Ｏ）インターフェイス３０４を備えることができる。コンピュータシステム３０１は、通常は、Ｉ／Ｏインターフェイス３０４を介して表示装置３０５および種々の入力装置１０６（マウスおよびキーボードなど）に接続される。補助回路が、キャッシュ、電源、クロック回路、および通信バスなどの回路を含むことができる。メモリ３０３は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ディスク駆動装置、テープ駆動装置、などを含むことができ、またはこれらの組み合わせを含むことができる。本発明は、メモリ３０３内に保存されＣＰＵ３０２によって実行され信号源３０８からの信号を処理するルーチン３０７として実現することができる。すなわち、コンピュータシステム１０１は、本発明のルーチン３０７を実行するときに専用コンピュータシステムとなる汎用コンピュータシステムである。

さらに、コンピュータシステム３０１は、オペレーティングシステムおよびマイクロ命令コードを含む。本明細書において説明される種々の処理および機能は、オペレーティングシステムを介して実行されるマイクロ命令コードの一部またはアプリケーションプログラムの一部のいずれか（または、これらの組み合わせ）であってもよい。さらに、さらなるデータ記憶装置および印刷装置などの他のさまざまな周辺機器をコンピュータシステムに接続することができる。

さらに、添付の図面に示したシステムの構成要素および方法の各ステップの一部をソフトウェアにて実現することができるため、システムの構成要素（または、方法の各ステップ）の間の実際の接続が、本発明をプログラミングするやり方に応じて異なってもよいことが理解される。本明細書に提示された本発明の教示に鑑み、当業者であれば、本発明のそのような実施例または構成ならびに同様の実施例または構成に想到できる。

顕微鏡画像の細胞を分割（セグメント化）して計数するための実施形態を説明したが、以上の教示に照らし当業者であれば変形および変更を行うことができる。したがって、本発明の実施形態において、本発明の技術的範囲および技術的思想に包含される変更を行うことが可能であることが理解される。

Claims (12)

1. 画像の構成要素と背景とを区別するためにコンピュータで実行される方法であって、
   前記構成要素の図および背景を形成する画素を含む画像を入力するステップと、
   予め定められた分類に属する確率を前記各画素に割り当てるためのモデルを用意するステップと、
   前記各画素に、前記予め定められた分類に属する確率を割り当てるための第１のセグメンテーションを実行するステップと、
   該各画素を、該当する前記確率および予め定められた閾値に従って前記構成要素と前記背景とにラベリングするステップと、
   前記構成要素としてラベリングされた前記画素のグループについてグループ間の境界を決定するために、当該ラベリングされた画素の等周グラフ分割を実行し、第２のセグメンテーションを実行するステップと、
   前記境界を視覚化して出力するステップと、
   を含むコンピュータで実行される方法。
2. さらに、前記境界によって定められる前記構成要素の色情報を抽出するステップを含む、請求項１に記載のコンピュータで実行される方法。
3. 前記第１のセグメンテーションを実行するステップが、１に近い確率を第１の色に写像し且つゼロに近い確率を第２の色に写像するステップを含み、確率の画像が出力される、請求項１又は請求項２に記載のコンピュータで実行される方法。
4. 前記等周グラフ分割は、前記構成要素としてラベリングされた画素のグループを順次に分割する、請求項１〜３のいずれか１項に記載のコンピュータで実行される方法。
5. さらに、前記境界によって定められる前記構成要素の形状情報を抽出するステップを含む、請求項１〜４のいずれか１項に記載のコンピュータで実行される方法。
6. さらに、前記境界によって定められる前記構成要素の数を抽出するステップを含む、請求項１〜５のいずれか１項に記載のコンピュータで実行される方法。
7. 画像の構成要素と背景とを区別するためのシステムであって、
   前記画像の構成要素の図を形成する画素を含む画像データを含むデータセットと、前記画像の構成要素と背景とを区別するためのシステムを具体化する複数の命令とを記憶するメモリ装置、および
   前記データセットを受け取って、
   予め定められた分類に属する確率を前記画像データの各画素に割り当てるためのモデルを用意するステップと、
   前記各画素に、前記予め定められた分類に属する確率を割り当てるための第１のセグメンテーションを実行するステップと、
   該各画素を、該当する前記確率および予め定められた閾値に従って前記構成要素と前記背景とにラベリングするステップと、
   前記構成要素としてラベリングされた前記画素のグループについてグループ間の境界を決定するために、当該ラベリングされた画素の等周グラフ分割を実行し、第２のセグメンテーションを実行するステップと、
   前記境界を視覚化して出力するステップと、
   を含む方法を実行すべく前記複数の命令を実行するプロセッサ、
   を備えているシステム。
8. 前記プロセッサにより実行される前記方法に、前記境界によって定められる前記構成要素の色情報を抽出するステップがさらに含まれる、請求項７に記載のシステム。
9. 前記プロセッサにより実行される前記方法の前記第１のセグメンテーションを実行するステップに、１に近い確率を第１の色に写像し且つゼロに近い確率を第２の色に写像するステップが含まれ、確率の画像が出力される、請求項７又は請求項８に記載のシステム。
10. 前記等周グラフ分割は、前記構成要素としてラベリングされた画素のグループを順次に分割する、請求項７〜９のいずれか１項に記載のシステム。
11. 前記プロセッサにより実行される前記方法に、前記境界によって定められる前記構成要素の形状情報を抽出するステップがさらに含まれる、請求項７〜１０のいずれか１項に記載のシステム。
12. 前記プロセッサにより実行される前記方法に、前記境界によって定められる前記構成要素の数を抽出するステップがさらに含まれる、請求項７〜１１のいずれか１項に記載のシステム。

Images