JP2000182034A - 自動画像合成システム - Google Patents

Abstract

(57)【要約】 【課題】 カメラ又は被写体の正確な再位置決めを必要
とせず、高価なカメラを必要としないような自動画像合
成システムを提供する。 【解決手段】 物体の画像を供給するための画像化手段
を構成する例えば顕微鏡を介して得られるような物体の
異なる視界の一連の小さなソース画像（7）から、物体
の大きな合成画像（8）を生成するシステムが提供され
る。コンピュータ（5）内のフレーム格納ボード（4）の
ようなデータ記憶手段が、物体の合成画像を表すデータ
を記憶する。第１及び後続のソース画像を表すデータ
が、上記合成画像を表すデータに含められ、これにより
該合成画像を表す記録されたデータを増加させる。これ
を実行するため、画像化手段により供給される最も最近
のソース画像と、前記合成画像の面積が対応する複数の
領域の個々の画像との一致の程度の測定値が供給され、
該一致の程度の測定値が最大である場合に、後続のソー
ス画像を表すデータが前記合成画像を表すデータに含ま
れるようにし、これにより上記ソース画像が前記合成画
像に正しい位置で一致されるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体又は情景の大
きな画像の一連の小さなソース視界像からの自動生成に
関する。このような画像は‘合成画像（モンタージ
ュ）’として知られており、特に顕微鏡とカメラとの組
合せを使用する際に、物体又は情景のもっと大きな領域
の、それ以外で可能なものよりも高い解像度の画像を形
成することを可能にする。

【０００２】

【従来の技術】カメラにより情景を記録する場合、３つ
の特別な制限が問題を課すことになる。第１に、限られ
た視野（即ち、ｘ及びｙ座標方向の）が存在する。第２
に、限られた被写界深度（ｚ座標軸方向、即ちカメラ軸
方向の）が存在する。第３に、限られたカメラの解像度
が存在する。特に、これらは画像が顕微鏡を介して記録
（例えば、撮像する）場合に厳しくなる。

【０００３】これらの問題の１以上に対する従来の解決
策は次の通りである。・カメラ又は被写体を正確に再位
置決めし、複数の画像を記録し、後に‘継ぎ合わせ
る’。この技術を使用するシステムの一例はソフトイメ
ージングシステムGmbH（ＳｉＳ）のＭＩＡパッケージで
あり、該パッケージは対物レンズ下の物体を、重なり合
う画像が大きな画像を形成すべく‘継ぎ合わされ’得る
ような、一連の位置に位置決めするために、顕微鏡ステ
ージの直接制御を通常必要とする。不利な点は、上記各
位置を正確に知る必要があることである。・複数のデジ
タル的に記録される画像が、異なるカメラの焦点設定、
又は被写体のｚ位置で撮られ、次いで単一の画像に形成
されるようにし、その場合に各画素が最大のコントラス
トを示す（等価的に、もっとも焦点の合った）ソース画
像から選択されるようにするような我々の自動合成技
術。・高解像度の、従って一層高価なカメラ。電子カメ
ラの場合は、約２ｋ画素平方を越えると価格は手の出せ
ないものとなる。

【０００４】

【発明が解決しようとする課題】本発明は上述した３点
の問題のうちの第１及び第３番目のものを主に扱うこと
を目指すが、適切な実施例においては、本発明は第２番
目のものも扱うことができる。

【０００５】

【課題を解決するための手段】本発明によれば、物体の
異なる視界の一連の小さなソース画像から物体の大きな
合成画像を生成するシステムにおいて、物体の画像を使
用時に連続的に供給する画像化手段と、前記物体の合成
画像を表すデータを記憶するデータ記憶手段と、第１及
び後続のソース画像を表すデータを前記合成画像を表す
データに含めて、前記合成画像を表す記憶されたデータ
を増加させる手段と、前記画像化手段により供給される
最も最近のソース画像と、前記合成画像の面積が対応す
る複数の領域の個々の画像との一致の程度の尺度を供給
する手段と、を有し、前記一致の程度の尺度が最大であ
る場合に後続のソース画像を表すデータが前記合成画像
を表すデータに含まれるようにして、前記ソース画像が
前記合成画像に正しい位置で一致されるようにするよう
なシステムが提供される。

【０００６】また、本発明は、物体の異なる視界の一連
の小さなソース画像から物体の大きな合成画像を生成す
る方法において、物体の一連のソース画像を発生し、デ
ータ記憶手段内に前記物体の合成画像を表すデータを記
憶するメモリを割り当て、前記合成画像を表すデータを
記憶するために、第１及び後続するソース画像を表すデ
ータを前記メモリに記憶し、最も最近のソース画像と、
前記合成画像の面積が対応する複数の領域の個々の画像
との一致の程度を測定する、ような各ステップを有し、
前記一致の程度の測定値が最大である場合に前記後続の
ソース画像を表すデータが前記合成画像を表すデータに
含まれるようにして、前記ソース画像が前記合成画像に
正しい位置で一致されるようにするような方法も含む。

【０００７】好ましくは、前記一致の程度の測定値の敷
居値が予め選定され、前記合成画像に一致しないであろ
うソース画像が破棄されるようにする。

【０００８】このように、合成画像は、当該合成画像の
最初のデータ集合を表す最初のソース画像データに後続
のソース画像データが加えられることにより徐々に構築
される。上記ソース画像は、物体に対して移動されるカ
メラ又は他の画像捕捉装置により供給することができ
る。

【０００９】最も最近のソース画像を合成画像の領域と
順次比較することにより、該ソース画像は合成画像に対
して‘位置合わせ’することができ、該ソース画像を表
す追加のデータが当該合成画像を規定するデータ集合に
組み込まれるようにして、該合成画像を拡張する。この
処理は、合成画像が完成するまで繰り返すことができ
る。上記比較は多数の異なる方法で実行することができ
（それらの方法の幾つかは後に詳述する）、上記合成画
像及びソース画像の両方の画像データの部分集合に対し
て実行することができる。

【００１０】上記の完成された合成画像の大きさは予め
決めることができるが、当該合成画像に一層多くのメモ
リを割り当てることにより増加することも許容される。

【００１１】このように、新たな画像を表す新たなデー
タは、この新たなソース画像が合成画像の或る領域に極
めて合致する位置で記憶される。この位置が前の測定か
ら変化されていない場合は、当該ソースは静止してお
り、かくして、当該合成画像に該ソース画像を挿入すべ
き適切な位置が決まる。

【００１２】ソース画像データが静止画像から供給され
る場合に該ソース画像データを合成画像データに加える
のが好ましい。これは、２つの利点をもたらす：・ソー
ス画像の如何なる動きブレ又はインターレース歪みも最
小化されるので、合成画像に貼り付けられる画像は、こ
れらのアーチファクトを含まない。・システムが、当該
処理の一層時間の掛かる部分（精細位置決め、３Ｄ自動
合成）を実行する前に、動きが停止するのを待てば、動
きを高速で追跡することができると共に、処理の時間の
掛かる部分は操作者にとり遅延があまり重要でない場合
に実行することができる。

【００１３】好都合にも、本システムは被写体が静止し
ていると判定した（従って、合成画像を更新している）
場合、及び動いている場合を示す。また、本システム
は、劣る合致又は低い重なり度の何れかにより位置を確
信をもって判定することができない場合も示す。更に、
本システムは使用者に何らかの理由により一時停止する
ことを要求する（何らかのデータを待避する等）場合も
示す。

【００１４】本システムは、顕微鏡とカメラとの組合せ
と共に使用して小さな物体の高度に拡大された画像を捕
捉するのに特に適している。好ましくは、本システムは
上述したステップを実行するように構成されたコンピュ
ータ及びソフトウェアを含むものとし、合成画像と現在
のソース画像（又は該画像の合成画像に対する位置を表
す矩形）とがモニタ上に表示されるようにして、本シス
テムを操作する使用者（顕微鏡の場合は、物体をカメラ
に対して再位置決めするために顕微鏡ステージを移動さ
せる操作者）にフィードバックを提供するようにする。

【００１５】捕捉処理の性質により、このフィードバッ
クは単純に且つ直接に与えられることが重要である。当
該システムが通常に動作している場合に使用者が‘静か
なコックピット’を有し、被写体の探査に集中すること
ができるように、色、点滅及び音声信号の全てを使用す
ることができる。

【００１６】新たに捕捉された画像が当該合成画像に組
み込まれるべき適切な位置の決定は、当該画像中の特定
の又は重要な特徴の探査及び照合を含む種々の手段によ
り、又はソース画像と合成画像との間の差が最小となる
該ソース画像の位置の探査により達成することができ
る。

【００１７】好ましくは、類似性の尺度が使用され、こ
れにより該類似性尺度において最大値が見つかるまでソ
ースが合成画像に対して、仮想的に、シフトされるよう
にする。これは、‘共分散（covariance）’と呼ばれる
一種の相互相関統計により都合良く達成することができ
る。相互相関及び共分散は、顕微鏡からの画像を扱う際
の重要な特徴である、ノイズの存在下における強固な類
似性尺度であるとして知られている。

【００１８】従って、例えばｓがソース画像からの輝度
であり、ｍが合成画像の対応する位置からの対応する輝
度であるとすると、共分散ｃは選択された相対位置にお
いて次式により計算することができる：

【００１９】

【数１】 ここで、Ｓ∩Ｍは（変位された）ソース画像と合成画像
との有効な領域の共通部分、ｎは該共通部分における画
素数である。最初のソース画像は、通常、全体が‘有
効’であると見なされるが、合成画像は既に設定されて
いる場所のみが有効である。（現構成においては、合成
画像は零の値で開始する、即ち、合成画像は仮想的に
‘空’であり、零でない画素のみが有効であると見なさ
れる）。しかしながら、最初から、或る選択された大き
さ（例えば、2000ｘ2000画素）のメモリの矩形アレイを
割り当てるのも意味がある。ソース画像が合成画像に
‘貼り付け’又は‘書き込み’された（これに関しては
‘設定’なる用語を使用することができる）場合、この
合成画像の当該部分は‘空’というよりは‘有効’であ
る又は‘何かに設定’されたと見なされる。一例に対し
て選択された、これの特別な表現は、合成画像を最初は
零で満たし、次いで零でない画素は‘有効’又は‘設定
された’として扱うことである。

【００２０】各画素の有効性を考慮するのが有効であ
る。何故なら、さもなければ、処理が有効な合成領域の
縁部（この縁部は実際的にソースデータにおける最も顕
著な特徴である）に対して‘ロックオン’する傾向があ
るからである。

【００２１】共分散の類似性得点がオフセットベクトル
Ｖに対してプロットされると、該面において単一のピー
クが、ソース画像と合成画像との間の真のオフセットＶ
１に対応して見られるべきである。しかしながら、当該
計算から有効でない画素が破棄されないと、結果として
他のオフセットＶ２における第２のピーク（一層高いこ
とさえ充分にあり得る）が生じ得る。このように、図２
を参照すると、ソース画像が合成画像の何らかの縁部と
整列すると、画像の細部が一致しないという事実にも拘
わらず、これらの‘縁部’が非常に高い類似性の得点を
生じさせる。言い換えると、縁部は画像の細部よりも一
層重要な‘特徴’であるとなってしまう。これは、容易
に、共分散関数において誤った（Ｖ２）ピークを選択す
るようなアルゴリズムとなってしまい、ソース画像を間
違った位置に貼り付けてしまう。

【００２２】標準のＴＶ解像度（ヨーロッパにおいて
は、７６８ｘ５７６）のソース画像の場合でさえ、この
統計値を（例えば）2000ｘ2000画素の合成画像全体にわ
たって計算しようと試みると、１０^１３程度の計算が必
要となる。本システムを現在のパーソナルコンピュータ
で現実的なものにするには、検索空間を可能な限り‘切
り詰める’ことが望ましい。先ず、検索空間は、当該合
成画像内のソース画像の位置及び該合成画像に対する
（可能性のある）その動き速度についての以前の知識を
利用することにより低減することができる。位置の不確
定さを以前の（又は予測された）位置から何れかの方向
で（例えば）６４画素に減少することができるなら、こ
れは当該検索処理を約１０^１０計算に低減する。

【００２３】更に、粗−微細技術を採用することができ
る。ノイズレベルが‘それ程悪くない’と仮定すると、
両方向において当該画像をサブサンプルし（例えば、各
方向において１６画素置きにのみ処理する）、合成画像
に対してソース画像を大きなステップ（例えば、４画
素）でシフトすることの両方により、位置の粗い予測を
達成することができる。このようにして、多分約１０^６
の計算により粗い予測を得ることができ、これは最近の
ＰＣ上では約５ｍｓ程掛かるであろう。次いで、当該測
定を上記サブサンプリング及びシフトステップの大きさ
を減少させることにより改善することができるが、もっ
と小さな面積上で検索をすればよい。このように、合計
の位置測定時間を、カメラ捕捉時間及び操作者の速度に
対して短く維持することができる。（アルゴリズムの速
度が改善するにつれて、位置の不確定さが減少し、検索
空間を更に減少することができることに注意された
い）。

【００２４】重要な改良点は、上記粗い測定が被写体が
動いていることを示す場合は、微細な測定は必要ではな
いという点である。このことは、本システムは最も必要
な場合に最高の更新レートを有することができる、即ち
被写体が停止している場合は、もっと長い一致処理は問
題がないということを意味する。

【００２５】本システムは、一致位置についての‘確
信’を持つ必要がある。何故なら、一旦データが、記憶
された合成画像データに組み込まれてしまうと、通常は
元に戻すことができないからである。従って、本システ
ムによれば２つの確信上の制限が課せられる： ・測定された共分散は、以前に受け入れられた共分散測
定値の何らかの許容範囲内になければならない。 ・最高の共分散得点の計算において考慮される有効画素
の数は或る敷居値を超えるものでなければならない。こ
れは、実効的に、ソース画素と既存の合成画素との重な
り合う面積であり、従って、単純に（例えば）“ソース
画像の半分は、合成画像の有効領域と重なり合わなけれ
ばならない”と表すことができる。

【００２６】以下は、本発明によるシステムが如何にし
て‘３Ｄ’モードで動作するように構成されるかを説明
するが、該モードはｚ方向（カメラ軸）に関する考慮を
追加するものである。これらの特徴は、当該光学系の実
行被写界深度を拡張する。

【００２７】この場合、動き追跡処理は‘２Ｄ’モード
におけるのと全く同様に動作し、第３の次元への考慮
は、被写体が静止しており、従って‘新たな’ソース画
像及び該画像が属する合成画像内の位置を有する場合に
のみ生じる。この点においては、動作は幾らか異なる。
即ち、当該ソース画像内の各画素が考慮され、当該ソー
ス画像の該点におけるコントラストが当該合成画像内の
対応する点に関して以前に記録された最良のコントラス
トよりも大きい場合にのみ、該画素が合成画像に書き込
まれる。ここでは、‘コントラスト’は慎重にあいまい
となっている。即ち、測定したいものは、画像の当該部
分が如何に良好に‘焦点が合っている’である。局部縁
情報又は周囲の画素の分散を含む種々の測定を利用する
ことができ、これらの全てがコントラストに関わるもの
として示される。この記載に暗に含まれることは、当該
合成画像内の各点に対しての別個の‘最良のコントラス
ト’値が維持されるべきであるという事実である。これ
はメモリ要件にかなりの追加となる。

【００２８】 ‘３Ｄ’更新処理は以下のように記載することができる： ソース画像の各画素に対して ｛ ここで‘ソースコントラスト’が合成画像における対応する位置におけ る‘最良のコントラスト’よりも大きい場合は ｛ ソース画素を合成画像内の対応する画素にコピーし ‘ソースコントラスト’値を対応する‘最良コントラスト’に コピーする ｝ ｝ ‘最良のコントラスト’は全体に零に初期化されるので、特定の位置に到達す る最初のソース画像は常に全体として挿入されることに注意すべきである。

【００２９】上記記載は単色カメラの場合を説明した。
カラー画像の場合は、前記共分散及びコントラストは、
単一の予め選択されたカラー面、最大の総合コントラス
トを与えるように選択されたカラー面、又はカラー面の
和（実効的に、等価な単色画像を計算する）から計算す
ることができる。

【００３０】上述したシステムは、一定の大きさの合成
画像を使用している。しかしながら、ソース画像の位置
が合成画像の縁部に近づくにつれて適切に応答すること
が重要である。幾つかの動作が可能である： ・計算は適宜‘切り上げ’られ、合成画像の縁を越えて
広がるソース画像の領域は無視される。このことは、合
成画像は、その縁部まで‘満たす’ことができることを
意味する。 ・合成画像が部分的にのみ使用される（例えば、最初の
ソース画像を中心に配置し、続いて上及び右にのみ移動
させた）場合は、該合成画像の内容は既存のメモリ内で
シフトすることができるので、このメモリは一層有効に
使用することができる。これを効率よく達成するには、
多分、ｘ及びｙにおける有効な合成画像画素の極値を計
算し且つ維持する必要がある。 ・新たな合成画像（及び、３Ｄモードにおいては、対応
する‘最良のコントラスト’値）を、視野を更に拡張す
るために割り当てることができる。既存のデータは、新
たなものにコピーすることができる。これが生じた場合
は、使用者は一時停止するよう指示される必要がある。 ・合成画像はタイル化され、現在必要とされるタイルの
みが作業記憶部（ＲＡＭ）に残され、使用されないタイ
ルはディスク上に待避される。このようにして、極端に
大きな画像を達成することができる。この機構は一層複
雑であるが、使用者にとり如何なる重大な遅延も避ける
能力を有する。何故なら、上記ディスクデータはバック
グラウンド作業として少量ずづ書くことができるからで
ある。

【００３１】或る場合には、自動動作の手動によるオー
バーライドが必要であろう。３つの場合が識別される： ・拡張された視野の本当に良好な画像が捕捉されたが、
使用者は現在の位置から離れた領域における当該合成画
像の範囲に加えたい。この場合、使用者は本システムが
ソース画像の動きを当該合成画像にわたって追跡し続け
るべきであるが、該合成画像を更新してはならないと指
定することができなければならない。もっと多くの画像
を捕捉することが望まれる領域に到達した場合に、使用
者は該禁止命令を取り除く。 ・正しくない又は劣る画像が当該合成画像の何処かの領
域に記録されている。この場合、使用者は合成画像に対
する最近の更新を‘元に戻し’たいか（これは、かなり
のメモリを必要とするであろうが）、又は、もっと有り
そうには、これら領域を単に‘消去’したいであろう。
続いて、上述した機能は、新たな更新が許される前に、
当該位置が合成画像に再同期されるのを可能にする。 ・正しくない又は劣る画像が３Ｄモードで記録され、結
果として合成画像の該領域に関連する‘コントラスト’
情報も正しくない。これは、該領域における後の更新が
正しく行われないであろうことを意味する。この場合、
使用者は、当該領域に関する合成画像及び対応する‘最
良のコントラスト’の記録の両方を‘新しくする’こと
を欲するであろう。

【００３２】顕微鏡に対する特別な変更は要さないとい
うことは、本‘基本’発明の重要な利点であるが、特に
３Ｄモードにおける試料の‘ｚ’位置の制御の追加によ
る可能性のある利点が存在する。これらは： ・試料のｚ位置を知ることは、最大コントラストが得ら
れたｚ位置を検出することにより、各点の（相対）深度
を測定することができることを意味する。これは、各点
について該情報を保持すること（より多くのＲＡＭ）を
要するが、処理の結果が、被写体の各点のｚ位置を提供
するデータ集合であることを意味する。これは、表面の
３Ｄ測定をなすことを可能にし、コンピュータグラフィ
ックス又は双眼写真（自動合成は斯様な機能を提供す
る）を用いた視覚化を可能にする。 ・手によるよりも高信頼性及び繰り返し可能に、且つ、
もっと高速に深度（ｚ）走査をなすことができる。潜在
的には、本システムは、被写体が静止していることを検
出する毎にｚ走査を自動的に実行することができる。 ・被写体が概ね合焦状態なら、動き追跡は最も信頼性が
あるであろう。本システムは各ｚステップに関して総合
コントラスト（輝度値の総合分散が好ましい）を測定す
ることができ、各走査の後にステージを最大のコントラ
ストを与えるｚ位置に自動的に戻すことができる。

【００３３】また、動力化されたステージが必要とされ
ないことは本発明の重要な利点であるが、斯様なステー
ジを使用するのが適切な用途もあり得る。 ・単一のコンピュータを介しての顕微鏡ステージの制御
及び画像捕捉が有利であろう。 ・本発明は、物体の高速走査を実行し、そのｘ，ｙ（及
びｚ）における範囲を決定し、及び予備的な視野像を構
築するために使用することができる。この場合、上記ス
テージを本システムの制御の下に置き、これにより該ス
テージの動きが画像の動きに関連されるようにする（言
い換えると、本システムが全体として校正することがで
きる）のが適切であろう。範囲情報及び校正情報の両方
を用いて、本システムはもっと複雑な画像合成走査
（ｘ，ｙ及びｚでの）を実行することができ、これは一
層長い時間が掛かるかも知れないが、完全に自動的であ
ろう。 ・ソース画像が、集積回路上の特徴のように、多くの繰
り返された要素を含んでいる（又は含んでいそうであ
る）場合、共分散の計算が類似値の多くの最大点を示
し、明瞭な全体的としての最大値が識別されない可能性
がある。これらの場合、直接ステージ制御の使用は、特
定の局部最大値が‘真の’位置に対応するものとして識
別されることを可能にする。

【００３４】時には、各ソース画像に輝度及び／又はカ
ラー値の規則歪みが存在する場合がある。可能性のある
原因はカメラの欠陥（カメラの黒レベル若しくは利得の
変動、不均一な照明、又は光学系の透明度の変動）であ
る。このような欠陥は、通常、モデル化され、測定さ
れ、次いで補正される。このようなアーチファクトが顕
著である場合は、これらアーチファクトは、合成画像内
に（例えば）或る視野の左側領域と他の視野の右側領域
とが重なる箇所に、しばしば、目立った縁を生成する。
この場合、各視野を当該合成画像内に挿入する前に補正
するのが適切である。前述したように、これは、時間が
あまり厳しくない自動走査において一層有効であろう。

【００３５】顕微鏡の光学系は、しばしば、埃及び屑を
集めることがあり、これらは取り除くのが困難である。
これらは結果としてソース画像に高コントラストの細部
となり、最終結果に現れるのみならず、前記類似性の計
算及びコントラストの計算の両方を歪ませ得る。各フレ
ームにおいて静止しており且つ試料とは独立している斯
かる欠陥を識別するには、別個の手順を使用することが
できる。この場合、基本技術に対する２つの改良が可能
である： ・ソース画像における上記欠陥に対応する領域は、類似
性測定に関する限り‘無効’であると見なすことができ
る。これは、それ以外ではそうであるように、これら欠
陥が測定を支配するのを防止する。 ・ソース画像の上記欠陥に対応する領域は、当該合成画
像が該ソース画像の内容により更新される際に、マスク
除去することができる。被写体は僅かに移動され、合成
画像は再び更新されるので、‘無くなった’領域は満た
すことができる。

【００３６】ソース画像の特徴には或るアルゴリズムを
適用するのが望ましいであろう。例えば、共分散におけ
るピークの形状は、当該画像が焦点ぼけしている場合は
非常に広く、大きな値の鋭い細部がある場合は非常に狭
くなるであろう。このような場合は、検索技術を合うよ
うに調整する必要があろう。鋭いピークの場合は、合成
画像に対するソース画像のもっと可能性のある位置を考
慮する必要があるであろう。何故なら、さもなければ、
真のピークが位置のステップの間に入ってしまう可能性
があるからである。

【００３７】同様に、ソース画像の統計値を測定するこ
とにより、前記共分散関数の期待値を容易に導出するこ
とができる。これは、単に最も最近に受け入れられた最
大共分散値から操作するというよりは、確信敷居値を決
定するために使用することができる。

【００３８】‘共分散対相対位置’関数の期待される形
状が既知であるならば（そうであれば、この関数をソー
ス画像と該画像の変位されたものとを用いて計算するこ
とにより、容易に推定することができる）、ピークの近
傍の幾つかの点から該ピークの正確な位置を補間するこ
とができる。粗い検索の場合、このことは、ピーク位置
の推定が、基本ステップサイズが示すよりも一層正確に
達成されるのを可能にする。微細検索の場合、合成画像
内のソース画像の一致位置を１画素より良好な精度で決
定するのに使用することができる。該ソース画像は、合
成画像に挿入される前に、この一層正確な位置を反映さ
せるよう再サンプルされることができる。

【００３９】幾つかのカメラは劣る光学性能を有し、こ
の結果、画素解像度より大幅に低い実効解像度となって
しまう。そのような場合は、合成画像に挿入される前に
ソース画像の画素解像度を減少させることにより、一層
良好な結果を得ることができる。補償を行うために当該
顕微鏡の倍率を変えることができ、そうすれば、本発明
は最終的な合成画像の画素解像度がソース画像の元の解
像度よりも遙かに高くなることを可能にする。

【００４０】

【発明の実施の形態】以下、本発明により構成されたシ
ステムの一例を図面を参照して説明する。

【００４１】本例で実施化されるシステムは、顕微鏡２
（この特別な例においては、ニコンのラボフォト顕微
鏡）上に装着されたカメラ１（この特別な例において
は、ＪＶＣのKY-F50Eカメラ）からなり、ステージ３を
有している。該ステージは、標本（又は物体）９をｘ及
びｙ（即ち該ステージの面）に移動させることができる
が、回転はしない。上記カメラの出力信号は、パーソナ
ルコンピュータ５（２３３ＭＨｚペンティアムIIプロセ
ッサ及び９６ＭＢのＲＡＭを備えるウィンドウズ９８を
実行するゲートウェイ２０００ＰＣ）内のフレーム格納
ボード４（シノプティックス プリズム フレーム格納）
によりデジタル化され、該デジタル化された画像は上記
コンピュータのメモリ内に配置される。当該システムの
制御は、表示及び処理機能を扱うためにシノプティック
ス画像オブジェクトを用いてビジュアルベーシック及び
Ｃ++により書かれたソフトウェアを用いて実施された。

【００４２】図１に示すように、コンピュータスクリー
ン即ちモニタ６は、カメラ１からの直接の新たなソース
画像７及び該画像が占めるであろう当該合成画像の領域
（矩形７’による）の両方の詳細が示された‘合成’画
像８を概ね示している。これら画像は、図２ないし４に
一層詳細に示されている。

【００４３】全体として、当該動作はソース画像７を： ・試料が静止している場合に、及び ・当該合成画像の現在の内容と整列する位置で、合成画
像８にコピーすることである。

【００４４】関係する技術は、上述したように、類似性
の共分散測定値を用いることであるが、他の類似性の尺
度又は差の尺度を用いることもできるであろう。

【００４５】当該合成画像は、最初は、メモリ内に（例
えば）２０００ｘ２０００の画素アレイとして割り当て
られる。全画素用のメモリが割り当てられ、零に初期化
される。何らかの時間の後、該合成画像は図２に見られ
るようなものに構築されているので、これが‘現在の’
合成画像を表すことになる。該画像の幾つかの部分は依
然として黒い（即ち、零である）ことに注意されたい。
何故なら、これら部分は未だに充填されていないか又は
何にも設定されていないからである。有効な部分は、単
純に、黒ではなく、捕捉された画像から充填された領域
である。

【００４６】ここで、図３が捕捉された新たな（例え
ば、７６８ｘ５７６画素の）ソース画像を表す場合は、
この新たなソース画像の矩形を当該合成画像内に位置決
めする必要がある。これは、当該合成画像の（７６８ｘ
５７６画素の）領域と該新ソース画像との間に最良の一
致が存在する場所を探すことにより実行される。このこ
とは、仮想的に（即ち、前記コンピュータ内で）該新ソ
ース画像を当該合成画像上でずらし、対応する画素の共
分散を連続的に計算し、該共分散を最大にするような上
記ソースの位置を探すことにより実施される。

【００４７】以下のような疑似コードルーチンを使用す
ることができる： count=0 sums=0 sumM=0 sumSM=0 for y=0 to 575 { for x=0 to 767 { if m(x+px,y+py)>0 { count=count+1 sumS=sumS+s(x,y) sumM=sumM+m(x+py,y+py) sumSM=sumSM+s(x,y)*m(x+py,y+py) } } } covariance=sumSM/count-sumS/count*sumM/count if covariance>bestCovariance { bestCovariance=covariance bestPx=px bestPy=py } 共分散の代わりに‘差’の尺度が考慮されるような他の
方法を考えることは容易であろう。そのような場合は、
当該ソースと当該合成との間の差の和を最小にするよう
な位置(px,py)が探査される。

【００４８】次のようなルーチンとなるであろう： count=0 diff=0 For y=0 to 575 { For x=0 to 767 { if m(x+px,y+py)>0 { diff=diff+abs(s(x,y)-m(x+px,y+py)) count=count+1 } } } averageDiff=diff/count if averageDiff<bestAverageDiff { bestAverageDiff=averageDiff bestPx=px bestPy=py } ここで、s(x,y)は前記ソースの(x,y)における輝度であ
り、m(x+px,y+py)は該ソースが(px,py)だけシフトされ
た場合の当該合成の対応する画素の輝度である。

【００４９】最良の一致を与える位置が検索されると、
これら画素は以下のようなルーチンにより当該合成にコ
ピーされる： このように、メモリの内容は、図４に図示されるように
ソース画像７を含むように変更され、更新された合成画
像８’を提供する。

【００５０】最良の合致の位置-(px,py)-が測定され、
次いで新たな画像が捕捉されると共に再び測定(px’,p
y’)がなされ、これら２つが非常に類似している場合
は、当該物体又は情景及びカメラは互いに静止している
と結論することができる。これは必須のステップではな
いが、前述した２つの利点を提供する。このようにし
て、静止状態は、連続したソース画像を比較することに
よるのではなく（これも可能であるが）、合成画像内の
ソース画像の位置の連続した測定により検出される。

【００５１】

【発明の効果】前述した従来のＳｉＳ形式のシステムよ
り有利な点は、動力化されたステージの出費を必要とし
ない点である。付加的な利点（動力化されたステージが
利用可能な場合にも成り立つ）は、被写体が探査される
につれて、即座に結果を見ることができ、被写体の大き
さ及び形状は前もって知る（又は推測する）必要はない
ということである。

【図面の簡単な説明】

【図１】図１は、本システムの概要図である。

【図２】図２は、本システムの動作中におけるある時点
でのモニタ上の合成画像の表示である。

【図３】図３は、新たなソース画像の表示である。

【図４】図４は、上記ソース画像が合成画像中に組み込
まれた後の当該合成画像の表示である。

【符号の説明】

１…カメラ、 ２…顕微鏡、 ３…ステージ、 ４…フレーム格納ボード、 ５…パーソナルコンピュータ、 ７…ソース画像、 ８…合成画像 ９…試料（物体）。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 599171051 Ｂｅａｃｏｎ Ｈｏｕｓｅ， Ｎｕｆｆｉ ｅｌｄ Ｒｏａｄ， Ｃａｍｂｒｉｄｇｅ ＣＢ４ １ＴＦ， ＥＮＧＬＡＮＤ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 物体の異なる視界の一連の小さなソース
   画像から物体の大きな合成画像（8）を生成するシステ
   ムにおいて、 物体の画像を使用時に連続的に供給する画像化手段（1,
   2,3）と、 前記物体の合成画像を表現するデータを記憶するデータ
   記憶手段（4）と、 第１及び後続のソース画像（7）を表すデータを前記合
   成画像を表すデータに含めて、前記合成画像を表す記憶
   されたデータを増加させる手段（5）と、 前記画像化手段により供給される最も最近のソース画像
   と、前記合成画像の面積が対応する複数の領域の個々の
   画像との一致の程度の尺度を供給する手段と、を有し、
   前記システムは、前記一致の程度の尺度が最大である場
   合に後続のソース画像（7）を表すデータが前記合成画
   像（8）を表すデータに含まれるようにして、前記ソー
   ス画像が前記合成画像に正しい位置で一致されるように
   することを特徴とするシステム。
2. 【請求項２】 物体の異なる視界の一連の小さなソース
   画像（7）から物体の大きな合成画像（8）を生成する方
   法において、 物体の一連のソース画像（7）を発生し、 データ記憶手段（5）内に前記物体の合成画像を表すデ
   ータを記憶するメモリを割り当て、 前記合成画像を表すデータを記憶するために、第１及び
   後続するソース画像を表すデータを前記メモリに記憶
   し、 最も最近のソース画像と、前記合成画像の面積が対応す
   る複数の領域の個々の画像との一致の程度を測定する、
   ような各ステップを有し、前記一致の程度の測定値が最
   大である場合に前記後続のソース画像を表すデータが前
   記合成画像を表すデータに含まれるようにして、前記ソ
   ース画像が前記合成画像に正しい位置で一致されるよう
   にすることを特徴とする方法。
3. 【請求項３】 請求項２に記載の方法において、前記一
   致の程度の測定値の敷居値が予め選定され、各測定値が
   前記敷居値より小さい場合に、前記合成画像に一致しな
   いであろうソース画像が破棄されることを特徴とする方
   法。
4. 【請求項４】 請求項２又は請求項３に記載の方法にお
   いて、完成された前記合成画像の大きさは予め決められ
   ているが、該合成画像に一層多くのメモリを割り当てる
   ことにより増加することが許容されることを特徴とする
   方法。
5. 【請求項５】 請求項２ないし４の何れか一項に記載の
   方法において、一致された新たなデータが前記物体の各
   画像の最良の表現となるように、先ず、画像化手段が前
   記物体に対して静止しているか否かの判定がなされるこ
   とを特徴とする方法。
6. 【請求項６】 請求項２ないし５の何れか一項に記載の
   方法において、前記一致の程度の測定が、類似性の程度
   を決定するパラメータ又は差の程度を決定するパラメー
   タの測定を含んでいることを特徴とする方法。
7. 【請求項７】 請求項２ないし６の何れか一項に記載の
   方法において、前記一致の程度の測定が先ず前記捕捉さ
   れたデータの部分集合に対して実行され、必要なら、次
   に捕捉された全集合に対して実行されることを特徴とす
   る方法。
8. 【請求項８】 請求項１に記載のシステムにおいて、前
   記ソース画像のデータが前記物体（9）に対して移動さ
   れるカメラ（1）又は他の画像捕捉装置により供給され
   ることを特徴とするシステム。
9. 【請求項９】 請求項１又は請求項８に記載のシステム
   において、前記データ記憶手段、前記合成画像データに
   データを含める手段及び前記一致の程度の尺度を供給す
   る手段が、そのようにプログラムされたコンピュータを
   含むことを特徴とするシステム。
10. 【請求項１０】 請求項１に記載のシステムに使用する
    コンピュータプログラムを有するようなコンピュータプ
    ログラム媒体において、前記コンピュータプログラム
    が、 前記画像化手段により供給される最も最近のソース画像
    と、前記合成画像の面積が対応する複数の領域の個々の
    画像との一致の程度の尺度を供給し、 前記一致の程度の尺度が最大である場合に、後続のソー
    ス画像を表す前記データを前記合成画像を表すデータに
    含ませる、ように構成されていることを特徴とするコン
    ピュータプログラム媒体。