JP2001501321A - 光学現場情報システム - Google Patents

Abstract

(57)【要約】 光学現場情報システムは、ビューイング光学システムのパラメータを考慮しながら合成物体の１対の像を生成する段階を含む。次に、左右眼（立体）像を２つの個別の接眼レンズで見たそれぞれの現実物体と適当に結合させる。合成像を完全な三次元空間で現実物体の像に重ねることができる。

Description

【発明の詳細な説明】 光学現場情報システム 発明の背景 １．発明の分野 本発明は、光学現場情報システムに関する。特に、本発明は、任意倍率の顕微 鏡や他の形式のビューイング装置等の光学システムで見える視野の現場で様々な 情報（合成物体）を与えるシステムに関する。 ２．関連技術の説明 合成された像を見えるようにする従来システムは幾種類もある。１つのそのよ うな形式の従来システムは、仮想現実システムである。そのようなシステムでは 、情景の立体像対をコンピュータで完全に合成（生成）してから、双眼鏡装置で 見る。仮想現実システムでは、現実の明るい物体の像の上に合成像を重ねる試み は行われていない。実際に、一般的な仮想現実システムは暗い環境で使用される ため、高輝度の合成像は必要ない。 別の形式の従来システムは、パイロット等が使用するような頭部取り付け形デ ィスプレイである。そのようなシステムでは、パイロットの視野内の物体が非常 に遠いため、それらは感知できる立体効果を生じない。従って、視野は実質的に 奥行き感のない二次元平面である。その結果、パイロットの視野に重ね合わせる 合成像は奥行き感を必要と しない。 さらに別の形式の従来システムは、外科用顕微鏡に組み込まれたディスプレイ である。そのようなシステムは、例えばＥ．Ｍ．グレーサ(Glaser)に発行された 米国特許第４，２０２，０３７号及びロバーツ(Roberts)他に発行された米国特 許第４，７２２，０５６号に記載されている。グレーサ特許は、外科用顕微鏡の 視野にコンピュータ生成情報を（整合状態で重ねないで）同時に見えるようにす るシステムを記載している。ロバーツ特許は、整合状態の重なりを生じる方法を 記載している。この方法は、顕微鏡の焦点面上だけで正確に整合した二次元像の 重なりに限定される。 原理的には、ロバーツ特許の方法は、パイロットが使用する頭部取り付け式ディ スプレイに似ており、単眼視を与えるだけである。 発明の概要 本発明の１つの目的は、明るい現実像を背景にして合成像をみることができる ようにする十分な光可能出力を与えることである。 本発明の別の目的は、合成像と現実像の結合像を立体視できるようにすること である。 本発明のさらに別の目的は、三次元合成像と三次元現実像の立体結合像を与え ることである。 本発明は、合成三次元物体のコンピュータ生成像を観察者の視野内の現実の三 次元物体の像に正確に重ねて整合さ せることができる方法に関する。本説明に記載されている実施例はまた、二次元 及び三次元物体を整合及び不整合状態で重ねる従来システムよりも明るさ、コン トラスト、解像度、調節しやすさ、及び作動を改善する多くの新規な特徴及び技 法を備えている。 本方法は、合成された三次元像に対応する三次元合成物体の合成立体像対を生 成する段階を含む。本方法はまた、合成立体像対を実際の物体のそれぞれの像に 対応した現実の立体像対と結合させる段階を含み、実際の立体像対はそれぞれ顕 微鏡の２つの接眼レンズから得られる。この方法によって、合成された像を単一 の焦点面上だけではなく、三次元空間で現実物体の像に重ねることができる。 図面の簡単な説明 本発明の上記及び他の目的及び利点は、添付の図面を参照しながら以下の詳細 な説明を読めば十分に明らかになり、全図面を通して同一の参照番号は対応部材 を表している。 図１は、顕微鏡を使用した従来のビューイングシステムを示しており、 図２は、立体像を得るために顕微鏡を使用した従来の立体的ビューイングシス テムを示しており、 図３は、本発明の第１実施例に従って単一の焦点面上に像の重なりを生じるシ ステムを示しており、 図４は、本発明の第２または第３実施例のいずれかに従って立体像を生成する システムを示しており、 図５Ａ及び図５Ｂは、基準面及び異平面に対する合成像のＬＣＤピクセルのマ ッピングにおける、第２及び第３実施例間の違いを示している。 好適な実施例の詳細な説明 本発明は、任意倍率の顕微鏡や他の形式のビューイング装置等の光学システム で見える視野の現場で様々な情報（合成物体）を与える光学現場情報システムに 関する。ここで使用する「顕微鏡」の用語は、顕微鏡や双眼鏡と共に、ゴーグル に取り付けられた光学装置も含むものと解釈されたい。「合成物体」の用語は、 本発明で表示された情報がコンピュータ及び電子機器で合成されていることを強 調するために使用されており、それは二次元と共に三次元の物体を表すことがで きる。 顕微鏡の通常の作動では、顕微鏡の物体空間内の物体からの光（すなわち、情 報源）が顕微鏡の対物レンズに入り、顕微鏡の接眼レンズから出ることによって その物体の像を見ることができる。この概念を延長すると、光は光源１０５から 物体１００に送られる。光の、物体１００に送られた部分は物体１１０で反射さ れて顕微鏡１１０に入る。 顕微鏡１１０に入った光は、接眼レンズ１３０を通過した後、ビームスプリッ タ１２０で分割される。ビームスプリッタ１２０からの出力の一部は、図１に示 されているように、電子カメラ等の結像装置１４０に送られる。ビームスプリッ タ１２０からの光出力の残りの部分は、観察者の 目１６０に送られる。電子カメラ１４０は、テレビモニタで像を見るためか、像 の電子分析に使用することができる。 物体の立体視を行う場合、物体を異なった２つの角度から結像し、２つの接眼 レンズを通して見ることによって物体の立体像を形成する。図２は、物体の立体 像を得るためにテレビモニタ２３０へ立体信号を一緒に送る第１顕微鏡２１０及 び第２顕微鏡２２０の従来通りの使い方を示している。 本発明の第１実施例は、現実物体と合成物体を同時に見るためのシステムに対 応している。第１実施例では、図３に示されているように、２つの異なった光源 からの光を光学結合器３１０で結合させる。第１光源は、ビデオ信号をＬＣＤ３ ５０に出力するコンピュータ３４０で生成された合成像であり、このＬＣＤ３５ ０は光源３６０によって照明される。ＬＣＤ３５０の出力は、物体１００から対 物レンズ３２０を介して受け取られた光と結合される。光学結合器３１０の結合 光出力は接眼レンズ３３０を通過し、接眼レンズがこの光を集束させることによ って、両方の物体を観察者１６０の視野に同時に見ることができる。図３では、 接眼レンズ３３０と対物レンズ３２０が共に２つの個別レンズを互いに離隔配置 したものとして示されているが、当該技術の専門家であれば、本発明の範囲内に おいて様々な他の形式の接眼レンズ及び対物レンズを利用できることは理解でき るであろう。 第１実施例では、見えている像の一方が現実物体からの 像に対応するのに対して、見えている他方の像は液晶ディスプレイ（ＬＣＤ）を 使用して生成されたような、電子機器を介して入力された合成像またはテキスト に対応している。それによって、上記の第１実施例では現実物体と合成物体を同 時に見ることができる。光源３６０によって適当な量の光を加えられたＬＣＤ３ ５０を使用することによって、物体１００からの明るい現実像に重ねた合成像を はっきりと見ることができる。 立体視を得るために、本発明の第２実施例は２つの個別のシステムを、すなわ ち左眼用と右眼用を使用しており、２つの像を並べて合焦させることによって、 単一の焦点面上に像の重なりを生じて観察者が見ることができるようにする。図 ４は、立体視を行うことができるようにした本発明の第２実施例に従ったシステ ムを示している。 第２実施例は、「左眼合成像」に対応した電気信号（例えば、ビデオ信号）を ＬＣＤ及び光学機器ユニット４２０Ａに出力する第１コンピュータ４１０Ａを備 えている。ＬＣＤ及び光学機器ユニット４２０Ａは、マトリックス配列のＬＣＤ ピクセルと共に、ピクセル配列から光を特定倍率及び輝度で出力する光学機器を 含む。ＬＣＤ及び光学機器ユニット４２０Ａは、光源４３０Ａから光ファイバケ ーブル等を介して光を受け取り、照明された合成像をビーム結合器４４０Ａに出 力する。 照明器４５０Ａ及び４５０Ｂは、現実物体４９０の方向に光を送る。照明器は 、広い光学スペクトルにわたる光を 出力するランプとして構成することができる。現実物体４９０に当たった光の一 部は対物レンズ４６０Ａ及び４６０Ｂに向かう方向に反射される。対物レンズ４ ６０Ａは、最終的に観察者の左眼に送られる光を集束させる対物レンズであり、 対物レンズ４６０Ｂは、最終的に観察者の右眼に送られる光を集束させる対物レ ンズである。 対物レンズ４６０Ａからの光出力はビーム結合器４４０Ａに送られ、そこで現 実物体からの「現実像」はＬＣＤ及び光学機器ユニット４２０Ａから受け取られ た「合成像」と結合される。結合した「合成及び現実」光は接眼レンズ４７０Ａ を通過して、観察者の左眼４９５Ａ上で集束する。 同様に、反射光は対物レンズ４６０Ｂでも受け取られて、ビーム結合器４４０ Ｂへ送られる。第２コンピュータ４１ＯＢが「右眼合成像」用のビデオ信号を生 成し、これはＬＣＤ及び光学機器ユニット４２０Ｂへ送られる。ＬＣＤ及び光学 機器ユニット４２０Ｂはまた、光源４３０Ｂから光ファイバ接続部等を介して光 を受け取る。ＬＣＤ及び光学機器ユニット４２０Ｂからの照明合成像出力はビー ム結合器４４０Ｂに送られ、そこで現実物体から受け取られた光に対応した現実 像と結合される。第２実施例では、ＬＣＤ及び光学機器ユニット４２０Ａ及び４ ２０ＢのＬＣＤは、二次元グリッドに配置されたピクセルマトリックスに対応し ている。ビーム結合器４４０Ｂから送られた結合光は接眼レンズ４７０Ｂを通過 して、観察者の右眼４９５Ｂ上で集束する。 第２実施例に従ったシステムによって、観察者は合成像と重なった現実像の立 体視を行うことができる。そのような構造は多くの医療処理に有益である。例え ば、合成像としてＣＡＴＳＣＡＮまたはそれの選択部分を、第２実施例に従った システムの覗き部分に入っている実際の患者に対応した現実像に重ね合わせるこ とができる。 第２実施例では、合成像をＬＣＤ及び光学機器ユニットのＬＣＤ配列の１つま たは複数のピクセル上に適当に結像できるように校正が実施される。この校正は 、ビューイングシステムに対して特定の距離及び角度でテスト像を与えてから、 そのテスト像がＬＣＤのＸ−Ｙ配列上のどこに現れるかを決定する等の多くの方 法で実施することができる。ビューイングシステムに対する物体の様々な角度で 得たこの情報に基づいて、ビューイングシステムに対する現実物体の実際の位置 を知ると共に、その位置の物体によってＬＣＤ配列のどのピクセルが照明される かを知ることによって、合成像を現実像に適正に重ね合わせることができる。 第２実施例では、基準面がＬＣＤのピクセル配列の平面に対応しており、合成 像は、それが他の平面ではなく基準面のどこに現れるかだけに基づいて決定され る。このため、現実像と合成像の結合像は、基準面上の現実物体に対して正確に 有効であるが、現実物体が基準面上にない時、合成像を現実像上に満足できるよ うに重ね合わせることができないであろう。しかし、第２実施例は複雑は計算を 必要とせず、正確な重なり合いが必要ない一部の状況では満足で きるであろう。しかし、例えば複雑な外科手術等で正確な重なり合いが必要な場 合、別の方法が望ましい。 これに関連して、本発明の第３実施例は、現実物体の三次元像上への合成生成 像の三次元的に重なりを生じる。第３実施例は、図４の第２実施例と同様な構造 を有しているが、第３実施例のコンピュータは、三次元現実像に重ね合わせるこ とができ、現実物体をいずれの角度及び／または距離から見た時にも現実的に見 える三次元合成像を生成する手段を提供している。 第１に、合成物体の合成立体像（左右眼）対をコンピュータ４１０Ａ及び４１ ０Ｂで計算してから、ビューイング光学システムのパラメータを考慮に入れなが らＬＣＤ４２０Ａ及び４２０Ｂに表示する。これらのパラメータは、三次元物体 空間の点とＬＣＤの平面上の点の間の事前校正対応から計算することができる。 この方法は図５Ａ及び図５Ｂに図示されており、これには現実物体空間とＬＣＤ 空間の対応が示されている。ここで図５Ｂを参照すると、現実物体が基準面５１ ０から異平面５２０へ（すなわち、顕微鏡からの距離が異なった位置へ）移動し た時、異平面５２０上の点Ａ’は基準面５１０上の異なったピクセル位置Ｂにマ ップされる。 第２実施例では、合成物体を顕微鏡の焦点面上の二次元物体であると見なして いる。従って、第２実施例の校正処理で、顕微鏡の焦点面上の点とＬＣＤ平面上 の点の間の対応が決定される。実際の合成物体が三次元物体である場合、 この三次元物体の断面またはこの三次元物体の圧縮投影図のいずれかをＬＣＤに 表示することによって、顕微鏡の焦点面上に重なりを生じる。 第２実施例では、合成像は現実像に二次元的に重なるだけであるので、異平面 ５２０上の点Ａ’は基準面５１０上の点Ａに圧縮されるであろう。図５Ａは、Ｌ ＣＤ平面上のピクセルＡと隣接のピクセルＢの位置を示しており、この時のＬＣ Ｄ平面はマトリックス配置された複数のＬＣＤ（図示せず）を含む。図５Ｂの点 線の交点は、基準面５１０と異平面５２０に対するビューイングシステムの位置 に対応している。 現実物体が基準面上にある場合、第２実施例に従ったシステムで照明されるピ クセルは、第３実施例によって照明されるピクセルと一致する。しかし、物体が 基準面から特定距離だけ（すなわち、顕微鏡に対して接離する方向に）移動した 場合、図５Ｂに示されているように、第２実施例によって照明されるピクセルは 第３実施例によって照明されるピクセルと異なるであろう。要するに、ＬＣＤ配 列は、合成像が顕微鏡に対して特定距離の位置に現れるように構成されており、 その特定距離は基準面に対応している。 第３実施例では、二次元ＬＣＤピクセル配列上への三次元現実空間のマッピン グを決定する手段が、現実テスト物体から受け取られる現実像に基づいた校正に よって、また現実テスト物体に対するビューイングシステムの距離及び角度を考 慮に入れることによって予め実施されることが好 ましい。同時に、コンピュータ４１０Ａ及び４１０Ｂは、ＬＣＤ４２０Ａ及び４ ２０Ｂ上のＬＣＤピクセルのＸ−Ｙグリッドにおいて、現実物体がどこに現れる か（すなわち、ＬＣＤ配列内のどのピクセルが照明されるか）を決定することに よって、物体４９０から得られる三次元現実像に重なる適当な三次元合成像を生 成する。 第３実施例に従ったシステムは、ビューイングシステムの深さ及び角度を考慮 に入れるが、第２実施例に従ったシステムは、合成像を単一（基準）平面上に圧 縮する。言い換えると、第３実施例では、Ｘ、Ｙ、Ｘの物体空間は、左ＬＣＤ配 列上の特定のピクセル数（Ｘ_L、Ｙ_L座標）と右ＬＣＤ配列上の特定のピクセル数 （Ｘ_R、Ｙ_R座標）に対応する。第３実施例は有効空間上に三次元マッピングを行 うのに対して、第２実施例は有効空間上への合成像の二次元マッピングを行う。 第３実施例では、ＬＣＤ及び光学装置ユニット４２０Ａ及び４２０Ｂ内の光学装 置に対するＬＣＤの位置を調節することによって、ＬＣＤからの光が現実物体の 適当な平面（例えば現実物体の中央か、別の平面であり、第３実施例ではオペレ ータが調節することができる）から出ているように見せることができる（これは 合成像を生成するために使用される）。このため、本システムは合成像と現実像 が重なった見やすい映像を与える。 第２及び第３実施例では、光が必ずしも「無限」距離ではなく特定距離の位置 にあるように見えるように接眼レンズを調節することもできる。これによって、 物体を三次元 合成像と一緒に現実的に立体視することができ、観察者は物体に対する自分の距 離及び角度を実際に「感じる」。 第３実施例では、人間の眼で見た合成像が、第２実施例の場合のように単一の 焦点面上だけではなく、有効三次元空間全体で現実物体の像に重ねられる。 合成立体像対を生成する手段は、液晶ディスプレイ（ＬＣＤ）または他の同様 な方法で実行することができる。ブラウン管（ＣＲＴ）では一般的に現実の明る い像の上に合成像を重ね合わせるために必要な光量及び解像度を得ることができ ず、それが、上記の各実施例でＬＣＤが好まれる理由であることに注意されたい 。各実施例において、光源と液晶ディスプレイの間の光導管として光ファイバが 使用されており、これによって強い光源を離れた位置に配置することができる。 本発明はまた、ビューイング接眼レンズシステムの入射ひとみに光ファイバの先 端チップを結像する結像手段を設けて、眼に対する光の効果的な結合が得られる ようにする。本発明は、ＬＣＤ照明強さを調節する調節手段を設けて、左右のＬ ＣＤ輝度レベルを等しくすることもできる。光調節手段は、ＬＣＤ用の光を発生 する光源内で行ってもよい。適当な光調節によって、共通の輝度レベルを顕微鏡 の照明視野に適合させることができる。 第２実施例では左右の合成像が共通の基準面上に並べて合焦されるが、第３実 施例では、左右の合成像が現実物体空間内の最適基準面上に並べて合焦される。 左像用及び右像用の調節手段によって、左右の合成像の倍率を調節して 互いに釣り合わせることができる。ＬＣＤディスプレイの倍率も、ＬＣＤ及び光 学機器ユニット内に設けられた光学機器によって調節して、接眼レンズの視野を ディスプレイ像で覆われるように調節することができる。 本発明は、ｉ）合成三次元物体と、ｉｉ）三次元空間とＬＣＤの平面上の点の 間の事前校正対応を定めるデータベースから立体視を計算することができる。デ ータベースは、好ましくはコンピュータがアクセスできるメモリに記憶されてい る。コンピュータは、好ましくは立体視の上記計算を実行するためのソフトウェ アを埋め込んでいる。変換マトリックスを使用して、現実物体に対するビューイ ングシステムの特定の角度及び距離に基づいてＸ−Ｙピクセル配列内のどのピク セルが照明されたかを決定することができる。 本発明は、現実物体からの現実像の輝度に基づいて、ＬＣＤが発生する像のコ ントラストを調整する（すなわち、必要に応じてそれらを明るくするか、暗くす る）ことができる。 本発明はまた、接眼レンズの視野内で左右の眼による合成像の眺めを調節可能 に重ねる（すなわち、現実像に重ねられる合成像の寸法を拡大及び縮小する）こ とができるように、Ｘ、Ｙ及びθ調節を行うＸ、Ｙ及びθ調節手段を設けてもよ い。 本発明はまた、左右の像を重ねるために必要なシステムのパラメータを測定す る測定手段を備えることができる。 また、視野内に合成像の重なりを動的に維持するために、可変レンズを含む光 学システムのパラメータを動的に測定してもよい。 さらに、本発明はまた、視野内に合成像の重なりを動的に維持するために、光 学システムのパラメータを動的に測定する動的測定手段を備えることができる。 以上に実施例を説明してきたが、当該分野の専門家であれば発明の範囲から逸 脱することなく発明の教示に従った上記実施例の変更を考えることができるであ ろう。例えば、本発明は、画像案内外科手術、画像案内治療、画像案内診断、遠 隔外科手術、ロボット式外科手術、及び現実物体をそれらの三次元基準プロフィ ールと比較する検査システムを含む多くの用途を有する。

Claims (1)

1. 【特許請求の範囲】 １．現実物体及び合成物体の立体視を行う方法であって、 ａ）現実物体を照明する段階と、 ｂ）現実物体から反射された光を受け取る段階と、 ｃ）左眼及び右眼の立体合成像を生成する段階と、 ｄ）左眼立体合成像を現実物体から受け取った光と結合させて第１結合像と する段階と、 ｅ）右眼立体合成像を現実物体から受け取った光と結合させて第２結合像と する段階と、 ｆ）前記第１結合像を観察者の第１眼に送り、前記第２結合像を観察者の第 ２眼に送る段階を含む方法。 ２．左眼及び右眼の立体合成像は、ビデオデータのコンピュータ出力に基づいて 生成され、 該ビデオデータをそれぞれ第１及び第２液晶ディスプレイ（ＬＣＤ）に送るこ とによって、前記ビデオデータを左眼及び右眼立体合成像に変換するようにした 請求の範囲第１項に記載の方法。 ３．光源が第１及び第２ＬＣＤ用の光を発生し、それによって左眼及び右眼立体 合成像に特定強さを与えるようにした請求の範囲第２項に記載の方法。 ４．該特定強度は調節可能である請求の範囲第３項に記載の方法。 ５．左眼及び右眼立体合成像は、それぞれ第１及び第２Ｌ ＣＤのピクセルマトリックスの特定ピクセルに対応した二次元空間上にマップさ れるようにした請求の範囲第２項に記載の方法。 ６．観察者に対する現実物体の実際の角度に関係なく、第１及び第２ＬＣＤのピ クセルマトリックスの特定マトリックスが作動して左眼及び右眼の立体合成像を 生成するようにした請求の範囲第５項に記載の方法。 ７．観察者に対する現実物体の実際の角度に部分的に基づいて、第１及び第２Ｌ ＣＤのピクセルマトリックスの特定マトリックスが作動して左眼及び右眼の立体 合成像を生成するようにした請求の範囲第５項に記載の方法。 ８．実際の物体及び合成物体を立体視するための装置であって、 現実物体を照明する照明器と、 現実物体から反射された光を受け取る第１及び第２対物レンズと、 左眼及び右眼立体合成像を生成し、その結果としてそれぞれ第１及び第２ビデ オ信号を発生するコンピュータと、 それぞれ第１及び第２ビデオ信号を受け取って、第１及び第２合成像を生じる 第１及び第２液晶ディスプレイ（ＬＣＤ）と、 第１合成像を第１対物レンズから受け取った光と結合させて第１結合信号にす る第１結合器と、 第２合成像を第２対物レンズから受け取った光と結合させて第２結合信号にす る第２結合器と、 それぞれ第１及び第２結合信号を受け取って、それぞれ第１及び第２結合信号 を観察者の左眼及び右眼に送ることによって立体視できるようにする第１及び第 ２接眼レンズを備えた装置。 ９．前記第１及び第２ＬＣＤの各々は二次元ピクセル配列を有している請求の範 囲第８項に記載の装置。 １０．さらに、光を出力する光源と、 該光源からの光出力を前記第１及び第２ＬＣＤに送る少なくとも１本の光ファ イバ線を備えており、 該光ファイバ線は、左眼及び右眼立体像が生成されるように光を前記ＬＣＤに 送るようにした請求の範囲第８項に記載の装置。 １１．さらに、前記光源からの光出力の強さを変化させる光調節手段を備えて、 左眼及び右眼立体合成像の強さを変化させることができるようにした請求の範囲 第１０項に記載の装置。 １２．左眼及び右眼立体合成像は、それぞれ前記第１及び第２ＬＣＤのピクセル マトリックスの特定ピクセルに対応した二次元空間上にマップされるようにした 請求の範囲第８項に記載の装置。 １３．観察者に対する現実物体の実際の角度に関係なく、前記第１及び第２ＬＣ Ｄのピクセルマトリックスの特定マトリックスが作動して左眼及び右眼の立体合 成像を生成するようにした請求の範囲第１２項に記載の装置。 １４．観察者に対する現実物体の実際の角度に部分的に基 づいて、前記第１及び第２ＬＣＤのピクセルマトリックスの特定マトリックスが 作動して左眼及び右眼の立体合成像を生成するようにした請求の範囲第１２項に 記載の装置。