JP2018514748A - 光学撮像システムおよびその方法 - Google Patents

Abstract

光学撮像システムは、３次元（３Ｄ）光スキャナを利用して、外科患者などの、撮像されている目標対象の形状情報、色反射率情報、および蛍光情報を捕捉する。本システムは、また、画像マッピング処理を実行するために目標対象の形状情報を利用して、捕捉した蛍光または他の術中画像を、改善された精細度または鮮明さで、目標対象上に投影して戻す。追加として、本システムは、目標対象の形状情報を利用して、ディスプレイ上への提示のため、または目標対象上への投影のために、目標対象のカラー画像などの２つ以上の画像を、蛍光画像に重ね合わせる。【選択図】図１

Description

関連出願の相互参照
本出願は、２０１５年２月６日に出願された、米国仮出願第６２／１１２，９９３号の利益を主張し、その内容が参照により本明細書に組み込まれる。

技術分野
一般に、本発明は、光学撮像のシステムおよび方法に関する。詳細には、本発明は、３Ｄ走査、光学撮像、マルチモーダル撮像、ならびに画像重ね合わせおよび表示に関する。さらに詳細には、本発明は、３Ｄ走査を、光学撮像および放射線画像診断法などの、医用撮像と組み合わせて利用して、診断機能を実行するためのシステムおよび方法に関する。

医療分野で使用されているような、現在の撮像技術は、外科医などの、医療従事者によって求められるような、複数画像の強固な統合をまだ提供できない。例えば、表面形状測定は、現在、構造化光３次元（３Ｄ）スキャナによって利用されるものなどの、３Ｄ走査法を使用して実施され、それは、蛍光撮像または偏光撮像によって提供されるものなどの、高度な光学撮像機能を提供しない。３Ｄ走査ベースの撮像方法は、表面情報、形状データ、３Ｄ点群データ、ならびに対象およびそれらの動きを追跡する能力を提供するが、３Ｄ走査は、限られた生医学応用および診断情報しか提供しない。

あるいは、医用光学撮像法は通常、平面撮像法の使用を伴い、表面形状情報を提供しない。例えば、かかる医用光学撮像法によって取得された平面撮像情報は、形態／形状情報を提示しない。加えて、かかる平面撮像情報は、コンピュータ断層撮影（ＣＴ）または磁気共鳴断層撮影（ＭＲＩ）データなどの、他の撮像情報と融合させるか、または組み合わせるのが困難である。蛍光撮像システムなどの、現在の光学撮像システムが３Ｄ形状情報を欠いていることにより、光学撮像と他の画像診断法との間の画像重ね合わせが困難になる。

例えば、典型的な平面蛍光撮像では、十分な奥行き／形状情報を、手術部位などの、関心の標的から取得することができない。蛍光断層撮影法は、非常に低速であり、術中撮像用に使用すること、および組織変形を追跡することが不可能である。さらに、蛍光撮像を、ＣＴ、ＭＲＩ、または陽電子放射断層撮影（ＰＥＴ）から術前撮像データと重ね合わせることは困難である。

従って、３Ｄ走査を医用光学撮像技術と一緒に利用して、蛍光撮像または偏光撮像などの、専用光学撮像法から取得される情報と統合される表面形状画像を生成する撮像システムに対する必要性がある。加えて、３Ｄ走査を利用して、目標対象の動きおよび変形を追跡する、表面形状情報、ならびに、診断情報を提供する光学撮像法と組み合わせた、データ融合／画像重ね合わせのための３Ｄモデルの生成を提供する撮像システムに対する必要性もある。追加として、手術、治療モニタリング、放射線療法モニタリング、創傷治癒、遠隔医療、保安点検、および医学訓練を含むが、それらに限定されず、様々な用途で使用可能な、３Ｄ走査を利用する撮像システムに対する必要性がある。さらに、バーチャルリアリティ特徴を３Ｄ走査撮像および医用光学撮像技術と組み合わせる撮像システムに対する必要性がある。

前述の観点から、目標対象を撮像するための光学撮像システムを提供することは、本発明の一態様であり、それは、コントローラ、コントローラに結合された、目標対象を光で照らすための発光体モジュール、およびコントローラに結合された、目標対象を撮像するための視野を有する画像検出モジュールを含み、コントローラは、１つのモードにおいて、画像検出モジュールが目標対象の３次元（３Ｄ）形状画像を捕捉し、第２のモードでは画像検出モジュールが目標対象の特定の画像を捕捉するように、発光体および画像検出モジュールを制御する。

平坦でない目標対象を撮像するための光学撮像システムを提供することは本発明の別の態様であり、それは、コントローラ、コントローラに結合された、目標対象を光で照らすための発光体モジュール、コントローラに結合された、平坦でない目標対象を撮像するための視野を有する画像検出モジュールを含み、コントローラは、画像検出モジュールが目標対象の３次元（３Ｄ）形状画像を捕捉するように発光体および画像検出モジュールを制御し、かつ、コントローラは、平坦でない表面の複数の部分と発光体モジュールとの間の相対距離を識別して補正した投影画像を生成し、その後、補正した投影画像が発光体モジュールによって投影される。

目標対象の画像を重ね合わせるための方法を提供することは、本発明の別の態様であり、それは、目標対象の第１の特定の画像を第１の画像検出モジュールから取得すること、目標対象の第２の特定の画像を第２の画像検出モジュールから取得すること、目標対象の２つ以上の画像検出モジュールに対する距離を取得して目標対象の形状画像を取得すること、第１の特定画像、第２の特定画像、および距離に基づいて変換行列を計算すること、ならびに変換行列に基づき、第１の特定画像を第２の特定画像に重ね合わせること、のステップを含む。

目標対象の光学走査の方法を提供することは本発明の別の態様であり、それは、目標対象を偏光によって照らすこと、目標対象から戻った光を分析器により分析光として処理すること、および分析光を目標対象の形状画像として検出すること、のステップを含む。

光学撮像システムを提供することは本発明の別の態様であり、コントローラは、術前画像空間、術中画像空間、および周辺画像空間の間の変換行列を計算すること、ならびに術前画像空間、術中画像空間、および周辺画像空間を重ね合わせること、を含むステップを実行するように構成される。

目標対象の酸素飽和度撮像または脈管構造撮像は、本発明の光学撮像システムの別の態様である。

目標対象の３Ｄ形状、蛍光撮像、吸収係数および散乱係数を捕捉するために提供することは、本発明の光学撮像システムの別の態様である。

ジェスチャ認識を提供することは、本発明の光学撮像システムの別の態様である。

心臓ゲーティングを提供することは、本発明の光学撮像システムの別の態様である。

二重標識である造影剤（例えば、蛍光性であり、ＰＥＴまたはＳＰＥＣＴ撮像用に放射性同位元素でも標識される造影剤）と一緒に利用されることは、本発明の光学撮像システムの別の態様である。

本発明の光学撮像システムにより、蛍光撮像（例えば、５−アミノレブリン酸またはインドシアニングリーン）が、介入または手術をガイドするために、術前手術ナビゲーション（例えば、ＭＲＩ、ＣＴ、ＰＥＴ、ＳＰＥＣＴ．．．）と併せて使用されるように構成されることは、本発明の光学撮像システムの別の態様である。

（５−アミノレブリン酸またはインドシアニングリーンなどの）蛍光撮像が、脳に対する治療介入または手術をガイドするために、術前手術ナビゲーション（例えば、ＭＲＩ、ＣＴ、ＰＥＴ、ＳＰＥＣＴ．．．）と併せて使用される場合に提供することは、本発明の光学撮像システムの別の態様である。

生体力学モデリングおよびＦＥＭモデリングを使用して変形補正を提供することは、本発明の光学撮像システムの別の態様である。

光源および検出器を、撮像する組織の２つの異なった側または反対側に配置した静脈撮像（透過幾何形状）が好まれる、脈管構造撮像を提供することは、本発明の光学撮像システムの別の態様である。

撮像する組織の同じ側にある光源および検出器を用いて静脈撮像（反射幾何形状）が実行される、脈管構造撮像を提供することは、本発明の光学撮像システムの別の態様である。

静脈撮像がマルチスペクトル撮像で実行される、脈管構造撮像を提供することは、本発明の光学撮像システムの別の態様である。

投影品質モニタリングを提供することは、本発明の光学撮像システムの別の態様であり、投影最適化および最小二乗誤差が実装され、投影の精度がそれに応じて更新される。

目標対象の光学走査の方法を提供することは本発明の光学撮像システムの別の態様であり、それは、目標対象を偏光によって照らすこと、目標対象から戻った光を分析器により分析光として処理すること、および分析光を目標対象の形状画像として検出することであって、偏光は、複数の波長を含み、それにより各波長は目標対象内の奥行きに対応し、および複数の波長の各１つに対して帯域通過を有するスペクトルフィルタによって偏光を処理すること、複数の波長の各１つに対して帯域通過を有するスペクトルフィルタによって分析光を処理すること、複数の波長の各１つの分析光を目標対象内の各奥行きに対する形状画像として検出すること、のステップを含む。

正規化に続いて複数の波長の１つに基づく反射画像を複数の波長の別の１つに基づく別の反射画像で減算することにより画像を生成することは、本発明の光学撮像システムの別の態様である。

本発明のこれらおよび他の特徴および利点は、以下の記述、添付のクレーム、および付随の図面を参照してより良く理解されるであろう。

本発明の概念に従った光学撮像システムのブロック図である。 本発明の概念に従った光学撮像システムの別の実施形態のブロック図である。 本発明の概念に従った代替光学撮像システムのブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの別の構成のブロック図である。 本発明の概念に従った光学撮像システムの代替構成のブロック図である。 本発明の概念に従った光学撮像システムの追加構成のブロック図である。 本発明の概念に従った光学撮像システムの更なる構成のブロック図である。 本発明の概念に従った光学撮像システムの更に別の構成のブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの別の構成のブロック図である。 本発明の概念に従った光学撮像システムの代替構成のブロック図である。 本発明の概念に従った光学撮像システムの追加構成のブロック図である。 本発明の概念に従った光学撮像システムの更なる構成のブロック図である。 本発明の概念に従った光学撮像システムの更に別の構成のブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの別の構成のブロック図である。 本発明の概念に従った光学撮像システムの代替構成のブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの別の構成のブロック図である。 本発明の概念に従った光学撮像システムの代替構成のブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの構成によって利用される三角測量プロセスを示すブロック図である。 本発明の概念に従った光学撮像システムによって実行された様々な画像の重ね合わせを示す画像である。 本発明の概念に従った光学撮像システムによって実行された様々な画像の重ね合わせを示す別の画像である。 Ａ−Ｂ。本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従って画像を重ね合わせるために光学撮像システムによって取られるステップを示す流れ図である。 本発明の概念に従って画像を重ね合わせるために光学撮像システムによって取られるステップを示す代替流れ図である。 本発明の概念に従って画像を重ね合わせるために光学撮像システムによって取られるステップを示す代替流れ図である。 Ａ−Ｂ。本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの更に別の構成のブロック図である。Ｄ。本発明の概念に従った光学撮像システムの追加構成のブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの別の構成のブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った様々な画像の重ね合わせを示す画像である。 本発明の概念に従った様々な画像の重ね合わせを示す画像である。 本発明の概念に従って重ね合わせた画像を表示するために光学撮像システムによって取られるステップを示す流れ図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの更なる構成のブロック図である。 本発明の概念に従った光学撮像システムの更に別の構成のブロック図である。 Ａ−Ｂ。本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムの別の構成のブロック図である。本発明の概念に従った光学撮像システムの代替構成のブロック図である。本発明の概念に従った光学撮像システムの追加構成のブロック図である。本発明の概念に従った光学撮像システムの更なる構成のブロック図である。本発明の概念に従った光学撮像システムの更に別の構成のブロック図である。 Ａ−Ｂ。本発明の概念に従った光学撮像システムの一構成のブロック図である。 本発明の概念に従った光学撮像システムによって提供される撮像および投影プロセスを示す流れ図である。 本発明の概念に従い空間的に変調された撮像を使用して光学特性マップを取得するために取られるステップを示す流れ図である。 本発明の概念に従った光学撮像システムの一構成のブロック図である。 Ａ。本発明の概念に従った光学撮像システムの一構成のブロック図である。Ｂ。本発明の概念に従った光学撮像システムの別の構成のブロック図である。Ｃ。本発明の概念に従った光学撮像システムの代替構成のブロック図である。

本発明の光学撮像システムは、図面の図１に示すように、概して、番号１００で参照される。具体的には、撮像システム１００は、３Ｄ走査モジュール１１０および光学撮像モジュール１２０を含み、それらは、任意の適切なコントローラ１３０を介して、相互に動作可能に通信する。

３Ｄ走査モジュール１１０は、レーザー走査三角測量、構造化光、飛行時間、コノスコープホログラフィ（ｃｏｎｏｓｃｏｐｉｃ ｈｏｌｏｇｒａｐｈｙ）、調光、ステレオカメラ、フーリエ３Ｄ走査（Ｆｏｕｒｉｅｒ ３Ｄ ｓｃａｎｎｉｎｇ）、低コヒーレンス干渉法、コモンパス干渉３Ｄ走査、および接触側面計を含むが、それらに制限されない、１つ以上の技術を含む。

光学撮像モジュール１２０は、蛍光撮像、反射撮像、ハイパースペクトル撮像、ＩＲ熱撮像、チェレンコフ撮像、偏光撮像、偏光差／偏光比撮像、分光偏光差撮像、多光子撮像、二次高調波発生撮像、光音響撮像、および蛍光寿命撮像を含むが、それらに制限されない、１つ以上の技術を含む。

そのため、システム１００は、表面形状測定値および、蛍光撮像情報などの、光学撮像情報の両方を取得することが可能である。

コントローラ１３０は、説明する本発明の機能を実行するために、必要なハードウェア、ソフトウェア、またはそれらの組合せを含み得ることも理解されよう。さらに、コントローラ１３０は、３Ｄ走査モジュール１１０および光学撮像モジュール１２０の動作を制御することが可能な任意の適切な携帯型またはスタンドアロンのコンピューティング装置を含み得る。コントローラ１３０は、撮像データなどのデータを、データインタフェース１３２に結合された適切なプロジェクタまたはディスプレイに出力することが可能なデータインタフェース１３２を含み得ることも理解されよう。かかる構成のいくつかの実施形態を以下で詳細に説明する。コントローラ１３０のデータインタフェース１３２は、有線または無線ネットワークを通して、ディスプレイまたはプロジェクタと、およびデータインタフェース１３２によってそれに出力された画像データを転送するために他のリモートコンピューティング装置と通信するように構成され得ることも理解されよう。加えて、コントローラ１３０は、データインタフェース１３０を通して、キーボードなどの入力装置から、またはデータインタフェース１３０と通信しているコンピューティング装置によって、適切なコマンドを受信することも可能であり得る。

システム１００の別の実施形態では、図２に示すように、１００Ａとして示されて、３Ｄ走査モジュール１１０と動作可能に通信するディスプレイモジュール２００、光学撮像モジュール１２０、および前述したコントローラ１３０も含み得る。具体的には、ディスプレイモジュール２００は、有線または無線接続を経由し、データインタフェース１３２を通して、コントローラ１３０と通信する。ディスプレイモジュール２００は、液晶ディスプレイ（ＬＣＤ）、または２次元（２Ｄ）ディスプレイ、３次元（３Ｄ）ディスプレイ、ヘッドマウント式ディスプレイ、もしくはプロジェクタを含むが、それらに限定されない、任意の他のディスプレイなどの、任意の適切なディスプレイを含む。

１００Ｂとして示された、システム１００の別の実施形態では、光学撮像システム１００Ａのコントローラ１３０は、ソフトウェアモジュール２１０として示された、必要なハードウェア、ソフトウェア、またはそれらの組合せで構成され得、光学画像および表面形状を、陽電子放射断層撮影（ＰＥＴ）、単光子放射型コンピュータ断層撮影法（ＳＰＥＣＴ）、磁気共鳴断層撮影（ＭＲＩ）、２Ｄおよび３Ｄ超音波、ガンマ線撮像、光干渉断層撮影（ＯＣＴ）、Ｘ線撮像、および同様のものなどの、他の画像診断法に重ね合わせるための処理を実行する。言うまでもなく、ソフトウェアモジュール２１０は、コントローラ１３０内に埋め込まれるように構成され得るか、またはインタフェース１３２と通信するリモートコンピューティング装置もしくは記憶装置によって提供され得る。

前述した光学撮像システム１００および１００Ａ〜Ｂの実施形態によって利用される構造的特徴は、以下で詳細に提示されることが理解されよう。

具体的には、３Ｄ走査モジュール１１０および撮像モジュール１２０によって提供される機能は、図４Ａに示すように、撮像構成３００Ａで具現化され得る。具体的には、構成３００は、図４Ａに示すように、発光体モジュール３１０および画像検出モジュール３２０を含む。発光体モジュール３１０は、１つ以上の光線３２２を放出するための任意の適切な発光デバイスを含み、光線３２２は、目標対象３２４の励起光／照明光として、および／または目標対象３２４上への、３Ｄ走査用のパターン投影などの、画像の投影のために、機能する。一態様では、発光体モジュール３１０は、目標対象３２４を照らすことが可能な、投光機またはレーザー干渉モジュールを含み得る。画像検出モジュール３２０は、発光体モジュール３１０によって出力された放出光線３２２によって照らされていることに応答して、目標対象３２４によって反射されたか、または放出された光３２６を検出するように構成された任意の適切な光検出装置を含む。一態様では、画像検出モジュール３２０は、電荷結合撮像素子（ＣＣＤ）または相補型金属酸化膜（ＣＭＯＳ）撮像素子を含み得るが、１つ以上の光電子増倍管（ＰＭＴ）、１つ以上のアバランシェフォトダイオード（ＡＰＤ）またはフォトダイオードなどの、任意の他の適切な撮像素子が使用され得る。加えて、発光フィルタ３４０は、画像検出モジュール３２０の入力の前に動作可能に配置される。発光フィルタ３４０は、帯域通過フィルタ、ロングパスフィルタまたは波長可変フィルタとして構成され得、それは、それが吸収した励起光３２２によって照らされていることに応答して、目標対象３２４によって放出される蛍光と関連した光の波長だけを透過させる。さらに、発光フィルタ３４０は、励起光３２２と関連した光の波長を阻止することが理解されよう。具体的には、発光フィルタは、フィルタホイールまたは他の適切な機構を含み得、それは、第１のモードでは、光３２６が、画像検出モジュール３２０によって捕捉される前に、発光フィルタ３４０を透過し、第２のモードでは、光３２６が発光フィルタ３４０を透過せず、画像検出モジュール３２０によって直接検出されるように、フィルタホイール３４０が、回転されるか、または移動されるように、選択的に作動されるように構成される。一態様では、発光フィルタ３４０は、蛍光発光フィルタを含み得る。そのため、構成３００は、フィルタ３４０が画像検出モジュール３２０によって使用されない場合、単一の撮像素子は目標対象３２４の形状情報を捕捉し、フィルタ３４０が画像検出モジュール３２０によって使用される場合には、目標対象３２４の蛍光情報を捕捉することになる。従って、検出構成３００の動作中、発光フィルタ３４０が画像検出モジュール３２０の検出経路から出される場合、画像検出モジュール３２０は、目標対象３２４の形状情報を捕捉し、発光フィルタ３４０が画像検出モジュール３２０の検出経路に入れられる場合には、目標対象３２４の蛍光情報を捕捉する。別の態様では、３Ｄ走査プロセスは、任意選択で、発光フィルタ３４０を画像検出モジュール３２０の検出経路から出すことなく実行され得る。例えば、発光体モジュール３１０は、３Ｄ走査を可能にするために発光フィルタ３４０を透過できる光を放出するように構成され得る。このプロセスの一例は、発光体モジュール３１０が、約８３０ｎｍの波長で光を放出し得、それは、８３０ｎｍに中心を置く帯域通過発光フィルタ３４０を透過でき、そのため３Ｄ走査が可能になることである。

別の態様では、システム１００は、目標対象３２４の３Ｄ形状および蛍光情報を連続して捕捉し得る。これを達成するために、システム１００は、３Ｄ走査を第１に、次いで、蛍光撮像を第２に実行する。

別の態様では、本システムは、目標対象３２４の３Ｄ形状および蛍光情報を並行して、または同時に捕捉し得る。そのため、画像検出モジュール３２０は、同様の時間枠中に、３Ｄ走査信号および蛍光信号の両方を検出することが可能である。従って、画像検出モジュール３２０によって捕捉される画像フレームは、それぞれ、３Ｄ走査および蛍光撮像の目的に対して指定され得る。例えば、画像検出モジュール３２０のフレームレートが３０フレーム／秒（ＦＰＳ）の場合、１秒間では、３Ｄ形状を捕捉するために１５フレーム（例えば、奇数フレーム１，３，５，７，９，．．．）が使用でき、他方、残りの１５フレーム（例えば、２，４，６，８，１０，．．．）は蛍光検出のために使用できる。画像フレーム指定の任意の他の組合せが並行／同時走査に対して使用され得、例えば、総画像フレームの３分の２が３Ｄ走査のために使用され得、他方、総画像フレームの３分の１が蛍光撮像のために使用されることが理解されよう。

発光体３１０および画像検出モジュール３２０の動作は、コントローラ１３０によるフレーム同期化の動作によって調整されることも理解されよう。例えば、画像検出モジュール３２０は、３０フレーム／秒（ＦＰＳ）で動作し、発光体３１０は、画像検出モジュール３２０と同期して１５フレーム（例えば、奇数フレーム：１，３，５，７，９，．．．）内で３Ｄ形状を捕捉するための縞パターンを放出することが可能である。発光体モジュール３１０は、検出器３２０と同期して、残りの１５フレーム（例えば、偶数フレーム２，４，６，８，１０，．．．）の蛍光撮像のために蛍光励起光を放出するように構成される。

フィルタホイールは、必要に応じて同期化の一部として提供され、それにより、発光フィルタ３４０は、発光体３１０および画像検出モジュール３２０の動作モードに従い、光路に入ったり光路から出たりし得るとも考えられる。発光体モジュール３１０および画像検出モジュールおよび蛍光検出モジュール５１０を含む、システム１００の異なる構成要素の同期化および制御はコントローラ１３０によって制御され、この場合、同期クロック信号はコントローラ１３０によって生成されることも理解されよう。

一態様では、システム３００Ａは、目標対象３２４の３Ｄ走査および蛍光撮像に加えて、色反射率撮像を可能にするように構成される。具体的には、画像検出モジュール３２０がカラー撮像素子（例えば、Ｂａｙｅｒパターンフィルタ配列など、撮像センサーレベルで配置されたフィルタ配列を備えた）の場合、画像検出モジュール３２０は色情報を単独で検出できる。

別の態様では、画像検出モジュール３２０がモノクロ撮像素子を含み得る場合、それによって目標対象３２４のカラー画像が捕捉され得、それにより発光体モジュール３１０が、赤、緑および青の波長を連続して投影し、画像検出モジュール３２０は、それぞれ、赤、緑および青の反射に対して３つのモノクロ画像を捕捉する。加えて、カラー画像は、デジタル的に合成することが可能である。カラー撮像、蛍光撮像および３Ｄ走査は、連続して、または同時に実行できることも理解されよう。並行または同時モードでは、画像フレームは、それぞれ、カラー撮像、蛍光撮像および３Ｄ走査に対して分割することが可能である。例えば、総撮像フレームの半分が３Ｄ走査のために使用され得、総撮像フレームの４分の１が蛍光撮像のために使用され得、総撮像フレームの４分の１がカラー撮像のために使用され得る。発光体モジュール３１０、画像検出モジュール３２０および発光フィルタ３４０を具現化しているフィルタホイールは、並行／同時モードの動作に対して、コントローラ１３０の支援と同期する方法で動作することが理解されよう。

更に別の実施形態では、発光フィルタ３４０は、波長可変フィルタを含み得る。波長可変フィルタを使用すると、ハイパースペクトル撮像が構成３００Ａによって実行できるようにして、複数の光波長を捕捉する。更に別の実施形態では、発光フィルタ３４０は、複数の狭帯域フィルタを含むフィルタホイールを含み得る。そのため、構成３００Ａは、複数の光波長の反射画像または吸収画像を捕捉することが可能である。

更に別の実施形態では、発光フィルタ３４０を具現化しているフィルタホイールは、酸素飽和度の撮像に適したフィルタを含む。例えば、組織酸素飽和度（ＳＴＯ２）または静脈血酸素飽和度（ＳＶＯ２）の画像が測定され得る。例えば、６６０ｎｍおよび９５０ｎｍフィルタが酸素飽和度画像を捕捉するために使用され得る。酸素飽和度は、式：ＳｔＯ２＝酸素飽和したヘモグロビン値／総ヘモグロビン値（未飽和＋飽和）、を使用して計算できる。適切なフィルタ３４０を使用することによりチェレンコフ撮像も可能になり得ることも理解されよう。

スペクトルフィルタの代わりに偏光器が使用でき、また、偏光撮像、および偏光差／偏光比撮像を可能にするために、別の偏光器が発光体モジュール３１０の前に配置され得ることも理解されよう。前述した異なる画像診断法が、以前に説明した、インターリーブ方式を使用して、連続して、または並行して、のいずれかで、３Ｄ走査と一緒に獲得され得ることが理解されよう。本発明により、複数の画像診断法が可能になり得ることが理解されよう。例えば、酸素飽和度撮像、色反射率撮像、自動蛍光撮像および外因性コントラスト（ｅｘｔｒｉｎｓｉｃ ｃｏｎｔｒａｓｔ）に基づく近赤外線（ＮＩＲ）撮像は、一緒に同時に可能になり得る。

別の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図４Ｂに示すように、撮像構成３００Ｂで具現化され得る。具体的には、構成３００Ｂは、蛍光励起フィルタ４１０を追加して、前述したように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０を含む。具体的には、蛍光励起フィルタ４１０は、発光体モジュール３１０と併せて使用され、発光体モジュール３１０から放出された光が、撮像されている目標対象３２４を照らす前に、励起フィルタ４１０を透過するように配置される。蛍光励起フィルタ４１０は、目標対象３２４によって容易に吸収可能な励起波長（すなわち、励起光）の範囲内の光線を有する光３２２だけがそれを透過できる、帯域通過フィルタ、ショートパスフィルタまたは、波長可変フィルタとして構成される。具体的には、蛍光励起フィルタ４１０は、フィルタホイールまたは他の適切な機構を含み得、それは、第１のモードでは、光３２２は、目標対象３２４上に入射する前に、発光フィルタ４１０によって処理されるように、励起フィルタ４１０を透過し、第２のモードでは、光３２２が、励起フィルタ３４０を透過せず、発光体モジュール３１０から直接放出されて、目標対象３２４上に入射するように、フィルタホイール３４０が、回転されるか、または移動されるように、選択的に作動されるように構成される。光の吸収に応答して、目標対象３２４は蛍光の形で光３２６を放出することが可能である。そのため、一態様では、検出構成３００Ｂの動作中、画像検出モジュール３２０は、励起フィルタ４１０が放出された光３２２の経路から出され、発光フィルタ３４０が画像検出モジュール３２０の検出経路から出されると、目標対象３２４の形状情報を捕捉し、また、励起フィルタ４１０が放出された光３２２の経路に入れられ、発光フィルタ３４０が画像検出モジュール３２０の検出経路に入れられると、目標対象３２４の蛍光情報を捕捉する。別の態様では、検出構成３００Ｂの動作中、画像検出モジュール３２０は、励起フィルタ４１０が放出された光３２２の経路から出され、他方、発光フィルタ３４０は光路内にとどまっていると、目標対象３２４の形状情報を捕捉する。代替として、画像検出モジュール３２０は、発光フィルタ３４０が画像検出モジュール３２０の検出経路から出され、他方、励起フィルタ４１０は光路内にとどまっていると、目標対象３２４の形状情報を捕捉する。加えて、検出構成３００Ｂは、励起フィルタ４１０が放出された光３２２の経路に入れられ、発光フィルタ３４０が画像検出モジュール３２０の検出経路に入れられと、目標対象３２４の蛍光情報を捕捉する。

別の態様では、システム３００Ｂは、３Ｄ形状および蛍光画像に加えて、カラー画像も捕捉し得る。

３Ｄ走査は、発光フィルタ３４０または励起フィルタ４１０のいずれかを光検出または発光経路から出して、実行され得ることが理解されよう。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図４Ｃに示すように、撮像構成３００Ｃで具現化され得る。具体的には、撮像構成３００Ｃは、蛍光励起フィルタ４１０と共に動作する励起光源４５０を追加して、前述したように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタホイール３４０を含む。励起光源４５０は、任意の適切な光を発生するように構成され得、その光は次いで、励起フィルタ４１０を透過する。具体的には、蛍光励起フィルタ４１０は、励起光源４５０から放出された光３２２が、撮像されている目標対象３２４に当たる前に、励起フィルタ４１０を透過するように配置される。一態様では、検出構成３００Ｃの動作中、発光フィルタ３４０が任意選択で画像検出モジュール３２０の光３２６検出経路から出され、発光体モジュール３１０が光３２２を発生するために使用されて目標対象３２４を照らす場合、画像検出モジュール３２０は、目標対象３２４の形状情報を捕捉する。代替として、発光フィルタ３４０が画像検出モジュール３２０の検出経路に入れられて、励起フィルタ４１０が、目標対象３２４を照らすために光源４５０から放出された光３２２の経路に入れられる場合、画像検出モジュール３２０は、目標対象３２４からの蛍光情報を捕捉する。並列モードでは、形状走査フレームおよび蛍光撮像フレームは、同期されている発光体モジュール３１０、励起光源４５０および画像検出モジュール３２０で、順次にインターリーブされ得る。別の態様では、フィルタ３４０および４１０はまた、並列走査を可能にするために、発光体モジュール３１０、励起光源４５０および検出モジュールと同期され得る。

励起光源４５０は、レーザー光、白色ＬＥＤなどの発光ダイオード（ＬＥＤ）、白熱光、プロジェクタ用電球、キセノン、キセノン水銀、またはメタルハライドランプなどのアーク灯、およびコヒーレントまたはインコヒーレント光源を含み得ることも理解されよう。

励起光源４５０は、デジタル（ＬＥＤベースの）プロジェクタも含み得、追加として、光源は、バターン照明のための空間周波数を投影し得る。例えば、デジタルプロジェクタはスペクトルフィルタと併せて、光源として使用され得る。加えて、励起光源４５０は、連続出力またはパルス出力を放出し得、任意の所望のスペクトル窓内の電磁波である光を発生し得る。

励起光源４５０は光拡散体も含み得ることも理解されよう。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図４Ｄに示すように、別の撮像構成３００Ｄで具現化され得る。具体的には、撮像構成３００Ｄは、別の画像検出モジュール３２０Ａおよび別の発光フィルタ３４０Ａを追加して、前述のように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０を含む。発光フィルタ３４０および３４０Ａはフィルタホイールとして構成され、それは、それぞれの画像検出モジュール３２０および３２０Ａの光検出経路に入れられたり、光検出経路から出されたりし得ることが理解されよう。そのため、検出構成３００Ｄの動作中、発光体モジュール３１０は目標対象の目標対象３２４を光３２２で照らす。加えて、目標対象３２４の形状情報を画像検出モジュール３２０および３２０Ａによって捕捉するために、発光フィルタ３４０および３４０Ａは、任意選択で、それぞれの画像検出モジュール３２０および３２０Ａの光３２６検出経路から出される。さらに、目標対象３２４の蛍光情報を画像検出モジュール３２０および３２０Ａによって捕捉するために、発光フィルタ３４０および３４０Ａは、それぞれの画像検出モジュール３２０および３２０Ａの光３２６検出経路に入れられる。そのため、構成３００Ｄは複数の画像検出モジュール３２０および３２０Ａを利用するので、光路妨害が回避される。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図４Ｅに示すように、撮像構成３００Ｅで具現化され得る。具体的には、撮像構成３００Ｅは、励起フィルタ４１０を追加して、前述のように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０、画像検出モジュール３２０Ａおよび発光フィルタ３４０Ａを含む。励起フィルタ４１０は、選択的に発光体３１０の出力経路に入れられたり、出力経路から出されたりするように、フィルタホイールとして構成され得ることが理解されよう。そのため、検出構成３００Ｅの動作中、目標対象３２４を照らすために発光体モジュール３１０によって放出された光３２２が励起フィルタ４１０によって処理されないように、励起フィルタ４１０が任意選択で移動され、発光フィルタ３４０および３４０Ａが任意選択で、光３２６を捕捉するために、それぞれの画像検出モジュール３２０および３２０Ａの検出経路から移動される場合、画像検出モジュール３２０および３２０Ａは、目標対象３２４の形状情報を捕捉する。加えて、光が励起フィルタ４１０によって処理されるように励起フィルタ４１０が検出経路に入れられて、発光フィルタ３４０および３４０Ａが、光３２６を捕捉するために、それぞれの画像検出モジュール３２０および３２０Ａの検出経路に入れられる場合、画像検出モジュール３２０および３２０Ａは、目標対象３２４の蛍光情報を捕捉する。そのため、構成３００Ｅは複数の画像検出モジュール３２０を利用するので、光路妨害が回避される。別の態様では、励起フィルタ４１０は、フィルタホイールを使用することなく、固定フィルタ（ｓｔａｔｉｏｎａｒｙ ｆｉｌｔｅｒ）として具現化され得、そのため、フィルタ４１０は、前述した実施形態と同様に、検出経路に入れたり検出経路から出したりする必要がないことが理解されよう。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図４Ｆに示すように、撮像構成３００Ｆで具現化され得る。具体的には、撮像構成３００Ｆは、蛍光励起フィルタ４１０と共に動作する励起光源４５０を追加して、前述のように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０、画像検出モジュール３２０Ａおよび発光フィルタ３４０Ａを含む。発光フィルタ３４０および３４０Ａはフィルタホイールとして構成され得、それらは、それぞれの画像検出モジュール３２０および３２０Ａの光検出経路に入れられたり、光検出経路から出されたりし得ることが理解されよう。そのため、検出構成３００Ｆの動作中、目標対象３２４を照らすために発光体３１０を使用して光３２２を放出し、また、発光フィルタ３４０および３４０Ａが、任意選択で、目標対象３２４からの反射光３２６を検出するために、それぞれの画像検出モジュール３２０および３２０Ａの検出経路から出される場合、画像検出モジュール３２０および３２０Ａは、目標対象３２４の形状情報を捕捉する。代替として、目標対象３２４の蛍光情報を捕捉するために、光源４５０が、目標対象３２４を照らす、蛍光励起フィルタ４１０によって処理される、光３２２を放出するために使用され、発光フィルタ３４０および３４０Ａは、目標対象３２４からの放出光３２６を検出するために、それぞれの画像検出モジュール３２０および３２０Ａの検出経路に入れられる。

一態様では、構成３００Ｆは、３Ｄ形状および蛍光情報を連続して捕捉し得る。そのため、形状情報の収集中、励起光源４５０および蛍光励起フィルタ４１０は使用されず、他方、蛍光情報の収集中、発光体モジュール３１０は使用されない。別の態様では、構成３００Ｆは、３Ｄ形状および蛍光情報を並行して、または同時に捕捉し得る。そのため、検出モジュール３２０および３２０Ａは、同様の時間枠中に、３Ｄ走査信号および蛍光信号の両方を検出し得る。そのため、検出モジュール３２０および３２０Ａのフレームは、それぞれ、３Ｄ走査および蛍光撮像のために指定され得る。例えば、フレームレートが３０フレーム／秒（ＦＰＳ）の場合、１秒間の間に、３Ｄ形状を捕捉するために１５フレーム（例えば、奇数フレーム：１，３，５，７，９，．．．）が使用され得、他方、残りの１５フレーム（例えば、偶数フレーム：２，４，６，８，１０，．．．）は蛍光検出のために使用され得る。フレーム指定の任意の他の組合せが並行走査に対して使用され得る（例えば、総画像フレームの３分の２が３Ｄ走査のために使用され、総画像フレームの３分の１が蛍光撮像のために使用される）ことも理解されよう。

別の態様では、１つの検出モジュール３２０が蛍光撮像のために指定でき、他方、他の検出モジュール３２０Ａが３Ｄ走査のために指定できる。そのため、同時の３Ｄ走査および蛍光撮像が可能にできる。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図５Ａに示すように、撮像構成５００Ａで具現化され得る。具体的には、構成５００Ａは、蛍光発光フィルタ３４０と共に使用される蛍光検出モジュール５１０を追加して、図４Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０を含む。そのため、蛍光検出モジュール５１０および発光フィルタ３４０は、発光体モジュール３１０からの光３２２によって照らされていることに応答して目標対象３２４から放出された光３２６が、蛍光検出モジュール５１０によって検出される前に、発光フィルタ３４０を透過するように、動作可能に配置される。加えて、蛍光検出モジュール５１０は、蛍光波長に敏感に反応する任意の適切な撮像素子として構成され得、いくつかの実施形態では、電荷結合撮像素子（ＣＣＤ）または相補型金属酸化膜（ＣＭＯＳ）撮像素子を含み得る。そのため、検出構成５００Ａの動作中、発光体モジュール３１０は、光３２２を放出して目標対象３２４を照らし、その後、画像検出モジュール３２０が、目標対象３２４の、奥行き情報などの形状情報を、目標対象３２４から反射された光３２２から捕捉する。加えて、蛍光検出モジュール５１０は、発光体モジュール３１０の光３２２によって照らされていることに応答して、目標対象３２４から放出された光３２２から目標対象３２４の蛍光情報を捕捉する。従って、構成５００Ａは、２つのカメラ／センサー／検出器、画像検出モジュール３２０および蛍光検出モジュール５１０を利用し、それにより、画像検出モジュール３２０は、目標対象３２４の形状情報を捕捉し、蛍光検出モジュール５１０は、目標対象３２４の蛍光情報を捕捉する。発光体モジュール３１０は、交互フレーム（ａｌｔｅｒｎａｔｉｎｇ ｆｒａｍｅ）をそれぞれ、形状および蛍光撮像用に分割し得ることが理解されよう。例えば、奇数の撮像フレームは、形状走査のために使用でき、偶数の撮像フレームは、蛍光撮像のために使用され得る。別の態様では、システム５００Ａは、３ｄ形状および蛍光画像に加えて、蛍光検出器モジュール５１０または画像検出モジュール３２０を使用してカラー画像も捕捉できる。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図５Ｂに示すように、撮像構成５００Ｂで具現化され得る。具体的には、構成５００Ｂは、蛍光励起フィルタ４１０に加えて、図５Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光検出モジュール５１０および蛍光発光フィルタ３４０を含む。具体的には、蛍光励起フィルタ４１０は、発光体モジュール３１０と共に使用するように構成され、それと動作可能に配置される。そのため、励起フィルタ４１０は、発光体モジュール３１０から放出された光が、撮像されている目標対象３２４を照らす前に、励起フィルタ４１０を透過するように配置される。励起フィルタ４１０は、フィルタホイールを含み、それは、選択的に、発光体モジュール３１０の出力経路に入れたり、出力経路から出したりできることも理解されよう。そのため、検出構成５００Ｂの動作中、放出光３２２が、目標対象３２４を照らす前に励起フィルタ４１０によって処理されないように、励起フィルタ４１０が、任意選択で、発光体モジュール３１０の光出力経路から出され、その後、画像検出モジュール３２０が目標対象３２４によって反射された光３２６を検出する場合、画像検出モジュール３２０は、目標対象３２４の形状情報を捕捉する。加えて、放出光３２２が、目標対象３２４を照らす前に励起フィルタ４１０によって処理されるように、励起フィルタ４１０が、発光体３１０の光出力経路に入れられる場合、蛍光検出モジュール５１０は、目標対象３２４の蛍光情報を捕捉し、その後、蛍光検出モジュール５１０は、発光フィルタ３４０によって処理された目標対象３２４から放出された光３２６を目標対象３２４の蛍光情報として検出する。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図５Ｃに示すように、撮像構成５００Ｃで具現化され得る。具体的には、撮像構成５００Ｃは、励起光源４５０および蛍光励起フィルタ４１０に追加して、図５Ａで前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光検出モジュール５１０、および発光フィルタ３４０を含む。具体的には、蛍光励起フィルタ４１０は、光源４５０と共に動作し、光源４５０から放出された光３２２が、撮像されている目標対象３２４を照らす前に、励起フィルタ４１０を透過するように、動作可能に配置される。そのため、検出構成５００Ｃの動作中、発光体モジュール３１０が目標対象３２４を照らすために光３２２を放出し、その後、画像検出モジュール３２０が、目標対象３２４からの反射光３２６を検出する場合、画像検出モジュール３２０は目標対象３２４の形状情報を捕捉する。代替として、励起光源４５０が、目標対象３２４を照らすために励起フィルタ４１０によって処理されている光３２２を発生し、その後、照らされていることに応答して目標対象３２４により放出された光３２６が、蛍光検出モジュール５１０により蛍光情報として検出される前に、発光フィルタ３４０によって処理される場合、蛍光検出モジュール５１０は目標対象３２４の蛍光情報を捕捉する。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図５Ｄに示すように、撮像構成５００Ｄで具現化され得る。具体的には、撮像構成５００Ｄは、画像検出モジュール３２０Ａを追加して、図５Ａで前述のように、発光体モジュール３１０、画像検出モジュール３２０、画像検出モジュール３２０Ａ、蛍光撮像モジュール５１０、および発光フィルタ３４０を含む。そのため、検出構成５００Ｄの動作中、目標対象３２４の形状情報を検出するために、発光体モジュール３１０は光３２２を放出して目標対象３２４を照らし、すると、画像検出モジュール３２０および３２０Ａは、目標対象３２４から反射された光３２２から、目標対象３２４の、奥行き情報などの、形状情報を捕捉する。加えて、蛍光検出モジュール５１０は、発光体モジュール３１０の光３２２によって照らされていることに応答して目標対象３２４から放出された光３２６から、目標対象３２４の蛍光情報を捕捉する。従って、構成５００Ｄは、画像検出モジュール３２０および３２０Ａならびに蛍光検出モジュール５１０を含め、複数のカメラ／センサー／検出器を利用し、それにより、画像検出モジュール３２０および３２０Ａは目標対象３２４の形状情報を捕捉し、蛍光検出モジュール５１０は目標対象３２４の蛍光情報を捕捉する。従って、構成５００Ｄは複数の画像検出モジュール３２０を利用するので、光路妨害が回避される。検出モジュール３２０、３２０Ａのうちの１つは、色反射率撮像などの、他の特定の撮像を実行するために、任意選択で、指定され得ることが理解されよう。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図５Ｅに示すように、撮像構成５００Ｅで具現化され得る。具体的には、撮像構成５００Ｅは、励起フィルタ４１０を追加して、図５Ｄに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光撮像モジュール５１０、画像検出モジュール３２０Ａを含む。具体的には、励起フィルタ４１０は、発光体モジュール３１０と共に動作するように構成されて、発光体モジュール３１０から放出された光が、撮像されている目標対象３２４を照らす前に、励起フィルタ４１０を透過するように、動作可能に配置される。具体的には、励起フィルタ４１０は、フィルタホイールまたは他の適切な機構を含み得、それは、第１のモードでは、光３２２は、目標対象３２４を照らす前に、発光フィルタ４１０によって処理されるように、励起フィルタ４１０を透過し、第２のモードでは、光３２２が、励起フィルタ３４０を透過せず、発光体モジュール３１０から直接放出されて、目標対象３２４を照らすように、フィルタホイール３４０が、回転されるか、または移動されるように、選択的に作動されるように構成される。そのため、検出構成３００Ｅの動作中、目標対象３２４を照らすために発光体モジュール３１０によって放出された光３２２が励起フィルタ４１０によって処理されないように、励起フィルタ４１０が任意選択で移動される場合、画像検出モジュール３２０および３２０Ａは、反射光３２６を目標対象３２４の形状情報として捕捉する。加えて、蛍光検出モジュール５１０は、励起フィルタ４１０によって処理されている発光体モジュール３１０の光３２２によって照らされていることに応答して、目標対象３２４から放出された光３２６から目標対象３２４の蛍光情報を捕捉する。そのため、構成３００Ｅは複数の画像検出モジュール３２０を利用するので、光路妨害が回避される。コントローラ１３０は、発光体モジュール３１０、画像検出モジュール３２０、蛍光撮像モジュール５１０、画像検出モジュール３２０Ａ、および励起フィルタホイール４１０を同期させて作動させることが理解されよう。システム５００Ｅは、コントローラ１３０の助けにより、投影および画像フレームを分割するために、以前に説明したインターリーブ方式を使用し得ることも理解されよう。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図５Ｆに示すように、撮像構成５００Ｆで具現化され得る。具体的には、撮像構成５００Ｆは、画像検出モジュール３２０Ａを追加して、図５Ｃに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、画像検出モジュール３２０Ａ、蛍光撮像モジュール５１０、発光フィルタ３４０、光源４５０および励起フィルタ４１０を含む。そのため、検出構成５００Ｆの動作中、目標対象３２４を照らすために発光体モジュール３１０が光３２２を放出し、その後、画像検出モジュール３２０および３２０Ａが、目標対象３２４からの反射光３２６を検出する場合、画像検出モジュール３２０および３２０Ａは、目標対象３２４の形状情報を捕捉する。形状情報の収集プロセス中、励起光源４５０は使用されず、さらに、励起フィルタ４１０は使用されないことが理解されよう。代替として、励起光源４５０が、目標対象３２４を照らすために励起フィルタ４１０によって処理された光３２２を発生し、その後、照らされていることに応答して、目標対象３２４によって放出された光３２６が、蛍光検出モジュール５１０によって蛍光情報として検出される前に、発光フィルタ３４０によって処理される場合、蛍光検出モジュール５１０は、目標対象３２４の蛍光情報を捕捉する。発光体モジュール３１０は、蛍光情報収集プロセス中に使用されないことが理解されよう。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図６Ａに示すように、別の撮像構成６００Ａで具現化され得る。具体的には、撮像構成６００Ａは、ビームスプリッタ６１０に加えて、図５Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光撮像モジュール５１０、および発光フィルタ３４０を含む。一態様では、ビームスプリッタ６１０は、ダイクロイックフィルタまたは１つの範囲の波長の光を反射して、別の範囲の波長の光を透過することが可能な任意の適切な装置を含み得る。画像検出モジュール３２０および蛍光撮像モジュール５１０は、実質的に直角など、相互にある角度をなして配置され、他方、ビームスプリッタ６１０は、画像検出モジュール３２０および蛍光撮像モジュール５１０に対して、約４５度の角度など、斜角で配置される。そのため、検出構成６００Ａの動作中、発光体モジュール３１０は、光３２２を放出して目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって反射されて放出された光３２６がビームスプリッタ６１０によって受信され、そこで、目標対象３２４の形状データを捕捉するために、光３２６の部分６２０が、画像検出モジュール３２０による受信のためにビームスプリッタ６１０を透過するのを可能にされる。加えて、光３２６の別の部分６２２が、ビームスプリッタ６１０によって反射され、すると、目標対象３２４の蛍光情報を捕捉するために、蛍光撮像モジュール５１０による受信のために、発光フィルタ３４０を透過するように向けられる。別の態様では、ビームスプリッタ６１０は、偏光に基づき光を分割し得る。ビームスプリッタ６１０は、プレートビームスプリッタ、キューブビームスプリッタ、非偏光ビームスプリッタ、横変位ビームスプリッタ、五角柱（ｐｅｎｔ−ｐｒｉｓｍ）ビームスプリッタ、ワイヤグリッド偏光ビームスプリッタ、または偏光ビームスプリッタを含み得るが、それらに限定されないことが理解されよう。検出器モジュール５１０または画像検出モジュール３２０のいずれかにより、カラー画像も捕捉できることも理解されよう。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図６Ｂに示すように、別の撮像構成６００Ｂで具現化され得る。具体的には、撮像構成６００Ｂは、励起フィルタ４１０に加えて、図６Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光撮像モジュール５１０、発光フィルタ３４０、およびビームスプリッタ６１０を含む。具体的には、励起フィルタ４１０は、発光体３１０に対して動作可能に配置され、そのため、出力された光６２２が励起フィルタ４１０によって処理されるようになる。励起フィルタ４１０は、フィルタホイールまたは他の可動装置として構成され、それは、発光体３１０によって出力された光が、励起フィルタ４１０によって選択的に処理されるか、または処理されないように動かすことができることが理解されよう。そのため、構成６００Ｂの動作中、励起フィルタ４１０は、発光体３１０によって放出された光３２２が、励起フィルタ４１０によって処理されず、目標対象３２４を照らすように動かされ、すると、照らされていることに応答して目標対象３２４によって反射された光３２６がビームスプリッタ６１０によって受信される。次に、目標対象３２４から反射されて放出された光３２６がビームスプリッタ６１０によって受信され、そこで、光の部分６２０が、目標対象３２４の形状データを捕捉するために、画像検出モジュール３２０による受信のためにビームスプリッタ６１０を透過するのを可能にされる。蛍光情報を検出するために、励起フィルタ４１０は、発光体３１０によって放出された光が、励起フィルタ４１０によって処理されて、目標対象３２４を照らすように動かされ、すると、照らされていることに応答して目標対象３２４から放出された光３２６がビームスプリッタ６１０によって受信される。次に、放出された光３２６の部分６２２が、ビームスプリッタ６１０によって反射され、すると、目標対象３２４の蛍光情報を捕捉するために、蛍光撮像モジュール５１０による受信のために、発光フィルタ３４０を透過するように向けられる。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図６Ｃに示すように、撮像構成６００Ｃで具現化され得る。具体的には、撮像構成６００Ｃは、光源４５０および励起フィルタ４１０に加えて、図６Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光撮像モジュール５１０、発光フィルタ３４０、およびビームスプリッタ６１０を含む。具体的には、蛍光励起フィルタ４１０は、励起フィルタ４１０と併せて使用するように構成され、発光体モジュール３１０から放出された光３２２が、撮像されている目標対象３２４を照らす前に、それ透過するように動作可能に配置される。そのため、検出構成６００Ｃの動作中、発光体３１０が光３２２を放出して目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって反射された光３２６がビームスプリッタ６１０によって受信され、そこで、光３２６の部分６２０が、目標対象３２４の形状データを捕捉するために、画像検出モジュール３２０による受信のためにビームスプリッタ６１０を透過するのを可能にされる。代替として、目標対象３２４からの蛍光情報を検出するために、励起光源４５０は、目標対象３２４を照らすために励起フィルタ４１０によって処理される光３２２を発生するように作動される。そのため、照らされていることに応答して目標対象３２４から放出された光３２６がビームスプリッタ６１０によって受信される。次に、放出された光３２６の部分６２２が、ビームスプリッタ６１０によって反射され、すると、目標対象３２４の蛍光情報を捕捉するために、蛍光撮像モジュール５１０による受信のために、発光フィルタ３４０を透過するように向けられる。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図７Ａに示すように、撮像構成７００Ａで具現化され得る。具体的には、撮像構成７００Ａは、ビームスプリッタ６１０Ａ、画像検出モジュール３２０Ａ、蛍光撮像モジュール５１０Ａおよび発光フィルタ３４０Ａを追加して、図６Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光撮像モジュール５１０、発光フィルタ３４０を含む。そのため、画像検出モジュール３２０および蛍光撮像モジュール５１０は、実質的に互いに直角に配置され、他方、画像検出モジュール３２０Ａおよび蛍光撮像モジュール５１０Ａも実質的に互いに直角に配置される。加えて、ビームスプリッタ６２０は、画像検出モジュール３２０および蛍光撮像モジュール５１０に対して、約４５度など、斜角で配置される。同様に、ビームスプリッタ６２０Ａは、画像検出モジュール３２０Ａおよび蛍光撮像モジュール５１０Ａに対して、約４５度など、斜角で配置される。そのため、検出構成７００Ａの動作中、発光体モジュール３１０は、光３２２を放出して目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって反射されて放出された光３２６がビームスプリッタ６１０およびビームスプリッタ６１０Ａによって受信され、そこで、光３２６の部分６２０が、目標対象３２４の形状データを捕捉するために、画像検出モジュール３２０および３２０Ａによる受信のためにビームスプリッタ６１０および６１０Ａを透過するのを可能にされる。加えて、ビームスプリッタ６１０および６１０Ａによって受信された光３２６の別の部分６２２が、ビームスプリッタ６１０および６１０Ａによって反射され、すると、目標対象３２４の蛍光情報を捕捉するために、蛍光撮像モジュール５１０および５１０Ａによる受信のために、発光フィルタ３４０および３４０Ａを透過するように向けられる。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図７Ｂに示すように、撮像構成７００Ｂで具現化され得る。具体的には、撮像構成７００Ｂは、励起フィルタ４１０に加えて、図７Ａで前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光撮像モジュール５１０、発光フィルタ３４０、ビームスプリッタ６１０Ａ、画像検出モジュール３２０Ａ、蛍光撮像モジュール５１０Ａおよび発光フィルタ３４０Ａを含む。具体的には、励起フィルタ４１０は、発光体３１０に対して動作可能に配置され、そのため、それによって出力された光が励起フィルタ４１０によって処理されるようになる。励起フィルタ４１０は、フィルタホイールまたは他の可動装置として構成され、それは、発光体３１０によって出力された光が、励起フィルタ４１０によって選択的に処理されるか、または処理されないように移動できることが理解されよう。そのため、構成７００Ｂの動作中、励起フィルタ４１０は任意選択で、発光体３１０によって放出された光３２２が、励起フィルタ４１０によって処理されないように、発光体モジュール３１０の光出力経路から出され、すると、発光体３１０によって放出された光３２２によって照らされていることに応答して、目標対象３２４から反射された光３２６が、ビームスプリッタ６１０および６１０Ａによって受信され、そこで、光３２６の部分６２０が、目標対象３２４の形状情報を捕捉するために、それぞれの画像検出モジュール３２０および３２０Ａによる受信のためにビームスプリッタ６１０および６１０Ａを透過するのを可能にされる。加えて、目標対象３２４から蛍光情報を収集するために、励起フィルタ４１０は、発光体の光出力経路に入れられ、そのため、それによって放出された光が励起フィルタ４１０によって処理されるようになる。そのため、処理された光３２２によって照らされていることに応答して、目標対象３２４から放出された光３２６が、ビームスプリッタ６１０および６１０Ａによって受信され、すると、目標対象３２４の蛍光情報を捕捉するために、蛍光撮像モジュール５１０および５１０Ａによる受信のために、発光フィルタ３４０および３４０Ａを透過するように向けられるか、または反射される。本発明の別の態様では、励起フィルタ４１０は、フィルタホイールを使用することなく、固定フィルタとして具現化され得、そのため、フィルタ４１０は、前述した実施形態と同様に、検出経路に入れたり検出経路から出したりする必要がないことが理解されよう。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図７Ｃに示すように、撮像構成７００Ｃで具現化され得る。具体的には、撮像構成７００Ｃは、励起光源４５０および励起フィルタ４１０を加えて、図７Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光撮像モジュール５１０、発光フィルタ３４０、ビームスプリッタ６１０、画像検出モジュール３２０Ａ、蛍光撮像モジュール５１０Ａ、発光フィルタ３４０Ａおよびビームスプリッタ６１０Ａを含む。そのため、検出構成７００Ｃの動作中、発光体モジュール３１０が光３２２を放出して目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって反射された光３２６が、ビームスプリッタ６１０および６１０Ａによって受信され、そこで、光３２６の部分６２０が、目標対象３２４の形状データを捕捉するために、画像検出モジュール３２０および３２０Ａによる受信のためにビームスプリッタ６１０および６１０Ａを透過するのを可能にされる。加えて、目標対象３２４から蛍光情報を収集するために、励起光源４５０は、それから放出された光３２２が励起フィルタ４１０によって処理されるように、作動される。そのため、励起フィルタ４１０を透過して出力された処理された光によって照らされていることに応答して、目標対象３２４から放出された光３２６が、ビームスプリッタ６１０および６１０Ａによって受信される。受信された光３２６は次いで、ビームスプリッタ６１０および６１０Ａによって反射され、すると、光３２６の部分６２２は、目標対象３２４の蛍光情報を捕捉するために、蛍光撮像モジュール５１０および５１０Ａによる受信のために、発光フィルタ３４０および３４０Ａを透過するように向けられるか、またはそうでなければ反射される。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図８Ａに示すように、撮像構成８００Ａで具現化され得る。具体的には、構成８００Ａは、図フィルタホイール８１０、およびフィルタホイール８２０を追加して、図４Ａに関して前述したように、発光体モジュール３１０および画像検出モジュール３２０を含む。具体的には、フィルタホイール８１０は、発光体モジュール３１０と一緒に使用するように構成されて、励起フィルタ４１０および偏光器８３０をその上に備えて含む。加えて、フィルタホイール８２０は、発光フィルタ３４０および分析器８４０の両方をその上に備えて含む。具体的には、フィルタホイール８１０は、発光体モジュール３１０に対して選択的に移動され得、それにより、１つの状態では、励起フィルタ４１０が、目標対象３２４を照らすために使用する発光体モジュール３１０によって放出された光３２２を処理し、別の状態では、偏光器８３０が、目標対象３２４を照らすために使用する発光体モジュール３１０から放出された光３２２を処理するようになる。同様に、フィルタホイール８２０は、画像検出モジュール３２０に対して選択的に移動され得、それにより、１つの状態では、発光フィルタ３４０が、照らされていることに応答して目標対象３２４から放出された光３２６を処理し、別の状態では、分析器８４０が、照らされていることに応答して目標対象３２４から反射された光３２６を処理するようになる。そのため、検出構成８００Ａの動作中、目標対象３２４の形状情報を捕捉することが望まれる場合、フィルタホイール８１０の偏光器部分８３０が、発光体モジュール３１０によって放出された光３２２を処理するための位置に入れられて、それにより、処理された光３２２が目標対象３２４を照らすようになる。加えて、フィルタホイール８２０の分析器部分８４０が、画像検出モジュール３２０の検出経路に入れられて、それにより、照らされていることに応答して目標対象３２４によって反射された光３２６が、画像検出モジュール３２０によって検出される前に、分析器８４０によって処理されるようになる。一態様では、分析器８４０および偏光器８３０は、共偏光（ｃｏ−ｐｏｌａｒｉｚａｔｉｏｎ）構成で配置されて、目標対象３２４の表面に反射した光子を検出し、目標対象３２４中に拡散した光子の検出を最小限にし得る。代替として、目標対象３２４の蛍光情報を捕捉することが望まれる場合、フィルタホイール８１０の励起フィルタ４１０が、発光体モジュール３１０によって放出された光３２２を処理するための位置に入れられて、それにより、処理された光３２２が目標対象３２４を照らすようになる。加えて、発光フィルタ３４０が、画像検出モジュール３２０の検出経路に入れられて、それにより、発光体３１０によって放出された処理された光３２２によって照らされていることに応答して目標対象３２４によって放出された光３２６が、画像検出モジュール３２０によって検出される前に、発光フィルタ３４０を透過するようになる。一態様では、蛍光検出中、分析器８４０および偏光器８３０は、照明および検出経路内に留まり得、そのため、分析器８４０および偏光器８３０は交差偏光構成に配置されて目標対象３２４の鏡面反射を低減する。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図８Ｂに示すように、撮像構成８００Ｂで具現化され得る。具体的には、構成８００Ｂは、画像検出モジュール３２０と一緒に使用する分析器８４０および画像検出モジュール３２０と一緒に使用する蛍光検出モジュール５１０および蛍光検出モジュール５１０と一緒に使用する発光フィルタ３４０を追加して、図８Ｂに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、励起フィルタ４１０および偏光器８３０の両方をその上に備えて含むフィルタホイール８１０を含む。すなわち、分析器８４０は、画像検出モジュール３２０の検出経路に対して配置され、他方、発光フィルタ３４０は、蛍光撮像モジュール５１０の検出経路に対して配置される。そのため、検出構成８００Ｂの動作中、フィルタホイール８１０の偏光器部分８３０が、発光体モジュール３１０によって放出された光３２２を処理するための位置に入れられる場合、画像検出モジュール３２０は目標対象３２４の形状情報を捕捉する。一態様では、分析器８４０および偏光器８３０は、共偏光構成で配置されて、目標対象３２４の表面に反射した光子を検出し、目標対象３２４中に拡散した光子の検出を最小限にし得る。次に、照らされていることに応答して目標対象３２４から反射された光３２６が、画像検出モジュール３２０により形状情報として検出される前に、分析器８４０によって処理される。加えて、目標対象３２４の蛍光情報を捕捉するため、フィルタホイール８１０の励起フィルタ４１０が、発光体モジュール３１０によって放出された光３２２を処理するための位置に入れられる。そのため、発光体モジュール３１０から放出された光３２２によって照らされていることに応答して目標対象３２２から放出された光３２６が、蛍光撮像モジュール５１０によって検出される前に、発光フィルタ３４０によって処理される。

従って、図８Ａ〜８Ｂに示す、構成８００Ａおよび８００Ｂの偏光器と分析器のペアの使用により、偏光ゲーティングの処理を実行するのが可能になり、目標対象３２４が、撮像処理中に、発光体３１０によって照らされると、目標対象３２４内を移動し得る拡散した光子を除去する。これは、表面形状走査が正確に実行されることを確実にする。すなわち、入射構造化光が直線的に偏光されると、光子の一部が、良好に保持された偏光状態で、目標対象３２４の表面で反射されるが、他方、拡散した光子の偏光状態は、さらにランダムに分散される。そのため、本発明で使用する偏光器／分析器のペアは、偏光ゲーティングが実行できるようにし、それによって、目標対象３２４の形状情報の収集中に、表面反射した光子が、拡散した光子から分離できる。

測定データ表現
本発明によって取得される形状測定値は、奥行きｚのマップとして、また空間位置ｘおよびｙの関数として、表現され、それは、ｆｚ_ｉｊ＝｛（ｘ_ｉ，ｙ_ｊ）；ｉ＝１，２．．．．．．Ｌ，ｊ＝１，２．．．．．．Ｍ｝と表現され得ることが理解されよう。本発明では、蛍光撮像情報と組み合わされた３Ｄ（３次元）表面形状情報は、目標対象３２４の撮像されている表面上の各点と関連付けられるスカラー値を識別することが可能である。値のこの関連付けは、「点群（ｐｏｉｎｔ ｃｌｏｕｄ）」と呼ばれ、Ｐ_ｉ＝ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，Ｉ_ｉとして表現され、この場合（ｉ＝１，２，３．．．．．Ｎ）で、Ｉ_ｉは、データセット内のｉ番目の表面点における蛍光撮像値を表す。同様に、両方の色反射率情報も、目標対象３２４から捕捉されて、同様に目標対象３２４から捕捉された蛍光および形状情報と統合される場合、点群は、Ｐ_ｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，Ｉ_ｉ，Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）として表現され、この場合、ｉ＝１，２，３．．．．．Ｎで、ベクトル（Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）は赤、緑、青の色成分を表す。蛍光情報の複数のチャネルが、目標対象３２４からの色反射率と共に捕捉される場合、点群はＰ_ｉ＝ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，Ｉ_ｉ，Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ）として表現され、この場合、ｉ＝１，２，３．．．．．Ｎで、Ｉ_ｉは蛍光チャネル２を表し、Ｆ_ｉは蛍光チャネル１を表し、各チャネルは異なる波長を有する。

別の実施形態では、メッシュは計算時間を削減するので、形状データは、点群の代わりに多角形メッシュによって表され得る。メッシュ面（ｍｅｓｈ ｆａｃｅ）は、三角形、四辺形、または任意の他の凸多角形を含み得る。例えば、メッシュ面は、頂点−頂点メッシュ、面−頂点メッシュ、ウィングドエッジメッシュおよびレンダーダイナミック（ｒｅｎｄｅｒ ｄｙｎａｍｉｃ）メッシュを含み得る。

本発明の他の実施形態では、撮像されている場面または目標対象３２４のアクティブな照明は、空間的に変化する光強度パターンを使用するように発光体モジュール３１０を構成することによって達成され得る。例えば、発光体モジュール３１０は、構造化照明を提供するために空間光変調器によって変調されるデジタルプロジェクタまたは光源として構成され得る。構造化照明は、２Ｄ（２次元）または３Ｄ（３次元）のいずれかにできる。形状情報を捕捉する画像検出モジュール３２０、発光体モジュール３１０、および目標対象３２４の間の関係は、三角測量方程式によって表現できる。

図８Ｃを参照すると、画像検出モジュール３２０、発光体モジュール３１０、および目標対象３２４上の対象表面点の間の幾何形状的関係は、以下の式を使用して、三角測量原理によって表され得る。

具体的には、発光体モジュール３１０は、様々なアルゴリズムまたは技術を使用して、目標対象３２４の構造化光照明を発生する。例えば、発光体モジュール３１０によって利用され得る構造化照明を投影するための技術または方法は、１．）バイナリパターン、およびグレイコーディング、グレイレベルパターン、位相シフト、照度差ステレオ技法、および位相シフトとグレイコーディングのハイブリッド法などの、順次投影技法、２．）レインボー３Ｄカメラ（ｒａｉｎｂｏｗ ３Ｄ ｃａｍｅｒａ）によって提供されるような、フルフレームの空間的に変化する色パターン、連続的に変化するカラー符号化、ストライプ指標付け（単一ショット）、色を使用したストライプ指標付け、セグメントパターンを使用したストライプ指標付け、繰り返しグレイスケールパターンを使用したストライプ指標付け、Ｄｅ Ｂｒｕｉｊｉｎシーケンスに基づくストライプ指標付け、ならびに３．）擬似ランダム二元配列（ＰＲＢＡ）、符号語として使用されるミニパターン、色分けされたグリッド、色分けされたドットの２Ｄ配列などの、グリッド指標付け（２Ｄ空間グリッドパターン）、ならびに４．）前述した方法を組み合わせるハイブリッド法、を含み得るが、それらに制限されない。

発光体モジュール３１０および画像検出モジュール３２０は、画像検出モジュール３２０によって捕捉された目標対象３２４の画像上の画素の奥行きと空間的位置との間の関係を確立するために較正され得る。一態様では、発光体モジュール３１０は、例えば、市松模様またはドットの配列などの、任意の適切なターゲットを使用して、強度と幾何形状の両方に対して較正され得る。

撮像および重ね合わせＩ
従って、本発明の実施形態は、図９に示すように、目標対象３２４の表面形状情報および蛍光撮像情報を手術中に捕捉し、重ね合わせを通して組み合わせることが可能である。例えば、いくつかの実施形態では、光源３１０は、目標対象３２４の蛍光励起を提供するためにＮＩＲ（近赤外線）光源を含み得、他方、白色光源も手術用照明を提供するために本発明の実施形態に組み込まれ得る。追加として、画像検出モジュール３２０は、ＣＣＤ（電荷結合素子）撮像センサーまたはＣＭＯＳ（相補型金属酸化膜）撮像センサーを含み得、それは、カラーまたはグレイスケール画像を捕捉することが可能である。さらに、他の実施形態では、本発明は、図１０に示すように、術中の蛍光撮像情報および／または色反射率撮像情報と、目標対象３２４の陽電子放射断層撮影（ＰＥＴ）データ、コンピュータ断層撮影（ＣＴ）データ、または磁気共鳴断層撮影（ＭＲＩ）データなどの、任意の他の術前撮像データ／情報との間で、重ね合わせることが可能である。加えて、本発明のかかる実施形態は、ガイデッドサージェリーおよび手術計画を容易にするために、術中の蛍光撮像および／または色反射率撮像データの、蛍光撮像データと共に、術前のＰＥＴ／ＣＴデータへの重ね合わせを通して、組み合わせるために利用されてきた。加えて、各画像診断法からの画像データは、異なる色を使用して表され得る。例えば、ＣＴデータは青色で表され得、ＰＥＴデータは赤色で表され得、蛍光データは緑色で表され得る。一態様では、マルチモーダル画像データを有する３Ｄモデルは、可視化を容易にするためにユーザー入力で回転され得る。

別の実施形態では、ＭＲＩスキャナによって捕捉された術前のＭＲＩデータ、ならびにシステム１００によって生成される術中の蛍光データ、色反射率データおよび形状データは、脳外科手術を容易にするために、１つの画像に一緒に重ね合わされ得る。一態様では、インドシアニングリーン（ＩＣＧ）または５−アミノレブリン酸（５−ＡＬＡ）などの、造影剤が、脳外科手術をガイドするために使用され得る。術前ＭＲＩデータは、光学追跡または電磁追跡などの、追跡技術を使用した手術ナビゲーションを可能にでき、術中の蛍光撮像、色反射率および形状データは正確な画像ガイダンスを提供できる。システム１００は、手術ナビゲーションおよび術中撮像を重ね合わせたデータの可視化と統合することも可能である。一態様では、５−ＡＬＡ蛍光は、術前ＭＲＩデータに基づく手術ナビゲーションによって検出される画像と相関させるために、脳腫瘍を撮像するために使用できる。別の態様では、ＩＣＧ蛍光は、術前ＭＲＩに加えて、有用な情報を提供するために、組織の血管分布を撮像できる。一態様では、システム１００の光源は、造影剤の光退色または光毒症を最小限にするために、所定の期間、所定の頻度（例えば、１回の撮影につき１０ｍｓ、１秒あたり１２撮影）で操作され得る。重ね合わせアルゴリズムは、サーフェス画像重ね合わせ法、特徴ベースの重ね合わせ、ポイント画像重ね合わせ、強度ベースの重ね合わせ、またはそれらの組合せを含む。重ね合わせは、点群表現、または多角形メッシュ表現、またはそれらの組合せを使用して実行できる。一態様では、脳の変形は、重ね合わせ処理を容易にするために、有限要素法（ＦＥＭ）を使用して生体力学モデリングで計算できる。

他の実施形態では、視覚データは、各タイプのデータを、任意の適切なディスプレイ上での表現に対して「透過的」にすることにより明瞭に視覚化され得る。さらに、各タイプの画像データの透過性レベルは、改善された視覚化のために調整されて変更され得る。

更に別の実施形態では、二重標識である造影剤（例えば、蛍光性であり、ＰＥＴまたはＳＰＥＣＴ撮像用に放射性同位元素でも標識される造影剤）が、システム１００と共に使用され得る。例えば、抗体は、陽電子放出放射性同位体および蛍光部位の両方で標識できる。二重標識した造影剤は、撮像目的で、ヒトの対象３２４に注射され得る。造影剤は、陽電子と蛍光の両方を生じるので、対象３２４の位置は、同じ源に由来する両方の画像診断法に対する信号源を用いて、ＰＥＴおよび蛍光撮像の両方で撮像できる。これは、ＰＥＴデータと蛍光データとの間の相関関係を容易にする。造影剤は、３つ以上の診断法（例えば、ＭＲＩ、ＰＥＴおよび蛍光）に対して使用するために標識され得ることが理解されよう。造影剤は、画像診断法の他の組合せ（例えば、ＭＲＩと蛍光、ＳＰＥＣＴと蛍光など）に対して二重標識できることが更に理解されよう。

撮像および重ね合わせＩＩ
システム１００の他の実施形態では、画像検出モジュール３２０は、高速ＣＭＯＳ（相補型金属酸化膜センサー）センサーを含み得、他方、振幅分割（ａｍｐｌｉｔｕｄｅ−ｓｐｌｉｔｔｉｎｇ）技術は、本発明の実施形態の撮像速度を向上するために利用され得る。例えば、画像検出モジュール３２０は、高速ＣＭＯＳカラーセンサーを含み得、他方、蛍光撮像モジュール５１０は、ビームスプリッタ６１０などの、ＮＩＲビームスプリッタと併用して利用されるＮＩＲ（近赤外線）感知ＣＭＯＳセンサーを含み得る。形状撮像または走査のために、画像検出モジュール３２０は、約５００フレーム／秒（ｆｐｓ）のフレームレートを有する高速ＣＭＯＳセンサー（ＬＵＰＡ１３００−２、ＯＮ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ，Ｉｎｃ．）を含み得る。そのため、本発明は、これまでの生成撮像システムに比べて、形状撮像または走査を実行するために必要な時間を削減することが可能である。蛍光撮像のため、蛍光検出モジュール５１０は、ＮＩＲ感知ＣＭＯＳセンサー（ＭＴ９Ｖ０３２、Ａｐｔｉｎａ）を含み得る。このセンサーは、８００ｎｍで約４０％の高量子効率、および約６０ｆｐｓの高フレームレートを提供する。加えて、このセンサーは、ＮＩＲ感知モノクロセンサーを使用し、それは検出限界を改善して目標対象３２４に適用されるｐＭレベルＩＣＧ（インドシアニングリーン）濃度に達し、それは、蛍光撮像を容易にするために使用される。加えて、本発明の実施形態によって使用されるビームスプリッタ６１０は、照らされた後に目標対象３２４から反射された可視光成分および目標対象３２４から放出されたＮＩＲ成分（蛍光）を分離するために、ショートパスダイクロイックビームスプリッタ（ＦＦ７５６−ＳＤｉ０１−２５×３６、Ｓｅｍｒｏｃｋ）を含み得る。加えて、本発明の実施形態によって使用される発光フィルタ３４０は、クロストークを最小限にするために、ＮＩＲ（近赤外線）発光フィルタ（＃８４−１２３、Ｅｄｕｍｕｎｄ Ｏｐｔｉｃｓ、３７ｎｍ帯域幅をもつ８３２ｎｍ ＣＷＬ、ＯＤ ６）を含み得る。

本発明のシステム１００の実施形態は、総計の撮像時間全体を短縮しながら、並行した形状撮像／走査およびＮＩＲ蛍光撮像／走査を可能にするので、好都合である。例えば、蛍光検出モジュール５１０を含むＮＩＲ蛍光センサーは、外科手術中に、リアルタイム２Ｄ（２次元）蛍光ガイダンスを提供するために、目標対象３２４から、ＮＩＲ蛍光などの、蛍光情報を捕捉することが可能であり、他方、画像検出モジュール３１０によって提供されるような、カラー撮像センサーは、３Ｄ（３次元）形状情報および色反射率情報を捕捉する。

加えて、本発明の実施形態は、Ｆ／４などのＦ値を有する画像検出センサー３２０を使用して、大きな被写界深度および高い光収集効率を提供し得る。画像検出センサー３２０は、ＣＭＯＳ光検出器を利用し得る。本発明のシステム１００によって実行されるような、目標対象３２４の形状走査のために、目標対象３２４の撮像または走査時間を低減する高速なフレームレートでの高分解能撮像が望まれる。標準的なＣＣＤ撮像センサーに関して、その読出しレートは電荷シフト機構および画素数によって本質的に制限され、ビニングは、通常、より高速なフレームレートを達成するために必要とされ、それは、実質的に有効分解能を低下させる。ＣＣＤセンサーと比較して、本発明の画像検出センサー３２０によって利用されるＣＭＯＳセンサーは、ビニングを必要とすることなく、より高速なフレームレートを備え各画素へ直接アクセスする高分解能撮像を提供する。加えて、ＣＭＯＳセンサーの低電力消費および低コストも望ましい。

さらに、本発明のいくつかの実施形態は、励起光源４５０がフィルタ処理したＬＥＤ（発光ダイオード）アレイを含むように構成され、他方、発光体モジュール３１０は小型デジタルプロジェクタを含む。励起光源４５０のカスタマイズしたＬＥＤアレイは、良好に定義されて均一な目標対象３２４の領域を照らすために使用され、それにより、いくつかの実施形態では、特定の術野のみが照らされ、従って、暗雑音を低減する。いくつかの実施形態では、本発明の励起光源４５０は、高出力７８０ｎｍ ＬＥＤアレイを使用し得る。加えて、いくつかの実施形態では、励起フィルタ４１０（＃８４−１０６、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ、４６ｎｍ帯域幅をもつ７７５ｎｍ ＣＷＬ、ＯＤ ６）は、８００ｎｍを上回る、励起光源４５０によって放出された光を遮断するために使用される。いくつかの実施形態で、発光体モジュール３１０として使用される、小型デジタルプロジェクタ（Ｂａｒｃｏ Ｆ５０）は、形状走査のために、目標対象３２４の１２０Ｈｚでの高速構造化照明を提供する。他の実施形態では、発光フィルタ３４０は、７００ｎｍ低域通過フィルタ（＃８４−７２７、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ、ＯＤ ４）を含み得、それは、蛍光発光検出を妨げ得るＮＩＲ（近赤外線）光成分を除去する。代替として、発光フィルタ３４０は、発光体モジュール３１０の使用によって狭帯域の構造化光照明を作り出すために、低域通過フィルタの代わりに帯域通過フィルタを含み得る。

本発明の実施形態によって使用される偏光器８３０および分析器８４０は、ペアとして一緒に使用されて、撮像されている目標対象３２４の生物組織中に拡散する光子を除去して、目標対象３２４の正確な表面形状の取得を確実にするために、目標対象３２４の表面に反射した光子だけを残し得る。本発明は、かなり高速で動作することが可能で、可動部品がないので、本発明によって利用される目標対象３２４の構造化光照明は、従来のレーザーポイント走査技法よりも好都合である。

本発明の実施形態によって利用される制御モジュールまたはコントローラ１３０は、構成の様々な構成要素と通信するように構成されて、それらの同期動作を可能にする。一態様では、コントローラ１３０は、ラップトップコンピュータなどの、適切なコンピューティング装置を備えたＦＰＧＡ（フィールドプログラマブルゲートアレイ）を含む小型デジタル処理装置を含み得る。ＦＰＧＡは、任意の適切なプログラミング言語を使用してプログラムされて、ＦＰＧＡの並列処理機能を利用して、リアルタイム撮像およびコンピュータモニターまたは任意の他の適切なディスプレイへの結果の表示を実装し得る。ＦＰＧＡボードは、画像検出モジュール３１０および蛍光撮像モジュール５１０からデータを受信し、それは、例えば、カメラリンクデータバスまたはＵＳＢなどの、任意の適切なデータ接続を介して、任意の適切なリモートコンピューティング装置に伝送される。ラップトップコンピュータは、画像情報をＦＰＧＡボードから、格納、処理および表示目的で受信し、発光体モジュール３１０および励起光源４５０によって提供されたデジタルプロジェクタからの構造化光照明を直接制御するように動作する。ＡＲＭアーキテクチャを使用し、Ｌｉｎｕｘ（登録商標）オペレーティングシステムを使用する組込み型コンピュータなどの、他の組込みシステムが、ＦＰＧＡの代わりにコントローラ１３０として使用され得ることが理解されよう。コントローラ１３０は、スタンドアロンまたは携帯型コンピューティングシステムなどの、任意の適切なコンピューティングシステムを含み得ることが更に理解されよう。

ジェスチャ認識
システム１００は、３Ｄ走査および奥行き感知を実行する能力があるので、システム１００を通して見ているものの奥行きマップが生成でき、すると、この奥行きデータが手振りなどの姿勢またはジェスチャの検出に使用できる。３Ｄモデルベースのアルゴリズム、骨格ベースのアルゴリズム、または外観ベースのモデルがジェスチャ認識アルゴリズムで使用され得る。例えば、ジェスチャ認識は、ユーザーがシステム１００を制御するのを支援し得る。

心臓ゲーティング
心臓ゲーティングは、心電図（ＥＣＧ）信号が取得され、システム１００によって取得された撮像データと相関させるために基準信号として使用され得る場合に実行され得る。そのため、データは、呼吸サイクルの異なる位相に割り当てられ得、それにより、モーションアーチファクトが低減されて、各サイクルの生理機能が観察できるようになる。一態様では、パルスオキシメトリセンサーまたは機械力センサー（患者の胸腔上に置かれた）もゲート信号を生成するために使用され得る。

目標対象の組織表面上への蛍光情報の投影
さらに、本発明の様々な実施形態は、これまで、蛍光情報を表示するために使用されてきた、典型的な平面ディスプレイのいくつかの欠点を克服している。例えば、通常、蛍光撮像を提示するために利用される、かかる平面ディスプレイは、外科医または他の個人の邪魔をするか、または気をそらし得、いくつかの場合には、ディスプレイと手術をしている患者との間を連続して見る必要があるので、彼または彼女の協調（ｃｏｏｒｄｉｎａｔｉｏｎ）に影響を及ぼす。さらに、平面プロジェクタディスプレイなどの、典型的な平面ディスプレイは、奥行き／形状情報を解決せず、それは、蛍光情報の誤った投影となり得る。追加として、かかる平面ディスプレイは、外科医が、手術中に、目標対象３２４の組織変形を追跡するのを困難にする。

その結果、蛍光情報を提示するために使用されてきた、現在の平面ディスプレイの欠点を克服するために、図１１Ａに示すように、本発明１００の別の実施形態、構成９００Ａが、利用され得る。具体的には、構成９００Ａは、図１１に示すように、撮像システム１００に統合される画像投影システム９１０を含む。具体的には、画像検出センサー３１０、蛍光検出センサー５１０、投影システム９１０、および画像検出モジュール３１０が、コントローラ１３０に結合される。追加として、図１１Ａに示すように、ビームスプリッタ６１０が使用されて、前述したように、蛍光撮像モジュール５１０および画像検出モジュール３１０が、発光体モジュール３１０によって照らされていることに応答して、形状情報および蛍光情報を検出できるようにし得る。そのため、構成９００Ａの動作中、発光体モジュール３１０は光３２２を発生して目標対象３２４を照らす。加えて、蛍光検出モジュール５１０は、照らされていることに応答して反射された光３２６を受信し、それを蛍光情報として処理する。加えて、画像検出モジュール３２０は、照らされていることに応答して目標対象３２４から放出された光３２６を受信し、それを形状情報として処理する。次に、本システムが目標対象３２４から識別された形状／奥行き情報に従って検出された蛍光情報を処理した後、投影システム９１０は蛍光情報を、患者などの、目標対象３２４上に投影して戻す。投影システム９１０および発光体モジュール３１０は、２つの別々の装置にできるか、または両方の役割を実行する１つの装置から成り得ることが理解されよう。一態様では、１つのプロジェクタが、前述したインターリーブ方式を使用して、投影システム９１０および発光体モジュール３１０の両方として機能できる。そのため、２つのチャネルが作成されて、１つを形状走査用に、他の１つを、画像情報を対象３２４の表面上に投影して戻すために使用し得る。前述したインターリーブ方式を使用して、プロジェクタ９１０は、目標対象３２４の蛍光励起を作成することも可能であることが更に理解されよう。従って、本発明のこの特徴は、形状情報および蛍光情報の両方を外科医に同時に提供する好都合な利益を提供する。加えて、本発明は、患者または目標対象３２４の形状情報を利用して、蛍光情報を、空間的なずれにおける低減されたレイテンシで、患者または目標対象上に投影して戻すことを可能にする。構成９００Ａは、目標対象３２４の奥行き形状および３Ｄ形状を考慮に入れ、目標対象３２４の形状データに基づきプロジェクションマッピング技術を使用して、プロジェクタ９１０に対して適切な投影画像を計算して処理する。さらに、本発明は、３Ｄ表面形状を使用して、手術中に目標対象３２４の組織運動を追跡し、投影された蛍光画像におけるモーションアーチファクトを低減する。

追加の実施形態では、投影システム９１０は、図１１Ｂに示すように、発光体モジュール３１０から離れた別々の構成要素として、撮像構成９００Ｂで提供され得ることも理解されよう。そのため、構成９００Ｂの画像検出モジュール３１０および蛍光検出モジュール５１０によって捕捉される形状情報および蛍光情報が、プロジェクタシステム９００に送信され、それは、外科医をガイドするために、蛍光データを目標対象３２４に投影して戻す。

具体的には、図１１Ａ〜図１１Ｂに示すように、投影システム９１０は、本発明の任意の実施形態と共に使用され得る。具体的には、投影システム９１０は、画像検出モジュール３２０、蛍光検出モジュール５１０、および、術前のＣＴ／ＰＥＴ画像データ、ＭＲＩデータ、ＳＰＥＣＴデータまたは超音波データを含むデータソースなど、任意の他の画像データソースまたは周辺機器を含む、複数のデータ入力チャネルから画像データを受信することが可能である。一旦、複数のデータ入力が受信されると、投影システム９１０は、複数のデータ入力チャネルからの画像データを目標対象３２４上に同時に投影して戻す。例えば、１つのデータ入力チャネルは、蛍光情報を含み得、別のデータ入力チャネルは色反射率データを含み得、別のデータ入力チャネルは術前のＣＴ／ＰＥＴデータを含み得る。一実施形態では、投影システム９１０は、図１１Ａに示すように、目標対象３２４の構造化照明および蛍光画像の目標対象３２４上への投影の両方が可能な２チャネルプロジェクタを含み得る。一態様では、画像投影および構造化照明処理は、交互フレームを使用するためにインターリーブされ得る（例えば、１番目、３番目、５番目．．．のフレームが画像投影用、また２番目、４番目、６番目．．．のフレームが構造化照明用）。

従って、蛍光情報または他の画像データを、投影システム９１０によって患者または目標対象３２４に投影して戻す方法を計算するために形状情報が使用される。例えば、本発明の投影システム９１０は、形状相関のある蛍光情報を患者または目標対象３２４に投影して戻すことができるか、または形状相関のある蛍光およびＰＥＴ／ＣＴ情報を、外科医をガイドするために患者または目標対象３２４に投影して戻すことができる。ＭＲＩ（磁気共鳴断層撮影）データ、超音波画像データ、ガンマ線撮像データ、ＣＴ撮像データ、およびＸ線撮像データを含むが、それらに限定されない、任意の他のタイプの画像データが、捕捉された形状データおよびプロジェクションマッピング法に基づき、患者または目標対象３２４への投影のために、投影システム９１０の入力チャネルに配信され得ることも理解されよう。

別の態様では、本発明は、図１〜図３に示すような、コントローラ１３０によって提供された周辺インタフェース９３０を含み得、それは、１つ以上の周辺機器の追加が選択的に、撮像および検出システム１００に組み込まれるか、取り付けられるか、または他の方法でそれと通信を行うのを可能にする、有線または無線インタフェースを含み得る。例えば、周辺機器は、体温、血圧、脈拍、呼吸数、ＥＣＧ、ＥＥＧ、パルスオキシメトリ、および血糖を含むが、それらに限定されず、患者の様々な特質を監視するために構成される、バイタルサインセンサーモジュールを含む、１つ以上のセンサーおよび検出器を含み得るが、それらに限定されない。周辺機器は、超音波モジュール、分光モジュール（例えば、ラマン分光法、吸光分光法、および反射分光法）、ＧＰＳ（全地球測位システム）モジュール、顕微鏡モジュール（例えば、ハンドヘルド顕微鏡、ファイバベース生体顕微鏡、および従来の顕微鏡）、および非顕微鏡的撮像モジュール（ハイパースペクトル撮像、光音響撮像、光干渉撮像）も含み得るが、それらに限定されない。

更に別の態様では、周辺機器は、任意の関心の生体標的を取得または検出するために使用されるハンドヘルドプローブなどの、プローブベースの器具を含み得る。そのため、ハンドヘルドプローブは、生体顕微鏡などの、任意の所望のタイプの顕微鏡に対して使用され得る。さらに、周辺プローブは、カラー顕微鏡、反射率顕微鏡、蛍光顕微鏡、酸素飽和度顕微鏡、偏光顕微鏡、赤外線顕微鏡、干渉顕微鏡、位相差顕微鏡、微分干渉顕微鏡、ハイパースペクトル顕微鏡、全反射照明蛍光顕微鏡、共焦点顕微鏡、非線形顕微鏡、２光子顕微鏡、第二高調波発生顕微鏡、超解像顕微鏡、光音響顕微鏡、構造化光学顕微鏡、４Ｐｉ顕微鏡、誘導放出抑制顕微鏡、確率的光学再構築顕微鏡、超音波顕微鏡、およびそれらの組合せを含むが、それらに制限されない、任意の適切な検出方法を利用し得る。

別の態様では、周辺機器を含むハンドヘルドプローブは、顕微鏡的分解能を有していない撮像装置を含み得る。従って、いくつかの実施形態では、本発明の非顕微鏡的撮像プローブ周辺機器は、反射率撮像、蛍光撮像、チェレンコフ撮像、偏光撮像、超音波撮像、放射測定撮像、酸素飽和度撮像、光干渉断層撮影、赤外線撮像、熱撮像、光音響撮像、分光撮像、ハイパースペクトル撮像、蛍光、ガンマ線撮像、およびＸ線コンピュータ断層撮影を含むが、それらに制限されない、様々な撮像技術を利用し得る。ハンドヘルドプローブ周辺機器の物理的形状は、内視鏡、腹腔鏡、気管支鏡、血管内視鏡、および血管造影用カテーテルを含み得る。

さらに、ハンドヘルドプローブは、ファイバベースの分光光度計などの、非撮影装置または検知装置であり得る。加えて、異なる分光法が周辺機器によって実現され得、例えば、様々な光学分光法、吸光分光法、蛍光分光法、ラマン分光法、コヒーレント反ストークスラマン分光法（ＣＡＲＳ）、表面増感ラマン分光法、フーリエ変換分光法、フーリエ変換赤外分光法（ＦＴＩＲ）、マルチプレックスまたは周波数変調分光法、Ｘ線分光法、減衰全反射分光法、電子常磁性分光法、電子分光法、ガンマ線分光法、音響共鳴分光法、オージェ分光法、キャビティリングダウン分光法、円二色性分光法、冷蒸気原子蛍光分光法、相関分光法、深準位過渡分光法、二重偏光干渉法、ＥＰＲ分光法、力分光法、ハドロン分光学、バリオン分光学、中間子分光学、非弾性電子トンネル分光法（ＩＥＴＳ）、レーザー誘起破壊分光法（ＬＩＢＳ）、質量分光法、メスバウアー分光法、中性子スピンエコー分光法、光音響分光法、光電子分光法、光熱分光法、ポンププローブ分光法、ラマン光学活性分光法、飽和分光法、走査トンネル分光法、分光測光法、紫外光電子分光法（ＵＰＳ）、ビデオ分光、振動円二色性分光法、Ｘ線光電子分光法、およびそれらの組合せなどである。

光学データ、および他の画像データ（ＰＥＴ／ＣＴおよびＭＲＩデータ）の重ね合わせのためのアルゴリズム
本発明の撮像システム１００によって捕捉された術中光学データの他の画像データとの重ね合わせのためにコントローラ１３０によって実行されるプロセス１０００を図１２に示す。本発明の一実施形態では、術前のＣＴ／ＰＥＴスキャンからのデータは、本発明のシステム１００を使用して術中撮像を実行する前に取得され得る。サーフェス画像重ね合わせ法は、以下で詳細に説明するプロセスに従い、処理時間を最小限にするためにｋ−ｄ次元のツリーを用いて、ＩＣＰ（ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）アルゴリズムを使用して実行される。最初に、ステップ１０１０で、コントローラ１３０は、ＰＥＴ／ＣＴ画像データなどの、術前撮像データを取得する。次に、ステップ１０２０で、プロセスは、術前撮像データに基づく、点群または３Ｄメッシュモデルを作成する。加えて、術中撮像データは、ステップ１０３０に示すように、点群または３Ｄモデルを生成するために、蛍光撮像データなどの、本発明の光学撮像形状走査システム１００から取得される。引き続き、ステップ１０４０で、プロセス１０００は、術中画像空間と術前画像空間との間の変換行列を計算する。次に、ステップ１０５０で、蛍光画像データおよび色反射率データなどの、術中撮像データが、術前画像空間に重ね合わされる。最後に、ステップ１０６０で、重ね合わせた画像データが、前述のように、投影システム９１０を介して患者もしくは目標対象３２４上に、またはＬＣＤ（液晶ディスプレイ）などの任意の適切なディスプレイ上に表示される。

このように、プロセス１０００では、画像重ね合わせは、サーフェスまたはポイントベースのいずれかであり得る。加えて、画像重ね合わせは、点群、もしくは画像データからレンダリングされるサーフェスモデル、またはそれらの組合せに基づくことができる。任意選択として、重ね合わせプロセスは、手術部位の動きまたは変形を補正するために、有限要素モデリングまたは生体力学モデリングアルゴリズムを利用し得る。３Ｄ形状データは、点群または多角形メッシュを使用して表現され得ることも理解されよう。さらに、重ね合わせは、点群表現、多角形メッシュ表現、またはそれらの組合せで実行され得る。

前述した重ね合わせ技法に加えて、ポイント画像重ね合わせ、サーフェス画像重ね合わせ、およびそれらの組合せなどの、他の重ね合わせ技法が、本発明によって使用され得ることも理解されよう。重ね合わせは、強度ベースまたは特徴ベースの重ね合わせのいずれかを含み得る。使用される変換モデルは、線形変換、または非剛体／弾性変換を含み得る。自動または対話式法だけでなく、空間または周波数領域法も使用され得る。加えて、画像重ね合わせを容易にするために、機械学習アルゴリズムが使用され得る。例えば、機械学習アルゴリズムは、デシジョンツリー学習、相関ルール学習、人工神経回路網、帰納的論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、類似度およびメトリック学習、スパース辞書学習、遺伝的アルゴリズム、ディープラーニング、およびそれらの組合せを含み得るが、それらに制限されない。

前述した技法に加えて、他の追跡技法、例えば、光学追跡、磁気追跡、ラジオ周波数追跡、ジャイロスコープ追跡、ビデオ追跡（パターン認識）、音響追跡、機械式追跡、およびそれらの組合せなど、が使用され得ることも理解されよう。加えて、本発明によって利用される追跡法は、剛体、可撓体またはデジタイザ法を利用し得る。さらに、追跡技法は、単独で、またはサーフェス画像重ね合わせなどの、重ね合わせアルゴリズムと併せて、使用され得る。前述した周辺機器モジュールは、術前撮像データおよび術中撮像データとの重ね合わせのために追跡技法を使用して追跡され得ることも理解されよう。例えば、超音波プローブは、その空間的位置を記録するために光学的に追跡され得る。

超音波またはハンドヘルド顕微鏡などの、周辺インタフェース９３０と通信するように配置された周辺機器が使用される場合、図１３Ａ〜図１３Ｂに示すように、代替重ね合わせプロセス１１００がコントローラ１３０によって実行される。最初に、プロセス１１００のステップ１１１０で、術前撮像データが、制御システム１３０の周辺インタフェース９３０によって取得される。次に、ステップ１１２０に示すように、術前撮像データに基づく点群または３Ｄモデルが作成される。プロセス１１００は次いで、ステップ１１３０で、点群または３Ｄモデルを生成するために、蛍光情報などの、術中撮像データを光学撮像システム１００から取得する。ステップ１１４０で、プロセス１１００は、術中画像空間と術前画像空間との間の変換行列を計算する。次に、ステップ１１５０に示すように、蛍光画像データなどの、術中撮像データが、術前画像空間に重ね合わされる。引き続きステップ１１６０で、ハンドヘルド撮像装置などの可動周辺装置、または検出データが、超音波、ファイバ顕微鏡、およびラマン分光法を使用して取得され、点群、多角形メッシュまたは２Ｄ／３Ｄモデルを生成する。次に、ステップ１１７０で、ハンドヘルド撮像装置の位置が、光学追跡などの追跡技法を使用して追跡され、さらに、ステップ１１８０で、ハンドヘルド装置画像空間と術中画像空間との間の変換行列が計算される。次に、ステップ１１９０に示すように、超音波ファイバ顕微鏡などの、ハンドヘルド画像空間が、術中撮像空間に重ね合わされる。最後に、ステップ１２００で、ステップ１１９０の重ね合わせたデータが、前述のように、投影システム９１０を介して患者もしくは目標対象３２４上に表示されるか、または任意の他のディスプレイ装置上に表示され得る。

形状走査のためのレーザー三角測量を用いた蛍光撮像
別の実施形態では、本発明は、三角測量ベースの方法を利用して目標対象３２４の形状走査を実行し得、それにより、レーザー光を使用して、形状に対する奥行き情報を探す。そのため、三角測量レーザーは、目標対象３２４上にレーザースポットを照射し、カメラまたは撮像センサーを使用して、レーザードットの位置を探す。レーザーが所与の目標対象３２４に当たる深度に応じて、レーザードットは、カメラまたは撮像センサーの視野の深度に異なる位置で出現する。従って、目標対象３２４の奥行き情報が推測できる。レーザードットをラスター走査すると、目標対象３２４に関する奥行き情報と共に点群が生成される。任意選択として、単一のレーザードットの代わりに、レーザーストライプが使用され得、すると、レーザーストライプは、目標対象３２４をさっと通って、形状走査プロセスを加速する。

従って、三角測量形状走査プロセスを実行するために、撮像システム１００は、図１４Ａに示すように、別の構成１３００Ａとして具現化され得る。具体的には、構成１３００Ａは、画像検出モジュール３２０を含み、それは、ＣＣＤ（電荷結合素子）もしくはＣＭＯＳ（相補型金属酸化膜）カメラまたは他の撮像センサーを含み得る。加えて、構成１３００Ａは、発光体モジュール３１０を含み、それは、１つ以上のレーザー光を放出するように構成され、それらは目標対象３２４を照らすために使用される。発光体モジュール３１０は、１つ以上の中心波長のレーザー光を放出し、それにより１つの波長が３Ｄ走査のために使用され、別の波長が蛍光撮像のために使用されるようにも構成され得ることが理解されよう。加えて、画像検出モジュール３２０は、発光フィルタ３４０を含み、それは、前述のように、可動フィルタホイールとして構成される。そのため、目標対象３２４の蛍光情報を捕捉するために、目標対象３２４は、発光体モジュール３１０によって放出されたレーザー光３２２によって照らされる。加えて、フィルタホイールは、発光フィルタ３４０が、発光体モジュール３１０のレーザー光３２２によって照らされていることに応答して目標対象３２４によって放出された光３２６を処理するように動かされ、すると、画像検出モジュール３２０によって検出された処理された光は、目標対象３２４の蛍光情報を含む。別の動作モードでは、形状情報を捕捉するために、発光体モジュール３１０は、１つ以上のレーザー光３２２を放出し、それは、目標対象３２４を照らすために使用される。加えて、フィルタホイールは、発光フィルタ３４０が、発光体モジュール３１０のレーザー光３２２によって照らされていることに応答して目標対象３２４によって反射された光３２６を処理しないように動かされ、すると、画像検出モジュール３２０によって検出された処理された光は、目標対象３２４の形状情報を含む。

更なる実施形態では、代替撮像システム１００は、図１４Ｂに示すように、撮像構成１３００Ｂで具現化され得る。具体的には、撮影構成１３００Ｂは、蛍光撮像モジュール５１０を追加して、図１４Ａに関して前述したように、ＣＣＤ（電荷結合素子）もしくはＣＭＯＳ（相補型金属酸化膜）カメラまたは撮像センサーを含み得る、画像検出モジュール３２０、目標対象３２４を照らすために使用する１つ以上のレーザー光を放出するように構成される、発光体モジュール３１０、および発光フィルタ３４０を含む。蛍光撮像モジュール５１０は、発光フィルタ３４０と併せて使用するために構成される。そのため、目標対象３２４の蛍光情報を捕捉するために、目標対象３２４は、発光体モジュール３１０によって放出されたレーザー光３２２によって照らされる。発光体モジュール３１０のレーザー光３２２によって照らされていることに応答して、目標対象３２４は、蛍光撮像モジュール５１０により目標対象３２４の蛍光情報として検出される前に、発光フィルタ３４０によって処理される光３２６を放出する。別の動作モードでは、形状情報を捕捉するために、発光体モジュール３１０は、１つ以上のレーザー光３２２を放出し、それは、目標対象３２４を照らすために使用され、すると、目標対象３２４から反射された光３２６が画像検出モジュール３２０により、目標対象３２４の形状情報として検出される。発光体モジュール３１０は、１つ以上の中心波長のレーザー光を放出し、それにより１つの波長が３Ｄ走査のために使用され、別の波長が蛍光撮像のために使用されるように構成され得ることが理解されよう。

様々な実施形態では、蛍光光源が使用され得ることも理解されよう。さらに、様々な実施形態では、レーザーダイオードまたはレーザーが、三角測量目的で使用できる。他の実施形態では、蛍光の複数のチャネルが取得でき、かつ、色反射率情報も取得できる。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図１５Ａに示すように、撮像構成１３５０Ａで具現化され得る。具体的には、撮像構成１３５０Ａは、三角測量レーザーとして構成されている発光体モジュール３１０を追加して、図４Ｆに関して前述したように、画像検出モジュール３２０、発光フィルタ３４０、画像検出モジュール３２０Ａおよび発光フィルタ３４０Ａ、および蛍光励起フィルタ４１０と共に動作する励起光源４５０を含む。具体的には、三角測量レーザー３１０は、目標対象３２４の三角測量プロセスを実行するのに適した複数のレーザー光３２２を放出するように構成される。発光フィルタ３４０および３４０Ａはフィルタホイールとして構成され、それらは、それぞれの画像検出モジュール３２０および３２０Ａの光検出経路に入れられたり、光検出経路から出されたりし得ることが理解されよう。そのため、検出構成１３５０Ａの動作中、目標対象３２４を照らすために発光体３１０を使用してレーザー光３２２を放出し、発光フィルタ３４０および３４０Ａが、目標対象３２４からの反射光３２６を検出するために、それぞれの画像検出モジュール３２０および３２０Ａの検出経路から出される場合、画像検出モジュール３２０および３２０Ａは、目標対象３２４の形状情報を捕捉する。別の態様では、３Ｄ走査プロセスは、任意選択で、発光フィルタ３４０および３４０Ａを画像検出モジュール３２０および３２０Ａの検出経路から出すことなく実行され得る。例えば、発光体モジュール３１０は、３Ｄ走査を可能にするために、発光フィルタ３４０および３４０Ａを透過することが可能な光を放出するように構成され得る。このプロセスの一例は、発光体モジュール３１０は、約８３０ｎｍの波長で光を放出し得、それは、８３０ｎｍに中心を置く帯域通過発光フィルタ３４０および３４０Ａを透過することが可能であり、それにより、３Ｄ走査が実行可能になることである。代替として、目標対象３２４の蛍光情報を捕捉するために、光源４５０が光３２２を放出するために使用され、光３２２は、目標対象３２４を照らす蛍光励起フィルタ４１０によって処理され、発光フィルタ３４０および３４０Ａは、目標対象３２４からの放出光３２６を検出するために、それぞれの画像検出モジュール３２０および３２０Ａの検出経路に入れられる。３Ｄ走査および蛍光撮像は、並行して、または連続しても実行され得ることも理解されよう。

更に別の実施形態では、発光フィルタ３４０および３４０Ａは、波長可変フィルタを含み得る。波長可変フィルタを使用すると、ハイパースペクトル撮像を構成１３５０Ａによって実行して、複数の光波長を捕捉することが可能になる。更に別の実施形態では、発光フィルタ３４０および３４０Ａは、複数の狭帯域フィルタを含むフィルタホイールを含み得る。そのため、構成１３５０Ａは、複数の光波長の反射画像または吸収画像を捕捉することが可能である。

更に別の実施形態では、発光フィルタ３４０および３４０Ａを具現化しているフィルタホイールは、酸素飽和度の撮像に適したフィルタを含み得る。例えば、組織酸素飽和度（ＳＴＯ２）または静脈血酸素飽和度（ＳＶＯ２）の画像が測定され得る。例えば、６６０ｎｍおよび９５０ｎｍフィルタが酸素飽和度画像を捕捉するために使用され得る。酸素飽和度は、式：ＳｔＯ２＝酸素飽和したヘモグロビン値／総ヘモグロビン値（未飽和＋飽和）、を使用して計算できる。適切なフィルタ３４０および３４０Ａを使用することによりチェレンコフ撮像も可能になり得ることも理解されよう。

前述した異なる画像診断法が、以前に説明した、インターリーブ方式を使用して、連続して、または並行して、のいずれかで、３Ｄ走査と一緒に獲得され得ることが理解されよう。本発明により、複数の画像診断法が可能になり得ることが理解されよう。例えば、酸素飽和度撮像、色反射率撮像、自動蛍光撮像および外因性コントラストに基づく近赤外線（ＮＩＲ）撮像は、一緒に同時に実行され得る。フィルタ３４０および３４０Ａは、異なる画像診断法を可能にするために異なる構成を有し得ることも理解されよう。例えば、フィルタ３４０は、蛍光画像を捕捉するように構成され得、フィルタ３４０Ａは、マルチスペクトル反射率画像を捕捉するように構成され得る。

さらに、三角測量プロセスを実行するために、レーザーモジュール３１０は、目標対象３２４上にレーザースポットを照射し、検出器３２０を使用して、目標対象３２４上でレーザードットの位置を探す。レーザーが目標対象３２４に当たる深度に応じて、レーザードットは、カメラまたは撮像センサー３２０の視野の深度に異なる位置で出現する。従って、目標対象３２４の奥行き情報が、センサー３２０上の対応する画素位置に基づいて推測できる。レーザードットをラスター走査すると、目標対象３２４に関する奥行き情報と共に点群が生成される。任意選択として、発光体モジュール３１０は、単一のレーザードットの代わりに、レーザーストライプを出力でき、すると、レーザーストライプは、目標対象３２４をさっと通って、形状走査プロセスを加速する。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図１５Ｂに示すように、撮像構成１３５０Ｂで具現化され得る。具体的には、撮像構成１３５０Ｂは、三角測量レーザーとして構成されている発光体モジュール３１０を追加して、図５Ｆに関して前述したように、画像検出モジュール３２０、画像検出モジュール３２０Ａ、蛍光撮像モジュール５１０、発光フィルタ３４０、光源４５０および励起フィルタ４１０を含む。具体的には、三角測量レーザー３１０は、目標対象３２４の三角測量プロセスを実行するのに適した複数のレーザー光３２２を放出するように構成される。そのため、検出構成１３５０Ｂの動作中、発光体モジュール３１０は、目標対象３２４を照らすためにレーザー光３２２を放出し、すると、画像検出モジュール３２０および３２０Ａは、目標対象３２４から反射されたレーザー光３２６を形状情報として検出する。代替として、励起光源４５０が目標対象３２４を照らすために励起フィルタ４１０によって処理されていて、その後、照らされていることに応答して目標対象３２４によって放出された光３２６が、蛍光検出モジュール５１０により蛍光情報として検出される前に、発光フィルタ３４０によって処理される場合、蛍光検出モジュール５１０は、目標対象３２４の蛍光情報を捕捉する。３Ｄ走査および蛍光撮像プロセスは、並行して、または連続して実行され得ることが理解されよう。

さらに、三角測量プロセスを実行するために、レーザーモジュール３１０は、目標対象３２４上にレーザースポットを照射し、検出器３２０を使用して、目標対象３２４上でレーザードットの位置を探す。レーザーが所与の目標対象３２４に当たる深度に応じて、レーザードットは、カメラまたは撮像センサー３２０の視野の深度に異なる位置で出現する。従って、目標対象３２４の奥行き情報が、センサー３２０上の対応する画素位置に基づいて推測できる。レーザードットをラスター走査すると、目標対象３２４に関する奥行き情報と共に点群が生成される。任意選択として、発光体モジュール３１０は、単一のレーザードットの代わりに、レーザーストライプを出力し得、すると、レーザーストライプは、目標対象３２４をさっと通って、形状走査プロセスを加速する。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図１５Ｃに示すように、撮像構成１３５０Ｃで具現化され得る。具体的には、撮像構成１３５０Ｃは、三角測量レーザーとして構成されている発光体モジュール３１０を追加して、図６Ｃに関して前述したように、画像検出モジュール３２０、蛍光撮像モジュール５１０、発光フィルタ３４０、およびビームスプリッタ６１０、励起光源４５０および励起フィルタ４１０を含む。具体的には、三角測量レーザー３１０は、目標対象３２４の三角測量プロセスを実行するのに適した複数のレーザー光３２２を放出するように構成される。具体的には、蛍光励起フィルタ４１０は、励起フィルタ４１０と併せて使用するように構成され、発光体モジュール３１０から放出された光３２２が、撮像されている目標対象３２４を照らす前に、それを透過するように動作可能に配置される。そのため、検出構成１３５０Ｃの動作中、発光体モジュール３１０がレーザー光３２２を放出して目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって反射された光３２６がビームスプリッタ６１０によって受信され、そこで、反射された光３２６の部分６２０が、目標対象３２４の形状データを捕捉するために、画像検出モジュール３２０による受信のためにビームスプリッタ６１０を透過するのを可能にされる。代替として、目標対象３２４からの蛍光情報を検出するために、励起光源４５０は、目標対象３２４を照らすために励起フィルタ４１０によって処理される光３２２を発生するように操作される。そのため、照らされていることに応答して目標対象３２４から放出された光３２６がビームスプリッタ６１０によって受信される。次に、放出された光３２６の部分６２２が、ビームスプリッタ６１０によって反射され、すると、目標対象３２４の蛍光情報を捕捉するために、蛍光撮像モジュール５１０による受信のために、発光フィルタ３４０を透過するように向けられる。

三角測量のため、レーザーモジュール３１０は、目標対象３２４上にレーザースポットを照射し、検出器３２０を使用して、目標対象３２４上でレーザードットの位置を探す。レーザーが所与の目標対象３２４に当たる深度に応じて、レーザードットは、カメラまたは撮像センサー３２０の視野の深度に異なる位置で出現する。従って、目標対象３２４の奥行き情報が、センサー上の対応する画素位置に基づいて推測され得る。レーザードットをラスター走査すると、目標対象３２４に関する奥行き情報と共に点群が生成される。任意選択として、発光体モジュール３１０は、単一のレーザードットの代わりに、レーザーストライプを出力し得、すると、レーザーストライプは、目標対象３２４をさっと通って、形状走査プロセスを加速する。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図１５Ｄに示すように、撮像構成１３５０Ｄで具現化され得る。具体的には、撮像構成１３５０Ｄは、三角測量レーザーとして構成されている発光体モジュール３１０を追加して、図７Ａに関して前述したように、画像検出モジュール３２０、蛍光撮像モジュール５１０、発光フィルタ３４０、ビームスプリッタ６１０Ａ、画像検出モジュール３２０Ａ、蛍光撮像モジュール５１０Ａおよび発光フィルタ３４０Ａを含む。具体的には、三角測量レーザー３１０は、目標対象３２４の三角測量プロセスを実行するのに適した複数のレーザー光３２２を放出するように構成される。そのため、画像検出モジュール３２０および蛍光撮像モジュール５１０は、実質的に互いに直角に配置され、他方、画像検出モジュール３２０Ａおよび蛍光撮像モジュール５１０Ａも実質的に互いに直角に配置される。加えて、ビームスプリッタ６２０は、画像検出モジュール３２０および蛍光撮像モジュール５１０に対して、約４５度など、斜角で配置される。同様に、ビームスプリッタ６２０Ａは、画像検出モジュール３２０Ａおよび蛍光撮像モジュール５１０Ａに対して、約４５度など、斜角で配置される。そのため、検出構成１３５０Ｄの動作中、発光体モジュール３１０は、レーザー光３２２を放出して目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって反射されて放出された光３２６がビームスプリッタ６１０および６１０Ａによって受信され、そこで、光３２６の部分６２０が、目標対象３２４によって反射された光として、目標対象３２４の形状データを捕捉するために、画像検出モジュール３２０および３２０Ａによる受信のためにビームスプリッタ６１０および６１０Ａを透過するのを可能にされる。加えて、光３２６の別の部分６２２が、目標対象３２４によって放出された光として、ビームスプリッタ６１０および６１０Ａによって受信され、ビームスプリッタ６１０および６１０Ａによって反射され、すると、目標対象３２４の蛍光情報を捕捉するために、蛍光撮像モジュール５１０および５１０Ａによる受信のために、発光フィルタ３４０および３４０Ａを透過するように向けられる。

形状走査のための飛行時間スキャナ／距離計を用いた蛍光撮像
他の実施形態では、飛行時間レーザー距離計、もしくはライダー、もしくはレーザースキャナが、統合されるか、または前述した本発明の光学撮像能力と併せて利用され得る。蛍光、色反射率、偏光、マルチスペクトル、ハイパースペクトル、吸収および酸素飽和度を含むが、それらに制限されない、様々な光学的画像診断法も実装できる。例えば、いくつかの実施形態では、飛行時間レーザー距離計またはスキャナは、距離計によって放出された光パルスが、目標対象３２４に達して、距離計に戻るのにかかる往復時間を特定することにより目標対象３２４の距離を特定する。すなわち、パルス状レーザー距離計は、光パルスを放出し、目標対象３２４によって反射された光が検出器によって捕捉されるまでの時間が飛行時間として測定される。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図１６Ａに示すように、撮像構成１４００Ａで具現化され得る。具体的には、撮像構成１４００Ａは、距離計として構成されている発光体モジュール３１０を追加して、図４Ｃに関して前述したように、画像検出モジュール３２０、発光フィルタホイール３４０、励起光源４５０および蛍光励起フィルタ４１０を含む。具体的には、発光体モジュール３１０は、飛行時間レーザー距離計、またはレーザー距離計などの、任意の他の適切な距離計として構成され得る。一実施形態では、レーザー３１０は、目標対象３２４までの距離を特定するために距離計プロセスを実行するのに適した複数のレーザー光３２２を放出するように構成される。追加として、励起光源４５０は、任意の適切な光を発生するように構成され得、その光は次いで、励起フィルタ４１０を透過する。具体的には、蛍光励起フィルタ４１０は、励起光源４５０から放出された光３２２が、撮像されている目標対象３２４に当たる前に、励起フィルタ４１０を透過するように配置される。そのため、検出構成１４００Ａの動作中、発光フィルタ３４０が画像検出モジュール３２０の光３２６検出経路から出され、発光体モジュール３１０がレーザー光３２２を発生するために使用されて、目標対象３２４を照らす場合、画像検出モジュール３２０は、目標対象３２４の形状情報を捕捉する。別の態様では、３Ｄ走査プロセスは、任意選択で、発光フィルタ３４０を画像検出モジュール３２０の検出経路から出すことなく実行され得る。例えば、発光体モジュール３１０は、３Ｄ走査を可能にするために、発光フィルタ３４０を透過することが可能な光を放出するように構成され得る。このプロセスの一例は、発光体モジュール３１０は、約８３０ｎｍの波長で光を放出し得、それは、８３０ｎｍに中心を置く帯域通過発光フィルタ３４０を透過することが可能であり、それにより、３Ｄ走査が実行可能になることである。代替として、発光フィルタ３４０が画像検出モジュール３２０の検出経路に入れられて、励起フィルタ４１０が、目標対象３２４を照らすために光源４５０から放出された光３２２を処理するように動かされる場合、画像検出モジュール３２０は、目標対象３２４からの蛍光情報を捕捉する。そのため、光源４５０から処理された光３２２によって照らされていることに応答して、目標対象３２４によって放出された光３２６が次いで、画像検出モジュール３２０により目標対象３２４の蛍光情報として検出される前に、発光フィルタ３４０によって処理される。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図１６Ｂに示すように、撮像構成１４００Ｂで具現化され得る。具体的には、撮像構成１４００Ａは、形状走査モジュールとして構成されている発光体モジュール３１０を追加して、図４Ｃに関して前述したように、画像検出モジュール３２０、発光フィルタホイール３４０、励起光源４５０および蛍光励起フィルタ４１０を含む。具体的には、発光体モジュール３１０を形成する形状走査モジュールは、コノスコープホログラフィ、調光、ステレオカメラ、フーリエ３Ｄ走査、低コヒーレンス干渉法、コモンパス干渉３Ｄ走査、接触側面計を含むが、それらに制限されない、様々な形状走査法を利用するように構成され得る。発光体３１０は、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ（商標）などの、市販の奥行き感知カメラを含み得る。加えて、かかる技術は、形状走査および光学撮像データの両方を生成するための蛍光撮像などの、高度な光学撮像方法と統合できる。励起光源４５０は、任意の適切な光を発生するように構成され得、その光は次いで、励起フィルタ４１０を透過することも理解されよう。具体的には、蛍光励起フィルタ４１０は、励起光源４５０から放出された光３２２が、撮像されている目標対象３２４に当たる前に、励起フィルタ４１０を透過するように配置される。そのため、検出構成１４００Ｂの動作中、発光フィルタ３４０が画像検出モジュール３２０の光３２６検出経路から出され、発光体モジュール３１０がレーザー光３２２を発生するために使用されて、目標対象３２４を照らす場合、画像検出モジュール３２０は、目標対象３２４の形状情報を捕捉する。別の態様では、３Ｄ走査プロセスは、任意選択で、発光フィルタ３４０を画像検出モジュール３２０の検出経路から出すことなく実行され得る。例えば、発光体モジュール３１０は、３Ｄ走査を可能にするために、発光フィルタ３４０を透過することが可能な光を放出するように構成され得る。このプロセスの一例は、発光体モジュール３１０は、約８３０ｎｍの波長で光を放出し得、それは、８３０ｎｍに中心を置く帯域通過発光フィルタ３４０を透過することが可能であり、それにより、３Ｄ走査が実行可能になることである。代替として、発光フィルタ３４０が画像検出モジュール３２０の検出経路に入れられて、励起フィルタ４１０が、目標対象３２４を照らすために光源４５０から放出された光３２２を処理するように動かされる場合、画像検出モジュール３２０は、目標対象３２４からの蛍光情報を捕捉する。そのため、光源４５０から処理された光３２２によって照らされていることに応答して、目標対象３２４によって放出された光３２６が次いで、画像検出モジュール３２０により目標対象３２４の蛍光情報として検出される前に、発光フィルタ３４０によって処理される。

更に別の実施形態では、発光フィルタ３４０は、波長可変フィルタを含み得る。波長可変フィルタを使用すると、ハイパースペクトル撮像を構成１４００Ｂによって実行して、複数の光波長を捕捉することが可能になる。更に別の実施形態では、発光フィルタ３４０は、複数の狭帯域フィルタを含むフィルタホイールを含み得る。そのため、構成１４００Ｂは、複数の光波長の反射画像または吸収画像を捕捉することが可能である。

更に別の実施形態では、発光フィルタ３４０を具現化しているフィルタホイールは、酸素飽和度の撮像に適したフィルタを含み得る。例えば、組織酸素飽和度（ＳＴＯ２）または静脈血酸素飽和度（ＳＶＯ２）の画像が測定され得る。例えば、６６０ｎｍおよび９５０ｎｍフィルタが酸素飽和度画像を捕捉するために使用され得る。酸素飽和度は、式：ＳｔＯ２＝酸素飽和したヘモグロビン値／総ヘモグロビン値（未飽和＋飽和）、を使用して計算できる。適切なフィルタ３４０を使用することによりチェレンコフ撮像も可能になり得ることも理解されよう。

スペクトルフィルタの代わりに偏光器が使用され得、また、偏光撮像、および偏光差／偏光比撮像を可能にするために、別の偏光器が発光体モジュール３１０の前に配置され得ることも理解されよう。前述した異なる画像診断法が、以前に説明した、インターリーブ方式を使用して、連続して、または並行して、のいずれかで、３Ｄ走査と一緒に獲得され得ることが理解されよう。本発明により、複数の画像診断法が可能になり得ることが理解されよう。例えば、酸素飽和度撮像、色反射率撮像、自動蛍光撮像および外因性コントラストに基づく近赤外線（ＮＩＲ）撮像は、本発明によって、一緒に同時に可能になるか、または実行され得る。

カラー符号化ストライプ指標付けおよび波長分割技法
更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図１７に示すように、撮像構成１５００で具現化され得る。具体的には、撮像構成１５００は、高速カラープロジェクタとして構成される、発光体モジュール３１０を含む。発光体モジュール３１０と動作可能に配置されているのは、近赤外線（ＮＩＲ）阻止フィルタ１５１０および偏光器８３０である。いくつかの実施形態では、フィルタ１５１０はショートパスフィルタを含み得ることが理解されよう。そのため、発光体モジュール３１０の動作中、発光体モジュール３１０によって放出された光３２２は、ＮＩＲ阻止フィルタ１５１０および偏光器８３０によって処理され、その後、処理された光３２２は目標対象３２４を照らす。撮像構成１５００は、光源４５０も含み、それは、近赤外線ＬＥＤ（発光ダイオード）アレイ４５０を含む。光源４５０は、励起フィルタ４１０および光拡散体１５２０と動作可能に配置される。さらに、画像検出モジュール３２０、発光体モジュール３１０、光源４５０、および蛍光撮像モジュール５１０は、コントローラ１３０に結合され、そのため構成要素は、適切な通信技術を使用して互いに通信し得る。そのため、光源４５０の動作中、光源４５０によって放出された光３２２は、励起フィルタ４１０および光拡散体１５２０によって処理され、その後、処理された光３２２は目標対象３２４を照らす。加えて、撮像構成１５００は、ビームスプリッタ６１０を含み、それは、ダイクロイックフィルタまたは１つの範囲の波長の光を反射して、別の範囲の波長の光を透過することが可能な任意の適切な装置を含み得る。加えて、撮像構成１５００は、画像検出モジュール３２０、蛍光撮像モジュール５１０、および発光フィルタ３４０を含み、それにより、画像検出モジュール３２０は、蛍光撮像モジュール５１０および発光フィルタ３４０に対して、実質的に直角など、ある角度をなして配置される。加えて、ビームスプリッタ６１０は、画像検出モジュール３２０および蛍光撮像モジュール５１０／発光フィルタ３４０に対して、約４５度の角度など、斜角で配置される。画像検出モジュール３２０は、目標対象３２４の形状情報を捕捉するためのカラーセンサーとして構成され、他方、蛍光撮像モジュール５１０は、目標対象３２４の蛍光情報を捕捉するための近赤外線（ＮＩＲ）センサーとして構成されることが理解されよう。加えて、光学レンズ１５５０および分析器８４０が、ビームスプリッタ６１０に対して動作可能に配置され、そのため、光学レンズ１５５０は、ビームスプリッタ６１０に近接して置かれ、分析器８４０はビームスプリッタ６１０に対して遠位に置かれる。加えて、光学レンズ１５５０および分析器８４０は、蛍光撮像モジュール５１０に平行に、かつ画像検出モジュール３２０に対して実質的に直角に配置され、他方、ビームスプリッタ６１０は、光学レンズ１５５０および分析器８４０に対して、約４５度の角度など、斜角で配置される。従って、発光体モジュール３１０から放出された光３２２または励起光源４５０から放出された光３２２によって照らされていることに応答して目標対象３２４から反射されるか、または放出される光３２６が、ビームスプリッタ６１０によって受信される前に、分析器８４０および光学レンズ１５５０によって処理され、すると、処理された光３２６は、説明した方法で、画像検出モジュール３２０および発光フィルタ３４０および蛍光撮像モジュール５１０に向けられる。

そのため、検出構成１５００の動作中、目標対象３２４の形状情報を検出するために、発光体モジュール３１０は光３２２を放出し、それは、ＮＩＲ阻止フィルタ１５１０および偏光器８３０によって処理されて目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって反射された光３２６が、ビームスプリッタ６１０によって受信される。ビームスプリッタ６１０で光３２６を受信すると、ビームスプリッタ６１０は、目標対象３２４のカラー形状データを捕捉するため、画像検出モジュール３２０による受信のために、光３２６を光線６２２として反射する。加えて、目標対象３２４の蛍光情報を検出するために、励起光源４５０は光３２２を放出し、それは、励起フィルタ４１０および光拡散体１５２０によって処理されて目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって放出される光３２６が、ビームスプリッタ６１０による受信のために、ビームスプリッタ６１０によって受信される。ビームスプリッタ６１０で光３２６を受信すると、ビームスプリッタ６１０は、放出された光３２６が、蛍光撮像モジュール５１０による目標対象３２４の蛍光情報としての受信のために、発光フィルタ３４０を光線６２０として透過できるようにする。

本発明の構成１５００は、低走査速度で、低い近赤外線（ＮＩＲ）検出感度を有するこれまでの生成撮像システムの制限を克服することが理解されよう。具体的には、本発明の構成１５００は、図１７に示すように、カラー符号化ストライプ指標付け単一ショット技法および高速ＣＭＯＳ撮像センサー３２０および５１０に基づく波長分割２センサー構成を使用する。具体的には、画像検出モジュール３２０、発光体モジュール３１０、光源４５０、および蛍光撮像モジュール５１０およびコントローラ１３０が一緒に結合され、それによりモジュールは適切な通信技術を使用して相互に通信し得る。

画像検出モジュール３２０に関しては、リアルタイム形状走査のために高速カラーＣＭＯＳセンサー（ＬＵＰＡ １３００−２、ＯＮ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を含み得る。いくつかの実施形態では、画像検出モジュール３２０は、約５００フレーム／秒のフレームレートを有し得る。

加えて、蛍光撮像モジュール５１０は、ＮＩＲ感知ＣＭＯＳセンサー（ＭＴ９Ｖ０３２、Ａｐｔｉｎａ）を含み得、それは、約８００ｎｍで約４０％の量子効率を有し得る。さらに、発光フィルタ３４０は、高感度での蛍光撮像のために、８３２ｎｍ帯域通過発光フィルタ３４０（＃８４−１２３、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ）を含み得る。加えて、ビームスプリッタ６１０は、ショートパスダイクロイックビームスプリッタ（ＦＦ７５６−ＳＤｉ０１−２５×３６、ＳＥＭＲＯＣＫ）を含み得、それは、図１７に示すように、可視光成分とＮＩＲ光成分を分割するために使用される。本発明の波長分割２センサー構成１５００は、目標対象３２４の形状情報および蛍光情報の並行または同時取得を可能にする。カラーＣＭＯＳセンサーを含む画像検出モジュール３２０は、必要に応じて、反射画像を捕捉するようにも構成され得る。Ｆ／４撮像システムは、画像検出モジュール３２０および蛍光撮像モジュール５１０によって実装されて、大きい被写界深度および高蛍光収集効率を達成し得る。

光源４５０は、フィルタ処理したＮＩＲ ＬＥＤ（発光ダイオード）アレイを含み得、発光体モジュール３１０は、フィルタ処理した高速カラープロジェクタを含み得る。発光体モジュール３１０を含むカラープロジェクタ（Ｂａｒｃｏ Ｆ５０）は、目標対象３２４のリアルタイム形状走査のために、高速、単一ショット、カラー符号化、１２０Ｈｚでの構造化照明を提供する。本発明の構成１５００によって利用されるカラー符号化ストライプ指標付け投影技法は、前述した技術を使用して実装される。加えて、ＮＩＲ阻止フィルタ１５１０は、蛍光検出を妨げるＮＩＲ成分を除去するために、７００ｎｍショートパスフィルタ（＃８４−７２７、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ）を含み得る。偏光器／分析器ペア（＃８９−６０２、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ）８３０および８４０は、偏光解消される、組織または目標対象３２４を形成する他の材料中に拡散した光子を除去するために提供され、そのため、表面に反射する光子を捕捉して、目標対象３２４の正確な形状取得が実行されるのを確実にするように動作する。加えて、光源４５０は、７８０ｎｍ ＬＥＤアレイ（Ｒｏｉｔｈｎｅｒ Ｌａｓｅｒｔｅｃｈｎｉｋ ＬＥＤ ７８０−６６−６０）を含み得、それは、６０のＬＥＤおよび４ワットの光出力を有して、０．５ｍの作動距離で約３０×２４ｃｍの領域に対して均一な照明を提供する。さらに、いくつかの実施形態では、目標対象３２４の、術野などの、関心のある定義された領域のみが照らされて、バックグラウンドを低減する。追加として、励起フィルタ４１０は、８００ｎｍを上回る放出された励起光を遮断するために、７７５ｎｍ帯域通過励起フィルタ（＃８４０１０６、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓ）を含み得る。

コントローラ１３０は、画像検出モジュール３２０、発光体モジュール３１０、光源４５０、および蛍光撮像モジュール５１０と通信して、それらの同期した動作を確実にする。一態様では、コントローラ１３０は、制御および画像処理用のＤｅｌｌ ｐｒｅｃｉｓｉｏｎ Ｔｏｗｅｒ ７８１０ Ｗｏｒｋｓｔａｔｉｏｎなどの、任意の適切なコンピュータシステムと共に、ボード（Ｏｐａｋｅｌｌｙ）上に実装される１ＧＢの外部メモリなどの、任意の適切なメモリを備えたＦＰＧＡ（フィールドプログラマブルゲートアレイ）を含み得る。ＦＰＧＡは、Ｖｅｒｉｌｏｇなどの、任意の適切なプログラミング言語を使用してプログラムされ得、いくつかの実施形態では、リアルタイム撮像を実装するために、ＦＰＧＡの並列処理能力を利用し得る。ＦＰＧＡは、ＣＭＯＳ画像センサー３２０および５１０からデータを受信するように構成され、それは、Ｃａｍｅｒａ−Ｌｉｎｋデータバスを介して送信される。そのため、コントローラ１３０を形成するワークステーションは、記憶、処理および表示のために、ＦＰＧＡボードから画像を受信し、デジタルプロジェクタからの構造化光照明を直接制御する。

画像重ね合わせ処理
さらに、本発明は、図１８に示すように、ＰＥＴ／ＣＴ（陽電子放射断層撮影）および／またはＣＴ（ｘ線コンピュータ断層撮影）の目標対象３２４の蛍光撮像との、サーフェス画像重ね合わせアルゴリズムも提供する。そのため、本アルゴリズムでは、個々の診断法からのデータ、および重ね合わせたデータをユーザー選択に基づくコマンドで表示可能にする。例えば、マウスのリンパ節の、図１８Ｄ、図１８Ｅに示す、術前ＰＥＴ／ＣＴ画像、および図１８Ｂ、図１８Ｃに示す、蛍光撮像が捕捉されている。そのため、本発明は、図１８Ａに示す、目標対象３２４の形状情報を使用して、図１８Ｆ〜図１８Ｉに示すような、術中蛍光撮像および色反射率撮像と、術前ＣＴ／ＰＥＴデータとの間の正確な重ね合わせを可能にする。そのため、本発明は、図１８Ｆ〜図１８Ｉに示すように、術前ＰＥＴ／ＣＴ手術ナビゲーションおよび術中蛍光撮像に基づく、マルチモーダル３Ｄ（３次元）画像ガイダンスを提供できるようにする。すなわち、図１８Ａ〜図１８Ｅに示す個々の診断法からの画像データならびに図１８Ｃおよび図１８Ｆ〜図１８Ｉの重ね合わせた画像は、ユーザー選択に基づいて提示され得る。図１８Ｇ〜図１８Ｉの重ね合わせた画像は、手術計画および術中の意思決定を容易にするために回転され得る。

さらに、本発明は、制御システム１３０において高速画像重ね合わせアルゴリズムまたはプロセス１６００を実装することにより、オフラインの手動画像重ね合わせを利用する従来技術のシステムの限界を克服して、マルチモーダル画像ガイダンスを術中に提供する。本アルゴリズムまたはプロセス１６００によって実行されるステップを図１９に示す。最初に、ステップ１６１０で、手術の前に、手術の目標対象３２４が術前画像データを取得するためにＰＥＴ／ＣＴスキャンを受ける。次に、ステップ１６２０で、点群｛Ｐｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，ｆ_ｉ，ｒ_ｉ，ｇ_ｉ，ｂ_ｉ），ｉ＝１，２，．．．．．，Ｎ｝が次いで得られ、ここでベクトル（ｆ_ｉ，ｒ_ｉ，ｇ_ｉ，ｂ_ｉ）は、個々の表面点と関連付けられた蛍光、赤、緑および青のデータを表す。ステップ１６３０で、本発明の撮像構成１５００は、前述したように、形状、蛍光および色反射率データを含む、術中の撮像データを取得する。ステップ１６４０での、光学およびＰＥＴ／ＣＴデータセットのリサンプリング後、プロセス１６００はステップ１６５０に進み、そこで、サーフェス画像重ね合わせが、前述したように、処理時間を最小限にするために、ｋ−ｄ次元のツリーを用いて、ＩＣＰ（ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）アルゴリズムを使用して実行される。いくつかの実施形態では、重ね合わせアルゴリズムが、ＭＡＴＬＡＢまたはＰｙｔｈｏｎなどの、任意の適切なプログラミング言語を使用して実装され得ることが理解されよう。重ね合わせ後、術前のＰＥＴ／ＣＴ容積測定データが取り込まれて、更新された点群は｛Ｐｉ＝（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ，ｆ_ｉ，ｒ_ｉ，ｇ_ｉ，ｂ_ｉ，ｐ_ｉ，ｃ_ｉ），ｉ＝１，２，．．．．．，Ｎ｝となり、ここでベクトル（ｆ_ｉ，ｒ_ｉ，ｇ_ｉ，ｂ_ｉ，ｐ_ｉ，ｃ_ｉ）は、３Ｄ体積における個々の点と関連付けられた蛍光、赤、緑、青、ＰＥＴおよびＣＴのデータを表す。最後に、ステップ１６６０で、重ね合わせた術前画像データおよび術中画像データが表示され、いくつかの実施形態では、リアルタイムで表示される。表示ステップ１６６０中、蛍光、ＰＥＴおよびＣＴ信号は、合成画像において異なる擬似カラー方式を割り当てられ得る。重ね合わせプロセスは、任意選択として、点群表現の代わりに、多角形メッシュ表現に基づいても実行され得ることも理解されよう。本発明のグラフィックユーザーインタフェース（ＧＵＩ）は、従来のキーボード／マウス入力装置、およびタッチスクリーンインタフェース、ジェスチャ認識、音声認識、または任意の他の適切なインタフェース装置の両方に対して適切であるように最適化され、それにより、撮像システムまたは構成１５００を臨床状況で使用する方法において医師に卓越した柔軟性を提供する。

３Ｄ走査および医用撮像能力を備えた撮像ゴーグル
具体的には、３Ｄ走査モジュール１１０および撮像モジュール１２０によって提供される機能は、図２０Ａに示すように、撮像構成１７００Ａで具現化され得る。具体的には、構成１７００Ａは、ウェアラブルディスプレイ１７１０を追加して、図４Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、および発光フィルタ３４０を含む。具体的には、ウェアラブルディスプレイ１７１０は、コントローラ１３０の出力に結合され、コントローラ１３０は、発光体モジュール３１０および画像検出モジュール３２０に結合される。そのため、撮像構成１７００Ａによって捕捉された形状情報および蛍光情報が、説明する方法で、ウェアラブルディスプレイ１７１０上に提示される。

さらに、別の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２０Ｂに示すように、撮像構成１７００Ｂで具現化され得る。具体的には、構成１７００Ｂは、ウェアラブルディスプレイ１７１０を追加して、図４Ｂに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０、および蛍光励起フィルタ４１０を含む。具体的には、ウェアラブルディスプレイ１７１０は、コントローラ１３０の出力に結合され、コントローラ１３０は、発光体モジュール３１０および画像検出モジュール３２０に結合される。そのため、撮像構成１７００Ａによって捕捉された形状情報および蛍光情報は、説明する方法で、ウェアラブルディスプレイ１７１０上に提示される。一態様では、発光フィルタ３４０および蛍光励起フィルタ４１０は、前述のように、可動フィルタホイールとして提供される。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２０Ｃに示すように、撮像構成１７００Ｃで具現化され得る。具体的には、構成１７００Ｃは、ウェアラブルディスプレイ１７１０に加えて、図４Ｃに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタホイール３４０、励起光源４５０および蛍光励起フィルタ４１０を含む。具体的には、ウェアラブルディスプレイ１７１０は、コントローラ１３０の出力に結合され、コントローラ１３０は、画像検出モジュール３２０に結合される。そのため、撮像構成１７００Ａによって捕捉された形状情報および蛍光情報は、説明する方法で、ウェアラブルディスプレイ１７１０上に提示される。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２０Ｄに示すように、撮像構成１７００Ｄで具現化され得る。具体的には、構成１７００Ｄは、ウェアラブルディスプレイ１７１０に加えて、図５Ａに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光検出モジュール５１０、および蛍光発光フィルタ３４０を含む。具体的には、ウェアラブルディスプレイ１７１０は、コントローラ１３０の出力に結合され、コントローラ１３０は、発光体モジュール３１０、画像検出モジュール３２０および蛍光モジュール５１０に結合される。そのため、撮像構成１７００Ａによって捕捉された形状情報および蛍光情報は、説明する方法で、ウェアラブルディスプレイ１７１０上に提示される。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２０Ｅに示すように、撮像構成１７００Ｅで具現化され得る。具体的には、構成１７００Ｅは、ウェアラブルディスプレイ１７１０に加えて、図５Ｂに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光検出モジュール５１０、蛍光発光フィルタ３４０、および蛍光励起フィルタ４１０を含む。具体的には、ウェアラブルディスプレイ１７１０は、コントローラ１３０の出力に結合され、コントローラ１３０は、発光体モジュール３１０、画像検出モジュール３２０および蛍光撮像モジュール５１０に結合される。そのため、撮像構成１７００Ａによって捕捉された形状情報および蛍光情報は、説明する方法で、ウェアラブルディスプレイ１７１０上に提示される。

更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２０Ｆに示すように、撮像構成１７００Ｅで具現化され得る。具体的には、撮像構成１７００Ｅは、ウェアラブルディスプレイ１７１０に加えて、図５Ｃに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、蛍光検出モジュール５１０、発光フィルタ３４０、励起光源４５０および蛍光励起フィルタ４１０を含む。具体的には、ウェアラブルディスプレイ１７１０は、コントローラ１３０の出力に結合され、コントローラ１３０は、発光体モジュール３１０および画像検出モジュール３２０に結合される。そのため、撮像構成１７００Ａによって捕捉された形状情報および蛍光情報は、説明する方法で、ウェアラブルディスプレイ１７１０上に提示される。

そのため、本発明の撮像構成１７００Ａ〜１７００Ｆは、ウェアラブルディスプレイ１７１０を含み、それは、ユーザーに取り付けて装着されるように構成されているウェアラブルディスプレイなどの、任意の適切なディスプレイを含み得る。例えば、ウェアラブルディスプレイ１７１０は、ゴーグルタイプのウェアラブル装置の一部として含まれ得、それはディスプレイ１７１０の付いたウェアラブルゴーグルまたは接眼フレームを含む。

一態様では、ディスプレイ１７１０は、ユーザーの視野の全体、またはその一部を覆う単一の表示面を提供する単一の連続表示に適した単一のディスプレイ要素を含み得る。代替として、ディスプレイ１７１０は、ユーザーの各眼に対して視野を提供するために独立したディスプレイを提供する、立体ディスプレイの場合などに、右専用ディスプレイおよび左専用ディスプレイなどの、複数の別々のディスプレイ要素を含み得る。

さらに、ディスプレイ１７１０は、反射型液晶（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）（ＬＣｏＳ）ディスプレイ、ＬＣＤ（液晶ディスプレイ）ディスプレイ、ＯＬＥＤ（有機発光ダイオード）ディスプレイ、投写型ディスプレイ、ヘッドマウント式ディスプレイ（ＨＭＤ）、ヘッドマウント式投写型ディスプレイ（ＨＭＰＤ）、光学透過型ディスプレイ、切換え可能光学透過型ディスプレイ、選択的遮蔽透過型ヘッドマウント式ディスプレイ、およびビデオ透過型ディスプレイを含み得る。さらに、ディスプレイは、拡張現実窓、拡張モニター、患者への投影／ヘッドマウント式透過型ディスプレイ、選択的遮蔽透過型ヘッドマウント式ディスプレイ、網膜走査ディスプレイ、または任意の他の適切なディスプレイを含み得る。別の態様では、ディスプレイ１７１０は、任意の静止画像または動画を表示するように構成され得る。ディスプレイ１７１０は、複数の独立した画像供給源からの画像を同時に表示できるピクチャーインピクチャー（ＰＩＰ）ディスプレイも含み得る。一例では、超音波画像および術中の蛍光＆形状の統合画像が、ピクチャーインピクチャー方式で表示され得る。別の例では、術前の断層画像、および術中のカラー画像が、ピクチャーインピクチャー方式で、形状と統合されて表示され得る。

いくつかの実施形態では、術前の断層画像（例えば、ＭＲＩ、ＣＴ、ＳＰＥＣＴ、およびＰＥＴ）は、術中のカラー画像、蛍光画像および形状データと重ね合わされて、ディスプレイ１７１０に表示され得る。

他の実施形態では、ディスプレイ１７１０は、立体画像を奥行き感覚とともに表示可能な立体ディスプレイを含み得る。更なる実施形態では、ディスプレイ１７１０は、３次元（３Ｄ）画像を奥行き感覚とともに表示可能であり得る。さらに他の実施形態では、ディスプレイ１７１０は、複数の画像を一度にディスプレイ１７１０上に同時に表示可能にするために、様々な不透明度／透明度の重ね合わせたか、または重ねられた画像を提供するように構成され得る。更に別の実施形態では、ディスプレイ１７１０は、ユーザーが、ディスプレイ１７１０によって表示されている画像を見ることができるようにし、同時に、ユーザーの周辺環境も見るために、ユーザーが直接、自分の目で、またはディスプレイ１７１０を通した自然視で見るのを可能にするために、少なくとも部分的に光透過であり得る。

他の実施形態では、蛍光撮像モジュール５１０は、赤、緑、および青の色情報、ならびに奥行き情報またはデータおよび蛍光撮像情報を捕捉するように構成されるカメラを含む。

別の態様では、システム１００は、目標対象３２４の３Ｄ形状および蛍光情報を順次に捕捉し得る。これを達成するために、システム１００は最初に３Ｄ走査を、次いで蛍光撮像を２番目に実行する。

別の態様では、本システムは、目標対象３２４の３Ｄ形状および蛍光情報を並行して、または同時に捕捉し得る。そのため、画像検出モジュール３２０は、同様の時間枠中に、３Ｄ走査信号および蛍光信号の両方を検出することが可能である。従って、画像検出モジュール３２０によって捕捉される画像フレームは、それぞれ、３Ｄ走査および蛍光撮像の目的に対して指定され得る。例えば、画像検出モジュール３２０のフレームレートが３０フレーム／秒（ＦＰＳ）の場合、１秒間では、３Ｄ形状を捕捉するために１５フレーム（例えば、奇数フレーム：１，３，５，７，９，．．．）が使用でき、他方、残りの１５フレーム（例えば、２，４，６，８，１０，．．．）は蛍光検出のために使用できる。画像フレーム指定の任意の他の組合せが並行／同時走査に対して使用され得、例えば、総画像フレームの３分の２が３Ｄ走査のために使用され得、他方、総画像フレームの３分の１が蛍光撮像のために使用されることが理解されよう。

発光体３１０および画像検出モジュール３２０の動作は、コントローラ１３０によるフレーム同期化の動作によって調整されることも理解されよう。例えば、画像検出モジュール３２０は、３０フレーム／秒（ＦＰＳ）で動作し、発光体３１０は、画像検出モジュール３２０と同期して１５フレーム（例えば、奇数フレーム１，３，５，７，９，．．．）に対して３Ｄ形状を捕捉するための縞パターンを放出することが可能である。発光体モジュール３１０は、検出器３２０と同期して、残りの１５フレーム（例えば、奇数フレーム１，３，５，７，９，．．．）に対して蛍光撮像のために蛍光励起光を放出するようにも構成される。

本発明の撮像構成１７００Ａ〜Ｆは、様々な光学撮像技術を可能にできる。更に別の実施形態では、発光フィルタ３４０は、波長可変フィルタを含み得る。波長可変フィルタを使用すると、ハイパースペクトル撮像を構成１７００Ａ〜Ｆによって実行して、複数の光波長を捕捉することが可能になる。更に別の実施形態では、発光フィルタ３４０は、複数の狭帯域フィルタを含むフィルタホイールを含み得る。そのため、構成１７００Ａ〜Ｆは、複数の光波長の反射画像または吸収画像を捕捉することが可能である。更に別の実施形態では、発光フィルタ３４０を具現化しているフィルタホイールは、酸素飽和度の撮像に適したフィルタを含み得る。例えば、組織酸素飽和度（ＳＴＯ２）または静脈血酸素飽和度（ＳＶＯ２）の画像が測定され得る。例えば、６６０ｎｍおよび９５０ｎｍフィルタが酸素飽和度画像を捕捉するために使用され得る。酸素飽和度は、式：ＳｔＯ２＝酸素飽和したヘモグロビン値／総ヘモグロビン値（未飽和＋飽和）、を使用して計算できる。適切なフィルタ３４０を使用することによりチェレンコフ撮像も可能になり得ることも理解されよう。スペクトルフィルタの代わりに偏光器が使用され得、また、偏光撮像、および偏光差／偏光比撮像を可能にするために、別の偏光器が発光体モジュール３１０の前に配置され得ることも理解されよう。前述した異なる画像診断法が、以前に説明した、インターリーブ方式を使用して、連続して、または並行して、のいずれかで、３Ｄ走査と一緒に獲得され得ることが理解されよう。本発明により、複数の画像診断法が可能になり得ることが理解されよう。例えば、酸素飽和度撮像、色反射率撮像、自動蛍光撮像および外因性コントラストに基づく近赤外線（ＮＩＲ）撮像は、一緒に同時に可能にされ得る。

本システムでは、ウェアラブルディスプレイ１７１０と、撮像モジュール３２０、発光体モジュール３１０、光源、および蛍光撮像モジュール５１０に結合されるコントローラ１３０との間の接続は、有線または無線接続を含み得る。いくつかの実施形態では、ウェアラブルディスプレイ１７１０、撮像モジュール３２０および発光体モジュール３１０は、ユニボディ設計内に収納されて、ユーザーによって装着される。他の実施形態では、撮像モジュール３２０、蛍光撮像モジュール５１０、発光体３１０および光源４５０は、三脚上に取り付けられ得、他方、ウェアラブルディスプレイ１７１０はユーザーによって装着される。いくつかの実施形態では、蛍光励起のための励起光源４５０は、ユーザーによって装着され得るか、または固定の移動しない支持上に取り付けられ得る。

コントローラ１３０は、システム制御およびデータ処理のために、組込みのコンピューティング装置を含み得るか、または外部のコンピュータ／タブレットコンピュータ／スマートフォンに接続され得ることも理解されよう。

別の例では、ジャイロスコープ追跡は、システム１００によって提供される追跡モジュールを使用して実行され得る。慣性測定装置（ＩＭＵ）が追跡目的で使用され得る。前述した追跡技法に加えて、他の追跡技法、例えば、ラジオ周波数追跡、光学追跡、電磁追跡、ビデオ追跡（パターン認識）、音響追跡、機械式追跡、および／またはそれらの組合せなど、が使用され得ることも理解されよう。加えて、採用される追跡法は、剛体、可撓体またはデジタイザ法を利用し得る。

追跡および重ね合わせプロセス中、コントローラ１３０は、正確な追跡および重ね合わせを可能にするために、計算を実行して必要なステップを実行することが理解されよう。一態様では、完全な重ね合わせプロセスは、以下のステップで実行され得る。最初に、本プロセスは、患者または目標対象３２４、ウェアラブル撮影および表示システム１００ならびにインタフェースに結合された周辺機器としてのハンドヘルドプローブの位置を取得する。次に、本システムは、術前の撮像データを取得する。次に、その術前撮像データに基づいて３Ｄモデルが作成される。次のステップで、患者の位置が、例えば、位置合わせマーカーなどの、任意の適切な技術を使用して術中に追跡される。次に、術前の画像空間と術中の対象空間（すなわち、患者空間）との間の変換行列が計算される。引き続き、術前の画像データが術中の対象空間（すなわち、患者空間）に重ね合わされる。次に、術中の撮像データが、例えば、蛍光またはカラー撮像などの、撮像システム１００から取得される。引き続き、ウェアラブル撮像および表示システム１００の位置が、光学追跡または磁気追跡などの、任意の適切な技法を使用して、取得される。次に、術中の撮像空間（すなわち、ウェアラブル撮影および表示システム）と術中の対象空間（患者空間）との間の変換行列が計算される。術中の撮像空間（蛍光画像データなど）が次いで、術中の対象空間（すなわち、患者空間）に重ね合わされる。加えて、本プロセスは、例えば、超音波ファイバ顕微鏡、およびラマン分光法などの、ハンドヘルド装置撮像または検出データを取得する。加えて、超音波ファイバ、顕微鏡、およびラマン分光プローブなどの、ハンドヘルドプローブの位置が追跡される。次に、ハンドヘルド撮像／検出プローブ画像空間と術中の対象空間（すなわち、患者空間）との間の変換行列が計算される。引き続き、ハンドヘルド装置の画像空間（すなわち、超音波または顕微鏡）が術中の対象空間（すなわち、患者空間）に重ね合わされる。最後に、重ね合わせた画像データが、ウェアラブル撮像システム１００のディスプレイ１７１０上に提示される。

別の態様では、本プロセスは、追跡および重ね合わせプロセスが、ハンドヘルドプローブから取得した画像データなしで実行されるように、構成され得る。結果として、本プロセスは、撮像および表示システム１００（すなわち、ゴーグルシステム）によって取得した術中の画像データならびに術前の手術ナビゲーション画像データだけを使用する。

更に別の態様では、本プロセスは、追跡および重ね合わせプロセスが、術前の手術ナビゲーション画像データなしで実行されるようにも構成され得る。結果として、本プロセスは、撮像および表示システム１００（すなわち、ゴーグルシステム）によって取得した術中の画像データならびにハンドヘルドプローブによって取得した画像データだけを使用する。

前述した重ね合わせ技法に加えて、ポイント画像重ね合わせ、サーフェス画像重ね合わせ、および／またはそれらの組合せなどの、他の重ね合わせ技法が使用され得ることも理解されよう。重ね合わせは、強度ベース、ランドマークベースまたは特徴ベースの重ね合わせのいずれかを含み得る。使用される変換モデルは、線形変換、または非剛体／弾性変換を含み得る。自動または対話式法だけでなく、空間または周波数領域法も使用され得る。重ね合わせプロセスは、点群表現、メッシュ表現、またはそれらの組合せに基づいて実行できる。

偏光ベースおよび波長ベースの異なる深度での光学走査
異なる波長の光は、生物組織などの、目標対象３２４に、異なる波長で浸透する。例えば、８００ｎｍの近赤外線（ＮＩＲ）光は、４５０ｎｍの青色光よりも深く生物組織に浸透できる。また、直線偏光が使用される場合、組織または目標対象３２４の外側表面は、偏光状態を維持して光を反射する。それに対して、目標対象の組織に深く浸透する光は、光子が組織内に移動する際の散乱事象に起因して、その直線偏光を失う。これらの特性は、システム１００を、異なる奥行き（例えば、最も外側の表面、表面下０．５ｍｍ、表面下１ｍｍ）で形状を生成できる３Ｄ走査システムとして構成するために使用できる。

従って、いくつかの実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２１Ａに示すように、撮像構成１８００Ａで具現化され得る。具体的には、撮像構成１８００Ａは、偏光器８３０および分析器８４０を追加して、図４Ａに関して前述したように、発光体モジュール３１０および画像検出モジュール３２０を含む。具体的には、偏光器８３０は、発光体モジュール３１０との併用のために動作可能に配置され、他方、分析器８４０は、画像検出モジュール３２０との使用のために動作可能に配置される。その結果、撮像構成１８００Ａの動作中、発光体モジュール３１０は、線形偏光器８３０によって処理される光３２２を発生して目標対象３２４を照らす。加えて、照らされていることに応答して目標対象３２４によって反射された光は、次いで、目標対象３２４の形状情報として検出される前に、分析器８４０によって処理される。そのため、撮像構成１８００Ａで偏光器８３０および分析器８４０を使用することにより、目標対象３２４の深度分解された形状が捕捉できるようにする。従って、線形偏光器８３０および分析器８４０の偏光状態が、互いに位置合わせされる（すなわち、共偏光）場合、画像検出モジュール３２０は、外側表面形状を取得するために、目標対象３２４の最も外側の表面に反射した光子を検出することが可能である。追加として、線形偏光器８３０および分析器８４０の偏光状態が、互いに直角である（すなわち、交差偏光）場合、画像検出モジュール３２０は、目標対象３２４内のわずかに深い深度で表面形状を取得するために、目標対象３２４の内側部分に移動する光子を検出することが可能である。

さらに、他の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２１Ｂに示すように、撮像構成１８００Ｂで具現化され得る。具体的には、撮像構成１８００Ｂは、スペクトルフィルタ１８１０および１８１０Ａのペアを追加して、図２１Ａに関して前述したように、発光体モジュール３１０および画像検出モジュール３２０、線形偏光器８３０および分析器８４０を含む。具体的には、スペクトルフィルタ１８１０Ａおよび偏光器８３０は、発光体モジュール３１０との併用のために動作可能に配置され、他方、スペクトルフィルタ１８１０および分析器８４０は、画像検出モジュール３２０との使用のために動作可能に配置される。その結果、撮像構成１８００Ａの動作中、発光体モジュール３１０は、スペクトルフィルタ１８１０Ａおよび線形偏光器８３０によって処理される光３２２を発生して目標対象３２４を照らす。加えて、照らされていることに応答して目標対象３２４によって反射された光は、次いで、目標対象３２４の形状情報として検出される前に、分析器８４０およびスペクトルフィルタ１８１０によって処理される。従って、スペクトルフィルタ１８１０および１８１０Ａが、偏光器８３０および分析器８４０と組み合わせて使用される場合、目標対象３２４の層状に深度分解された形状を得ることができる。例えば、約４００ｎｍ、５００ｎｍ、６００ｎｍ、７００ｎｍ、８００ｎｍに中心を置く帯域通過フィルタが、２つのフィルタホイール内に配置でき、それにより、１つのフィルタホイールが画像検出モジュール３２０と動作可能に配置され、他のフィルタホイールが発光体モジュール３１０と動作可能に配置されるように、各フィルタホイールは、４００ｎｍ、５００ｎｍ、６００ｎｍ、７００ｎｍ、８００ｎｍのフィルタのセットを有する。分析器８４０および偏光器８３０が、直交偏光状態を可能にする、交差偏光構成である場合、目標対象３２４の形状は、画像検出モジュール３２０および発光体モジュール３１０の両方がスペクトルフィルタ１８１０をある波長で使用する（例えば、両方が４００ｎｍフィルタを使用し、次いで、両方が５００ｎｍフィルタを使用する。次いで両方が６００ｎｍフィルタを使用する、など）場合に走査できる。結果として、目標対象３２４の深度分解された形状が取得できる。波長が長ければ、目標対象３２４の形状が走査される深度が深くなる。そのため、異なる波長での目標対象３２４の詳細が取得できる。狭帯域フィルタのフィルタホイールの代わりに、波長可変フィルタが使用できることが理解されよう。

形状画像データに加えて、異なる波長（例えば、４００ｎｍ、５００ｎｍ、６００ｎｍ、７００ｎｍなど）での反射画像が、構成１８００Ａを使用して取得できる。より長い波長は、生物組織または他の媒体中により深く浸透するので、より長い波長の反射画像データ（例えば、８００ｎｍ画像）は、短い波長の反射画像データ（例えば、４００ｎｍ画像）よりも、その深い層において目標対象３２４に関してより多くの情報を伝える。そのため、正規化に続いて、異なる照明波長に対して取得された２つの画像を減算すると、埋め込まれた対象が位置する、より深い深度に到達する前に反射された光子から生じた画像情報の大部分が無効にされる。異なる照明波長は、発光体モジュール３１０に、異なるスペクトルフィルタ１８１０Ａによって処理される光３２２を放出させることにより作られ得ることが理解されよう。例えば、４００ｎｍ反射画像はＩ_４００（ｘ，ｙ）として表現され、８００ｎｍ反射画像はＩ_８００（ｘ，ｙ）として表現され、正規化差分画像（ＮＤＩ）は数学的にＩ_ＮＤＩ（ｘ，ｙ）＝Ｉ_８００（ｘ，ｙ）−Ａ・Ｉ_４００（ｘ，ｙ）として表現され、式中、Ｉ_ＮＤＩ（ｘ，ｙ）は、正規化差分画像（ＮＤＩ）であり、Ａは、より浅い浸透深度における対象に起因した共通情報の大部分を無効にするための正規化係数である。一態様では、Ａは、Ｉ_８００（ｘ，ｙ）とＩ_４００（ｘ，ｙ）との間の類似点に基づいて反復して計算される。Ａは、異なる画素位置における異なる値の行列にできることが理解されよう。そのため、ＮＤＩ画像に対する式は、Ｉ_ＮＤＩ（ｘ，ｙ）＝Ｉ_８００（ｘ，ｙ）−Ａ（ｘ，ｙ）・Ｉ_４００（ｘ，ｙ）と表現できる。

蛍光情報の目標対象の組織表面上への投影
従来世代の画像投影システムは、画像情報の平坦でない表面への正確な投影に関連した問題に悩まされ、そのため、従来世代のシステムは、平坦な表面でのみ機能するように設計されたことが理解されよう。そのため、従来世代の画像投影システムが、平坦でないか、または湾曲した表面上に画像を投影する必要がある場合、投影された画像は歪む。すなわち、典型的なプロジェクタは、短い距離におけるよりも、遠い距離において、より大きな画像を生じるので、目標対象３２４などの、平坦でない投影表面は、表面の異なる部分にわたって異なるプロジェクタ対表面距離を取り込み、それは、湾曲した投影表面上に投影される画像が、歪みなく、はっきりとしていることを確実にするために、考慮に入れる必要がある。

現在の投影システムのこの問題を克服するために、本発明のシステム１００は、プロジェクションマッピングプロセスを使用して画像がその上に投影される、目標対象３２４などの、対象の表面を考慮に入れる。具体的には、システム１００によって提供されるプロジェクションマッピングプロセスは、投影される画像情報を、目標対象３２４などの、画像情報がその上に投影される表面の３Ｄ形状に基づいて処理する。加えて、プロジェクションマッピングプロセスは、画像プロジェクタと、目標対象３２４などの、画像が投影される平坦でない表面の様々な部分／点／領域との間の相対距離を分析および計算する。距離計算に基づき、システム１００は、画像が投影される表面（目標対象３２４）の表面形状を考慮に入れる補正画像を生成し、それにより、ユーザーが見る投影画像の歪みが低減されるか、または最小限にされる。

従って、システム１００の一実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２２Ａに示すように、撮像および投影構成１９００Ａで具現化され得る。具体的には、構成１９００Ａは、前述したように、発光体モジュール３１０および画像検出モジュール３２０を含むが、発光体モジュール３１０は、目標対象の表面走査およびユーザー可視化のための画像投影の両方を実行するように構成される。本発明は、並行または同時の３Ｄ走査および画像投影を可能にするので、本発明は、投影前に別個の３Ｄスキャナによって作成された３Ｄモデルに基づいて投影パターンを処理する以前のプロジェクションマッピング技術とは異なる。具体的には、発光体モジュール３１０のフレームは、画像プロジェクタとして動作する場合、インターリーブできる。例えば、プロジェクタの総フレームレートが６０フレーム／秒（ＦＰＳ）である場合、総フレームの１／２（奇数フレーム）が３Ｄ走査のために使用され得、他方、総フレームの残りの１／２（偶数フレーム）が画像またはビデオの平坦でない表面上への投影のために使用され得る。目標対象３２４を見る人の目に対する混乱を最小限にするために、画像検出モジュール３２０によって収集された目標対象３２４の３Ｄ走査フレームは、目標対象３２４を見る人の目には見えない発光体モジュール３１０による照明に対して近赤外線（ＮＩＲ）波長を使用し得、他方、発光体モジュール３１０の投影機能による目標対象３２４上への画像／ビデオの投影は、可視波長を使用して実行され得る。

システム１００の別の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２２Ｂに示すように、別の撮像および投影構成１９００Ｂで具現化され得る。具体的には、構成１９００Ｂは、図２２Ａに関して説明したように、発光体モジュール３１０および画像検出モジュール３２０を含むが、画像検出モジュール３２０は、デプスカメラまたは３Ｄスキャナとして構成される。そのため、画像検出モジュール３２０によって提供されるデプスカメラまたは３Ｄスキャナは、目標対象３２４の表面形状および３Ｄモデルを取得することが可能であり、それは次いで、プロジェクタとして構成される発光体モジュール３１０によって投影される画像を処理するために使用される。従って、高速に移動する対象、スポーツ場面、および車の視点から見た画像を含む、動的シーンを撮像する場合、プロジェクションマッピングプロセスは、画像検出モジュール３２０のデプスカメラから取得されたデータに基づき、構成１９００Ｂによってリアルタイムで実行される。任意のデプスカメラまたは３Ｄスキャナが画像検出モジュール３２０によって使用できることが理解されよう。具体的には、デプスカメラまたは３Ｄスキャナは、コノスコープホログラフィ、調光、ステレオカメラ、フーリエ３Ｄ走査、低コヒーレンス干渉法、コモンパス干渉３Ｄ走査、および接触側面計を含むが、それらに制限されない、様々な形状走査法を利用し得る。

システム１００の別の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２２Ｃに示すように、別の撮像および投影構成１９００Ｃで具現化され得る。具体的には、構成１９００Ｃは、別の発光体モジュール３１０Ａを追加して、図２２Ｂに関して前述したように、画像検出モジュール３２０および発光体モジュール３１０を含む。そのため、発光体モジュール３１０は、３Ｄ走査機能を実行するように構成され、他方、発光体モジュール３１０Ａは、前述した画像プロジェクションマッピングを使用して、画像の目標対象３２４上への画像プロジェクタとして機能する。

システム１００の別の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２２Ｄに示すように、別の撮像および投影構成１９００Ｄで具現化され得る。具体的には、構成１９００Ｄは、蛍光発光フィルタ３４０および蛍光励起フィルタ４１０を追加して、図２２Ａに関して説明した構成１９００Ａで構成されたように、画像検出モジュール３２０および発光体モジュール３１０を含む。具体的には、発光フィルタ３４０は、画像検出モジュール３２０との併用のために動作可能に配置され、励起フィルタ４１０は、発光体モジュール３１０との併用のために動作可能に配置される。発光フィルタ３４０および励起フィルタ４１０の両方は、フィルタホイールとして構成され得、それにより、発光フィルタ３４０は選択的に、画像検出モジュール３２０の光検出経路に入れられたり、光検出経路から出されたりし得、励起フィルタ４１０は、選択的に、発光体モジュール３１０の発光経路に入れられたり、発光経路から出されたりし得ることも理解されよう。そのため、構成１９００Ｄは、画像検出モジュール３２０による蛍光撮像が、励起フィルタ４１０および発光フィルタ３４０が使用される場合に強化できるようにする。

システム１００の別の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２２Ｅに示すように、別の撮像および投影構成１９００Ｅで具現化され得る。具体的には、構成１９００Ｅは、励起光源４５０を追加して、図２２Ｄに関して前述したように、画像検出モジュール３２０、発光体モジュール３１０、蛍光発光フィルタ３４０、および蛍光励起フィルタ４１０を含む。具体的には、励起光源４５０は、発光フィルタ３４０および画像検出モジュール３２０による目標対象３２４の蛍光情報の捕捉中に、励起フィルタ４１０と併用するように構成される。発光フィルタ３４０は、フィルタホイールとして構成され得、それは選択的に、画像検出モジュール３２０の光検出経路に入れたり、光検出経路から出したりすることができることも理解されよう。そのため、構成１９００Ｅは、画像検出モジュール３２０による蛍光撮像が、励起フィルタ４１０および発光フィルタ３４０が使用される場合に強化できるようにする。

システム１００の別の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２２Ｆに示すように、別の撮像および投影構成１９００Ｆで具現化され得る。具体的には、構成１９００Ｆは、追加の発光体モジュール３１０Ａを追加して、図２２Ｄに関して前述したように、画像検出モジュール３２０および発光体モジュール３１０、蛍光発光フィルタ３４０および蛍光励起フィルタ４１０を含む。具体的には、図２２Ｃに関して前述したように、発光体モジュール３１０は、３Ｄ走査のためのライトプロジェクタとして構成され、他方、発光体モジュール３１０Ａは、画像プロジェクタとして構成される。具体的には、発光フィルタ３４０は、画像検出モジュール３２０との併用のために動作可能に配置され、励起フィルタ４１０は、発光体モジュール３１０との併用のために動作可能に配置される。発光フィルタ３４０および励起フィルタ４１０の両方は、フィルタホイールとして構成され得、それにより、発光フィルタ３４０は選択的に、画像検出モジュール３２０の光検出経路に入れられたり、光検出経路から出されたりし得、励起フィルタ４１０は、選択的に、発光体モジュール３１０の発光経路に入れられたり、発光経路から出されたりし得ることも理解されよう。そのため、構成１９００Ｆは、画像検出モジュール３２０による蛍光撮像が、励起フィルタ４１０および発光フィルタ３４０が使用される場合に強化できるようにする。

静脈撮像
システム１００は、針または注射の静脈内での配置を容易にするために、ヒトまたは動物の静脈目標対象３２４が位置する場所の撮像を容易にするようにも構成され得る。この撮像機能を可能にするために、３Ｄ走査モジュール１１０および撮像モジュール１２０を含む、システム１００の別の実施形態が、図２３Ａに示すように、撮像および投影構成２０００Ａで具現化され得る。具体的には、構成２０００Ａは、発光体モジュール３１０および画像検出モジュール３２０を含み、それにより、発光体モジュール３１０は、赤外光源４５０を追加して、図２２Ａに関して前述したように、目標対象の３Ｄ表面走査およびユーザー可視化のための画像投影の両方を実行するように構成される。しかし、赤外光源４５０は、他の波長をもつ任意の適切な光源を含み得ることが理解されよう。具体的には、撮像構成２０００Ａは、透過撮像幾何形状を含み、それにより、赤外光源４５０および画像検出モジュール３２０が、組織または目標対象３２４の異なる側または反対側に配置され、それにより、組織を透過する、放出されたＩＲ光２０３０の部分２０２０が画像検出モジュール３２０によって撮像される。赤、近赤外または赤外波長は、目標対象３２０の生物組織により深く浸透するので、この用途に対して好まれる。本システムは、目標対象３２４の３Ｄ形状を捕捉し、プロジェクタ３１０は画像を生物組織、または手などの目標対象３２４に投影して戻す。そのため、目標対象の手３２４の静脈および脈管構造は、静注をガイドするために目標対象組織３２４上に表示して戻され得る。プロジェクタ３１０はまた、前述のように、目標対象３２４の形状走査と目標対象３２４上への画像投影との間で、インターリーブ方式で撮像フレームを分割する。カメラも、透過モード撮像と形状走査との間で撮像フレームを分割する。例えば、画像検出モジュール３２０および発光フィルタ３１０によって提供されるプロジェクタは、それらのフレームレートを６０ｆｐｓで同期させて、同じクロック信号を共有できる。奇数撮像フレーム（１，３，５，７．．．．）に対して、プロジェクタ３１０および画像検出モジュール３２０は、目標対象３２４の形状走査を生成するために連携する。偶数撮像フレーム（２，４，６，８．．．．）に対して、画像検出モジュール３２０は光源２０１０と連携して、透過モード撮像（例えば、手３２４内の静脈撮像）を生成し、プロジェクタ３１０は、処理した画像を、見る人の目による視覚化のために目標対象組織３２４上に投影して戻す。投影された画像は、目標組織表面３２４の３Ｄ形状に基づいて処理されて、歪みを最小限にすることが理解されよう。構成２０００Ａは、脈管構造撮像の代わりに、他の器官、組織またはプラスチック成形品などの任意の対象内での減衰を撮像するために使用され得ることも理解されよう。

別の実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０を含むシステム１００は、図２３Ｂに示すように、撮像および投影構成２０００Ｂで具現化され得る。具体的には、構成２０００Ｂは、発光体モジュール３１０、画像検出モジュール３２０および光源４５０を含み、それにより、発光体モジュール３１０は、図２３Ａに関して前述したように、目標対象の３Ｄ表面走査およびユーザー可視化のための画像投影の両方を実行するように構成される。加えて、光源４５０および画像検出モジュール３２０は、両方とも、様々な波長のそれぞれのスペクトルフィルタ１８１０および１８１０Ａと動作可能に配置される。例えば、スペクトルフィルタ１８１０および１８１０Ａの両方は、フィルタホイールと結合され得、その各々は、４００ｎｍ、５００ｎｍ、６００ｎｍ、７００ｎｍ、８００ｎｍに中心を置く帯域通過フィルタのセットも含む。動作中、光源４５０および画像検出モジュール３２０の両方は、共に４００ｎｍフィルタを使用して目標対象３２４の画像を捕捉し、５００ｎｍ、６００ｎｍ、７００ｎｍ、８００ｎｍ画像を同様の方法で捕捉する。望ましい場合には、正規化差分画像（ＮＤＩ）がＩ_ＮＤＩ（ｘ，ｙ）＝Ｉ_８００（ｘ，ｙ）−Ａ・Ｉ_４００（ｘ，ｙ）として数学的に表現され、式中、Ｉ_ＮＤＩ（ｘ，ｙ）は、正規化差分画像（ＮＤＩ）であり、Ａは、より浅い浸透深度における対象に起因した共通情報の大部分を無効にするための正規化係数である。任意の波長がマルチスペクトル撮像に対して選択できて、特定の生物学的構造または疾病の撮像を容易にすることが理解されよう。前述した例と同様に、画像検出モジュール３２０、プロジェクタ３１０および光源４５０は、同期化されて、フレームが、マルチスペクトル撮像および形状走査を並列して可能にするためにインターリーブされる。

プロジェクションマッピングおよび歪み補正
目標対象３２４などの、投影される平坦でない表面に対する３Ｄ形状および深度により、画像の処理が最適化された投影を達成して、投影する画像の画像歪みが最小限にできるようにする。従って、本発明により捕捉されて生成された目標対象３２４の３Ｄモデルは、空間変換によって物理的な平坦でない目標対象３２４にリンクされ、空間変換は、３Ｄモデルからのリアルタイムでの個々の点を目標対象３２４の投影表面にマッピングし、それにより３Ｄモデルの画像が１対１対応で、平坦でない物理的な目標対象３２４の表面上に正確に投影されるようになる。空間変換は、コントローラ１３０、または無線もしくは有線接続によりそれに接続された任意の適切なコンピュータシステムを含む、任意の適切なコンピューティングシステムによって計算されて処理される。空間変換は、（ｘｗ，ｙｗ，ｚｗ，ｗ）によって表現される点（ｘ，ｙ，ｚ）のデカルト座標を使用する、３Ｄモデル空間Ｘ_ｍ、対象空間Ｘ_ｏ、および目標対象３２４の投影表面上の画像空間Ｘ_ｉとの間の変換Ｔを使用して計算され、ここでｗはスカラー因子である。この計算は、中央処理装置（ＣＰＵ）もしくはグラフィック処理装置（ＧＰＵ）、もしくはそれらの組合せ、または前述したような任意の適切なコンピューティングシステム上で行うことができることが理解されよう。変換Ｔは、１対１のマッピングプロセスであり、それは、３Ｄモデル空間Ｘ_ｍから対象空間Ｘ_ｏへの変換Ｔ_１、および対象空間Ｘ_ｏから対象表面上の画像Ｘ_ｉへの変換Ｔ_２を含む。変換Ｔは、Ｔ_１およびＴ_２に対して定式化された座標を使用し、標準的な画像走査技術に従い、３Ｄモデルを対象空間内の目標対象３２４に、回転、反射、およびせん断する。Ｔ_１およびＴ_２は、以下の式１〜３によって決定され、
Ｔ_１＊Ｘ_ｍ＝Ｘ_ｏ 式（１）、
Ｔ_２＊Ｘ_ｏ＝Ｘ_ｉ 式（２）、
式中、Ｘ_ｍ、Ｘ_ｏ、およびＸ_ｉは、４次元（ｘｗ，ｙｗ，ｚｗ，ｗ）の列ベクトルであり、Ｔ_１およびＴ_２は、４×４行列である。
式（１）と式（２）を組み合わせると、
Ｔ_２＊Ｔ_１＊Ｘ_ｍ＝Ｘ_ｉ 式（３）
が提供される。

従って、本発明のシステム１００から形状を識別して３Ｄモデルを有すると、正確なプロジェクションマッピングのための変換行列Ｔ１およびＴ２の計算が容易になる。

投影品質モニタリング、投影最適化および最小二乗誤差
目標対象３２４上への画像投影の品質は、我々のシステムによってリアルタイムで監視され得る。例えば、生物組織病変または創傷が８３０ｎｍで近赤外線（ＮＩＲ）蛍光を放出している場合、それは、本発明によって撮像されて、図２４に示すように、緑２０５０などの色に擬似カラー化した目標対象３２４の組織表面上に投影して戻され、品質モニタリングおよび最適化のために、投影された画像２０５０（緑色）を本当の信号２０５２（近赤外信号）と比較できる。つまり、本当の信号からの点Ｐｔ（ｘｔ，ｙｔ）が、投影された画像からの対応する点Ｐｐ（ｘｐ，ｙｐ）と比較される。ＮＩＲおよび緑色は、システム１００によって撮像できる。対応は、特徴マッチングおよびパターン認識に基づいて確立される。Ｐｔ（ｘｔ，ｙｔ）からＰｐ（ｘｐ，ｙｐ）をポイントするベクトルＶｔｐが計算され得る（例えば、Ｖｔｐ＝Ｐｐ（ｘｐ，ｙｐ）−Ｐｔ（ｘｔ，ｙｔ））。ベクトルＶｔｐは、ベクトルのノルムを低減することにより、プロジェクションマッピングの最適化をガイドする。複数のマッピング点のペアが、最適化のために使用でき、最小二乗誤差法が使用できる。例えば、ｎ個のマッピング点ペア（Ｐｐ（ｘｐ，ｙｐ），Ｐｔ（ｘｔ，ｙｔ））が選択される場合、組み合わされた二乗誤差は：

と表現でき、式中、

は、二乗残差の和を表す。最適化は、システム１００が二乗残差の和を最小限にする場合に達成され、それにより、残差は、投影された画像値と撮像値との間の差である。一態様では、最適化アルゴリズムは反復して実行できる。そのため、反復アルゴリズムは、計算された二乗誤差和が、予め決められている／事前設定された値よりも小さい場合に、反復を停止し得る。事前設定された値は、手動によるか、または類似のデータセットによって訓練される機械学習アルゴリズムによるかのいずれかで、設定できることが理解されよう。

この最適化は、蛍光以外の他の光学撮像機構に適用できることが理解されよう。例えば、図２３Ａ〜図２３Ｂに関して前述した静脈撮像システムは、この最適化アルゴリズムを使用し得る。同様に、マルチスペクトル撮像、目標対象３２４の平坦でない表面上へのプロジェクションマッピングを伴う酸素飽和度撮像もこのアルゴリズムを利用できる。目標対象３２４の平坦でない表面上へ投影された画像のリアルタイムモニタリングは、投影品質を動的に監視するための技術を提供することも理解されよう。

３Ｄ形状、蛍光撮像の両方、吸収係数および散乱係数を捕捉するためのシステム
システム１００の別の実施形態では、蛍光画像データ／情報および３Ｄ形状データ／情報に加えて、吸収係数（μ_ａ）および低減された散乱係数（μ_ｓ′）が取得され得るように、３Ｄ走査モジュール１１０および撮像モジュール１２０が構成され得る。空間周波数領域撮像（ＳＦＤＩ）を使用した目標対象３２４の生物組織の光学特性のマッピングは、目標対象組織３２４の生化学的組成および構造の特性化のために、システム１００に統合され、コントローラ１３０によって実行され得る。空間的に変調された正弦波縞照明からの拡散反射率を分析するために変調撮像が適用されて、吸収係数（μ_ａ）および低減された散乱係数（μ_ｓ′）マップを提供する。ＳＦＤＩシステムは、発光体モジュール３１０および画像検出モジュール３２０として具現化された画像プロジェクタを含み、それらは幾何学的に較正される。

空間的に変調された撮像を使用した光学特性マップを取得するための手順またはプロセス２１００を図２５に示す。具体的には、ステップ２１１０で、プロジェクタ３１０は、目標対象３２４の２つのグレイスケール正弦波縞パターンを異なる空間周波数（ｆｘ）で１２０度シフトされた３つの位相で照らす。空間周波数パターンの順次照射は、コントローラ／コンピュータ１３０上で実行するプログラムによって制御され、フィルタは、空間周波数照明を異なる波長で発生するために使用される。反射光は、画像検出モジュール３２０によって取得されて、処理のために保存される。ステップ２１２０で、低空間周波数パターン（ｆｘ＝０）および高空間周波数パターンが、拡散的反射強度（Ｉ）のＤＣおよびＡＣ成分を抽出するために採用される。次いで、復調されたＡＣ（Ｍ_ＡＣ）およびＤＣ（Ｍ_ＤＣ）振幅が、各空間位置（ｘ_ｉ）に対して、

式（４）

式（５）
として計算され、式中、Ｉ_１、Ｉ_２、Ｉ_３は、シフトされた空間位相をもつ画像強度である。フーリエおよびヒルベルト変換などの、変換関数を採用する技術によって、高空間周波数パターンの単一フレームを使用して復調された強度の決定が可能になり、それにより、撮像速度が著しく、リアルタイムＳＦＤＩでの使用に対して向上する。対象の拡散反射率（Ｒ_ｄ）は、既知の光学特性をもつ不透明なファントム（Ｒ_ｄ，_ｒｅｆ）の拡散反射率から測定できる：

式（６）
ステップ２１３０に示すように、散乱剤としてのイントラリピッドおよび吸収体としての墨を蒸留水と希釈および混合することにより、組織模擬ファントムが準備される。ステップ２１４０で、復調されたＡＣ（Ｍ_ＡＣ，_ｒｅｆ）およびＤＣ（Ｍ_ＤＣ，_ｒｅｆ）画像を取得するために、広範な吸収および拡散値をもつ均質な液体ファントムの反射率測定が実行される。ファントムの拡散反射率は、吸収係数および低減した散乱係数の所与のセットに対して、拡散近似およびホワイトモンテカルロシミュレーションなどの、拡散ベースおよび移送ベースのアプローチに基づく順モデルを適用することによって予測される。ステップ２１５０に示すように、最小二乗極小化および２周波数ルックアップテーブルアプローチなどのインバージョン法が、対象の光学特性を抽出するために利用される。全ての画素に対する拡散反射率の分析により、吸収係数および低減された散乱係数マップが作成され、それは次いで、本システムによって捕捉された３Ｄモデルと統合するために処理される。

吸収係数（μ_ａ）および低減された散乱係数（μ_ｓ′）画像は、前述した重ね合わせアルゴリズムを使用して、蛍光画像、色反射率画像および術前画像（ＭＲＩ、ＣＴ、ＳＰＥＣＴ、ＰＥＴなど）と重ね合わせることができることが理解されよう。

生体力学モデリングおよびＦＥＭモデリングを使用した変形補正
目標対象３２４の生物組織、特に軟部組織は変形しやすい。軟部組織が、術前撮像と術中撮像との間で異なる変形を有する場合、変形が適切に対処されなければ、画像間での重ね合わせエラーが生じる。それに鑑み、本発明は、システム１００によって捕捉される３Ｄ形状が、術前画像を更新して組織変形を吸収するために使用できるようにする。

つまり、表面メッシュまたは容積メッシュが、術前形状撮像データ（例えば、ＭＲＩ、ＣＴ、ＳＰＥＣＴ、ＰＥＴ、３Ｄ超音波、ＯＣＴなど）に基づいて生成できる。関心のある器官を分離するために画像分割が実行できる。特徴およびランドマークが、術前画像モデル（形状撮像データに基づく）および術中画像モデル（我々の発明によって捕捉された３Ｄ形状）の両方から抽出できる。第１の画像重ね合わせは、識別された特徴およびランドマークに基づいて実行される。識別された特徴およびランドマークは、変形が少ない傾向があることが理解されよう。画像重ね合わせの後、関心のあるメッシュノードと手術中に変形した表面との間の最接近点距離が計算される。最接近点距離は、メッシュデータ、点群データまたはそれらの組合せに基づいて計算できることが理解されよう。続いて、境界条件が、以前に重ね合わされた術前画像データおよび術中画像データに基づいて生成される。一態様では、境界条件は、メッシュノードまたは点と関連付けられた関心のある組織／器官の初期変形を含む。続いて、モデルソリューションが、境界条件を反復して使用する有限要素モデリング（ＦＥＭ）法を使用して計算できる（ステップＡ）。一態様では、最接近点距離の部分が、メッシュノードに関して変位境界条件を決定するために使用される。各反復の後、術前画像データの新しいメッシュノードまたは点群の位置が、計算されたＦＥＭモデルソリューションに基づき、機械的変形を反映するように更新される。続いて、新しい境界条件が生成でき、ステップＡを繰り返すことができる。偏微分方程式は、患者の解剖学的構造、体積力（ｂｏｄｙ ｆｏｒｃｅ）、組織材料特性などに基づく境界条件セットを用いて解かれることが理解されよう。反復アルゴリズムが実行されると、システム１００のコンピュータ／コントローラ１３０は、全てのメッシュノードまたは対応する点について最接近点距離に対する最小二乗誤差を最小限にする。全てのメッシュノードまたは点に対する二乗誤差の総和が、動的に計算でき、事前設定値と比較できる。反復アルゴリズムは、計算された二乗誤差和が、事前設定値よりも小さい場合に、反復を停止し得る。事前設定値は、手動によるか、または類似のデータセットによって訓練された機械学習アルゴリズムによるかのいずれかで、設定できることが理解されよう。ＦＥＭは、コンピュータ／コントローラのＣＰＵまたはＧＰＵ上のいずれかで実行できることが理解されよう。

形状および奥行き形状に基づく２つの画像検出器間での重ね合わせアルゴリズム
更なる実施形態では、３Ｄ走査モジュール１１０および撮像モジュール１２０は、図２６に示すように、撮像構成２２００で具現化され得る。具体的には、撮像構成２２００は、図４Ｆに関して前述したように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０、画像検出モジュール３２０Ａ、および蛍光励起フィルタ４１０と共に動作する励起光源４５０を含む。従って、前述した他の実施形態だけでなく、構成２２００は、本発明によって提供される３Ｄ走査および奥行き感知能力と併せて、複数の画像検出モジュール３２０を使用し得る。従って、２つの異なる画像検出モジュール、３２０と３２０Ａとの間の画像重ね合わせは、奥行き形状に基づいて最適化され得る。例えば、画像検出器３２０によって捕捉された画像（蛍光画像）を画像検出モジュール３２０Ａによって捕捉された画像（カラー画像）に重ね合わせることが可能である。画像重ね合わせのための変換行列は、目標対象３２４から画像検出モジュール３２０および３２０Ａまでの距離によって決まる。本発明では、目標対象３２４の距離は、既に分かっている。従って、画像検出モジュール３２０および画像検出モジュール３２０Ａは、固定距離に対して計算された正しい変換行列を使用して重ね合わせことができる。例えば、変換行列は、様々な距離および作動距離（２０ｃｍ、２１ｃｍ、２２ｃｍなど）に対して取得され得る。本発明によって捕捉された目標対象３２４の距離／奥行きと共に、正しい変換行列が最適化された重ね合わせ結果のために使用され得る。

一態様では、様々な作動距離における重ね合わせ行列が、チェス盤パターンなどの較正ターゲットを使用して較正される。加えて、様々な距離における変換行列が較正プロセス中に取得できる。例えば、カメラ３２０および３２０Ａは、チェス盤パターンなどの、同じ較正ターゲットを撮像し得、交差および／または縁が識別される。そのため、共通の特徴（例えば、交差および／または縁）は、所与の作動距離で、カメラ３２０によって捕捉された画像からカメラ３２０Ａによって捕捉された画像への変換の計算のために使用できる。本発明は、撮像される対象３２４の奥行き情報および形状データを提供するので、正しい作動距離における変換行列が識別されて、画像重ね合わせのために使用される。例えば、対象３２４がシステム１００から約２２ｃｍ離れている場合、システム１００は、奥行きを検出して、カメラ３２０とカメラ３２０Ａとの間の画像重ね合わせのために、２２ｃｍの作動距離用の変換行列を使用する。

別の態様では、重ね合わせは、２つの２Ｄ（２次元）画像間で実行され得る。変換行列が、コンピュータ／コントローラ１３０によって計算されて処理され、それは、第１の検出器／カメラＸ_１の画像空間と第１の検出器／カメラＸ_２の画像空間との間の変換行列Ｔ_ｄ（式７）を使用し、それにより
Ｔ_ｄ＊Ｘ_１＝Ｘ_２ （７）。

この計算は、中央処理装置（ＣＰＵ）もしくはグラフィック処理装置（ＧＰＵ）、またはそれらの組合せ上で実行され得ることが理解されよう。変換Ｔは、検出器３２０からの画像を回転、拡大縮小、反射、およびせん断して、検出器３２０Ａからの画像と重ね合わせる。重ね合わせアルゴリズムは、剛体重ね合わせまたは非剛体重ね合わせのいずれかにできることも理解されよう。チェス盤パターンなどの、較正パターンを使用すると、各作動距離における変換行列Ｔ_ｄが正確に取得できる。｛Ｔ_２０，Ｔ_２１，Ｔ_２２，Ｔ_２３，Ｔ_２４｝などの値のセットは、様々な作動距離（２０ｃｍ，２１ｃｍ，２２ｃｍ．．．．）および奥行きに対して取得できる。各行列に対して許容差範囲が割り当てられ得、一方、Ｔ２０は、１９．１〜２１．０ｃｍの間の範囲に対して割り当てることができ、Ｔ２２は、２１．１〜２３．０ｃｍに対して割り当てることができることが理解されよう。２つの画像検出モジュール３２０および３２０Ａは、異なるタイプであり得ることが更に理解されよう。例えば、画像検出モジュール３２０は、カラー撮像用のシリコンベースのＣＣＤ／ＣＭＯＳカメラにでき、画像検出モジュール３２０Ａは、アンチモン化インジウム、ヒ化インジウム、テルル化カドミウム水銀（ＭＣＴ）、硫化鉛、セレン化鉛、アモルファスシリコン（ａ−Ｓｉ）、酸化バナジウム（ＶＯｘ）、マンガン酸バリウムランタン（ｌａｎｔｈａｎｕｍ ｂａｒｉｕｍ ｍａｎｇａｎｉｔｅ）（ＬＢＭＯ）、チタン酸ジルコン酸鉛（ＰＺＴ）、ランタンをドープしたチタン酸ジルコン酸鉛（ＰＬＺＴ）、タンタル酸鉛スカンジウム（ＰＳＴ）、チタン酸鉛ランタン（ＰＬＴ）、チタン酸鉛（ＰＴ）、亜鉛ニオブ酸鉛（ＰＺＮ）、チタン酸ストロンチウム鉛（ｌｅａｄ ｓｔｒｏｎｔｉｕｍ ｔｉｔａｎａｔｅ）（ＰＳｒＴ）、チタン酸ストロンチウムバリウム（ＢＳＴ）、チタン酸バリウム（ＢＴ）、スルホヨウ化アンチモン（ａｎｔｉｍｏｎｙ ｓｕｌｆｏｉｏｄｉｄｅ）（ＳｂＳＩ）、およびフッ化ポリビニリデン（ＰＶＤＦ）を含むが、それらに制限されない要素から成るサーモグラフィカメラにできる。別の例では、画像検出モジュール３２０は、近赤外線（ＮＩＲ）ナイトビジョンカメラであり得、画像検出モジュール３２０Ａは、サーモグラフィカメラであり得、２つのタイプの画像は、システム１００からの関心のある対象３２４の距離に基づいて重ね合わされ得る。

深度領域ベースの重ね合わせ
いくつかの状況では、撮像されている目標対象３２４は異なる深度にある。最も正確な重ね合わせ結果のために、深度領域（ｄｅｐｔｈ−ｒｅｇｉｏｎ）ベースの重ね合わせプロセスが使用され得る。具体的には、画像は、システム１００によって捕捉された奥行き形状に基づき、異なる領域に分割され得る。例えば、画像は２つの領域に分割でき、領域１は撮像システムから２０ｃｍ離れた対象を有し、領域２は撮像システムから３０ｃｍ離れた対象を有する。各領域に対して、正しい変換行列が使用され、従って、Ｔ_２０（２０ｃｍの作動距離用）が領域１（Ｘ_１ｒ１）の重ね合わせのために使用され、Ｔ_３０（３０ｃｍの作動距離用）が領域２（Ｘ_１ｒ２）の重ね合わせのために使用される。画像は、３以上の、複数の領域に分割できることが理解されよう。分割される各領域は、画像の新しいスタック（ｓｔａｃｋ）によって表現され得、領域内の画素は、まだ元の強度値を保持しているが、他方、領域外の画素は０の強度値が割当てられ得ることが更に理解されよう。結果として、各領域を表現する画像の座標および次元は同じままであり、従って、各領域ベースの画像は、元の重ね合わせ変換行列と容易に使用され得る。一態様では、

１つの数学的表現を以下に示す。
Ｔ_ｄ１＊Ｘ_１ｒ１＝Ｘ_２ｒ１，Ｔ_ｄ２＊Ｘ_１ｒ２＝Ｘ_２ｒ２，．．．．．．．．，Ｔ_ｄｉ＊Ｘ_１ｒｉ＝Ｘ_２ｒｉ
ここで、Ｔ_ｄｉはｉ番目の領域に対する変換行列であり、Ｘ_１ｒｉは、ｉ番目の領域に対する検出器／カメラ３２０からの画像空間であり、Ｘ_２ｒｉは、ｉ番目の領域に対する検出器／カメラ３２０からの画像空間である。そのため、以前に生成された画像のスタックは、対応する作動距離の変換行列を使用して変換され得る。続いて、最後の変換画像が、様々な作動距離の画像の変換されたスタックから合成画像を作成することにより、デジタル的に合成され得る。

一実施形態では、深度領域ベースの重ね合わせアルゴリズムまたはプロセスは、次のプロセスを使用して実行され得る。最初に、本プロセスは、画像検出モジュール３２０および３２０Ａなどの、２つの検出器間の変換行列を、異なる作動距離で較正する。次に、本プロセスは、対象の奥行き形状を撮像視野で取得する。次のステップでは、２つの検出器によって捕捉される画像が、奥行き形状に基づいて分割される。プロセスは次いで、様々な作動距離の画像のスタックを生成し、各スタック画像は、所与または予め決められた深度の対象３２４を含む。従って、特定の作動距離の各スタック画像に対して、本プロセスは、画像の重ね合わせのために、対応する作動距離の変換行列を使用する。最後に、本プロセスは、変換されたスタック画像を一緒に加えて／重ね合わせて、重ね合わせた最終画像を合成する。

深度領域ベース重ね合わせアルゴリズムまたはプロセスは、３つ以上の検出器または撮像装置からの、複数の画像を重ね合わせるために使用され得ることも理解されよう。深度領域ベース重ね合わせアルゴリズムまたはプロセスは、３Ｄスキャナまたはデプスカメラなどの、システム１００によって提供される以外の機器によって捕捉される奥行き形状または３Ｄ形状情報を使用し得ることも理解されよう。本アルゴリズムまたはプロセスはまた、画像システム１００の使用とは関係なく動作し得る。一態様では、深度領域ベース重ね合わせアルゴリズムまたはプロセスは、目標対象３２４の既知の奥行きマップまたは形状プロファイルを使用して複数の画像を重ね合わせるためにも使用され得る。

内視鏡構成
いくつかの実施形態では、システム１００は、図２７Ａに示すように、撮像構成２４００Ａで具現化され得る。具体的には、撮像構成２４００Ａは、ビームスプリッタ６１０、および撮像プローブ２４１０を追加して、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０を含む。そのため、発光体モジュール３１０は、目標対象の表面走査ならびに、蛍光撮像および色反射率撮像などの、光学撮像の両方を実行するように構成される。従って、本発明は、自由空間光通信によるアクセスが困難な空洞または他の場所において、並行または同時の３Ｄ走査および光学撮像を可能にする。

撮像プローブ２４１０は、ヒト、動物、建物、車、または任意の他の物理的対象内の空洞内に入るか、または配置することができる内視鏡、腹腔鏡、または任意のスコープの形で具現化され得ることが理解されよう。一実施形態では、撮像プローブ２４１０の内視鏡構成は、前述した実施形態に類似しているが、本システムは、小腔に適合できるように、小型化される追加の要件を伴う。絶縁された電気コードは、ダクト、腸、手術用ポートまたは他のアクセス経路を経由して、電力を撮像プローブ２４１０に供給するために使用できる。具体的には、発光体モジュール３１０、および画像検出モジュール３２０および発光フィルタ３４０は、実質的に直角など、相互にある角度をなして配置され、他方、ビームスプリッタ６１０は、画像検出モジュール３２０および画像検出モジュール３２０および発光フィルタ３４０に対して、約４５度の角度など、斜角で配置される。加えて、構成２４００Ａは、レンズ２４２０および２４３０を含み、それにより、レンズ２４２０は、ビームスプリッタ６１０に近接して撮像プローブ２４１０の一方の端部に置かれ、他のレンズ２４３０は、撮像プローブ２４１０の他方の端部に、ビームスプリッタ６１０より遠位に、配置される。そのため、レンズ２４３０は、撮像が望まれる、様々な空洞に入るように適切に構成される。

そのため、検出構成２４００Ａの動作中、発光体モジュール３１０は光３２２を放出し、撮像プローブを経由して目標対象３２４を照らし、すると、照らされていることに応答して目標対象３２４によって反射されて放出された光３２６が、目標対象３２４の形状および蛍光データを捕捉するために、画像検出モジュール３２０による受信のためにビームスプリッタ６１０を透過する。いくつかの実施形態では、画像データは、ＬＣＤモニターまたはウェアラブルディスプレイなどの、ディスプレイ装置によって表され得る。加えて、発光体モジュール３１０によって具現化されたプロジェクタは、撮像プローブ２４１０を通して画像検出モジュール３２０によって検出された蛍光画像を目標対象３２４上に投影もし得る。

他の実施形態では、システム１００は、図２７Ｂに示すように、撮像構成２４００Ｂで具現化され得る。具体的には、構成２４００Ｂは、図２７Ａに関して説明したように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０、および撮像プローブ２４１０を含むが、ビームスプリッタ６１０は使用しない。加えて、構成２４００Ｂは、ビームスプリッタ６１０、および撮像プローブ２４１０を追加して、対応するレンズ２４２０Ａおよび２４３０Ａを含む、追加の撮像プローブ２４１０Ａを含む。そのため、発光体モジュール３１０は、目標対象の表面走査および光学撮像の両方を実行するように構成される。従って、本発明は、並行または同時の３Ｄ走査および光学撮像を可能にする。具体的には、動作中、撮像プローブ２４１０は、目標対象３２４の形状情報および蛍光画像情報を捕捉するために使用され、他方、撮像プローブ２４１０Ａは、３Ｄ走査のためのパターンを目標対象３２４上に投影するために使用され、蛍光励起光を目標対象３２４に提供する。

他の実施形態では、システム１００は、図２７Ｃに示すように、撮像構成２４００Ｃで具現化され得る。具体的には、構成２４００Ｃは、撮像プローブ２１４０Ａ、レンズ２４６０、スペクトルフィルタ１８１０および光源４５０を追加して、図２７Ａに関して説明したように、発光体モジュール３１０、画像検出モジュール３２０、発光フィルタ３４０、ビームスプリッタ６１０、および撮像プローブ２４１０を含む。そのため、発光体モジュール３１０は、目標対象の表面走査ならびに、蛍光撮像および色反射率撮像などの、光学撮像の両方を実行するように構成される。そのため、構成２４００Ｃの動作中、スペクトルフィルタ１８１０、およびレンズ２４６０は、光源４５０から放出された光を処理し、すると、処理された光は、撮像プローブ２４１０Ａを透過して目標対象３２４を照らす。加えて、発光体モジュール３１０は、ビームスプリッタ６１０を経由し、撮像プローブ２４１０を通して、目標対象３２４の３Ｄ走査のためのパターンを投影する。加えて、画像検出モジュール３２０は、照らされていることに応答して目標対象３２４から反射されて放出された光をビームスプリッタ６１０を通して受信し、それは、目標対象３２４の形状および蛍光情報として、内部検出装置２４１０撮像プローブ２４１０を透過する。従って、本発明は、並行または同時の３Ｄ走査および光学撮像を可能にする。

構成２４００Ａ〜２４００Ｃの撮像プローブ２４１０は、ファイバ束の代わりに、液体光ガイド、リレーレンズ系を含み得ることも理解されよう。３Ｄ表面形状走査と共に、カラー内視鏡、蛍光内視鏡、酸素飽和度内視鏡撮像、ハイパースペクトル内視鏡撮像が、本発明によって可能にできることが更に理解されよう。内視鏡画像は、前述した方法を使用して、ＣＴ、ＭＲＩ、ＰＥＴ、ＳＥＰＣＴ、および超音波画像、または任意の他の診断画像と重ね合わせることができることが更に理解されよう。レーザー三角測量または構造化光照明などの、前述した様々な３Ｄ走査技法が、３Ｄ走査のために内視鏡内に実装され得ることが更に理解されよう。具体的には、内視鏡構成内で発光体モジュール３１０を形成する形状走査モジュールは、コノスコープホログラフィ、調光、ステレオカメラ、フーリエ３Ｄ走査、低コヒーレンス干渉法、コモンパス干渉３Ｄ走査、および接触側面計を含むが、それらに制限されない、様々な形状走査法を利用するように構成され得る。

発光体モジュール３１０、画像検出モジュール３２０、蛍光検出モジュール５１０、プロジェクタ９１０、光源４５０、ならびに、可動装置として実装された場合の様々なフィルタ３４０および４１０を含むシステム１００の構成要素、または制御を必要とするシステム１００の任意の他の構成要素は、コントローラ１３０に結合されるか、またはそうでなければ、コントローラ１３０と有線または無線通信することも理解されよう。それに応じて、コントローラ１３０は、スタンドアロンのコンピューティング装置または携帯型コンピューティング装置などの、任意の適切なコンピューティング装置内で具現化され得、それは、コントローラ１３０に結合された構成要素の動作を調整および同期させるために必要なハードウェア、ソフトウェアまたはそれらの組合せを有する。さらに、いくつかの実施形態では、コントローラ１３０は、システム１００の構成要素の動作を調整および同期させるために構成され得るリモートコンピューティング装置（例えば、携帯型またはスタンドアロンのコンピューティング装置）と、有線または無線通信ネットワークを通して通信するように構成され得、それにより、コントローラ１３０は、システム１００の構成要素と、リモートコンピューティング装置との間のインタフェースとして機能する。

従って、本発明の１つの利点は、撮像システムが形状および、蛍光情報などの光学撮像データを同時に取得するように構成されることである。本発明の更に別の利点は、収集される形状および、蛍光情報などの光学撮像データを、重ね合わせるのを可能にすることである。本発明の別の利点は、形状および蛍光値の３Ｄ点群／多角形メッシュが生成され、それは、例えば、ＰＥＴ／ＣＴまたはＭＲＩ画像データなどの、術前撮像データと容易に重ね合わせることができることである。本発明の更に別の利点は、撮像システムは表面３Ｄ形状を利用して、表面変形を追跡し、サーフェス画像重ね合わせを提供することである。本発明の更に別の利点は、撮像システムは、情報を捕捉して、平坦でない（すなわち、でこぼこした、湾曲した、起伏のある）表面上に、リアルタイムまたは略リアルタイムで、低空間的遅延で、投影することが可能なことである。本発明の更に別の利点は、撮像システムは、目標対象の形状および奥行き形状に基づき複数の画像間で正確な重ね合わせを可能にすることである。本発明の更に別の利点は、撮像システムは、偏光ゲーティングおよび／またはマルチスペクトル走査により深度分解された走査を可能にすることである。本発明の更に別の利点は、撮像システムは、光学撮像を実行できる、３Ｄ走査ゴーグルを可能にすることである。本発明の更に別の利点は、撮像システムは、３Ｄ走査内視鏡が光学撮像を実行できるようにすることである。

従って、本発明の目的は、上で提示した構造およびその使用方法によって満たされていることが分かる。特許法によれば、最良の形態および好ましい実施形態だけが提示され、詳細に説明されているが、本発明はそれに制限されず、またそれによっても制限されないことが理解される。それに応じて、本発明の本当の範囲および幅の理解のため、以下のクレームを参照すべきである。

Claims (37)

1. 目標対象を撮像するための光学撮像システムであって、
   コントローラと、
   前記コントローラに結合された、前記目標対象を光で照らすための発光体モジュールと、
   前記コントローラに結合された、前記目標対象を撮像するための視野を有する画像検出モジュールと
   を含み、
   前記コントローラは、１つのモードにおいて、前記画像検出モジュールが前記目標対象の３次元（３Ｄ）形状画像を捕捉し、かつ第２のモードでは、前記画像検出モジュールが前記目標対象の特定の画像を捕捉するように、前記発光体および前記画像検出モジュールを制御する、
   光学撮像システム。
2. 前記画像検出モジュールは、ＣＣＤまたはＣＭＯＳ撮像センサーを含む、請求項１に記載の光学撮像システム。
3. 前記画像検出モジュールの前記視野と動作可能に配置されたフィルタをさらに含む、請求項１に記載の光学撮像システム。
4. 前記フィルタは、選択的に前記画像検出モジュールの前記視野に入れられたり、前記視野から出されたりするように構成される、請求項３に記載の光学撮像システム。
5. 前記フィルタは蛍光発光フィルタを含み、かつ前記特定の画像は蛍光画像を含む、請求項３に記載の光学撮像システム。
6. 前記フィルタは、各々が異なる通過帯域を有する、複数のフィルタを含み、かつ前記特定の画像はマルチスペクトル画像を含む、請求項１に記載の光学撮像システム。
7. 前記フィルタは、その前記通過帯域を変更するための波長可変フィルタを含み、かつ前記特定の画像はハイパースペクトル画像を含む、請求項１に記載の光学撮像システム。
8. 前記画像検出モジュールと光通信する撮像プローブをさらに含み、前記撮像プローブは、内視鏡、ファイバスコープ、ボアスコープ、またはビデオスコープ、から成る群から選択される、請求項１に記載の光学撮像システム。
9. 前記撮像プローブは光ガイドを含み、光ファイバ、リレーレンズ、または液体光ガイド、から成る群から選択される、請求項８に記載の光学撮像システム。
10. 前記目標対象を撮像するための前記視野を拡大するために、前記コントローラに結合された別の画像検出モジュールをさらに含む、請求項１に記載の光学撮像システム。
11. 前記目標対象を照らすために外部光源をさらに含む、請求項１に記載の光学撮像システム。
12. 前記コントローラは、複数の撮像フレームを所定のレートで捕捉するために前記画像検出モジュールを制御し、それにより、前記複数の撮像フレームの１つの部分が前記形状画像と関連付けられ、かつ前記複数の撮像フレームの別の部分が前記特定の画像と関連付けられる、請求項１に記載の光学撮像システム。
13. 前記コントローラに結合された蛍光検出モジュールをさらに含み、前記画像検出モジュールは、前記目標対象の前記３次元（３Ｄ）形状画像を検出し、かつ前記蛍光検出モジュールは、前記目標対象の前記特定の画像を蛍光画像として捕捉する、請求項１に記載の光学撮像システム。
14. ビームスプリッタをさらに含み、
    前記画像検出モジュールは、前記蛍光撮像モジュールに対して実質的に直角に配置され、
    前記ビームスプリッタは、前記目標対象から受信した１つの範囲の波長の光が、前記画像検出モジュールに供給され、かつ前記目標対象から受信した別の範囲の波長の光が、前記蛍光撮像モジュールに供給されるように、前記画像検出モジュールおよび蛍光撮像モジュールに対して配置される、
    請求項１３に記載の光学撮像システム。
15. 前記３Ｄ形状画像が、走査三角測量、構造化光、飛行時間、コノスコープホログラフィ、調光、ステレオカメラ、フーリエ３Ｄ走査、低コヒーレンス干渉法、コモンパス干渉３Ｄ走査、または接触側面計を使用して、前記画像検出モジュールによって捕捉される、請求項１に記載の光学撮像システム。
16. 前記発光体モジュールは、順次投影技法、バイナリパターンおよびグレイコーディング、グレイレベルパターン、位相シフト、照度差ステレオ技法、位相シフトとグレイコーディングの組合せ、フルフレームの空間的に変化する色パターン、レインボー３Ｄカメラ、連続的に変化するカラー符号化、ストライプ指標付け（単一ショット）、色を使用したストライプ指標付け、セグメントパターンを使用したストライプ指標付け、繰り返しグレイスケールパターンを使用したストライプ指標付け、Ｄｅ Ｂｒｕｉｊｉｎシーケンスに基づくストライプ指標付け、グリッド指標付け（２Ｄ空間グリッドパターン）、擬似ランダム二元配列（ＰＲＢＡ）、符号語として使用されるミニパターン、色分けされたグリッド、色分けされたドットの２Ｄ配列、またはそれらの組合せを使用して、前記目標対象を照らす、請求項１に記載の光学撮像システム。
17. 前記コントローラに結合された周辺インタフェースをさらに含む、請求項１に記載の光学撮像システム。
18. 前記周辺インタフェースは、撮像または検知機器と通信するように構成される、請求項１７に記載の光学撮像システム。
19. 前記撮像または検知機器が、光学分光法、吸光分光法、蛍光分光法、ラマン分光法、コヒーレント反ストークスラマン分光法（ＣＡＲＳ）、表面増感ラマン分光法、フーリエ変換分光法、フーリエ変換赤外分光法（ＦＴＩＲ）、マルチプレックスまたは周波数変調分光法、Ｘ線分光法、減衰全反射分光法、電子常磁性分光法、電子分光法、ガンマ線分光法、音響共鳴分光法、オージェ分光法、キャビティリングダウン分光法、円二色性分光法、冷蒸気原子蛍光分光法、相関分光法、深準位過渡分光法、二重偏光干渉法、ＥＰＲ分光法、力分光法、ハドロン分光学、バリオン分光学、中間子分光学、非弾性電子トンネル分光法（ＩＥＴＳ）、レーザー誘起破壊分光法（ＬＩＢＳ）、質量分光法、メスバウアー分光法、中性子スピンエコー分光法、光音響分光法、光電子分光法、光熱分光法、ポンププローブ分光法、ラマン光学活性分光法、飽和分光法、走査トンネル分光法、分光測光法、紫外光電子分光法（ＵＰＳ）、ビデオ分光、振動円二色性分光法、Ｘ線光電子分光法、カラー顕微鏡、反射率顕微鏡、蛍光顕微鏡、酸素飽和度顕微鏡、偏光顕微鏡、赤外線顕微鏡、干渉顕微鏡、位相差顕微鏡、微分干渉顕微鏡、ハイパースペクトル顕微鏡、全反射照明蛍光顕微鏡、共焦点顕微鏡、非線形顕微鏡、２光子顕微鏡、第二高調波発生顕微鏡、超解像顕微鏡、光音響顕微鏡、構造化光学顕微鏡、４Ｐｉ顕微鏡、誘導放出抑制顕微鏡、確率的光学再構築顕微鏡、超音波顕微鏡、反射率撮像、蛍光撮像、チェレンコフ撮像、偏光撮像、超音波撮像、放射測定撮像、酸素飽和度撮像、光干渉断層撮影、赤外線撮像、熱撮像、光音響撮像、分光撮像、ハイパースペクトル撮像、蛍光、ガンマ線撮像、Ｘ線コンピュータ断層撮影、またはそれらの組合せを実行するように構成される、請求項１８に記載の光学撮像システム。
20. 前記コントローラに結合された追跡モジュールをさらに含み、前記追跡モジュールは、前記目標対象の前記位置を追跡する、請求項１に記載の光学撮像システム。
21. 前記コントローラは、前記目標対象の術前画像を前記特定の画像と、重ね合わせた画像として重ね合わせるために前記形状画像を処理する、請求項１に記載の光学撮像システム。
22. 前記術前画像は、コンピュータ断層撮影（ＣＴ）画像、陽電子放射断層撮影（ＰＥＴ）画像、単光子放射型コンピュータ断層撮影法（ＳＰＥＣＴ）画像、または磁気共鳴断層撮影（ＭＲＩ）から成る群から選択される、請求項１に記載の光学撮像システム。
23. 前記重ね合わせた画像を提示するために前記コントローラに結合されたウェアラブルディスプレイをさらに含む、請求項２１に記載の光学撮像システム。
24. 平坦でない目標対象を撮像するための光学撮像システムであって、
    コントローラと、
    前記コントローラに結合された、前記目標対象を光で照らすための発光体モジュールと、
    前記コントローラに結合された、前記平坦でない目標対象を撮像するための視野を有する画像検出モジュールと
    を含み、
    前記コントローラは、前記画像検出モジュールが前記目標対象の３次元（３Ｄ）形状画像を捕捉するように、前記発光体および前記画像検出モジュールを制御し、かつ、
    前記コントローラは、前記平坦でない表面の複数の部分と前記発光体モジュールとの間の前記相対距離を識別して、補正した投影画像を生成し、すると、前記補正した投影画像が前記発光体モジュールによって投影される、
    光学撮像システム。
25. 前記画像検出モジュールは、前記目標対象の特定の画像を捕捉する、請求項２４に記載の光学撮像システム。
26. 前記特定の画像は、蛍光画像、マルチスペクトル画像、偏光画像、吸収係数画像、散乱係数画像、ハイパースペクトル画像、酸素飽和度画像、またはそれらの組合せを含む、請求項２５に記載の光学撮像システム。
27. 前記画像検出モジュールと動作可能に配置された蛍光発光フィルタをさらに含む、請求項２４に記載の光学撮像システム。
28. 前記発光体モジュール、前記画像検出モジュールのいずれか、または両方と動作可能に配置されたフィルタホイールまたは波長可変フィルタをさらに含む、請求項２４に記載の光学撮像システム。
29. 前記コントローラは、前記発光体モジュールを制御して、インターリーブ方式で、前記目標対象を照らし、かつ前記補正した投影画像を投影する、請求項２４に記載の光学撮像システム。
30. 前記コントローラに結合された光源をさらに含む、請求項２４に記載の光学撮像システム。
31. 目標対象の画像を重ね合わせるための方法であって、
    前記目標対象の第１の特定の画像を第１の画像検出モジュールから取得するステップと、
    前記目標対象の第２の特定の画像を第２の画像検出モジュールから取得するステップと、
    前記目標対象の形状画像を取得するために、２つ以上の画像検出モジュールに対する前記目標対象の距離を取得するステップと、
    前記第１の特定の画像、前記第２の特定の画像、および前記距離に基づいて変換行列を計算するステップと、
    前記変換行列に基づき、前記第１の特定の画像を前記第２の特定の画像に重ね合わせるステップと、
    を含む、方法。
32. 前記第１の特定の画像はカラー画像であり、かつ前記第２の特定の画像は、蛍光画像、近赤外反射画像、および吸収画像、から成る群から選択された、狭帯域画像または狭帯域反射画像である、請求項３１に記載の方法。
33. 前記第１の特定の画像はカラー画像であり、かつ前記第２の特定の画像は熱画像である、請求項３１に記載の方法。
34. 前記第１の特定の画像は近赤外画像であり、かつ前記第２の特定の画像は熱画像である、請求項３１に記載の方法。
35. 前記第１の特定の画像を関連付けられた距離を有する複数の領域に分割するステップと、
    前記第２の特定の画像を関連付けられた距離を有する複数の領域に分割するステップと
    をさらに含み、
    前記変換行列は、前記第１の特定の画像の前記複数の領域および距離、ならびに前記第２の特定の画像の前記複数の領域および距離に基づく、
    請求項３１に記載の方法。
36. 目標対象の光学走査の方法であって、
    前記目標対象を偏光によって照らすステップと、
    前記目標対象から戻った前記光を分析器によって分析光として処理するステップと、
    前記分析光を前記目標対象の形状画像として検出するステップと
    を含む、方法。
37. 前記偏光は、複数の波長を含み、それにより、各波長は、前記目標対象内の奥行きに対応し、かつ
    前記複数の波長の各１つに対して帯域通過を有するスペクトルフィルタによって前記偏光を処理することと、
    前記複数の波長の各１つに対して帯域通過を有するスペクトルフィルタによって前記分析光を処理することと、
    前記複数の波長の各１つの前記分析光を前記目標対象内の各奥行きに対する形状画像として検出することと
    を含む、請求項３２に記載の方法。

Images