JP5930531B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、手術時に利用される医療用カメラの分野に属し、撮像対象体の３次元画像計測を行うための撮像装置および撮像方法に関するものである。

手術など医療に使われる３次元計測装置において、紫外光や可視光、もしくは、近赤外光を用いて、複数のカメラから取得した撮像情報に基づき、人体の特定部位の３次元位置を測定する技術がある（例えば、特許文献１参照）。

特許第３１５２８１０号公報

しかしながら、従来技術には、以下のような課題がある。
特許文献１は、特殊プローブを利用することで、特定部位の測定に適するようになっている。このため、関係する手術部位のある程度の範囲を測定するには、不向きである。また、測定結果としての３次元情報は、あくまで肉眼で見える範囲の表面的な情報であった。

たとえば、手術にて削除予定の部位の直下にリンパ節や静脈・動脈などの血管系部位が存在し、手術時にこれらをメスなどでキズ付けてはいけないような状況の場合、術者の経験と勘が頼りであり、その意味では、常にリスクが存在する。つまり、肉眼で見える範囲の表面的な情報だけでは、実際の手術には使いにくいという問題があった。

本発明は、前記のような課題を解決するためになされたものであり、手術対象である被写体の表面および内部の形状や状態を的確に確認・把握するための画像情報を提供することのできる撮像装置及び撮像方法を得ることを目的とする。

本発明に係る撮像装置は、手術対象である被写体の形状を計測するために用いられ、複数の帯域の波長を持つ光源を有する光源部と、被写体の表面および内部で反射した、光源部からの複数の帯域の計測光源光像を電気的な複数の計測撮像信号に変換する撮像部と、撮像部で変換された複数の計測撮像信号に基づき、被写体における表面の形状および内部の形状を計測する演算部と、演算部により計測された表面の形状および内部の形状を合成処理し、被写体に関する２次元画像データあるいは３次元画像データを生成する合成処理部とを備えるものである。

また、本発明に係る撮像方法は、手術対象である被写体の形状を計測するために、被写体に対して複数の帯域の波長を持つ光源を照射する光源ステップと、光源ステップでの照射により、被写体の表面および内部で反射した複数の帯域の計測光源光像を電気的な複数の計測撮像信号に変換する撮像ステップと、撮像ステップで変換された複数の計測撮像信号に基づき、被写体における表面の形状および内部の形状を計測する演算ステップと、演算ステップにより計測された表面の形状および内部の形状を合成処理し、被写体に関する２次元画像データあるいは３次元画像データを生成する合成処理ステップとを備えるものである。

本発明に係る撮像装置および撮像方法によれば、可視での計測結果と近赤外での計測結果を合成処理し、手術部位に対して肉眼表示だけでなく、皮下数ミリあたりの部位の形状測定の結果を重ねた画像情報を提供することにより、手術対象である被写体の表面および内部の形状や状態を的確に確認・把握するための画像情報を提供することのできる撮像装置及び撮像方法を得ることができる。

また、これら計測結果を被写体の３次元形状で表示することで、術者は被写体全体像をその皮下数ミリあたりの部位まで肉眼像に重ねた形で立体的に把握することができ、より高度で微細な手術への対応が可能となる。

本発明の実施の形態１における撮像装置の全体ブロックダイヤグラムである。 本発明の実施の形態１における撮像装置において、図１の照射構成の詳細を示すブロックダイヤグラムである。 本発明の実施の形態１における撮像装置に用いられる光源の特性を示す図である。 本発明の実施の形態１における撮像装置による空間コード化法を示す図である。 本発明の実施の形態１の撮像装置による近赤外波長の生体への透過を示す図である。 本発明の実施の形態１の撮像装置による可視光測定を示す図である。 本発明の実施の形態１の撮像装置による近赤外測定を示す図である。 本発明の実施の形態１の撮像装置による可視と近赤外の計測結果合成による被写体１の３次元立体表現例を示す図である。 本発明の実施の形態２における撮像装置の全体ブロックダイヤグラムである。 本発明の実施の形態２における撮像装置において、図９の照射構成の詳細を示すブロックダイヤグラムである。 本発明の実施の形態２の撮像装置による可視・近赤外測定を示す図である。 本発明の実施の形態３における撮像装置の全体ブロックダイヤグラムである。

以下、本発明の撮像装置の医療用顕微鏡としての好適な実施の形態につき図面を用いて説明する。

実施の形態１．
図１は、本発明の実施の形態１における撮像装置の全体ブロックダイヤグラムである。また、図２は、本発明の実施の形態１における撮像装置において、図１の照射構成の詳細を示すブロックダイヤグラムである。

まず、図１、図２について、後述する図３の特性を参照しながら、説明する。図１では、顕微鏡筐体１００に対して被写体１に照射される３次元計測用光源４０と、通常光源２と、対物レンズ３０と、照明用ダイクロイックミラー３が、主ダイクロイックミラー７の下側に設置されている。

また、通常の肉眼観察では、通常光源２からの落射照明にて得られた被写体１の光像は、肉眼用ダイクロイックミラー左用６と肉眼用ダイクロイックミラー右用８を通って接眼部左用４と接眼部右用５に結ばれる。一方、撮像用光軸は、主ダイクロイックミラー７で反射のうえ、撮像用ビームスプリッター１１で分光される。

ここで、分光された光は、可視光が可視撮像センサー１２に結像され、近赤外光が近赤外撮像センサー１４に結像される。そして、可視信号処理回路１３で処理された可視光と、近赤外信号処理回路１６で処理された近赤外光は、ともに合成処理ブロック１９へ送られる。

合成処理後は、出力回路１８を通って外部へ出力され、外部モニターで映像を見ることができる。図１の例では、合成処理後の信号が顕微鏡側の映像表示装置１０へ返された後、その映像を表示用ミラー９ａ、９ｂ、９ｃ、９ｄを介して、接眼部４、５で見ることができる。なお、外部での特殊信号処理や映像表示の目的で、汎用のパーソナルコンピュータ（以降、ＰＣと称す）５０と接続でき、出力回路１８からの出力を、ＰＣ５０に接続されたＰＣモニター５１で表示することも可能である。

また、図２では、可視レーザー光源６３と近赤外レーザー光源６４の照射パターンを制御するレーザーコントローラ６５と、撮像ユニット１５との撮像タイミングを計る同期回路６６とが装備されている。２つの光源からのレーザー光は、光源ＭＩＸ用ダイクロイックミラー６２で混合された後、集光レンズ６１を介してポリゴンミラー６０へ送られ、ポリゴンミラー６０の回転に応じて、被写体１へ照射される。

図３は、本発明の実施の形態１における撮像装置に用いられる光源の特性を示す図である。可視レーザー光源６３は、図３の可視レーザー７３に示すような特性で照射された、たとえば６００ｎｍの波長のものである。また、近赤外レーザー光源６４は、図３の近赤外レーザー７４に示すような特性で照射された、たとえば９００ｎｍの波長のものを用いる。

次に、本実施の形態１における撮像装置の動作につき、図１と図２を用いて説明する。３次元計測方法としては、高速高精度でかつ一般的な空間コード化法を利用する。空間コード化法は、測定対象空間の各点を２進数コードで符号化し、ある投影回数で距離画像を採取する手法である。光源より所定の明暗ピッチのパターンが投影され、ある時間間隔でその明暗ピッチが倍々で変化するよう投影パターンを順次変えてゆく。

光の通過部を１、非通過部を０としてまとめることで、投影光としてのパターンが、２進コード化される。このパターン画像をカメラにて撮像し、照射時と同期をとって処理することで、被写体１との距離を知ることができる。

図４は、本発明の実施の形態１における撮像装置による空間コード化法を示す図である。たとえば、図４で５番目の領域であるＰ点での投影パターンを、撮像ユニット１５で撮像し、投影方向を知ることで、３次元計測用光源４０の投影角度が求まる。このため、距離を知ることが可能となる。

次に、実際の３次元計測動作につき説明する。術者は、まず計測開始のため、スタートボタン１０１を押下する。これをトリガに、肉眼を想定して可視での３次元計測を行うため、可視レーザー光源６３がレーザーコントローラ６５を介して駆動される。このとき、レーザーコントローラ６５は、同期回路６６を通じて、撮像ユニット１５に撮像開始のトリガを送る。

レーザーコントローラ６５は、最初の投影パターンを、可視レーザー光源６３とポリゴンミラー６０を介して被写体１へ投影させる。ポリゴンミラー６０は、ある範囲で被写体全体に対してパターンが投影されるよう、位置関係と回転数が決められている。被写体１から得られる最初の投影パターン画像は、主ダイクロイックミラー７と撮像用ビームスプリッター１１を透過し、可視撮像センサー１２に結像される。

そして、結像された可視信号は、可視信号処理回路１３を介して合成処理ブロック１９内の可視形状演算回路６８に送られ、制御回路２０にてデータ取り込みが開始される。レーザーコントローラ６５と可視レーザー光源６３は、次の投影パターンを被写体１へ投影し、同様に、可視形状演算回路６８と制御回路２０にて追加データの取り込みが行われる。全ての投影パターンを同様に投影した後、同期回路６６は、終了のトリガを撮像ユニット１５に送る。

そして、可視形状演算回路６８は、全投影パターンの取り込みが完了した時点で、可視における被写体との距離の演算を行う。結果情報は、一旦演算回路内のメモリーに格納される。

一方、近赤外での３次元計測についても、同様に実施される。すなわち、同期回路６６を通じて撮像ユニット１５に撮像開始のトリガが送られ、レーザーコントローラ６５は、最初の投影パターンを、近赤外レーザー光源６４とポリゴンミラー６０を介して被写体１へ投影させる。このときの被写体１から得られる投影パターン画像は、主ダイクロイックミラー７と撮像用ビームスプリッター１１を透過し、近赤外撮像センサー１４に結像される。

そして、結像された近赤外信号は、近赤外信号処理回路１６を介して合成処理ブロック１９内の近赤外形状演算回路６７に送られ、制御回路２０にてデータ取り込みが開始される。レーザーコントローラ６５と近赤外レーザー光源６４は、次の投影パターンを、被写体１へ投影し、同様に近赤外形状演算回路６７と制御回路２０にて追加データの取り込みが行われる。

全ての投影パターンを同様に投影した後、同期回路６６は、終了のトリガを撮像ユニット１５に送る。そして、近赤外形状演算回路６７は、全投影パターンの取り込みが完了した時点で、近赤外における被写体との距離の演算を行う。結果情報は、一旦演算回路内のメモリーに格納される。

図５は、本発明の実施の形態１の撮像装置による近赤外波長の生体への透過を示す図である。近赤外領域の光は、図５に示すように、体内のヘモグロビンと水分の吸収率特性から、７００〜１２００ｎｍあたりの範囲で生体皮下数ｍｍ程度まで透過することが知られている。従って、近赤外光源を利用して被写体１からの距離を測定した場合、生体皮下数ｍｍあたりまでの距離を測定することになる。

図６は、本発明の実施の形態１の撮像装置による可視光測定を示す図である。図６に示すように、可視光は、被写体１の表面２２で反射される。このため、可視光により距離を測定すると、可視距離ｈ１となる。

これに対し、図７は、本発明の実施の形態１の撮像装置による近赤外測定を示す図である。図７に示すように、近赤外は、図７被写体１の可視表面２２ではなく、生体でいうとｈ０皮下の近赤外表面２３あたりで反射される。

そこで、これら２つの距離計測データを合成することで、肉眼での状態だけでなく、表面より数ｍｍ皮下の部位までも同時に確認することが可能となる。すなわち、可視での計測結果に近赤外での計測結果を合成するため、手術部位に対して肉眼表示だけでなく、皮下数ミリあたりの部位の距離測定の結果を重ねて画像表示することができる。この結果、いままで隠れて見えなかった血管・リンパ節などの表示が可能となり、手術時のリスクが抑制される。

なお、システム内の制御回路２０にて２次元上にて合成されたこれらの表示を行ってもよいが、計測データ自体が３次元データのため、より見やすいように被写体１の立体的な構造での表現が望ましい。

図８は、本発明の実施の形態１の撮像装置による可視と近赤外の計測結果合成による被写体１の３次元立体表現例を示す図である。図８において、（ａ）は、可視計測３次元立体表示例、（ｂ）は、近赤外計測３次元立体表示例、（ｃ）は、可視と近赤外双方計測結果合成による３次元立体表示例を示しており、（ｃ）により血管２１をより見やすく表示している。

先の図１に示したように、システム内の制御回路２０は、ＰＣ５０との互換性のあるデータインターフェースを有しており、外部に計測データを出力可能となっている。そして、専用のソフトウエアがインスイトールされた外付けのＰＣ５０は、３次元表現のための再演算やデータ変換を行うことができ、ＰＣモニター５１に対して、図８のような３次元立体構造の表示を行うことが可能となる。

すなわち、可視計測３次元立体表示例（ａ）に対し、その数ミリ皮下の情報である近赤外計測３次元立体表示例（ｂ）を合成して、（ｃ）として表示することで、被写体とその内部にある血管組織を３次元構造にて確認・把握することができ、手術前後の状況確認の観点では、非常に有益な情報となる。

なお、このアプリケーションソフトは、この画像をＰＣ５０内に保存できる機能などをもっており、必要なときに必要な情報を記録したり取り出したりすることが可能である。術者は、手術前に、計測のためのプロセスを少なくとも１回実施の上、データを記憶させておくことで、手術中を含めて必要なときにいつでも画像を表示し、確認することができる。

なお、上述では、可視光での距離計測を行った後に、近赤外光での距離計測を行っているが、順番を替えて近赤外を先に行ってもよい。あるいは、本実施の形態１の構成では、先の図１、図２に示したように、可視光と近赤外の２種類の光源を持つため、演算結果を急ぐ場合には、可視と近赤外とを同時計測することが可能であり、これにより個別に行うより計測時間を短縮することができる。

また、演算後の結果表示については、可視と近赤外の両方を計測した後、合成結果を格納・表示するだけでなく、可視・近赤外それぞれの計測後に、個別に結果を格納・表示できることは言うまでもない。

また、可視光計測に６００ｎｍ、近赤外計測に９００ｎｍの波長を使用したが、たとえば撮像素子の感度特性に合わせて別の波長を選んでもよく、また、パターン投影が可能であれば、レーザーでなくともＬＥＤなど別の光源を用いてもよい。

また、計測用光源に可視光と近赤外光の２種類の光源を使用しているが、これに限らず、より詳細な計測のために、３種類以上の光源にて計測を行ってもよい。さらに、３次元計測用光源４０と通常観察用の通常光源２とを共用し、いずれか一方を削減することも十分可能である。

また、空間パターン化法にて３次元計測を行う際の、開始から終了までのパターン投影は、いずれのパターンを用いてもよく、また、パターン投影回数やその間の映像取り込み枚数も、物理的もしくは時間的制約がなければ、いずれの値をとってもよい。被写体の形状測定に被写体との距離計測を利用しているが、可視もしくは近赤外含めて形状測定できるものであれば 等高線法など距離計測以外の方法を用いてもよいのは言うまでもない。さらに、本実施の形態１では、顕微鏡への適用例を説明しているが、硬性鏡や内視鏡やマクロカメラなどに適用してもよい。

また、可視と近赤外の３次元計測情報の表現手法としては、３次元立体構造に限ることなく、２次元やそのほか術者に対してわかりやすい表現手法にて表示されるのであれば、いずれであってもよい。

また、上述の実施の形態１では、可視と近赤外で２種の撮像素子を使用しているが、広帯域で感度の高い撮像センサーを採用すれば、１種で済むことは言うまでもない。また、計測に必要な帯域を確保するために、２種以上の撮像センサーを用いてもよい。

さらに、上記では、可視と近赤外での距離計測結果の３次元合成表示を外部のＰＣ５０にて行っているが、制御回路２０にて行ってもよい。その際、外部のモニター５１だけでなく、顕微鏡内部の表示手段へ表示するなど、結果の表示方法や場所はいずれであってもかまわない。

実施の形態２．
図９は、本発明の実施の形態２における撮像装置の全体ブロックダイヤグラムである。また、図１０は、本発明の実施の形態２における撮像装置において、図９の照射構成の詳細を示すブロックダイヤグラムである。

まず、図９と図１０について、先述した図３の特性を参照しながら、説明する。図９では、顕微鏡筐体１００に対して被写体１に照射される３次元計測用光源５５と、対物レンズ３０と、照明用ダイクロイックミラー３が、主ダイクロイックミラー７の下側に設置されている。また、通常の肉眼観察でも、３次元計測用光源５５を使用する。

通常の観察モード時の３次元計測用光源５５は、可視光３００〜７００ｎｍあたりの波長帯域の落射照明として動作する。この光源は、ミラー４８（図示せず）を介して被写体１に照射される。ミラー４８と被写体１との間には３次元計測時に使用する格子板４５を配置できるようになっている。実際には、通常観察時は、配置されておらず、３次元計測時には、格子板４５を手動にて、図９と図１０の所定の位置に配置する構造である。

この光源にて得られた被写体１の光像は、肉眼用ダイクロイックミラー左用６と肉眼用ダイクロイックミラー右用８を通って接眼部左用４と接眼部右用５に結ばれる。一方、撮像用光軸は、主ダイクロイックミラー７で反射のうえ、撮像用ビームスプリッター１１で分光される。

ここで、分光された光は、可視光が可視撮像センサー１２に結像され、近赤外光が近赤外撮像センサー１４に結像される。そして、可視信号処理回路１３で処理された可視光と、近赤外信号処理回路１６で処理された近赤外光は、ともに合成処理ブロック１９へ送られる。

合成処理後は、出力回路１８を通って外部へ出力され、外部モニターで映像を見ることができる。図９の例では、合成処理後の信号が顕微鏡側の映像表示装置１０へ返された後、その映像を表示用ミラー９ａ、９ｂ、９ｃ、９ｄを介して、接眼部４、５で見ることができる。なお、外部での特殊信号処理や映像表示の目的で、汎用のＰＣ５０と接続でき、出力回路１８からの出力を、ＰＣ５０に接続されたＰＣモニター５１で表示することも可能である。

また、図１０では、可視レーザー光源６３と近赤外レーザー光源６４の２つのレーザー光は、光源ＭＩＸ用ダイクロイックミラー６２で混合された後、格子板４５を介して被写体１へ照射される。可視レーザー光源６３は、先の図３の可視レーザー７３に示すような特性で照射された、たとえば６００ｎｍの波長のものである。また、近赤外レーザー光源６４は、図３の近赤外レーザー７４に示すような特性で照射された、たとえば９００ｎｍの波長のものを用いる。

次に、本実施の形態２における撮像装置の動作につき、図９と図１０を用いて説明する。３次元計測方法としては、すでに一般的なモアレ干渉法を利用する。モアレ干渉法では、格子板４５を被写体１の前面に配置し、光源にて光をあて、その光源と同じ格子板４５からの位置に目を置けば、被写体１の形状を示す３次元情報である等高線縞を被写体表面上に確認することができるものである。

次に、実際の３次元計測動作につき説明する。術者は、まず計測開始のため、スタートボタン１０１を押下する。このとき、可視レーザー光源６３と近赤外レーザー光源６４は、特に制御の必要はないので、先の図３に示すような、可視レーザー７３と近赤外レーザー７４に示す波長スペクトルで、双方同時に発光される。

可視レーザー光源６３からの照明にて被写体１上には可視波長領域、つまり、肉眼で確認可能な干渉縞が確認できる。この光像は、主ダイクロイックミラー７と撮像用ビームスプリッター１１を透過し、可視撮像センサー１２に結像される。

そして、結像された可視信号は、可視信号処理回路１３を介して合成処理ブロック１９内の可視等高演算回路７１に送られ、ここで、可視における被写体の形状の演算が行われる。制御回路２０により結果情報である可視領域での３次元計測情報が演算回路内のメモリーに格納される。

一方、近赤外での３次元計測についても、同様に実施される。すなわち、近赤外レーザー光源６４からの照明にて被写体１上には近赤外波長領域、つまり、数ｍｍ皮下まで透過した状態での干渉縞が確認できる。この光像は、主ダイクロイックミラー７と撮像用ビームスプリッター１１を透過し、近赤外撮像センサー１４に結像される。

そして、結像された近赤外信号は、近赤外信号処理回路１６を介して合成処理ブロック１９内の近赤外形状演算回路６７に送られ、ここで、近赤外における被写体の形状の演算が行われる。また、制御回路２０により、結果情報である近赤外領域での３次元計測情報が演算回路内のメモリーに格納される。

ここで、近赤外領域の光は、先の図５に示したように、体内のヘモグロビンと水分の吸収率特性から、７００〜１２００ｎｍあたりの範囲で生体皮下数ｍｍ程度まで透過することが知られている。

図１１は、本発明の実施の形態２の撮像装置による可視・近赤外測定を示す図である。可視光は、図１１に示すように、被写体１の表面２２で反射される。このため、撮像ユニット１５との位置関係により光源５５による等高線は、たとえばＡ点とＢ点の面で確認できるのに対し、近赤外での等高線は、たとえばＣ点とＤ点の面で確認できる。

このように、モアレ干渉法を用いて近赤外光源を利用し被写体１からの形状を測定した場合においても、生体皮下数ｍｍあたりまでの形状の測定を行うことができる。この２つの計測データを合成することで、肉眼での状態だけでなく表面より数ｍｍ皮下の部位までも同時に確認することが可能となる。すなわち、可視での計測結果に近赤外での計測結果を合成するため、手術部位に対して肉眼表示だけでなく、皮下数ミリあたりの部位の測定の結果を重ねて画像表示することができる。この結果、いままで隠れて見えなかった血管・リンパ節などの形状表示が可能となり、手術時のリスクが抑制される。

なお、システム内の制御回路２０にて２次元上にて合成されたこれらの表示を行ってもよいが、計測データ自体が３次元データのため、より見やすいように被写体１の立体的な構造での表現が望ましい。より具体的には、先の実施の形態１で説明した図８のように、可視と近赤外双方の計測結果合成による３次元立体表示を行うことができる。

先の図５に示したように、システム内の制御回路２０は、ＰＣ５０との互換性のあるデータインターフェースを有しており、外部に計測データを出力可能となっている。そして、専用のソフトウエアがインスイトールされた外付けのＰＣ５０は、３次元表現のための再演算やデータ変換を行うことができ、ＰＣモニター５１に対して、図８のような３次元立体構造の表示を行うことが可能となる。

すなわち、可視計測３次元立体表示例（ａ）に対し、その数ミリ皮下の情報である近赤外計測３次元立体表示例（ｂ）を合成して、（ｃ）として表示することで、被写体とその内部にある血管組織を３次元構造にて確認・把握することができ、手術前後の状況確認の観点では非常に有益な情報となる。

なお、このアプリケーションソフトは、この画像をＰＣ５０内に保存できる機能などをもっており、必要なときに必要な情報を記録したり取り出したりすることが可能である。術者は、手術前に、計測のためのプロセスを少なくとも１回実施の上、データを記憶させておくことで、手術中を含めて必要なときにいつでも画像を表示し、確認することができる。

なお、上述では、可視光での計測を行った後に、近赤外光での計測を行っているが、順番を替えて近赤外を先に行ってもよい。あるいは、本実施の形態２の構成では、先の図９、図１０に示したように、可視光と近赤外の２種類の光源を持つため、演算結果を急ぐ場合には、可視と近赤外とを同時計測することが可能であり、これにより個別に行うより計測時間を短縮することができる。

また、演算後の結果表示については、可視と近赤外の両方を計測した後、合成結果を格納・表示するだけでなく、可視・近赤外それぞれの計測後に、個別に結果を格納・表示できることは言うまでもない。

また、可視光計測に６００ｎｍ、近赤外計測に９００ｎｍの波長を使用したが、たとえば撮像素子の感度特性に合わせて別の波長を選んでもよく、また、干渉縞の確認が可能であれば、レーザーでなくともＬＥＤなど別の光源を用いてもよい。

また、計測用光源に可視光と近赤外光の２種類の光源を使用しているが、これに限らず、より詳細な計測のために、３種類以上の光源にて計測を行ってもよい。

さらに、３次元計測用光源４０と通常観察用の通常光源２とを共用しているが、先の図３に示したような可視範囲光源７５の特性のように、通常光源を個別に設けることでもよい。

また、モアレ干渉法にて３次元計測を行っているが、画像解析にて３次元情報が得られるならば、ほかのいずれの手法を採用してもかまわない。さらに、本実施の形態２では、顕微鏡への適用例を説明しているが、硬性鏡や内視鏡やマクロカメラなどに適用してもよい。

また、可視と近赤外の３次元計測情報の表現手法としては、３次元立体構造に限ることなく、２次元やそのほか術者に対してわかりやすい表現手法にて表示されるのであれば、いずれであってもよい。

また、上述の実施の形態２では、可視と近赤外で２種の撮像素子を使用しているが、広帯域で感度の高い撮像センサーを採用すれば、１種で済むことは言うまでもない。また、計測に必要な帯域を確保するために、２種以上の撮像センサーを用いてもよい。

さらに、上記では、可視と近赤外での形状計測結果の３次元合成表示を外部のＰＣ５０にて行っているが、制御回路２０にて行ってもよい。その際、外部のモニター５１だけでなく、顕微鏡内部の表示手段へ表示するなど、結果の表示方法や場所はいずれであってもかまわない。

実施の形態３．
図１２は、本発明の実施の形態３における撮像装置の全体ブロックダイヤグラムである。まず、図１２について、先述した図３の特性を参照しながら、説明する。図１２では、顕微鏡筐体１００に対して被写体１に照射される３次元計測用光源４０と、励起光を含む通常光源８０と、対物レンズ３０と、照明用ダイクロイックミラー３が、主ダイクロイックミラー７の下側に設置されている。

また、通常の肉眼観察では、励起光を含む通常光源８０からの落射照明にて得られた被写体１の光像は、肉眼用ダイクロイックミラー左用６と肉眼用ダイクロイックミラー右用８を通って接眼部左用４と接眼部右用５に結ばれる。一方、撮像用光軸は、主ダイクロイックミラー７で反射のうえ、撮像用ビームスプリッター１１で分光される。

ここで、分光された光は、可視光が可視撮像センサー１２に結像され、近赤外光が近赤外撮像センサー１４に結像される。そして、可視信号処理回路１３で処理された可視光と、近赤外信号処理回路１６で処理された近赤外線は、ともに合成処理ブロック１９へ送られる。

合成処理後は、出力回路１８を通って外部へ出力され、外部モニターで映像を見ることができる。図１２の例では、合成処理後の信号が顕微鏡側の映像表示装置１０へ返された後、その映像を表示用ミラー９ａ、９ｂ、９ｃ、９ｄを介して、接眼部４、５で見ることができる。なお、外部での特殊信号処理や映像表示の目的で、汎用のＰＣ５０と接続でき、出力回路１８からの出力を、ＰＣ５０に接続されたＰＣモニター５１で表示することも可能である。

また、先の図２では、可視レーザー光源６３と近赤外レーザー光源６４の照射パターンを制御するレーザーコントローラ６５と、撮像ユニット１５との撮像タイミングを計る同期回路６６とが装備されている。２つの光源からのレーザー光は、光源ＭＩＸ用ダイクロイックミラー６２で混合された後、集光レンズ６１を介してポリゴンミラー６０へ送られ、ポリゴンミラー６０の回転に応じて、被写体１へ照射される。

また、可視レーザー光源６３は、先の図３の可視レーザー７３に示すような特性で照射された、たとえば６００ｎｍの波長のものである。また、近赤外レーザー光源６４は、図３の近赤外レーザー７４に示すような特性で照射された、たとえば９００ｎｍの波長のものを用いる。

また、励起光を含む通常光源８０には、図３の励起光７６の波長８７０ｎｍを含む照明光源が設置されている。このとき、被写体１には、血管造影用蛍光物質であるインドシアニングリーンが投与され、励起光７６を吸収し、約８４０ｎｍあたりで蛍光する。そこで、図１２の撮像ユニット１５の光学系には、励起光カットフィルター７７が装着されており、近赤外光像のうち、蛍光光像のみの撮像が可能である。

次に、本実施の形態３における撮像装置の動作につき、図１２を用いて説明する。３次元計測方法としては、先の実施の形態１と同様に、高速高精度でかつ一般的な空間コード化法を利用する。空間コード化法は、測定対象空間の各点を２進数コードで符号化し、ある投影回数で距離画像を採取する手法である。光源より所定の明暗ピッチのパターンが投影され、ある時間間隔でその明暗ピッチが倍々で変化するよう投影パターンを順次変えてゆく。

光の通過部を１、非通過部を０としてまとめることで、投影光としてのパターンが、２進コード化される。このパターン画像をカメラにて撮像し、照射時と同期をとって処理することで、被写体１との距離を知ることができる。たとえば、先の図４で５番目の領域であるＰ点での投影パターンを、撮像ユニット１５で撮像し、投影方向を知ることで、３次元計測用光源４０の投影角度が求まる。このため、距離を知ることが可能となる。

次に、実際の３次元計測動作につき説明する。術者は、まず計測開始のため、スタートボタン１０１を押下する。これをトリガに、肉眼を想定して可視での３次元計測を行うため、可視レーザー光源６３がレーザーコントローラ６５を介して駆動される。このとき、レーザーコントローラ６５は、同期回路６６を通じて、撮像ユニット１５に撮像開始のトリガを送る。

レーザーコントローラ６５は、最初の投影パターンを、可視レーザー光源６３とポリゴンミラー６０を介して被写体１へ投影させる。ポリゴンミラー６０は、ある範囲で被写体全体に対してパターンが投影されるよう、位置関係と回転数が決められている。被写体１から得られる最初の投影パターン画像は、主ダイクロイックミラー７と撮像用ビームスプリッター１１を透過し、可視撮像センサー１２に結像される。

そして、結像された可視信号は、可視信号処理回路１３を介して合成処理ブロック１９内の可視形状演算回路６８に送られ、制御回路２０にてデータ取り込みが開始される。レーザーコントローラ６５と可視レーザー光源６３は、次の投影パターンを被写体１へ投影し、同様に、可視形状演算回路６８と制御回路２０にて追加データの取り込みが行われる。全ての投影パターンを同様に投影した後、同期回路６６は、終了のトリガを撮像ユニット１５に送る。

そして、可視形状演算回路６８は、全投影パターンの取り込みが完了した時点で、可視における被写体との距離の演算を行う。結果情報は、一旦演算回路内のメモリーに格納される。

一方、近赤外での３次元計測についても、同様に実施される。すなわち、同期回路６６を通じて撮像ユニット１５に撮像開始のトリガが送られ、レーザーコントローラ６５は、最初の投影パターンを、近赤外レーザー光源６４とポリゴンミラー６０を介して被写体１へ投影させる。このときの被写体１から得られる投影パターン画像は、主ダイクロイックミラー７と撮像用ビームスプリッター１１を透過し、近赤外撮像センサー１４に結像される。

そして、結像された近赤外信号は、近赤外信号処理回路１６を介して合成処理ブロック１９内の近赤外形状演算回路６７に送られ、制御回路２０にてデータ取り込みが開始される。レーザーコントローラ６５と近赤外レーザー光源６４は、次の投影パターンを、被写体１へ投影し、同様に近赤外形状演算回路６７と制御回路２０にて追加データの取り込みが行われる。

全ての投影パターンを同様に投影した後、同期回路６６は、終了のトリガを撮像ユニット１５に送る。そして、近赤外形状演算回路６７は、全投影パターンの取り込みが完了した時点で、近赤外における被写体との距離の演算を行う。結果情報は、一旦演算回路内のメモリーに格納される。

さらに、インドシアニングリーン投与による蛍光（血管）部分を、パターン投影での３次元計測後に採取する。励起光を含む通常光源８０より発光された励起光７６は、被写体１に投与されたインシアニングリーンに吸収され、約８４０ｎｍで蛍光光像を発する。この光像は、励起光カットフィルター７７を介し、近赤外撮像センサー１４を用いて電気信号へ変換される。

先の実施の形態１でも述べたように、近赤外領域の光は、先の図５に示すように、体内のヘモグロビンと水分の吸収率特性から、７００〜１２００ｎｍあたりの範囲で生体皮下数ｍｍ程度まで透過することが知られている。従って、近赤外光源を利用して被写体１からの距離を測定した場合、生体皮下数ｍｍあたりまでの距離を測定することになる。

先の図６に示すように、可視光は、被写体１の表面２２で反射される。このため、可視光により距離を測定すると、可視距離ｈ１となる。これに対し、先の図７に示すように、近赤外は、被写体１の可視表面２２ではなく、生体でいうとｈ０皮下の近赤外表面２３あたりで反射される。そこで、これら２つの距離計測データを合成することで、肉眼での状態だけでなく、表面より数ｍｍ皮下の部位までも同時に確認することが可能となる。

すなわち、可視での計測結果に近赤外での計測結果を合成するため、手術部位に対して肉眼表示だけでなく、皮下数ミリあたりの部位の距離測定の結果を重ねて画像表示することができる。この結果、いままで隠れて見えなかった血管・リンパ節などの表示が可能となり、手術時のリスクが抑制される。

さらに、本実施の形態３では、血管をさらに明示させるために、インドシアニングリーン投与による蛍光（血管）部分を、上記計測結果に重畳して表示を行うことを可能としている。

なお、システム内の制御回路２０にて２次元上にて合成されたこれらの表示を行ってもよいが、計測データ自体が３次元データのため、より見やすいように被写体１の立体的な構造での表現が望ましい。より具体的には、先の実施の形態１で説明した図８のように、可視と近赤外双方の計測結果合成による３次元立体表示を行うことができる。

先の図１２に示したように、システム内の制御回路２０は、ＰＣ５０との互換性のあるデータインターフェースを有しており、外部に計測データを出力可能となっている。そして、専用のソフトウエアがインスイトールされた外付けのＰＣ５０は、３次元表現のための再演算やデータ変換を行うことができ、ＰＣモニター５１に対して、図８のような３次元立体構造の表示を行うことが可能となる。

すなわち、可視計測３次元立体表示例（ａ）に対し、その数ミリ皮下の情報である近赤外計測３次元立体表示例（ｂ）を合成して、（ｃ）として表示することで、被写体とその内部にある血管組織を３次元構造にて確認・把握することができ、手術前後の状況確認の観点では非常に有益な情報となる。

このとき、本実施の形態３では、インドシアニングリーン蛍光体による、血管明示結果も含めての合成表示を行うことで、血管がさらに明示されるため、術者に対して被写体の構造がさらにわかりやすくなる。

なお、このアプリケーションソフトは、この画像をＰＣ５０内に保存できる機能などをもっており、必要なときに必要な情報を記録したり取り出したりすることが可能である。術者は、手術前に、計測のためのプロセスを少なくとも１回実施の上、データを記憶させておくことで、手術中を含めて必要なときにいつでも画像を表示し、確認することができる。

なお、上述では、可視光での距離計測を行った後に、近赤外光での距離計測を行っているが、順番を替えて近赤外を先に行ってもよい。あるいは、本実施の形態３の構成では、先の図１２に示したような可視光と近赤外の２種類の光源を持つため、演算結果を急ぐ場合には、可視と近赤外とを同時計測することが可能であり、これにより個別に行うより計測時間を短縮することができる。

また、演算後の結果表示については、可視と近赤外の両方を計測した後、合成結果を格納・表示するだけでなく、可視・近赤外それぞれの計測後に、個別に結果を格納・表示できることは言うまでもない。

また、可視光計測に６００ｎｍ、近赤外計測に８７０ｎｍの波長を使用したが、たとえば撮像素子の感度特性に合わせて別の波長を選んでもよく、また、パターン投影が可能であれば、レーザーでなくともＬＥＤなど別の光源を用いてもよい。

また、計測用光源に可視光と近赤外光の２種類の光源を使用しているが、これに限らず、より詳細な計測のために、３種類以上の光源にて計測を行ってもよい。励起光源は、通常光源側に配慮するのはもちろんのこと、計測用光源に配慮しても、いずれであってもよい。さらに、３次元計測用光源４０と通常観察用の励起光を含む通常光源８０とを共用し、いずれか一方を削減することも十分可能である。

また、空間パターン化法にて３次元計測を行う際の、開始から終了までのパターン投影は、いずれのパターンを用いてもよく、また、パターン投影回数やその間の映像取り込み枚数も、物理的もしくは時間的制約がなければ、いずれの値をとってもよい。被写体の形状測定に被写体との距離計測を利用しているが、可視もしくは近赤外含めて形状測定できるものであれば、等高線法など距離計測以外の方法を用いてもよいのは言うまでもない。さらに、本実施の形態３では、顕微鏡への適用例を説明しているが、硬性鏡や内視鏡やマクロカメラなどに適用してもよい。

また、可視と近赤外の３次元計測情報の表現手法としては、３次元立体構造に限ることなく、２次元やそのほか術者に対してわかりやすい表現手法にて表示されるのであれば、いずれであってもよい。

また、上述の実施の形態１では、可視と近赤外で２種の撮像素子を使用しているが、広帯域で感度の高い撮像センサーを採用すれば、１種で済むことは言うまでもない。また、計測に必要な帯域を確保するために、２種以上の撮像センサーを用いてもよい。

さらに、上記では、可視と近赤外での距離計測結果の３次元合成表示を外部のＰＣ５０にて行っているが、制御回路２０にて行ってもよい。その際、外部のモニター５１だけでなく、顕微鏡内部の表示手段へ表示するなど、結果の表示方法や場所はいずれであってもかまわない。

１ 被写体、２ 通常光源、３ 照明用ダイクロイックミラー、７ 主ダイクロイックミラー、１０ 映像表示装置、１１ 撮像用ビームスプリッター、１２ 可視撮像センサー、１３ 可視信号処理回路、１４ 近赤外撮像センサー、１５ 撮像ユニット、１６ 近赤外信号処理回路、１８ 出力回路、１９ 合成処理ブロック、２０ 制御回路、３０ 対物レンズ、４０ ３次元計測用光源、５１ ＰＣモニター、５５ ３次元計測用光源、６０ ポリゴンミラー、６１ 集光レンズ、６２ 光源ＭＩＸ用ダイクロイックミラー、６３ 可視レーザー光源、６４ 近赤外レーザー光源、６５ レーザーコントローラ、６６ 同期回路、６７ 近赤外形状演算回路、６８ 可視形状演算回路、７１ 可視等高演算回路、７３ 可視レーザー、７４ 近赤外レーザー、７５ 可視範囲光源、７７ 励起光カットフィルター、１００ 顕微鏡筐体。

Claims (6)

1. 手術対象である被写体の形状を計測するために用いられ、複数の帯域の波長を持つ光源を有する光源部と、
   前記被写体の表面および内部で反射した、前記光源部からの複数の帯域の計測光源光像を電気的な複数の計測撮像信号に変換する撮像部と、
   前記撮像部で変換された前記複数の計測撮像信号に基づき、前記被写体における前記表面の形状および前記内部の形状を計測する演算部と、
   前記演算部により計測された前記表面の形状および前記内部の形状を合成処理し、前記被写体に関する２次元画像データあるいは３次元画像データを生成する合成処理部と
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像部は、
   前記被写体の前記表面で反射した、前記光源部からの計測光源光像のうち第一の波長帯域の光像を電気的な計測撮像信号に変換する第一の撮像部と、
   前記被写体の前記内部で反射した、前記光源部からの計測光源光像のうち第二の波長帯域の光像を電気的な計測撮像信号に変換する第二の撮像部と
   を有し、
   前記演算部は、
   前記第一の撮像部で変換された計測撮像信号に基づき、前記被写体における前記表面までの第一の形状を計測する第一の演算部と、
   前記第二の撮像部で変換された計測撮像信号に基づき、前記被写体における前記内部までの第二の形状を計測する第二の演算部と
   を有し、
   前記合成部は、前記第一の演算部で計測された前記第一の形状と、前記第二の演算部で計測された前記第二の形状とを合成処理し、前記２次元画像データあるいは前記３次元画像データを生成する
   ことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記第二の撮像部は、前記被写体に対して血管造影用蛍光物質が投与されている場合に、励起光をカットする手段を介して取得した蛍光光像を電気的な計測撮像信号に変換する
   ことを特徴とする撮像装置。
4. 請求項１ないし３のいずれか１項に記載の撮像装置において、
   前記光源部と前記演算部は、空間コード化法による距離計測法を適用する
   ことを特徴とする撮像装置。
5. 請求項１ないし３のいずれか１項に記載の撮像装置において、
   前記光源部と前記演算部は、モアレ干渉法を適用する
   ことを特徴とする撮像装置。
6. 手術対象である被写体の形状を計測するために、前記被写体に対して複数の帯域の波長を持つ光源を照射する光源ステップと、
   前記光源ステップでの前記照射により、前記被写体の表面および内部で反射した複数の帯域の計測光源光像を電気的な複数の計測撮像信号に変換する撮像ステップと、
   前記撮像ステップで変換された前記複数の計測撮像信号に基づき、前記被写体における前記表面の形状および前記内部の形状を計測する演算ステップと、
   前記演算ステップにより計測された前記表面の形状および前記内部の形状を合成処理し、前記被写体に関する２次元画像データあるいは３次元画像データを生成する合成処理ステップと
   を備えることを特徴とする撮像方法。

Images