JP6491476B2 - ロボットとイメージとの間の自動オンライン・レジストレーション及びその方法 - Google Patents

Description

本開示はデバイス・レジストレーション（registration）に関し、より詳細には、デバイスの構成に基づく生体内原位置でのレジストレーションのためのシステム、デバイス、及び方法に関する。

レジストレーションは、同じデータの異なる観察間の関係を発見するプロセスである。より具体的に言えば、異なる視点によるか又は異なる座標系に属する、同じデータの複数の測定の位置合わせの計算である。レジストレーションは、ロボット座標系内の物理的位置と、イメージング・スペース内のその位置との対応を決定するために必要である。

臨床セットアップでは、超音波イメージとロボット座標との間のレジストレーションは手術前に実行される。手術前レジストレーションには周知の技法が存在し、ワールド座標系又はグローバル座標系に関して少なくとも１つの座標系が固定される状況に、最も好適である。双方の座標系が移動している場合、一時レジストレーションは無効となり、再計算しなければならない。

超音波ベースのロボット誘導において、両方のデバイス、すなわち超音波変換器及びロボットは、手順中に互いに移動している可能性が高い。超音波は時には一位置に固定される場合があるが、ロボット誘導介入時の超音波の役割が、ロボットを誘導すること、及び当該の領域上にイメージングを提供することであるとすると、位置決めにおいて柔軟性を有することが有利である。超音波変換器（及びその後の超音波イメージ）とロボットとの間のレジストレーションを必要とする手順の例は、ロボットによる器質的心臓修復（robotic structural heart repair）を含む。この場合、経食道心エコー検査（ＴＥＥ）デバイスが採用される。プローブは、呼吸によってそれを動かす軟式ケーブル上に取り付けられる。この場合、いったん確立されると、レジストレーションは失敗する可能性がある。ロボット及び超音波プローブの連続レジストレーションのために、電磁（ＥＭ）追跡を採用することができる。このソリューションは複雑であり、リソース集約的である。また、ＥＭ追跡は、ＥＭ場におけるかく乱によりエラーを生じやすい。

手術前レジストレーションは、すでに複雑な外科的ワークフローにさらに複雑さを追加する一方で、基準マーカ（fiducial marker）の設置は、手術の時間及び複雑さを増加させる。座標系の追跡は、少なくとも追加のハードウェア要件によって、煩雑である。

本原理に従い、レジストレーションのシステム及び方法は１つ又は複数の可動機構を有する構成可能デバイスを含むため、結果としてその可動機構の動きは、構成可能デバイスの特定の構成を定義するための基準に関連して決定することができる。イメージング・システムは、ディスプレイ上で構成可能デバイスが視認可能なディスプレイを有する。処理デバイスは、構成可能デバイスの特定の構成に基づいて、構成可能デバイスをイメージング・システムの座標系に登録するように構成される。

レジストレーション・システムは、基準に関連した可動機構の動きがロボットの特定の構成を定義するように、Ｎ個のジョイントによって接続された１つ又は複数の可動機構を有するロボットを含む。超音波イメージング・システムは、ディスプレイ上でロボットが視認可能なディスプレイを有する。処理デバイスは、ロボットの特定の構成に基づいて、ロボットをイメージング・システムの超音波プローブの座標系に登録するように構成される。

レジストレーション方法は、構成可能デバイスの動作可能イメージ内で構成可能デバイスの基準機構を検出すること、構成可能デバイスの特定の構成を決定すること、基準機構を使用してイメージング座標系内の構成可能デバイスの特定の構成を計算すること、及び、構成可能デバイスの座標系をイメージング座標系に登録するために、構成可能デバイスの特定の構成とイメージング座標系との間の変換を決定することを含む。

本開示のこれら及び他の目的、特徴、及び利点は、添付の図面と共に読まれることになるその例示的実施形態の以下の詳細な説明から明らかとなろう。

本開示は、以下の図面を参照しながら、好ましい実施形態の以下の説明を詳細に提示する。

本原理に従って、ロボット又は他の構成可能デバイスをイメージング・ストリーム又はイメージに登録するためのシステム／方法を示す、ブロック／フロー図である。 例示的一実施形態に従って、ロボットをイメージング・システムに登録するための方法を示す、ブロック／フロー図である。 有用な実施形態に従って、イメージ・システム内のシャフト又はリンクの一部を識別するために含められた、１つ又は複数のマーカを有するロボットのシャフト又はリンクを示す図である。 有用な実施形態に従って、イメージ・ストリーム内のシャフト又はリンクの向きを識別するために含められた、２つのマーカを有するロボットのシャフト又はリンクを示す図である。 例示的一実施形態に従って、計算されたシャフト・チップとイメージの座標系との間のｘ、ｙ、及びｚ座標に関する動作トレースを示す図である。 有用な実施形態に従って、シャフト又はリンクの位置を識別するためにその上に取り付けられた形状感知光ファイバを有するロボットの、シャフト又はリンクを示す図である。 一実施形態に従った、超音波環境においてシャフト又はリンクの位置を識別するためにその上に取り付けられた振動メカニズムを有するロボットのシャフト又はリンクを示す図である。 一実施形態に従った、ロボットのシャフト又はリンクをイメージ・フレーム／イメージング・プローブに登録するための変換計算を例示的に示す図である。 例示の実施形態に従った、ロボット・デバイスをイメージング座標系に登録するためのステップを示す、ブロック／フロー図である。

本原理に従い、超音波（ＵＳ）プローブ（たとえば３次元（３Ｄ）超音波プローブ）などのイメージング・デバイスと、ロボット・マニピュレータ・システムとの間で、自動及びリアルタイム・レジストレーションを実行するための、システム及び方法が提供される。これらのレジストレーションのシステム及び方法は、たとえばターゲットの位置特定、イメージング・プローブの位置合わせに関連付けられた認知的負荷の軽減、イメージの物理的空間に対する関係の決定、ターゲットへの手術用ツールの誘導など、様々なタスクを実行する際に採用することができる。これらのイメージング機能及びロボット機能を採用する本実施形態の助力により、外科医によってより複雑な手術手順が実行可能である。

特に有用な一実施形態に従い、イメージ内のロボット又はロボットに取り付けられた手術用器具を検出可能な、様々な方法及びデバイスを使用する、イメージング・プローブ又はイメージへのロボットのリアルタイム・レジストレーションが提供される。レジストレーションの精度を監視できる品質制御方式も提供される。

本発明は医療用機器に関して説明されるが、本発明の教示はより広範囲にわたり、複雑な生物学的システム又は機械システムの追跡又は分析に採用されるいずれの機器にも適用可能であることを理解されたい。特に、本原理は、生物学的システムの内部追跡手順、肺、消化管、排泄器官、血管などの身体のすべての領域における手順に適用可能である。図に示された要素は、ハードウェア及びソフトウェアの様々な組み合わせで実装可能であり、単一の要素又は複数の要素内で組み合わせ可能な機能を提供することができる。

図に示された様々な要素の機能は、専用のハードウェア並びに適切なソフトウェアとの関連においてソフトウェアを実行可能なハードウェアを使用することによって、提供可能である。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は、その一部が共有可能な複数の個々のプロセッサによって、提供可能である。さらに、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に言い表すものと解釈されるべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）、不揮発性ストレージなどを黙示的に含むことができるが、これらに限定されない。

さらに、本発明の原理、態様、及び実施形態、並びにその特定の例を記載する本明細書のすべての文章は、その構造的及び機能的な両方の等価物を包含することが意図される。加えて、こうした等価物は、現在知られた等価物、並びに将来開発される等価物（すなわち構造に関係なく同じ機能を実行する、開発される任意の要素）の両方を含むことが意図される。したがって、たとえば当業者であれば、本明細書に提示されたブロック図が、本発明の原理を具体化する例示のシステム構成要素及び／又は回路の概念図を表すことを理解されよう。同様に、任意のフロー・チャート、フロー図などが、コンピュータ読み取り可能記憶媒体内に実質上表すことが可能であり、コンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、こうしたコンピュータ又はプロセッサによってそのように実行可能である、様々なプロセスを表すことを理解されよう。

さらに、本発明の実施形態は、コンピュータ又は任意の命令実行システムによって、或いはそれらに関連して使用するためのプログラム・コードを提供する、コンピュータ使用可能又はコンピュータ読み取り可能記憶媒体からアクセス可能な、コンピュータ・プログラム製品の形式を取ることが可能である。これを説明するために、コンピュータ使用可能又はコンピュータ読み取り可能記憶媒体は、命令実行のシステム、装置、又はデバイスによって、或いはそれらに関連して使用するためのプログラムを、包含、記憶、通信、伝搬、又は移送することが可能な、任意の装置とすることができる。媒体は、電子、磁気、光、電磁、赤外線、又は半導体のシステム（或いは装置又はデバイス）、或いは伝搬媒体とすることができる。コンピュータ読み取り可能媒体の例は、半導体又はソリッド・ステート・メモリ、磁気テープ、取り外し可能コンピュータ・ディスケット、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛性磁気ディスク、及び光ディスクを含む。光ディスクの現行例は、コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクト・ディスク読み取り／書き込み（ＣＤ−Ｒ／Ｗ）、及びＤＶＤを含む。

次に、同じ数字が同じか又は同様の要素を表す図面を参照するが、最初に図１を参照すると、自動オンライン・レジストレーション用システム１００は、イメージ誘導型手術用ロボット・システム１０２を採用している。ロボット・システム１０２は、構成可能デバイス又はロボット１０４及び制御システム１０６を含む。ロボット１０４は、ロボット１０４の一部又はロボット１０４全体を含むことが可能な、既知の形状を含む。ロボット１０４は、１つ又は複数の基準マーカ１０８を含むことができる。ロボット１０４の向きは、その可動機構１２２（たとえばリンク又はリンク機構、付属物など）の運動学から解読され、ライブ・イメージから計算された向きと組み合わせられる。イメージは超音波イメージを含むことができるが、他のイメージング・モダリティ（modality）（たとえばＸ線など）を採用することができる。この例では、イメージング・システム１１０は、３次元（３Ｄ）イメージング機能を有する超音波システムを含む。他のイメージング・システムも採用可能である。イメージング・システム１１０は、イメージング・データを収集するための位置及び角度に設定するために、プローブ１０５を採用することができる。ロボット動作は、たとえばロボット座標系１０９及びイメージング又はプローブ座標系１０７の、２つの座標系間のレジストレーションを、リアルタイムで計算及び更新するために採用される。

本原理は、オペレーションの通常部分として反復的に実行される、オンライン・レジストレーションを提供する。構成要素が移動すると予想される場合、オンライン・レジストレーションは、座標系間の位置合わせ失敗を処理するために使用することができる。オンライン・レジストレーションは、オプションの追跡又は基準マーカ１０８のいずれかの支援によって、システムがレジストレーションを自動的に実行可能な場合に、最も効果的である。追跡は、当該の座標系が測定可能な新しいグローバル座標系を導入する。基準マーカ１０８の使用は、この手法の受動バージョンとみなすことが可能であり、たとえば当該の座標系は、大域的に固定されたマーカに対するそれらそれぞれの向きを計算する。どちらの場合でも、座標系間のレジストレーションを常時計算することができるため、座標系は互いに自由に移動可能である。

システム１００は、手順の監視及び／又は管理元であるワークステーション又はコンソール１１２を含むことができる。ワークステーション１１２は、好ましくは１つ又は複数のプロセッサ１１４と、プログラム及びアプリケーションを記憶するためのメモリ１１６とを含む。メモリ１１６は、所与のイメージング・モダリティを使用して示されるロボット・デバイス１０４のイメージからの位置フィードバック信号を解釈するように構成された、ロボット運動学解釈モジュール１１５を記憶することができる。モジュール１１５は、ロボット１０４に関連付けられた変形、偏向、及び他の変化を再構成するために、視覚及び位置フィードバック（たとえば、電磁（ＥＭ）追跡、基準位置、形状、又は幾何学情報／認識など）を使用するように構成可能である。

イメージング・モダリティ又はイメージング・デバイス１１０は、超音波イメージング・システムを含むことができる。プローブ１０５の座標系１０７及びロボット１０４の座標系１０９は、好ましくは連続的又は断続的な時間間隔にわたって登録される。一実施形態では、ライブ・イメージがストリーミング可能な３Ｄ超音波プローブ１０５が採用される。ロボット１０４は、好ましくは超音波イメージの表示領域内に位置決めされる。ロボット１０４はＮ個のジョイント１１１（たとえば３又は４個）を含み、ジョイント１１１の絶対位置又は相対位置を測定するためにＮ個のエンコーダ１１３が採用される。したがって、ロボット１０４、並びにいくつかの固定された座標系（通常はロボット１０４のベース）に関連するエンド・エフェクタ（たとえば手術用器具）の位置が、常時わかる。

制御ユニット１０６は、ワークステーション１１２内に組み込まれるか、又は、イメージング・デバイス１１０及びロボット・システム１０２の他の部分からデータを受信し、レジストレーションを実行する（方法）、別のデバイス（たとえばパーソナル・コンピュータ（ＰＣ））とすることができる。制御システム１０６及び／又は解釈モジュール１１５は、イメージ内の手術用器具を自動検出する方法を採用し、この検出を強化するためのメカニズムを採用することができる。たとえば、イメージング・デバイスの座標系内での器具の構成を計算するための技法は、基準位置に関連してその構成を検出するために、ロボット１０４の複数のポイント（たとえばジョイント又は端部）を解読することが可能な、イメージ認識プログラムを採用することを含むことができる。他の方法は、ロボット１０４の既知の位置／向き、及びロボット１０４の超音波イメージから計算されたロボット１０４の位置／向きを使用して、３Ｄ超音波プローブ１０５とロボット１０４との間の自動及びオンライン・レジストレーションを実行することを含む。

レジストレーション・エラーは、モジュール１１５によってイメージ・フレームについて監視され、ユーザ定義済み閾値又は他の条件に従って、ロボット１０４を使用不可にすること及びオペレーションを停止することを制御システム１０６に実行させるために、デッドマン・スイッチ（dead-man switch）又は他のメカニズム１２６をトリガするために使用されることが可能である。

イメージング・デバイス１１０は、手順中に対象者１３１の現場イメージングに採用することができる。イメージング・システム１１０は、蛍光透視法システム、コンピュータ断層撮影（ＣＴ）システムなどを含むことができるが、超音波システムが好ましい。イメージング・システム１１０は、対象者１３１内の領域のイメージ１３４を生成し、ロボット１０４は好ましくは、ロボット座標系をイメージング・デバイス１１０のそれに登録するために必要なロボット１０４の視野又は少なくとも一部に含められる。

ワークステーション１１２は、対象者（患者）１３１の内部イメージを表示するためのディスプレイ１１８を含む。ディスプレイ１１８は、ユーザがワークステーション１１２並びにその構成要素及び機能、又はシステム１００内の任意の他の要素と対話することも可能にする。これは、ワークステーション１１２からのユーザのフィードバック及びワークステーション１１２とのユーザの対話を可能にするための、キーボード、マウス、ジョイスティック、触覚デバイス、又は任意の他の周辺装置又はコントロールを含むことが可能な、インターフェース１２０によって、さらに容易になる。

図２を参照すると、自動オンライン・レジストレーション方法が例示的に示されている。ブロック２０２で、３Ｄ（たとえば超音波）イメージ・ストリーム内の器具が検出される。ブロック２０４で、イメージ座標系内で器具の構成が計算される。ブロック２０６で、器具をイメージ・ストリームに登録するためにフレーム変換が計算される。ブロック２０８で、品質制御が実行される。これらのステップは、以下の例示の実施形態に関して、下記でさらに詳細に説明される。

一実施形態において、ブロック２０２の３Ｄ超音波内での器具検出は、イメージ・ベース方法を採用することができる。手術用器具は一般に、超音波イメージングの下で可視である、たとえば金属などの材料で構成される。さらに手術用器具は、外科医又はロボットが限定された空間内で手術できるようにするための、縦方向に配設された軸（シャフトなど）を特色とすることができる。手術用器具又は他の顕著な機構の細長い性質を使用して、自動的に超音波イメージ内の器具を適切に検出するために、イメージング・アルゴリズムが活用することのできる基準が提供される。既存の技法／アルゴリズムの１つが既知のハフ変換（Hough Transform）であり、その形状の知識に基づいてイメージから手術用器具を分割することができる。１つのケースでは、（器具のシャフトに対応する）ライン又はロッド形状が、アルゴリズムへの入力パラメータとしての役目を果たすことが可能であるが、高度な検出の場合、より複雑な形状を指定することができる。

他の実施形態において、ブロック２０２の３Ｄ超音波内での器具検出は、基準ベース方法を採用することができる。ツールの位置及び向きの検出を容易にするために、異なるタイプの基準マーカを使用することができる。基準マーカがイメージ内に高コントラストで現れるとすると、イメージ内のこれらのマーカの検出は、たとえばハフ変換、イメージ閾値化などの、当分野で知られたイメージ処理方法を使用して実行することができる。器具は超音波イメージ内で可視であるが、それらの境界線を判別することは困難な可能性がある。これが自動器具検出におけるエラーにつながる可能性がある。

図３を参照すると、境界の可視性の問題に対処するために、自動化アルゴリズムによって区別することが容易であるが、目前のタスクを妨害しないマーカ３０２で、ツール３００を補強することができる。たとえば、リング３０２がツール・シャフト３０３の周囲に配置されることで、結果として、ツール３００の各向きに対して別個の超音波可視パターンのバンプを生じさせることになる。この手法は、手術用ツール３００の特殊な機械加工又は製造を採用することができる。実用的なソリューションは、既存のツールを改造して、既存の手術用器具のシャフト周囲に合う小型の着脱可能マーカ３０６を提供することが可能であり、それによってツールを設計変更する必要性が軽減される。これらの着脱可能マーカ３０６は、超音波又は他のイメージングの下で自動検出アルゴリズムによってツールの向きが判別可能なように、別個のパターンを含む。マーカ３０２、３０６は、ポリマー又は金属などの高エコー（hyperechoic）材料で作成可能である。

一実施形態は、より小型で単純なマーカ３０６を提供し、複数のマーカをツール・シャフト３０３上にクリップさせることを含むことができる。これらのマーカ３０６の組成は、手術環境に適合するスチール又は任意の他のエコー発生（echogenic）材料を含むことができる。

図４を参照すると、シャフト３０３の向きを検出するために、シャフト３０３に沿った２つのポイントのみを検出すればよい。この場合、マーカのより単純な実施形態は、たとえば球体３１２の形式を取る。超音波の下で球体形状を検出するためのアルゴリズムは、正規化相互相関（ＮＣＣ）及び差の二乗和（ＳＳＤ）を含むことができる。他のアルゴリズムも採用可能である。

図５は、ターゲット（ＦＢ）とターゲットを追跡しているロボット・ツール（チップ）との例示の動作トレースを示し、どちらも超音波内でＮＣＣを使用して毎秒２０フレームで検出される。図５は、２４．８５倍スローダウンされたｘ軸動作トレースと、２４．８５倍スローダウンされたｙ軸動作トレースと、２４．８５倍スローダウンされたｚ軸動作トレースとを示す。ここで採用されたマーカは、３．２ｍｍの金属球体である。結果は、トレースが互いに一致しているため、ＮＣＣがこの適用例に対して堅固な方法であることを示す。

３Ｄ超音波イメージが典型的には毎秒２０〜３０フレームの速度で生成及び処理されるため、新しいレジストレーションは（それぞれの新しいイメージについて）その速度で計算することができる。明示的なレジストレーション・ステップの必要性を軽減し、プローブの位置での摂動（perturbation）は、レジストレーションが連続的に更新されている期間全体にわたってレジストレーションに影響を与えないため、これは有利な特徴である。

図６を参照すると、ロボット６０４のシャフト６０２又は他の部分は、形状感知光ファイバ６０６を含むことができる。一実施形態では、シャフト６０２の周囲に巻き付けられるか又はその他の方法でシャフト６０２に結合された形状感知光ファイバ６０６を使用することによって、マーカ６０８の検出を提供することができる。

感知ファイバ６０６は、光の特定の波長を反射し他のすべてを透過する光ファイバの部分である、１つ又は複数の光ファイバ・ブラッグ・グレーティング（ＦＢＧ）を含むことができる。これは、波長特有の誘電体反射鏡を生成する屈折率の定期的な変動を、ファイバ・コア内に追加することによって達成される。したがってＦＢＧは、ある波長をブロックするためのインライン光学フィルタとして、又は波長特有のリフレクタとして、使用可能である。

ＦＢＧのオペレーションの原理は、屈折率が変化しているそれぞれのインターフェースでのフレネル反射である。いくつかの波長について、反射に対しては建設的干渉が存在し、したがって透過に対しては相殺的干渉が存在するように、様々な期間の反射光は同相である。ブラッグ波長は、歪み並びに温度に対して敏感である。これは、ＦＢＧグレーティングが光ファイバ・センサ内で感知要素として使用できることを意味する。この技法の利点のうちの１つは、様々なセンサ要素をファイバの長さ全体にわたって分散できることである。様々なセンサ（ゲージ）を備える３つ又はそれ以上のコアを、構造内に埋め込まれたファイバの長さに沿って組み込むことで、構造の湾曲を縦方向位置の関数として評価し、したがってこうした構造の３次元（３Ｄ）形式を精密に決定することが可能である。

ＦＢＧの代替として、従来の光ファイバにおける生来の後方散乱を活用することができる。こうした手法の１つは、標準の単一モード通信ファイバ内でレイリー散乱（Rayleigh scatter）を使用することである。レイリー散乱は、ファイバ・コア内の屈折率の不規則変動の結果として発生する。これらの不規則変動は、グレーティング長さに沿った振幅及び位相のランダムな変化を伴う、ブラッグ・グレーティングとしてモデル化することができる。この効果を、マルチコア・ファイバの単一長さ内を通る３つ又はそれ以上のコア内で使用することによって、当該表面の３Ｄ形状及びダイナミクスが追跡可能となる。

光ファイバ６０６は、ツール上の既知の位置かららせん状に発せられ、シャフト６０２のチップ６１０まで延在する光を有することができる。このシステムは、チップ位置及び向きに加えて、エンド・エフェクタが自由度の高い非常に器用なロボット・マニピュレータである場合に有益な、形状全体の情報を提供することができる。

図７を参照すると、ロボット７０４のシャフト７０２又は他の部分は、動作デバイス７０６を含むことができる。動作デバイス７０６は、超音波イメージ内で可視化可能な機械的アクチュエータ又は他の振動要素を含むことができる。一実施形態において、マーカ７０６の検出は、ツール・チップ７１０に位置決めされたマーカ７０６の機械的作動によって提供される。チップ７１０は振動し、チップ７１０はロボット７０４に取り付けられているため、マーカ７０６は所与の周波数で変動する。マーカ位置及びツール・チップが検出できるように、これらの振動は超音波を使用して容易に検出可能である。イメージをハイライト表示して構造を検出するために、ロボット構造又はリンクに内在する振動も採用することができる。

再度図２を参照すると、ブロック２０４で、器具の構成は超音波座標系内で計算される。説明された器具検出のタスクは、オンライン・レジストレーションを実行する際の初期ステップに過ぎない。器具は、残りのイメージから分割されているのみである。ブロック２０４で、超音波イメージ・ストリームからその式が抽出された場合、器具の構成又はポーズが計算される。これは、手術用ツールが一般に、（外科医又はロボットが持つ）ハンドルとエンド・エフェクタとの間に、ロボット／手から手術のターゲット部位まで延在可能な長いシャフトを有するという事実を利用する。

超音波イメージ内に器具のシャフトが見つかると、シャフトの方向を記述するベクトルが決定される。ベクトルは、リアルタイムで、たとえば新しい３Ｄ超音波イメージがストリーミングされている場合、超音波座標（^ｕＴ）内の器具のポーズを計算するために使用される。

図８を参照すると、変換／レジストレーションの計算が例示的に示されている。ツール・シャフト８０２は座標系ｔｉｐ_Ｆを含み、超音波プローブ（又はイメージ）８０４は座標系ｕ_Ｆを含む。シャフトの方向を記述するベクトルｖ_ｔｉｐは、超音波座標内でリアルタイムに決定される。この計算を達成する手順が数式１に示されている。

数式１において、下付き文字及び上付き文字ｕ及びｒは、それぞれ超音波及びロボットの座標系を示す。

記号のリストは以下の通りである。
^ｕＴ−超音波座標（４ｘ４変換行列）内で観察される器具シャフトのポーズ。
^ｕＲ−ポーズ^ｕＴ（３ｘ３行列）の回転成分。
^ｕｐ_ｔｉｐ−超音波座標（３ｘ１行列）内の器具チップの位置である、ポーズ^ｕＴの位置成分。

−器具シャフトと超音波座標系の−ｚ軸との間の回転軸であり、器具のローカル座標系内であるため、ベクトルはチップに向かうシャフトの向きで−ｚ軸として定義される。
θ−ベクトルｖ_ｔｉｐを超音波−ｚ軸に一致させる、

を中心とする回転の角度。
ｖ_ｔｉｐ−器具シャフトの方向に関連付けられたベクトル。
Ｐ−数式を簡略化するためにこのように示された、

とそれ自体との外積演算の結果。
Ｉ−３ｘ３単位行列。

演算が行列表記で表される場合に、クロス積演算の第１のオペランドへの変換と等価である、

上のスキュー演算子。

再度図２を参照すると、ブロック２０６で、フレーム変換の計算が実行される。ロボット座標内の器具のポーズ^ｒＴは、（エンコーダなどからの）ロボットの既知の運動学によって与えられる。ロボットへのソフトウェア・プログラミング・インターフェースにより、このパラメータをリアルタイムで照会することができる。^ｒＴが取得されると、前のステップ（ブロック２０４）で見つけられた超音波座標内の器具のポーズ^ｕＴと組み合わせて、超音波座標系とロボット座標系との間の所望の変換^ｒＴ_ｕ（数式２）を計算することができる。次にこの変換^ｒＴ_ｕを使用して、超音波イメージ内で見つけられた任意のポイントのロボットに関連する場所を見つけることが可能であり、これによってロボットは、超音波イメージ内のターゲットの検出に基づいて、手術用ツールを任意のターゲット方向に移動させることが可能であり、最終的にロボットは、説明したような３Ｄ超音波の誘導及び関連付けられたイメージ処理の下で、何らかの機能を自立的に実行することができる。

上式で、
^ｒＴ_ｕ−超音波とロボットの座標間の変換行列。
^ｕＴ−超音波座標内で観察された器具シャフトのポーズ。
^ｒＴ−ロボット運動学に従った、ロボット座標内の器具シャフトのポーズ。

簡単にするために、本明細書で説明される手術用器具は、それらのシャフトを中心とする回転に関して対称であった。こうした器具は、ロボット業界用語に従って５次元（５Ｄ）としてラベル表示することが可能であり、これは空間的な３Ｄ位置並びに３つの座標軸のうちの２つを中心とする回転を反映する。追加次元がそのシャフトを中心とする器具の回転である６Ｄへの拡張は、（１）適切に設計された単一マーカ、又は（２）非対称幾何学パターン内への複数の単純マーカの適切な配置の、いずれかによって、容易に達成される。本原理は、任意の運動学及び構造的動作に対処するように拡張可能である。

再度図２を参照すると、ブロック２０８で、本実施形態の品質制御は、計算におけるコンピューティングエラー及びアカウンティングエラーの形式を取ることができる。本明細書に記載されたシステム及び方法は、品質制御のためにシステムのユーザに提供可能なレジストレーション確度のオンライン照会を可能にする。レジストレーションの確度は、超音波イメージの２つ又はそれ以上のフレーム間での、ツール・チップの相対的変位及びツールの向きにおける差として測定することができる。ここで、チップ、向きを評価するための方法を提示する。

エラー（ｅ）は、

であり、この式で、
^ｒｐ_ｔｉｐ（ｔ−１）は、時間モーメントｔ−１におけるロボット座標系内のロボット・チップの位置である。
^ｒｐ_ｔｉｐ（ｔ）は、時間モーメントｔ（ｔ−１の１フレーム後）におけるロボット座標系内のロボット・チップの位置である。
^ｕｐ_ｔｉｐ（ｔ−１）は、時間モーメントｔ−１における超音波（ＵＳ）座標系内のロボット・チップの位置である。
^ｕｐ_ｔｉｐ（ｔ）は、時間モーメントｔ（ｔ−１の１フレーム後）におけるＵＳ座標系内のロボット・チップの位置である。

ブロック２１２で、イメージング・デバイスのＵＳスクリーンを含むことが可能なディスプレイ１１８（図１）上で、ユーザにエラーを提示することができる。ブロック２１４で、エラーを使用して、ロボットのデッドマン・スイッチ又は他のメカニズムをトリガし、ユーザ定義済み閾値又は他の条件に従ってオペレーションを停止することができる。

本実施形態は、手術前レジストレーション、患者に設定される基準、手操作による介入、又は固定式超音波プローブの必要なしに、イメージング・デバイス（たとえば超音波プローブ）と手術ロボット又は他のデバイスとの間のレジストレーションを可能にするために、任意の低侵襲手術（minimally invasive surgery）において採用可能であることを、理解されたい。このレジストレーションは、ロボット・システムにイメージング座標とロボット座標との間のマッピングを提供するため、ロボット又は他のデバイスは、イメージ内で検出された任意のターゲットに向かって器具を移動させることができる。本原理は、広範囲なクラスのロボット・システム又はデバイス、手順、及びアプリケーションに、容易に適用可能である。

図９を参照すると、本原理に従った他のレジストレーション方法が例示的に示されている。ブロック９０２で、構成可能デバイスのオペレーション・イメージ内に構成可能デバイスの基準機構が検出される。これは、縦方向シャフト、ロボット・ベース、顕著な機構などを含むことができる。ブロック９０４で、構成可能デバイスの特定構成が検出される。たとえば、ロボット付属物は、エンコーダ又は他の測定デバイスから計算可能な決定位置を有することができる。付属物の位置は、基準位置又は機構から相対的に計算することができる。ブロック９０６で、基準機構を使用して、イメージング座標系内で構成可能デバイス・システムの特定の構成又はポーズが計算される。ポーズは、構成可能デバイスの機構のすべて又は一部の決定を含むことができる。たとえば４つの付属物のうちの３つが、デバイスの位置に関する十分な情報を提供することができる。特定の構成は、ブロック９０８で構成可能デバイスの可動機構の位置を決定するために、エンコーダを使用して構成可能デバイスのポーズを見つけることを含むことができる。

ブロック９１０で、特定構成は、光ファイバを用いる形状感知を使用して決定可能であり、構成可能デバイスの１つ又は複数の可動機構の動きは、光ファイバからのフィードバックを使用して決定可能である。ブロック９１２で、１つ又は複数の可動機構は、イメージ内の位置を指定し、少なくとも１つのマーカを使用して特定構成を決定するために、少なくとも１つのマーカを含むことができる。マーカは、イメージ内で可視であるものとし、デバイスの構成又はポーズを正確に定義することを支援するために、特定の形状又は機構を含むことができる。マーカは、たとえば、少なくとも１つ又は複数の可動機構の位置又は向きを指定するための振動メカニズムを含むことができる。これは、超音波イメージングで特に有用である。

ブロック９１４で、構成可能デバイスの座標系をイメージング座標系に登録するために、構成可能デバイスの特定の構成とイメージング座標系との間の変換が決定される。この変換が、座標系間での任意の位置の変換を可能にする。ブロック９１６で、イメージング座標系への構成可能デバイスのレジストレーション又は変換は、イメージング・システムによって取得された新しいイメージで更新することができる。この更新は、必要に応じてあらゆる新しいフレームで、又は所定数のフレーム後に、実行可能である。更新は、手順又はオペレーション中にリアルタイムで実行される。ブロック９１８で、測定されたレジストレーション・エラーに基づき、構成可能デバイスを使用不可とするか、又はそのオペレーションを変更することができる。レジストレーション・エラーは、断続的に計算し、閾値との比較に採用することができる。閾値を超えた場合、デバイス（たとえばロボット）は、レジストレーションが再確立されるまで使用不可とされる。警報音又はインジケータ点灯などの他のアクションを、エラー計算に付加することも可能である。

添付の特許請求の範囲を解釈する際、以下のことを理解されたい。
ａ）「含む」という語は、所与の請求項に列挙された以外の他の要素又は動作の存在を除外するものではない。
ｂ）要素に先行する「ａ」又は「ａｎ」という語は、複数のこうした要素の存在を除外するものではない。
ｃ）請求項内の任意の参照記号は、それらの範囲を限定するものではない。
ｄ）いくつかの「手段」は、同じアイテム或いはハードウェア又はソフトウェア実装構造又は機能によって表すことが可能である。
ｅ）具体的に示されていない限り、特定順序の動作が必要であることは意図されていない。

ロボットとイメージとの間の自動オンライン・レジストレーションのためのシステム及び方法の好ましい実施形態（例示的であり、限定的でないものと意図される）について説明してきたが、当業者であれば、上記の教示に鑑みて修正及び変形が実行可能であることに留意されたい。したがって、添付の特許請求の範囲によって概説される、本明細書で開示された実施形態の範囲内にある開示の特定の実施形態における変更が可能であることを理解されよう。したがって、特許法によって求められる細部及び特異点について説明してきたが、特許証によって保護された請求及び所期の範囲は、添付の特許請求の範囲に示されている。

Claims (12)

1. １つ又は複数の可動機構を有する構成可能デバイスであり、前記構成可能デバイスは、少なくとも１つの細長いシャフト又はリンクを前記可動機構として有するロボットであり、前記可動機構の動きが基準に関して決定されることにより、構成可能デバイスに係る座標系における前記構成可能デバイスの特定のポーズが決定される、構成可能デバイスと、
   前記構成可能デバイスの画像を取得するように構成されているイメージング・システムであり、前記イメージング・システムは、ディスプレイを有し、前記ディスプレイ上で前記構成可能デバイスが視認可能なイメージング・システムと、
   前記構成可能デバイスに係る座標系における前記構成可能デバイスの前記決定される特定のポーズ、および、イメージング・システムに係る座標系における前記構成可能デバイスの画像から計算される前記構成可能デバイスのポーズに基づいて、前記構成可能デバイスに係る座標系と前記イメージング・システムに係る座標系との間のレジストレーションを計算するように構成された、処理デバイスと、
   測定されたレジストレーション・エラーに基づいて前記構成可能デバイスを使用不可にするように構成されたスイッチと、を備え、
   前記レジストレーション・エラーは、以下の数式によって測定され、
   

   

   ここで、
   ^ｒｐ_ｔｉｐ（ｔ−１）は、時間モーメントｔ−１における前記構成可能デバイスに係る座標系内の前記可動機構の先端位置であり、
   ^ｒｐ_ｔｉｐ（ｔ）は、上記時間モーメントｔ−１の１フレーム後である時間モーメントｔにおける前記構成可能デバイスに係る座標系内の前記可動機構の先端位置であり、
   ^ｕｐ_ｔｉｐ（ｔ−１）は、上記時間モーメントｔ−１における前記イメージング・システムに係る座標系内の前記可動機構の先端位置であり、
   ^ｕｐ_ｔｉｐ（ｔ）は、上記時間モーメントｔ−１の１フレーム後である前記時間モーメントｔにおける前記イメージング・システムに係る座標系内の前記可動機構の先端位置である、
   ことを特徴とするレジストレーション・システム。
2. 前記少なくとも１つのリンクは、ジョイントに結合され、さらに、前記ジョイントの動きを測定するように構成されたエンコーダを含む、
   請求項１に記載のレジストレーション・システム。
3. 前記少なくとも１つのリンクは、形状感知光ファイバからの信号を使用してシャフトの動きが測定される、
   請求項１に記載のレジストレーション・システム。
4. 前記少なくとも１つのリンクは、端部を有し、前記端部が、前記イメージング・システムのイメージ内における位置を指定するための少なくとも１つのマーカを含む、
   請求項１に記載のレジストレーション・システム。
5. 前記少なくとも１つのマーカは、前記少なくとも１つのリンクの前記位置又は向きを指定するための形状又は構成を有する、
   請求項４に記載のレジストレーション・システム。
6. 前記イメージング・システムは、超音波システムを含み、かつ、前記少なくとも１つのマーカは、前記少なくとも１つのリンクの前記位置又は向きを指定するための振動メカニズムを含む、
   請求項４に記載のレジストレーション・システム。
7. 前記構成可能デバイスは、生体内に配設されたロボットを含み、かつ、前記イメージング・システムは、前記生体内の領域をイメージングする超音波システムを含む、
   請求項１に記載のレジストレーション・システム。
8. Ｎ個のジョイントによって接続された１つ又は複数の可動機構を有するロボットであり、基準に関する前記可動機構の動きがロボットに係る座標系における前記ロボットの特定のポーズを定義し、少なくとも１つの細長いシャフト又はリンクを前記可動機構として有するロボットと、
   前記ロボットの画像を取得するように構成された超音波イメージング・システムであり、その上で前記ロボットが視認可能なディスプレイを有する超音波イメージング・システムと、
   前記ロボットに係る座標系における前記ロボットの前記定義された特定のポーズ、および、超音波プローブに係る座標系における前記ロボットの前記画像から計算される前記ロボットのポーズに基づいて、前記ロボットに係る座標系と前記イメージング・システムの前記超音波プローブに係る座標系との間のレジストレーションを計算するように構成された処理デバイスと、
   測定されたレジストレーション・エラーに基づいて前記構成可能デバイスを使用不可にするように構成されたスイッチと、を備え、
   前記レジストレーション・エラーは、以下の数式によって測定され、
   

   

   ここで、
   ^ｒｐ_ｔｉｐ（ｔ−１）は、時間モーメントｔ−１における前記ロボットに係る座標系内の可動機構の先端位置であり、
   ^ｒｐ_ｔｉｐ（ｔ）は、上記時間モーメントｔ−１の１フレーム後である時間モーメントｔにおける前記ロボットに係る座標系内の前記可動機構の先端位置であり、
   ^ｕｐ_ｔｉｐ（ｔ−１）は、上記時間モーメントｔ−１における前記超音波プローブに係る座標系内の前記可動機構の先端位置であり、
   ^ｕｐ_ｔｉｐ（ｔ）は、上記時間モーメントｔ−１の１フレーム後である前記時間モーメントｔにおける前記超音波プローブに係る座標系座標系内の前記可動機構の先端位置である、
   ことを特徴とするレジストレーション・システム。
9. 前記Ｎ個のジョイントは、それぞれのジョイントの動きを測定するためにエンコーダに結合されている、
   請求項８に記載のレジストレーション・システム。
10. 構成可能デバイスの動作可能イメージ内で構成可能デバイスの基準機構を検出するステップと、
    構成可能デバイスに係る座標系における前記構成可能デバイスの特定のポーズを決定するステップであり、前記構成可能デバイスの前記特定のポーズは、基準に関する前記構成可能デバイスの可動機構の動きによって決定され、前記構成可能デバイスは、少なくとも１つの細長いシャフト又はリンクを前記可動機構として有するロボットである、ステップと、
    前記基準機構を使用してイメージング座標系内における前記構成可能デバイスの前記特定のポーズを計算するステップと、
    前記構成可能デバイスに係る座標系と前記イメージング座標系とをレジストレーションするために、前記イメージング座標系における前記構成可能デバイスの前記計算された前記特定のポーズ、および、前記構成可能デバイスに係る座標系における前記構成可能デバイスの前記決定された前記特定のポーズに基づいて、前記構成可能デバイスに係る座標系における前記構成可能デバイスの前記決定された前記特定のポーズと前記イメージング座標系との間の変換を決定するステップと、
    測定されたレジストレーション・エラーに基づいて前記構成可能デバイスを使用不可にするステップと、を含み、
    前記レジストレーション・エラーは、以下の数式によって測定され、
    

    

    ここで、
    ^ｒｐ_ｔｉｐ（ｔ−１）は、時間モーメントｔ−１における前記構成可能デバイスに係る座標系内の前記可動機構の先端位置であり、
    ^ｒｐ_ｔｉｐ（ｔ）は、上記時間モーメントｔ−１の１フレーム後である時間モーメントｔにおける前記構成可能デバイスに係る座標系内の前記可動機構の先端位置であり、
    ^ｕｐ_ｔｉｐ（ｔ−１）は、上記時間モーメントｔ−１における前記イメージング・システムに係る座標系内の前記可動機構の先端位置であり、
    ^ｕｐ_ｔｉｐ（ｔ）は、上記時間モーメントｔ−１の１フレーム後である前記時間モーメントｔにおける前記イメージング・システムに係る座標系内の前記可動機構の先端位置である、
    ことを特徴とするレジストレーション方法。
11. 前記レジストレーション方法は、さらに、
    前記構成可能デバイスの前記イメージング座標系へのレジストレーションを、前記イメージング・システムによって取得された新しいイメージを用いて更新するステップと、を含む、
    請求項１０に記載のレジストレーション方法。
12. 前記特定のポーズを計算するステップは、前記構成可能デバイスの可動機構の位置を決定するために、エンコーダを使用して前記構成可能デバイスのポーズを見つける段階を含む、
    請求項１０に記載のレジストレーション方法。

Images