[go: up one dir, main page]

JP7735265B2 - 手術部位測定を提供する方法及びシステム - Google Patents

手術部位測定を提供する方法及びシステム

Info

Publication number
JP7735265B2
JP7735265B2 JP2022527869A JP2022527869A JP7735265B2 JP 7735265 B2 JP7735265 B2 JP 7735265B2 JP 2022527869 A JP2022527869 A JP 2022527869A JP 2022527869 A JP2022527869 A JP 2022527869A JP 7735265 B2 JP7735265 B2 JP 7735265B2
Authority
JP
Japan
Prior art keywords
measurement point
overlay
display
measurement
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022527869A
Other languages
English (en)
Other versions
JP2023502623A (ja
Inventor
ハフォード,ケヴィン,アンドリュー
ニル,タル
アルパート,リオル
ヴァイツマン,ガル
マレ,アレクサンダー,ジョン
ネイサン,モーハン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asensus Surgical US Inc
Original Assignee
Asensus Surgical US Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asensus Surgical US Inc filed Critical Asensus Surgical US Inc
Publication of JP2023502623A publication Critical patent/JP2023502623A/ja
Application granted granted Critical
Publication of JP7735265B2 publication Critical patent/JP7735265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/529Depth or shape recovery from texture
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/061Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)

Description

本出願は、2019年11月14日付けで出願された米国仮出願第62/935,585号及び2020年10月6日付けで出願された米国仮出願第63/088,409号の利益を主張する。これらの出願のそれぞれは、引用することによって本明細書の一部をなすものとする。
発明者:Kevin Andrew Hufford、Tal Nir、Lior Alpert、Gal Wiezman、Alex Maret、Mohan Nathan
手術部位(surgical site)から測定データを取得することは、外科医又は他の開業医に非常に有用であり得る。
手術野(surgical field)内のサイズ測定は、通常、ユーザが手術部位のキャプチャされた内視鏡画像のディスプレイを視認しているときにユーザによって推定され、ユーザは、推定を容易にするサイズの手がかり(size cue)(例えば、手術器具において分かっている直径又は特徴部の長さ)を提供する画像内の他の要素を参照する場合がある。より複雑な場合には、殺菌した可撓性の「巻き尺(tape)」を巻き上げた上で、トロカール(trocar)を通して挿入し、手術野において伸ばし、腹腔鏡手術器具(laparoscopic instrument)を使用して操作し、必要な測定を行う場合がある。
「Method and System for Providing Real Time Surgical Site Measurements」という発明の名称の同時係属中の同一出願人による米国出願第17/035,534号は、内視鏡の視界の画像処理を使用して、ヘルニア欠陥又は手術部位内の他の関心領域の定寸情報(sizing information)及び測定情報を求めるシステム及び方法を記載している。
本出願は、現行の方法よりも正確で便利な定寸情報及び面積測定情報を提供するシステムを記載している。
開示された実施形態によるシステムを概略的に示すブロック図である。 手術部位の画像を表示するグラフィカルユーザインタフェース(GUI:graphical user interface)の一例を示す図である。このGUIディスプレイに示されたオーバレイ(overlay)は、測定値がシステムによってその間で計算される測定点(オーバレイシンボル+による印が付けられている)と、測定点の対を接続する測定線A及びBと、点の対の間の距離を表す測定データとを示す。 図2Aと同様であり、追加の測定線を更に示す図である。いくつかの実施形態において、複数のそのような線は、面積測定を提供することができる多角形を形成することができる。 図2Aと同様であり、測地線測定値(geodesic measurement)(不規則線を使用して識別され、挿入的に示される)と、直線測定値(straight line measurement)(直線によって識別され、非挿入的に示される)との間の相違を更に示す図である。 測定点+が手術野内の2つの手術器具上の点を使用して識別される手術部位の画像を表示するGUIの一例を示す図である。 手術部位の画像を表示するGUIの例を示し、手術器具を使用して測定点をシステムに対して識別することを示す図である。 手術部位の画像を表示するGUIの例を示し、手術器具を使用して測定点をシステムに対して識別することを示す図である。 手術部位の画像を表示するGUIの例を示し、手術器具を使用して測定点をシステムに対して識別することを示す図である。 手術部位の画像を表示するGUIの例を示し、手術器具を使用して測定点をシステムに対して識別することを示す図である。 図4A~図4Dと同様であり、識別された測定点から測定が行われることを示す図である。 図4A~図4Dと同様であり、識別された測定点から測定が行われることを示す図である。 それに沿って測定が所望される平面を、ユーザが画定する一実施形態を示すディスプレイの一連の表示の一つを示す図である。 それに沿って測定が所望される平面を、ユーザが画定する一実施形態を示すディスプレイの一連の表示の一つを示す図である。 それに沿って測定が所望される平面を、ユーザが画定する一実施形態を示すディスプレイの一連の表示の一つを示す図である。 それに沿って測定が所望される平面を、ユーザが画定する一実施形態を示すディスプレイの一連の表示の一つを示す図である。 それに沿って測定が所望される平面を、ユーザが画定する一実施形態を示すディスプレイの一連の表示の一つを示す図である。 それに沿って測定が所望される平面を、ユーザが画定する一実施形態を示すディスプレイの一連の表示の一つを示す図である。 それに沿って測定が所望される平面を、ユーザが画定する一実施形態を示すディスプレイの一連の表示の一つを示す図である。 それに沿って測定が所望される平面を、ユーザが画定する一実施形態を示すディスプレイの一連の表示の一つを示す図である。
本出願は、コンピュータビジョンを使用して手術部位を分析するとともに、手術部位内の距離又は一連の距離を測定するシステム及び方法を記載している。
図1を参照すると、一例示的なシステムは、好ましくは、3Dカメラ10と、このカメラから画像/ビデオを受信する1つ以上のプロセッサ12と、ディスプレイ14とを含む。3Dカメラは、一対のカメラ(ステレオリグ(stereo rig))、又は構造化光ベースのカメラ(Intel RealSense(登録商標)カメラ等)、又は深さ情報を判断又は導出することを可能にする他のソフトウェア又はハードウェアの特徴を使用する2Dカメラを含むことができる。プロセッサ(複数の場合もある)は、当該プロセッサ(複数の場合もある)によって実行可能な命令を記憶する少なくとも1つのメモリを含み、これらの命令は、(i)データによってキャプチャされた画像上の複数の点の3D位置を求め、(ii)これらの3D位置に基づいて、カメラによって撮像されている手術部位における識別された測定点の間の3Dにおける直線及び/又は測地線距離を推定又は決定し、(iii)測定された距離をユーザに通信する出力を生成する。3D情報は、カメラのタイプに応じて、カメラ内のプロセッサ又はカメラから分離したプロセッサのいずれかによって処理される。出力は、(図面に関連して説明されるような)測定データを表示する画像ディスプレイ上のグラフィカルなオーバレイ(graphical overlay)の形態、及び/又は聴覚出力等の他の形態(つまり、測定データを表示する画像ディスプレイ上のグラフィカルなオーバレイの形態又は聴覚出力等の他の形態あるいはそれらの両方)とすることができる。
測定される距離は、測定点の間の直線「定規距離(ruler distance)」、及び/又は2つの測定点の間の線に沿った表面の特徴部(例えば組織表面(tissue surface))の深さの変化を考慮した測定点の間の測地線距離(geodesic distance)(つまり、測定点の間の直線「定規距離」、又は2つの測定点の間の線に沿った表面特徴部(例えば組織表面)の深さの変化を考慮した測定点の間の測地線距離、あるいはそれらの両方)とすることができる。これらの測定点は、測定が行われている組織又は体腔内の他の構造物の適切な深さにおけるロケーションに付随している(空間内の或る点において組織の上方に浮遊しているのではなく、システムを使用して求められる)ことに留意されたい。
システムは、多くの異なる方法でシステムが又はシステムによっていくつかの測定点を識別(identify)するデバイス又は特徴部を更に含む。1つの例として、ユーザは、1つ以上のユーザ入力デバイス16を使用してシステムに対して測定点を識別することができる。ユーザ入力デバイスが含まれるとき、様々な異なる種類のユーザ入力デバイスを単独で又は組み合わせて使用することができる。例として、以下のデバイス及び方法があるが、これらに限定されるものではない。また、システムが測定点の入力動作モードにあるときに、それらのデバイス及び方法がどのように使用されて測定点を識別するのかの例が以下に挙げられている。
・アイトラッキングデバイス。システムは、ユーザがディスプレイ上で見ているロケーションを求め、そのロケーションを測定点として設定するようにシステムに命令する入力としてそのロケーションを受信する。識別の実施態様では、システムは、測定点の入力動作モードにあるときに、ユーザによって視認されているディスプレイ上のロケーションにカーソルを表示し、ユーザの注視がディスプレイに対して移動すると、カーソルを移動させる。この例及び後に説明する例では、ユーザの測定点の選択を確認する確認入力(confirmatory input)(以下に説明する)をシステムに入力することができる。
・ヘッドトラッキングデバイス又はマウスタイプデバイス。システムが測定点の入力動作モードにあるときに、システムは、ディスプレイ上にカーソルを表示し、頭部に装着されたヘッドトラッキングデバイスの移動又はマウスタイプのデバイスの移動に応答してカーソルを移動させる。
・カメラによってキャプチャされたリアルタイム画像を表示するタッチスクリーンディスプレイ。ユーザは、表示された画像上の対応する点をタッチすることによって所望の測定点を入力する。
・外科用ロボットシステム(surgical robotic system)の構成要素の移動を指示するのにも使用される入力ハンドルの移動。入力ハンドルがディスプレイ上に表示されたカーソルを移動させるように、入力ハンドルは、入力ハンドルと、一時的にサスペンド又はクラッチ(clutch)されたロボット構成要素との間の作動接続とともに使用することができる。
・ジョイスティック、タッチパッド、トラックパッド等のロボット手術システム用の入力ハンドル上の別の構成要素の移動。
・手術野内における手術器具の手動操作又はロボット操作(ロボット操作は、入力ハンドル、アイトラッカ、又は他の適した入力デバイスからの入力を使用することに基づいて行われる)。例えば、この器具は、システムがインスツルメントアズインプット(instrument-as-input)モードにあるときに、画像処理方法を使用して追跡される先端部又は他の部分(例えば、あご部材のピボット、リベット、マーキング)を有することができ、その結果、この先端部又は他の部分は、撮像視野内を移動されるとき等に、マウス、ポインタ及び/又はスタイラスとして機能することができる。追跡される部分は、システムが認識することもできるし、ユーザがシステムに対して識別することもできる。代替的に又は付加的に、グラフィカルなマーキング(graphical marking)を(図4Bに示すように)器具上に又は(図4A及び図4Cに示すように)器具からオフセットを付けてディスプレイに表示することができる。これらのアイコンは、(手動による、又は、ユーザ入力に応答して器具を移動させるロボットマニピュレータによる)手術器具の移動を介してユーザによって移動される。図4A~図5Dの論述を参照されたい。ロボット操作される手術器具を使用して測定点をシステムに対して識別する場合に、測定点の位置は、3D画像データのみを使用して、及び/又は器具が取り付けられているロボットマニピュレータからの運動学的データから導出される情報を使用して(つまり、3D画像データのみを使用して、又は器具が取り付けられているロボットマニピュレータからの運動学的データから導出される情報を使用して、あるいはそれらの両方により)計算することができる。
・システムは、測定点がコンピュータビジョンを使用して画像上で認識されるようなモードに構成又は配置することができる。そのような点は、システムによって認識される手術デバイス又は器具(例えば、先端部若しくは他の構造上の特徴部、又はマーキング)、エッジ又は組織構造若しくは組織特性等の他の特徴部上の点を含むことができる。「Method and System for Providing Real Time Surgical Site Measurements」という発明の名称の米国出願第17/035,534号は、構造又は特性を識別するのに使用することができる技法を記載している。
・音声入力デバイス、スイッチ等。
上述した入力方法は、様々な方法で組み合わせることができる。例えば、システムは、コンピュータビジョンを適用して、いくつかの解剖学的特徴部又は組織の特徴部を認識することができ、その後、識別された特徴部と器具の先端部上に表示されたグラフィカルなアイコンとの間の距離を測定することができる。
列挙された種類の入力デバイスは、多くの場合に、ユーザが測定点の選択を入力又は確認することを可能にする第2の確認の形態の入力デバイスと組み合わせて使用される。ロボットシステムのユーザ入力が使用される場合に、確認入力デバイスは、スイッチ、ボタン、タッチパッド、トラックパッドをユーザ入力に含むことができる。ロボット又は非ロボットの状況で使用される他の確認入力には、音声入力デバイス、ユーザがタッチスクリーン上でタッチするアイコン、フットペダル入力、キーボード入力等が含まれる。
図2は、手術部位の画像を表示するグラフィカルユーザインタフェース(GUI)の一例を示している。GUIディスプレイ上に示されたオーバレイは、アイコン「+」を使用して印が付けられた3つの測定点を示し、これらの測定点の間で、測定値がシステムによって計算される。ユーザは、本明細書に記載した種類の入力技法を使用して、所望のロケーションにある測定ピン/中間地点を記録するか又は所望のロケーションに測定ピン/中間地点を配置し、それらの間で測定が行われることになる点を変更するために点のロケーションを変更するようにシステムに命令することができる。いくつかの実施形態又は動作モードにおいて、システムは、手術部位において移動する器具の先端部をリアルタイムで追跡することができ、測定は、器具の先端部等の器具上の識別された点の間で連続的に行われる。グラフィカルなマーキングを生成し、器具の先端部の画像上にオーバレイし、測定が行われる点の増強された視覚表示を与えることができる。これは、図4A~図5Bに関して更に詳細に論述される。
測定点の対を接続する測定線を表すオーバレイも、対応する測定データとともに示される。測定値は、点の間の直線距離又は測定点の間の組織表面にわたる測地線距離を意味する2地点間データとすることができる。測地線測定距離(geodesic measurement distance)を与える図2に関して、いくつかの表示された線はGUI上で同様の長さに見えるが、それらの線に沿って測定される(及びそれらの線の間に数値表示される)距離は、測定点の間の表面深さの変化に起因して大きく異なることに留意されたい。
上述したように、いくつかの場合には、2つの点の間の直線測定値を提供するのではなく、組織に沿った実際の経路の測定値を提供することが有用である。これは、硬質の定規(rigid ruler)を使用して測定を行うことと、それらの2つの点の間の表面に沿って紐(string)のオーバレイを配置することとに似ているかもしれない。「紐」は、画像データによってキャプチャされた特徴部をスナップ(snap)することもできるし、滑らかに調整する(adjust)こともできる。双方のタイプの測定は、図3Aに示すオーバレイによって表され、この図には、測地線測定値(不規則な線と挿入的な距離データとを示すオーバレイを使用して識別される)及び直線測定値(直線と非挿入的な距離データとを示すオーバレイを使用して識別される)が表されている。いくつかの実施態様では、表面に沿った加重グラフ検索を使用して、2つの点の間の最小経路長が見つけられる。いくつかの実施態様では、重み付け関数又は最適化関数を使用して、測定された点の間のより滑らかな経路を作成することができる。
図3Aを参照すると、システムにより複数の測定点を識別することができ、システムにより多角形を形成する複数の測定線を識別することができる。これによって、システムは、所望される場合には面積測定値を計算することが可能になる。
いくつかの実施態様では、測地線距離は、内視鏡/腹腔鏡(つまり、内視鏡又は腹腔鏡)の視界方向(view direction)に沿った2つの選択された点の間の線を表面上に投影し、その結果として生じる経路長を測定することによって測定することができる。
追跡される構造物の測定データ(例えば、手術野における2つの器具の先端部の間の距離、又は、器具の先端部と、手術部位の印が付けられた特徴部又はコンピュータ認識される特徴部との間の距離)が生成される場合、この測定データは、器具又は他の追跡される構造物が手術部位において移動するにつれて動的に更新することができ、オーバレイ位置は、追跡される器具/特徴部(つまり、追跡される器具又は追跡される特徴部)の移動を追跡するように移動することができる。
いくつかのディスプレイでは、内視鏡画像における表面/輪郭又は一連の表面上に位置するように見えるオーバレイを提供することが有用な場合がある。図3Aにおける「紐」測定の経路を示すオーバレイがこの例である。このオーバレイは、手術部位における表面ロケーションを表す3Dデータを利用して構築される。オーバレイは、手術野を不明瞭にしないように少なくとも部分的に透明なものとすることができる。
他の形態のオーバレイは、距離測定が、色、一連の色、色の勾配、単一色の彩度(saturation)の勾配、又はそれらの任意の組み合わせを使用して伝達されるものを含むことができる。異なる色は、異なる範囲の距離を示すのに使用することができる。例えば、1cm未満の距離は、赤色の線(bar)として表示することができ、1cmと2cmとの間の距離は、黄色の線を用いて表示することができ、2cmよりも大きな距離は、緑色の線を用いて表示することができる。
図4A~図4Dは、測定点をシステムに対して識別させる方法のいくつかの識別の例を示している。これらの例では、手術器具の一部分の位置が、コンピュータビジョンを使用して、又は、ロボット操作される器具の場合には、コンピュータビジョン及び/又は手術器具を支持するロボットマニピュレータ(つまり、コンピュータビジョン又は手術器具を支持するロボットマニピュレータあるいはそれらの両方)からの運動学的データを使用して、システムによって追跡される。図4Aでは、グラフィカルインジケータ(graphical indicator)は、ディスプレイ上に表示され、器具からオフセットされて位置決めされる。図4Bでは、グラフィカルインジケータは、むしろ器具の一部分の上に、表示される。いずれの場合も、ユーザが、手術部位においてロボットを用いて又は手動で器具を操作すると、グラフィカルインジケータ及び器具が互いに固定されているか又は繋ぎ止められているかのように、グラフィカルインジケータは器具とともに移動する。
システムは、動作の測定モードを配置することができ、このモードでは、グラフィカルインジケータ間の測定が連続的に表示され、したがって、器具が移動するにつれて連続的に更新される。測定が沿って行われる経路も、グラフィカルインジケータによって印を付けることができ、数値距離も表示される。好ましい実施形態において、システムが「定規」測定を行っている場合には、直線(図5Aの場合)が表示され、システムが「紐」測定を行っている場合には(図5B)、組織のトポグラフィ(topography)の表面輪郭に従った線が示される。システムが「定規」測定モード及び「紐」測定モードの双方を提供する場合には、これらの2つを同時に表示することもできるし、ユーザが、上述したタイプの入力デバイスのいずれかを使用してこれらの2つを切り替えることもできる。器具がロボット操作される器具である1つの具体例として、ユーザは、ロボットマニピュレータを制御するのに使用されるユーザ入力ハンドル上の入力デバイスを操作することができ、そのため、ユーザは、自身の手を制御装置から移動させることなく切り替えを達成することができる。
他の実施形態において、少なくとも1つの測定点を、器具とともに移動させ続けるのではなく設定することができる。図4Cは、ディスプレイ上で器具からオフセットされ、円形の境界及び透明な内部を有するグラフィカルインジケータを示している。この実施形態において、手術器具は、ユーザが測定点を入力したいロケーションにグラフィカルインジケータを位置決めするために手術部位において操作される。所望の点に位置決めされると、ユーザは、そのロケーションを測定点として記録するようにシステムに命令する入力を与える。器具がロボット操作される器具である識別の実施形態において、ユーザは、ユーザ入力ハンドル上の入力デバイスを操作して、グラフィカルインジケータが配置されたロケーションが測定点として受信されることをシステムにシグナリングすることができる。システムは、任意選択的に、図4Dに示すように、その点にグラフィカルなタグをドロップすることによって測定点の視覚による確認又は視認を与えることができる。後続の測定点は、任意選択的に、同様の方法で識別することができ、その後、識別された測定点又はそれらの点の組み合わせの間の測定値を表示するようにシステムに命令することができる。或いは、器具が手術部位内で移動されるとき、(例えば、図4A、図4B又は図4Cに印が付けられているように)手術野内におけるタグと器具の所定の部分との間の測定値を、器具が移動されるにつれてリアルタイムで表示することができる。
深さ測定が行われる図6及び図7を参照すると、3つの点が位置する平面を規定するために、ユーザは3つの点を入力することができる。図6では、寸法「12.6」は、2つの横方向中間地点100、102の間の直線距離を識別したものである。「19.7」の寸法は、組織表面を横断する3つの点100、102、104を含む平面に沿ったそれらの点の間の測定値である。ユーザは、それらの点のうちの1つ以上を位置決めし直して、異なる測定値を得ることができる。図7では、中間地点104は、別のロケーションに移動されており、したがって、異なる平面が規定され、この平面に沿って測定が行われることになる。
図8~図13は、ユーザが測定を所望する平面を好都合に規定することができる一実施形態を示すディスプレイの一連の視界を示している。図8を参照すると、ユーザは、手術部位内のロケーションに器具の先端部を既に位置決めしている。システムは、(好ましくは、測定モードにするユーザ入力に応答して)測定モードを配置する。測定モードになると、システムは、器具の先端部(又は器具の別の部分、又は図4Aに関して説明したようにそれらの部分からオフセットされる)の間に直線Lを表示する。図示した例では、オーバレイが、器具の先端部のそれぞれの上に示され(この場合に、オーバレイは円形のアイコン又はターゲットであるが、任意の形を取ることができる)、測定が行われている器具の先端部の部分に印を付ける。線を含む平面Pのオーバレイも表示される。平面が組織表面を横断する場合にその平面に沿った器具の先端部の間の距離が、画面の底部に表示される(図9では、1.5cmが表示されている)。組織表面Sに沿った測定経路は、図示するように強調表示することができる。平面の向きを変え、したがって、器具の先端部の間の異なる表面経路に沿って測定を行うために、ユーザは、線Lによって規定される軸の回りに平面を回転させる入力を与える。様々なタイプのユーザ入力を与えることができるが、1つの具体例では、ロボット手術システムのユーザ入力部にあるフィンガホイールを使用して、平面を線の回りに回転させることができる。図10~図12は、器具の先端部が移動されておらず、線Lを規定する測定点が固定されたままであるが、平面Pが線Lの回りに回転されており、そのため、この平面が異なる箇所で組織表面を横断し、点の間の表面距離の様々な測定読み取り値を与えるシーケンスを示している。器具の先端部の一方又は双方が位置決めし直されると、図13に示すように、線は向きを変え、新たな平面が現れる。
図12及び図13は、器具の先端部の間で直線として規定された軸を示しているが、他の方法を使用して軸を規定することができる。例えば、軸は、腹腔鏡の縦軸に垂直なベクトルによって規定することができる。
いくつかの実施形態において、本明細書に記載された方法を使用して求められた距離を特徴部又は構造物の数値モデルに供給することができる。この数値モデルは、有限要素手法(finite-element approach)を使用することができ、各画像取得サイクル時に更新すること、あるいは、要素の性質又は他の予測技法に基づいてより高い頻度で更新することができる組織の挙動/特性(つまり、組織の挙動又は組織の特性)の近似モデルを使用することができる。このモデルは、様々な目的に使用することができ、これらの目的には、組織の損傷の回避、構造物に沿った移動、及び解剖学的特徴部に沿った移動が含まれるが、これらに限定されるものではない。
優先権主張の目的のものを含めて、本明細書において引用される全ての従来の特許及び特許出願は、引用することによって本明細書の一部をなすものとする。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項1:
治療部位に対応する画像データをキャプチャするように位置決め可能なカメラと、
少なくとも1つのプロセッサ及び少なくとも1つのメモリと
を備え、
前記少なくとも1つのメモリは、前記少なくとも1つのプロセッサが前記画像にキャプチャされた前記治療部位におけるいくつかの点の前記相対的な3D位置を求めることと、前記治療部位における識別された測定点の間の前記距離を推定又は決定することと、前記測定された寸法に基づいて前記測定された距離を前記ユーザに通信する出力を生成することとを実行することができる命令を格納する、手術部位内の距離を測定するシステム。
請求項2:
前記距離は直線距離である、請求項1に記載のシステム。
請求項3:
前記距離は、前記測定点の間の組織表面の前記トポグラフィに従った測地線距離である、請求項1に記載のシステム。
請求項4:
前記システムはディスプレイを含み、前記出力は、前記測定された距離を表示するオーバレイを生成することを含む、請求項1に記載のシステム。
請求項5:
前記システムはディスプレイを含み、前記命令は、前記測定点に印を付けるオーバレイを生成するように更に実行可能である、請求項1に記載のシステム。
請求項6:
前記命令は、ユーザ入力デバイスを使用して前記測定点を識別するユーザからの入力を受信するように前記少なくとも1つのプロセッサが更に実行可能である、請求項1に記載のシステム。
請求項7:
前記命令は、コンピュータビジョンを使用して前記測定点を識別するように前記少なくとも1つのプロセッサが更に実行可能である、請求項1に記載のシステム。
請求項8:
前記測定点は、前記治療部位に配置された手術器具の一部の上にある点又は該一部から所定の距離にある点である、請求項6に記載のシステム。
請求項9:
前記測定点は、前記治療部位に配置された手術器具の一部の上にある点又は該一部から所定の距離にある点である、請求項7に記載のシステム。
請求項10:
前記命令は、前記測定点を含む平面を選択するユーザからの入力を受信し、前記平面が前記組織と交差する前記組織表面に沿って識別された測定点の間の前記距離を推定又は決定するように、前記少なくとも1つのプロセッサが実行可能である、請求項6に記載のシステム。
請求項11:
前記命令は、前記測定点を含む平面を選択するユーザからの入力を受信し、前記平面が前記組織と交差する前記組織表面に沿って識別された測定点の間の前記距離を推定又は決定するように、前記少なくとも1つのプロセッサが実行可能である、請求項7に記載のシステム。

Claims (11)

  1. 治療部位に対応する画像をキャプチャするように位置決め可能なカメラと、ここで、前記治療部位はトポグラフィを有する組織表面含むものであり、
    前記画像を前記組織表面と前記トポグラフィと共にディスプレイ上で見えるようにリアルタイムで表示するように構成されたディスプレイと、
    少なくとも1つのプロセッサ及び少なくとも1つのメモリと
    を備え、
    前記少なくとも1つのメモリは、前記画像において前記治療部位でキャプチャされた第1の測定点を識別する入力を受信し、前記第1の測定点の3D位置を求めることと、前記画像において前記治療部位でキャプチャされた第2の測定点を識別する入力を受信し、前記第2の測定点の3D位置を求めることと、前記ディスプレイ上に表示された前記画像の上にグラフィカルな平面のオーバレイを表示することであって、ここで、前記グラフィカルな平面のオーバレイは前記第1の測定点と前記第2の測定点を含みかつ前記組織表面を横断し、前記グラフィカルな平面のオーバレイは前記組織表面に沿った測定経路をグラフィカルに更に示し、前記グラフィカルな平面のオーバレイは前記組織表面を横断するものである、グラフィカルな平面のオーバレイを表示することと、前記治療部位における前記第1の測定点と前記第2の測定点の間の前記測定経路に沿った距離を推定又は決定することと、前記距離をユーザに通信する出力を生成することとを実行することができる命令を格納する、手術部位内の距離を測定するシステム。
  2. 前記距離は、前記第1の測定点と前記第2の測定点との間の組織表面の前記トポグラフィに従った距離である、請求項1に記載のシステム。
  3. 前記出力は、前記距離を前記ディスプレイ上に表示するオーバレイを生成することを含む、請求項1に記載のシステム。
  4. 前記命令は、前記第1の測定点と前記第2の測定点に印を付けるオーバレイを生成するように更に実行可能である、請求項1に記載のシステム。
  5. 前記命令は、ユーザ入力デバイスを使用して前記第1の測定点と前記第2の測定点を識別するユーザからの入力を受信するように前記少なくとも1つのプロセッサが更に実行可能である、請求項1に記載のシステム。
  6. 前記命令は、
    前記画像についてコンピュータビジョンの解析を使用して、前記治療部位の体腔内に位置決めされた第1の手術器具の少なくとも一部を識別し、
    既知の近傍における前記第1の手術器具への前記ディスプレイ上の第1のオーバレイを、前記第1の手術器具の所定の部分の移動を追跡するように前記第1のオーバレイが前記ディスプレイ上で移動するように表示し、ここで、前記第1のオーバレイの3D位置は前記第1の測定点を含むものである、
    ように前記少なくとも1つのプロセッサが更に実行可能である、請求項1に記載のシステム。
  7. 前記第1の測定点は、前記治療部位に配置された第1の手術器具の一部の上にある又は該一部から所定の距離にある、請求項1に記載のシステム。
  8. 前記第1の測定点は、前記治療部位に配置された第1の手術器具の一部の上にある又は該一部から所定の距離にある、請求項6に記載のシステム。
  9. 前記命令は、
    前記画像についてコンピュータビジョンの解析を使用して、前記治療部位に位置決めされた第2の手術器具の少なくとも一部を識別し、
    既知の近傍における前記第2の手術器具への前記ディスプレイ上の第2のオーバレイを、前記第2の手術器具の移動を追跡するように前記第2のオーバレイが前記ディスプレイ上で移動するように表示し、ここで、前記第2のオーバレイの3D位置は前記第2の測定点を含むものである、
    ように前記少なくとも1つのプロセッサが更に実行可能である、請求項6に記載のシステム。
  10. 前記命令は、
    前記グラフィカルな平面のオーバレイを前記第1の測定点と前記第2の測定点の間に伸びる直線に沿って回転させるユーザ入力を受信し、
    前記グラフィカルな平面のオーバレイを回転させる前記ユーザ入力に応答して、前記ディスプレイ上の回転された向きに前記グラフィカルな平面のオーバレイを回転させ、
    前記組織表面に沿って前記第1の測定点と前記第2の測定点との間の前記距離を推定又は決定し、ここで、前記回転された向きにおける前記グラフィカルな平面のオーバレイは前記組織表面と交差するものである、
    ように前記少なくとも1つのプロセッサが更に実行可能である、請求項1に記載のシステム。
  11. 前記命令は、タッチスクリーンの入力を使用して前記第1の測定点のロケーションを指定するユーザ入力を受信するように前記少なくとも1つのプロセッサが実行可能である、請求項1に記載のシステム。
JP2022527869A 2019-11-14 2020-11-16 手術部位測定を提供する方法及びシステム Active JP7735265B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962935585P 2019-11-14 2019-11-14
US62/935,585 2019-11-14
US202063088409P 2020-10-06 2020-10-06
US63/088,409 2020-10-06
PCT/US2020/060802 WO2021097461A1 (en) 2019-11-14 2020-11-16 Method and system for providing surgical site measurement

Publications (2)

Publication Number Publication Date
JP2023502623A JP2023502623A (ja) 2023-01-25
JP7735265B2 true JP7735265B2 (ja) 2025-09-08

Family

ID=75912813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022527869A Active JP7735265B2 (ja) 2019-11-14 2020-11-16 手術部位測定を提供する方法及びシステム

Country Status (4)

Country Link
US (1) US12283062B2 (ja)
EP (1) EP4058980A4 (ja)
JP (1) JP7735265B2 (ja)
WO (1) WO2021097461A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230263573A1 (en) * 2020-06-25 2023-08-24 Kaliber Labs Inc. Probes, systems, and methods for computer-assisted landmark or fiducial placement in medical images
JP7695375B2 (ja) * 2021-03-03 2025-06-18 ボストン サイエンティフィック サイムド,インコーポレイテッド 遠位先端撮像視野内の測定マーキング
US12004966B2 (en) 2021-04-12 2024-06-11 Kaliber Labs Inc. Systems and methods for using image analysis in superior capsule reconstruction
US20240156563A1 (en) * 2022-11-14 2024-05-16 Verb Surgical Inc. Anatomical measurement in a surgical system
WO2025010362A1 (en) * 2023-07-06 2025-01-09 Intuitive Surgical Operations, Inc. Determination of a curvilinear distance within a subject

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012529970A (ja) 2009-06-16 2012-11-29 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 低侵襲手術のための仮想測定ツール

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6522906B1 (en) 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
JP2004061446A (ja) 2002-07-31 2004-02-26 Fujitsu Ten Ltd パターンマッチング処理方法及び画像処理装置
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
US20070167702A1 (en) 2005-12-30 2007-07-19 Intuitive Surgical Inc. Medical robotic system providing three-dimensional telestration
US8315689B2 (en) * 2007-09-24 2012-11-20 MRI Interventions, Inc. MRI surgical systems for real-time visualizations using MRI image data and predefined data of surgical tools
WO2009045827A2 (en) 2007-09-30 2009-04-09 Intuitive Surgical, Inc. Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
US8473031B2 (en) 2007-12-26 2013-06-25 Intuitive Surgical Operations, Inc. Medical robotic system with functionality to determine and display a distance indicated by movement of a tool robotically manipulated by an operator
EP2310839A4 (en) 2008-06-18 2011-08-03 Surgix Ltd METHOD AND SYSTEM FOR JOINING MULTIPLE PICTURES TO A PANORAMIC IMAGE
US9155592B2 (en) 2009-06-16 2015-10-13 Intuitive Surgical Operations, Inc. Virtual measurement tool for minimally invasive surgery
US9599461B2 (en) 2010-11-16 2017-03-21 Ectoscan Systems, Llc Surface data acquisition, storage, and assessment system
EP2672915A1 (de) 2011-02-11 2013-12-18 Olaf Christiansen Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen
US9375844B2 (en) 2013-03-15 2016-06-28 Intuitive Surgical Operations, Inc. Geometrically appropriate tool selection assistance for determined work site dimensions
CN105636541B (zh) 2013-03-15 2019-07-09 圣纳普医疗(巴巴多斯)公司 用于微创疗法的规划、导航和模拟系统及方法
CA2929319C (en) 2013-11-25 2022-07-12 7D Surgical Inc. System and method for generating partial surface from volumetric data for registration to surface topology image data
CN106456252B (zh) 2014-03-28 2020-05-08 直观外科手术操作公司 手术场景的定量三维成像
US11116383B2 (en) * 2014-04-02 2021-09-14 Asensus Surgical Europe S.à.R.L. Articulated structured light based-laparoscope
US10136959B2 (en) 2016-12-28 2018-11-27 Auris Health, Inc. Endolumenal object sizing
CN110650691B (zh) * 2017-01-31 2023-11-10 阿森塞斯(美国)手术公司 用于微创手术的液压器械驱动系统
US10432913B2 (en) 2017-05-31 2019-10-01 Proximie, Inc. Systems and methods for determining three dimensional measurements in telemedicine application
CA3115898C (en) * 2017-10-11 2023-09-26 Aquifi, Inc. Systems and methods for object identification
US11617492B2 (en) 2017-11-27 2023-04-04 Optecks, Llc Medical three-dimensional (3D) scanning and mapping system
US11690677B2 (en) * 2017-12-31 2023-07-04 Asensus Surgical Us, Inc. Use of eye tracking for tool identification and assignment in a robotic surgical system
US10885630B2 (en) 2018-03-01 2021-01-05 Intuitive Surgical Operations, Inc Systems and methods for segmentation of anatomical structures for image-guided surgery
US11026585B2 (en) 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
US10307209B1 (en) 2018-08-07 2019-06-04 Sony Corporation Boundary localization of an internal organ of a subject for providing assistance during surgery
US20220031394A1 (en) 2019-09-27 2022-02-03 Asensus Surgical Us, Inc. Method and System for Providing Real Time Surgical Site Measurements
US12521177B2 (en) * 2021-02-23 2026-01-13 Karl Storz Se & Co. Kg Generating suture path guidance overlays on real-time surgical images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012529970A (ja) 2009-06-16 2012-11-29 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 低侵襲手術のための仮想測定ツール

Also Published As

Publication number Publication date
EP4058980A4 (en) 2024-06-26
JP2023502623A (ja) 2023-01-25
WO2021097461A1 (en) 2021-05-20
US20210256719A1 (en) 2021-08-19
US12283062B2 (en) 2025-04-22
EP4058980A1 (en) 2022-09-21

Similar Documents

Publication Publication Date Title
JP7735265B2 (ja) 手術部位測定を提供する方法及びシステム
JP7492506B2 (ja) ナビゲーション支援
US20230091099A1 (en) Systems and methods for indicating approach to an anatomical boundary
US20080123910A1 (en) Method and system for providing accuracy evaluation of image guided surgery
US12042236B2 (en) Touchscreen user interface for interacting with a virtual model
US20150287236A1 (en) Imaging system, operating device with the imaging system and method for imaging
CN112839606A (zh) 特征识别
WO2024145341A1 (en) Systems and methods for generating 3d navigation interfaces for medical procedures
US12489960B2 (en) Communication of detected grasping forces in a surgical robotic platform
CN115551432A (zh) 用于促进外科手术空间中的设备的自动操作的系统和方法
US11771518B2 (en) Method of graphically tagging and recalling identified structures under visualization for robotic surgery
KR20140126473A (ko) 마커 및 이를 이용한 수술 도구 포즈 추정 방법
US20220031394A1 (en) Method and System for Providing Real Time Surgical Site Measurements
US20250339213A1 (en) Systems and methods for automatically generating an anatomical boundary
US20220101533A1 (en) Method and system for combining computer vision techniques to improve segmentation and classification of a surgical site
US20250134610A1 (en) Systems and methods for remote mentoring in a robot assisted medical system
KR101611484B1 (ko) 의료영상의 제공방법
JP4159396B2 (ja) 内視鏡形状検出装置
US12350112B2 (en) Creating surgical annotations using anatomy identification
US20220265371A1 (en) Generating Guidance Path Overlays on Real-Time Surgical Images
WO2013099305A1 (ja) 内視鏡画像処理装置、内視鏡画像上の位置の指定方法及び記憶媒体
US20230190135A1 (en) Method and system for using tool width data to estimate measurements in a surgical site
US20220104687A1 (en) Use of computer vision to determine anatomical structure paths
Kotwicz et al. Feasibility of a touch-free user interface for ultrasound snapshot-guided nephrostomy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20241125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250424

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250827

R150 Certificate of patent or registration of utility model

Ref document number: 7735265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150