[go: up one dir, main page]

JP2018143560A - 内視鏡を操縦するシステム及び方法 - Google Patents

内視鏡を操縦するシステム及び方法 Download PDF

Info

Publication number
JP2018143560A
JP2018143560A JP2017042570A JP2017042570A JP2018143560A JP 2018143560 A JP2018143560 A JP 2018143560A JP 2017042570 A JP2017042570 A JP 2017042570A JP 2017042570 A JP2017042570 A JP 2017042570A JP 2018143560 A JP2018143560 A JP 2018143560A
Authority
JP
Japan
Prior art keywords
endoscope
unit
tool
target position
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017042570A
Other languages
English (en)
Other versions
JP6522027B2 (ja
Inventor
榮富 侯
Rong Fu Hou
榮富 侯
宏全 許
hong-quan Xu
宏全 許
佑旻 陳
You-Min Chen
佑旻 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hiwin Technologies Corp
Original Assignee
Hiwin Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201710000756.XA priority Critical patent/CN108261167B/zh
Application filed by Hiwin Technologies Corp filed Critical Hiwin Technologies Corp
Priority to JP2017042570A priority patent/JP6522027B2/ja
Priority to US15/584,574 priority patent/US10624525B2/en
Priority to DE102017207517.1A priority patent/DE102017207517B4/de
Publication of JP2018143560A publication Critical patent/JP2018143560A/ja
Application granted granted Critical
Publication of JP6522027B2 publication Critical patent/JP6522027B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Endoscopes (AREA)
  • Manipulator (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】内視鏡カメラの映像の中心点を常に所定の配置状態においての操作器具による所定位置に位置させることができる内視鏡の操縦システム及び操縦方法を提供する。【解決手段】制御ユニット４は、駆動部２２と内視鏡ユニット３と電気的に連結され、内視鏡ユニット３の映像をツール特徴データベース４１におけるツール姿勢データ４１１と照合して一致すると、ツール姿勢データ４１１に対応するターゲットポイント４２２を取得すると共に、内視鏡ユニット３の次に撮られる映像の中心点がターゲットポイント４２２と一致するために内視鏡ユニット３を移動連動するように駆動部２２を移動制御する。【選択図】図３

Description

本発明は、内視鏡を移動操縦するシステム及び方法に関する。
従来、ロボットアームを用いた内視鏡映像技術を用いて患者に対して予め大きな創口を必要とせずに手術を行うことができるため、患者の失血量を大幅に低減させるだけでなく傷口も小さく、患者が早期に回復できる低侵襲手術が実現されている。内視鏡を移動操縦する方法としては、例えば制御ユニットを用いて内視鏡カメラで撮られた映像を識別し、識別して得られた情報に基づいて映像の中心点が手術に用いられている複数本例えば２本の操作器具（手術用器具）の作業端の間のセンターに位置するように内視鏡カメラを移動させる（例えば特許文献１参照）。
米国特許出願公開第２０１４／０２２８６３２号公報
従来の内視鏡操縦システムは、内視鏡カメラが常に手術先に向かって映像を得ることができるので、手術の進行を良好に支援することができると共に、作業端同士の付近をも観察できる利便性を有する。しかし、手術している間、２本の操作器具の作業端は近づいたり遠ざかったりして頻繁に移動するが、これに連動して内視鏡カメラも移動するため、内視鏡の予想外の移動にユーザーが不意を突かれて混乱し、手術の進行が妨げられる問題点がある。
本発明は、上記問題点に鑑みてなされたもので、内視鏡カメラの映像の中心点を常に所定の配置状態においての操作器具による所定位置に位置させることができる内視鏡操縦システム及び内視鏡操縦方法を提供することを目的とする。
上記目的を達成するために、１の側面によれば、本発明は、内視鏡カメラで撮られた複数の操作器具の映像で移動操縦される前記内視鏡カメラを有する内視鏡操縦システムであって、基部と、前記基部に移動可能に枢結支持された駆動部と、前記駆動部の移動に連動されて移動可能に連結された保持部とを有するロボットユニットと、前記保持部に設けられ、前記操作器具の映像を撮る前記内視鏡カメラを有する内視鏡ユニットと、前記操作器具の所定姿勢に組まれて配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベースと、前記ツール特徴情報に対応して所定の状態に配置された前記操作器具の所定部位によって定められる位置をターゲット位置として有する位置情報を蓄積するターゲット位置データベースとが内蔵され、前記内視鏡ユニットにより撮られた映像を前記ツール特徴データベースにおける前記ツール特徴情報と照合して一致した場合、前記内視鏡ユニットの次に撮られる映像の中心点が前記ターゲット位置データベースにおける前記ツール特徴情報に対応する前記ターゲット位置と一致するように前記内視鏡ユニットが移動連動されるように前記駆動部を移動制御するよう前記駆動部と前記内視鏡ユニットと電気的に連結された制御ユニットと、を備えていることを特徴とする内視鏡操縦システムを提供する。
また、他の側面によれば、内視鏡カメラで撮られた複数の操作器具の映像で前記内視鏡カメラを移動させるように操縦する方法であって、基部と、前記基部に移動可能に枢結支持された駆動部と、前記駆動部の移動に連動されて移動可能に連結された保持部とを有するロボットユニットと、前記保持部に設けられ、前記操作器具の映像を撮る前記内視鏡カメラを有する内視鏡ユニットと、前記操作器具の所定姿勢に組まれて配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベースと、前記ツール特徴情報に対応して所定の状態に配置された前記操作器具の所定部位に基づいてターゲット位置として得る位置情報を蓄積するターゲット位置データベースとが内蔵され前記駆動部と前記内視鏡ユニットと電気的に連結された制御ユニットとを備えている内視鏡操縦システムを用意するステップと、前記内視鏡ユニットの前記内視鏡カメラで前記操作器具の映像を撮るステップと、前記内視鏡ユニットにより撮られた映像が前記ツール特徴データベースにおける前記ツール特徴情報と照合して一致した場合、前記制御ユニットによって前記ターゲット位置データベースから前記ツール特徴情報に対応する前記ターゲット位置を得るステップと、前記制御ユニットによって前記内視鏡ユニットの次に撮られる映像の中心点が前記ターゲット位置と一致するように前記内視鏡ユニットが移動連動されるよう前記駆動部を移動制御するステップとを有することを特徴とする内視鏡操縦方法をも提供する。
内視鏡ユニットの撮られた映像が操作器具の互いに組まれた所定姿勢に対応して一致すると、ターゲット位置データベースの対応するターゲット位置が内視鏡ユニットの次に撮られる映像の中心点と一致するように内視鏡ユニットが移動操縦されることができる。これによって、ユーザーが所定の画面を見たい時には操作器具を交差して配置するように操作するだけで内視鏡ユニットを移動させることができる。これによって、内視鏡ユニットは予想外の移動がなくなり内視鏡ユニットが常にユーザーの見たい所例えば手術部位に向かって所望の映像を得ることができる。従って、手術の進行を良好に支援することができる。
本発明の他の特徴および利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になるであろう。
本発明に係る内視鏡操縦システムの一例を示す組立斜視図である。 図１の内視鏡操縦システムを用い、２本の操作器具が交わっていない状態を示す平面図である。 図１の内視鏡操縦システムの構成ブロック図である。 図１の内視鏡操縦システムにおける内視鏡ユニットによって撮られた交わっていない状態にある２本の操作器具の映像を示す図である。 図１の内視鏡操縦システムにおける内視鏡ユニットによって撮られた交差状態にある２本の操作器具の映像を示し、交差している操作器具のセンターが内視鏡カメラの映像の中心点からずれた状態を示す図である。 図１の内視鏡操縦システムにおける内視鏡ユニットによって撮られた交差状態にある２本の操作器具の映像を示し、交差している操作器具のセンターが内視鏡カメラの映像の中心点と一致した状態を示す図である。 図１の内視鏡操縦システムを用い、２本の操作器具が交わっている状態を示す平面図である。
以下、本発明に係る内視鏡操縦システム及び内視鏡操縦方法の一実施例について図面を参照して説明する。
本発明に係る内視鏡操縦システム及び内視鏡操縦方法は、内視鏡カメラで撮られた、手術に用いられる複数本の操作器具、例えば２本の操作器具９の映像を識別した情報を用いて内視鏡カメラを移動させるように操縦するものである。各操作器具９は一つの作業端９１を有し、内視鏡操縦システムは、ロボットユニット２と内視鏡ユニット３と制御ユニット４とを備えている。
ロボットユニット２は、基部２１と駆動部２２と保持部２３とを有し、伸縮及び回転運動をするものであり、運動をしても被保持物例えば内視鏡が一定に定位されるように不動になる遠隔運動中心特性を有する。基部２１は、駆動部２２等が回動可能に枢結支持されるもので、例えば駆動部２２等を安定して支持したり所定の高さに調節したり所定の向きに転向可能に構成されたものである。駆動部２２は、移動制御されるように基部２１に設けられている。保持部２３は、駆動部２２に連動されて移動するように駆動部２２と連結されている。
内視鏡ユニット３は、操作器具９の映像を撮る内視鏡カメラを有し、保持部２３に設けられている。
制御ユニット４は、駆動部２２と内視鏡ユニット３と電気的に連結され、２本の操作器具９の所定姿勢に組まれるように配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベース４１と、操作器具９の配置状態に対応する所定のターゲット位置としての位置情報を蓄積するターゲット位置データベース４２とが内蔵されている。
ツール特徴データベース４１は、それぞれ２本の操作器具９による配置状態のそれぞれに対応する複数のツール姿勢データ４１１をツール特徴情報として蓄積している。
ターゲット位置データベース４２は、それぞれ該ツール姿勢データ４１１に対応するターゲット位置としての位置情報を含む複数のターゲットポイントセット４２１を蓄積している。ターゲットポイントセット４２１は少なくとも１つのターゲットポイント４２２を操作器具９の配置状態に関わるターゲット位置に対応して有する。この例では、各ツール姿勢データ４１１は、２本の操作器具９が所定姿勢に組まれてなった配置状態に対応するデータである。操作器具９が所定姿勢に組まれてなった配置状態とは、この例では２本の操作器具が互いに交差した状態をいう。また、ターゲットポイント４２２は、２本の操作器具９の交差した状態、又は２本の操作器具９における一方の作業端９１、又は操作器具９の予め定められた部分に対応したターゲット位置を指す。
なお、この例では、内視鏡ユニット３の移動は、例えば内視鏡ユニット３により撮られた映像（例えば患部を含む所定領域）の中心点がターゲットポイント４２２と一致するように実行操縦される形態を説明するが、これに制限されない。必要に応じて、内視鏡ユニット３により撮られた映像における例えば患部の周部の一部がターゲットポイント４２２と一致するように行われてもよい。
次に、図面を参照して上記のように構成された内視鏡操縦システムを用いた内視鏡操縦方法について説明する。本発明に係る内視鏡操縦方法は、内視鏡操縦システムを用い、制御ユニット４によって内視鏡ユニット３により撮られた映像を判定した結果に基づいて内視鏡ユニット３を動かす。
まず、上記のように構成された内視鏡操縦システムを用意する。そして、内視鏡ユニット３における内視鏡カメラを用いて操作器具９を撮り操作器具９の映像を得る。ユーザー８は、例えば手術室内で、内視鏡ユニット３により撮られた映像を内視鏡ユニット３と電気的に連結されたディスプレイ５に表示させた画面を見ながら手術を行う。
図４に示すように、ユーザー８に使われている操作器具９が交差していない場合、制御ユニット４によって内視鏡ユニット３で撮った映像がツール姿勢データ４１１と照合された結果一致しないと判定されると、駆動部２２を作動しないように制御する。こうして、駆動部２２が移動作動されないため、内視鏡ユニット３は動かない。内視鏡ユニット３が移動されない時は、内視鏡ユニット３によって撮られる映像の視野はそのままで変わらない。
図５は、内視鏡ユニット３で撮られた操作器具９が交差した状態の映像を示している。ユーザー８が操作器具９を交差するように操作すると、図５に示すように、制御ユニット４によって、操作器具９の交差した配置状態がツール特徴データベース４１におけるツール姿勢データ４１１と照合して一致することが判定される。制御ユニット４によって、操作器具９が互いに交差してなった配置状態によるツール姿勢データに基づいて、その撮られた映像が操作器具９の互いに交差してなった配置状態に対応するターゲット位置データベース４２のターゲットポイント４２２と一致されたターゲット位置を取得する。次に、制御ユニット４は、内視鏡ユニット３を移動操縦して内視鏡ユニット３の次に撮る映像の中心点（図５、×印）がターゲットポイント４２２と一致するように駆動部２２を作動制御する。
図６に示すように、内視鏡ユニット３が駆動部２２の移動に連動されて、内視鏡ユニット３の次に撮られる映像の中心点が所定のターゲットポイント４２２としてのターゲット位置データベース４２における２本の操作器具９の配置状態のターゲット位置と一致するように移動される。こうして、ターゲットポイント４２２が内視鏡カメラの映像の中心点と一致された患部の映像を常に操作器具の交差した作業端の間をセンターに位置させ、ターゲットポイント４２２にある例えば患部をはっきりと観察することができるので、ユーザー８の手術操作に利便性を与えることが可能である。
このように、操作器具９の移動で内視鏡カメラが患部の映像を撮っていない場合、ユーザー８が操作器具９が互いに交差するように操作すると、制御ユニット４によって内視鏡ユニット３により撮られた映像がツール姿勢データ４１１と照合されて一致すると判定される。制御ユニット４によって操作器具９が互いに交差してなった配置状態によるツール姿勢データに基づいて、その撮られた映像が操作器具９が互いに交差してなった配置状態に対応して一致されたターゲット位置によるターゲット位置データベース４２のターゲットポイント４２２を取得する。制御ユニット４は、該ターゲットポイント４２２に基づいて、駆動部２２を作動制御し、内視鏡ユニット３が連動して、内視鏡カメラの映像の中心点がターゲットポイント４２２と重なるように操作器具９の交差した配置状態が内視鏡カメラの映像の真ん中に来るように内視鏡ユニット３が移動操縦される。
上記のように構成された内視鏡操縦システムは、例えば、手術室で患者７に手術を行うために用いられるものである。２本の操作器具９は例えば医師等のユーザー８が用いるメスや剪刀である。ツール特徴データベース４１におけるツール姿勢データ４１１は、操作器具９の互いに交差した配置状態に対応する。ターゲット位置データベース４２におけるターゲットポイントセット４２１は、ターゲットポイント４２２を１つだけ有し、ターゲットポイント４２２は交差して配置された操作器具９の所定部位に対応する位置情報である。
ここでは、簡単に、制御ユニット４が内視鏡ユニット３により撮られた映像について判定する処理を説明する。まず、内視鏡ユニット３により撮られた映像についてカラー空間領域の変換処理と画像の２値化処理を行う。次に、２値化された画像は操作器具９に対応する予め定められたしきい値面積よりも大の判定領域の輪郭面積があるかどうかを判定する。２値化された画像は操作器具９に対応する予め定められたしきい値面積よりも大の判定領域の輪郭面積がないと判定された場合、新たに別の画像を判定する。その一方、２値化された画像は操作器具９に対応する予め定められたしきい値面積よりも大の判定領域の輪郭面積があると判定された場合、当該判定領域が操作器具９の映像位置であると認識する。そして、当該判定領域の４つの端点を算出し、算出された４つの端点に基づいて互いに交差した２本の線分を２本の操作器具９に対応する参照直線として算出する。こうして互いに交差して配置された操作器具９においての所定部位がターゲット位置として得られる。
以上のように、本発明は、図２、図３及び図６に示すように、制御ユニット４によって内視鏡ユニット３により撮られた映像がツール姿勢データ４１１と一致、つまり操作器具９が交差した配置状態に対応するツール特徴情報を含むと判定されると、該ツール特徴情報に対応してターゲット位置データベース４２からターゲットポイント４２２を取得すると共に、駆動部２２を作動して内視鏡ユニット３を移動させるように制御する。
なお、２本の操作器具９が通常使用されている状態とは、操作器具９が互いに所定姿勢に組まれるように配置された状態ではなく、２本の操作器具９が互いに交差した所定姿勢となる場合はまれであることから、内視鏡ユニット３が不意に動くことはない。従って、内視鏡ユニット３の予想外の移動に不意を突かれてユーザー８が混乱して手術の進行が妨げられることを避けることができる。
本発明に係る内視鏡操縦システムは、手術に適用される他、内視鏡ユニット３で映像を撮る必要のある作業環境にも適用する。
また、この例では、ターゲットポイントセット４２１はターゲットポイント４２２を１つだけ有する形態について説明したが、複数のターゲットポイント４２２を有してもよい。例えば、内視鏡ユニット３により撮られた映像がツール姿勢データ４１１と一致した場合、制御ユニット４の制御によってターゲット位置データベース４２から複数のターゲットポイント４２２を取得すると共に駆動部２２を移動作動させる。内視鏡ユニット３が駆動部２２の移動に連動して複数のターゲットポイント４２２に順番に移動される。
以上のように、内視鏡ユニット３により撮られた映像が操作器具９の互いに組まれた所定姿勢に対応して一致すると、ターゲット位置データベース４２の対応するターゲットポイント４２２が内視鏡ユニット３の次に撮られる映像の中心点と一致するように内視鏡ユニット３が移動操縦されることができる。これによって、ユーザー８が所定の位置の画面を見たい時に操作器具９を交差して配置するように操作するだけで内視鏡ユニット３を移動させることができるようになっているので、内視鏡ユニット３が予想外に移動することもなく内視鏡ユニット３が常にユーザー８が見たい所例えば手術部位に向かって所望の映像を得ることができるので、手術の進行を良好に支援することができ、また、作業端同士の付近をも観察できる利便性を有する。
以上、本発明の１つの実施例を説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
本発明に係る内視鏡操縦システム及び内視鏡操縦方法は、内視鏡手術を行う医療用機器に有用である。
２ ロボットユニット
２１ 基部
２２ 駆動部
２３ 保持部
３ 内視鏡ユニット
４ 制御ユニット
４１ ツール特徴データベース
４１１ ツール姿勢データ
４２ ターゲット位置データベース
４２１ ターゲットポイントセット
４２２ ターゲットポイント
５ ディスプレイ
８ ユーザー
９ 操作器具
９１ 作業端

Claims (7)

  1. 内視鏡カメラで撮られた複数の操作器具の映像で移動操縦される前記内視鏡カメラを有する内視鏡操縦システムであって、
    基部と、前記基部に移動可能に枢結支持された駆動部と、前記駆動部の移動に連動されて移動可能に連結された保持部とを有するロボットユニットと、
    前記保持部に設けられ、前記操作器具の映像を撮る前記内視鏡カメラを有する内視鏡ユニットと、
    前記操作器具の所定姿勢に組まれて配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベースと、前記ツール特徴情報に対応して所定の状態に配置された前記操作器具の所定部位によって定められる位置をターゲット位置として有する位置情報を蓄積するターゲット位置データベースとが内蔵され、前記内視鏡ユニットにより撮られた映像を前記ツール特徴データベースにおける前記ツール特徴情報と照合して一致した場合、前記内視鏡ユニットの次に撮られる映像の中心点が前記ターゲット位置データベースにおける前記ツール特徴情報に対応する前記ターゲット位置と一致するように前記内視鏡ユニットが移動連動されるように前記駆動部を移動制御するよう前記駆動部と前記内視鏡ユニットと電気的に連結された制御ユニットと、
    を備えていることを特徴とする内視鏡操縦システム。
  2. 前記ツール特徴データベースは、それぞれ前記操作器具の異なった配置状態に対応する複数のツール姿勢データを前記ツール特徴情報として蓄積し、
    前記ターゲット位置データベースは、前記ツール姿勢データに対応する複数のターゲットポイントセットを蓄積し、
    前記ターゲットポイントセットは、少なくとも１つのターゲットポイントを有することを特徴とする請求項１に記載の内視鏡操縦システム。
  3. 前記ツール姿勢データは、前記操作器具が所定姿勢に互いに交差してなった前記配置状態に対応することを特徴とする請求項２に記載の内視鏡操縦システム。
  4. 前記ターゲットポイントは、交差して配置された前記操作器具の交差した所、又は１つの前記操作器具の作業端によって定められることを特徴とする請求項２に記載の内視鏡操縦システム。
  5. 内視鏡カメラで撮られた複数の操作器具の映像で前記内視鏡カメラを移動させるように操縦する方法であって、
    基部と、前記基部に移動可能に枢結支持された駆動部と、前記駆動部の移動に連動されて移動可能に連結された保持部とを有するロボットユニットと、前記保持部に設けられ、前記操作器具の映像を撮る前記内視鏡カメラを有する内視鏡ユニットと、前記操作器具の所定姿勢に組まれて配置されてなった配置状態に対応するツール特徴情報を蓄積するツール特徴データベースと、前記ツール特徴情報に対応して所定の状態に配置された前記操作器具の所定部位に基づいてターゲット位置として得る位置情報を蓄積するターゲット位置データベースとが内蔵され、前記駆動部と前記内視鏡ユニットと電気的に連結された制御ユニットとを備えている内視鏡操縦システムを用意するステップと、
    前記内視鏡ユニットの前記内視鏡カメラで前記操作器具の映像を撮るステップと、
    前記内視鏡ユニットにより撮られた映像が前記ツール特徴データベースにおける前記ツール特徴情報と照合して一致した場合、前記制御ユニットによって前記ターゲット位置データベースから前記ツール特徴情報に対応する前記ターゲット位置を得るステップと、
    前記制御ユニットによって前記内視鏡ユニットの次に撮られる映像の中心点が前記ターゲット位置と一致するように前記内視鏡ユニットが移動連動されるよう前記駆動部を移動制御するステップとを有することを特徴とする内視鏡操縦方法。
  6. 前記ツール特徴データベースは、それぞれ前記操作器具の配置状態に対応する複数のツール姿勢データを前記ツール特徴情報として蓄積し、
    前記ターゲット位置データベースは、前記ツール姿勢データに対応する複数のターゲットポイントセットを蓄積し、
    前記ターゲットポイントセットは、少なくとも１つのターゲットポイントを有することを特徴とする請求項５に記載の内視鏡操縦方法。
  7. 前記ターゲットポイントセットは、複数のターゲットポイントを有し、
    前記内視鏡ユニットにより撮られた映像が前記ツール姿勢データと一致した場合、前記制御ユニットの制御によって前記ターゲット位置データベースから複数の前記ターゲットポイントを有する前記ターゲットポイントセットを取得すると共に前記駆動部を移動作動させ、
    前記内視鏡ユニットが前記駆動部の移動に連動して複数の前記ターゲットポイントに順番に移動されることを特徴とする請求項６に記載の内視鏡操縦方法。
JP2017042570A 2017-01-03 2017-03-07 内視鏡を操縦するシステム Expired - Fee Related JP6522027B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710000756.XA CN108261167B (zh) 2017-01-03 2017-01-03 内视镜操控系统
JP2017042570A JP6522027B2 (ja) 2017-01-03 2017-03-07 内視鏡を操縦するシステム
US15/584,574 US10624525B2 (en) 2017-01-03 2017-05-02 Endoscopic system and method for controlling the same
DE102017207517.1A DE102017207517B4 (de) 2017-01-03 2017-05-04 Endoskopisches System und Verfahren zum Steuern desselben

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201710000756.XA CN108261167B (zh) 2017-01-03 2017-01-03 内视镜操控系统
JP2017042570A JP6522027B2 (ja) 2017-01-03 2017-03-07 内視鏡を操縦するシステム
US15/584,574 US10624525B2 (en) 2017-01-03 2017-05-02 Endoscopic system and method for controlling the same
DE102017207517.1A DE102017207517B4 (de) 2017-01-03 2017-05-04 Endoskopisches System und Verfahren zum Steuern desselben

Publications (2)

Publication Number Publication Date
JP2018143560A true JP2018143560A (ja) 2018-09-20
JP6522027B2 JP6522027B2 (ja) 2019-05-29

Family

ID=69143079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017042570A Expired - Fee Related JP6522027B2 (ja) 2017-01-03 2017-03-07 内視鏡を操縦するシステム

Country Status (4)

Country Link
US (1) US10624525B2 (ja)
JP (1) JP6522027B2 (ja)
CN (1) CN108261167B (ja)
DE (1) DE102017207517B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932661A (zh) * 2019-12-10 2021-06-11 格罗伯斯医疗有限公司 外科手术系统

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225132A1 (ja) * 2017-06-05 2018-12-13 オリンパス株式会社 医療システムおよび医療システムの作動方法
USD914207S1 (en) * 2018-01-03 2021-03-23 Karl Storz Se & Co. Kg Instrument holding device for surgery
US11304696B2 (en) * 2019-12-19 2022-04-19 Cilag Gmbh International Surgical instrument comprising a powered articulation system
DE102020205091A1 (de) * 2020-04-22 2021-10-28 Siemens Healthcare Gmbh Verfahren zum Erzeugen eines Steuersignals
CN111685881B (zh) * 2020-06-19 2022-04-01 山东大学 一种可自由安装的微型化床旁手术机器人及其工作方法
CN112451103B (zh) * 2020-12-04 2023-05-26 哈尔滨思哲睿智能医疗设备股份有限公司 一种机械臂控制方法及腹腔镜手术机器人系统
US12117838B1 (en) * 2021-03-31 2024-10-15 Amazon Technologies, Inc. Object tracking and entity resolution
CN113786152B (zh) * 2021-11-17 2022-02-08 极限人工智能有限公司 一种内窥镜镜头跟踪方法及内窥镜系统
CN115177374B (zh) * 2022-06-20 2024-08-09 北京凡星光电医疗设备股份有限公司 一种术野图像采集装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009542362A (ja) * 2006-06-29 2009-12-03 インテュイティブ サージカル インコーポレイテッド コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
WO2015124159A1 (en) * 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
JP2015186651A (ja) * 2009-11-13 2015-10-29 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム
JP2015213753A (ja) * 2014-05-08 2015-12-03 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 手術ロボット及びその制御方法
JP2016170362A (ja) * 2015-03-14 2016-09-23 国立大学法人 千葉大学 手術トレーニングプログラム及び手術トレーニングシステム
JP2017505202A (ja) * 2014-02-12 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 外科用器具可視性のロボット制御

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
US9002518B2 (en) * 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US8971597B2 (en) * 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US20090192523A1 (en) * 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
EP2133036B1 (en) * 2007-03-30 2011-11-09 Osaka University Medical manipulator device and actuator suitable for the same
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
CN102802498B (zh) * 2010-03-24 2015-08-19 奥林巴斯株式会社 内窥镜装置
EP3954307B1 (en) * 2011-02-15 2024-04-10 Intuitive Surgical Operations, Inc. Indicator for knife location in a stapling or vessel sealing instrument
US9259289B2 (en) * 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
US10092164B2 (en) 2011-08-21 2018-10-09 M.S.T. Medical Surgery Technologies Ltd Device and method for assisting laparoscopic surgery—rule based approach
US9204939B2 (en) * 2011-08-21 2015-12-08 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery—rule based approach
JP5807826B2 (ja) * 2012-03-29 2015-11-10 パナソニックヘルスケア株式会社 手術支援装置および手術支援プログラム
EP2754383B1 (en) 2013-01-10 2021-03-10 TransEnterix Europe Sàrl Device and method for assisting laparoscopic surgery - rule based approach
CN105555222B (zh) * 2013-09-24 2018-08-17 索尼奥林巴斯医疗解决方案公司 医用机械臂装置、医用机械臂控制系统、医用机械臂控制方法、及程序
KR102387096B1 (ko) * 2014-03-28 2022-04-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 시계 내의 기기들의 정량적 3차원 시각화
US20160314711A1 (en) * 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station with display of actual animal tissue images and associated methods
TWI569764B (zh) 2015-05-20 2017-02-11 國立交通大學 用於微創手術的多器械影像辨識方法及系統
US10219868B2 (en) * 2016-01-06 2019-03-05 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009542362A (ja) * 2006-06-29 2009-12-03 インテュイティブ サージカル インコーポレイテッド コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
JP2015186651A (ja) * 2009-11-13 2015-10-29 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 低侵襲外科システムにおいて手の存在を検出するための方法およびシステム
JP2017505202A (ja) * 2014-02-12 2017-02-16 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 外科用器具可視性のロボット制御
WO2015124159A1 (en) * 2014-02-21 2015-08-27 3Dintegrated Aps A set comprising a surgical instrument
JP2015213753A (ja) * 2014-05-08 2015-12-03 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 手術ロボット及びその制御方法
JP2016170362A (ja) * 2015-03-14 2016-09-23 国立大学法人 千葉大学 手術トレーニングプログラム及び手術トレーニングシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932661A (zh) * 2019-12-10 2021-06-11 格罗伯斯医疗有限公司 外科手术系统

Also Published As

Publication number Publication date
US20180317753A1 (en) 2018-11-08
CN108261167A (zh) 2018-07-10
DE102017207517A1 (de) 2018-11-08
DE102017207517B4 (de) 2023-02-23
CN108261167B (zh) 2019-12-03
JP6522027B2 (ja) 2019-05-29
US10624525B2 (en) 2020-04-21

Similar Documents

Publication Publication Date Title
JP2018143560A (ja) 内視鏡を操縦するシステム及び方法
JP7802047B2 (ja) ロボット操作手術器具の位置を追跡システムおよび方法
US20210321865A1 (en) Display Monitor Control of a Telesurgical Tool
JP6289755B2 (ja) 医療システム
US10038888B2 (en) Apparatus for automated panning and zooming in robotic surgical systems
US9615890B2 (en) Surgical robot system and method of controlling the same
EP2822445B1 (en) Overall endoscopic control system
JP6598982B2 (ja) 内視鏡装置、内視鏡システム、及びそれらを備えた手術システム
CN105992568B (zh) 手术仪器可见性的机器人控制
JP6903991B2 (ja) 手術用システム、手術用システムの作動方法及び手術用システムの制御装置
CN108348134B (zh) 内窥镜系统
CN114051387A (zh) 医学观察系统、控制装置和控制方法
JP2013541365A (ja) 血管ツリー画像に基づく内視鏡のロボット制御
JPH08332169A (ja) 体腔内観察装置
US20200205901A1 (en) Instrument path guidance using visualization and fluorescence
CN114366313B (zh) 一种基于腹腔镜手术器械位姿的持镜机器人控制方法
JP6857748B2 (ja) 医療システムおよび医療システムの作動方法
US20250248769A1 (en) System and method related to registration for a medical procedure
US20200315740A1 (en) Identification and assignment of instruments in a surgical system using camera recognition
KR20180100831A (ko) 수술로봇 카메라의 시점 제어 방법 및 이를 위한 장치
TWI595854B (zh) Endoscope control system and method of controlling the endoscope
JP2025526077A (ja) 視野の制限を考慮した医療又は外科手術の遠隔操作用ロボットシステムのマスターデバイスによって制御されるスレーブデバイスを制御する方法、及び関連するロボットシステム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190111

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190423

R150 Certificate of patent or registration of utility model

Ref document number: 6522027

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees