JP2022115264A - 手術システムおよび表示方法 - Google Patents

Abstract

【課題】操作者が、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することが可能な手術システムを提供する。
【解決手段】この外科手術システム１００（手術システム）では、画像処理装置８は、内視鏡６の移動を可能にする指令を受けた場合で、且つ、医療器具４が内視鏡６の視野外に位置している場合に、視野外に位置している医療器具４を示す標識ＭＫ１をモニタ２４の画面ｇｒの端部ｅ近傍を含まずに中央部ＣＮ１を含む水準器エリアＧ５の外縁近傍エリアＧ１１に表示するためのグラフィカルユーザインターフェイスＧを、内視鏡６によって撮像された画像上に重ねてモニタ２４に表示するように構成されている。
【選択図】図１３

Description

この発明は、手術システムおよび表示方法に関し、特に、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて表示装置に表示する手術システムおよび表示方法に関する。

従来、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて表示するロボット手術システムが知られている（たとえば、特許文献１参照）。

上記特許文献１のロボット手術システムでは、内視鏡は、モニタの表示領域に表示するための手術部位の画像を撮影する。また、このロボット手術システムでは、内視鏡によって撮影された画像（視野）に対するツールの現在の位置が決定される。そして、決定されたツールの現在の位置がモニタに表示される画像（視野）の外にある場合、ツールの現在の位置が、モニタの画面の表示領域の外側にある境界領域に記号として表示される。

特開２０１３－１８８５７４号公報

しかしながら、上記特許文献１に記載のようなロボット手術システムでは、手術中、操作者は、モニタの表示領域の中央近傍を集中して見ている。このため、上記特許文献１のように、視野外にあるツール（手術器具）の現在の位置を、モニタの画面の表示領域の外側にある境界領域に記号（標識）として表示しても、操作者が気づかない場合があるという問題点がある。また、操作者が気づいた場合には、視線を大きく動かす必要があるという問題点がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、操作者が、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することが可能な手術システムおよび表示方法を提供するものである。

この発明の第１の局面による手術システムは、手術部位の画像を撮像する内視鏡、第１手術器具および第２手術器具を各々支持するための複数のマニピュレータと、内視鏡によって撮像された画像を表示するための表示装置、第１手術器具を操作するための第１操作ハンドル、および、第２手術器具を操作するための第２操作ハンドルを含む遠隔操作装置と、制御装置と、を備え、制御装置は、内視鏡の移動を可能にする指令を受けた場合で、且つ、第１手術器具および第２手術器具の少なくとも何れかが内視鏡の視野外に位置している場合に、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識を表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するためのグラフィカルユーザインターフェイスを、内視鏡によって撮像された画像上に重ねて表示装置に表示するように構成されている。

この発明の第１の局面による手術システムでは、上記のように、制御装置は、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識を表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するためのグラフィカルユーザインターフェイスを、内視鏡によって撮像された画像上に重ねて表示装置に表示するように構成されている。これにより、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識が、表示装置の画面において端部近傍よりも比較的中央側に表示される。その結果、操作者は、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することができる。

この発明の第２の局面による手術システムは、第１手術器具を支持するための第１マニピュレータと、第２手術器具を支持するための第２マニピュレータと、手術部位の画像を撮像する内視鏡を支持するための第３マニピュレータと、内視鏡によって撮像された画像を表示するための表示装置、第１手術器具を操作するための第１操作ハンドル、第２手術器具を操作するための第２操作ハンドル、および内視鏡の移動を第１操作ハンドルおよび第２操作ハンドルの操作によって実行させるための内視鏡ペダルを含む操作ペダルを備えた遠隔操作装置と、制御装置と、を備え、制御装置は、内視鏡ペダルが操作された場合で、且つ、第１手術器具および第２手術器具の少なくとも何れかが内視鏡の視野外に位置している場合に、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識を表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するためのグラフィカルユーザインターフェイスを、内視鏡によって撮像された画像上に重ねて表示装置に表示するように構成されている。

この発明の第２の局面による手術システムでは、上記のように、制御装置は、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識を表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するためのグラフィカルユーザインターフェイスを、内視鏡によって撮像された画像上に重ねて表示装置に表示するように構成されている。これにより、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識が、表示装置の画面において端部近傍よりも比較的中央側に表示される。その結果、操作者は、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することが可能な手術システムを提供することができる。

この発明の第３の局面による表示方法は、手術部位の画像を取り込むための内視鏡によって取り込まれた画像を取得するステップと、グラフィカルユーザインターフェイスを生成し、グラフィカルユーザインターフェイスを内視鏡によって取り込まれた画像上に重ねて、表示装置に表示するステップとを備え、グラフィカルユーザインターフェイスを表示するステップは、内視鏡の移動を可能にする指令を受けた場合で、且つ、第１マニピュレータに支持される第１手術器具および第２マニピュレータに支持される第２手術器具の少なくとも何れかが内視鏡の視野外に位置している場合に、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識を表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するためのグラフィカルユーザインターフェイスを、内視鏡によって撮像された画像上に重ねて表示装置に表示するステップを含む。

この発明の第３の局面による表示方法では、上記のように、グラフィカルユーザインターフェイスを表示するステップは、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識を表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するためのグラフィカルユーザインターフェイスを、内視鏡によって撮像された画像上に重ねて表示装置に表示するステップを含む。これにより、視野外に位置している第１手術器具および第２手術器具の少なくとも何れかを示す標識が、表示装置の画面において端部近傍よりも比較的中央側に表示される。その結果、操作者は、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することが可能な表示方法を提供することができる。

本発明によれば、操作者が、視線を大きく動かすことなく、視野外に位置する手術器具を示す標識を容易に視認することができる。

第１実施形態による外科手術システムの構成を示す図である。 第１実施形態による医療用マニピュレータの構成を示す図である。 第１実施形態による操作ハンドルの構成を示す図である。 第１実施形態によるフットペダルの構成を示す図である。 第１実施形態による医療用マニピュレータのアームの構成を示す図である。 鉗子を示す図である。 第１実施形態による医療用マニピュレータの操作部の構成を示す斜視図である。 内視鏡を示す図である。 ピボット位置教示器具を示す図である。 アームの並進移動を説明するための図である。 アームの回転移動を説明するための図である。 第１実施形態による医療用マニピュレータの制御部の構成を示すブロック図である。 内視鏡によって取り込まれた画像、および、グラフィカルユーザインターフェイスを示す図である。 グラフィカルユーザインターフェイスのエリアを示す図である。 クラッチエリアの表示を説明するための図である。 医療器具状態情報エリアの表示を説明するための図である。 左ポップアップエリアの表示を説明するための図である。 右ポップアップエリアの表示を説明するための図である。 遠隔操作装置のタッチパネルの表示を説明するための図である。 第１実施形態による標識を説明するための図である。 第１実施形態による標識（操作対象）を説明するための図である。 第１実施形態による標識（操作非対象）を説明するための図である。 第１実施形態による中央側に寄せて配置される標識を説明するための図である。 第１実施形態による表示方法を説明するためのフロー図である。 第２実施形態による標識を説明するための図（１）である。 第２実施形態による標識を説明するための図（２）である。 第２実施形態による標識を説明するための図（３）である。 第１変形例による標識を説明するための図（１）である。 第１変形例による標識を説明するための図（２）である。 第２変形例による標識を説明するための図（１）である。 第２変形例による標識を説明するための図（２）である。 第３変形例による標識を説明するための図である。 第４変形例による標識を説明するための図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

［第１実施形態］
図１～図２４を参照して、第１実施形態による外科手術システム１００の構成について説明する。外科手術システム１００は、患者Ｐ側装置である医療用マニピュレータ１と、医療用マニピュレータ１を操作するための操作者側装置である遠隔操作装置２とを備えている。医療用マニピュレータ１は医療用台車３を備えており、移動可能に構成されている。遠隔操作装置２は、医療用マニピュレータ１から離間した位置に配置されており、医療用マニピュレータ１は、遠隔操作装置２により遠隔操作されるように構成されている。操作者（医師など）は、医療用マニピュレータ１に所望の動作を行わせるための指令を遠隔操作装置２に入力する。遠隔操作装置２は、入力された指令を医療用マニピュレータ１に送信する。医療用マニピュレータ１は、受信した指令に基づいて動作する。また、医療用マニピュレータ１は、滅菌された滅菌野である手術室内に配置されている。なお、外科手術システム１００は、特許請求の範囲の「手術システム」の一例である。

遠隔操作装置２は、たとえば、手術室の中または手術室の外に配置されている。遠隔操作装置２は、操作ハンドル２１と、フットペダル２２と、タッチパネル２３と、モニタ２４と、支持アーム２５と、支持バー２６とを含む。操作ハンドル２１は、操作者（医師など）が指令を入力するための操作用のハンドルを構成する。なお、モニタ２４は、特許請求の範囲の「表示装置」の一例である。

操作ハンドル２１は、医療器具４を操作するように構成されている。また、操作ハンドル２１は、医療器具４に対する操作量を受け付ける。操作ハンドル２１は、操作者（医師など）から見て、左側に配置され、操作者の左手により操作される操作ハンドル２１Ｌと、右側に配置され、操作者の右手により操作される操作ハンドル２１Ｒと、を含んでいる。なお、操作ハンドル２１Ｌおよび操作ハンドル２１Ｒは、それぞれ、特許請求の範囲の「第１操作ハンドル」および「第２操作ハンドル」の一例である。

また、図３に示すように、操作ハンドル２１は、リンク部２１ａ、リンク部２１ｂ、リンク部２１ｃ、操作者（医師など）が操作するリンク部２１ｄとを含む。リンク部２１ａは、Ａ４軸周りに回動する。リンク部２１ａがＡ４軸周りに回動されることにより、後述するアーム部６１がＪＴ４軸周りに回動する。リンク部２１ｂは、リンク部２１ａに対して、Ａ５軸周りに回動する。リンク部２１ｂがＡ５軸周りに回動されることにより、後述するアーム部６１がＪＴ５軸周りに回動する。リンク部２１ｃは、リンク部２１ｂに対して、Ａ６軸周りに回動する。リンク部２１ｃがＡ６軸周りに回動されることにより、アーム部６１がＪＴ６軸周りに回動する。リンク部２１ｄは、リンク部２１ｃに対して、Ａ７軸周りに回動する。リンク部２１ｄがＡ７軸周りに回動されることにより、アーム部６１がＪＴ７軸周りに回動する。なお、医療器具４は、特許請求の範囲の「手術器具」、「第１手術器具」および「第２手術器具」の一例である。また、操作ハンドル２１Ｌおよび操作ハンドル２１Ｒは、それぞれ、特許請求の範囲の「第１操作ハンドル」および「第２操作ハンドル」の一例である。

また、操作ハンドル２１は、操作ハンドル２１によって受け付けられた操作量に対してアーム６０（医療器具４）の移動量が変更（スケーリング）される。たとえば、移動量の倍率が１／２倍に設定されている場合、医療器具４は、操作ハンドル２１の移動距離の１／２の移動距離を移動するよう制御される。これによって、精細な手術を精確に行うことができる。なお、アーム６０は、特許請求の範囲の「マニピュレータ」の一例である。

図４に示すように、フットペダル２２は、医療器具４に関する機能を実行するように複数設けられている。また、複数のフットペダル２２は、基台部２８に配置されている。フットペダル２２は、切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとを含んでいる。切替ペダル２２ａと、クラッチペダル２２ｂと、カメラペダル２２ｃと、切開ペダル２２ｄと、凝固ペダル２２ｅとは、操作者の足により操作される。また、切開ペダル２２ｄは、右側のアーム６０用の切開ペダル２２ｄＲと、左側のアーム６０用の切開ペダル２２ｄＬとを含む。また、凝固ペダル２２ｅは、右側のアーム６０用の凝固ペダル２２ｅＲと、左側のアーム６０用の凝固ペダル２２ｅＬとを含む。なお、フットペダル２２は、特許請求の範囲の「操作ペダル」の一例である。また、カメラペダル２２ｃは、特許請求の範囲の「入力部」および「内視鏡ペダル」の一例である。

切替ペダル２２ａは、操作ハンドル２１で動作させるアーム６０を切り替えるように構成されている。第１実施形態では、クラッチペダル２２ｂは、アーム６０と操作ハンドル２１との操作接続を一時切断するクラッチ操作を実行するように構成されている。クラッチペダル２２ｂが操作者によって踏み込まれている間、操作ハンドル２１による操作が、アーム６０に伝達されなくなる。

また、第１実施形態では、カメラペダル２２ｃは、内視鏡６を移動させるための指令を入力するために設けられている。具体的には、カメラペダル２２ｃが操作者によって踏み込まれることにより、内視鏡６を移動させるための指令が入力される。また、内視鏡６の移動を可能にする指令がカメラペダル２２ｃにより入力された場合（つまり、カメラペダル２２ｃが操作者によって踏み込まれている間）、内視鏡６は、操作ハンドル２１Ｒおよび操作ハンドル２１Ｌの両方を操作することによって移動するように構成されている。

また、切開ペダル２２ｄ（凝固ペダル２２ｅ）が操作者によって踏み込まれている間、図示しない電気手術装置が起動する。

図１に示すように、モニタ２４は、内視鏡６によって取り込まれた画像（図１３参照）を表示するためのスコープ型表示装置である。支持アーム２５は、モニタ２４の高さを操作者（医師など）の顔の高さに合わせるようにモニタ２４を支持する。タッチパネル２３は、支持バー２６に配置されている。モニタ２４近傍に設けられた図示しないセンサにより操作者の頭部を検知することにより医療用マニピュレータ１は遠隔操作装置２による操作が可能になる。操作者は、モニタ２４により患部を視認しながら、操作ハンドル２１およびフットペダル２２を操作する。これにより、遠隔操作装置２に指令が入力される。遠隔操作装置２に入力された指令は、医療用マニピュレータ１に送信される。

医療用台車３には、医療用マニピュレータ１の動作を制御する制御部３１と、医療用マニピュレータ１の動作を制御するためのプログラムなどが記憶される記憶部３２とが設けられている。そして、遠隔操作装置２に入力された指令に基づいて、医療用台車３の制御部３１は、医療用マニピュレータ１の動作を制御する。

また、医療用台車３には、入力装置３３が設けられている。入力装置３３は、主に施術前に手術の準備を行うために、ポジショナ４０、アームベース５０、および、複数のアーム６０の移動や姿勢の変更の操作を受け付けるように構成されている。

図１および図２に示す医療用マニピュレータ１は、手術室内に配置されている。医療用マニピュレータ１は、医療用台車３と、ポジショナ４０と、アームベース５０と、複数のアーム６０とを備えている。アームベース５０は、ポジショナ４０の先端に取り付けられている。アームベース５０は、比較的長い棒形状（長尺形状）を有する。また、複数のアーム６０は、各々のアーム６０の根元部が、アームベース５０に取り付けられている。複数のアーム６０は、折り畳まれた姿勢（収納姿勢）をとることが可能に構成されている。アームベース５０と、複数のアーム６０とは、図示しない滅菌ドレープにより覆われて使用される。また、アーム６０は、医療器具４を支持する。なお、医療器具４は、特許請求の範囲の「手術器具」の一例である。

ポジショナ４０は、たとえば、７軸多関節ロボットにより構成されている。また、ポジショナ４０は、医療用台車３上に配置されている。ポジショナ４０は、アームベース５０を移動させる。具体的には、ポジショナ４０は、アームベース５０の位置を３次元に移動させるように構成されている。

また、ポジショナ４０は、ベース部４１と、ベース部４１に連結された複数のリンク部４２とを含む。複数のリンク部４２同士は、関節部４３により連結されている。

図１に示すように、複数のアーム６０の各々の先端には、医療器具４が取り付けられている。医療器具４は、たとえば、取り換え可能なインストゥルメント、手術部位の画像を取り込むための内視鏡６（図８参照）などを含む。

図５に示すように、インストゥルメントには、アーム６０のホルダ７１に設けられたサーボモータＭ２によって駆動される被駆動ユニット４ａが設けられている。また、インストゥルメントの先端には、鉗子４ｂが設けられている。

また、図６に示すように、インストゥルメントは、エンドエフェクタ部材１０４ａおよび１０４ｂの基端側を先端側でＪＴ１１軸周りに回転可能に支持する第１支持体４ｅと、第１支持体４ｅの基端側を先端側でＪＴ１０軸周りに回転可能に支持する第２支持体４ｆと、第２支持体４ｆの基端側に接続されるシャフト４ｃとを含む。被駆動ユニット４ａと、シャフト４ｃと、第２支持体４ｆと、第１支持体４ｅと、鉗子４ｂとは、Ｚ方向に沿って配置されている。ＪＴ１１軸は、シャフト４ｃが延びる方向（Ｚ方向）に対して直交する。また、ＪＴ１０軸は、シャフト４ｃが延びる方向においてＪＴ１１軸と離間しかつシャフト４ｃが延びる方向およびＪＴ１１軸に対して直交する。

第１支持体４ｅには、ＪＴ１１軸の軸線周りに回転するように鉗子４ｂが取り付けられている。また、第２支持体４ｆは、第１支持体４ｅをＪＴ１０軸について回転可能に支持している。つまり、第２支持体４ｆにはＪＴ１０軸の軸線周りに回転するように第１支持体４ｅが取り付けられている。また、第１支持体４ｅの先端側（Ｚ１方向側）の部分は、Ｕ字形状を有している。第１支持体４ｅのＵ字形状の先端側の部分のＪＴ１１軸の軸線における中央部にツールセンタポイント（ＴＣＰ１、クレビス）が設定されている。

また、医療器具４（鉗子４ｂ）は、シャフト４ｃの回転軸（シャフト４ｃが延びる方向に沿った軸）としてのＪＴ９軸と、鉗子４ｂの開閉軸としてのＪＴ１２軸とを備えている。なお、アーム６０のホルダ７１に設けられたサーボモータＭ２は、複数（たとえば、４個）設けられており、複数のサーボモータＭ２によって、被駆動ユニット４ａの回転体が駆動される。これにより、Ｊ９軸～Ｊ１２軸周りに、医療器具４が駆動される。

また、図８に示すように、内視鏡６のＴＣＰ２は、内視鏡６の先端に設定されている。

次に、アーム６０の構成について詳細に説明する。

図５に示すように、アーム６０は、アーム部６１（ベース部６２、リンク部６３、関節部６４）と、アーム部６１の先端に設けられる並進移動機構部７０とを含む。アーム６０は、アーム６０の根元側（アームベース５０）に対して先端側を３次元に移動させるように構成されている。また、アーム部６１は、７軸多関節ロボットアームから構成されている。なお、複数のアーム６０は、互いに同様の構成を有する。

図５に示すように、アーム６０は、回転軸としてのＪＴ１～ＪＴ７軸と、直動軸としてのＪ８軸とを備えている。ＪＴ１～ＪＴ７軸は、アーム部６１の関節部６４の回転軸に対応する。また、ＪＴ７軸は、並進移動機構部７０の基端側リンク部７２に対応する。ＪＴ８軸は、並進移動機構部７０の先端側リンク部７３を基端側リンク部７２に対してＺ方向に沿って相対的に移動させる軸に対応する。すなわち、図１２に示すサーボモータＭ１は、アーム６０のＪＴ１～ＪＴ７軸に対応するように設けられている。また、サーボモータＭ３は、ＪＴ８軸に対応するように設けられている。

並進移動機構部７０は、アーム部６１の先端側に設けられるとともに医療器具４が取り付けられている。また、並進移動機構部７０は、医療器具４を患者Ｐに挿入する方向に並進移動させる。また、並進移動機構部７０は、医療器具４をアーム部６１に対して相対的に並進移動させるように構成されている。具体的には、並進移動機構部７０には、医療器具４を保持するホルダ７１が設けられている。ホルダ７１には、サーボモータＭ２（図１２参照）が収容されている。

また、図７に示すように、医療用マニピュレータ１は、アーム６０に取り付けられ、アーム６０を操作する操作部８０を備えている。操作部８０は、イネーブルスイッチ８１と、ジョイスティック８２とスイッチ部８３とを含む。イネーブルスイッチ８１は、ジョイスティック８２およびスイッチ部８３によるアーム６０の移動を許可または不許可とする。また、イネーブルスイッチ８１は、操作者（看護師、助手など）が操作部８０を把持して押下されることによりアーム６０による医療器具４の移動を許可する状態となる。

また、スイッチ部８３は、医療器具４の長手方向に沿った医療器具４を患者Ｐに挿入する方向側に医療器具４を移動させるスイッチ部８３ａと、医療器具４を患者Ｐに挿入する方向と反対側に医療器具４を移動させるスイッチ部８３ｂとを含む。スイッチ部８３ａとスイッチ部８３ｂとは、共に、押しボタンスイッチから構成されている。

また、図７に示すように、操作部８０は、アーム６０に取り付けられた医療器具４の移動の支点（図１１参照）となるピボット位置ＰＰを教示するピボットボタン８５を含む。ピボットボタン８５は、操作部８０の面８０ｂに、イネーブルスイッチ８１に隣り合うように設けられている。そして、内視鏡６（図８参照）またはピボット位置教示器具７（図９）の先端が、患者Ｐの体表面Ｓに挿入されたトロカールＴの挿入位置に対応する位置まで移動された状態で、ピボットボタン８５が押下されることによりピボット位置ＰＰが教示され、記憶部３２に記憶される。なお、ピボット位置ＰＰの教示において、ピボット位置ＰＰは、１つの点（座標）として設定され、ピボット位置ＰＰの教示は、医療器具４の方向を設定するものではない。

また、図１に示すように、複数のアーム６０のうちの一つのアーム６０（たとえば、アーム６０ｃ）には内視鏡６が取り付けられ、残りのアーム６０（たとえば、アーム６０ａ、６０ｂおよび６０ｄ）には、内視鏡６以外の医療器具４が取り付けられる。具体的には、手術において、４つのアーム６０のうちの１つのアーム６０に内視鏡６が取り付けられ、３つのアーム６０に内視鏡６以外の医療器具４（鉗子４ｂなど）が取り付けられる。そして、内視鏡６が取り付けられているアーム６０に対して、内視鏡６が取り付けられた状態でピボット位置ＰＰが教示される。また、内視鏡６以外の医療器具４が取り付けられるアーム６０に対して、ピボット位置教示器具７が取り付けられた状態でピボット位置ＰＰが教示される。なお、内視鏡６は、互いに隣り合うように配置されている４つのアーム６０のうちの、中央に配置される２つのアーム６０（アーム６０ｂおよび６０ｃ）のうちのいずれかに取り付けられる。すなわち、ピボット位置ＰＰは、複数のアーム６０毎に個別に設定される。なお、内視鏡６が支持されるアーム６０（たとえば、アーム６０ｃ）は、特許請求の範囲の「第３マニピュレータ」の一例である。

また、図７に示すように、操作部８０の面８０ｂには、アーム６０の位置を最適化するためのアジャストメントボタン８６が設けられている。内視鏡６が取り付けられたアーム６０に対するピボット位置ＰＰの教示後、アジャストメントボタン８６が押下されることにより、他のアーム６０（アームベース５０）の位置が最適化される。

また、図７に示すように、操作部８０は、アーム６０に取り付けられた医療器具４を並進移動（図１０参照）させるモードと、回転移動（図１１参照）させるモードとを切り替えるモード切替ボタン８４を含む。また、モード切替ボタン８４の近傍には、モードインジケータ８４ａが設けられている。モードインジケータ８４ａは、切り替えられたモードを表示する。具体的には、モードインジケータ８４ａが点灯（回転移動モード）または消灯（並進移動モード）されることにより、現在のモード（並進移動モードまたは回転移動モード）が表示される。

また、モードインジケータ８４ａは、ピボット位置ＰＰが教示されたことを表示するピボット位置インジケータを兼ねている。

図１０に示すように、アーム６０を並進移動させるモードでは、医療器具４の先端４ｄが、Ｘ－Ｙ平面上において移動するように、アーム６０が移動される。また、図１１に示すように、アーム６０を回転移動させるモードでは、ピボット位置ＰＰが教示されていない時は、鉗子４ｂを中心に回転移動し、ピボット位置ＰＰが教示されている時は、ピボット位置ＰＰを支点として医療器具４が回転移動するように、アーム６０が移動される。なお、医療器具４のシャフト４ｃがトロカールＴに挿入された状態で、医療器具４が回転移動される。

また、図１２に示すように、アーム６０には、アーム部６１の複数の関節部６４に対応するように、複数のサーボモータＭ１と、エンコーダＥ１と、減速機（図示せず）とが設けられている。エンコーダＥ１は、サーボモータＭ１の回転角を検出するように構成されている。減速機は、サーボモータＭ１の回転を減速させてトルクを増大させるように構成されている。

また、図１２に示すように、並進移動機構部７０には、医療器具４の被駆動ユニット４ａに設けられた回転体を回転させるためのサーボモータＭ２と、医療器具４を並進移動させるためのサーボモータＭ３と、エンコーダＥ２およびエンコーダＥ３と、減速機（図示せず）とが設けられている。エンコーダＥ２およびエンコーダＥ３は、それぞれ、サーボモータＭ２およびサーボモータＭ３の回転角を検出するように構成されている。減速機は、サーボモータＭ２およびサーボモータＭ３の回転を減速させてトルクを増大させるように構成されている。

また、ポジショナ４０には、ポジショナ４０の複数の関節部４３に対応するように、複数のサーボモータＭ４と、エンコーダＥ４と、減速機（図示せず）とが設けられている。エンコーダＥ４は、サーボモータＭ４の回転角を検出するように構成されている。減速機は、サーボモータＭ４の回転を減速させてトルクを増大させるように構成されている。

また、医療用台車３には、医療用台車３の複数の図示しない前輪の各々を駆動するサーボモータＭ５と、エンコーダＥ５と、図示しない減速機とブレーキが設けられている。減速機は、サーボモータＭ５の回転を減速させてトルクを増大させるように構成されている。また、医療用台車３のスロットル部３４ａには、ポテンショメータＰ１（図１参照）が設けられており、スロットル部３４ａの捻りに応じてポテンショメータＰ１で検出した回転角に基づき、前輪のサーボモータＭ５は駆動される。また、医療用台車３の図示しない後輪は、双輪形式であり、操作ハンドル３４の左右の回動に基づき、後輪は操舵される。また、医療用台車３の操作ハンドル３４には、ポテンショメータＰ２（図２参照）が設けられており、医療用台車３の後輪には、サーボモータＭ６とエンコーダＥ６と図示しない減速機が設けられている。減速機は、サーボモータＭ６の回転を減速させてトルクを増大させるように構成されている。操作ハンドル３４の左右の回動に応じてポテンショメータＰ２で検出した回転角に基づき、サーボモータＭ６は駆動される。すなわち、操作ハンドル３４の左右の回動による後輪の操舵は、サーボモータＭ６によりパワーアシストされるように構成されている。

また、医療用台車３は、前輪が駆動されることにより、前後方向に移動する。また、医療用台車３の操作ハンドル３４が回動されることにより、後輪が操舵されて、医療用台車３が左右方向に回動する。

医療用台車３の制御部３１は、指令に基づいて複数のアーム６０の移動を制御するアーム制御部３１ａと、指令に基づいてポジショナ４０の移動および医療用台車３の前輪（図示せず）の駆動を制御するポジショナ制御部３１ｂとを含む。アーム制御部３１ａには、アーム６０を駆動するためのサーボモータＭ１を制御するためのサーボ制御部Ｃ１が電気的に接続されている。また、サーボ制御部Ｃ１には、サーボモータＭ１の回転角を検出するためのエンコーダＥ１が電気的に接続されている。

また、アーム制御部３１ａには、医療器具４を駆動するためのサーボモータＭ２を制御するためのサーボ制御部Ｃ２が電気的に接続されている。また、サーボ制御部Ｃ２には、サーボモータＭ２の回転角を検出するためのエンコーダＥ２が電気的に接続されている。また、アーム制御部３１ａには、並進移動機構部７０を並進移動するためのサーボモータＭ３を制御するためのサーボ制御部Ｃ３が電気的に接続されている。また、サーボ制御部Ｃ３には、サーボモータＭ３の回転角を検出するためのエンコーダＥ３が電気的に接続されている。

そして、遠隔操作装置２に入力された動作指令が、アーム制御部３１ａに入力される。アーム制御部３１ａは、入力された動作指令と、エンコーダＥ１（Ｅ２、Ｅ３）により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１（Ｃ２、Ｃ３）に出力する。サーボ制御部Ｃ１（Ｃ２、Ｃ３）は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１（Ｅ２、Ｅ３）により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１（Ｍ２、Ｍ３）に出力する。これにより、遠隔操作装置２に入力された動作指令に沿うように、アーム６０が移動される。

また、図１２に示すように、制御部３１（アーム制御部３１ａ）は、操作部８０のジョイスティック８２からの入力信号に基づいてアーム６０を操作するように構成されている。具体的には、アーム制御部３１ａは、ジョイスティック８２から入力された入力信号（動作指令）と、エンコーダＥ１により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１に出力する。サーボ制御部Ｃ１は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１に出力する。これにより、ジョイスティック８２に入力された動作指令に沿うように、アーム６０が移動される。

制御部３１（アーム制御部３１ａ）は、操作部８０のスイッチ部８３からの入力信号に基づいてアーム６０を操作するように構成されている。具体的には、アーム制御部３１ａは、スイッチ部８３から入力された入力信号（動作指令）と、エンコーダＥ１またはＥ３により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ１またはＣ３に出力する。サーボ制御部Ｃ１またはＣ３は、アーム制御部３１ａから入力された位置指令と、エンコーダＥ１またはＥ３により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ１またはＭ３に出力する。これにより、スイッチ部８３に入力された動作指令に沿うように、アーム６０が移動される。

また、図１２に示すように、ポジショナ制御部３１ｂには、ポジショナ４０を移動するサーボモータＭ４を制御するためのサーボ制御部Ｃ４が電気的に接続されている。また、サーボ制御部Ｃ４には、サーボモータＭ４の回転角を検出するためのエンコーダＥ４が電気的に接続されている。また、ポジショナ制御部３１ｂには、医療用台車３の前輪（図示せず）を駆動するサーボモータＭ５を制御するためのサーボ制御部Ｃ５が電気的に接続されている。また、サーボ制御部Ｃ５には、サーボモータＭ５の回転角を検出するためのエンコーダＥ５が電気的に接続されている。

また、入力装置３３から準備位置の設定などに関する動作指令が、ポジショナ制御部３１ｂに入力される。ポジショナ制御部３１ｂは、入力装置３３から入力された動作指令と、エンコーダＥ４により検出された回転角とに基づいて位置指令を生成するとともに、位置指令をサーボ制御部Ｃ４に出力する。サーボ制御部Ｃ４は、ポジショナ制御部３１ｂから入力された位置指令と、エンコーダＥ４により検出された回転角とに基づいて、トルク指令を生成するとともに、トルク指令をサーボモータＭ４に出力する。これにより、入力装置３３に入力された動作指令に沿うように、ポジショナ４０が移動される。同様に、入力装置３３からの動作指令に基づいて、ポジショナ制御部３１ｂは、医療用台車３を移動させる。

ここで、第１実施形態では、外科手術システム１００は、画像処理装置８を備えている。画像処理装置８は、グラフィカルユーザインターフェイスＧ（図１４参照）を生成し、グラフィカルユーザインターフェイスＧを内視鏡６によって取り込まれた画像（図１３参照）上に重ねて遠隔操作装置２のモニタ２４に表示するように構成されている。画像処理装置８は、内視鏡６から画像を取り込むように構成されている。なお、画像処理装置８は、特許請求の範囲の「制御装置」の一例である。

図１４に示すように、グラフィカルユーザインターフェイスＧは、クラッチエリアＧ１を含む。図１５に示すように、クラッチエリアＧ１には、クラッチペダル２２ｂの状態が示される。図１５(ａ)は、クラッチペダル２２ｂが踏まれていない状態（ＯＦＦ状態）を示している。図１５(ｂ)は、操作者がクラッチペダル２２ｂに足を置いている状態（ホバー状態）を示している。図１５(ｃ)は、クラッチペダル２２ｂが踏まれている状態（ＯＮ状態）を示している。

図１４に示すように、第１実施形態では、グラフィカルユーザインターフェイスＧは、内視鏡６に関する情報を示すカメラエリアＧ２を含む。カメラエリアＧ２は、モニタ２４の画面ｇｒの下方の端部ｅｄ（図１３参照）近傍の領域に表示される。なお、カメラエリアＧ２は、特許請求の範囲の「第４エリア」の一例である。

図１４に示すように、グラフィカルユーザインターフェイスＧは、ハンドエリアＧ３を含む。ハンドエリアＧ３は、各医療器具４の情報や、各アーム６０の情報や、凝固ペダル２２ｅおよび切開ペダル２２ｄの状態の情報が表示される。ハンドエリアＧ３は、左手用の操作ハンドル２１Ｌによって操作される医療器具４およびアーム６０ａ（ハンドエリアＧ３の番号「４」）に関する情報を示すハンドエリアＧ３ａと、交換用の医療器具４およびアーム６０ｂ（ハンドエリアＧ３の番号「３」）に関する情報を示すハンドエリアＧ３ｂと、左手用の操作ハンドル２１Ｌによって操作される医療器具４およびアーム６０ｄ（ハンドエリアＧ３の番号「１」）に関する情報を示すハンドエリアＧ３ｃとを含む。ハンドエリアＧ３は、モニタ２４の画面ｇｒの下方の端部ｅｄ近傍の領域に表示される。また、クラッチエリアＧ１も、画面ｇｒの下方の端部ｅｄ近傍の領域に表示される。具体的には、図１４に示すように、クラッチエリアＧ１、カメラエリアＧ２およびハンドエリアＧ３は、画面ｇｒの下方の端部ｅｄと、端部ｅｄから画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置との間に表示される。なお、ハンドエリアＧ３ａ、Ｇ３ｂおよびＧ３ｃは、各々、特許請求の範囲の「第１エリア」、「第２エリア」および「第３エリア」の一例である。

また、アーム６０に関する情報は、アーム番号（「１」、「２」などのアーム番号）や交換用の医療器具４が取り付けられたアーム６０の交換先として設定されている場合に表示される矢印のアイコンを含み、医療器具４に関する情報は医療器具４の名称を含み、凝固ペダル２２ｅおよび切開ペダル２２ｄの状態の情報は、クラッチペダル２２ｂの操作の状態、切開ペダル２２ｄの操作の状態、凝固ペダル２２ｅの操作の状態を含む。

また、図１３に示すように、操作対象となるアーム６０のハンドエリア（ハンドエリアＧ３ａ、および、ハンドエリアＧ３ｃ）は、濃い灰色で表示され、この中に白抜きの長円が示され、かつ、白抜きの長円の中にアーム６０の番号（１および４）が表示される。また、操作対象でないアーム６０のハンドエリア（ハンドエリアＧ３ｂ）は、薄い灰色で表示され、かつ、さらに薄い灰色のアーム６０の番号（３）が表示される。

図１４に示すように、グラフィカルユーザインターフェイスＧは、ポップアップエリアである医療器具状態情報エリアＧ４を含む。医療器具状態情報エリアＧ４には、各アーム６０に取り付けられた医療器具４の現在の使用回数／最大使用回数（図１６参照）が、ポップアップで表示される。なお、現在の使用回数が最大使用回数に等しくなると、現在の使用回数が赤字で表示される。また、各アーム６０に取り付けられた医療器具４にエラーが生じた際にはエラー情報がポップアップで表示される。また、アーム６０に医療器具４が取り付けられていない場合、医療器具状態情報エリアＧ４には何も表示されない。医療器具状態情報エリアＧ４は、モニタ２４上において、クラッチエリアＧ１、カメラエリアＧ２、および、ハンドエリアＧ３の上方側の隣接した領域に表示される。なお、医療器具状態情報エリアＧ４は、特許請求の範囲の「手術器具状態情報エリア」の一例である。

図１４に示すように、グラフィカルユーザインターフェイスＧは、水準器エリアＧ５を含む。水準器エリアＧ５は、内視鏡６の角度情報が表示される。また、水準器エリアＧ５は、カメラペダル２２ｃが踏み込まれている間のみ表示される。すなわち、画像処理装置８は、内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示する。なお、水準器エリアＧ５は、特許請求の範囲の「センターエリア」の一例である。

図１４に示すように、グラフィカルユーザインターフェイスＧは、左ポップアップエリアＧ６を含む。左ポップアップエリアＧ６は、フットペダル２２に足が置かれているホバー状態のときに、図１７（ａ）～（ｃ）に示すアイコンが表示される。図１７（ａ）は、凝固ペダル２２ｅＬと切開ペダル２２ｄＬに足が置かれているときに表示されるアイコンである。図１７（ｂ）は、クラッチペダル２２ｂに足が置かれているときに表示されるアイコンである。図１７（ｃ）は、カメラペダル２２ｃに足が置かれているときに表示されるアイコンである。左ポップアップエリアＧ６は、モニタ２４上において、左側側部に表示される。なお、左ポップアップエリアＧ６は、特許請求の範囲の「操作ペダルエリア」の一例である。

図１４に示すように、グラフィカルユーザインターフェイスＧは、右ポップアップエリアＧ７を含む。右ポップアップエリアＧ７は、凝固ペダル２２ｅＲと切開ペダル２２ｄＲに足が置かれているときにアイコン（図１８）が表示される。右ポップアップエリアＧ７は、モニタ２４上において、右側側部に表示される。なお、右ポップアップエリアＧ７は、特許請求の範囲の「操作ペダルエリア」の一例である。

また、図１４に示すように、グラフィカルユーザインターフェイスＧは、アーム６０の動作可能範囲と、アーム６０の動作可能範囲のうち操作ハンドル２１により操作可能な操作可能範囲と、を表示する第１エリアＧ８を含む。また、グラフィカルユーザインターフェイスＧは、操作ハンドル２１を操作可能範囲内に戻すため、および／または（第１実施形態では、「および」）アーム６０を動作可能範囲内に戻すために必要な操作ハンドル２１の操作方向を表示する第２エリアＧ９を含む。

また、操作ハンドル２１により操作可能なアーム６０は、２つである。たとえば、操作ハンドル２１Ｌによって、医療器具４を支持するための左アーム６０Ｌ（例えば、アーム６０ａ、図１参照）が操作される。また、操作ハンドル２１Ｒによって、医療器具４を支持するための右アーム６０Ｒ（例えば、アーム６０ｄ、図１参照）が操作される。そして、第１エリアＧ８（第１エリアＧ８Ｌ、第１エリアＧ８Ｒ）および第２エリアＧ９（第２エリアＧ９Ｌ、第２エリアＧ９Ｒ）は、各々、左アーム６０Ｌおよび右アーム６０Ｒごとに別個に設けられている。なお、左アーム６０Ｌおよび右アーム６０Ｒは、それぞれ、特許請求の範囲の「第１マニピュレータ」および「第２マニピュレータ」の一例である。

また、図１４に示すように、グラフィカルユーザインターフェイスＧは、エラー通知エリアＧ１５（Ｇ１５ａ、Ｇ１５ｂ）を含む。エラー通知エリアＧ１５ａは、警告やエラーが発生したときに、警告やエラー情報を表示するためにポップアップで表示される。エラー通知エリアＧ１５ｂは、エラー通知エリアＧ１５ａに表示されている警告やエラーに関する注記の詳細を表示するためにポップアップで表示される。

また、第１実施形態では、図１３に示される内視鏡６の視野外に位置している医療器具４を示す標識ＭＫ１や図２５に示される標識ＭＫ２は、表示される状態と、表示されない状態とを切り替え可能に構成されている。具体的には、図１９に示すように、遠隔操作装置２のタッチパネル２３が操作されることにより、「視野外鉗子表示」のボタンが表示される。そして、「視野外鉗子表示」の「オン」が選択されると、操作者によりカメラペダル２２ｃが踏み込まれた場合に、内視鏡６の視野外に位置している医療器具４が存在すると標識ＭＫ１や標識ＭＫ２が表示される。また、「視野外鉗子表示」の「オフ」が選択されると、標識ＭＫ１や標識ＭＫ２が表示されない。これにより操作者の操作の熟練度や操作者のニーズによって「視野外鉗子表示」の表示設定を容易に切り替えることができる。

図１４に示すように、グラフィカルユーザインターフェイスＧは、ステータスエリアＧ１０を含む。ステータスエリアＧ１０には、医療用マニピュレータ１の内蔵バッテリの残量、モニタ２４の明るさ／コントラスト、ラップタイム、手術経過時間などの情報が表示される。具体的には、図１４に示すように、ステータスエリアＧ１０は、画面ｇｒの上方の端部ｅｕと、端部ｅｕから画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に表示される。なお、ステータスエリアＧ１０は、特許請求の範囲の「手術システムエリア」の一例である。

ここで、第１実施形態では、図１３および図１４に示すように、画像処理装置８は、内視鏡６の視野外に位置している医療器具４を示す標識ＭＫ１を表示するためのグラフィカルユーザインターフェイスＧを、内視鏡６によって撮像された画像上に重ねてモニタ２４に表示する。この標識ＭＫ１（グラフィカルユーザインターフェイスＧ）は、画像処理装置８が内視鏡６の移動を可能にする指令を受けた場合（操作者によりカメラペダル２２ｃが踏み込まれている場合）で、且つ、医療器具４の少なくとも何れか（アーム６０ａ、６０ｂおよび６０ｄに各々取り付けられる医療器具４の少なくとも何れか）が、内視鏡６の視野外に位置している場合に表示される。また、この標識ＭＫ１（グラフィカルユーザインターフェイスＧ）は、モニタ２４の画面ｇｒの端部ｅ近傍を含まずに中央部ＣＮ１を含む水準器エリアＧ５の外縁近傍エリアＧ１１に表示される。なお、外縁近傍エリアＧ１１とは、後述する水準器ＬＶの外側且つ水準器ＬＶの近傍に位置するエリアである。

なお、画像処理装置８は、医療器具４の位置を、アーム６０の姿勢、位置に基づいて取得する。また、画像処理装置８は、内視鏡６の撮像方向を、アーム６０の姿勢、位置に基づいて取得する。また、画像処理装置８は、内視鏡６のズーム状態に基づいて内視鏡６の画角（視野範囲）を取得する。画像処理装置８は、内視鏡６の画角（視野範囲）を、内視鏡６のメカ機構（レンズ等）として設定されている値を用いて取得する。そして、画像処理装置８は、内視鏡６の視野および、内視鏡６の姿勢、位置とアーム６０の位置情報より、内視鏡６の視野に対する医療器具４の先端の座標を取得する。これにより、画像処理装置８は、医療器具４が内視鏡６の視野外に位置しているか否かを判定する。

また、図１３および図１４に示す例では、アーム６０ａ、６０ｂ、６０ｃおよび６０ｄのうち、アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、アーム６０ｂ（ハンドエリアＧ３ｂの番号「３」）、および、アーム６０ｄ（ハンドエリアＧ３ｃの番号「１」）には、医療器具４（内視鏡６以外の鉗子４ｂなどの医療器具４）が取り付けられている。また、アーム６０ｃ（カメラエリアＧ２の番号「２」）には、内視鏡６が取り付けられている。アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、および、アーム６０ｄ（ハンドエリアＧ３の番号「１」）が、操作ハンドル２１により操作可能な状態（アクティブ）であり、ハンドエリアＧ３ａおよびＧ３ｃは、濃い灰色で表示される。また、アーム６０ｂは、操作ハンドル２１により操作可能でない状態（非アクティブ）であり、ハンドエリアＧ３ｂは、薄い灰色で表示される。

図１３に示す例では、アーム６０ａ（ハンドエリアＧ３ａの番号「４」）、および、アーム６０ｄ（ハンドエリアＧ３ｃの番号「１」）に支持される医療器具４は、内視鏡６の視野内に位置している。一方、アーム６０ｂ（ハンドエリアＧ３ｂの番号「３」）に支持される医療器具４は、内視鏡６の視野外に位置している。

そして、第１実施形態では、図１３に示すように、グラフィカルユーザインターフェイスＧは、外縁近傍エリアＧ１１で、且つ、水準器エリアＧ５の中央ＣＮ２に対して、視野外の医療器具４が位置する方向に対応するエリアＧ１２（図２０参照）に、視野外の医療器具４を表示する標識ＭＫ１を配置して表示するように構成されている。図１３では、標識ＭＫ１（「３」の文字）が、表示されている。

また、第１実施形態では、図２０に示すように、視野外の医療器具４を表示する標識ＭＫ１が表示されるエリアＧ１２は、外縁近傍エリアＧ１１を水準器エリアＧ５の中央ＣＮ２から放射状に複数に分割したエリアＧ１２のうちの１つのエリアＧ１２である。第１実施形態では、外縁近傍エリアＧ１１が、中央ＣＮ２から放射状に８個に分割されている。８個のエリアＧ１２ａ～Ｇ１２ｈは、中央ＣＮ２に対して４５度間隔で配置されている。図１３では、標識ＭＫ１（「３」の文字）が、例として、エリアＧ１２ｄ（図２０参照）に表示されている。なお、図２０では、視野外に医療器具４が位置しているパターンの全てを表示している。

また、第１実施形態では、図１４に示すように、画像処理装置８は、内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示する。そして、画像処理装置８は、標識ＭＫ１を水準器エリアＧ５外の外縁近傍エリアＧ１１に表示するためのグラフィカルユーザインターフェイスＧをモニタ２４に表示する。水準器ＬＶは、患者Ｐに対する内視鏡６の視野の傾きを表している。水準器ＬＶは、カメラペダル２２ｃが操作された場合（具体的には、踏み込まれた場合）に、画像処理装置８が内視鏡６の移動を可能にする指令を受けることにより表示される。

また、第１実施形態では、図１４に示すように、水準器エリアＧ５は、上辺部Ｇ５ａ、左辺部Ｇ５ｂ、右辺部Ｇ５ｃおよび下辺部Ｇ５ｄを含む矩形領域（横方向に長い長方形形状）である。このように画面ｇｒの中央部を含む所定の大きさの水準器エリアＧ５の外縁近傍エリアＧ１１に標識ＭＫ１を表示することにより操作者の視認性を向上させることができる。上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に配置されている。好ましくは、上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／８の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／８の長さ下方の位置との間に配置され、より好ましくは、上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／６の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／６の長さ下方の位置との間に配置される。

また、上辺部Ｇ５ａは、医療用マニピュレータ１の内蔵バッテリの残量などが表示されるステータスエリアＧ１０の下方に配置されている。

また、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ右側の位置との間に配置される。好ましくは、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／８の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／８の長さ右側の位置との間に配置され、より好ましくは、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／６の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／６の長さ右側の位置との間に配置される。

また、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ左側の位置との間に配置される。好ましくは、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／８の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／８の長さ左側の位置との間に配置され、より好ましくは、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの横方向の長さの１／６の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／６の長さ左側の位置との間に配置される。

また、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置との間に配置されている。好ましくは、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／８の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／８の長さ上方の位置との間に配置され、より好ましくは、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／６の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／６の長さ上方の位置との間に配置される。

また、第１実施形態では、水準器エリアＧ５の下辺部Ｇ５ｄは、ハンドエリアＧ３ａ、ハンドエリアＧ３ｂ、ハンドエリアＧ３ｃ、および、カメラエリアＧ２よりも上方に配置されている。さらに、水準器エリアＧ５の下辺部Ｇ５ｄは、医療器具状態情報エリアＧ４よりも上方に配置されている。

なお、モニタ２４の画面ｇｒの中央部ＣＮ１と、水準器エリアＧ５の中央ＣＮ２とは、略同じ位置である。

また、第１実施形態では、視野外に位置している医療器具４を示す標識ＭＫ１は、水準器エリアＧ５と、医療器具状態情報エリアＧ４、左ポップアップエリアＧ６、右ポップアップエリアＧ７およびステータスエリアＧ１０のうちの少なくとも１つ（第１実施形態では全て）と、の間に配置されている。なお、医療器具状態情報エリアＧ４は、医療器具４の状態を示す。左ポップアップエリアＧ６は、フットペダル２２が操作されたとき（フットペダル２２に足が置かれているホバー状態のときに）に表示される。右ポップアップエリアＧ７は、凝固ペダル２２ｅＲと切開ペダル２２ｄＲとが操作されたとき（操作者の足が置かれているとき）に表示される。ステータスエリアＧ１０は、外科手術システム１００の状態を示す。

第１実施形態では、図１３に示すように、標識ＭＫ１は、視野外に位置している医療器具４を支持するアーム６０を特定する番号を含む。図１３に示す例では、アーム６０ｂ（ハンドエリアＧ３の番号「３」）に支持される医療器具４が内視鏡６の視野外に位置していることを示す「３」の番号がＭＫ１として表示されている。

また、第１実施形態では、図２１および図２２に示すように、標識ＭＫ１は、視野外に位置している医療器具４が、操作対象である場合と操作対象でない場合とで異なる態様で表示される。具体的には、図２１に示すように、医療器具４が操作対象である場合、黒の四角の中に、白抜きの長円が示され、かつ、白抜きの長円の中にアーム６０の番号（１～４のいずれか）が表示される。また、図２２に示すように、医療器具４が操作対象でない場合、黒の四角の中に、灰色のアーム６０の番号（１～４のいずれか）が表示される。

また、第１実施形態では、図２０に示すように、アーム６０ａに取り付けられた医療器具４、アーム６０ｂに取り付けられた医療器具４、および、アーム６０ｄに取り付けられた医療器具４のうちの複数が内視鏡６の視野外に位置している場合、アーム６０ａ、アーム６０ｂ、および、アーム６０ｄの配置位置の順に対応するように、内視鏡６の視野外に位置している医療器具４に対応する複数の標識ＭＫ１が表示される。アーム６０ａ、アーム６０ｂ、および、アーム６０ｄの配置位置の順とは、アームベース５０に取り付けられている状態における、アーム６０ａ、アーム６０ｂ、および、アーム６０ｄの配置位置の順を意味する。

また、第１実施形態では、図２０に示すように、アーム６０ａに取り付けられた医療器具４、アーム６０ｂに取り付けられた医療器具４、および、アーム６０ｄに取り付けられた医療器具４の全て（３つ）が内視鏡６の視野外に位置している場合、アーム６０ａ、アーム６０ｂ、および、アーム６０ｄの順に、アーム６０ａを表す標識ＭＫ１（「４」）、アーム６０ｂを表す標識ＭＫ１（「３」）、および、アーム６０ｄを表す標識ＭＫ１（「１」）が表示される。すなわち、ハンドエリアＧ３の並び順に、標識ＭＫ１（「４」、「３」、および、「１」）が表示される。

また、第１実施形態では、図２３に示すように、アーム６０ａに取り付けられた医療器具４、アーム６０ｂに取り付けられた医療器具４、および、アーム６０ｄに取り付けられた医療器具４のうちの１つまたは２つが内視鏡６の視野外に位置している場合、内視鏡６の視野外に位置している医療器具４に対応する標識ＭＫ１は、モニタ２４の画面ｇｒの中央側に寄せて配置される。つまり、アーム６０ａに取り付けられた医療器具４のみが視野の左側の外に位置している場合、アーム６０ａに取り付けられた医療器具４を示す標識ＭＫ１（「４」）は、３つの標識ＭＫ１（「４」、「３」および「１」）全てが表示される場合（図２０参照）の標識ＭＫ１（「４」）の位置よりも、画面ｇｒの中央側に寄せて配置される。

同様に、アーム６０ａに取り付けられた医療器具４のみが視野の下側の外に位置している場合、アーム６０ａに取り付けられた医療器具４を示す標識ＭＫ１（「４」）は、３つの標識ＭＫ１（「４」、「３」および「１」）全てが表示される場合（図２０参照）の標識ＭＫ１（「４」）の位置よりも、画面ｇｒの中央側に寄せて配置される。アーム６０ａに取り付けられた医療器具４のみが視野の上側（斜め左上側、斜め左下側）の外に位置している場合も同様である。

同様に、アーム６０ｄに取り付けられた医療器具４のみが視野の右側の外に位置している場合、アーム６０ｄに取り付けられた医療器具４を示す標識ＭＫ１（「１」）は、３つの標識ＭＫ１（「４」、「３」および「１」）全てが表示される場合（図２０参照）の標識ＭＫ１（「１」）の位置よりも、画面ｇｒの中央側に寄せて配置される。アーム６０ｄに取り付けられた医療器具４のみが視野の斜め右上側および斜め右下側の外に位置している場合も同様である。

（表示方法）
次に、図２４を参照して、外科手術システム１００におけるモニタ２４へのグラフィカルユーザインターフェイスＧの表示方法について説明する。なお、グラフィカルユーザインターフェイスＧの生成は、画像処理装置８によって行われる。

まず、ステップＳ１において、画像処理装置８は、手術部位の画像を取り込むための内視鏡６によって取り込まれた画像を取得する。

次に、ステップＳ２において、画像処理装置８は、内視鏡６の移動を可能にする指令を受けたか否か（操作者によってカメラペダル２２ｃが踏み込まれたか否か）を判定する。ステップＳ２においてｙｅｓの場合、ステップＳ３に進む。ステップＳ２においてｎｏの場合、ステップＳ１に戻る。

次に、ステップＳ３において、画像処理装置８は、アーム６０ａに支持される医療器具４、アーム６０ｂに支持される医療器具４、および、アーム６０ｄに支持される医療器具４の少なくとも何れかが内視鏡６の視野外に位置しているか否かを判定する。ステップＳ３においてｙｅｓの場合（つまり、内視鏡６の移動を可能にする指令を受けた場合で、且つ、アーム６０に支持される医療器具４が内視鏡６の視野外に位置している場合）、ステップＳ４に進む。ステップＳ４においてｎｏの場合、ステップＳ１に戻る。

次に、ステップＳ４において、画像処理装置８は、視野外に位置している医療器具４を示す標識ＭＫ１をモニタ２４の画面ｇｒの端部ｅ近傍を含まずに中央部ＣＮ１を含む水準器エリアＧ５の外縁近傍エリアＧ１１に表示するためのグラフィカルユーザインターフェイスＧを、内視鏡６によって撮像された画像上に重ねてモニタ２４に表示する。

上記のステップＳ１～Ｓ４の動作は、外科手術システム１００の動作中、常に行われる。

［第１実施形態の効果］
第１実施形態では、以下のような効果を得ることができる。

第１実施形態では、上記のように、画像処理装置８は、視野外に位置している医療器具４を示す標識ＭＫ１をモニタ２４の画面ｇｒの端部ｅ近傍を含まずに中央部ＣＮ１を含む水準器エリアＧ５の外縁近傍エリアＧ１１に表示するためのグラフィカルユーザインターフェイスＧを、内視鏡６によって撮像された画像上に重ねてモニタ２４に表示するように構成されている。これにより、視野外に位置している医療器具４を示す標識ＭＫ１が、モニタ２４の画面ｇｒにおいて端部ｅ近傍よりも比較的中央側に表示される。その結果、操作者は、視線を大きく動かすことなく、視野外に位置する医療器具４を示す標識ＭＫ１を容易に視認することができる。

また、第１実施形態では、上記のように、グラフィカルユーザインターフェイスＧは、水準器エリアＧ５の外縁近傍エリアＧ１１で、且つ、水準器エリアＧ５の中央ＣＮ２に対して、視野外の医療器具４が位置する方向に対応するエリアＧ１２に、標識ＭＫ１を配置して表示するように構成されている。これにより、水準器エリアＧ５の中央ＣＮ２に対して、視野外の医療器具４が位置する方向に対応するように標識ＭＫ１が配置されるので、操作者は、視線を大きく動かすことなく、水準器エリアＧ５の中央ＣＮ２に対して、視野外の医療器具４が、どの方向に位置するのかを、容易に認識することができる。また、モニタ２４の画面ｇｒにおける標識ＭＫ１の位置（水準器エリアＧ５の中央部ＣＮ１に対する位置）と、視野外の医療器具４の位置とが対応するので、視野外の医療器具４の位置（方向）を直感的に容易に認識することができる。

また、第１実施形態では、上記のように、視野外の医療器具４を表示する標識ＭＫ１が表示されるエリアＧ１２は、外縁近傍エリアＧ１１を水準器エリアＧ５の中央ＣＮ２から放射状に複数に分割したエリアＧ１２（Ｇ１２ａ～Ｇ１２ｈ）のうちの１つのエリアＧ１２である。これにより、複数のエリアＧ１２が水準器エリアＧ５の中央ＣＮ２から放射状に設けられているので、複数のエリアＧ１２がモニタ２４の画面ｇｒの偏った１箇所の領域内に設けられている場合と異なり、視野外の医療器具４の位置をより直感的に認識しやすくすることができる。

また、第１実施形態では、上記のように、画像処理装置８は、内視鏡６の移動を可能にする指令を受けた場合に、水準器エリアＧ５に内視鏡６の水準器ＬＶを表示するとともに、標識ＭＫ１を水準器ＬＶの外側に表示するためのグラフィカルユーザインターフェイスＧをモニタ２４に表示する。これにより、操作者が内視鏡６を操作するために内視鏡６の水準器ＬＶを視認している最中に、視野外に位置する医療器具４を示す標識ＭＫ１が水準器ＬＶとともに表示されるので、操作者は標識ＭＫ１をさらに容易に認識することができる。

また、第１実施形態では、上記のように、視野外に位置している医療器具４を示す標識ＭＫ１は、水準器エリアＧ５と、医療器具状態情報エリアＧ４、左ポップアップエリアＧ６、右ポップアップエリアＧ７およびステータスエリアＧ１０のうちの少なくとも１つ（第１実施形態では全て）と、の間に配置されている。これにより、標識ＭＫ１が、医療器具状態情報エリアＧ４、左ポップアップエリアＧ６、右ポップアップエリアＧ７およびステータスエリアＧ１０のうちの少なくとも１つ（第１実施形態では全て）のうちの少なくとも１つよりも中央側に寄せて表示されるので、標識ＭＫ１が画面ｇｒの端部ｅに配置される場合と異なり、標識ＭＫ１の視認性を向上させることができる。

また、第１実施形態では、上記のように、水準器エリアＧ５は、上辺部Ｇ５ａ、左辺部Ｇ５ｂ、右辺部Ｇ５ｃおよび下辺部Ｇ５ｄを含む矩形領域であり、上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１よりも画面ｇｒの上方の端部ｅｕに近い位置に配置され、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１よりも画面ｇｒの左側の端部ｅｌに近い位置に配置され、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１よりも画面ｇｒの右側の端部ｅｒに近い位置に配置され、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１よりも画面ｇｒの下方の端部ｅｄに近い位置に配置される。これにより、標識ＭＫ１は、水準器エリアＧ５の外縁近傍エリアＧ１１に表示されるので、モニタ２４の画面ｇｒの中央部ＣＮ１には標識ＭＫ１が表示されない。このため、標識ＭＫ１が、モニタ２４の画面ｇｒの中央部ＣＮ１を視認する操作者の視認の妨げになるのを抑制することができる。

また、第１実施形態では、上記のように、上辺部Ｇ５ａは、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に配置され、左辺部Ｇ５ｂは、モニタ２４の画面ｇｒの中央部ＣＮ１から画面ｇｒの横方向の長さの１／１０の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ右側の位置との間に配置され、右辺部Ｇ５ｃは、モニタ２４の画面ｇｒの中央部ＣＮ１から画面ｇｒの横方向の長さの１／１０の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／１０（Ｌ１２）の長さ左側の位置との間に配置され、下辺部Ｇ５ｄは、モニタ２４の画面ｇｒの中央部ＣＮ１から画面ｇｒの縦方向の長さの１／１０の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ上方の位置との間に配置される。これにより、水準器エリアＧ５の外縁近傍エリアＧ１１に表示される標識ＭＫ１が画面ｇｒの端部ｅよりも中央側に寄せて表示されるので、標識ＭＫ１が画面ｇｒの端部ｅに配置される場合と異なり、標識ＭＫ１の視認性を向上させることができる。

また、上辺部Ｇ５ａを、モニタ２４の画面ｇｒの中央部ＣＮ１から、画面ｇｒの縦方向の長さの１／８の長さ上方の位置と、画面ｇｒの上方の端部ｅｕから、画面ｇｒの縦方向の長さの１／８の長さ下方の位置との間に配置し、左辺部Ｇ５ｂを、モニタ２４の画面ｇｒの中央部ＣＮ１から画面ｇｒの横方向の長さの１／８の長さ左側の位置と、画面ｇｒの左側の端部ｅｌから、画面ｇｒの横方向の長さの１／８の長さ右側の位置との間に配置し、右辺部Ｇ５ｃを、モニタ２４の画面ｇｒの中央部ＣＮ１から画面ｇｒの横方向の長さの１／８の長さ右側の位置と、画面ｇｒの右側の端部ｅｒから、画面ｇｒの横方向の長さの１／８の長さ左側の位置との間に配置し、下辺部Ｇ５ｄを、モニタ２４の画面ｇｒの中央部ＣＮ１から画面ｇｒの縦方向の長さの１／８の長さ下方の位置と、画面ｇｒの下方の端部ｅｄから、画面ｇｒの縦方向の長さの１／８の長さ上方の位置との間に配置することにより、標識ＭＫ１の視認性をより向上させることができる。

また、第１実施形態では、上記のように、複数のアーム６０は、操作対象でない（交換用の）医療器具４を支持するためのアーム６０ｂを含み、グラフィカルユーザインターフェイスＧは、アーム６０ｄに支持される医療器具４に関する情報を示すハンドエリアＧ３ａと、アーム６０ｂに支持される医療器具４に関する情報を表示するハンドエリアＧ３ｂと、アーム６０ａに支持される医療器具４に関する情報を表示するハンドエリアＧ３ｃと、内視鏡６に関する情報を示すカメラエリアＧ２と、をモニタ２４の画面ｇｒの下方の端部ｅｄ近傍領域に配置して表示する。これにより、標識ＭＫ１が、ハンドエリアＧ３ａ、ハンドエリアＧ３ｂ、ハンドエリアＧ３ｃおよびカメラエリアＧ２よりも画面ｇｒの中央寄りに表示されるので、標識ＭＫ１の視認性をさらに向上させることができる。

また、第１実施形態では、上記のように、水準器エリアＧ５は、上辺部Ｇ５ａ、左辺部Ｇ５ｂ、右辺部Ｇ５ｃおよび下辺部Ｇ５ｄを含む矩形領域であり、下辺部Ｇ５ｄは、ハンドエリアＧ３ａ、ハンドエリアＧ３ｂ、ハンドエリアＧ３ｃおよびカメラエリアＧ２よりも上方に配置されている。これにより、水準器エリアＧ５の下辺部Ｇ５ｄが画面ｇｒの下方の端部ｅｄに配置される場合と比べて、標識ＭＫ１が上方に配置されるので、操作者の下方への視線の移動を抑制しながら、標識ＭＫ１を視認することができる。

また、第１実施形態では、上記のように、アーム６０ａ、６０ｂおよび６０ｄのうちの複数が内視鏡６の視野外に位置している場合、医療器具４の各々が設けられるアーム６０ａ、６０ｂおよび６０ｄの配置位置の順に対応するように、内視鏡６の視野外に位置している医療器具４に対応する複数の標識ＭＫ１が表示される。これにより、操作者は、視野外に位置している医療器具４の配列の順を容易に認識することができる。

また、第１実施形態では、上記のように、標識ＭＫ１は、表示される状態と、表示されない状態とを切り替え可能に構成されている。これにより、必要に応じて、標識ＭＫ１を表示される状態と、表示されない状態とに切り替えることができる。

また、第１実施形態では、上記のように、複数の標識ＭＫ１は、医療器具４のうちの全てが内視鏡６の視野外に位置している場合でも、アーム６０の配置位置の順に対応して並んで表示可能に構成されており、複数の医療器具４のうちの１つまたは２つが内視鏡６の視野外に位置している場合、内視鏡６の視野外に位置している医療器具４に対応する標識ＭＫ１は、モニタ２４の画面ｇｒの中央側に寄せて配置される。これにより、標識ＭＫ１が中央側に寄せて配置されるので、標識ＭＫ１の視認性をより向上させることができる。

また、第１実施形態では、上記のように、遠隔操作装置２は、内視鏡６を移動させるための指令を入力するカメラペダル２２ｃを備え、内視鏡６の移動を可能にする指令がカメラペダル２２ｃにより入力された場合、内視鏡６は、操作ハンドル２１Ｌおよび操作ハンドル２１Ｒの両方を操作することによって移動するように構成されている。これにより、操作者がカメラペダル２２ｃを操作することにより、容易に、内視鏡６の移動を可能にすることができる。

また、第１実施形態では、上記のように、標識ＭＫ１は、視野外に位置している医療器具４が、操作対象である場合と操作対象でない場合とで異なる態様で表示される。これにより、操作者は、視野外に位置している医療器具４が、操作対象であるか否かを容易に認識することができる。

また、第１実施形態では、上記のように、標識ＭＫ１は、視野外に位置している医療器具４を支持するアーム６０を特定する番号を含む。これにより、操作者は、視野外に位置している医療器具４を、容易に特定して認識することができる。

［第２実施形態］
図２５～図２７を参照して、第２実施形態による外科手術システム２００の構成について説明する。

第２実施形態では、図２５および図２６に示すように、標識ＭＫ２は、視野外に位置している医療器具４が存在している方向を示す矢印ＭＫ２ａを含む。具体的には、矢印ＭＫ２ａの外側の近傍に視野外に位置している医療器具４を特定するための番号（たとえば、「４」）が表示される。なお、番号は、図２７に示す標識ＭＫ３のように、矢印ＭＫ２ａの内側に表示されてもよい。また、矢印ＭＫ２ａの内部は、画像が透けて視認可能なように、透明または半透明で表示される。また、操作対象となる医療器具４に対して、標識ＭＫ２の番号は、白色の円の中に黒色のアーム６０の番号（「４」参照）が示される。また、操作対象とならない医療器具４に対して、標識ＭＫ２の番号は、黒色の円の中に灰色のアーム６０の番号（「３」参照）が示される。なお、矢印ＭＫ２ａは、平面的に示されている。

［第２実施形態の効果］
第２実施形態では、以下のような効果を得ることができる。

第２実施形態では、上記のように、標識ＭＫ２は、視野外に位置している医療器具４が存在している方向を示す矢印ＭＫ２ａを含む。これにより、操作者は、視野外に位置している医療器具４の存在している方向を、直観的に認識することができる。

［変形例］
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記第１および第２実施形態では、画像処理装置８が内視鏡６からの画像を取り込むとともにグラフィカルユーザインターフェイスＧを生成する例を示したが、本発明はこれに限られない。たとえば、医療用マニピュレータ１の制御部３１が、グラフィカルユーザインターフェイスＧを生成してもよいし、遠隔操作装置２の制御部（図示せず）が、グラフィカルユーザインターフェイスＧを生成してもよい。また、内視鏡６からの画像を取り込む画像処理装置と、グラフィカルユーザインターフェイスＧを生成し、内視鏡６の画像上に重ねる画像処理装置とが別個に設けられていてもよい。

また、上記第１および第２実施形態では、標識ＭＫ１が、水準器エリアＧ５の中央ＣＮ２に対して、視野外の医療器具４が位置する方向に対応するエリアＧ１２に表示される例を示したが、本発明はこれに限られない。たとえば、標識ＭＫ１が、水準器エリアＧ５の外縁近傍エリアＧ１１の固定された位置に表示されてもよい。

また、上記第１および第２実施形態では、標識ＭＫ１が表示されるエリアＧ１２が、外縁近傍エリアＧ１１を水準器エリアＧ５の中央ＣＮ２から放射状に８個に分割したエリアＧ１２のうちの１つのエリアＧ１２である例を示したが、本発明はこれに限られない。たとえば、分割されるエリアＧ１２の数は、８個以外の数でもよい。

また、上記第１および第２実施形態では、標識ＭＫ１が、水準器エリアＧ５の外側に表示される例を示したが、本発明はこれに限られない。たとえば、標識ＭＫ１が、水準器エリアＧ５の内側に表示されてもよい。

また、上記第１および第２実施形態では、水準器エリアＧ５が矩形領域である例を示したが、本発明はこれに限られない。たとえば、水準器エリアＧ５が、矩形以外の形状の領域（長円形状など）であってもよい。

また、上記第１および第２実施形態では、カメラエリアＧ２と、ハンドエリアＧ３（ハンドエリアＧ３ａ、ハンドエリアＧ３ｂおよびハンドエリアＧ３ｃ）とがモニタ２４の画面ｇｒの下方の端部ｅｄ近傍の領域に表示される例を示したが、本発明はこれに限られない。たとえば、カメラエリアＧ２と、ハンドエリアＧ３（ハンドエリアＧ３ａ、ハンドエリアＧ３ｂおよびハンドエリアＧ３ｃ）とがモニタ２４の画面ｇｒの上方の端部ｅｕ近傍の領域に表示されてもよい。具体的には、カメラエリアＧ２およびハンドエリアＧ３は、画面ｇｒの上方の端部ｅｕと、上方の端部ｅｕから画面ｇｒの縦方向の長さの１／１０（Ｌ１１）の長さ下方の位置との間に表示すればよい。

また、上記第１および第２実施形態では、複数の医療器具４が、内視鏡６の視野外に位置している場合、複数の医療器具４が各々支持されるアーム６０の配置位置の順に複数の標識ＭＫ１が表示される例を示したが、本発明はこれに限られない。たとえば、複数の医療器具４が各々支持されるアーム６０の配置位置の順と、複数の標識ＭＫ１が表示される順とが異なっていてもよい。

また、上記第１および第２実施形態では、１つまたは２つの医療器具４が、内視鏡６の視野外に位置している場合、標識ＭＫ１が画面ｇｒの中央側に寄せて配置される例を示したが、本発明はこれに限られない。たとえば、複数の医療器具４の各々に対応する標識ＭＫ１が配置される位置が固定されていてもよい。

また、上記第１および第２実施形態では、医療器具４が操作対象である場合と操作対象でない場合とで、標識ＭＫ１の表示の態様が異なる例を示したが、本発明はこれに限られない。たとえば、医療器具４が操作対象である場合と操作対象でない場合とで、標識ＭＫ１の表示の態様が同じであってもよい。

また、上記第１および第２実施形態では、視野外に位置している医療器具４を示す標識ＭＫ１を水準器エリアＧ５の外縁近傍エリアＧ１１に表示する例を示したが、本発明はこれに限られない。たとえば、図２８および図２９に示すように、水準器エリアＧ５の外縁近傍エリアＧ１１に加えて、ハンドエリアＧ３ａ（ハンドエリアＧ３ｂおよびハンドエリアＧ３ｃ）の内部（たとえば、左端）に８分割されたエリアＧ１３を表示（図２９（ａ）参照）する。そして、視野外に位置している医療器具４に対応するエリアＧ１３を白く塗りつぶす（図２９（ｂ）参照）ことにより、視野外に位置している医療器具４を示してもよい。

また、上記第１および第２実施形態では、視野外に位置している医療器具４を示す標識ＭＫ１を水準器エリアＧ５の外縁近傍エリアＧ１１に表示する例を示したが、本発明はこれに限られない。たとえば、図３０および図３１に示すように、水準器エリアＧ５の外縁近傍エリアＧ１１に加えて、ハンドエリアＧ３ａ（ハンドエリアＧ３ｂおよびハンドエリアＧ３ｃ）の外縁部近傍を８分割したエリアＧ１４を準備する。そして、視野外に位置している医療器具４に対応するエリアＧ１４を白く塗りつぶすことにより、視野外に位置している医療器具４を示してもよい。

また、上記第１および第２実施形態では、アーム６０が４つ設けられている例を示したが、本発明はこれに限られない。本発明では、アーム６０の数は、少なくとも１つ以上設けられていれば他の任意の数であってもよい。

また、上記第１および第２実施形態では、アーム部６１およびポジショナ４０が７軸多関節ロボットから構成されている例を示したが、本発明はこれに限られない。たとえば、アーム部６１およびポジショナ４０が７軸多関節ロボット以外の軸構成（例えば、６軸や８軸）の多関節ロボットなどから構成されていてもよい。

また、上記第１および第２実施形態では、医療用マニピュレータ１が、医療用台車３と、ポジショナ４０と、アームベース５０とを備えている例を示したが、本発明はこれに限らない。たとえば、医療用台車３と、ポジショナ４０と、アームベース５０は必ずしも必要なく、医療用マニピュレータ１が、アーム６０だけで構成されてもよい。

また、上記第１実施形態では、黒の四角の中にアーム６０の番号（１～４のいずれか）が表示される例を示したが、本発明はこれに限らない。たとえば、図３２の標識ＭＫ４に示すように、黒の四角の外縁ｅ１が他の色（赤など）で囲われていてもよい。また、図３３（ａ）の標識ＭＫ５に示すように、黒の四角が表示されずに、白抜きの長円の中にアーム６０の番号のみが表示されるか（操作対象の場合）、または、図３３（ｂ）の標識ＭＫ５に示すように、灰色のアーム６０の番号のみが表示されてもよい（操作対象でない場合）。

また、上記第２実施形態では、矢印ＭＫ２ａが平面的に示されている例を示したが、本発明はこれに限らない。たとえば、矢印ＭＫ２ａを立体的（３次元的）に示してもよい。これにより、内視鏡６の視野外に位置する医療器具４が、操作者に対して近い側に位置している場合と、操作者に対して遠い側に位置している場合とを区別する（操作者が認識する）ことができる。

また、上記第１および第２実施形態では、本発明のセンターエリアとして水準器ＬＶが表示される水準器エリアＧ５が適用される例を示したが、本発明はこれに限らない。本発明では、本発明のセンターエリアとして水準器ＬＶが表示される水準器エリアＧ５以外のエリアを適用してもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび/またはプロセッサの構成に使用される。

２ 遠隔操作装置
４ 医療器具（第１手術器具、第２手術器具、交換用手術器具）
６ 内視鏡
８ 画像処理装置（制御装置）
２１Ｌ 操作ハンドル（第１操作ハンドル）
２１Ｒ 操作ハンドル（第２操作ハンドル）
２２ フットペダル（操作ペダル）
２２ｃ カメラペダル（内視鏡ペダル、操作ペダル）
２４ モニタ（表示装置）
６０ アーム（マニピュレータ）
６０Ｌ 左アーム（第１マニピュレータ）
６０Ｒ 右アーム（第２マニピュレータ）
６０ｃ アーム（第３マニピュレータ）
１００ 外科手術システム（手術システム）
ＣＮ１ （画像の）中央部
ＣＮ２ （センターエリアの）中央部
ｅ （画像の）端部
ｅｄ （下方の）端部
ｅｌ （左側の）端部
ｅｒ （右側の）端部
ｅｕ （上方の）端部
ｇｒ 画像
Ｇ グラフィカルユーザインターフェイス
Ｇ２ カメラエリア（第４エリア）
Ｇ３ａ ハンドエリア（第１エリア）
Ｇ３ｂ ハンドエリア（第２エリア）
Ｇ３ｃ ハンドエリア（第３エリア）
Ｇ４ 医療器具状態情報エリア（手術器具状態情報エリア）
Ｇ５ 水準器エリア（センターエリア）
Ｇ５ａ 上辺部
Ｇ５ｂ 左辺部
Ｇ５ｃ 右辺部
Ｇ５ｄ 下辺部
Ｇ６ 左ポップアップエリア（操作ペダルエリア）
Ｇ７ 右ポップアップエリア（操作ペダルエリア）
Ｇ１０ ステータスエリア（手術システムエリア）
Ｇ１１ 外縁近傍エリア
Ｇ１２ （医療器具が位置する方向に対応する）エリア
ＬＶ 水準器
ＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４ ＭＫ５ 標識
ＭＫ２ａ 矢印

Claims (17)

1. 手術部位の画像を撮像する内視鏡、第１手術器具および第２手術器具を各々支持するための複数のマニピュレータと、
   前記内視鏡によって撮像された画像を表示するための表示装置、前記第１手術器具を操作するための第１操作ハンドル、および、前記第２手術器具を操作するための第２操作ハンドルを含む遠隔操作装置と、
   制御装置と、を備え、
   前記制御装置は、前記内視鏡の移動を可能にする指令を受けた場合で、且つ、前記第１手術器具および前記第２手術器具の少なくとも何れかが前記内視鏡の視野外に位置している場合に、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくとも何れかを示す標識を前記表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するためのグラフィカルユーザインターフェイスを、前記内視鏡によって撮像された前記画像上に重ねて前記表示装置に表示するように構成されている、手術システム。
2. 前記グラフィカルユーザインターフェイスは、前記センターエリアの前記外縁近傍エリアで、且つ、前記センターエリアの中央部に対して、視野外の前記第１手術器具および前記第２手術器具の少なくとも何れかが位置する方向に対応するエリアに、前記標識を配置して表示するように構成されている、請求項１に記載の手術システム。
3. 視野外の前記第１手術器具および前記第２手術器具の少なくとも何れかを表示する前記標識が表示されるエリアは、前記外縁近傍エリアを前記センターエリアの中央部から放射状に複数に分割したエリアのうちの１つのエリアである、請求項２に記載の手術システム。
4. 前記制御装置は、前記内視鏡の移動を可能にする指令を受けた場合に、前記センターエリアに前記内視鏡の水準器を表示するとともに、前記標識を前記水準器の外側に表示する前記グラフィカルユーザインターフェイスを前記表示装置に表示する、請求項１～３のいずれか１項に記載の手術システム。
5. 前記遠隔操作装置は、操作ペダルを備え、
   前記グラフィカルユーザインターフェイスは、手術器具の状態情報を示す手術器具状態情報エリアと、前記操作ペダルが操作されたときに表示される操作ペダルエリアと、前記手術システムの状態を示す手術システムエリアとのうちの少なくとも１つをさらに含み、
   前記標識は、前記センターエリアと、前記手術器具状態情報エリア、前記操作ペダルエリアおよび前記手術システムエリアのうちの少なくとも１つと、の間に配置されている、請求項１～４のいずれか１項に記載の手術システム。
6. 前記センターエリアは、上辺部、左辺部、右辺部および下辺部を含む矩形領域であり、
   前記上辺部は、前記画面の中央部から前記画面の縦方向の長さの１／１０の長さ上方の位置と、前記画面の上方の端部から前記画面の縦方向の長さの１／１０の長さ下方の位置との間に配置され、
   前記左辺部は、前記画面の中央部から前記画面の横方向の長さの１／１０の長さ左側の位置と、前記画面の左側の端部から前記画面の横方向の長さの１／１０の長さ右側の位置との間に配置され、
   前記右辺部は、前記画面の中央部から前記画面の横方向の長さの１／１０の長さ右側の位置と、前記画面の右側の端部から前記画面の横方向の長さの１／１０の長さ左側の位置との間に配置され、
   前記下辺部は、前記画面の中央部から前記画面の縦方向の長さの１／１０の長さ下方の位置と、前記画面の下方の端部から前記画面の縦方向の長さの１／１０の長さ上方の位置との間に配置される、請求項１～５のいずれか１項に記載の手術システム。
7. 前記上辺部は、前記画面の中央部から前記画面の縦方向の長さの１／８の長さ上方の位置と、前記画面の上方の端部から前記画面の縦方向の長さの１／８の長さ下方の位置との間に配置され、
   前記左辺部は、前記画面の中央部から前記画面の横方向の長さの１／８の長さ左側の位置と、前記画面の左側の端部から前記画面の横方向の長さの１／８の長さ右側の位置との間に配置され、
   前記右辺部は、前記画面の中央部から前記画面の横方向の長さの１／８の長さ右側の位置と、前記画面の右側の端部から前記画面の横方向の長さの１／８の長さ左側の位置に配置され、
   前記下辺部は、前記画面の中央部から前記画面の縦方向の長さの１／８の長さ下方の位置と、前記画面の下方の端部から前記画面の縦方向の長さの１／８の長さ上方の位置との間に配置される、請求項６に記載の手術システム。
8. 前記複数のマニピュレータは、交換用手術器具を支持するための前記マニピュレータを含み、
   前記グラフィカルユーザインターフェイスは、前記第１手術器具に関する情報を示す第１エリアと、前記交換用手術器具に関する情報を表示する第２エリアと、前記第２手術器具に関する情報を示す第３エリアと、前記内視鏡に関する情報を示す第４エリアと、を前記画面の下方または上方の端部近傍領域に配置して表示する、請求項１～７のいずれか１項に記載の手術システム。
9. 前記第１エリア、前記第２エリア、前記第３エリアおよび前記第４エリアは、前記画面の下方の端部近傍領域に配置して表示され、
   前記センターエリアは、上辺部、左辺部、右辺部および下辺部を含む矩形領域であり、
   前記下辺部は、前記第１エリア、前記第２エリア、前記第３エリアおよび前記第４エリアよりも上方に配置されている、請求項８に記載の手術システム。
10. 前記第１手術器具、前記交換用手術器具および前記第２手術器具のうちの複数が前記内視鏡の視野外に位置している場合、前記第１手術器具、前記交換用手術器具および前記第２手術器具の各々が設けられる前記マニピュレータの配置位置の順に対応するように、前記内視鏡の視野外に位置している手術器具に対応する複数の前記標識が表示される、請求項８または９に記載の手術システム。
11. 前記標識は、表示される状態と、表示されない状態とを切り替え可能に構成されている、請求項１～１０のいずれか１項に記載の手術システム。
12. 前記遠隔操作装置は、前記内視鏡を移動させるための指令を入力する入力部を備え、
    前記内視鏡の移動を可能にする指令が前記入力部により入力された場合、前記内視鏡は、前記第１操作ハンドルおよび前記第２操作ハンドルの両方を操作することによって移動するように構成されている、請求項１～１１のいずれか１項に記載の手術システム。
13. 前記標識は、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくとも何れかが、操作対象である場合と前記操作対象でない場合とで異なる態様で表示される、請求項１～１２のいずれか１項に記載の手術システム。
14. 前記標識は、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくとも何れかを支持する前記マニピュレータを特定する番号を含む、請求項１～１３のいずれか１項に記載の手術システム。
15. 前記標識は、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくとも何れかが存在している方向を示す矢印をさらに含む、請求項１～１４のいずれか１項に記載の手術システム。
16. 第１手術器具を支持するための第１マニピュレータと、
    第２手術器具を支持するための第２マニピュレータと、
    手術部位の画像を撮像する内視鏡を支持するための第３マニピュレータと、
    前記内視鏡によって撮像された画像を表示するための表示装置、前記第１手術器具を操作するための第１操作ハンドル、前記第２手術器具を操作するための第２操作ハンドル、および前記内視鏡の移動を前記第１操作ハンドルおよび前記第２操作ハンドルの操作によって実行させるための内視鏡ペダルを含む操作ペダルを備えた遠隔操作装置と、
    制御装置と、を備え、
    前記制御装置は、前記内視鏡ペダルが操作された場合で、且つ、前記第１手術器具および前記第２手術器具の少なくとも何れかが前記内視鏡の視野外に位置している場合に、視野外に位置している前記第１手術器具および前記第２手術器具の少なくとも何れかを示す標識を前記表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するためのグラフィカルユーザインターフェイスを、前記内視鏡によって撮像された前記画像上に重ねて前記表示装置に表示するように構成されている、手術システム。
17. 手術部位の画像を取り込むための内視鏡によって取り込まれた画像を取得するステップと、
    グラフィカルユーザインターフェイスを生成し、前記グラフィカルユーザインターフェイスを前記内視鏡によって取り込まれた画像上に重ねて、表示装置に表示するステップとを備え、
    前記グラフィカルユーザインターフェイスを表示するステップは、前記内視鏡の移動を可能にする指令を受けた場合で、且つ、第１マニピュレータに支持される第１手術器具および第２マニピュレータに支持される第２手術器具の少なくとも何れかが前記内視鏡の視野外に位置している場合に、前記視野外に位置している前記第１手術器具および前記第２手術器具の少なくとも何れかを示す標識を前記表示装置の画面の端部近傍を含まずに中央部を含むセンターエリアの外縁近傍エリアに表示するための前記グラフィカルユーザインターフェイスを、前記内視鏡によって撮像された前記画像上に重ねて前記表示装置に表示するステップを含む、表示方法。

Images