[go: up one dir, main page]

JP2016036592A - 医療システム - Google Patents

医療システム Download PDF

Info

Publication number
JP2016036592A
JP2016036592A JP2014162539A JP2014162539A JP2016036592A JP 2016036592 A JP2016036592 A JP 2016036592A JP 2014162539 A JP2014162539 A JP 2014162539A JP 2014162539 A JP2014162539 A JP 2014162539A JP 2016036592 A JP2016036592 A JP 2016036592A
Authority
JP
Japan
Prior art keywords
image signal
display device
monitor
input
output terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014162539A
Other languages
English (en)
Other versions
JP6374263B2 (ja
Inventor
潔志 関口
Kiyoshi Sekiguchi
潔志 関口
伊織 根本
Iori Nemoto
伊織 根本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014162539A priority Critical patent/JP6374263B2/ja
Publication of JP2016036592A publication Critical patent/JP2016036592A/ja
Application granted granted Critical
Publication of JP6374263B2 publication Critical patent/JP6374263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

【課題】スイッチャーに接続されているモニタが何次元対応であるかを自動的に判別し、入力画像の次元に応じたモニタを自動的に選択できるようにすることで、術者が集中して手技を効率よく行うことができる医療システムを提供する。【解決手段】医療システム100は、三次元画像信号を表示可能な3Dモニタ111a、111c、111fと、二次元画像信号のみ表示可能な2Dモニタ111b、111d、111eと、複数の入出力端子を備えており所望の入力端子から入力される画像信号を所望の出力端子に接続されているモニタへ出力させるスイッチャー155と、スイッチャー155に接続されているモニタ111a〜111fのタイプを記憶する記録部164と、入力される画像信号が二次元画像信号であるか三次元画像信号であるかを識別し、識別結果に基づき選択可能な出力端子を抽出する制御部162とを有する。【選択図】図2

Description

本発明の実施形態は、医療システムに関し、特に、3D/2D対応モニタと3D非対応モニタとが混在する医療システムに関する。
近年、技術の発展と共に、医療機器の種類は豊富となっており、また、その機能も充実してきている。手術室では、X線透視画像、内視鏡画像、心拍数など、これらの機器から得られる様々な医療情報を参照しながら手技を行う必要があるため、一般的には、複数のモニタを室内に配置し、それぞれの画面に各情報を表示している。
従来、内視鏡装置から得られる内視鏡画像は二次元画像であったため、これを表示するモニタも二次元対応のもので十分であった。ところが、近年、三次元の内視鏡画像を取得可能な内視鏡装置が実用化されてきており、医療情報を表示するモニタも三次元対応のものが用いられるようになってきた。中には、用途に応じて二次元/三次元の切り替えをおこないながら画像を取得可能な内視鏡装置も開発されており、二次元用のモニタと三次元用のモニタとを備えておき、取得した画像に応じてモニタを切り替えて使用するシステムも開発されている(例えば、特許文献1参照)。
特開平8−126606号公報
しかしながら、特許文献1に記載された医療システムでは、内視鏡装置から取得した画像を表示させるモニタが固定化されている。このため、手術室に設けられている複数のモニタの中から所望のモニタを術者が選択して画像を表示させることができないという問題があった。これを解決するものとして、内視鏡画像や術野カメラの画像などの医療画像を、スイッチャーを介してモニタに接続し出力することで、術者が所望のモニタを選択して所望の医療画像を表示させることが可能な医療システムが開発されている。
ところが、スイッチャーに入力される医療画像は二次元の画像と三次元の画像とが混在しており、また、接続されるモニタも二次元対応のものと三次元対応のものとが混在している。三次元の画像を二次元対応のモニタに表示させることはできないため、三次元の画像を表示させる場合は、確実に三次元対応のモニタに表示させる必要がある。従って、術者は、スイッチャーに接続されているすべてのモニタについて、どの端子に接続されたモニタが何次元対応のモニタであるかを把握しておき、表示させる画像が二次元であるか三次元であるかに応じて、適切なモニタを選択する必要があった。
更に、手術室に準備されるモニタの数や構成も、手技などに応じて都度変更されるため、術者は手技の都度、スイッチャーのどの端子に接続されたモニタが何次元対応のモニタであるかを覚えなおす必要があり、手技に集中できず作業が非効率になってしまうという問題があった。
そこで、本発明は、スイッチャーに接続されているモニタが何次元対応であるかを自動的に判別し、入力画像の次元に応じたモニタを自動的に選択できるようにすることで、術者が集中して手技を効率よく行うことができる医療システムを提供することを目的とする。
本発明の一態様の医療システムは、三次元画像信号を表示可能な第一の表示装置と、二次元画像信号のみを表示可能な第二の表示装置とを有する。また、医療システムは、複数の画像信号入力端子と複数の画像信号出力端子とを備え、選択された前記画像信号入力端子から入力される画像信号を選択された前記画像信号出力端子に接続されている表示装置へ出力させる入出力切替部と、前記入出力切替部に接続されている前記表示装置が三次元画像信号を表示可能な第一の表示装置であるか二次元画像信号のみを表示可能な第二の表示装置であるかを識別可能な情報を記憶する記憶部と、前記選択された画像信号入力端子から入力される画像信号が前記二次元画像信号であるか前記三次元画像信号であるかを識別し、識別結果に基づき選択可能な前記画像信号出力端子を抽出する制御部と、を有する。
本発明の医療システムによれば、スイッチャーに接続されているモニタが何次元対応であるかを自動的に判別し、入力画像の次元に応じたモニタを自動的に選択できるので、術者が集中して手技を効率よく行うことができる。
本発明の第1の実施形態に係わる医療システム100の全体構成の一例を説明する図。 ビデオスイッチャー155とこれに接続されている機器の構成の一例を説明する図。 ビデオスイッチャー155に接続されたモニタ111のチェック手順の一例を説明するフローチャート。 ビデオスイッチャー操作画面の一例を説明する図。 ビデオスイッチャー155に入力される画像信号のタイプをチェックする手順の一例を説明するフローチャート。 入力画像の表示可否をモニタ111に表示させる手順の一例を説明するフローチャート。 第2の実施形態に係わるビデオスイッチャー操作画面の一例を説明する図。 第2の実施形態に係わるビデオスイッチャー操作画面の一例を説明する図。 ビデオスイッチャー155に接続されたモニタ111のチェック手順の一例を説明するフローチャート。 第3の実施形態に係わるビデオスイッチャー操作画面の一例を説明する図。 第3の実施形態に係わるビデオスイッチャー操作画面の一例を説明する図。
以下、図面を参照して実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる医療システム100の全体構成の一例を説明する図である。図1に示すように、本実施形態の医療システムは、医療機器制御システム101と、非医療機器制御システム150とから構成される。医療機器制御システム101は、複数の医療機器と、これらの医療機器を制御するシステムコントローラ114とからなるシステムである。非医療機器制御システム150は、手術に関係のある非医療機器と、これらの非医療機器を制御するシステムコントローラ153とからなるシステムである。
まず、医療機器制御システム101について、内視鏡下外科手術の場合を一例に挙げて説明する。手術室には、患者145が横たわるベッド144の両側に、第一内視鏡手術システム102と、第二内視鏡手術システム103と、術者用無線リモートコントローラ143とが配置されている。第一内視鏡手術システム102は、観察、検査、処置、記録などを行う複数の内視鏡周辺機器が、第一トロリー120に搭載されている。第二内視鏡手術システム103も同様に、観察、検査、処置、記録などを行う複数の内視鏡周辺機器が、第二トロリー139に搭載されている。
第一トロリー120には、医療画像表示パネル111a、集中表示パネル112、集中操作パネルデバイス113、システムコントローラ114、レコーダ115、ビデオプロセッサ116、内視鏡光源装置117、気腹装置118、電気メス装置119、ビデオスイッチャー155が配置されている。
医療画像表示パネル111aは、例えば液晶ディスプレイ等の表示装置であり、システムコントローラ114とビデオスイッチャー155とを介してビデオプロセッサ116から入力された映像信号、すなわち患部等の内視鏡画像などが表示される。なお、医療画像表示パネル111aには、内視鏡画像のほかに、図示しない術野カメラで撮影される術野画像なども表示させることができる。ビデオスイッチャー155を操作することで、医療画像表示パネル111aに表示させる画像を選択することができる。
集中表示パネル112は、手術中のあらゆるデータを選択的に表示させることが可能な表示手段である。集中操作パネルデバイス113は、例えば液晶ディスプレイ等の表示部とこの表示部上に一体的に設けられた例えばタッチセンサにより構成され、非滅菌域にいる看護師等が、各医療機器を集中管理、制御、操作することができる集中操作装置である。集中操作パネルデバイス113によって指示された操作情報は、システムコントローラ114に入力され、システムコントローラ114に接続されている各医療装置の制御に用いられる。
なお、システムコントローラ114には、医療画像表示パネル111aと、集中表示パネル112と、集中操作パネルデバイス113と、レコーダ115と、ビデオプロセッサ116と、内視鏡光源装置117と、気腹装置118と、電気メス装置119とが、図示しないシリアルインタフェースケーブル等の通信ケーブルを介して接続されている。従って、集中操作パネルデバイス113を用いて、これらの医療機器を制御することができる。
また、システムコントローラ114には、ヘッドセット型マイク142を接続することができる。システムコントローラ114に接続されている各装置の制御は、非滅菌域にいる看護師等によって集中操作パネルデバイス113から行うだけでなく、ヘッドセット型マイク142から入力された音声を認識し、滅菌域にいる術者の音声により各装置を制御できるようになっている。
内視鏡光源装置117は、ランプから照射された照明光を伝送するライトガイドケーブルを介して第一の内視鏡146に接続されている。内視鏡光源装置117からの照明光は、第一の内視鏡146に供給されると、第一の内視鏡146の挿入部が刺入された患者145の腹部内の患部等を照明する。
第一の内視鏡146の挿入部の基端側には、撮像素子を備えたカメラヘッドが装着され、患部等の光学像をカメラヘッド内の撮像素子で撮像する。この撮像素子で撮像された撮像信号は、カメラケーブルを介してビデオプロセッサ116に伝送される。ビデオプロセッサ116は、伝送された撮像信号に所定の信号処理を施し、映像信号を生成する。そして、ビデオプロセッサ116は、生成した映像信号をシステムコントローラ114に出力する。システムコントローラ114は、ビデオスイッチャー155を介し、ビデオスイッチャー155に接続されている医療画像表示パネル111のうち選択された医療画像表示パネル111に対して映像信号を出力し、表示させる。
気腹装置118には炭酸ガスボンベ121が接続されており、トロッカーを介して患者145の腹部内に炭酸ガスを供給する。電気メス装置119は、アクティブ電極と患者145の体下に設置されている患者プレートと接続されており、体表面や患部等の焼灼を行う。
第二トロリー139には、医療画像表示パネル111b、集中表示パネル132、中継ユニット133、レコーダ134、ビデオプロセッサ135、内視鏡光源装置136、その他の医療機器137、138、(例えば、超音波処理装置、砕石装置、ポンプ、シェーバなど、)が搭載されている。それぞれの機器は、図示しないケーブルで中継ユニット133に接続されており、双方向の通信が可能になっている。また、システムコントローラ114と中継ユニット133とは、中継ケーブル141で接続されている。
医療画像表示パネル111bは、医療画像表示パネル111aと同様に、例えば液晶ディスプレイ等の表示装置であり、システムコントローラ114とビデオスイッチャー155とを介してビデオプロセッサ135から入力された映像信号、すなわち患部等の内視鏡画像などが表示される。なお、医療画像表示パネル111bには、内視鏡画像のほかに、図示しない術野カメラで撮影される術野画像なども表示させることができる。ビデオスイッチャー155を操作することで、医療画像表示パネル111bに表示させる画像を選択することができる。
内視鏡光源装置136は、ランプから照射された照明光を伝送するライトガイドケーブルを介して第二の内視鏡147に接続されている。内視鏡光源装置136からの照明光は、第二の内視鏡147に供給されると、第二の内視鏡147の挿入部が刺入された患者145の腹部内の患部等を照明する。
第二の内視鏡147の挿入部の基端側には、撮像素子を備えたカメラヘッドが装着され、患部等の光学像をカメラヘッド内の撮像素子で撮像する。この撮像素子で撮像された撮像信号は、カメラケーブルを介してビデオプロセッサ135に伝送される。ビデオプロセッサ135は、伝送された撮像信号に所定の信号処理を施し、映像信号を生成する。生成された映像信号は、システムコントローラ114、ビデオスイッチャー155を介して医療画像表示パネル111bなどに出力され、患部等の内視鏡画像として表示される。
なお、第一トロリー120、第二トロリー139には、上述した機器以外の機器(例えば、プリンタ、超音波観測装置、など)を搭載することもできる。また、可動スタンドには、医療画像表示パネル111cが搭載されている。
入出力切替部としてのビデオスイッチャー155は、複数の入力端子と出力端子とを備えており、所望の入力端子から入力された画像信号を所望の出力端子に接続された表示装置に出力し表示させることができる。例えば、2つの入力端子のそれぞれにビデオプロセッサ116、135が接続されており、3つの出力端子のそれぞれに医療画像表示パネル111a、111b、111cが接続されている場合、ビデオプロセッサ116から入力される第一の内視鏡146で撮像された内視鏡画像を、医療画像表示パネル111aに表示させることもできるし、医療画像表示パネル111bや医療画像表示パネル111cに表示させることもできる。入力端子と出力端子の組み合わせは、集中操作パネルデバイス113を用いて設定することができる。
次に、非医療機器制御システム150について、内視鏡下外科手術に使用される非医療機器を一例に挙げて説明する。手術室には、部屋に明かりを点けるための室内灯151、部屋全体の映像を撮影するためのルームカメラ152、記録した手術映像を再生するためのDVDプレイヤー154、手術室外と連絡をするための電話156、部屋の空調を制御するためのエアコン157、などの非医療機器が配置されている。これらの非医療機器は、システムコントローラ153と接続されており、このシステムコントローラ153によって集中的に制御可能になされている。
なお、図1では、内視鏡下外科手術が行われる手術室に設けられた医療システム100を例示したが、医療システム100の用途は内視鏡下外科手術に限られず、他の手術や診察のために用いられてもよい。また、医療システム100は、診察室など手術室以外に設けられてもよい。医療システム100は、さらに、図1では図示しない種々の装置及び設備を含んでもよい。
次に、ビデオスイッチャー155と、これに接続されている機器の構成について、図2を用いて説明する。図2は、ビデオスイッチャー155とこれに接続されている機器の構成の一例を説明する図である。
図2に示すように、ビデオスイッチャー155には、内視鏡装置146で撮像された撮像信号を処理し、三次元の画像信号を生成し出力する3Dプロセッサ116と、術野を撮影し、二次元の画像信号を出力する術野カメラ161とが、入力端子に接続されている。一方、ビデオスイッチャー155の出力端子には、複数の医療画像表示パネル(以下、モニタと示す)111a〜11fが接続されている。モニタ111には、三次元画像が表示可能な第一の表示装置としての3D対応モニタ111a、111c、111fと、二次元画像のみ表示可能な第二の表示装置としての3D非対応モニタ111b、111d、111eとが含まれている。また、戻り映像信号がビデオスイッチャー155に入力されるように、これらのモニタ111a〜111fはビデオスイッチャー155の入力端子とも接続されている。さらに、ビデオスイッチャー155は、システムコントローラ114とも接続されている。
システムコントローラ114は、ビデオスイッチャー155に接続されている表示装置(モニタ111a〜111f)のそれぞれについて、三次元画像表示可能であるか否かを識別し識別結果に基づきビデオスイッチャー155の動作を制御する。システムコントローラ114は、ビデオスイッチャー155の入出力端子の設定を行ったり、その他接続されている機器(例えば、3Dプロセッサ116や術野カメラ161)の動作の制御を行ったりする制御部162と、ビデオスイッチャー155に接続されている表示装置(モニタ111a〜111f)の識別結果を記録する記録部164とを備えている。記録部164には、例えば、システムコントローラ114を動作させるためのプログラムやその他プログラムの実行に必要な各種データやパラメータ、集中操作パネルデバイス113に表示させる画面を構成するためのデータなども格納されている。制御部162は、三次元のテスト映像信号を保持するメモリ163を有する。
また、システムコントローラ114は、メモリ163に保持されている三次元のテスト映像信号を、ビデオスイッチャー155を介してモニタ111a〜111fへ出力する映像出力部165と、テスト映像を入力した場合におけるモニタ111a〜111fからの戻り映像をチェックする映像チェック部166も備えている。すなわち、映像出力部165はビデオスイッチャー155の入力端子と接続されており、映像チェック部166はビデオスイッチャー155の出力端子と接続されている。システムコントローラ114には、集中操作パネルデバイス(以下、タッチパネルと示す)113が接続されている。ビデオスイッチャー155の入力端子と出力端子の組み合わせは、タッチパネル113に表示されるビデオスイッチャー操作画面を用いて設定することができる。
なお、3D対応モニタ111a、111c、111fが入力される画像の次元に応じて表示機能を切り替えることが可能であり、二次元の画像信号にも対応して二次元画像を表示可能なモニタである場合、システムコントローラ114の制御部162からモニタ111a、111c、111fに対して制御信号を出力し、二次元画像表示と三次元画像表示とを切り替えるように構成してもよい。
次に、ビデオスイッチャー155に接続されている全ての表示装置(モニタ111a〜111f)について、三次元画像表示可能であるか否かを識別する手順について、図3を用いて説明する。図3は、ビデオスイッチャー155に接続されたモニタ111のチェック手順の一例を説明するフローチャートである。なお、手技ごとに医療システム100に配置されるモニタ111の数やタイプ(三次元画像表示可否)、ビデオスイッチャー155との接続形態が変更される場合が多いため、図3に示すモニタ111のチェックは、システムコントローラ114が起動されると必ず実行される。
まず、システムコントローラ114は、メモリ163から三次元のテスト映像信号を読み出して、映像出力部165からビデオスイッチャー155へ出力する(ステップS1)。次に、識別対象のモニタ111を1台選択し、テスト映像信号の出力先として設定する(ステップS2)。例えば、モニタ111a、111b、…、111fの順にチェックを行う場合、ステップS2において、モニタ111aがテスト映像信号の出力先として設定される。また、ステップS2では、モニタ111aから出力される戻り映像信号がシステムコントローラ114の映像チェック部166へ入力されるように、ビデオスイッチャー155の設定を行う。
システムコントローラ114は、モニタ111aに対して三次元のテスト映像信号を出力すると、モニタ111aから戻り映像信号が入力されるのを待つ。モニタ111aからの戻り映像信号が検出された場合(ステップS3、Yes)、映像チェック部166において、戻り映像信号とテスト映像信号との波形を比較する(ステップS4)。一方、モニタ111aからの戻り映像が検出されない場合(ステップS3、No)、あらかじめ設定された所定の時間を経過している場合は(ステップS10、Yes)、チェック対象であるモニタ111aは三次元画像に対応していないと判定し、2Dモニタとして記録部164に登録する(ステップS6)。モニタ111aからの戻り映像信号が検出されないものの、所定の時間を経過していない場合は(ステップS10、No)、そのまま待機する。
モニタが三次元画像に対応している場合、入力された三次元のテスト映像信号をそのまま戻り映像信号として出力するため、両者に差異は生じない。一方、モニタが三次元画像に対応していない場合、入力された三次元のテスト映像信号に対して何らかの処理が加わり、戻り映像信号として出力されるため、両者に差異が生じる。両者の波形を比較した結果、例えば振幅が異なるなどの差異が検出された場合(ステップS5、Yes)、チェック対象であるモニタ111aは三次元画像に対応していないと判定し、2Dモニタとして記録部164に登録する(ステップS6)。一方、両者の波形に差異が検出されなかった場合(ステップS5、No)、チェック対象であるモニタ111aは三次元画像に対応していると判定し、3Dモニタとして記録部164に登録する(ステップS7)。
ステップS6またはステップS7においてモニタ111aのタイプが記録部164に登録されると、当該モニタ111aのチェックを終了する。ビデオスイッチャー155に接続されている全てのモニタ111a〜111fについてチェックが終了していない場合(ステップS8、No)、ステップS2に戻り、チェックを行っていないモニタ(例えばモニタ111b)をチェック対象モニタとして設定し、ステップS3からステップS7の手順を繰り返し実行する。一方、全てのモニタ111a〜111fについて、それぞれのタイプが記録部164に登録され、チェックが終了している場合(ステップS8、Yes)、映像出力部165からビデオスイッチャー155に対する三次元のテスト映像信号の出力を停止し(ステップS9)、ビデオスイッチャー155に接続されている全ての表示装置(モニタ111a〜111f)について、三次元画像表示可能であるか否かの識別を終了する。
次に、所望の入力画像を所望のモニタに表示させるために、ビデオスイッチャー155の入力端子と出力端子とを設定を行う、ビデオスイッチャー操作画面について図4を用いて説明する。図4は、ビデオスイッチャー操作画面の一例を説明する図である。図4に示すように、必要に応じてタッチパネル113に表示されるビデオスイッチャー操作画面は、医療画像を入力する装置が接続されているビデオスイッチャー155の入力端子と、モニタ111が接続されているビデオスイッチャー155の出力端子とが、例えばボタン形式で表示される。
ビデオスイッチャー155に接続された機器の構成が、例えば図2に示すような構成の場合について、以下に説明する。すなわち、入力端子IN1に三次元画像信号を入力する3Dプロセッサ116が接続されており、入力端子IN2に二次元画像信号を入力する術野カメラ161が接続されており、出力端子OUT1〜OUT6にそれぞれモニタ111a〜111fが接続されている。また、出力端子に接続されているモニタ111a〜111fの識別結果が、3つのモニタ111a、111c、111fは三次元画像が表示可能な3D対応モニタであり、残りの3つのモニタ111b、111d、111eは二次元画像のみ表示可能な3D非対応モニタであると判定されているとする。
この場合、ビデオスイッチャー操作画面には、選択可能な入力端子としてIN1、IN2の2つの入力端子が表示され、選択可能な出力端子として、OUT1、OUT2、OUT3、OUT4、OUT5、OUT6の6つの出力端子が表示される。ユーザが入力端子として例えばIN1を選択すると、システムコントローラ114は、IN1から入力される画像信号を表示可能なモニタが接続されている出力端子を抽出し、抽出した出力端子のボタンを強調表示させる。上述の場合、IN1から入力される画像信号は三次元の画像信号であるため、三次元画像が表示可能な3D対応モニタ111a、111c、111fが接続されているOUT1、OUT3、OUT6の3つの出力端子ボタンを強調表示させる。強調表示の方法としては、例えば、他のボタンと色を変えたり、ボタンの枠を太枠にしたり、ボタンを点灯・点滅させたりする方法があげられる。
なお、それぞれの入力端子から入力される画像信号のタイプ(二次元画像信号/三次元画像信号)は、手技に先立ち予めシステムコントローラ114に登録しておいてもよいし、出力端子に接続されているモニタ111a〜111fと同様に、自動的に識別するようにしてもよい。
ビデオスイッチャー155に接続されている機器から入力される画像信号のタイプを識別する手順について、図5を用いて説明する。図5は、ビデオスイッチャー155に入力される画像信号のタイプをチェックする手順の一例を説明するフローチャートである。
まず、タッチパネル113にビデオスイッチャー操作画面を表示させる(ステップS11)。次に、ビデオスイッチャー操作画面に表示されている入力端子ボタンのうち、映像を表示させたい機器が接続されているボタンを選択する(ステップS12)。続いて、選択された入力端子に接続されている機器からビデオスイッチャー155に入力される映像信号が、システムコントローラ114の映像チェック部166に出力されるように、ビデオスイッチャー155の設定を行う(ステップS13)。
映像チェック部166は、入力された映像信号が三次元の映像信号か二次元の映像信号かを識別する(ステップS14)。識別結果は、制御部162に通知される(ステップS15)。制御部162は、識別結果に基づきビデオスイッチャー操作画面を更新し、入力される映像信号のタイプを操作画面上に表示させる(ステップS16)。映像信号のタイプの表示方法としては、例えば、チェックを行った入力端子のボタンの色を、映像信号のタイプに応じた色(例えば、三次元の映像信号であれば青、二次元の映像信号であれば黄色、など)に変更したり、ボタンにタイプがわかるような表記を加えたりする方法を用いることができる。このようにして所望の入力端子から入力される画像信号のタイプを自動的に識別することができる。
このように、本実施形態によれば、ビデオスイッチャー155の出力端子に接続されている全てのモニタ111a〜111fについて、システムコントローラ114のシステム起動時に三次元画像表示可能であるか否かを自動的に識別し、記憶しておく。これにより、手技の最中にビデオスイッチャー155を操作する際に、入力画像のタイプ(二次元画像信号であるか三次元画像信号であるか)に応じて、入力画像を表示可能な表示装置を自動的に抽出し、術者にわかりやすく示すことができる。したがって、術者はビデオスイッチャー155の出力端子に接続されているモニタが何次元対応であるかを事前に登録したり覚えておいたりする必要がなくなり、集中して手技を効率よく行うことができる。
なお、上述の実施形態においては、テスト映像信号と戻り映像信号の波形を比較することにより、チェック対象モニタが三次元対応であるか否かを判定したが、他の方法を用いてもよく、例えば、モニタ111とシステムコントローラ114とが直接接続されている場合、戻り映像信号のフォーマットの変化を検出することで判定してもよい。テスト映像信号がモニタ111に表示可能なフォーマットであれば、テスト映像信号のフォーマットと同じフォーマットの戻り映像信号が出力される。一方、表示不可能なフォーマットであれば、テスト映像の信号にエラー情報が付加されるなど、戻り映像のフォーマットが変化する。フォーマットの変化としては、例えば、データ長の変化や、先頭データの変化などがあげられる。このフォーマットの変化を検知することにより、チェック対象モニタが三次元対応であるか否かを判定してもよい。
また、上述の実施形態においては、入力画像のタイプ(二次元画像信号であるか三次元画像信号であるか)に応じて、入力画像を表示可能なモニタを自動的に抽出し、ビデオスイッチャー操作画面上において当該モニタが接続された出力端子のボタンを強調表示しているが、抽出されたモニタの画面に、選択された入力画像を表示可能であることを識別可能な表示をさせてもよい。図6は、入力画像の表示可否をモニタ111に表示させる手順の一例を説明するフローチャートである。
まず、タッチパネル113にビデオスイッチャー操作画面を表示させる(ステップS21)。次に、ビデオスイッチャー操作画面に表示されている入力端子ボタンのうち、映像を表示させたい機器が接続されているボタンを選択する(ステップS22)。入力端子から三次元映像信号が入力される場合(ステップS23、Yes)、システムコントローラ114は、記録部164に登録されている情報(各出力端子に接続されているモニタのタイプ)を参照し、出力端子に接続されているモニタのうち三次元画像が表示可能な3D対応モニタ111a、111c、111fに対し、選択可能である旨の表示をさせる(ステップS24)。一方、入力端子から二次元映像信号が入力される場合(ステップS23、No)、システムコントローラ114は、出力端子に接続されているモニタのうち二次元画像のみ表示可能な3D非対応モニタ111b、111d、111eに対し、選択可能である旨の表示をさせる(ステップS25)。
ステップS24とステップS25の具体的な方法としては、例えば、ビデオスイッチャー155に接続されている全てのモニタについて、接続先の出力端子の識別子(OUT1、OUT2、…、OUT6)を画面の一隅などに表示させておき、入力映像信号を表示可能なモニタに表示されている出力端子の識別子を強調表示させることで、当該モニタが選択可能であることを明示する。最後に、スイッチャー操作画面に表示されている出力端子ボタンのうち、入力映像信号を表示可能なモニタが接続されている出力端子ボタンを強調表示し(ステップS26)、一連の手順を終了する。
このように、スイッチャー操作画面だけでなく、入力映像信号を表示可能なモニタの画面上に選択可能である旨を表示することで、術者がモニタをより選択しやすくなり、より効率よく手技を行うことができる。
(第2の実施形態)
上述した第1の実施形態の医療システムでは、ビデオスイッチャー115の入力端子が選択されると、スイッチャー操作画面において、入力映像信号を表示可能なモニタが接続された出力端子ボタンを強調表示するようにしていた。これに対し、本実施形態においては、ビデオスイッチャー155の入力端子が選択されると、スイッチャー操作画面において、入力映像信号を表示可能なモニタが接続された出力端子ボタンのみを表示させる点が異なっている。本実施形態の医療システムは、スイッチャー操作画面の入力端子ボタンを選択した後のスイッチャー操作画面の表示内容以外は、第1の実施形態と同様の構成である。
例えば、上述した図2に示すような構成の場合を例に用い、スイッチャー操作画面の入力端子ボタンを選択した後のスイッチャー操作画面の表示内容について、図7と図8とを用いて説明する。図7と図8とは、第2の実施形態に係わるスイッチャー操作画面の一例を説明する図である。図7は、三次元画像信号が入力される入力端子IN1が選択された場合のスイッチャー操作画面を示している。また、図8は、二次元画像信号が入力される入力端子IN2が選択された場合のスイッチャー操作画面を示している。
図2に示すように、例えばビデオスイッチャー155には、入力端子IN1に三次元画像信号を入力する3Dプロセッサ116が接続されており、入力端子IN2に二次元画像信号を入力する術野カメラ161が接続されており、出力端子OUT1〜OUT6にそれぞれモニタ111a〜111fが接続されている。また、3つのモニタ111a、111c、111fは三次元画像が表示可能な3D対応モニタであり、残りの3つのモニタ111b、111d、111eは二次元画像のみ表示可能な3D非対応モニタであると判定されているとする。
この場合、ビデオスイッチャー操作画面には、選択可能な入力端子としてIN1、IN2の2つの入力端子が表示され、選択可能な出力端子として、OUT1、OUT2、OUT3、OUT4、OUT5、OUT6の6つの出力端子が表示される。ユーザが入力端子としてIN1を選択すると、システムコントローラ114は、IN1から入力される画像信号を表示可能なモニタが接続されている出力端子を抽出し、抽出した出力端子のボタンのみを表示させ、それ以外の出力端子のボタンを非表示にする。IN1から入力される画像信号は三次元の画像信号であるため、図7に示すように、三次元画像が表示可能な3D対応モニタ111a、111c、111fが接続されているOUT1、OUT3、OUT6の3つの出力端子ボタンのみが表示され、それ以外の3つの出力端子ボタン(OUT2、OUT4、OUT5)は非表示となる。
ユーザが入力端子としてIN2を選択すると、システムコントローラ114は、IN2から入力される画像信号を表示可能なモニタが接続されている出力端子を抽出し、抽出した出力端子のボタンのみを表示させ、それ以外の出力端子のボタンを非表示にする。IN2から入力される画像信号は二次元の画像信号であるため、図8に示すように、二次元画像が表示可能な3D非対応モニタ111b、111d、111eが接続されているOUT2、OUT4、OUT5の3つの出力端子ボタンのみが表示され、それ以外の3つの出力端子ボタン(OUT1、OUT3、OUT6)は非表示となる。
このように、本実施形態のおいては、スイッチャー操作画面において入力端子ボタンが押下されて入力画像信号のタイプが決定すると、入力画像信号を表示可能なモニタが接続されている出力端子ボタンのみを表示させ、表示不可であるモニタが接続されている出力端子ボタンを非表示とすることで、タイプのミスマッチにより入力画像を表示できないモニタを術者が誤って選択してしまうことを防止でき、確実に所望の画像をモニタに表示させることができる。従って、術者はより効率よく手技を行うことができる。
なお、それぞれの入力端子から入力される画像信号のタイプ(二次元画像信号/三次元画像信号)は、手技に先立ち予めシステムコントローラ114に登録しておいてもよいし、第1の実施形態で説明したように、例えば図6に示す手順などを用いて自動的に識別するようにしてもよい。また、入力画像信号を表示可能なモニタの画面に、選択された入力画像を表示可能であることを識別可能な表示をさせてもよい。
(第3の実施形態)
上述した第1の実施形態の医療システムは、システムコントローラ114の起動時に、ビデオスイッチャー155の出力端子に接続されているモニタ111のタイプを自動的にチェックしていた。これに対し、本実施形態では、システムコントローラ114の起動後に出力端子に接続されたモニタのタイプもチェックできる点が異なっている。本実施形態の医療システムの構成は、第1の実施形態と同様の構成である。以下、第1の実施形態と異なるモニタのタイプをチェックする手順について、図9に示すフローチャートを用いて説明する。
図9は、ビデオスイッチャー155に接続されたモニタ111のチェック手順の一例を説明するフローチャートである。まず、システムコントローラ114が起動されている状態で、ビデオスイッチャー155の出力端子にモニタを追加で接続する(ステップS31)。例えば、ビデオスイッチャー155の出力端子OUT1〜OUT6にはシステムコントローラ114の起動前にモニタ111a〜111fが接続されており、これら6台のモニタについてはタイプのチェック及び登録が終了している状態で、ビデオスイッチャー155の出力端子OUT7に新たにモニタ111gを追加接続する場合が、ステップS31に該当する。
次に、システムコントローラ114は、新たにモニタ111gが接続された出力端子OUT7のボタンをスイッチャー操作画面に追加表示する。そこで、スイッチャー操作画面に表示された出力端子OUT7のボタンを押下し、モニタ111gが3D対応モニタであるか否かのチェックを開始する(ステップS32)。
チェックが開始されると、まず、システムコントローラ114の映像出力部165から出力される三次元のテスト映像信号がモニタ111gへ入力され、モニタ111gから出力される戻り映像信号がシステムコントローラ114の映像チェック部166へ入力されるように、ビデオスイッチャー155の設定がなされる。システムコントローラ114は、モニタ111gに対して三次元のテスト映像信号を出力すると、モニタ111gから戻り映像信号が入力されるのを待つ。モニタ111gからの戻り映像信号が検出された場合(ステップS33、Yes)、映像チェック部166において、戻り映像信号とテスト映像信号との波形を比較する(ステップS34)。一方、モニタ111gからの戻り映像が検出されない場合(ステップS33、No)、あらかじめ設定された所定の時間を経過している場合は(ステップS39、Yes)、チェック対象であるモニタ111gは三次元画像に対応していないと判定し、2Dモニタとして記録部164に登録する(ステップS36)。モニタ111gからの戻り映像信号が検出されないものの、所定の時間を経過していない場合は(ステップS39、No)、そのまま待機する。
入力された三次元のテスト映像信号と戻り映像信号の波形を比較した結果、例えば振幅が異なるなどの差異が検出された場合(ステップS35、Yes)、チェック対象であるモニタ111gは三次元画像に対応していないと判定し、2Dモニタとして記録部164に登録する(ステップS36)。一方、両者の波形に差異が検出されなかった場合(ステップS35、No)、チェック対象であるモニタ111gは三次元画像に対応していると判定し、3Dモニタとして記録部164に登録する(ステップS37)。
ステップS36またはステップS37においてモニタ111gのタイプが記録部164に登録されると、システムコントローラ114は、スイッチャー操作画面上にチェック結果を表示し(ステップS38)、追加接続されたモニタ111gのチェックを終了する。図10と図11は、第3の実施形態に係わるスイッチャー操作画面の一例を説明する図であり、図10は、モニタ111gが3Dモニタであると判定された場合のスイッチャー操作画面の一例を示しており、図11は、モニタ111gが2Dモニタであると判定された場合のスイッチャー操作画面の一例を示している。
図10に示すように、新たに追加接続されたモニタが3Dモニタであると判定された場合、チェックを行ったモニタが接続されている出力端子OUT7のボタンが強調表示され、判定結果を示す「3D」の表示がなされる。一方、図11に示すように、新たに追加接続されたモニタが2Dモニタであると判定された場合、チェックを行ったモニタが接続されている出力端子OUT7のボタンが強調表示され、判定結果を示す「2D」の表示がなされる。このように、チェック対象のモニタが接続されている出力端子のボタンを強調表示するとともに、チェック結果を操作画面に表示することで、システム起動後に追加接続されたモニタのタイプと、当該モニタが追加接続された出力端子とが一目で認識できる。
ビデオスイッチャー155の出力端子とモニタとの接続関係がシステムコントローラ114の起動前に確定している場合については、図3を用いて説明したチェック方法で十分である。しかし、実際には、術中などシステムコントローラ114の起動後に新たなモニタが追加されたり、別のモニタに変更されたりする場合もあり得る。このような場合、本実施形態に示す手順を実行することにより、追加・変更されたモニタのタイプをチェックし、記録部164に登録されているモニタのチェック結果を最新の状態に更新することができる。従って、システムコントローラ114の起動後に新たなモニタが追加されたり、別のモニタに変更されたりした場合にも、入力端子を選択すると、概入力端子から入力される画像信号の次元に応じたモニタを正確かつ漏れなく自動的に抽出することができる。
本明細書における各「部」は、実施の形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウエア・ルーチンに1対1には対応しない。従って、本明細書では、実施の形態の各機能を有する仮想的回路ブロック(部)を想定して実施の形態を説明した。また、本実施の形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施の形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100…医療システム、101…医療機器制御システム、102…第一内視鏡手術システム、103…第二内視鏡手術システム、111a、111b、111c、111d、111e、111f、111g…医療画像表示パネル(モニタ)、112、132…集中表示パネル、113…集中操作パネルデバイス、114…システムコントローラ、115、134…レコーダ、116、135…ビデオプロセッサ、117、136…内視鏡光源装置、118…気腹装置、119…電気メス装置、120…第一トロリー、121…炭酸ガスボンベ、133…中継ユニット、137、138…その他の医療機器、139…第二トロリー、141…中継ケーブル、142…ヘッドセット型マイク、143…術者用無線リモートコントローラ、144…ベッド、145…患者、146、147…内視鏡装置、150…非医療機器制御システム、151…室内灯、152…ルームカメラ、153…システムコントローラ、154…プレイヤー、155…ビデオスイッチャー、156…電話、157…エアコン、161…術野カメラ、162…制御部、163…メモリ、164…記録部、165…映像出力部、166…映像チェック部、

Claims (8)

  1. 三次元画像信号を表示可能な第一の表示装置と、
    二次元画像信号のみを表示可能な第二の表示装置と、
    複数の画像信号入力端子と、複数の画像信号出力端子とを備え、選択された前記画像信号入力端子から入力される画像信号を、選択された前記画像信号出力端子に接続されている表示装置へ出力させる入出力切替部と、
    前記入出力切替部に接続されている前記表示装置が、三次元画像信号を表示可能な第一の表示装置であるか、二次元画像信号のみを表示可能な第二の表示装置であるかを識別可能な情報を記憶する記憶部と、
    前記選択された画像信号入力端子から入力される画像信号が前記二次元画像信号であるか前記三次元画像信号であるかを識別し、識別結果に基づき選択可能な前記画像信号出力端子を抽出する制御部と、
    を有することを特徴とする、医療システム。
  2. 前記制御部は、前記選択された画像信号入力端子から入力される画像信号が前記二次元信号である場合は、選択可能な前記画像信号出力端子として前記第二の表示装置が接続された前記画像信号出力端子を抽出し、前記選択された画像信号入力端子から入力される画像信号が前記三次元信号である場合は、選択可能な前記画像信号出力端子として前記第一の表示装置が接続された前記画像信号出力端子を抽出することを特徴とする、請求項1に記載の医療システム。
  3. 前記制御部は、抽出した前記画像信号出力端子に接続されている前記表示装置に、前記選択された画像信号入力端子から入力される画像信号を表示可能であることを示す表示をさせることを特徴とする、
    請求項1又は請求項2に記載の医療システム。
  4. 前記制御部は、システム起動時に、前記画像信号出力端子に接続されている全ての前記表示装置について、前記第一の表示装置であるか前記第二の表示装置であるかを判別し、判別結果を前記記録部に記録することを特徴とする、請求項1乃至請求項3に記載の医療システム。
  5. 前記入出力切替部において前記画像信号入力端子と前記画像信号出力端子とを選択する操作部を更に有しており、前記操作部は、前記抽出された画像信号出力端子が他の前記画像信号出力端子と識別可能に表示されることを特徴とする、請求項1乃至請求項4に記載の医療システム。
  6. 前記操作部は、前記表示装置が接続されている前記画像信号出力端子のうち、前記抽出された画像信号出力端子のみを表示することを特徴とする、請求項5に記載の医療システム。
  7. 前記制御部は、前記画像信号出力端子に新たに前記表示装置が接続された場合に、前記新たに接続された前記表示装置について、前記第一の表示装置であるか前記第二の表示装置であるかを判別し、判別結果を前記記録部に記録することを特徴とする、請求項1乃至請求項6に記載の医療システム。
  8. 前記制御部は、前記画像信号出力端子に接続されている前記表示装置のうち、ユーザにより指定された表示装置について、前記第一の表示装置であるか前記第二の表示装置であるかを判別し、判別結果を前記記録部に記録することを特徴とする、請求項1乃至請求項7に記載の医療システム。
JP2014162539A 2014-08-08 2014-08-08 医療システム Active JP6374263B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014162539A JP6374263B2 (ja) 2014-08-08 2014-08-08 医療システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014162539A JP6374263B2 (ja) 2014-08-08 2014-08-08 医療システム

Publications (2)

Publication Number Publication Date
JP2016036592A true JP2016036592A (ja) 2016-03-22
JP6374263B2 JP6374263B2 (ja) 2018-08-15

Family

ID=55528226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014162539A Active JP6374263B2 (ja) 2014-08-08 2014-08-08 医療システム

Country Status (1)

Country Link
JP (1) JP6374263B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016189949A1 (ja) * 2015-05-22 2016-12-01 オリンパス株式会社 医療システム
CN110785111A (zh) * 2017-06-20 2020-02-11 奥林巴斯株式会社 医疗显示装置
WO2020049920A1 (ja) * 2018-09-06 2020-03-12 株式会社Medi Plus 医療映像スイッチャー
US10952596B2 (en) 2016-09-06 2021-03-23 Sony Corporation Medical image processing device and image processing method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126606A (ja) * 1994-10-31 1996-05-21 Olympus Optical Co Ltd 内視鏡システム
JPH10290392A (ja) * 1997-04-14 1998-10-27 Olympus Optical Co Ltd 画像処理装置
JPH11310A (ja) * 1997-06-11 1999-01-06 Asahi Optical Co Ltd 内視鏡システムの映像信号切替装置
JP2006135747A (ja) * 2004-11-08 2006-05-25 Canon Inc 三次元画像変換装置ならびに制御方法
WO2008004205A1 (en) * 2006-07-05 2008-01-10 Elcam Medical Agricultural Cooperative Association Ltd. Wireless medical monitoring system
JP2012176146A (ja) * 2011-02-26 2012-09-13 Kazushi Tanaka 三次元(3d)ハイビジョン映像による手術支援装置
JP2013031147A (ja) * 2011-06-24 2013-02-07 Sharp Corp 立体映像出力装置
JP2014045239A (ja) * 2012-08-24 2014-03-13 Olympus Medical Systems Corp 医療支援システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08126606A (ja) * 1994-10-31 1996-05-21 Olympus Optical Co Ltd 内視鏡システム
JPH10290392A (ja) * 1997-04-14 1998-10-27 Olympus Optical Co Ltd 画像処理装置
JPH11310A (ja) * 1997-06-11 1999-01-06 Asahi Optical Co Ltd 内視鏡システムの映像信号切替装置
JP2006135747A (ja) * 2004-11-08 2006-05-25 Canon Inc 三次元画像変換装置ならびに制御方法
WO2008004205A1 (en) * 2006-07-05 2008-01-10 Elcam Medical Agricultural Cooperative Association Ltd. Wireless medical monitoring system
JP2012176146A (ja) * 2011-02-26 2012-09-13 Kazushi Tanaka 三次元(3d)ハイビジョン映像による手術支援装置
JP2013031147A (ja) * 2011-06-24 2013-02-07 Sharp Corp 立体映像出力装置
JP2014045239A (ja) * 2012-08-24 2014-03-13 Olympus Medical Systems Corp 医療支援システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016189949A1 (ja) * 2015-05-22 2016-12-01 オリンパス株式会社 医療システム
JP6099849B1 (ja) * 2015-05-22 2017-03-22 オリンパス株式会社 医療システム
US9782060B2 (en) 2015-05-22 2017-10-10 Olympus Corporation Medical system
US10952596B2 (en) 2016-09-06 2021-03-23 Sony Corporation Medical image processing device and image processing method
CN110785111A (zh) * 2017-06-20 2020-02-11 奥林巴斯株式会社 医疗显示装置
CN110785111B (zh) * 2017-06-20 2021-12-21 奥林巴斯株式会社 医疗显示装置
WO2020049920A1 (ja) * 2018-09-06 2020-03-12 株式会社Medi Plus 医療映像スイッチャー

Also Published As

Publication number Publication date
JP6374263B2 (ja) 2018-08-15

Similar Documents

Publication Publication Date Title
JP5945644B1 (ja) 医療システム
CN112352285A (zh) 用于计算机辅助手术系统的上下文感知系统和方法
JP6495565B1 (ja) 医療表示装置
JP2009207872A (ja) 医療制御装置及び該システム
JP2008000282A (ja) 手技画像記録制御システム及び手術システム
JP2008161569A (ja) 内視鏡システム
JP5911646B2 (ja) 医療システム
JP6374263B2 (ja) 医療システム
US10973593B2 (en) Centralized control apparatus
EP3614684A1 (en) Information processing device, information processing method, and program
JP2009226170A (ja) 医療用画像処理装置
WO2014196292A1 (ja) 医療支援装置及び医療機器のシーン別設定情報の処理方法
JP6099849B1 (ja) 医療システム
CN107105994B (zh) 内窥镜装置
JP7143421B2 (ja) 画像記録再生装置、内視鏡システム及び画像記録再生装置の作動方法
JP2016067692A (ja) 医療システム
JP2005245961A (ja) 画像処理装置
JP2006000537A (ja) 内視鏡システム
US11812181B2 (en) Video routing in an operating theater
US20250162156A1 (en) Control redirection and image porting between surgical systems
JP2001128992A (ja) 医療システム
JP7451707B2 (ja) 制御装置、データログの表示方法及び医療用集中制御システム
US11127500B2 (en) Centralized control apparatus and display control method of operation panel
JP2008023126A (ja) 手術制御システム
JP2000296137A (ja) 医療制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180719

R151 Written notification of patent or utility model registration

Ref document number: 6374263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250