[go: up one dir, main page]

JP7420047B2 - ロボットシステム - Google Patents

ロボットシステム Download PDF

Info

Publication number
JP7420047B2
JP7420047B2 JP2020176509A JP2020176509A JP7420047B2 JP 7420047 B2 JP7420047 B2 JP 7420047B2 JP 2020176509 A JP2020176509 A JP 2020176509A JP 2020176509 A JP2020176509 A JP 2020176509A JP 7420047 B2 JP7420047 B2 JP 7420047B2
Authority
JP
Japan
Prior art keywords
robot
terminal
camera
operating terminal
operating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020176509A
Other languages
English (en)
Other versions
JP2022067744A (ja
Inventor
侑司 大沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020176509A priority Critical patent/JP7420047B2/ja
Priority to US17/505,094 priority patent/US12350846B2/en
Publication of JP2022067744A publication Critical patent/JP2022067744A/ja
Application granted granted Critical
Publication of JP7420047B2 publication Critical patent/JP7420047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00Manipulators mounted on wheels or on carriages
    • B25J5/007Manipulators mounted on wheels or on carriages mounted on wheels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/0015Face robots, animated artificial faces for imitating human expressions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40146Telepresence, teletaction, sensor feedback from slave to operator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40617Agile eye, control position of camera, active vision, pan-tilt camera, follow object

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Fuzzy Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Description

本発明はロボットシステム、ロボットシステムの制御方法、及びプログラムに関する。
近年の通信技術の発達等に伴い、ロボットを遠隔操作している操作者が、ロボットを介してロボットの周囲の風景を疑似体験することが可能となってきている。また、互いに離れている者同士がロボットを介してリアルタイムにコミュニケーションを行うことが可能となってきている。このような理由から、様々なロボットシステムの開発が進められている。特許文献1には、カメラを搭載したロボットに関する技術が開示されている。
特許第4857242号公報
上述のように、操作者がロボットを遠隔操作してロボットの周囲の風景を疑似体験等するシステムが開発されている。このようなロボットシステムでは、操作者がロボットを遠隔操作しているため、ロボット側において安全性を確保する必要がある。
上記課題に鑑み本発明の目的は、操作者がロボットを遠隔操作する際に安全性を確保することが可能なロボットシステム、ロボットシステムの制御方法、及びプログラムを提供することである。
本発明の一態様にかかるロボットシステムは、所定の動作を行うロボットと、前記ロボットを遠隔操作する第1の操作端末と、前記第1の操作端末と別に設けられ、前記ロボットを遠隔操作する第2の操作端末と、を備え、前記第2の操作端末は、前記第1の操作端末と比べて前記ロボットを操作可能な動作が制限されている。
本発明の一態様にかかるロボットシステムの制御方法は、所定の動作を行うロボットと、前記ロボットを遠隔操作する第1の操作端末と、前記第1の操作端末と別に設けられ、前記ロボットを遠隔操作する第2の操作端末と、を備えるロボットシステムの制御方法であって、前記第2の操作端末を用いて前記ロボットを操作可能な動作を前記第1の操作端末と比べて制限している。
本発明の一態様にかかるプログラムは、所定の動作を行うロボットと、前記ロボットを遠隔操作する第1の操作端末と、前記第1の操作端末と別に設けられ、前記ロボットを遠隔操作する第2の操作端末と、を備えるロボットシステムを制御するための処理をコンピュータに実行させるためのプログラムであって、前記第2の操作端末を用いて前記ロボットを操作可能な動作が前記第1の操作端末と比べて制限されている。
上述の本願発明では、第2の操作端末は、第1の操作端末と比べてロボットを操作可能な動作が制限されている。つまり、第2の操作端末で操作可能な動作を制限することで、第2の操作端末の操作者が誤って第2の操作端末を操作した場合であっても、ロボットの動作が制限され、ロボットの安全性を確保することができる。したがって、操作者がロボットを遠隔操作する際に安全性を確保することが可能なロボットシステム、ロボットシステムの制御方法、及びプログラムを提供することができる。
本発明により、操作者がロボットを遠隔操作する際に安全性を確保することが可能なロボットシステム、ロボットシステムの制御方法、及びプログラムを提供することができる。
実施の形態にかかるロボットシステムを説明するための図である。 ロボットのシステム構成を説明するためのブロック図である。 操作端末Aのシステム構成を説明するためのブロック図である。 操作端末Bのシステム構成を説明するためのブロック図である。 実施の形態にかかるロボットシステムの動作を説明するためのフローチャートである。 実施の形態にかかるロボットシステムの動作例を説明するための図である。 実施の形態にかかるロボットシステムの動作例を説明するための図である。
以下、図面を参照して本発明の実施の形態について説明する。
図1は、実施の形態にかかるロボットシステムを説明するための図である。図1に示すように、本実施の形態にかかるロボットシステム1は、所定の動作を行うロボット10と、ロボット10を遠隔操作する操作端末A(30)と、操作端末A(30)と別に設けられ、ロボット10を遠隔操作する操作端末B(40)と、を備える。
例えば、本実施の形態にかかるロボットシステム1は、ロボット10を遠隔操作している操作者(操作端末B(40)を操作している操作者)が、ロボット10を介してロボット10の周囲の風景を疑似体験することが可能なロボットシステムである。また、本実施の形態にかかるロボットシステム1は、互いに離れている者同士がロボット10を介してリアルタイムにコミュニケーションを行うことが可能なロボットシステムである。
具体的には、ロボット10は、操作端末A(30)と操作端末B(40)とを用いて遠隔操作可能に構成されている。操作端末A(30)は、ロボット10を遠隔操作するためのメインの操作端末である。例えば、操作端末A(30)は管理者用の操作端末であり、ロボット10の全体的な動作を制御可能な操作端末である。
操作端末B(40)は、ロボット10を遠隔操作するためのサブの操作端末である。例えば、操作端末B(40)は、ロボット10を介してロボットの周囲の風景を疑似体験する人やロボット10を介してロボット10の周囲の人とリアルタイムにコミュニケーションを行う人(操作者)が使用する操作端末であり、ロボット10の一部の動作を制御可能な操作端末である。つまり、本実施の形態にかかるロボットシステム1では、操作端末B(40)は、操作端末A(30)と比べてロボット10を操作可能な動作が制限されていることを特徴としている。以下、本実施の形態にかかるロボットシステム1の構成と動作について詳細に説明する。
図1に示すように、本実施の形態にかかるロボットシステム1は、ロボット10、操作端末A(30)、及び操作端末B(40)を備える。ロボット10と操作端末A(30)は互いに離れた位置に配置されており、通信部を介して互いに無線通信可能に構成されている。同様に、ロボット10と操作端末B(40)は互いに離れた位置に配置されており、通信部を介して互いに無線通信可能に構成されている。なお、操作端末A(30)と操作端末B(40)は、互いに離れた位置に配置されていてもよく、近い位置に配置されていてもよい。また、操作端末A(30)と操作端末B(40)も互いに無線通信可能に構成されていてもよい。また、操作端末A(30)と操作端末B(40)は、ロボット10を介して(中継して)通信可能に構成されていてもよい。
<ロボットの構成>
まず、ロボットの構成について説明する。図1に示すように、ロボット10は、頭部11、胴体12、及び移動ユニット13を備える。頭部11には、カメラA(14)と表示部15が設けられている。カメラA(14)は、ロボット10の周囲(主に進行方向)を撮影するためのカメラである。カメラA(14)は、操作端末A(30)を用いてロボット10を遠隔操作する際に使用されるカメラであり、例えば、ロボット10が移動する際に障害物の有無を検知したり、ロボット10の到達目標である所定の位置を探索する際に用いたりすることができる。また、カメラA(14)は、操作端末B(40)の操作者が、ロボット10の周囲のコミュニケーション相手とコミュニケーションを行う際(コミュニケーションモード)に用いられてもよい。
表示部15には、ロボット10の状況に応じた画像が表示される。例えば、ロボット10が移動等する通常モード(コミュニケーションモード以外)では、表示部15にロボットの顔の画像が表示される。このとき、ロボット10の感情(喜怒哀楽)を示す表情の画像を表示部15に表示してもよい。
また、操作端末B(40)の操作者が、ロボット10を介してロボット10の周囲のコミュニケーション相手とコミュニケーションを行うコミュニケーションモードでは、操作端末B(40)の操作者61の画像が表示部15に表示される(図7参照)。
胴体12には、アーム16が取り付けられている。アーム16の先端にはカメラB(17)が取り付けられている。カメラB(17)は、操作端末B(40)を用いて操作可能なカメラであり、操作端末B(40)は、カメラB(17)の姿勢、及び撮影条件(倍率など)の少なくとも一つを操作可能に構成されている。ここで、カメラB(17)の姿勢は、アーム16を用いて調整することができる。つまり、操作端末B(40)を用いてアーム16を操作することで、カメラB(17)の姿勢を制御することができる。なお、上述のように操作端末A(30)はロボット10の全体的な動作を制御可能であるので、操作端末A(30)を用いて、カメラB(17)の姿勢、及び撮影条件(倍率など)も制御可能である。
移動ユニット13は、ロボット10を移動させるためのユニットである。例えば、移動ユニット13の下面には車輪(不図示)が設けられており、この車輪を駆動することで、ロボット10を移動させることができる。
次に、ロボット10のシステム構成について説明する。図2は、ロボットのシステム構成を説明するためのブロック図である。図2に示すように、ロボット10は、ロボット10の動作を制御するための制御部20を備えている。制御部20には、移動ユニット13、カメラA(14)、表示部15、カメラB(17)、スピーカ21、マイク22、通信部23、及びアーム駆動部24が接続されている。
移動ユニット13は、制御部20から供給された制御信号に基づいて移動ユニット13の車輪(不図示)を駆動する。これにより、ロボット10を移動させることができる。例えば、制御部20は、操作端末A(30)から送信された操作信号に基づいて、移動ユニット13を制御するための制御信号を生成することができる。また、制御部20は、カメラA(14)やレーザスキャナ(不図示)から取得した情報を用いてロボット10の周囲の障害物を検知し、この検知した障害物に関する情報を用いて制御信号を生成してもよい。これにより、ロボット10が障害物を回避して移動するように移動ユニット13を制御することができる。
制御部20は、カメラA(14)から取得した画像データを、通信部23を介して操作端末A(30)に送信する。また、制御部20は、カメラB(17)から取得した画像データを、通信部23を介して操作端末B(40)に送信する。
制御部20は、ロボット10の状況に応じた画像を表示部15に表示する。例えば、制御部20は、通常モードの場合、表示部15にロボットの顔の画像を表示する。このとき、制御部20は、ロボット10の感情(喜怒哀楽)を示す表情の画像を表示部15に表示してもよい。
また、制御部20は、コミュニケーションモードの場合、操作端末B(40)の操作者61(図7参照)の画像を表示部15に表示してもよい。すなわち、コミュニケーションモードの場合、制御部20は、操作端末B(40)から送信された画像データ、つまり操作端末B(40)を操作している操作者の画像を表示部15に表示してもよい。
また、制御部20は、操作端末B(40)から送信された音声データ、つまり操作端末B(40)を操作している操作者の音声をスピーカ21から出力してもよい。また、制御部20は、マイク22で取得した音声データ、つまりロボット10の周囲にいるコミュニケーション相手の音声を、通信部23を介して操作端末B(40)に送信してもよい。
アーム駆動部24は、アーム16を駆動するための手段であり、例えばモータ等を用いて構成することができる。アーム駆動部24は、制御部20から供給された制御信号に基づいてアーム駆動部24を駆動する。これにより、アーム16を変位させることができる。例えば、アーム16を変位させることで、カメラB(17)の位置を調整することができる。
通信部23は、操作端末A(30)および操作端末B(40)と無線通信可能に構成されている。なお、ロボット10の上記構成は一例であり、本実施の形態にかかるロボットシステム1において、ロボット10の構成は上記構成に限定されることはない。
<操作端末A(30)の構成>
次に、操作端末A(30)について説明する。図1に示すように、操作端末A(30)は、管理者がロボット10を遠隔操作するための端末であり、例えば、パーソナルコンピュータを用いて構成することができる。なお、図1では、パーソナルコンピュータを用いて操作端末A(30)を構成した場合を示したが、操作端末A(30)はタブレット端末等を用いて構成してもよい。
図3は、操作端末A(30)のシステム構成を説明するためのブロック図である。図3に示すように、操作端末A(30)は、表示部32、スピーカ33、マイク34、入力部35、通信部36、及び制御部37を備える。制御部37は、操作端末A(30)を制御する機能を有し、表示部32、スピーカ33、マイク34、入力部35、及び通信部36は、制御部37に接続されている。通信部36は、ロボット10と無線通信可能に構成されている。
制御部37は、ロボット10から送信された画像データ、つまりロボット10のカメラA(14)で撮影された画像を表示部32に表示する。入力部35は、管理者がロボット10を遠隔操作するための各種情報を入力するための手段である。例えば、入力部35は、タッチパネルやキーボードを用いて構成することができる。タッチパネルを用いて入力部35を構成した場合は、例えば、表示部32に表示されているアイコン等を管理者が押下することで、ロボット10を遠隔操作することができる。また、キーボードを用いて入力部35を構成した場合は、例えば、キーボードから所定の情報を入力することで、ロボット10を遠隔操作することができる。
また、制御部37は、ロボット10から送信された音声データ、つまりロボット10のマイク22で取得した音声をスピーカ33から出力する。また、制御部37は、マイク34で取得した音声データ、つまり操作端末A(30)を操作している管理者の音声を、通信部36を介してロボット10に送信してもよい。
なお、操作端末A(30)の上記構成は一例であり、本実施の形態にかかるロボットシステム1において、操作端末A(30)の構成は上記構成に限定されることはない。
<操作端末B(40)の構成>
次に、操作端末B(40)について説明する。図1に示すように、操作端末B(40)は、操作者(疑似体験等をする操作者)がロボット10を遠隔操作するための端末であり、例えば、タブレット端末等を用いて構成することができる。なお、図1では、タブレット端末を用いて操作端末B(40)を構成した場合を示したが、操作端末B(40)はパーソナルコンピュータ等を用いて構成してもよい。
図4は、操作端末B(40)のシステム構成を説明するためのブロック図である。図4に示すように、操作端末B(40)は、カメラC(41)、表示部42、スピーカ43、マイク44、入力部45、通信部46、及び制御部47を備える。制御部47は、操作端末B(40)を制御する機能を有し、カメラC(41)、表示部42、スピーカ43、マイク44、入力部45、及び通信部46は、制御部47に接続されている。通信部46は、ロボット10と無線通信可能に構成されている。
入力部45は、操作者がロボット10を遠隔操作するための各種情報を入力するための手段である。例えば、入力部45は、タッチパネルやキーボードを用いて構成することができる。タッチパネルを用いて入力部45を構成した場合は、例えば、表示部42に表示されているアイコン等を操作者が押下することで、ロボット10を遠隔操作することができる。
本実施の形態にかかるロボットシステム1において操作端末B(40)は、操作端末A(30)と比べてロボット10を操作可能な動作が制限されている。具体的には、操作端末B(40)は、ロボット10のカメラB(17)の姿勢、及び撮影条件の少なくとも一つを操作可能に構成されている。つまり、操作端末B(40)は、ロボット10のアーム16(アーム駆動部24)を操作することで、カメラB(17)の姿勢を制御することができる。また、操作端末B(40)は、ロボット10のカメラB(17)を操作することで、カメラの撮影条件(倍率など)を調整することができる。このとき操作端末B(40)の表示部42には、カメラB(17)で撮影された画像が表示される。
例えば、本実施の形態にかかるロボットシステム1では、ロボット10が所定の位置に到達した場合に、操作端末B(40)を用いてロボット10を操作できるように構成してもよい。ここで所定の位置とは、例えば、ロボット10の安全性が確保された位置や撮影スポットがある位置などである。
また、本実施の形態にかかるロボットシステム1では、ロボット10が所定の位置に到達した際、当該所定の位置に対応した撮影スポットにロボット10のカメラB(17)の向きが向くようにガイドするガイド表示を、操作端末B(40)の表示部42に表示させてもよい。このように表示部42にガイドを表示することで、操作者の操作負担を軽減できる。
また、本実施の形態にかかるロボットシステム1では、ロボット10が所定の位置に到達した際、当該所定の位置に対応した複数の撮影スポットを操作端末B(40)の表示部42に選択可能に表示するようにしてもよい。そして、操作端末B(40)を用いて特定の撮影スポットが選択されると、当該撮影スポットにロボット10のカメラB(17)の向きが向くように、カメラB(17)を制御してもよい。このような構成とした場合は、複数の撮影スポットの中から選択された特定の撮影スポットにカメラB(17)の向きを自動的に向けることができるので、操作端末B(40)の操作負担を軽減できる。
また、操作端末B(40)の操作者がロボット10の周囲のコミュニケーション相手とコミュニケーションを行う場合(コミュニケーションモードの場合)、操作端末B(40)の制御部47は、カメラC(41)から取得した画像データを、通信部46を介してロボット10に送信してもよい。ロボット10に送信された画像データは、ロボット10の表示部15に表示される。
また、コミュニケーションモードにおいて、制御部47は、ロボット10から送信された画像データ、つまりコミュニケーション相手の画像を表示部42に表示してもよい。また、制御部47は、ロボット10から送信された音声データ、つまりロボット10の前に立っているコミュニケーション相手の音声をスピーカ43から出力してもよい。また、制御部47は、マイク44で取得した音声データ、つまり操作端末40を操作している操作者の音声を、通信部46を介してロボット10に送信してもよい。操作端末B(40)から送信された音声データは、ロボット10のスピーカ21から出力される。
なお、操作端末B(40)の上記構成は一例であり、本実施の形態にかかるロボットシステム1において、操作端末B(40)の構成は上記構成に限定されることはない。
<ロボットシステムの動作の説明>
次に、本実施の形態にかかるロボットシステムの動作について説明する。
図5は、本実施の形態にかかるロボットシステムの動作を説明するためのフローチャートである。図6は、本実施の形態にかかるロボットシステムの動作例を説明するための図である。以下では一例として、図6に示す競技場50の観客席52をロボット10が周回し、遠隔地にいる操作端末B(40)の操作者がロボット10を介してロボット10の周囲の風景を疑似体験する場合について説明する。
図6に示すように、競技場50の中央にはフィールド51が設けられており、フィールド51の周囲には観客席52が設けられている。ロボット10は、フィールド51の周囲の観客席52を予め定められたルート57_1~57_4に沿って移動するものとする。また、予め定められたルート57_1~57_4には、複数の所定の位置55_1~55_3が設けられている。ここで所定の位置とは、例えば、フィールド51で行われている競技を撮影するのに適切な撮影スポット、競技を観戦している観客や選手とコミュニケーションを取るのに適切な位置などである。
図5のフローチャートに示すように、まず、管理者は操作端末A(30)を操作してロボット10を移動させる(ステップS1)。図6に示すように、ロボット10は、観客席52をルート57_1に沿って移動する。例えば管理者は、操作端末A(30)を用いてロボット10をマニュアル操作で移動させてもよい。この場合、管理者はロボット10のカメラA(14)で撮影された画像を確認しながらロボット10を操作する。また、例えば予め定められたルート57_1~57_4を移動するようなプログラム(シナリオ)をロボット10に格納しておき、操作端末A(30)を用いてこのプログラム(シナリオ)を実行することで、自動でロボット10を移動させてもよい。
ロボット10の移動は、ロボット10が所定の位置55_1に到達するまで継続される(ステップS2:No)。そして、ロボット10が所定の位置55_1に到達すると(ステップS2:Yes)、ロボット10は所定の位置55_1で停止する(ステップS3)。
その後、遠隔地にいる操作者は、操作端末B(40)を用いてロボット10を操作する(ステップS4)。例えば操作者は、操作端末B(40)を操作して、ロボット10のカメラB(17)の姿勢、及び撮影条件の少なくとも一つを操作する。このとき操作端末B(40)の表示部42には、カメラB(17)で撮影された画像が表示されるので、遠隔地の操作者は、ロボット10を介してロボット10の周囲の風景を疑似体験することができる。
また、例えば、所定の位置55_1に対応した撮影スポットにロボット10のカメラB(17)の向きが向くようにガイドするガイド表示を、操作端末B(40)の表示部42に表示させてもよい。このように表示部42にガイドを表示することで、操作者の操作負担を軽減できる。ここで、所定の位置55_1に対応した撮影スポットとは、所定の位置55_1からみえる見所スポット(トラック競技のゴール付近など)である。
また、所定の位置55_1に対応した複数の撮影スポットを操作端末B(40)の表示部42に選択可能に表示させてもよい。そして、操作者が操作端末B(40)を用いて複数の撮影スポットの中から特定の撮影スポットを選択すると、当該撮影スポットにロボット10のカメラB(17)の向きが自動で向くようにしてもよい。このような構成とした場合は、複数の撮影スポットの中から選択された特定の撮影スポットにカメラB(17)の向きを自動的に向けることができるので、操作端末B(40)の操作負担を軽減できる。
また本実施の形態では、遠隔地の操作者がロボット10を介してロボット10の周囲の人(競技を観戦している観客や選手)とリアルタイムにコミュニケーションを取ることもできる(コミュニケーションモード)。具体的には、図7に示すように、操作端末B(40)を操作している操作者は、ロボット10の周囲にいるコミュニケーション相手とコミュニケーションを取ることができる。この場合は、ロボット10に搭載されているカメラA(14)およびカメラB(17)の少なくとも一方と、操作端末B(40)に搭載されているカメラC(41)とを用いて、お互いの顔をみながらコミュニケーションを取ることができる。
すなわち、ロボット10の周囲のコミュニケーション相手は、ロボット10のカメラA(14)(カメラB(17)でもよい)で撮影される。そして、撮影されたコミュニケーション相手62は、操作者の操作端末B(40)の表示部42に表示される。同様に、操作端末B(40)を操作している操作者は、操作端末B(40)のカメラC(41)で撮影される。そして、撮影された操作者61は、ロボット10の表示部15に表示される。また、ロボット10と操作端末B(40)の各々には、マイクとスピーカも搭載されている。したがって、コミュニケーション相手62と操作者61は、互いの顔を見ながら会話をしてコミュニケーションを取ることができる。これにより遠隔地の操作者は、競技を観戦している観客や選手とロボット10を介してコミュニケーションを取ることができる。
以上で説明したステップS4の動作は、操作者が操作端末B(40)の操作を終了するまで継続される(ステップS5:No)。
その後、操作者による操作端末B(40)の操作が終了すると(ステップS5:Yes)、管理者は操作端末A(30)を操作してロボット10をルート57_2に沿って移動させる(ステップS1)。その後、ロボット10が次の所定の位置55_2に到達すると(ステップS2:Yes)、ロボット10は所定の位置55_2で停止する(ステップS3)。そして、遠隔地にいる操作者は、操作端末B(40)を用いてロボット10を操作する(ステップS4)。以降、同様の動作を繰り返す。
以上で説明したように、本実施の形態にかかるロボットシステム1では、操作端末B(40)は、操作端末A(30)と比べてロボット10を操作可能な動作が制限されている。つまり、疑似体験等をする操作者は一時的に操作端末B(40)を操作するため、操作端末B(40)の操作に不慣れである場合が多い。このため、操作端末B(40)で操作可能な動作を制限することで、操作端末B(40)の操作者が誤って操作端末B(40)を操作した場合であっても、ロボット10の動作が制限され、ロボット10の安全性を確保することができる。したがって、操作者がロボットを遠隔操作する際に安全性を確保することが可能なロボットシステムを提供することができる。なお、操作端末A(30)は、操作に慣れている管理者が操作するので、ロボット10の全体的な動作を制御可能に構成されている。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記構成例では、操作者が操作端末B(40)を用いてロボット10のカメラB(17)を操作する場合について説明した。しかし本実施の形態では、操作者がロボット10のカメラA(14)を操作できるように構成してもよい。この場合も、安全性が確保されている所定の位置において、操作者がロボット10のカメラA(14)を操作できるように構成する。また、ロボット10の頭部11と胴体12とを繋ぐ首の部分を変位可能に構成してもよい。このように構成した場合、操作者は操作端末B(40)を用いてカメラA(14)の位置を変位させることができる。
また、上記説明では、ロボット10が移動している間、ロボット10のカメラB(17)の操作が制限される場合について説明した。しかしながら、安全性が確保できるのであれば、操作者が操作端末B(40)を用いてロボット10のカメラB(17)を操作可能に構成してもよい。例えば、ロボット10のアーム16の可動範囲を制限することで安全性を確保できるのであれば、操作者が操作端末B(40)を用いてロボット10のカメラB(17)を操作できるように構成してもよい。この場合、ロボット10が所定の位置(安全性が確保されている位置)に到達した際に、アーム16の可動範囲の制限が解除されるようにしてもよい。
さらに、上記実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、ロボットシステムの制御処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することが可能である。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体は、例えば、磁気記録媒体、光磁気記録媒体、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリを含む。磁気記録媒体は、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブなどである。光磁気記録媒体は、例えば光磁気ディスクなどである。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)などである。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
1 ロボットシステム
10 ロボット
11 頭部
12 胴体
13 移動ユニット
14 カメラA
15 表示部
16 アーム
17 カメラB
30 操作端末A
32 表示部
40 操作端末B
41 カメラC
42 表示部

Claims (3)

  1. 競技場の観客席を周回するとともに、所定の動作を行うロボットと、
    前記ロボットを遠隔操作する第1の操作端末と、
    前記第1の操作端末と別に設けられ、前記ロボットを遠隔操作する第2の操作端末と、を備え、
    前記ロボットは、
    前記第1の操作端末を用いて前記ロボットを遠隔操作する際に使用する第1のカメラと、
    前記第2の操作端末を用いて操作可能な第2のカメラと、を備え、
    前記第2の操作端末は第2の表示部を備え、当該第2の表示部には前記第2のカメラで撮影された画像が表示可能に構成されており、
    前記第2の操作端末は、前記第2のカメラの姿勢、及び撮影条件の少なくとも一つを操作可能に構成されており、
    前記第2の操作端末は、前記第1の操作端末と比べて前記ロボットを操作可能な動作が制限されており、
    前記ロボットは、前記観客席を予め定められたルートに沿って移動可能に構成されており、
    前記予め定められたルートには複数の所定の位置が設けられており、
    前記複数の所定の位置の各々は、前記競技場で行われている競技を撮影するのに適切な複数の撮影スポットを有し、
    第1のユーザは、前記第1の操作端末を用いて前記ロボットを前記ルートに沿って移動させ、
    前記ロボットが前記所定の位置に到達した際、前記所定の位置に対応した複数の撮影スポットを前記第2の操作端末の前記第2の表示部に選択可能に表示し、
    前記第2の操作端末の前記第2の表示部に表示されている前記複数の撮影スポットの中から、第2のユーザが前記第2の操作端末を用いて特定の撮影スポットを選択すると、前記第2の操作端末は、前記特定の撮影スポットに前記第2のカメラの向きが向くように前記第2のカメラを制御する、
    ロボットシステム。
  2. 前記第2の操作端末には第3のカメラが更に設けられており、
    前記ロボットが所定の位置に到達した際、前記第2の操作端末を操作している第2のユーザは、前記ロボットの周囲にいるコミュニケーション相手と前記第3のカメラを用いてコミュニケーションを行う、
    請求項1に記載のロボットシステム。
  3. 前記ロボットの頭部には表示部が設けられており、
    前記ロボットが前記ルートに沿って移動している通常モードにおいて、前記ロボットの前記表示部には前記ロボットの顔の画像が表示され、
    前記ロボットが前記所定の位置に到達し、前記第2の操作端末を操作している第2のユーザと前記ロボットの周囲にいるコミュニケーション相手とがコミュニケーションを行うコミュニケーションモードにおいて、前記ロボットの前記表示部には前記第2の操作端末を操作している第2のユーザの画像が表示される、
    請求項2に記載のロボットシステム。
JP2020176509A 2020-10-21 2020-10-21 ロボットシステム Active JP7420047B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020176509A JP7420047B2 (ja) 2020-10-21 2020-10-21 ロボットシステム
US17/505,094 US12350846B2 (en) 2020-10-21 2021-10-19 Robot system, method for controlling robot system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020176509A JP7420047B2 (ja) 2020-10-21 2020-10-21 ロボットシステム

Publications (2)

Publication Number Publication Date
JP2022067744A JP2022067744A (ja) 2022-05-09
JP7420047B2 true JP7420047B2 (ja) 2024-01-23

Family

ID=81186838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020176509A Active JP7420047B2 (ja) 2020-10-21 2020-10-21 ロボットシステム

Country Status (2)

Country Link
US (1) US12350846B2 (ja)
JP (1) JP7420047B2 (ja)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079587A (ja) 1998-09-04 2000-03-21 Fujitsu Ltd ロボットの遠隔制御方法及びシステム
JP2002101333A (ja) 2000-09-26 2002-04-05 Casio Comput Co Ltd 遠隔制御装置および遠隔操作サービスシステム並びにそれらのプログラム記録媒体
JP2002342851A (ja) 2001-05-15 2002-11-29 Yokogawa Electric Corp 監視ロボット・システム
JP2006020237A (ja) 2004-07-05 2006-01-19 Sony Ericsson Mobilecommunications Japan Inc 画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置
JP2006099726A (ja) 2004-09-03 2006-04-13 Tcm Corp 無人搬送設備
JP2006211422A (ja) 2005-01-28 2006-08-10 Fujitsu Ltd カメラ制御システム及びカメラ制御プログラム
JP2007213190A (ja) 2006-02-08 2007-08-23 Advanced Telecommunication Research Institute International コミュニケーションロボット改良システム
JP2017169170A (ja) 2016-03-18 2017-09-21 オリンパス株式会社 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
JP2017169839A (ja) 2016-03-24 2017-09-28 大日本印刷株式会社 アバターロボット接続管理システム
JP2018039074A (ja) 2016-09-07 2018-03-15 学校法人千葉工業大学 建築物の天井裏点検方法
WO2018193574A1 (ja) 2017-04-20 2018-10-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP2019084898A (ja) 2017-11-03 2019-06-06 株式会社エアロネクスト 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
WO2019208537A1 (ja) 2018-04-25 2019-10-31 株式会社Nttドコモ 情報処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05126521A (ja) * 1991-11-08 1993-05-21 Toshiba Corp 遠隔操作マニピユレータ用位置測定装置
JP4857242B2 (ja) 2007-11-05 2012-01-18 株式会社日立製作所 ロボット
US9842192B2 (en) * 2008-07-11 2017-12-12 Intouch Technologies, Inc. Tele-presence robot system with multi-cast features
US11816887B2 (en) * 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000079587A (ja) 1998-09-04 2000-03-21 Fujitsu Ltd ロボットの遠隔制御方法及びシステム
JP2002101333A (ja) 2000-09-26 2002-04-05 Casio Comput Co Ltd 遠隔制御装置および遠隔操作サービスシステム並びにそれらのプログラム記録媒体
JP2002342851A (ja) 2001-05-15 2002-11-29 Yokogawa Electric Corp 監視ロボット・システム
JP2006020237A (ja) 2004-07-05 2006-01-19 Sony Ericsson Mobilecommunications Japan Inc 画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置
JP2006099726A (ja) 2004-09-03 2006-04-13 Tcm Corp 無人搬送設備
JP2006211422A (ja) 2005-01-28 2006-08-10 Fujitsu Ltd カメラ制御システム及びカメラ制御プログラム
JP2007213190A (ja) 2006-02-08 2007-08-23 Advanced Telecommunication Research Institute International コミュニケーションロボット改良システム
JP2017169170A (ja) 2016-03-18 2017-09-21 オリンパス株式会社 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
JP2017169839A (ja) 2016-03-24 2017-09-28 大日本印刷株式会社 アバターロボット接続管理システム
JP2018039074A (ja) 2016-09-07 2018-03-15 学校法人千葉工業大学 建築物の天井裏点検方法
WO2018193574A1 (ja) 2017-04-20 2018-10-25 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP2019084898A (ja) 2017-11-03 2019-06-06 株式会社エアロネクスト 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
WO2019208537A1 (ja) 2018-04-25 2019-10-31 株式会社Nttドコモ 情報処理装置

Also Published As

Publication number Publication date
US20220118625A1 (en) 2022-04-21
JP2022067744A (ja) 2022-05-09
US12350846B2 (en) 2025-07-08

Similar Documents

Publication Publication Date Title
JP7295136B2 (ja) 対話型アニメキャラクターヘッドステム及び方法
EP3548156B1 (en) Animated character head systems and methods
JP4512830B2 (ja) コミュニケーションロボット
JP2022078741A (ja) ロボット
JP2022141639A (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
JPWO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP7420047B2 (ja) ロボットシステム
JP5967848B1 (ja) 会議システム
JP2005286550A (ja) 表示装置
WO2012008553A1 (ja) ロボットシステム
WO2021079407A1 (ja) 情報表示装置
JP2019046482A (ja) 音声映像追跡装置
KR102613040B1 (ko) 영상 통화 방법 및 이를 구현하는 로봇
JP4821489B2 (ja) ロボット装置及びロボット装置の制御方法
JP2014033332A (ja) 撮像装置及び撮像方法
JP4329300B2 (ja) マルチウィンドウ表示方法
JP7524807B2 (ja) ロボット、コミュニケーションシステム、コミュニケーション方法及びプログラム
JP7684528B1 (ja) 仮想空間コミュニケーションシステム、コミュニケーション制御装置およびコミュニケーション制御方法
WO2023234378A1 (ja) アバターおよび遠隔機械操作システム
JP7669976B2 (ja) コミュニケーションシステム、制御方法及び制御プログラム
JP4595397B2 (ja) 画像表示方法、端末装置、及び双方向対話システム
CN111133762A (zh) 信息提供系统、信息提供方法以及信息提供系统用管理装置
CN119946371A (zh) 图像拍摄系统以及图像产生方法
JP2003304515A (ja) 音声出力方法、端末装置及び双方向対話型システム
JP2016206960A (ja) 音声映像入出力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R151 Written notification of patent or utility model registration

Ref document number: 7420047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151