JP2018176342A - ロボットシステム及びその運転方法 - Google Patents

Abstract

【課題】操作者の負担を軽減して、作業効率を向上させることができる、ロボットシステムを提供することを目的とする。【解決手段】操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うロボット１と、作業空間内に設置されているセンサ３と、操作者が物理的な実世界を視認可能に構成され、センサ３が検知した情報を映像画面として、表示するように構成されている透過型表示装置と、制御装置と、を備え、制御装置は、操作器によりロボット１が操作されると、センサ３が検知した第１情報を映像画面として、透過型表示装置に表示させる、ロボットシステム。【選択図】図６

Description

本発明は、ロボットシステム及びその運転方法に関する。

操作者が操作するロボット教示装置を用いてロボットに動作を教示するインタラクション操作システムが知られている（例えば、特許文献１参照）。特許文献１には、ロボットに配置されている感覚情報検出部による感覚情報（映像情報）と操作者自身が検知する実際の感覚情報（周辺情報）を常時、重畳的に感知することにより、操作者周囲の環境を常時留意しながらロボットの操作をすることができると記載されている。

特開２０１３−０９１１１４号公報

しかしながら、上記特許文献１に開示されているインタラクション操作システムでは、ロボットに配置されているカメラが撮影した映像情報と、操作者周辺の実際の周辺情報と、が常時、重畳的にヘッドマウントディスプレイに映し出されているが、ロボットの作業工程によっては、映像情報又は周辺情報のいずれかの情報が必要ではない場合がある。このような場合であっても、映像情報又は周辺情報が映し出されているため、操作者にとって煩わしいものとなり、操作者への負担が大きく、作業効率の向上の観点から未だ改善の余地があった。

本発明は、上記従来の課題を解決するもので、操作者の負担を軽減して、作業効率を向上させることができる、ロボットシステム及びその運転方法を提供することを目的とする。

上記従来の課題を解決するために、本発明に係るロボットシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うロボットと、前記作業空間内に設置されているセンサと、前記操作者が物理的な実世界を視認可能に構成され、映像画面を表示するように構成されている透過型表示装置と、制御装置と、を備え、前記制御装置は、前記操作器により前記ロボットが操作されると、前記センサが検知した情報である第１情報を映像画面にして、前記透過型表示装置に表示させる。

これにより、センサが検知した情報である第１情報が必要なときに、透過型表示装置に表示させることができる。このため、操作者の負担を軽減して、作業効率を向上させることができる。

また、本発明に係るロボットシステムの運転方法は、ロボットシステムが、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うロボットと、前記作業空間内に設置されているセンサと、前記操作者が物理的な実世界を視認可能に構成され、映像画面を表示するように構成されている透過型表示装置と、を備え、前記操作器により前記ロボットが操作されると、前記センサが検知した情報である第１情報が、映像画面として、前記透過型表示装置に表示される（Ａ）を備える。

これにより、センサが検知した情報である第１情報が必要なときに、透過型表示装置に表示させることができる。このため、操作者の負担を軽減して、作業効率を向上させることができる。

本発明のロボットシステム及びその運転方法によれば、操作者の負担を軽減して、作業効率を向上させることができる。

図１は、本実施の形態１に係るロボットシステムの概略構成を示すブロック図である。 図２は、図１に示すロボットシステムの透過型表示装置の一例を示す模式図である。 図３は、図１に示すロボットシステムにおける、ロボットの概略構成を示す模式図である。 図４は、本実施の形態１に係るロボットシステムの動作の一例を示すフローチャートである。 図５は、図２に示す透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図６は、図２に示す透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図７は、本実施の形態１の変形例１のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図８は、本実施の形態２に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図９は、本実施の形態２に係るロボットシステムの動作の一例を示すフローチャートである。 図１０は、本実施の形態２の変形例１のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１１は、本実施の形態２の変形例２のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１２は、本実施の形態２の変形例３のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１３は、本実施の形態２の変形例４のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１４は、本実施の形態３に係るロボットシステムの概略構成を示すブロック図である。 図１５は、本実施の形態３に係るロボットシステムの動作の一例を示すフローチャートである。 図１６は、本実施の形態４に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１７は、本実施の形態４に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１８は、本実施の形態４に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図１９は本実施の形態５に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図２０は、本実施の形態５に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図２１は、本実施の形態５に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図２２は、本実施の形態６に係るロボットシステムの動作の一例を示すフローチャートである。 図２３は、本実施の形態７に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。 図２４は、本実施の形態７の変形例１のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。

以下、本発明の実施の形態を、図面を参照しながら説明する。なお、全ての図面において、同一又は相当部分には同一符号を付し、重複する説明は省略する。また、全ての図面において、本発明を説明するための構成要素を抜粋して図示しており、その他の構成要素については図示を省略している場合がある。さらに、本発明は以下の実施の形態に限定されない。

（実施の形態１）
本実施の形態１に係るロボットシステムは、操作者からの操作指示を受け付ける操作器と、作業空間内に設置され、複数の工程からなる一連の作業を行うロボットと、作業空間内に設置されているセンサと、操作者が物理的な実世界を視認可能に構成され、映像画面を表示するように構成されている透過型表示装置と、制御装置と、を備え、制御装置は、操作器によりロボットが操作されると、センサが検知した情報である第１情報を映像画面にして、透過型表示装置に表示させる。

また、本実施の形態１に係るロボットシステムでは、センサが、ロボットの先端部に配設されていてもよい。

また、本実施の形態１に係るロボットシステムでは、センサが、カメラで構成されていてもよい。

さらに、本実施の形態１に係るロボットシステムでは、透過型表示装置は、操作者に装着可能に構成されていてもよい。

以下、本実施の形態１に係るロボットシステムの一例について、図１〜図６を参照しながら説明する。

［ロボットシステムの構成］
図１は、本実施の形態１に係るロボットシステムの概略構成を示すブロック図である。図２は、図１に示すロボットシステムの透過型表示装置の一例を示す模式図である。

図１に示すように、本実施の形態１に係るロボットシステム１００は、ロボット１、操作器２、センサ３、制御装置４、記憶装置５、及び透過型表示装置６を備えていて、操作者が操作器２を操作することにより、ロボット１が動作するように構成されている。また、本実施の形態１に係るロボットシステム１００は、操作者が操作器２すると、制御装置４は、センサ３が検知した情報である第１情報を映像画面にして、透過型表示装置６に表示させるように構成されている。以下、本実施の形態１に係るロボットシステム１００が備える、各機器について、説明する。

ロボット１は、作業空間内に設置され、複数の工程からなる一連の作業を行うように構成されている。なお、複数の工程からなる一連の作業としては、製品に対する部品の組付、塗装等の作業が例示できる。

本実施の形態１に係るロボット１は、ライン生産方式又はセル生産方式で、電気・電子部品等を組み立てて製品を生産する生産工場で利用され、この生産工場に設けられた作業台に沿って配置され、作業台上のワークに対して、移送、パーツの組み付け又は配置換え、姿勢変換等の作業のうち少なくとも１つを行うことができる多関節ロボットである。但し、ロボット１の実施態様は上記に限定されず、水平多関節型・垂直多関節型を問わず多関節ロボットに広く適用することができる。

ここで、図３を参照しながら、ロボット１の具体的な構成について説明する。

図３は、図１に示すロボットシステムにおける、ロボットの概略構成を示す模式図である。

図３に示すように、ロボット１は、複数のリンク（ここでは、第１リンク１１ａ〜第６リンク１１ｆ）の連接体と、複数の関節（ここでは、第１関節ＪＴ１〜第６関節ＪＴ６）と、これらを支持する基台１５と、を有する多関節ロボットアームである。

第１関節ＪＴ１では、基台１５と、第１リンク１１ａの基端部とが、鉛直方向に延びる軸回りに回転可能に連結されている。第２関節ＪＴ２では、第１リンク１１ａの先端部と、第２リンク１１ｂの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。第３関節ＪＴ３では、第２リンク１１ｂの先端部と、第３リンク１１ｃの基端部とが、水平方向に延びる軸回りに回転可能に連結されている。

また、第４関節ＪＴ４では、第３リンク１１ｃの先端部と、第４リンク１１ｄの基端部とが、第４リンク１１ｄの長手方向に延びる軸回りに回転可能に連結されている。第５関節ＪＴ５では、第４リンク１１ｄの先端部と、第５リンク１１ｅの基端部とが、第４リンク１１ｄの長手方向と直交する軸回りに回転可能に連結されている。第６関節ＪＴ６では、第５リンク１１ｅの先端部と第６リンク１１ｆの基端部とが、捻れ回転可能に連結されている。

そして、第６リンク１１ｆの先端部には、メカニカルインターフェースが設けられている。このメカニカルインターフェースには、作業内容に対応したエンドエフェクタ１２が着脱可能に装着される。また、当該メカニカルインターフェース（ロボット１の先端部）には、センサ３を構成するカメラ３Ａが設けられている。カメラ３Ａは、撮影した映像情報を制御装置４に出力するように構成されている。

また、第１関節ＪＴ１〜第６関節ＪＴ６には、それぞれ、各関節が連結する２つの部材を相対的に回転させるアクチュエータの一例としての駆動モータが設けられている（図示せず）。駆動モータは、例えば、制御装置４によってサーボ制御されるサーボモータであってもよい。また、第１関節ＪＴ１〜第６関節ＪＴ６には、それぞれ、駆動モータの回転位置を検出する回転センサと、駆動モータの回転を制御する電流を検出する電流センサと、が設けられている（それぞれ、図示せず）。回転センサは、例えば、エンコーダであってもよい。

操作器２は、作業空間外に設置され、操作者からの操作指示を受け付ける装置である。操作器２としては、例えば、マスターアーム、ジョイスティック、又はタブレット等が挙げられる。また、操作器２は、ロボット１の動作速度を調整するための調整器を備えていてもよい。

記憶装置（記憶器）５は、読み書き可能な記録媒体であり、タスクプログラム５１とロボットシステム１００の動作シーケンス情報５２が記憶されている。なお、本実施の形態１に係るロボットシステム１００では、記憶装置５は、制御装置４と別体に設けられているが、制御装置４と一体として設けられていてもよい。

タスクプログラム５１は、例えば、操作者がティーチングペンダント等から構成されている操作器２を用いて、ティーチングすることにより作成され、ロボット１の識別情報とタスクとに対応付けられて、記憶装置５に格納されている。なお、タスクプログラム５１は、作業ごとの動作フローとして作成されてもよい。

動作シーケンス情報５２とは、作業空間内でロボット１によって実施される一連の作業工程を規定した動作シーケンスに関する情報である。動作シーケンス情報５２では、作業工程の動作順と、ロボット１の制御モードと、が対応付けられている。また、動作シーケンス情報５２では、各作業工程に対し、ロボット１にその作業を自動的に実行させるためのタスクプログラムが対応付けられている。なお、動作シーケンス情報５２は、各作業工程に対し、ロボット１にその作業を自動的に実行させるためのプログラムを含んでいてもよい。

制御装置４は、ロボット１の動作を制御するものであり、機能ブロックとして、受信部４０、動作制御部４１、及び出力制御部４２を備えている。制御装置４は、例えば、マイクロコントローラ、ＭＰＵ、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）、論理回路等からなる演算部（図示せず）と、ＲＯＭ又はＲＡＭ等からなるメモリ部（図示せず）と、により構成することができる。また、制御装置４が備える各機能ブロックは、制御装置４の演算部が、メモリ部（記憶器）又は記憶装置５に格納されているプログラムを読み出し実行することにより実現できる。

なお、制御装置４は、単独の制御装置で構成される形態だけでなく、複数の制御装置が協働して、ロボット１（ロボットシステム１００）の制御を実行する制御装置群で構成される形態であっても構わない。

受信部４０は、制御装置４の外部から送信された入力信号を受信するものである。受信部４０によって受信する入力信号としては、例えば、操作器２から送信された信号、操作器２以外の図示されない操作指示部から送信された信号等が挙げられる。

動作制御部４１は、受信部４０が入力信号として操作器２から操作指示を受け付けた場合、操作器２から受信部４０が受信した操作指示に基づいて動作するようにロボット１を制御する。

また、動作制御部４１は、受信部４０が入力信号として操作器２から操作指示（操作信号）を受け付けると、センサ３が検知した第１情報を映像画面にして、出力制御部４２を介して、透過型表示装置６に出力する。具体的には、本実施の形態１においては、動作制御部４１は、カメラ３Ａから受信部４０に入力された映像情報（第１情報）を映像画面として、出力制御部４２を介して、透過型表示装置６に出力する。

なお、動作制御部４１は、操作器２からロボット１を予め設定されている所定の第１速度以下の速度で動作させる操作指示信号が受信部４０に入力されたことにより、カメラ３Ａから受信部４０に入力された映像情報を映像画面として、出力制御部４２を介して、透過型表示装置６に出力してもよい。

ここで、第１速度は、予め実験等により設定することができ、例えば、ロボット１の各関節における最高速度（°／秒）の２５〜３５％であってもよく、ロボット１がワークを移動させるときにおけるロボット１の移動速度（エンドエフェクタ１２又はワークの移動速度）の最高速度（ｍｍ／秒）の２５〜３５％であってもよい。また、ロボット１がワークを直線上又は曲線上に移動させる場合、第１速度としては、例えば、ロボット１の移動速度（エンドエフェクタ１２又はワークの移動速度）が、２５０〜３５０ｍｍ／秒であってもよい。

透過型表示装置６は、操作者が物理的な実世界を視認可能に構成され、カメラ３Ａで撮影した映像（映像情報）を表示するように構成されている。具体的には、透過型表示装置６は、図２に示すように、制御装置４の出力制御部４２から出力された映像情報を映すための表示部６ａを有し、操作者が身に着けて使用するヘッドマウントディスプレイ又はメガネで構成されていてもよい。また、透過型表示装置６は、机、床等に据え置いて使用する、据え置き型の透過ディスプレイで構成されていてもよい。

なお、図２に示すように、透過型表示装置６には、操作者が視認している実世界の情報を取得するカメラ６ｂが設けられていてもよい。

［ロボットシステムの動作及び作用効果］
次に、本実施の形態１に係るロボットシステム１００の動作及び作用効果について、図１〜図６を参照しながら説明する。なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図４は、本実施の形態１に係るロボットシステムの動作の一例を示すフローチャートである。

図４に示すように、制御装置４は、操作器２からロボット１を操作するための操作信号が入力されたか否かを判定する（ステップＳ１０１）。具体的には、制御装置４の動作制御部４１は、受信部４０に操作器２から操作信号が入力されたか否かを判定する。

制御装置４は、操作器２から操作信号が入力されていないと判定した場合（ステップＳ１０１でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

一方、制御装置４は、操作器２から操作信号が入力されたと判定した場合（ステップＳ１０１でＹｅｓ）には、ステップＳ１０２の処理を実行する。

ステップＳ１０２において、制御装置４は、ロボット１を第１速度以下で動作させるか否かを判定する。具体的には、制御装置４の動作制御部４１は、操作器２からロボット１を第１速度以下で動作させる操作信号が入力されたか否かを判定する。

制御装置４は、ロボット１を第１速度より大きな速度でロボット１を動作させると判定した場合（ステップＳ１０２でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

一方、制御装置４は、ロボット１を第１速度以下で動作させると判定した場合（ステップＳ１０２でＹｅｓ）には、カメラ３Ａから入力された映像情報を、透過型表示装置６に出力させ（ステップＳ１０３）、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

次に、本実施の形態１に係るロボットシステム１００の具体的な動作例について、図１〜図６を参照しながら説明する。

図５及び図６は、図２に示す透過型表示装置を介して、操作者が視認している視界を示す模式図である。なお、以下においては、図５及び図６に示すように、本実施の形態１に係るロボットシステム１００の動作の具体例として、ロボット１が保持している筒状ワーク２０を基台２１に設けられている突起部２１ａに嵌挿させる動作について、説明する。

まず、操作者が操作器２を操作して、ロボット１のエンドエフェクタ１２にワーク２０を保持させる。このとき、図６に示すように、制御装置４は、カメラ３Ａで撮影された映像情報を映像画面３０として、透過型表示装置６の表示部６ａに表示させるように、透過型表示装置６を制御してもよい。

次に、操作者が操作器２を操作して、エンドエフェクタ１２に保持されているワーク２０が基台２１の突起部２１ａに近づくように、ロボット１を動作させる。このとき、制御装置４は、カメラ３Ａで撮影された映像情報を映像画面３０として、透過型表示装置６の表示部６ａに表示させるように、透過型表示装置６を制御してもよい。また、図５に示すように、制御装置４は、操作者が、ロボット１を第１速度よりも大きな速度で動作するように操作している場合には、カメラ３Ａで撮影された映像情報を透過型表示装置６の表示部６ａに表示させないように、透過型表示装置６を制御してもよい。

次に、操作者が操作器２を操作して、エンドエフェクタ１２に保持されているワーク２０を突起部２１ａに嵌挿させるように、ロボット１を動作させる。このとき、図６に示すように、制御装置４は、カメラ３Ａで撮影された映像情報を映像画面３０として、透過型表示装置６の表示部６ａに表示させるように、透過型表示装置６を制御してもよい。

これにより、操作者は、ワーク２０と突起部２１ａとの位置関係を容易に把握することができ、ロボット１の操作を容易に行うことができる。このため、操作者の作業負担を軽減させることができ、操作者の作業効率を向上させることができる。

なお、制御装置４は、透過型表示装置６に設けられたカメラにより、操作者の瞳に映っている視界情報を取得して、当該視野情報を解析し、ロボット１及び基台２１が映っていない視野に映像画面３０が表示されるように、透過型表示装置６を制御してもよい。

このように構成された、本実施の形態１に係るロボットシステム１００では、制御装置４は、操作者が操作器２を操作することにより、ロボット１が操作されると、センサ３が検知した第１情報を映像画面３０にして、撮影した映像を透過型表示装置６に表示させる。これにより、センサ３が検知した第１情報が必要なときに、透過型表示装置６に表示させることができる。このため、操作者の負担を軽減して、作業効率を向上させることができる。

ところで、ロボット１にワーク２０を保持させる動作、ワーク２０を突起部２１ａに嵌挿させる動作等のような、ロボット１の先端部（エンドエフェクタ１２）の位置決めが必要な動作をさせる場合には、操作者は、ロボット１を慎重に操作するために、ロボット１を第１速度以下の速度で動作させる。また、ロボット１の先端部（エンドエフェクタ１２）の位置決めが必要な動作をさせる場合には、ロボット１の先端部近傍の映像情報があると、位置決めを容易に行うことができる。

このため、本実施の形態１に係るロボットシステム１００では、制御装置４は、操作器２からロボット１の動作を第１速度以下の速度で動作させる操作指示信号を入力されたことにより、カメラ３Ａが撮影した映像情報を映像画面３０として、透過型表示装置６に表示させる。

これにより、カメラ３Ａで撮影した映像情報が必要なときに、透過型表示装置６に表示させることができる。このため、操作者の負担を軽減して、作業効率を向上させることができる。

［変形例１］
次に、本実施の形態１に係るロボットシステムの変形例について、図７を参照しながら説明する。

図７は、本実施の形態１の変形例１のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。

図７に示すように、本変形例１のロボットシステム１００は、実施の形態１に係るロボットシステム１００と基本的構成は同じであるが、センサ３がカメラ３Ａで構成されていて、当該カメラ３Ａは、ロボット１を上方から撮影するように構成されている。

そして、図７に示すように、本変形例１のロボットシステム１００では、操作器２を操作して、ロボット１を動作させると、制御装置４は、カメラ３Ａが撮影した映像情報を映像画面３０として、透過型表示装置６に表示させる。

このように構成された、本変形例１のロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

（実施の形態２）
本実施の形態２に係るロボットシステムは、実施の形態１（変形例を含む）に係るロボットシステムにおいて、センサが、振動情報、音声情報、圧力情報、加速度情報、傾斜情報、位置情報、及び映像情報からなる情報群のうち、少なくとも１つの情報を検知するように構成されている。

また、本実施の形態２に係るロボットシステムでは、予め設定されている、所定の第１閾値が記憶されている記憶器をさらに備え、制御装置は、センサが検知した第１情報が、第１閾値以上である場合に、異常が発生していることを示す情報である異常情報を透過型表示装置に表示させてもよい。

以下、本実施の形態２に係るロボットシステムの一例について、図８及び図９を参照しながら説明する。

［ロボットシステムの構成］
図８は、本実施の形態２に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。

図８に示すように、本実施の形態２に係るロボットシステム１００のロボット１は、センサ３として、振動センサ３Ｂを備えている。振動センサ３Ｂは、ヒトの触覚に対応する周波数帯域（例えば、数Ｈｚ〜約１ｋＨｚ）の振動（以下、触覚振動という）を検知するように構成されている場合には、検知した振動を振動情報（第１情報）として、制御装置４に出力する。

また、振動センサ３Ｂは、ヒトの聴覚に対応する周波数帯域（例えば、約２０Ｈｚ〜約２０ｋＨｚ）の振動（以下、聴覚振動という）を検知するように構成されている場合には、検知した振動を音声情報（第１情報）として、制御装置４に出力する。

なお、本実施の形態２においては、振動センサ３Ｂは、振動情報及び／又は音声情報を検知し、制御装置４に出力するように構成されている。

そして、制御装置４は、振動センサ３Ｂから取得した振動情報及び／又は音声情報を映像画面３０にして、透過型表示装置６に表示させる。具体的には、図８に示すように、制御装置４は、各周波数帯域（２Ｈｚ、４Ｈｚ、８Ｈｚ、１６Ｈｚ、３２Ｈｚ、６４Ｈｚ、１２５Ｈｚ、２５０Ｈｚ、５００Ｈｚ、１ｋＨｚ、２ｋＨｚ、４ｋＨｚ、８ｋＨｚ、及び１６ｋＨｚ）について、音量をバーで示す画面を映像画面３０として、透過型表示装置６に表示させる。なお、本実施の形態２においては、２Ｈｚ、４Ｈｚ、８Ｈｚ、及び１６Ｈｚを振動情報とし、３２Ｈｚ、６４Ｈｚ、１２５Ｈｚ、２５０Ｈｚ、５００Ｈｚ、１ｋＨｚ、２ｋＨｚ、４ｋＨｚ、８ｋＨｚ、及び１６ｋＨｚを音声情報として、取り扱う。

また、制御装置４は、映像画面３０に、予め設定されている第１閾値を表示させてもよい。具体的には、図８に示すように、第１閾値として、太線を表示している。ここで、第１閾値は、予め実験等により設定することができ、制御装置４のメモリ部又は記憶装置５に記憶されている。

第１閾値は、各周波数帯域によって、個別に設定してもよい。また、第１閾値は、ロボット１が実行する作業内容によって、適宜変更してもよい。第１閾値としては、例えば、ロボット１が配置されている作業空間内に発生する音量に対して、１〜２０ｄＢを加算した値としてもよく、１〜５ｄＢを加算した値としてもよく、５〜１０ｄＢを加算した値としてもよく、１０〜２０ｄＢを加算した値としてもよい。

［ロボットシステムの動作及び作用効果］
次に、本実施の形態２に係るロボットシステム１００の動作及び作用効果について、図８及び図９を参照しながら説明する。なお、操作器によりロボットが操作されると、センサ３が検知した第１情報を映像画面にして、透過型表示装置６に表示させる動作については、実施の形態１に係るロボットシステム１００と同様に実行されるため、その詳細な説明は省略する。また、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図９は、本実施の形態２に係るロボットシステムの動作の一例を示すフローチャートである。

図９に示すように、制御装置４は、振動センサ３Ｂから当該振動センサ３Ｂが検知した振動情報及び／又は音声情報を取得する（ステップＳ２０１）。ついで、制御装置４は、ステップＳ２０１で取得した振動情報又は音声情報が第１閾値以上であるか否かを判定する（ステップＳ２０２）。

制御装置４は、ステップＳ２０１で取得した振動情報又は音声情報が第１閾値未満であると判定した場合（ステップＳ２０２でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

一方、制御装置４は、ステップＳ２０１で取得した振動情報又は音声情報が第１閾値以上であると判定した場合（ステップＳ２０２でＹｅｓ）には、異常が発生していることを示す情報である異常情報を透過型表示装置６に表示させ（ステップＳ２０３）、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

異常情報の表示方法としては、例えば、制御装置４は、異常発生又はエラー等の文字を透過型表示装置６の表示部６ａに表示させてもよい。また、制御装置４は、異常が発生していることを示す絵、画像、又は動画等を透過型表示装置６の表示部６ａに表示させてもよい。さらに、制御装置４は、透過型表示装置６の表示部６ａに所定の色彩（例えば、赤、青等）を表示させてもよい。

このように構成された、本実施の形態２に係るロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

また、本実施の形態２に係るロボットシステム１００では、制御装置４が、振動センサ３Ｂが検知した振動情報又は音声情報が、第１閾値以上である場合に、異常情報を透過型表示装置６に表示させる。これにより、操作者は、異常が発生していることを容易に理解することができ、早期に発生した異常に対応することができる。

［変形例１］
次に、本実施の形態２に係るロボットシステム１００の変形例について、図１０を参照しながら説明する。

図１０は、本実施の形態２の変形例１のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。なお、図１０においては、ロボット１が保持している筒状のワーク２０の内周面に突起部２１ａが接触している状態を示している。

図１０に示すように、本変形例１のロボットシステム１００のロボット１は、実施の形態２に係るロボットシステム１００と基本的構成は同じであるが、センサ３として、ロボット１の第６リンク１１ｆ又はエンドエフェクタ１２に設けられている力覚センサ３Ｃを備えている。力覚センサ３Ｃは、エンドエフェクタ１２に外部から作用する反力、又はエンドエフェクタ１２が外部に作用する力を検知し、検知した力の成分（圧力情報；力覚情報）を制御装置４に出力するように構成されている。

そして、制御装置４は、力覚センサ３Ｃから取得した圧力情報（力覚情報）を映像画面３０にして、透過型表示装置６に表示させる。具体的には、図１０に示すように、制御装置４は、力覚センサ３Ｃが検知したＸ方向、Ｙ方向、及びＺ方向の力成分をそれぞれ、太線で示す第１矢印で表わし、当該第１矢印と、ロボット１におけるＸ方向、Ｙ方向、及びＺ方向を示す第２矢印と、を映像画面３０として、透過型表示装置６に表示させる。なお、Ｘ、Ｙ、Ｚ方向は、それぞれ、ロボット１を基準にした方向を示し、Ｘ方向は、ロボット１の左右方向を示し、Ｙ方向は、ロボット１の前後方向を示し、Ｚ方向は、ロボット１の上下方向を示す。

このとき、制御装置４は、ワーク２０又はエンドエフェクタ１２近傍に映像画面３０を表示するように、透過型表示装置６を制御してもよく、Ｘ方向及びＹ方向の力成分が発生している部分（ワーク２０と突起部２１ａが接触している部分）に、映像画面３０を表示するように、透過型表示装置６を制御してもよい。

なお、制御装置４は、力覚センサ３Ｃが検知したＸ方向、Ｙ方向、及びＺ方向のトルク成分をそれぞれ、矢印に表して、当該矢印を映像画面３０として、透過型表示装置６に表示させてもよい。

これにより、操作者は、ワーク２０にかかっている力の方向を容易に理解することができ、ロボット１を直感的に操作することが可能となる。

また、制御装置４は、予め設定されている第１閾値以上の圧力値を力覚センサ３Ｃが検知した場合に、異常情報を映像画面３０に出力するように、透過型表示装置６を制御してもよい。ここで、第１閾値としては、ロボット１が実行する作業内容によって、適宜設定することができ、例えば、ワーク２０が破損するおそれのある圧力値としてもよい。

このように構成された、本変形例１のロボットシステム１００であっても、本実施の形態２に係るロボットシステム１００と同様の作用効果を奏する。

［変形例２］
図１１は、本実施の形態２の変形例２のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。

図１１に示すように、本変形例２のロボットシステム１００のロボット１は、実施の形態２に係るロボットシステム１００と基本的構成は同じであるが、センサ３として、ロボット１のエンドエフェクタ１２に設けられている加速度センサ３Ｄを備えている。加速度センサ３Ｄは、エンドエフェクタ１２（正確には、エンドエフェクタ１２が把持しているワーク２０）の加速度を検知し、検知した加速度を加速度情報として、制御装置４に出力するように構成されている。

そして、制御装置４は、加速度センサ３Ｄから取得した加速度情報を映像画面３０にして、透過型表示装置６に表示させる。具体的には、図１１に示すように、制御装置４は、加速度センサ３Ｄから取得した加速度情報を文字情報（加速度○○Ｇ）として、映像画面３０にして、透過型表示装置６に表示させる。

また、制御装置４は、予め設定されている第１閾値以上の加速度を加速度センサ３Ｄが検知した場合に、異常情報を映像画面３０に出力するように、透過型表示装置６を制御してもよい。ここで、第１閾値としては、ロボット１が実行する作業内容によって、適宜設定することができ、例えば、ワーク２０が破損するおそれのある加速度としてもよい。

このように構成された、本変形例２のロボットシステム１００であっても、本実施の形態２に係るロボットシステム１００と同様の作用効果を奏する。

［変形例３］
図１２は、本実施の形態２の変形例３のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。

図１２に示すように、本変形例３のロボットシステム１００のロボット１は、実施の形態２に係るロボットシステム１００と基本的構成は同じであるが、センサ３として、ロボット１のエンドエフェクタ１２に設けられているジャイロセンサ３Ｅを備えている。ジャイロセンサ３Ｅは、エンドエフェクタ１２（正確には、エンドエフェクタ１２が把持しているワーク２０）の角度（又は角速度）を検知して、検知した角度（又は角速度）を傾斜情報として、制御装置４に出力するように構成されている。

そして、制御装置４は、ジャイロセンサ３Ｅから取得した傾斜情報を映像画面３０にして、透過型表示装置６に表示させる。具体的には、図１２に示すように、制御装置４は、ワーク２０におけるＸ軸回りの角度情報と、ワーク２０におけるＹ軸回りの角度情報と、を帯状の矢印にして表し、当該帯状の矢印と、Ｘ軸及びＹ軸を示す矢印と、を映像画面３０として、透過型表示装置６に表示させる。なお、Ｘ軸及びＹ軸は、それぞれ、ロボット１におけるＸ方向及びＹ方向と同じ向きの軸である。

このとき、制御装置４は、ジャイロセンサ３Ｅから取得した角度情報を、それぞれの軸回り全体（３６０°）に対する割合として表してもよい。具体的には、図１２に示すように、帯状の白矢印において、黒く塗りつぶされている部分が、回転角度の割合を示している。

これにより、操作者は、ワーク２０が向いている方向（角度）を容易に理解することができ、ロボット１を直感的に操作することが可能となる。

また、制御装置４は、予め設定されている第１閾値以上の角度をジャイロセンサ３Ｅが検知した場合に、異常情報を映像画面３０に出力するように、透過型表示装置６を制御してもよい。ここで、第１閾値としては、ロボット１が実行する作業内容によって、適宜設定することができ、例えば、ワーク２０が液体又は粉体等を収容する容器である場合に、当該容器から液体等がこぼれるおそれがある角度としてもよい。

このように構成された、本変形例３のロボットシステム１００であっても、本実施の形態２に係るロボットシステム１００と同様の作用効果を奏する。

［変形例４］
図１３は、本実施の形態２の変形例４のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。なお、図１３においては、ロボット１が保持しているワーク２０を基台２１の上に等間隔（ここでは、１５ｃｍ）で載置する作業を実行している状態を示している。

図１３に示すように、本変形例４のロボットシステム１００のロボット１は、実施の形態２に係るロボットシステム１００と基本的構成は同じであるが、センサ３として、ロボット１のエンドエフェクタ１２に設けられている変位センサ（位置センサ）３Ｆを備えている。変位センサ３Ｆは、エンドエフェクタ１２が把持しているワーク２０と、当該ワーク２０と隣接するワーク２０Ａと、の距離を検知（測定）し、検知した距離を位置情報として、制御装置４に出力するように構成されている。なお、本変形例では、変位センサ３Ｆが、エンドエフェクタ１２が把持しているワーク２０と、当該ワーク２０と隣接するワーク２０Ａと、の距離が、１４．５ｃｍとする。

そして、制御装置４は、変位センサ３Ｆから取得した位置情報を映像画面３０にして、透過型表示装置６に表示させる。具体的には、図１３に示すように、制御装置４は、変位センサ３Ｆから取得した位置情報（ここでは、１４．５ｃｍ）を文字にして、映像画面３０として、透過型表示装置６に表示させる。

これにより、操作者は、隣接するワーク間の距離を容易に理解することができ、ロボット１を直感的に操作することが可能となる。

また、制御装置４は、予め設定されている第１閾値以上の距離を変位センサ３Ｆが検知した場合に、異常情報を映像画面３０に出力するように、透過型表示装置６を制御してもよい。ここで、第１閾値としては、ロボット１が実行する作業内容によって、適宜設定することができる。

このように構成された、本変形例４のロボットシステム１００であっても、本実施の形態２に係るロボットシステム１００と同様の作用効果を奏する。

なお、本変形例４においては、変位センサ３Ｆを位置センサとして設ける形態を採用したが、これに限定されない。例えば、ロボット１の第１関節ＪＴ１〜第６関節ＪＴ６に配置されている、駆動モータ（サーボモータ）の回転位置を検知する回転センサを位置センサとする形態を採用してもよい。この場合、制御装置４は、各回転センサが検知した、各駆動モータの回転位置を取得し、当該回転位置から、エンドエフェクタ１２（ワーク２０）の位置座標を算出し、算出した位置座標から隣接するワーク２０Ａとの距離を算出するように構成されていてもよい。

（実施の形態３）
本実施の形態３に係るロボットシステムは、実施の形態１又は２（変形例を含む）に係るロボットシステムにおいて、出力装置をさらに備え、制御装置は、所定の第１工程終了後に、第１工程の次の工程である第２工程について、ロボットを自動運転モード、手動運転モード、及びハイブリッド運転モードの３つの運転モードのうち、いずれの運転モードで動作させるかの問い合わせを出力装置に出力し、手動運転モード又はハイブリッド運転モードが選択されると、センサが検知した情報である第１情報を映像画面にして、透過型表示装置に表示させるように構成されている。

なお、自動運転モードとは、ロボットが予め設定されているプログラムに従って、自動的に動作を実施することをいう。また、手動運転モードとは、ロボットが、操作器から受け付けた操作指示に従って動作することをいい、操作器から受け付けた操作指示に完全に従うように、ロボットを動作させてもよく、操作器から受け付けた操作指示に対して、予め設定されているプログラムにより補正（例えば、手ブレ補正）をしながら、ロボットを動作させてもよい。さらに、ハイブリッド運転モードとは、自動運転により動作中のロボットを手動運転により動作を補正されることをいう。

以下、本実施の形態３に係るロボットシステムの一例について、図１４及び図１５を参照しながら説明する。

［ロボットシステムの構成］
図１４は、本実施の形態３に係るロボットシステムの概略構成を示すブロック図である。

図１４に示すように、本実施の形態３に係るロボットシステム１００は、実施の形態１に係るロボットシステム１００と基本的構成は同じであるが、出力装置７をさらに備える点が異なる。また、本実施の形態３に係るロボットシステム１００では、制御装置４が補正部４３を有する点が、実施の形態１に係るロボットシステム１００と異なる。

出力装置７は、制御装置４から送信された情報を出力するものであり、ロボット１を自動運転モード、手動運転モード、及びハイブリッド運転モードの３つの運転モードのうち、いずれの運転モードで動作させるかの問い合わせ情報を出力するように構成されている。

出力装置７としては、例えば、モニタ等の表示装置、スピーカ、プリンタ等が挙げられる。例えば、出力装置７が表示装置で構成されている場合、制御装置４から送信された情報を文字、絵、画像、動画等の映像として表示（出力）する。また、出力装置７がスピーカで構成されている場合、制御装置４から送信された情報を音声情報として出力する。さらに、出力装置７がプリンタで構成されている場合、制御装置４から送信された情報を印字する。なお、透過型表示装置６が、出力装置７を兼ねてもよい。

制御装置４の補正部４３は、ロボット１のハイブリッド運転中に受信部４０が補正指示を示す入力信号を受信した場合、ロボット１の動作の補正を動作制御部４１に指示する。具体的には、ロボット１のハイブリッド運転中に、操作器２から入力信号として補正指示信号を受信部４０が受信すると、補正部４３は、動作制御部４１に指示して、ロボット１の自動運転による動作を操作器２からの補正指示信号に従った動作に補正するように動作制御部４１に対して指示する。なお、動作制御部４１は、補正部４３からの指示に応じて、操作器２からの補正指示を反映させた動作となるようにロボット１を制御する。

また、本実施の形態３に係るロボットシステム１００では、制御装置４の動作制御部４１は、受信部４０が入力信号として操作器２から操作指示を受け付けた場合、この操作指示をトリガとして一連の作業においてロボット１が実施する工程の運転モードを判定する。動作制御部４１は、次にロボット１が実施する工程の運転モードの判定を記憶装置５に記憶された動作シーケンス情報５２を参照して行うことができる。動作制御部４１は、運転モードを判定すると、判定された運転モードでロボット１を動作させるように制御する。

例えば、動作制御部４１は、ロボット１を自動運転とすると判定した場合には、動作シーケンス情報５２を読み出し、動作シーケンス情報５２に含まれるプログラムにより規定された動作を実施するようにロボット１を制御する。

また、動作制御部４１は、ロボット１を手動運転とすると判定した場合には、操作器２から受信部４０が受信した操作指示に基づいて動作するようにロボット１を制御する。

さらに、動作制御部４１は、ロボット１をハイブリッド運転とすると判定した場合には、動作シーケンス情報５２を読み出し、動作シーケンス情報５２に含まれるプログラムにより規定された動作を実施し、ロボット１を自動運転により動作中に、操作器２から入力信号として補正指示信号を受信部４０が受信すると、ロボット１の自動運転による動作を操作器２からの補正指示信号に従った動作に補正する。そして、動作制御部４１は、操作器２から補正指示信号の出力が停止され、受信部４０が当該補正指示信号の受信を停止した場合、又は、操作器２からロボット１の自動運転の再開を指示する信号を受信部４０が受信した場合には、ロボット１の自動運転を再開する。

なお、動作制御部４１は、ロボット１を自動運転モードにより動作させる場合、ロボット１の自動運転モードが終了すると、自動運転モード終了を示す情報を出力制御部４２に送信してもよい。これにより、出力制御部４２が出力装置７に自動運転モード終了を示す情報を操作者に向けて出力することで、操作者は、自動運転モードが終了したことを理解することができる。

また、動作制御部４１は、所定の工程終了後に、ロボット１を自動運転モード、手動運転モード、及びハイブリッド運転モードの３つの運転モードのうち、いずれの運転モードで動作させるかの問い合わせ情報を出力制御部４２に出力する。

出力制御部４２は、例えば、動作制御部４１から自動運転開始を示す情報を受信した場合、あるいは、動作制御部４１から受信部４０を介して、操作器２からの手動運転開始を示す情報、又はロボット１のハイブリッド運転中に、動作制御部４１から受信部４０を介して、操作器２からの補正指示を示す入力信号を受信した場合に、当該情報を出力するように出力装置７を制御してもよい。

また、出力制御部４２は、動作制御部４１から自動運転終了を示す情報を受信した場合、あるいは、動作制御部４１から受信部４０を介して、操作器２からの手動運転終了を示す情報、又はハイブリッド運転終了を示す情報を受信した場合に、当該情報を出力するように出力装置７を制御してもよい。

さらに、出力制御部４２は、動作制御部４１から問い合わせ情報を受信した場合、当該情報を出力するように、出力装置７を制御する。これにより、操作者は、３つの運転モードのうち、いずれの運転モードでロボット１を動作させるか選択し、操作器２を操作することにより、選択情報を制御装置４の受信部４０に出力させることができる。

また、本実施の形態３に係るロボットシステム１００では、操作器２は、３つの運転モードのうち、操作者が選択した運転モードを選択情報として出力するように構成されている。操作器２は、操作者が操作することにより、手動運転モード又はハイブリッド運転モードが終了すると、当該運転モードの終了を示す情報を出力するように構成されていてもよい。なお、操作器２には、作業の開始指示、手動運転による作業の完了通知等を入力する入力部等が、別途、設けられていてもよい。

［ロボットシステムの動作及び作用効果］
次に、本実施の形態３に係るロボットシステム１００の動作及び作用効果について、図１４及び図１５を参照しながら説明する。なお、以下の動作は、制御装置４の演算部が、メモリ部又は記憶装置５に格納されているプログラムを読み出すことにより実行される。

図１５は、本実施の形態３に係るロボットシステムの動作の一例を示すフローチャートである。

図１５に示すように、制御装置４は、複数の工程のうち、少なくともいずれか１つの工程である、第１工程が終了したか否かを判定する（ステップＳ３０１）。具体的には、制御装置４の動作制御部４１が、自動運転を終了したか否か、あるいは、受信部４０を介して、操作器２から手動運転終了を示す情報、又はハイブリッド運転終了を示す情報を受信したか否かを判定する。

制御装置４の動作制御部４１は、自動運転を終了していない、あるいは、受信部４０を介して、操作器２から手動運転終了を示す情報、又はハイブリッド運転終了を示す情報を受信していないと判定した場合（ステップＳ３０１でＮｏ）には、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

一方、制御装置４の動作制御部４１は、自動運転を終了した、あるいは、受信部４０を介して、操作器２から手動運転終了を示す情報、又はハイブリッド運転終了を示す情報を受信したと判定した場合（ステップＳ３０１でＹｅｓ）には、ステップＳ３０２の処理を実行する。

ステップＳ３０２において、制御装置４は、ロボット１を自動運転モード、手動運転モード、及びハイブリッド運転モードの３つの運転モードのうち、いずれの運転モードで動作させるかの問い合わせ情報を出力装置７に表示（出力）させる。具体的には、制御装置４の動作制御部４１が、出力制御部４２を介して、問い合わせ情報を出力装置７に出力する。そして、出力装置７が当該問い合わせ情報を取得することで、操作者に３つの運転モードのうち、いずれの運転モードで動作させるかの問い合わせ情報を表示する。

これを受けて、操作者は、３つの運転モードのうち、いずれの運転モードで動作させるか選択し、操作器２を操作して、選択した運転モードを選択情報として出力させる。

次に、制御装置４の動作制御部４１は、操作器２から受信部４０に選択情報が入力されたか否かを判定する（ステップＳ３０３）。動作制御部４１は、操作器２から受信部４０に選択情報が入力されていないと判定した場合（ステップＳ３０３でＮｏ）には、ステップＳ３０２に戻り、操作器２から受信部４０に選択情報が入力されるまで、ステップＳ３０２とステップＳ３０３を繰り返す。一方、動作制御部４１は、操作器２から受信部４０に選択情報が入力されたと判定した場合（ステップＳ３０３でＹｅｓ）には、ステップＳ３０４に進む。

ステップＳ３０４において、制御装置４の動作制御部４１は、操作器２から受信部４０を介して、入力された選択情報が、手動運転モード、又はハイブリッド運転モードであるか否かを判定する。

制御装置４の動作制御部４１は、ステップＳ３０３で取得した選択情報が自動運転モードと判定した場合（ステップＳ３０４でＮｏ）には、本プログラムを終了する。一方、制御装置４の動作制御部４１は、ステップＳ３０３で取得した選択情報が手動運転モード又はハイブリッド運転モードと判定した場合（ステップＳ３０４でＹｅｓ）には、センサ３が検知した第１情報を映像画面にして、透過型表示装置６に出力させる（ステップＳ３０５）。具体的には、制御装置４は、カメラ３Ａで撮影した映像を透過型表示装置６に表示させる。

その後、制御装置４は、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

このように構成された、本実施の形態３に係るロボットシステム１００では、制御装置４が、操作者が、ロボット１の運転モードを手動運転モード又はハイブリッド運転モードを選択したときに、センサ３が検知した第１情報を映像画面にして、透過型表示装置６に表示させる。ロボット１を手動運転モード又はハイブリッド運転モードで運転する場合には、操作者が、操作器２を操作して、ロボット１を操作する。このため、センサ３が検知した第１情報が必要なときに、当該第１情報を映像画面にして、透過型表示装置６に表示させることができる。このため、操作者の負担を軽減して、作業効率を向上させることができる。

なお、本実施の形態３においては、センサ３をカメラ３Ａで構成されている形態を採用したが、これに限定されない。センサ３を振動センサ等の各種のセンサで構成されている形態を採用してもよい。

（実施の形態４）
本実施の形態４に係るロボットシステムは、実施の形態１〜３（変形例を含む）のうち、少なくともいずれか１つの実施の形態に係るロボットシステムにおいて、センサがカメラで構成されていて、制御装置は、操作器によりロボットが操作されると、カメラが撮影した映像情報を映像画面として、透過型表示装置に表示させるように構成されている。

また、本実施の形態４に係るロボットシステムでは、制御装置が、ロボットの動作速度に応じて、映像画面の大きさを変動して、透過型表示装置に表示させるように構成されていてもよい。

さらに、本実施の形態４に係るロボットシステムでは、ロボットの動作速度が小さくなると、映像画面の大きさを大きくして、カメラが撮影した映像情報を透過型表示装置に表示させるように構成されていてもよい。

以下、本実施の形態４に係るロボットシステムの一例について、図１３〜図１５を参照しながら説明する。なお、本実施の形態４に係るロボットシステム１００は、実施の形態１に係るロボットシステム１００と同様の構成であるため、その構成の詳細な説明は省略する。

図１６〜図１８は、本実施の形態４に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。なお、図１６〜図１８においては、この順でロボット１の動作速度が小さくなっている。

図１６〜図１８に示すように、制御装置４は、ロボット１の動作速度に応じて、透過型表示装置６に表示させるカメラ３Ａで撮影した映像情報を写す映像画面３０の大きさを変動するように、透過型表示装置６を制御する。具体的には、制御装置４は、ロボット１の動作速度が小さくなると、カメラ３Ａで撮影した映像情報を写す映像画面３０の大きさを大きくするように、透過型表示装置６を制御する。

このとき、制御装置４は、ロボット１の動作速度に反比例して、映像画面３０の大きさが滑らかに大きくなるように、透過型表示装置６を制御してもよい。また、制御装置４は、ロボット１の動作速度と、映像画面３０の大きさと、の関係が、二次関数、三次関数等の高次関数、指数関数、又は対数関数等で示される関数となるように、透過型表示装置６を制御してもよい。さらに、制御装置４は、ロボット１の動作速度に対して、映像画面３０の大きさが階段状に大きくなるように、透過型表示装置６を制御してもよい。

このように構成された、本実施の形態４に係るロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

上述したように、ロボット１の先端部（エンドエフェクタ１２）の位置決めが必要な動作等をロボット１にさせる場合には、操作者は、ロボット１を慎重に操作するために、ロボット１の動作速度を小さくする。このとき、操作者は、ロボット１の先端部近傍の映像情報を注視する。

このため、本実施の形態４に係るロボットシステム１００では、制御装置４は、ロボット１の動作速度が小さくなると、映像画面３０の大きさを大きくするように、透過型表示装置６を制御する。

これにより、映像画面３０が見やすくなり、操作者の負担をより軽減して、作業効率をより向上させることができる。

（実施の形態５）
本実施の形態５に係るロボットシステムは、実施の形態１〜４（変形例を含む）のうち、少なくともいずれか１つの実施の形態に係るロボットシステムにおいて、センサがカメラで構成されていて、制御装置は、ロボットの動作速度に応じて、映像画面の透過率を変動して、透過型表示装置に表示させるように構成されている。

また、本実施の形態５に係るロボットシステムでは、制御装置は、ロボットの動作速度が小さくなると、映像画面の透過率を小さくして、カメラが撮影した映像情報を透過型表示装置に表示させるように構成されていてもよい。

以下、本実施の形態５に係るロボットシステムの一例について、図１９〜図２１を参照しながら説明する。なお、本実施の形態５に係るロボットシステム１００は、実施の形態１に係るロボットシステム１００と同様の構成であるため、その構成の詳細な説明は省略する。

図１９〜図２１は、本実施の形態５に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。なお、図１９〜図２１においては、この順でロボット１の動作速度が小さくなっている。

図１９〜図２１に示すように、制御装置４は、ロボット１の動作速度に応じて、透過型表示装置６に表示させるカメラ３Ａで撮影した映像情報を写す映像画面３０の透過率を変動するように、透過型表示装置６を制御する。具体的には、制御装置４は、ロボット１の動作速度が小さくなると、透過型表示装置６に表示させるカメラ３Ａで撮影した映像情報を写す映像画面３０の透過率を小さくするように透過型表示装置６を制御する。

このとき、制御装置４は、ロボット１の動作速度に比例して、映像画面３０の透過率が滑らかに小さくなるように、透過型表示装置６を制御してもよい。また、制御装置４は、ロボット１の動作速度と、映像画面３０の大きさと、の関係が、二次関数、三次関数等の高次関数、指数関数、又は対数関数等で示される関数となるように、透過型表示装置６を制御してもよい。さらに、制御装置４は、ロボット１の動作速度に対して、映像画面３０の透過率が階段状に小さくなるように、透過型表示装置６を制御してもよい。

このように構成された、本実施の形態５に係るロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

上述したように、ロボット１の先端部（エンドエフェクタ１２）の位置決めが必要な動作等をロボット１にさせる場合には、操作者は、ロボット１の先端部近傍の映像情報を注視する。このとき、映像画面３０とロボット１等が、透過型表示装置６の表示部６ａに重なるように表示されると、操作者にとって、映像画面３０が見づらくなるかもしれない。

このため、本実施の形態５に係るロボットシステム１００では、制御装置４は、ロボット１の動作速度が小さくなると、映像画面３０の透過率を小さくするように、透過型表示装置６を制御する。これにより、操作者には、映像画面３０の背景にあるロボット１等が見えなくなり、映像画面３０を見やすくすることができる。このため、操作者の負担をより軽減して、作業効率をより向上させることができる。

（実施の形態６）
本実施の形態６に係るロボットシステムは、実施の形態１〜５（変形例を含む）のうち、少なくともいずれか１つの実施の形態に係るロボットシステムにおいて、センサがカメラで構成されていて、制御装置は、ロボットの動作速度に応じて、透過型表示装置に表示させるカメラで撮影した映像画面の色彩を変動するように構成されている。

また、本実施の形態６に係るロボットシステムでは、制御装置は、ロボットの動作速度が予め設定されている所定の第１速度以下の場合には、透過型表示装置に、カメラで撮影した映像情報をモノクローム映像で映像画面に表示させ、ロボットの動作速度が第１速度よりも大きい場合には、カメラで撮影した映像画面をカラー映像で映像画面に表示させように構成されていてもよい。

以下、本実施の形態６に係るロボットシステムの一例について、図２２を参照しながら説明する。なお、本実施の形態６に係るロボットシステム１００は、実施の形態１に係るロボットシステム１００と同様の構成であるため、その構成の詳細な説明は省略する。

図２２は、本実施の形態６に係るロボットシステムの動作の一例を示すフローチャートである。

図２２に示すように、本実施の形態６に係るロボットシステム１００の動作は、実施の形態１に係るロボットシステム１００と基本的には同じ動作を実行するが、ステップＳ１０２以降の動作が異なる。具体的には、制御装置４が、ロボット１を第１速度以下で動作させるか否かを判定した後の動作が異なる。

制御装置４は、ロボット１を第１速度以下で操作させると判定した場合（ステップＳ１０２でＹｅｓ）には、カメラ３Ａから入力された映像情報を、透過型表示装置６にカラー映像として出力させ（ステップＳ１０３Ａ）、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

一方、制御装置４は、ロボット１を第１速度より大きな速度でロボット１を動作させると判定した場合（ステップＳ１０２でＮｏ）には、カメラ３Ａから入力された映像情報を、透過型表示装置６にモノクローム映像として出力させ（ステップＳ１０４）、本プログラムを終了する。なお、制御装置４は、本プログラムを終了した場合には、例えば、５０ｍｓｅｃ後に再び、本プログラムを実行する。

このように構成された、本実施の形態６に係るロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

上述したように、ロボット１の先端部（エンドエフェクタ１２）の位置決めが必要な動作等をロボット１にさせる場合には、操作者は、ロボット１の先端部近傍の映像情報を注視する。

このため、本実施の形態６に係るロボットシステム１００では、制御装置４が、ロボット１の動作速度が第１速度以下の場合には、透過型表示装置６に映像画面３０をカラー映像で表示させる。これにより、操作者にとって、映像画面３０を見やすくすることができる。このため、操作者の負担をより軽減して、作業効率をより向上させることができる。

（実施の形態７）
本実施の形態７に係るロボットシステムは、実施の形態１〜６（変形例を含む）のうち、少なくともいずれか１つの実施の形態に係るロボットシステムにおいて、予め設定されている、所定の工程におけるロボットが作動可能な領域である第１作動領域が記憶されている記憶器をさらに備え、制御装置は、操作器によりロボットが操作されると、第１作動領域を透過型表示装置に表示させるように構成されている。

以下、本実施の形態７に係るロボットシステムの一例について、図２３を参照しながら説明する。なお、本実施の形態７に係るロボットシステム１００は、実施の形態１に係るロボットシステム１００と同様の構成であるため、その構成の詳細な説明は省略する。

図２３は、本実施の形態７に係るロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。

図２３に示すように、本実施の形態７に係るロボットシステム１００は、制御装置４は、操作者が、操作器２を操作して、ロボット１を動作させると、予め記憶装置５に記憶されている、第１作動領域３１を透過型表示装置６に表示させる。

ここで、第１作動領域３１は、所定の工程におけるロボット１が作動可能な領域をいい、作業者が所定の工程をロボット１に実行させるにあたって、ロボット１を操作するときに指標となる領域である。第１作動領域３１は、予め実験等により適宜設定することができ、ロボット１が実行する作業内容によって、適宜設定される。

第１作動領域３１としては、例えば、ロボット１の大きさ及び各関節の可動範囲等によって定まる、ロボット１が動作することができる範囲（領域）であってもよい。また、第１作動領域３１としては、ロボット１が把持しているワーク２０の移動可能な範囲（領域）であってもよい。さらに、第１作動領域３１としては、ロボット１が最適に作業を実行したとき（ロボット１が最も早く作業を終了させることができたとき）のワーク２０の軌跡に対して、−１０〜＋１０ｃｍの範囲（領域）であってもよい。

本実施の形態７においては、図２３に示すように、制御装置４は、ロボット１が保持しているワーク２０を突起部２１ａに嵌挿させるために、ワーク２０が位置することができる範囲（ワーク２０が移動可能な範囲；網掛けした部分）を第１作動領域３１として、透過型表示装置６に表示させている。すなわち、本実施の形態７においては、制御装置４は、第１作動領域３１を拡張現実として、透過型表示装置６に表示させている。

これにより、操作者は、容易にロボット１を操作することができ、作業の効率化を図ることができる。

このように構成された、本実施の形態７に係るロボットシステム１００であっても、実施の形態１に係るロボットシステム１００と同様の作用効果を奏する。

なお、第１作動領域３１は、ロボット１の動作速度に応じて、その領域が変動するように、記憶装置５に記憶されていてもよい。具体的には、第１作動領域３１は、ロボット１の動作速度が小さくなると、その領域を小さくするように、記憶装置５に記憶されていてもよい。

［変形例１］
次に、本実施の形態７に係るロボットシステム１００の変形例について、図２４を参照しながら説明する。なお、本変形例１のロボットシステム１００は、実施の形態１に係るロボットシステム１００と同様の構成であるため、その構成の詳細な説明は省略する。

図２４は、本実施の形態７の変形例１のロボットシステムにおける透過型表示装置を介して、操作者が視認している視界を示す模式図である。

図２４に示すように、本変形例１のロボットシステム１００では、制御装置４は、カメラ３Ａで撮影した映像情報を写す映像画面３０に第１作動領域３１を表示するように、透過型表示装置６を制御している。

なお、制御装置４は、第１作動領域３１を映像画面３０に表示し、かつ、上記実施の形態７のように、第１作動領域３１を拡張現実として表示してもよい。

このように構成された、本変形例１のロボットシステム１００であっても、実施の形態７に係るロボットシステム１００と同様の作用効果を奏する。

上記説明から、当業者にとっては、本発明の多くの改良又は他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。

本発明のロボットシステム及びその運転方法によれば、操作者の負担を軽減して、作業効率を向上させることができるため、ロボットの分野において有用である。

１ ロボット
２ 操作器
３ センサ
３Ａ カメラ
３Ｂ 振動センサ
３Ｃ 力覚センサ
３Ｄ 加速度センサ
３Ｅ ジャイロセンサ
３Ｆ 変位センサ
４ 制御装置
５ 記憶装置
６ 透過型表示装置
６ａ 表示部
６ｂ カメラ
７ 出力装置
１１ａ 第１リンク
１１ｂ 第２リンク
１１ｃ 第３リンク
１１ｄ 第４リンク
１１ｅ 第５リンク
１１ｆ 第６リンク
１２ エンドエフェクタ
１５ 基台
２０ ワーク
２０Ａ ワーク
２１ 基台
２１ａ 突起部
３０ 映像画面
３１ 第１作動領域
４０ 受信部
４１ 動作制御部
４２ 出力制御部
４３ 補正部
５１ タスクプログラム
５２ 動作シーケンス情報
１００ ロボットシステム
ＪＴ１ 第１関節
ＪＴ２ 第２関節
ＪＴ３ 第３関節
ＪＴ４ 第４関節
ＪＴ５ 第５関節
ＪＴ６ 第６関節

Claims (22)

1. 操作者からの操作指示を受け付ける操作器と、
   作業空間内に設置され、複数の工程からなる一連の作業を行うロボットと、
   前記作業空間内に設置されているセンサと、
   前記操作者が物理的な実世界を視認可能に構成され、映像画面を表示するように構成されている透過型表示装置と、
   制御装置と、を備え、
   前記制御装置は、前記操作器により前記ロボットが操作されると、前記センサが検知した情報である第１情報を映像画面にして、前記透過型表示装置に表示させるように構成されている、ロボットシステム。
2. 前記センサは、振動情報、音声情報、圧力情報、加速度情報、傾斜情報、位置情報、及び映像情報からなる情報群のうち、少なくとも１つの情報を検知するように構成されている、請求項１に記載のロボットシステム。
3. 前記センサは、前記ロボットの先端部に配設されている、請求項１又は２に記載のロボットシステム。
4. 出力装置をさらに備え、
   前記制御装置は、所定の第１工程終了後に、前記第１工程の次の工程である第２工程について、前記ロボットを自動運転モード、手動運転モード、及びハイブリッド運転モードの３つの運転モードのうち、いずれの運転モードで動作させるかの問い合わせを前記出力装置に出力し、前記手動運転モード又は前記ハイブリッド運転モードが選択されると、前記センサが検知した検知情報を映像画面にして、前記透過型表示装置に表示させるように構成されている、請求項１〜３のいずれか１項に記載のロボットシステム。
5. 予め設定されている、所定の第１閾値が記憶されている記憶器をさらに備え、
   前記制御装置は、前記センサが検知した第１情報が、前記第１閾値以上である場合に、異常が発生していることを示す情報である異常情報を前記透過型表示装置に表示させるように構成されている、請求項１〜４のいずれか１項に記載のロボットシステム。
6. 前記センサは、カメラで構成されていて、
   前記制御装置は、前記操作器により前記ロボットが操作されると、前記カメラが撮影した映像情報を映像画面として、前記透過型表示装置に表示させるように構成されている、請求項１〜５のいずれか１項に記載のロボットシステム。
7. 前記制御装置は、前記ロボットの動作速度が小さくなると、前記映像画面の大きさを大きくして、前記カメラが撮影した映像情報を前記透過型表示装置に表示させるように構成されている、請求項６に記載のロボットシステム。
8. 前記制御装置は、前記ロボットの動作速度が小さくなると、前記映像画面の透過率を小さくして、前記カメラが撮影した映像情報を前記透過型表示装置に表示させるように構成されている、請求項６又は７に記載のロボットシステム。
9. 前記制御装置は、前記ロボットの動作速度が予め設定されている所定の第１速度以下の場合には、前記透過型表示装置に、前記カメラで撮影した映像情報をモノクローム映像で前記映像画面に表示させ、前記ロボットの動作速度が前記第１速度よりも大きい場合には、前記カメラで撮影した映像画面をカラー映像で前記映像画面に表示させるように構成されている、請求項６〜８のいずれか１項に記載のロボットシステム。
10. 前記透過型表示装置は、前記操作者に装着可能に構成されている、請求項１〜９のいずれか１項に記載のロボットシステム。
11. 予め設定されている、所定の工程における前記ロボットが作動可能な領域である第１作動領域が記憶されている記憶器をさらに備え、
    前記制御装置は、前記操作器により前記ロボットが操作されると、前記第１作動領域を前記透過型表示装置に表示させるように構成されている、請求項１〜１０のいずれか１項に記載のロボットシステム。
12. ロボットシステムの運転方法であって、
    前記ロボットシステムは、
    操作者からの操作指示を受け付ける操作器と、
    作業空間内に設置され、複数の工程からなる一連の作業を行うロボットと、
    前記作業空間内に設置されているセンサと、
    前記操作者が物理的な実世界を視認可能に構成され、映像画面を表示するように構成されている透過型表示装置と、を備え、
    前記操作器により前記ロボットが操作されると、前記センサが検知した情報である第１情報を、映像画面として、前記透過型表示装置が表示する（Ａ）を備える、ロボットシステムの運転方法。
13. 前記センサは、振動情報、音声情報、圧力情報、加速度情報、傾斜情報、位置情報、及び映像情報からなる情報群のうち、少なくとも１つの情報を検知するように構成されている、請求項１２に記載のロボットシステムの運転方法。
14. 前記センサは、前記ロボットの先端部に配設されている、請求項１２又は１３に記載のロボットシステムの運転方法。
15. 前記ロボットシステムは、出力装置をさらに備え、
    所定の第１工程終了後に、前記第１工程の次の工程である第２工程について、前記ロボットを自動運転モード、手動運転モード、及びハイブリッド運転モードの３つの運転モードのうち、いずれの運転モードで動作させるかの問い合わせを前記出力装置が出力する（Ｂ）をさらに備え、
    前記（Ａ）は、前記手動運転モード又は前記ハイブリッド運転モードが選択されると、実行される、請求項１２〜１４のいずれか１項に記載のロボットシステムの運転方法。
16. 前記ロボットシステムは、予め設定されている、所定の第１閾値が記憶されている記憶器をさらに備え、
    前記センサが検知した第１情報が、前記第１閾値以上である場合に、異常が発生していることを示す情報である異常情報を前記透過型表示装置が表示する（Ｃ）をさらに備える、請求項１２〜１５のいずれか１項に記載のロボットシステムの運転方法。
17. 前記センサは、カメラで構成されていて、
    前記（Ａ）において、前記操作器により前記ロボットが操作されると、前記カメラが撮影した映像情報を映像画面として、前記透過型表示装置が表示する、請求項１２〜１６のいずれか１項に記載のロボットシステムの運転方法。
18. 前記（Ａ）において、前記透過型表示装置は、前記ロボットの動作速度が小さくなると、前記映像画面の大きさを大きくして、前記カメラが撮影した映像情報を表示する、請求項１７に記載のロボットシステムの運転方法。
19. 前記（Ａ）において、前記透過型表示装置は、前記ロボットの動作速度が小さくなると、前記映像画面の透過率を小さくして、前記カメラが撮影した映像情報を表示する、請求項１７又は１８に記載のロボットシステムの運転方法。
20. 前記（Ａ）において、前記透過型表示装置は、前記ロボットの動作速度が予め設定されている所定の第１速度以下の場合には、前記カメラで撮影した映像情報をモノクローム映像で前記映像画面に表示し、前記ロボットの動作速度が前記第１速度よりも大きい場合には、前記カメラで撮影した映像画面をカラー映像で前記映像画面に表示する、請求項１７〜１９のいずれか１項に記載のロボットシステムの運転方法。
21. 前記透過型表示装置は、前記操作者に装着可能に構成されている、請求項１２〜２０のいずれか１項に記載のロボットシステムの運転方法。
22. 予め設定されている、所定の工程における前記ロボットが作動可能な領域である第１作動領域が記憶されている記憶器をさらに備え、
    前記操作器により前記ロボットが操作されると、前記透過型表示装置が前記第１作動領域を表示する（Ｄ）をさらに備える、請求項１２〜２１のいずれか１項に記載のロボットシステムの運転方法。
    
    
    
    

Images