JP7370755B2 - 情報処理装置、情報処理方法、プログラム、記録媒体、および物品の製造方法 - Google Patents

Description

本発明は、仮想ロボット装置を仮想環境で動作させる情報処理装置、情報処理装置の制御方法、および物品の製造方法に関する。

一般に、ロボットを用いて作業を行う装置の場合、ロボットの周辺には冶具や隣接するロボットや壁などの障害物が存在する。そのため、ロボットがこれらの障害物と干渉（衝突、接触）する可能性がある。ロボットが干渉（衝突、接触）を生じずに動作できるかを実機で確認することは容易ではない。そのため、仮想空間でロボットの動作を検証できるシミュレータが用いられることがある。この種のシミュレータでは、実機の構造や寸法に基づき作成された３Ｄモデルを、実機と同様の教示点データやロボットプログラムを用いて仮想空間中で稼働させる。そしてその様子を、例えばディスプレイ上に３Ｄアニメーションなどの形態で表示することにより、ワーク搬送や組み立てなどの動作を検証できる。

このようなシミュレータを用いることで、干渉（衝突、接触）の有無の確認や、そのような干渉を生じる可能性のある特定のロボット動作の修正を、実機を用いることなく実行できる。干渉（衝突、接触）の検出は、ロボットや障害物の３Ｄモデルの仮想空間中での位置関係を識別する干渉監視タスクを動かしておき、例えば干渉すべきではない、ロボットと、障害物のモデルがともに同一の空間を占めていないか判定することにより行う。

もし、干渉監視タスクが干渉（衝突、接触）を検出した場合には、３Ｄモデルを表示しているディスプレイに干渉検出状態を表示し、ユーザに通知する。この時の表示の手法として、一般に実施されているのは、仮想空間内で干渉（衝突、接触）を生じている３Ｄモデルの全体、あるいは当該の部位の表示色を変更するものである（例えば下記の特許文献１）。

特開２０１３－１３６１２３号公報

上記のように３Ｄモデルやその当該部位の表示色を干渉発生に応じて変更する従来構成は、静止した状態で干渉が発生していたり３Ｄ仮想表示が静止画となっているような状態では、ユーザが容易にその状態を確認できる。しかし、３Ｄモデルをアニメーション（動画）表示などにより仮想表示中で連続的に動作させている間の表示では視認が難しい場合があり、干渉が発生しているか否かを直感的に判断するのが難しい場合がある。

また、３Ｄモデルのアニメーション（動画）表示中にユーザが干渉状態を確認し、直ちにアニメーションを停止させる操作を行っても、動画表示は問題のタイミングの表示より先に進んだ位置で停止する場合がある。その場合、表示フレームを過去の方向に駒送りさせるなどの作業を行わなければ干渉発生のタイミングを表示させることができず、また、この種のＧＵＩ操作は一般に煩雑である。特に、仮想環境を表示させるのにアニメーション（動画）表示を用いる場合には、１フレームだけ瞬間的に干渉が起きている場合や、他の３Ｄモデルの影になっている個所で干渉が起きている場合など、表示画面による状態確認が難しい場合があった。このような状況で確認漏れを防ぐには、３Ｄモデルの動作を１フレームずつ前後に駒送りして確認する手法が考えられるが、検証している動作のタクトが長ければ、確認作業に多大な工数がかかり効率がよくない場合がある。

本発明の課題は、以上の問題に鑑み、この種の情報処理装置において、検証中のロボット装置の動作に係る干渉（衝突、接触）などの警告事象や、それについて必要な対処を容易かつ直感的に判断できるようにすることにある。

本発明の一つの態様は、情報処理装置において、表示部に、制御データに基づき、仮想環境で模擬的に動作するロボットシステムの動作をモデルで表示する第１動作表示領域が表示され、前記ロボットシステムの動作の状態に基づき警告事象を特定し、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記第１動作表示領域とは異なる第２動作表示領域に表示し、前記第１動作表示領域において前記ロボットシステムの動作を再生している場合に、前記警告事象が発生したタイミングとなれば、前記第２動作表示領域において、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記警告事象における前記ロボットシステムの動作を再生する、ことを特徴とする情報処理装置である。

上記構成によれば、ロボット装置のモデルの干渉などの警告事象に係る部位を表示装置のアニメーション表示領域の画角内に納めて表示するようにしている。そのため、ユーザは干渉などの警告事象に係る部位を容易かつ直感的に判断することができる。即ち、検証中のロボット装置の動作に係る干渉（衝突、接触）などの警告事象や、それについて必要な対処を容易かつ直感的に判断することができる、という優れた効果がある。

実施形態１に係わるハードウェア構成を示した説明図である。 実施形態１に係わるシミュレータ装置の制御系を示したブロック図である。 実施形態１に係わるシミュレーションソフトウェアおよび表示出力の概要を示した説明図である。 実施形態１に係わるシミュレータ装置の処理手順を示したフローチャート図である。 実施形態１に係わる出力画面の表示例を示した説明図である。 実施形態１に係わる出力画面の他の表示例を示した説明図である。 実施形態１に係わる出力画面のさらに異なる表示例を示した説明図である。 本発明に係わるシミュレータ装置により検証されたロボット制御データにより動作し、物品を製造するロボット装置を示した説明図である。

以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。

以下、本実施形態に係わる情報処理装置の構成、およびその表示制御につき、図１から図５を参照して説明する。本実施形態の情報処理装置は、ロボット装置のハードウェア構成に対応する仮想ロボット装置を仮想環境で動作させるロボットシミュレータ装置として構成されている。図１に示すように、このロボットシミュレータ装置は、コンピュータ本体Ａと、コンピュータ本体Ａに接続されたディスプレイＢ、マウスＣ、キーボードＤを備える。

コンピュータ本体Ａには、シミュレーションソフトウェアＥがインストールされており、後述する同ソフトウェア（Ｅ）の処理により、ディスプレイＢにシミュレーション画面の表示が行われる。図１では、ディスプレイＢ上のシミュレーションソフトウェアＥの画面表示に相当する部分を示している。

図２は、本実施形態のシミュレーションソフトウェアＥの実行環境である制御系の構成例を示している。図２の構成は、ハードウェア的には、上記のコンピュータ本体Ａの制御回路によって構成されるが、同図は機能的なブロック構成の図示であり、図中の各機能ブロックは、ハードウェア構成のみならずソフトウェアにより構成される機能ブロックを含んでいる。

図２では、制御部１０１（ＣＰＵ）に対して、表示部１０２、操作部１０３、入出力部１０４、記憶部１０５、および解析部１０６が接続されている。表示部１０２は、例えば図１のディスプレイＢに相当し、後述の３Ｄモデル表示部や事象表示部の表示を行えるものであれば、その表示方式はどのようなものであっても構わない。また、操作部１０３は、ユーザインターフェースの一部を構成するもので、例えば、図１のマウスＣ、およびキーボードＤに相当する。操作部１０３のハードウェアとしては、トラックパッドなど他のポインティングデバイスが含まれていてもよい。また、表示部１０２と操作部１０３は、タッチパネルのようなデバイスを用いることによって、一体化されていても構わない。

例えば、シミュレーションソフトウェアＥは、図３に示すような形態で図２の表示部１０２の画面の描画を制御する。この例では、表示部１０２に、３Ｄモデル表示部２０１と、事象表示部２００と、解析条件設定部２０３、解析実行ボタン２０４が表示されている。

上記のような構成において、本実施形態のロボットシミュレータ装置は、概略、以下のようなロボットシミュレーション、解析、表示制御を行う。

制御部１０１は、ロボット制御データに基づき仮想環境で動作させた仮想ロボット装置の動作を表示装置（ディスプレイＢ、表示部１０２）の動作表示領域（３Ｄモデル表示部２０１）にアニメーション表示させる。その際、動作表示領域（３Ｄモデル表示部２０１）のアニメーション表示に同期して、仮想ロボット装置の動作パラメータに関する情報を表示装置（ディスプレイＢ、表示部１０２）の情報表示領域（事象表示部２００）に表示させる。

また、制御部１０１は、仮想ロボット装置の動作パラメータを解析し、仮想ロボット装置の動作に係る警告事象（干渉、衝突あるいはしきい値を超える近接状態など）を特定する。そして、特定した警告事象に関連する仮想ロボット装置の特定部位の動作を、後述の警告事象確認画面３０３のアニメーション表示領域の画角内に納めてアニメーション表示させる。

また、制御部１０１は、ユーザの所定操作に基づき、時間的に前又は後ろの警告事象を特定し、特定された警告事象における前記仮想ロボットの状態を、前記の動作表示領域および／または情報表示領域に表示させる。また、制御部１０１は、情報表示領域を介して、前記動作表示領域でアニメーション表示させる前記仮想ロボット装置の動作を指定するユーザ操作を受け付ける。

また、後述の警告事象確認画面３０３のアニメーション表示領域は、表示ウィンドウにより構成することができる。そして、制御部１０１は、必要に応じて、警告事象確認画面３０３の表示ウィンドウを前記表示装置にポップアップ表示させる。

また、動作表示領域（３Ｄモデル表示部２０１）や、アニメーション表示領域（警告事象確認画面３０３）でアニメーション表示している仮想ロボット装置の動作のタイミングは、情報表示領域（事象表示部２００）上で特定可能に表示させることができる。

また、動作表示領域（３Ｄモデル表示部２０１）のアニメーション表示が警告事象に対応するタイミングで、警告事象確認画面３０３の表示ウィンドウをポップアップ表示させることができる。

また、警告事象は、動作表示領域（３Ｄモデル表示部２０１）や、情報表示領域（事象表示部２００）を用いて、警告事象の種類及び段階に応じて異なる表示態様で、表示させることができる。

また、動作表示領域（３Ｄモデル表示部２０１）と、情報表示領域（事象表示部２００）と、の表示は主に経時的な関係において関連付けて、同期的に制御することができる。例えば、これらいずれか一方の表示領域に対するユーザ操作が行われた場合、他方の表示領域の表示状態を当該操作に応じて更新するよう制御することもできる。

また、動作表示領域（３Ｄモデル表示部２０１）やアニメーション表示領域（警告事象確認画面３０３）の仮想ロボット装置のアニメーション表示は、警告事象が発生するタイミングでアニメーション動作を停止させ、静止画表示に切り換えるよう制御できる。以下、本実施形態のロボットシミュレータ装置の構成、および動作につき、さらに詳細に説明する。

３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３の表示は、仮想環境中におけるロボット装置の３Ｄモデルの動作を介して、また、図２の表示部１０２と操作部１０３によるユーザ操作を介して連動的に制御する。例えば、３Ｄモデル表示部２０１で表示中の描画フレームに該当する事象表示部２００上の時間軸上の位置に、カーソルや縦棒を表示してこれら２つの表示を関連付ける。また、３Ｄモデル表示部２０１でアニメーション表示を行う場合は、事象表示部２００の表示は、３Ｄモデル表示部２０１の表示に相当する時間軸上の位置が表示部１０２内に収まるよう自動的にスクロールさせる。また、同時に上記のカーソルや縦棒を時間軸上の３Ｄモデル表示部２０１の表示に相当する位置を取るよう、自動的に移動させる。

３Ｄモデル表示部２０１に表示されている情報、ないし事象表示部２００に表示されている情報、のいずれかを操作部で指定ないし選択すると、他方の表示部に表示されている情報が当該の操作に応じて更新されるよう制御するのが望ましい。

また、好ましくは、３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３の表示は、表示部１０２によって、ユーザが関連のある部分を同時に視認できるような態様で表示される。例えば、表示部１０２が１台のディスプレイＢにより構成される場合には、１表示画面中にこれら各表示部（２０１～２０３）をマルチウィンドウやタブの形式で表示する。ただし、表示部１０２を構成するディスプレイＢが複数台（いわゆるマルチヘッド構成）存在する場合には、上記の各表示部（２０１～２０３）が複数の異なるディスプレイの表示画面にそれぞれ表示されるような構成であってもよい。

例えば、３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３を表示部１０２の１表示画面中に同時に表示させる。その場合の各部（２０１～２０３）を構成する表示ウィンドウの画面上の分割態様や、オーバーラップ態様などは、多くのオペレーティングシステムにおけるＧＵＩでの操作慣習などに従って変更できるようにしておく。また、ディスプレイＢが１台のみではなく複数台のモニタから構成されているような場合には、３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３の任意の部分が別のモニタ装置の表示画面にそれぞれ表示されるような構成であってもよい。

３Ｄモデル表示部２０１は、装置を再現した３Ｄモデルを表示する。視点の変更や３Ｄモデルの配置の変更などを行うことができる。

本実施形態の事象表示部２００は、解析実行ボタン２０４とグラフ表示部２０２を備えている。

事象表示部２００のグラフ表示部２０２は、時間軸に沿った表示を行うためのもので、例えば、動作の時刻とロボット装置の各軸の指令値との関係を図示のようなグラフ形式で表示する。本実施形態では、画面表示中では、グラフ表示部２０２の時間軸は、主に図中の左右方向に沿って配置された状態で図示されている。図３のグラフ表示部２０２では、ロボット装置（の３Ｄモデル：Ｒｏｂｏｔ１）の２つの関節軸（Ｊｏｉｎｔ１、２）の関節位置（関節角度）の時間軸に沿った変化をグラフ表示する表示状態にある。

グラフ表示部２０２の時間軸の単位には、基準時刻（例えば、ＯＳのエポック、ロボットプログラムや教示点データなどのロボット制御データにより記述された動作の開始時刻など）からの経過時間（秒、ミリ秒など）を用いればよい。グラフ表示部２０２の時間軸の単位は、ＧＭＴやＪＳＴなどの標準時刻を用いるなど、当業者において任意に採用して構わない。なお、グラフ表示部２０２の画面上での時間軸のスケール（縮尺）は、例えば、グラフ表示部２０２の１画面に対応する時間幅を選択するような適当なユーザインターフェースを介して変更（拡大、縮小）できるようにしておくとよい。

グラフ表示部２０２の表示は、時間軸（例えば左右方向）に沿ってスクロールさせる、また、表示項目が多い場合には、その項目の方向（例えば上下方向）にスクロールできるようにしておく。例えば図３のグラフ表示部２０２では下縁部、右端縁部にいわゆるスクロールバーを設けてあり、このスクロールバーをマウスＣ（図１）などで操作し、上記のようなスクロールを行わせる。なお、スクロールバーの表示位置は、上縁部、左端縁部などに取っても構わない。また、上記のような表示のスクロールは、マウスＣに設けられたホイール（不図示）などによって行ってもよい。

解析条件設定部２０３は、図２の解析部１０６の後述の解析条件の選択を行うためのものである。また、図２の入出力部１０４は、シミュレーションに必要なデータの入出力を行う。記憶部１０５は、入出力部１０４で入力されたデータと、後述する解析部１０６の結果を保存する。この記憶部１０５は、ＲＯＭ、ＲＡＭ、ＨＤＤやＳＤＤなどの外部記憶装置によって構成することができる。その場合、後述のフローチャートなどにより示す制御手順を記述した制御プログラムは記憶部１０５のＲＯＭ領域や、ＨＤＤやＳＤＤなどの外部記憶装置に格納しておくことができる。これらの本発明に係る制御手順を記述した制御プログラムの格納手段は、本発明のコンピュータ読み取り可能な記録媒体を構成する。また、本発明に係る制御プログラムの格納手段は、ＲＯＭ領域や、ＨＤＤやＳＤＤなどの外部記憶装置などの固定的な記憶ハードウェアのみならず、着脱可能な記憶メディア（各種の磁気ディスクや光ディスク、半導体メモリデバイス）であってもよい。また、本発明に係る制御プログラムは、これらの記憶メディアを介して運搬され、また、これらの記憶メディアからシミュレータ装置にインストールされたり、インストール済みの制御プログラムを更新したりすることができる。あるいは、さらに、シミュレータ装置への本発明に係る制御プログラムのインストールや更新（アップデート）は、コンピュータ読み取り可能な記録媒体による他、ネットワークなどを介して行われるものであってよい。

また、記憶部１０５のＲＡＭ領域は、制御部１０１や解析部１０６を実現するＣＰＵのための主記憶領域（ないしワークエリア）として用いられる。この主記憶領域は、ＲＡＭ領域だけではなく、ＲＯＭ領域と、さらにＨＤＤやＳＤＤなどの外部記憶装置に配置されたスワップ領域から成る、いわゆる仮想記憶（領域）として構成されていてもよい。

本実施形態の解析部１０６は、本シミュレータ装置で検証するロボット装置の３Ｄモデルの動作に関する事象を解析する。解析部１０６は、ロボット装置の３Ｄモデルの動作に関する警告事象を特定する。本実施形態の解析部１０６は、特に干渉判定、即ち、仮想環境中で動作するロボット装置のモデルと、他の障害物モデルと、の干渉が生じたか否かの判定を行い、干渉（衝突あるいは接触）が生じた場合に、その事象を警告事象として特定する。即ち、本実施形態の解析部１０６は、干渉判定１１０の機能を備える（図２）。

解析条件設定部２０３で、マウスＣ、キーボードＤなどを用いて解析実行ボタン２０４を操作すると、解析部１０６は、干渉判定１１０の処理を行う。ここでは、仮想環境中で動作しているロボット装置や他の物体のモデルの状態に関するシミュレーションデータを解析し、ロボット装置と他の物体のモデルとの干渉を警告事象として検出する。

なお、解析条件設定部２０３、事象表示部２００は、図３では別の表示ウィンドウ（あるいはペイン）として図示してあるが、解析条件設定部２０３は事象表示部２００の一部を構成する、と考えてよい。また、解析条件設定部２０３の表示部位は、事象表示部２００の表示ウィンドウ（あるいはペイン）の内側に表示される構成であってもよい。

本実施形態では、３Ｄモデル表示部２０１、事象表示部２００、解析条件設定部２０３の表示の連動的な制御に関しては、上記のような解析条件の設定操作や、解析実行ボタン２０４の操作によるものがある。また、本実施形態では、例えば解析条件設定部２０３、解析実行ボタン２０４の操作により、干渉（衝突、接触）などの検索（解析）条件を満たすイベント（事象）が検索されると、これに応じて、事象表示部２００のグラフ表示部２０２の表示を更新する。例えば、検索されたイベント（事象）に該当する時間軸上の位置がグラフ表示部２０２に現れるよう、グラフ表示部２０２の表示を更新する。また、当該のイベント（事象）は、後述のように表示色変更などの表示態様の制御を伴って、グラフ表示部２０２に表示させる。

上記のように、事象表示部２００のグラフ表示部２０２の表示は、ユーザが注目する事象がその表示内に表われるように、時間軸に沿って（あるいは項目の配列方向に）スクロールできる。このスクロールは、制御条件によっては自動的に行うことができ、あるいはスクロールに係るユーザの手動操作を受け付けるよう実装できる。そして、このようなスクロール操作、グラフ表示部２０２に表示中の注目事象に対するマウスＣのクリックなどに連動して、３Ｄモデル表示部２０１で表示されるロボット装置（の３Ｄモデル）の動作状態を、その注目事象に相当する状態に更新する。

解析条件設定部２０３による解析条件の設定操作や、解析実行ボタン２０４の操作を用いたシミュレーション解析は、例えば図４に示すような制御手順によって行う。

まず、ステップＳ１でシミュレーション対象のデータを入力する。このシミュレーション対象のデータには、例えば、シミュレーション対象のロボット装置の３Ｄモデル、それら３Ｄモデルの配置情報、ロボット装置の可動軸（関節）の指令値などを用いることができる。これらのシミュレーション対象のデータを用いて、仮想環境中で実機を模擬した仮想ロボットのモデルを動作させることができる。上記のシミュレーション対象のデータを入力すると、シミュレーション処理を行い、例えば図３の３Ｄモデル表示部２０１に示すように仮想ロボットのモデルを表示することができる。この時、同時に事象表示部２００（例えば図３）に動作の時間と装置の可動軸の指令値との関係を文字列や数値データ、グラフ表示などを用いた表示形式で表示することができる。図３の事象表示部２００では、１番のロボット（Ｒｏｂｏｔ）装置の１番、２番の関節（Ｊｏｉｎｔ）角度を時間軸上に波形表示するグラフ表示（グラフ表示部２０２）の形式が用いられている。

次に、ステップＳ２で解析の条件の設定を行う。例えば、図３のユーザインターフェースの例では、ユーザは解析条件設定部２０３で、干渉（衝突、接触）または閾値付き干渉のいずれかをいわゆるラジオボタン形式の操作ボタンにより選択することができる。ここで、「干渉」とは２つ以上の３Ｄモデルが接触している状態をいう。また、「閾値付き干渉」とは、２つ以上の３Ｄモデルが解析条件設定部２０３で指定した値以内の距離に位置する状態をいう。これは加工精度やロボットの機差などによりシミュレータとの差が発生して干渉することを未然に防ぐための機能である。ユーザが選択した解析条件は記憶部１０５に保存する。

次に、ステップＳ３で動作に対する解析を実行する。図３のユーザインターフェースの例では、ユーザは解析実行ボタン２０４を用いて解析実行を指令する。ユーザが解析実行を指令すると、１フレームずつ全ての動作に対して干渉判定を行う。このとき、ステップＳ２で設定した条件で干渉判定を行い、干渉、閾値付き干渉、干渉なしの３種類の状態を判別する。干渉または閾値付き干渉が発生した動作のフレームと、発生させた３Ｄモデルの情報を合わせて記憶部１０５に保存する。

次に、解析を行ったステップＳ４でロボット動作プログラムを特定する。ステップＳ３により記憶部１０５に保存した動作のフレームについて、そのフレームがロボット動作プログラムのどの部分（のコマンドやステートメント）と対応するかを特定する。特定したロボット動作プログラムを参照可能なポインタアドレスなどのデータはステップＳ３の解析結果と関連付けの上、記憶部１０５に保存する。

次に、ステップＳ５でロボットの動作情報を作成する。ステップＳ４により記憶部１０５に保存したロボット動作プログラムのポインタアドレスなどを介して、ロボット動作プログラムを取得する。そして、シミュレータ処理を行い、ロボット動作プログラムの内容を解析してロボットの動作情報を作成し、記憶部１０５に保存する。ここで、動作情報とは、例えばロボットを構成する３Ｄモデルとそれらを移動するための座標情報の集合である。この座標情報はロボット動作プログラムが完了するまでのフレーム分、作成する。後述のようにアニメーションなどによりロボットの動作を再現する場合は、フレームごとに各３Ｄモデルを作成した座標情報に従って移動させ、３Ｄモデル表示部２０１中に表示しているロボット装置のモデルに対応する動作を行わせることができる。

次に、ステップＳ６にて警告事象を視認しやすいように動作情報を修正する。ステップＳ５で作成した動作情報の中で、ステップＳ３の解析結果をもとに干渉している３Ｄモデルを判別する。干渉状態を確認しやすいように判別した３Ｄモデルとその周辺部の３Ｄモデルのみに限定する。どこまでの範囲を周辺部と識別するかは、警告事象確認画面３０３の大きさなどにより変更することができる。また、警告事象確認画面３０３や３Ｄモデル表示部２０１の表示（図５）で表示を行う時に、干渉している３Ｄモデルの動作が他の３Ｄモデルが手前にあって隠蔽されてしまう場合は、その障害物となっている３Ｄモデルを非表示にするよう処理してもよい。以上のようにして修正した動作情報は記憶部１０５に保存する。

次に、ステップＳ７にて動作確認用のアニメーションを作成する。ステップＳ６で作成した動作情報をユーザの要求に対して高速に再生を開始することができるようなアニメーション形式に変換する。ここでのアニメーション形式はソフトウェア内で表示可能なオブジェクトとしてメモリ上に展開しておくことが好ましいが、容量が大きい場合はＡＶＩやＷＭＶに代表される一般的な動画形式などを用いて、ＨＤＤなどの外部記憶装置に保存してもよい。

上記処理により特定した警告事象に関連するロボット装置の特定部位は、下記のように警告事象確認画面３０３のアニメーション表示領域の画角内に納めて表示する。例えば、図５に示すように、上記処理により解析した結果と作成したアニメーションを、シミュレーションソフトウェアＥの画面上に表示する。シミュレーションソフトウェアＥは、どのフレームにアニメーションを保存したかを、アニメーション保存期間枠３０１（図中の実線）で表示する。そして、例えば図示のようにユーザがマウスＣを使用してマウスカーソル３０２をアニメーション保存期間枠３０１上に移動すると、ステップＳ６で作成したアニメーションを警告事象確認画面３０３で再生する。

このようにして、特定した警告事象に関連するロボット装置の特定部位（のみ）を下記のように警告事象確認画面３０３のアニメーション表示領域の画角内に納めてアップ表示によりアニメーション表示する。これにより、干渉などの警告事象に係る周囲の部分のみを強調表示してユーザが認識しやすくすることができる。

また、例えば、警告事象確認画面３０３のアニメーション表示は、３Ｄモデル表示部２０１の縦横表示サイズよりも小さく取ることができる。また、警告事象確認画面３０３のアニメーション表示の表示倍率は、例えば、３Ｄモデル表示部２０１のものと少なくとも同等か、それ以上大きく取ることができる。例えば、警告事象確認画面３０３にアニメーション表示する警告に係る特定部位の大きさは、３Ｄモデル表示部２０１（動作表示領域）に表示される前記特定部位の大きさよりも大きくする。特に、警告事象確認画面３０３の表示倍率を３Ｄモデル表示部２０１よりも大きく取り、警告事象確認画面３０３をアップ表示、あるいは拡大表示とすることにより、干渉などの警告事象に係る周囲の部分をユーザが認識しやすくなる。

なお、警告事象確認画面３０３でアニメーションを表示する時は、これに同期して３Ｄモデル表示部２０１でも３Ｄモデルのアニメーション表示を行うようにしてもよい。あるいは、警告事象確認画面３０３でアニメーションを表示する時は、３Ｄモデル表示部２０１側ではアニメーションを停止させる制御を行うようにしてもよい。例えば、干渉の生じる少し前の時点で３Ｄモデル表示部２０１側ではアニメーション動作を停止して静止画表示とする。そして、例えば、警告事象確認画面３０３でその状態から、続くアニメーション表示が行われるように制御する。

また、以上では、３Ｄモデル表示部２０１に加えて、アニメーション表示を行う警告事象確認画面３０３をポップアップ表示する例を示しているが、３Ｄモデル表示部２０１に換えて警告事象確認画面３０３を表示するようにしてもよい。その場合、好ましくは、３Ｄモデル表示部２０１の表示範囲を警告事象に関連するロボット装置の特定部位（のみ）をアニメーション表示の画角内に納めるように変更する。この時、３Ｄモデル表示部２０１の表示画面上のサイズを変更しないのであれば、必要に応じて表示倍率を拡大して、警告事象に係る特定部位（のみ）の周囲のみがアップ表示となるよう表示を調節する。

また、警告事象確認画面３０３でアニメーションを再生するタイミングは、例えばマウスカーソル３０２（ポインタ）がアニメーション保存期間枠３０１上にマウスオーバーしたタイミングとする。警告事象確認画面３０３を表示する位置は、例えば図５のようにマウスカーソル３０２の近傍に取る。しかしながら、警告事象確認画面３０３の表示位置は、必ずしもマウスカーソル３０２の近傍である必要はない。例えば、警告事象確認画面３０３の表示位置は、図６のように対象となるアニメーション保存期間枠３０１（図５）の上部とするよう制御してもよい。また、警告事象確認画面３０３は、図７のように専用の領域を設けて表示してもよい。図７の例では、警告事象確認画面３０３の表示位置は、解析条件設定部２０３の上部に取り、この固定的な位置で、アニメーションを行うようにしている。

また、警告事象確認画面３０３のアニメーション再生は、例えばマウスカーソルがアニメーション保存期間枠３０１（図５）の上にある間、連続して同じアニメーションを再生、例えばリピート再生するよう制御する。例えば、マウスカーソル３０２がアニメーション保存期間枠３０１の内側にある間、同じアニメーションを繰り返し表示する。そして、例えばマウスカーソル３０２がアニメーション保存期間枠３０１の外に移動したタイミングで、警告事象確認画面３０３を非表示にするか、あるいは、その動画表示を停止させるよう制御する。

また、警告事象確認画面３０３は、例えば一度だけアニメーションを再生して、動画終了時に非表示にするか、あるいは、その動画表示を停止させるよう制御する。また、一旦、マウスカーソル３０２をアニメーション保存期間枠３０１の外に移動した後に、再びアニメーション保存期間枠３０１内に移動した場合は、警告事象確認画面３０３非表示から表示アクティブに変更し、対応するアニメーションを再生する。

以上のようにして、警告事象確認画面３０３でアニメーション表示を行うことにより、ユーザはどのフレームでどのように干渉が発生するかを容易に確認することができる。警告事象確認画面３０３の表示は、仮想環境中の３Ｄモデル表示であるから、実機のロボット装置を動作させる必要がなく、実環境中のロボット装置や障害物の干渉を発生することがない。このため、実環境中のロボット装置や配置された事物を破損させたり、故障させたりする問題を生じずに、ロボット動作プログラムを検証することができる。

ここで、図１、図２のシミュレータ装置により検証されたロボット制御データ（教示点データやロボットプログラム）によって動作するロボット装置のより具体的な構成例や、そのロボットアームを生産システムに適用した場合の構成などにつき示しておく。

図８は、図１、図２のシミュレータ装置によって検証されたロボット制御データ（教示点データやロボットプログラム）によって動作するロボット装置１００１の全体構成を示している。図８において、ロボット装置１００１（ロボット装置）は、例えば６軸（関節）の垂直多関節形式のロボットアーム本体１２０１を備える。ロボットアーム本体１２０１の各関節は、各関節にそれぞれ設けられたサーボモータをサーボ制御することにより所望の位置姿勢に制御することができる。

ロボットアーム本体１２０１の先端（手先）には、例えばハンド１２０２のようなツールが装着され、このハンド１２０２によって、ワーク１２０３を把持し、ワーク１２０３を組み付けたり、加工したりする生産作業を行わせることができる。ワーク１２０３は、自動車や電機製品などの工業製品の例えば部品であって、ロボット装置１００１はこのような生産システム（生産ライン）に生産装置として配置することができる。

ロボット装置１００１のロボットアーム本体１２０１の動作は、ロボット制御装置１２００（ロボットコントローラ）により制御される。ロボット装置１００１のためのロボット制御データは、ロボット制御装置１２００に接続された操作端末１２０４（例えばティーチングペンダント）によってプログラミング（教示）する、あるいは微修正などの編集を加えることもできる。

また、ロボット装置１００１ないしロボット制御装置１２００は、ネットワークＮＷを介して図１、図２に示したシミュレータ装置から、上述のように最適化されたロボット制御データないし軌道データを受信することができる。これにより、上記の処理によって最適化されたロボット制御データに基づき、ロボット装置１００１を生産システム（生産ライン）を構成し物品の製造動作を行う生産装置として動作させ、ロボット装置１００１により物品を製造することができる。

本発明は、上述の実施例の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する構成でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Ａ…コンピュータ本体、Ｂ…ディスプレイ、Ｃ…マウス、Ｄ…キーボード、Ｅ…シミュレーションソフトウェア、１０１…制御部、１０２…表示部、１０３…操作部、１０４…入出力部、１０５…記憶部、１０６…解析部、２００…事象表示部、２０１…３Ｄモデル表示部、２０３…解析条件設定部、２０４…解析実行ボタン、３０１…アニメーション保存期間枠、３０２…マウスカーソル、３０３…警告事象確認画面、１００１…ロボット装置、１２００…ロボット制御装置、１２０２…ハンド、１２０３…ワーク、１２０４…操作端末。

Claims (29)

1. 情報処理装置において、
   表示部に、
   制御データに基づき、仮想環境で模擬的に動作するロボットシステムの動作をモデルで表示する第１動作表示領域が表示され、
   前記ロボットシステムの動作の状態に基づき警告事象を特定し、
   前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記第１動作表示領域とは異なる第２動作表示領域に表示し、
   前記第１動作表示領域において前記ロボットシステムの動作を再生している場合に、前記警告事象が発生したタイミングとなれば、前記第２動作表示領域において、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記警告事象における前記ロボットシステムの動作を再生する、
   ことを特徴とする情報処理装置。
2. 情報処理装置において、
   表示部に、
   制御データに基づき、仮想環境で模擬的に動作するロボットシステムの動作をモデルで表示する第１動作表示領域が表示され、
   前記ロボットシステムの動作の状態に基づき警告事象を特定し、
   前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記第１動作表示領域とは異なる第２動作表示領域に表示し、
   前記第１動作表示領域において前記ロボットシステムの動作を再生している場合に、前記警告事象が発生する前の状態で前記第１動作表示領域を静止画表示し、前記状態の以降からの前記ロボットシステムの動作を前記第２動作表示領域で再生する、
   ことを特徴とする情報処理装置。
3. 請求項１または２に記載の情報処理装置において、
   前記第２動作表示領域において、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態における表示倍率以上の倍率で表示することで拡大して表示する、
   ことを特徴とする情報処理装置。
4. 請求項１または２に記載の情報処理装置において、
   前記第２動作表示領域において、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態における大きさ以上の大きさで表示することで拡大して表示する、
   ことを特徴とする情報処理装置。
5. 請求項１から４のいずれか１項に記載の情報処理装置において、
   前記第２動作表示領域において、前記警告事象に関連する前記ロボットシステムの前記モデルの色を、他のモデルとは異なる色で表示する、
   ことを特徴とする情報処理装置。
6. 請求項１から５のいずれか１項に記載の情報処理装置において、
   前記第２動作表示領域において、前記警告事象における前記ロボットシステムの動作をリピート再生する、
   ことを特徴とする情報処理装置。
7. 請求項１から６のいずれか１項に記載の情報処理装置において、
   前記第２動作表示領域の画角は、前記第１動作表示領域における画角よりも小さい、
   ことを特徴とする情報処理装置。
8. 請求項１から７のいずれか１項に記載の情報処理装置において、
   前記第２動作表示領域において、前記警告事象に関連する前記ロボットシステムの前記モデルが他のモデルによって隠蔽されている場合、当該他のモデルを非表示とする、
   ことを特徴とする情報処理装置。
9. 請求項１から８のいずれか１項に記載の情報処理装置において、
   前記表示部に、
   前記制御データに基づき、前記ロボットシステムの動作パラメータに関する情報を時系列で表示する情報表示領域が表示され、
   前記情報表示領域にカーソルを位置させると前記第２動作表示領域が表示される、
   ことを特徴とする情報処理装置。
10. 請求項９に記載の情報処理装置において、
    前記情報表示領域における所定タイミングに前記カーソルを位置させると、前記所定タイミングにおける前記ロボットシステムの動作が前記第２動作表示領域で再生される、
    ことを特徴とする情報処理装置。
11. 請求項１０に記載の情報処理装置において、
    前記情報表示領域に前記カーソルを位置させ前記第２動作表示領域で前記ロボットシステムの動作を再生している状態から前記カーソルを前記情報表示領域の外に位置させると、前記第２動作表示領域を非表示、または第２動作表示領域で再生している前記ロボットシステムの動作を停止する、
    ことを特徴とする情報処理装置。
12. 請求項９から１１のいずれか１項に記載の情報処理装置において、
    前記第２動作表示領域を、前記表示部において前記第１動作表示領域および前記情報表示領域に重畳しない位置に表示する、
    ことを特徴とする情報処理装置。
13. 請求項９から１１のいずれか１項に記載の情報処理装置において、
    前記第２動作表示領域を、前記第１動作表示領域に重畳させて表示する、
    ことを特徴とする情報処理装置。
14. 請求項１３に記載の情報処理装置において、
    前記第２動作表示領域をポップアップウィンドウで表示する、
    ことを特徴とする情報処理装置。
15. 請求項９から１４のいずれか１項に記載の情報処理装置において、
    前記時系列に関する時間軸の単位、時間軸のスケール、の少なくとも１つの情報をユーザにより設定できる、
    ことを特徴とする情報処理装置。
16. 請求項９から１５のいずれか１項に記載の情報処理装置において、
    ユーザの所定操作に基づき、時間的に前又は後ろの前記警告事象を特定し、特定された警告事象における前記ロボットシステムの状態を、前記第１動作表示領域および／または前記情報表示領域に表示する、
    ことを特徴とする情報処理装置。
17. 請求項９から１６のいずれか１項に記載の情報処理装置において、
    前記警告事象を、その種類及び段階に応じて異なる表示態様で、前記第１動作表示領域および／または前記情報表示領域に表示させる、
    ことを特徴とする情報処理装置。
18. 請求項９から１７のいずれか１項に記載の情報処理装置において、
    前記第１動作表示領域と、前記情報表示領域と、のいずれか一方の表示領域に対するユーザの操作が行われた場合、他方の表示領域の表示状態を当該操作に応じて更新する、
    ことを特徴とする情報処理装置。
19. 請求項９から１８のいずれか１項に記載の情報処理装置において、
    前記表示部に、前記警告事象を特定するための条件をユーザにより設定する条件設定領域を表示する、
    ことを特徴とする情報処理装置。
20. 請求項１９に記載の情報処理装置において、
    前記警告事象は前記ロボットシステムにおける前記モデル間の干渉であり、
    前記条件設定領域において、前記干渉と判定する前記モデル間の距離を設定できる、
    ことを特徴とする情報処理装置。
21. 請求項１９または２０に記載の情報処理装置において、
    前記第１動作表示領域、前記情報表示領域、前記条件設定領域、に関連する情報をユーザが同時に視認できるように前記表示部に表示する、
    ことを特徴とする情報処理装置。
22. 請求項２１に記載の情報処理装置において、
    前記第１動作表示領域、前記情報表示領域、前記条件設定領域、に関連する情報をマルチウインドウまたはタブ形式で前記表示部に表示する、
    ことを特徴とする情報処理装置。
23. 請求項１から２２のいずれか１項に記載の情報処理装置において、
    前記ロボットシステムは、ロボット、前記ロボットによって操作されるワーク、前記ロボットの周辺物、を含む、
    ことを特徴とする情報処理装置。
24. 情報処理方法であって、
    表示部に、制御データに基づき、仮想環境で模擬的に動作するロボットシステムの動作をモデルで表示する第１動作表示領域を表示し、
    前記ロボットシステムの動作の状態に基づき警告事象を特定し、
    前記表示部において、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記第１動作表示領域とは異なる第２動作表示領域に表示し、
    前記第１動作表示領域において前記ロボットシステムの動作を再生している場合に、前記警告事象が発生したタイミングとなれば、前記第２動作表示領域において、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記警告事象における前記ロボットシステムの動作を再生する、
    ことを特徴とする情報処理方法。
25. 情報処理方法であって、
    表示部に、制御データに基づき、仮想環境で模擬的に動作するロボットシステムの動作をモデルで表示する第１動作表示領域を表示し、
    前記ロボットシステムの動作の状態に基づき警告事象を特定し、
    前記表示部において、前記警告事象に関連する前記ロボットシステムの前記モデルを、前記第１動作表示領域の表示状態よりも拡大して前記第１動作表示領域とは異なる第２動作表示領域に表示し、
    前記第１動作表示領域において前記ロボットシステムの動作を再生している場合際に、前記警告事象が発生する前の状態で前記第１動作表示領域を静止画表示し、前記状態の以降からの前記ロボットシステムの動作を前記第２動作表示領域で再生する、
    ことを特徴とする情報処理方法。
26. 請求項２４または２５に記載の情報処理方法をコンピュータに実行させるためのプログラム。
27. 請求項２６に記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。
28. 請求項１から２３のいずれか１項に記載の情報処理装置を用いて、前記仮想環境で前記ロボットシステムを動作させて検証した動作を、物品の製造動作を行う実機のロボットシステムに実行させて物品を製造する物品の製造方法。
29. 請求項１から２３のいずれか１項に記載の情報処理装置において、前記ロボットシステムを前記仮想環境で動作させるロボットシミュレータ装置として構成された情報処理装置。

Images