JP2023173018A - カメラのキャリブレーション状態を可視化する方法、システム、及び、コンピュータープログラム - Google Patents

Abstract

【課題】キャリブレーションパラメーターが正しいか否かを確認できる技術を提供する。
【解決手段】本開示の方法は、（ａ）第１カメラのキャリブレーションパラメーターを取得する工程と、（ｂ）第２カメラを用いて、第１カメラと第２カメラとの相対位置を求める工程と、（ｃ）第１カメラのキャリブレーション状態を示す特定画像を、第２カメラで撮影された画像に重畳して、キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示機器に表示する工程と、を含む。
【選択図】図６

Description

本開示は、カメラのキャリブレーション状態を可視化する方法、システム、及び、コンピュータープログラムに関する。

ロボットなどの様々な装置において、カメラを用いて対象物の位置を認識させて、対象物とのインタラクション動作を実現する技術が利用されている。このような用途でカメラを使用する場合には、予め校正（キャリブレーション）を行うことによって、カメラのキャリブレーションパラメーターが設定される。キャリブレーションパラメーターは、レンズの性能やレンズと画素の関係を表す内部パラメーターと、カメラと外部装置との相対位置を表す外部パラメーターとを含む。ロボットでカメラを使用する場合には、ロボットとの相対位置が固定され、かつ、作業領域全面を視野範囲とする位置にカメラを配置することにより、カメラ・ロボット間の外部パラメーターを算出することができる。このような外部パラメーターを求める技術は、特許文献１に開示されている。

特開２０２１－２４０５６号公報

しかしながら、カメラのキャリブレーションパラメーターは、経時変化によってズレが生じる場合がある。このため、キャリブレーションパラメーターが正しいか否かを確認したいという要望がある。

本開示の第１の形態によれば、カメラのキャリブレーション状態を可視化する方法が提供される。この方法は、（ａ）第１カメラのキャリブレーションパラメーターを取得する工程と、（ｂ）第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める工程と、（ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示機器に表示する工程と、を含む。

本開示の第２の形態によれば、カメラのキャリブレーション状態を可視化するシステムが提供される。このシステムは、カメラ利用機器が利用する画像を撮影する第１カメラと、前記第１カメラのキャリブレーション状態の確認に用いられる第２カメラと、前記第２カメラで撮影された画像を表示する表示機器と、前記第１カメラと前記第２カメラと前記表示機器とに接続される制御装置と、を備える。前記制御装置は、（ａ）前記第１カメラのキャリブレーションパラメーターを取得する処理と、（ｂ）前記第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める処理と、（ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で前記表示機器に表示する処理と、を実行する。

本開示の第３の形態によれば、カメラのキャリブレーション状態を可視化する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）第１カメラのキャリブレーションパラメーターを取得する処理と、（ｂ）第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める処理と、（ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示機器に表示する処理と、を前記プロセッサーに実行させる。

実施形態におけるロボットシステムの構成を示す説明図。 第１実施形態における各種の座標系の関係を示す概念図。 実施形態における制御装置の機能ブロック図。 第１実施形態の処理手順を示すフローチャート。 第１カメラと第２カメラの相対位置の決定方法を示す説明図。 キャリブレーション状態を示す特定画像の表示例を示す説明図。 キャリブレーション状態を示す特定画像の他の表示例を示す説明図。 キャリブレーションパラメーターの調整ウィンドウの例を示す説明図。 第２実施形態における各種の座標系の関係を示す概念図。 第２実施形態の処理手順を示すフローチャート。

Ａ．第１実施形態：
図１は、一実施形態におけるロボットシステムの一例を示す説明図である。このロボットシステムは、カメラ利用機器としてのロボット１００と、ロボット１００を制御するロボットコントローラー２００と、制御装置３００と、３つのカメラ４１０，４２０，４３０と、ＶＲグラス４４０(Virtual Reality Glass)と、作業台５００とを備える。制御装置３００は、例えばパーソナルコンピューターである。制御装置３００は、ロボットコントローラー２００に制御指令を送信する。制御装置３００を、「上位制御装置」と呼ぶことも可能である。

ロボット１００は、基台１１０と、ロボットアーム１２０と、を備えている。ロボットアーム１２０は、第１リンク１２１と第２リンク１２２と作動シャフト１２３とを有する。ロボットアーム１２０の先端には、エンドエフェクターとしてのロボットハンド１５０が装着されている。ロボットハンド１５０は、ワークを把持することが可能なグリッパーや吸着パッドとして実現可能である。ロボットハンド１５０の先端部近傍には、ロボット１００の制御点としてのＴＣＰ(Tool Center Point)が設定されている。なお、制御点ＴＣＰは、任意の位置に設定可能である。

ロボットアーム１２０は、４つの関節Ｊ１～Ｊ４で順次接続されている。本実施形態では４軸ロボットを例示しているが、複数の関節を有する任意のロボットアーム機構を有するロボットを用いることが可能である。また、本実施形態のロボット１００は、水平多関節ロボットであるが、垂直多関節ロボットを使用してもよい。

第１カメラ４１０は、ロボット１００の作業対象となるワークを撮影して、ワークの三次元的な位置及び姿勢を求めるために使用される。第１カメラ４１０としては、ＲＧＢカメラを用いることが好ましいが、ＲＧＢＤカメラやモノクロカメラを用いてもよい。ＲＧＢＤカメラは、ＲＧＢカメラとＤカメラ（深度カメラ）とを有するカメラである。図１の例では、第１カメラ４１０は、作業台５００の上方の位置に固定されている。但し、第１カメラ４１０は、ロボットアーム１２０の姿勢に拘わらずロボット座標系と第１カメラ４１０の相対位置を決定可能な位置に設置されていれば良い。例えば、第１カメラ４１０を、ロボット１００の第２リンク１２２に固定してもよい。ロボット１００は、第１カメラ４１０の撮影結果を利用するカメラ利用機器である。但し、カメラ利用機器としては、ロボット１００以外の任意の種類の機器を用いることができる。

第２カメラ４２０は、第１カメラ４１０のキャリブレーション状態を確認するために、作業台５００を含む作業環境を撮影するために使用される。第２カメラ４２０としては、ＲＧＢカメラを用いることが好ましいが、モノクロカメラを用いてもよく、また、単眼カメラでなくステレオカメラを用いてもよい。第２カメラ４２０がステレオカメラである場合には、マーカーは、左右の画像において特定の基準点の位置をそれぞれ認識できるものであればよく、１枚の画像から三次元的な位置及び姿勢を認識できるものでなくてもよい。図１の例では、第２カメラ４２０は、ユーザーが装着するＶＲグラス４４０に固定されている。但し、第２カメラ４２０は、作業環境内の固定された位置に設置してもよい。

第３カメラ４３０は、第１カメラ４１０で撮影された画像における深度情報を求めるために使用される。第３カメラ４３０としては、例えば、第１カメラ４１０と共にステレオカメラとして機能するものを使用してもよい。或いは、第３カメラ４３０として、深度を測定する深度カメラを用いてもよい。図１の例では、第３カメラ４３０は、第１カメラ４１０と共に、作業台５００の上方の位置に固定されている。但し、第３カメラ４３０は、ロボットアーム１２０の姿勢に拘わらず第１カメラ４１０と第３カメラ４３０の相対位置を決定可能な位置に設置されていれば良い。第３カメラ４３０を省略することも可能である。

ＶＲグラス４４０は、第２カメラ４２０で撮影された撮像画像を表示する表示機器である。ＶＲグラス４４０は、更に、第１カメラ４１０のキャリブレーション状態を表す特定画像を仮想現実として表示する。但し、表示機器としては、ＶＲグラス４４０以外の任意の種類のディスプレイ装置を利用することが可能である。

ロボット１００は、作業台５００上に載置されている。作業台５００の四隅には、作業領域を示すコーナー枠５１０が設置されている。作業台５００の上方には、更に、マーカーボード５２０が描かれている。マーカーボード５２０は、作業台５００の表面に水平な状態で載置されるものであるが、図１では図示の便宜上、作業台５００の上方に傾いた姿勢で描かれている。

マーカーボード５２０は、第１カメラ４１０と第２カメラ４２０の相対位置を求めるために使用されるものであり、その位置と姿勢を認識するためのパターンが表面に描かれた平板状の物体である。マーカーボード５２０の表面パターンは、その画像を解析することによって、マーカーボード５２０の位置と姿勢を認識できるマーカーとして構成されている。マーカーボード５２０の代わりに、第１カメラ４１０との相対位置が固定された位置にマーカーを配置するようにしてもよい。例えば、第１カメラ４１０の筐体やロボット１００にマーカーを固定してもよい。なお、第１カメラ４１０と第２カメラ４２０がステレオカメラを構成する場合には、マーカーは、左右の画像において特定の基準点の位置をそれぞれ認識できるものであればよく、１枚の画像から三次元的な位置及び姿勢を認識できるものでなくてもよい。

図２は、第１実施形態における各種の座標系の関係を示す概念図である。この例では図示の便宜上、各座標系の原点位置が実際の位置からずれた位置に描かれており、また、ロボット１００は実際よりも小さく描かれている。マーカーボード５２０は、作業台５００のＸＹ平面５０１上の予め定められた位置に設置されている。作業台５００の水平なＸＹ平面５０１には、キャリブレーション状態を示す特定画像を配置する基準位置を示す基準マーク５３０が設けられている。

図２に描かれている座標系は、以下の通りである。
（１）ロボット座標系Σｒ
ロボット座標系Σｒは、ロボット１００の予め定められた位置を座標原点とする直交三次元座標系である。
（２）テーブル座標系Σｔ
テーブル座標系Σｔは、作業台５００のＸＹ平面５０１の予め定められた位置を座標原点とする直交三次元座標系である。
（３）マーカー座標系Σｍ
マーカー座標系Σｍは、マーカーボード５２０の予め定められた位置を座標原点とする直交三次元座標系である。
（４）第１カメラ座標系Σｃ
第１カメラ座標系Σｃは、第１カメラ４１０の予め定められた位置を座標原点とする直交三次元座標系である。
（５）第２カメラ座標系Σｇ
第２カメラ座標系Σｇは、第２カメラ４２０の予め定められた位置を座標原点とする直交三次元座標系である。ＶＲグラス４４０は、第２カメラ４２０で撮影した画像を表示する表示機器なので、ＶＲグラス４４０の画素座標は、第２カメラ座標系Σｇの３次元座標を、第２カメラ４２０の射影変換行列で変換することによって得られる。
（６）第３カメラ座標系Σｄ
第３カメラ座標系Σｄは、第３カメラ４３０の予め定められた位置を座標原点とする直交三次元座標系である。

第１カメラ４１０がロボット１００に対してキャリブレーションされると、第１カメラ座標系Σｃとロボット座標系Σｒの相対位置が既知となる。即ち、第１カメラ座標系Σｃとロボット座標系Σｒのそれぞれにおける三次元座標値は、第１カメラ４１０のキャリブレーションパラメーターに含まれる外部パラメーターを用いて変換可能である。ロボット座標系Σｒとテーブル座標系Σｔとの相対位置も既知であるものと仮定する。第１カメラ座標系Σｃとマーカー座標系Σｍの相対位置は既知であるものと仮定する。また、第１カメラ座標系Σｃと第３カメラ座標系Σｄの相対位置も既知であるものと仮定する。

マーカーボード５２０を用いる代わりに、マーカーとしてのパターンを第１カメラ４１０やロボット１００に固定してもよい。この場合にも、第１カメラ座標系Σｃとマーカー座標系Σｍの相対位置は既知となる。また、第１カメラ座標系Σｃとマーカー座標系Σｍの間の相対位置は、第１カメラ４１０の外部パラメーターを用いて算出するものとすることが好ましい。

図３は、制御装置３００の機能を示すブロック図である。制御装置３００は、プロセッサー３１０と、メモリー３２０と、インターフェイス回路３３０と、インターフェイス回路３３０と、を有している。インターフェイス回路３３０には、入力デバイス３４０と表示デバイス３５０と無線通信デバイス３６０とが接続されており、また、ロボットコントローラー２００と第１カメラ４１０と第３カメラ４３０も接続されている。第２カメラ４２０とＶＲグラス４４０は、ＶＲグラス４４０が有する無線通信デバイスを介して、制御装置３００の無線通信デバイス３６０と無線で接続されている。但し、第２カメラ４２０とＶＲグラス４４０を制御装置３００に有線で接続してもよい。

プロセッサー３１０は、カメラ校正実行部３１２及び校正状態可視化部３１４としての機能を有する。カメラ校正実行部３１２は、ロボット１００に対する第１カメラ４１０のキャリブレーションを実行することによって、第１カメラ４１０のキャリブレーションパラメーターを決定する処理を実行する。校正状態可視化部３１４は、第１カメラ４１０のキャリブレーション状態を示す特定画像を表示する処理を実行する。カメラ校正実行部３１２及び校正状態可視化部３１４の機能は、メモリー３２０に格納されたコンピュータープログラムをプロセッサー３１０が実行することによってそれぞれ実現される。但し、カメラ校正実行部３１２と校正状態可視化部３１４の機能の一部又は全部をハードウェア回路で実現してもよい。

メモリー３２０には、第１カメラ４１０のキャリブレーションパラメーターＣＰと、ロボット制御プログラムＲＰが格納される。キャリブレーションパラメーターＣＰは、内部パラメーターＩＰと外部パラメーターＯＰとを含んでいる。内部パラメーターＩＰは、第１カメラ４１０のレンズ系の固有のパラメーターであり、射影変換行列や歪パラメーターを含んでいる。外部パラメーターＯＰは、第１カメラ４１０とロボット１００との間の相対位置を計算する際に使用されるパラメーターであり、第１カメラ座標系Σｃとロボット座標系Σｒの間の座標変換行列を含んでいる。他のカメラに関しても、必要に応じてキャリブレーションパラメーターがメモリー３２０に格納される。ロボット制御プログラムＲＰは、ロボット１００を動作させる複数の命令で構成される。

校正状態可視化部３１４は、第１カメラ４１０のキャリブレーション状態を可視化するために、第２カメラ４２０で撮影した画像に、第１カメラ４１０のキャリブレーション状態を示す特定画像を重畳して表示する。特定画像としては、例えば、作業台５００のＸＹ平面５０１の位置を表す格子状の画像や、特定のマーカー画像を使用できる。また、立体的な画像を特定画像として使用してもよい。特定画像を表示する位置は、第１カメラ４１０から見た特定位置の第１カメラ座標系Σｃにおける三次元座標を、第２カメラ座標系Σｇの三次元座標に変換した位置に設定される。この際、特定位置の三次元座標は、第１カメラ４１０のキャリブレーションパラメーターを用いて算出される。従って、特定画像は、第２カメラ４２０で撮影された画像に重畳して、キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示される。本実施形態では、特定画像を表示する特定位置として、作業台５００の水平な表面であるＸＹ平面５０１が使用される。より具体的には、特定位置は、図２に示した基準マーク５３０で示される基準位置に設定されている。以下では、第２カメラ４２０で撮影した作業台５００のＸＹ平面５０１の位置に、第１カメラ４１０のキャリブレーション状態を示す特定画像を重畳して表示する処理について説明する。

図４は、第１実施形態における処理手順を示すフローチャートである。ステップＳ１１０では、第１カメラ４１０のキャリブレーションパラメーターＣＰが取得される。例えば、ステップＳ１１０の前にキャリブレーション処理が実行されている場合には、校正状態可視化部３１４が、キャリブレーションパラメーターＣＰをメモリー３２０から読み出すことによって取得する。一方、キャリブレーション処理が実行されていない場合には、カメラ校正実行部３１２が、第１カメラ４１０のキャリブレーション処理を実行して、キャリブレーションパラメーターＣＰを作成する。キャリブレーション処理は、キャリブレーションボードを利用した周知の方法で実行できる。なお、マーカーボード５２０の表面に、キャリブレーションボードと同様のキャリブレーションパターンが描かれている場合には、マーカーボード５２０を用いて第１カメラ４１０のキャリブレーション処理を行ってもよい。この際、複数の角度でマーカーボード５２０の撮影を行うために、ロボット１００でマーカーボード５２０を把持し、その角度を変えながら撮影を行っても良い。

ステップＳ１２０以降の処理は、ステップＳ１１０で取得したキャリブレーションパラメーターを可視化する処理である。ステップＳ１２０以降の処理を、キャリブレーション処理からかなりの時間が経過した後に実行する場合には、可視化処理により、経時変化によってキャリブレーションパラメーターにズレが生じているか否かを確認することができる。また、必要に応じてキャリブレーションパラメーターを調整することも可能である。

ステップＳ１２０では、校正状態可視化部３１４が、第１カメラ４１０から見た特定位置の深度情報を取得する。前述したように、本実施形態において、「特定位置」は、作業台５００の水平なＸＹ平面５０１である。深度情報を取得する方法としては、以下に例示するような種々の方法のいずれかを使用可能である。

＜深度情報の取得方法１＞
取得方法１では、第１カメラ４１０との相対位置が既知である第３カメラ４３０を深度カメラとして用いて、特定位置の深度を測定する。この方法では、第１カメラ座標系Σｃと第３カメラ座標系Σｄの間の既知の座標変換行列を用いて、第３カメラ４３０で測定された深度を、第１カメラ座標系Σｃの深度に変換できる。

＜深度情報の取得方法２＞
取得方法２では、第１カメラ４１０と第３カメラ４３０をステレオカメラとして用いて、ステレオマッチングによって特定位置の深度を測定する。

＜深度情報の取得方法３＞
取得方法３では、三次元位置を認識可能なパターンを作業台５００のＸＹ平面５０１に配置し、第１カメラ４１０で撮影されたパターン画像からその位置を認識して、特定位置である作業台５００のＸＹ平面５０１の深度を決定する。このパターンとしては、例えば、マーカーボード５２０や基準マーク５３０を利用することができる。マーカーボード５２０を利用する場合には、作業台５００のＸＹ平面５０１の深度は、マーカーボード５２０の表面位置の深度にマーカーボード５２０の厚みを加えた値となる。この取得方法３を使用する場合には、第３カメラ４３０は省略してもよい。

＜深度情報の取得方法４＞
取得方法４では、特定位置である作業台５００のＸＹ平面５０１と、第１カメラ４１０との間の距離が既知である場合に、その距離をＸＹ平面５０１の深度として使用する。第１カメラ座標系Σｃとテーブル座標系Σｔとの間の座標変換行列が既知である場合にも、その座標変換行列からＸＹ平面５０１の深度情報を取得することが可能である。図２で説明したように、第１カメラ座標系Σｃとテーブル座標系Σｔとの間の座標変換行列は、第１カメラ４１０の外部パラメーターを用いて算出することが可能である。

上述した取得方法１，２は、第３カメラ４３０を用いて深度情報を求めるという点では同じである。また、取得方法１，２では、任意の形状に関する深度を取得可能である。従って、特徴的な形状を有する立体的な特定物体を第１カメラ４１０の視野内に配置し、その特定物体の位置を特定位置として用いることができる。この場合に、第２カメラ４２０の画像において、その特定物体の位置に、第１カメラ４１０のキャリブレーション状態を示す立体的な特定画像を重畳して表示機器に表示すれば、キャリブレーション状態を確認し易いという利点がある。

ステップＳ１３０では、校正状態可視化部３１４が、ステップＳ１２０で得られた深度情報と、第１カメラ４１０のキャリブレーションパラメーターとを用いて、第１カメラ座標系Σｃにおける特定位置の三次元座標値を算出する。この算出は、例えば、以下のように行うことができる。

第１カメラ４１０の内部パラメーターに含まれる行列Ｋと歪みパラメーターＤは次式で表される。

ここで、ｆ_ｘ，ｆ_ｙは焦点距離、ｃ_ｘ，ｃ_ｙは主点位置、ｋ_１～ｋ_６は半径方向の歪み係数、ｐ_１，ｐ_２は円周方向の歪み係数である。行列Ｋは、３次元のカメラ座標と２次元の画素座標との間の射影変換を表している。

上記（１），（２）式と第１カメラ４１０の画素座標（ｕ，ｖ）を用いると、次式に従って、歪んだカメラ同次座標（ｘ_ｄ，ｙ_ｄ）を算出できる。

また、次式を解くことによって、歪み除去したカメラ同次座標（ｘ_ｃ，ｙ_ｃ）を求めることができる。

第１カメラ座標系Σｃにおける特定位置の三次元座標値（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は、歪み除去したカメラ同次座標（ｘ_ｃ，ｙ_ｃ）と、ステップＳ１２０で取得した特定位置の深さを示すＺ座標値Ｚ_ｃを用いて、次式で算出される。

この特定位置の三次元座標値（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は、第１カメラ４１０のキャリブレーションパラメーターを用いて算出されており、第１カメラ４１０のキャリブレーション状態を示す特定画像を表示する位置として使用される。

なお、上記（１）～（６）式で得られる三次元座標値（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）は、作業台５００のＸＹ平面５０１に限らず、第１カメラ４１０の撮影範囲にある任意の位置に関して算出できる。従って、上記（１）～（６）式を用いて、マーカーボード５２０の表面の位置や、立体的な物体の位置などの他の任意の特定位置に関して、その三次元座標値を算出することが可能である。

ステップＳ１４０では、校正状態可視化部３１４が、第１カメラ４１０とマーカーボード５２０の相対位置を取得する。図２で説明したように、第１実施形態では、第１カメラ座標系Σｃとマーカー座標系Σｍの相対位置は既知である。即ち、第１カメラ座標系Σｃとマーカー座標系Σｍの間の座標変換行列［R|t］cmは、既知である。但し、座標変換行列［R|t］cmを、既知の座標変換行列［R|t］cr，［R|t］rt，［R|t］tmを乗算することによって求めるようにしてもよい。［R|t］crは第１カメラ座標系Σｃとロボット座標系Σｒの間の座標変換を表しており、［R|t］rtはロボット座標系Σｒとテーブル座標系Σｔの間の座標変換を、［R|t］tmはテーブル座標系Σｔとマーカー座標系Σｍの間の座標変換を表す。第１カメラ座標系Σｃとロボット座標系Σｒの間の座標変換行列［R|t］crは、第１カメラ４１０のキャリブレーションパラメーターに含まれる外部パラメーターである。

ステップＳ１５０では、校正状態可視化部３１４が、マーカーボード５２０を第２カメラ４２０で撮影して、第２カメラ４２０とマーカーボード５２０の相対位置を決定する。ステップＳ１６０では、校正状態可視化部３１４が、ステップＳ１４０とステップＳ１５０の結果を利用して、第１カメラ４１０と第２カメラ４２０の相対位置を決定する。

図５は、ステップＳ１４０～Ｓ１６０における第１カメラ４１０と第２カメラ４２０の相対位置の決定方法を示す説明図である。マーカーボード５２０は、マーカー座標系Σｍの三次元位置を認識可能なマーカーパターンを有する。従って、第２カメラ４２０でマーカーボード５２０を撮影してマーカー画像を取得し、このマーカー画像を解析することによって、マーカー座標系Σｍと第２カメラ座標系Σｇとの間の座標変換行列［R|t］mgを決定することができる。そして、座標変換行列［R|t］cm，［R|t］mgを乗算することによって、第１カメラ座標系Σｃと第２カメラ座標系Σｇの間の座標変換行列［R|t］cgを求めることができる。このように、第１実施形態では、マーカーボード５２０を第２カメラ４２０で撮影し、その画像を解析した結果を使用して、第１カメラ４１０と第２カメラ４２０の相対位置を決定する。

図４のステップＳ１７０では、校正状態可視化部３１４が、特定位置の第１カメラ基準の三次元座標値を、第２カメラ基準の三次元座標値に変換する。この変換は、上述したステップＳ１３０で得られた特定位置の三次元座標値（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）を、ステップＳ１６０で得られた座標変換行列［R|t］cgを用いて、第２カメラ座標系Σｇにおける三次元座標値に変換する処理である。

ステップＳ１８０では、校正状態可視化部３１４が、第２カメラ４２０の撮像画像に、第１カメラ４１０のキャリブレーション状態を表す特定画像を重畳して、表示機器としてのＶＲグラス４４０に表示する。

図６は、ステップＳ１８０においてキャリブレーション状態を示す特定画像を表示する例を示す説明図である。この例では、特定画像ＳＭ１は、作業台５００のＸＹ平面５０１の三次元位置を示す格子状の画像である。特定画像ＳＭ１の表示位置の画素座標値は、ステップＳ１７０で得られた第２カメラ座標系Σｇの三次元座標値を、第２カメラ４２０の射影変換行列で２次元の画素座標値に変換することによって得られる。ステップＳ１２０～Ｓ１７０の処理では、第１カメラ４１０のキャリブレーションパラメーターが用いられているので、特定画像ＳＭ１は、第２カメラ４２０で撮影された画像に重畳して、キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示される。ユーザーは、この特定画像ＳＭ１の表示位置を、作業台５００のＸＹ平面５０１の表示位置と比較することによって、第１カメラ４１０のキャリブレーション状態が正しいか否かを確認することができる。特に、本実施形態では、ＸＹ平面５０１に特定画像ＳＭ１の基準位置を示す基準マーク５３０が設けられているので、特定画像ＳＭ１と基準マーク５３０を比較することによって、第１カメラ４１０のキャリブレーション状態を容易に確認できる。また、本実施形態では、第２カメラ４２０を備えるＶＲグラス４４０を用いて特定画像ＳＭ１の表示を行っているので、ユーザーが第２カメラ４２０の位置を変更すると、これに応じて作業台５００のＸＹ平面５０１や特定画像ＳＭ１の表示位置が変更される。従って、特定画像ＳＭ１の位置が作業台５００のＸＹ平面５０１と一致しているか否かを確認し易いという利点がある。

図７は、キャリブレーション状態を示す特定画像の他の表示例を示す説明図である。ここでは、互いに異なる複数のキャリブレーションパラメーターセットに応じて、複数の特定画像ＳＭ１，ＳＭ２を表示できる例が示されている。第１カメラ４１０のキャリブレーションパラメーターとしては、第１カメラ４１０の画素領域の違いや深度の違いに応じて複数のパラメーターセットが作成される場合がある。このような場合には、複数のパラメーターセットに応じた複数の特定画像を表示することが好ましい。

図７の例では、表示機器としてのＶＲグラス４４０の表示画面に、キャリブレーションパラメーターのパラメーターセットを選択するためのブルダウンメニューＰＭが表示されている。ユーザーが、ブルダウンメニューＰＭを用いて１つのパラメーターセットを選択すると、そのパラメーターセットに応じた特定画像が選択的に表示される。なお、複数のパラメーターセットに対応した複数の特定画像ＳＭ１，ＳＭ２を同時に表示するようにしてもよい。このように、複数のパラメーターセットに対応した複数の特定画像ＳＭ１，ＳＭ２を選択的又は同時に表示すれば、複数のパラメーターセットのうちのいずれの精度が良いかをユーザーが確認できるという利点がある。

図４のステップＳ１９０では、ユーザーが、ステップＳ１８０で表示された画像を見て、第１カメラ４１０のキャリブレーション状態が良好であるか否かを判断する。キャリブレーション状態が良好でない場合には、ステップＳ２００に進み、キャリブレーションパラメーターの調整が実行される。

図８は、ステップＳ２００において表示機器に表示されるキャリブレーションパラメーターの調整ウィンドウＷ１の例を示す説明図である。この調整ウィンドウＷ１には、キャリブレーションパラメーターのパラメーターセットを選択するためのブルダウンメニューＰＭと、特定画像ＳＭ１の位置及び姿勢を調整するためのスライダーＳＬ１～ＳＬ６が設けられている。ユーザーは、これらのスライダーＳＬ１～ＳＬ６を用いて特定画像ＳＭ１の位置及び姿勢を調整することができる。また、スライダーＳＬ１～ＳＬ６以外の調整ツールを用いても良い。校正状態可視化部３１４は、ユーザーによる特定画像ＳＭ１の調整量に応じて、第１カメラ４１０のキャリブレーションパラメーターを調整する。調整の対象となるのは、主として外部パラメーターである。但し、内部パラメーターを調整対象に含めてもよい。なお、ブルダウンメニューＰＭは省略可能である。

調整ツールとしては、第１カメラ４１０のキャリブレーションパラメーターの値を直接調整するものを使用してもよい。即ち、特定画像ＳＭ１と共に、特定画像ＳＭ１の位置姿勢を調整するための調整ツールと、キャリブレーションパラメーターの値を調整するための調整ツールとのうちの少なくとも一方を表示機器に表示するようにしてもよい。ユーザーによる調整に応じてキャリブレーションパラメーターの値を調整すれば、特定画像ＳＭ１で示されるキャリブレーション状態が適切でない場合に、キャリブレーションパラメーターを適切な値に調整できる。

ステップＳ２００でキャリブレーションパラメーターの調整を行った後は、ステップＳ１２０に戻り、上述したステップＳ１２０～Ｓ１９０の処理が繰り返される。但し、キャリブレーションパラメーターの調整が深度情報に影響しない場合には、ステップＳ１２０の処理はスキップされる。ステップＳ１９０において、キャリブレーション状態が良好と判断された場合には、図４の処理を終了する。

以上のように、上記第１実施形態では、第１カメラ４１０のキャリブレーション状態を示す特定画像ＳＭ１を、第２カメラ４２０で撮影された画像に重畳して、キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示するので、第１カメラ４１０のキャリブレーション状態を目視で確認できる。

なお、キャリブレーション状態を示す特定画像ＳＭ１としては、平面的な画像の代わりに、立体物を表す画像を表示してもよい。例えば、マーカーボード５２０を表す立体的な画像を特定画像として表示してもよい。こうすれば、この特定画像と、実際のマーカーボード５２０の位置との関係をユーザーが観察することによって、第１カメラ４１０のキャリブレーション状態が正確であるか否かを確認できる。また、キャリブレーション状態を示す特定画像を表示する位置は、作業台５００のＸＹ平面５０１に限らず、第１カメラ４１０の撮像範囲内における任意の位置に設定してもよい。

Ｂ．第２実施形態：
図９は、第２実施形態における各種の座標系の関係を示す概念図である。なお、装置の構成は、図１及び図３に示した第１実施形態の構成と同じである。第２実施形態では、マーカーボード５２０は、第１カメラ４１０と第２カメラ４２０で撮影可能な任意の位置に配置される。

第２実施形態においても、第１実施形態と同様に、第１カメラ座標系Σｃとロボット座標系Σｒの相対位置は既知であり、その座標変換行列[R|t]crは第１カメラ４１０の外部パラメーターに含まれている。また、ロボット座標系Σｒとテーブル座標系Σｔの座標変換行列[R|t]rtも既知である。一方、第１カメラ座標系Σｃとマーカー座標系Σｍの相対位置は未知である。

図１０は、第２実施形態の処理手順を示すフローチャートである。図４に示した第１実施形態の処理手順との違いは、ステップＳ１４０がステップＳ１４５に置き換えられている点だけであり、他のステップは図４とほぼ同じである。

ステップＳ１４５では、校正状態可視化部３１４が、マーカーボード５２０を第１カメラ４１０で撮影してマーカー画像を取得し、このマーカー画像を解析することによって、第１カメラ座標系Σｃとマーカー座標系Σｍとの間の座標変換行列［R|t］cmを決定する。ステップＳ１５０では、第１実施形態と同様に、第２カメラ４２０でマーカーボード５２０を撮影してマーカー画像を取得し、このマーカー画像を解析することによって、マーカー座標系Σｍと第２カメラ座標系Σｇとの間の座標変換行列［R|t］mgを決定する。ステップＳ１６０では、ステップＳ１４５とステップＳ１５０の結果を用いて、第１カメラ４１０と第２カメラ４２０の相対位置を決定する。具体的には、座標変換行列［R|t］cm，［R|t］mgを乗算することによって、第１カメラ座標系Σｃと第２カメラ座標系Σｇの間の座標変換行列［R|t］cgを決定する。

第２実施形態におけるステップＳ１４５，Ｓ１５０，Ｓ１６０の処理は、マーカー画像を用いて第１カメラ４１０と第２カメラ４２０との相対位置を表す座標変換行列［R|t］cgを決定するという点では、第１実施形態のステップＳ１４０，Ｓ１５０，Ｓ１６０の処理と同じである。ステップＳ１７０以降の処理は、第１実施形態と同じなので説明を省略する。

なお、第２実施形態のステップＳ１２０では、第１実施形態において深度情報の取得方法４として説明したように、第１カメラ座標系Σｃとテーブル座標系Σｔとの既知の座標変換行列［R|t］ctからＸＹ平面５０１の深度情報を取得することが好ましい。この座標変換行列［R|t］ctは、第１カメラ座標系Σｃとロボット座標系Σｒの既知の座標変換行列［R|t］crと、ロボット座標系Σｒとテーブル座標系Σｔの既知の座標変換行列［R|t］rtとを乗算することによって得ることができる。第１カメラ座標系Σｃとロボット座標系Σｒの座標変換行列［R|t］crは、第１カメラ４１０の外部パラメーターに相当する。従って、第２実施形態においてステップＳ１２０～Ｓ１７０で算出される特定位置の第２カメラ基準の三次元座標値は、第１カメラ４１０の外部パラメーターを用いて算出されたものとなる。

以上の説明から分かるように、第２実施形態では、第１カメラ４１０とマーカーの既知の相対位置を使用する代わりに、第１カメラ４１０で撮影したマーカー画像を解析して第１カメラ４１０とマーカーボード５２０の相対位置を決定する処理を行って第１カメラ４１０と第２カメラ４２０の相対位置を決定している。第１実施形態及び第２実施形態のいずれの場合においても、マーカーとしては、第１カメラ４１０との相対位置を決定可能な任意のパターンを使用することができる。「第１カメラ４１０との相対位置を決定可能」という語句は、第１実施形態のように第１カメラ４１０との相対位置が既知である場合と、第２実施形態のように第１カメラ４１０でマーカーを撮影した画像を解析することによって、第１カメラ４１０との位置を決定できる場合と、の両方の場合を含んでいる。

以上のように、第２実施形態においても、第１実施形態と同様に、第１カメラ４１０のキャリブレーション状態を示す特定画像ＳＭ１を、第２カメラ４２０で撮影された画像に重畳して、キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示するので、第１カメラ４１０のキャリブレーション状態を目視で確認できる。

・他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、カメラのキャリブレーション状態を可視化する方法が提供される。この方法は、（ａ）第１カメラのキャリブレーションパラメーターを取得する工程と、（ｂ）第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める工程と、（ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示機器に表示する工程と、を含む。
この方法によれば、第１カメラのキャリブレーション状態を示す特定画像を、第２カメラで撮影された画像に重畳して、キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示するので、第１カメラのキャリブレーション状態を目視で確認できる。

（２）上記方法において、前記工程（ｂ）は、（ｂ１）前記第１カメラの撮像範囲内にある特定位置について、前記第１カメラの基準座標系における第１の三次元座標値を決定する工程と、（ｂ２）前記第１カメラとの相対位置を決定可能なマーカーを前記第２カメラで撮影することによって、マーカー画像を取得する工程と、（ｂ３）前記マーカー画像を用いて、前記第１カメラと前記第２カメラとの前記相対位置を表す座標変換行列を決定する工程と、を含むものとしてもよい。また、前記工程（ｃ）は、（ｃ１）前記座標変換行列を用いて、前記第１カメラの前記基準座標系における前記第１の三次元座標値を、前記第２カメラの基準座標系における第２の三次元座標値に変換する工程と、（ｃ２）前記第２カメラで撮影された画像における前記特定画像の位置を、前記第２の三次元座標値で示される位置に設定する工程と、を含むものとしてもよい。
この方法によれば、マーカーを用いて第１カメラと第２カメラとの相対位置を決定して、対象画像を表示する位置を決定することができる。

（３）上記方法において、前記工程（ｂ１）は、第３カメラを用いて、前記第１カメラで撮影された画像における前記特定位置の深度情報を求める工程と、前記特定位置に関する前記第１カメラの画素座標値と、前記深度情報と、前記キャリブレーションパラメーターに含まれる内部パラメーターとを用いて、前記特定位置の前記第１の三次元座標値を算出する工程と、を含むものとしてもよい。
この方法によれば、第３カメラで得られた深度情報を用いて、第１カメラの基準座標系における特定位置の三次元座標値を求めることができる。

（４）上記方法において、前記工程（ｂ１）は、三次元位置を認識可能なパターンを用いて、前記第１カメラで撮影された画像における前記特定位置の深度情報を求める工程と、前記特定位置に関する前記第１カメラの画素座標値と、前記深度情報と、前記キャリブレーションパラメーターに含まれる内部パラメーターとを用いて、前記特定位置の前記第１の三次元座標値を算出する工程と、を含むものとしてもよい。
この方法によれば、三次元位置を認識可能なパターンから得られた深度情報を用いて、第１カメラの基準座標系における特定位置の三次元座標値を求めることができる。

（５）上記方法において、前記特定位置は、水平なＸＹ平面であり、前記特定画像は、前記ＸＹ平面を表す画像であるものとしてもよい。
この方法によれば、表示機器に表示されるＸＹ平面と特定画像の関係を観察することによって、第１カメラのキャリブレーション状態を目視で確認できる。

（６）上記方法において、前記キャリブレーションパラメーターは、複数組のキャリブレーションパラメーターを含み、前記工程（ｃ）は、前記複数組のキャリブレーションパラメーターのそれぞれに対応する複数の前記特定画像を前記表示機器に表示する工程を含むものとしてもよい。
この方法によれば、複数組のキャリブレーションパラメーターに対応する複数の特定画像を目視で確認できる。

（７）上記方法は、更に、（ｄ）前記特定画像と共に、前記特定画像の位置姿勢と前記キャリブレーションパラメーターの値とのうちの少なくとも一方を調整するための調整ツールを前記表示機器に表示する工程と、（ｅ）前記調整ツールを用いたユーザーによる調整に応じて、前記キャリブレーションパラメーターの値を調整する工程と、を含むものとしてもよい。
この方法によれば、特定画像で示されるキャリブレーション状態が適切でない場合に、キャリブレーションパラメーターを適切な値に調整できる。

（８）本開示の第２の形態によれば、カメラのキャリブレーション状態を可視化するシステムが提供される。このシステムは、カメラ利用機器が利用する画像を撮影する第１カメラと、前記第１カメラのキャリブレーション状態の確認に用いられる第２カメラと、前記第２カメラで撮影された画像を表示する表示機器と、前記第１カメラと前記第２カメラと前記表示機器とに接続される制御装置と、を備える。前記制御装置は、（ａ）前記第１カメラのキャリブレーションパラメーターを取得する処理と、（ｂ）前記第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める処理と、（ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で前記表示機器に表示する処理と、を実行する。

（９）本開示の第３の形態によれば、カメラのキャリブレーション状態を可視化する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）第１カメラのキャリブレーションパラメーターを取得する処理と、（ｂ）第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める処理と、（ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示機器に表示する処理と、を前記プロセッサーに実行させる。

本開示は、上記以外の種々の形態で実現することも可能である。例えば、ロボットとロボット制御装置とを備えたロボットシステム、ロボット制御装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

１００…ロボット、１１０…基台、１２０…ロボットアーム、１２１…第１リンク、１２２…第２リンク、１２３…作動シャフト、１５０…ロボットハンド、２００…ロボットコントローラー、３００…制御装置、３１０…プロセッサー、３１２…カメラ校正実行部、３１４…校正状態可視化部、３２０…メモリー、３３０…インターフェイス回路、３４０…入力デバイス、３５０…表示デバイス、３６０…無線通信デバイス、４１０…第１カメラ、４２０…第２カメラ、４３０…第３カメラ、４４０…ＶＲグラス、５００…作業台、５０１…ＸＹ平面、５１０…コーナー枠、５２０…マーカーボード、５３０…基準マーク

Claims (9)

1. カメラのキャリブレーション状態を可視化する方法であって、
   （ａ）第１カメラのキャリブレーションパラメーターを取得する工程と、
   （ｂ）第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める工程と、
   （ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示機器に表示する工程と、
   を含む、方法。
2. 請求項１に記載の方法であって、
   前記工程（ｂ）は、
   （ｂ１）前記第１カメラの撮像範囲内にある特定位置について、前記第１カメラの基準座標系における第１の三次元座標値を決定する工程と、
   （ｂ２）前記第１カメラとの相対位置を決定可能なマーカーを前記第２カメラで撮影することによって、マーカー画像を取得する工程と、
   （ｂ３）前記マーカー画像を用いて、前記第１カメラと前記第２カメラとの前記相対位置を表す座標変換行列を決定する工程と、
   を含み、
   前記工程（ｃ）は、
   （ｃ１）前記座標変換行列を用いて、前記第１カメラの前記基準座標系における前記第１の三次元座標値を、前記第２カメラの基準座標系における第２の三次元座標値に変換する工程と、
   （ｃ２）前記第２カメラで撮影された画像における前記特定画像の位置を、前記第２の三次元座標値で示される位置に設定する工程と、
   を含む、方法。
3. 請求項２に記載の方法であって、
   前記工程（ｂ１）は、
   第３カメラを用いて、前記第１カメラで撮影された画像における前記特定位置の深度情報を求める工程と、
   前記特定位置に関する前記第１カメラの画素座標値と、前記深度情報と、前記キャリブレーションパラメーターに含まれる内部パラメーターとを用いて、前記特定位置の前記第１の三次元座標値を算出する工程と、
   を含む、方法。
4. 請求項２に記載の方法であって、
   前記工程（ｂ１）は、
   三次元位置を認識可能なパターンを用いて、前記第１カメラで撮影された画像における前記特定位置の深度情報を求める工程と、
   前記特定位置に関する前記第１カメラの画素座標値と、前記深度情報と、前記キャリブレーションパラメーターに含まれる内部パラメーターとを用いて、前記特定位置の前記第１の三次元座標値を算出する工程と、
   を含む、方法。
5. 請求項２～４のいずれか一項に記載の方法であって、
   前記特定位置は、水平なＸＹ平面であり、
   前記特定画像は、前記ＸＹ平面を表す画像である、方法。
6. 請求項１に記載の方法であって、
   前記キャリブレーションパラメーターは、複数組のキャリブレーションパラメーターを含み、
   前記工程（ｃ）は、
   前記複数組のキャリブレーションパラメーターのそれぞれに対応する複数の前記特定画像を前記表示機器に表示する工程を含む、方法。
7. 請求項１に記載の方法であって、更に、
   （ｄ）前記特定画像と共に、前記特定画像の位置姿勢と前記キャリブレーションパラメーターの値とのうちの少なくとも一方を調整するための調整ツールを前記表示機器に表示する工程と、
   （ｅ）前記調整ツールを用いたユーザーによる調整に応じて、前記キャリブレーションパラメーターの値を調整する工程と、
   を含む、方法。
8. カメラのキャリブレーション状態を可視化するシステムであって、
   カメラ利用機器が利用する画像を撮影する第１カメラと、
   前記第１カメラのキャリブレーション状態の確認に用いられる第２カメラと、
   前記第２カメラで撮影された画像を表示する表示機器と、
   前記第１カメラと前記第２カメラと前記表示機器とに接続される制御装置と、
   を備え、
   前記制御装置は、
   （ａ）前記第１カメラのキャリブレーションパラメーターを取得する処理と、
   （ｂ）前記第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める処理と、
   （ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で前記表示機器に表示する処理と、
   を実行する、システム。
9. カメラのキャリブレーション状態を可視化する処理をプロセッサーに実行させるコンピュータープログラムであって、
   （ａ）第１カメラのキャリブレーションパラメーターを取得する処理と、
   （ｂ）第２カメラを用いて、前記第１カメラと前記第２カメラとの相対位置を求める処理と、
   （ｃ）前記第１カメラのキャリブレーション状態を示す特定画像を、前記第２カメラで撮影された画像に重畳して、前記キャリブレーションパラメーターの値に応じて変わる位置姿勢で表示機器に表示する処理と、
   を前記プロセッサーに実行させる、コンピュータープログラム。

Images