JPH06203166A - 多次元位置測定，制御装置，及び、学習方法 - Google Patents
多次元位置測定，制御装置，及び、学習方法Info
- Publication number
- JPH06203166A JPH06203166A JP5000382A JP38293A JPH06203166A JP H06203166 A JPH06203166 A JP H06203166A JP 5000382 A JP5000382 A JP 5000382A JP 38293 A JP38293 A JP 38293A JP H06203166 A JPH06203166 A JP H06203166A
- Authority
- JP
- Japan
- Prior art keywords
- information
- robot
- dimensional
- learning
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【目的】 本発明は、特定の物体の、例えば、３次元空
間内に置かれた位置の測定，制御装置に関し、画像処理
装置，又は、一次元距離計測装置から物体の位置を計
測，或いは、該３次元空間内に置かれた物体を把持す
る。 【構成】 ロボット等が把持した測定対象物の位置を３
台以上のテレビカメラ等の画像処理装置等で測定し、取
得した画像情報等(X,Y, α,S) を、ニューラルネット
ワーク等の学習装置に入力し、上記ロボットの各関節の
角度と，アーム長の情報から、順キネマティクスで計算
し得る測定対象物の、例えば、６次元位置情報(X,Y,Z,
α, β, γ) を教師データとして学習する。又、把持
対象物体に、複数個のマーカを取り付け、マーカの画面
上の重心位置(X,Y),面積(S) 等の特徴量を、上記ニュー
ラルネットワークに入力して、対応するロボットの対応
する関節角度，手先効果器の位置，姿勢角(X,Y,Z, α,
β, γ) を教師データとして学習し、その学習結果に
より、任意の位置に置かれた物体を把持する。
間内に置かれた位置の測定，制御装置に関し、画像処理
装置，又は、一次元距離計測装置から物体の位置を計
測，或いは、該３次元空間内に置かれた物体を把持す
る。 【構成】 ロボット等が把持した測定対象物の位置を３
台以上のテレビカメラ等の画像処理装置等で測定し、取
得した画像情報等(X,Y, α,S) を、ニューラルネット
ワーク等の学習装置に入力し、上記ロボットの各関節の
角度と，アーム長の情報から、順キネマティクスで計算
し得る測定対象物の、例えば、６次元位置情報(X,Y,Z,
α, β, γ) を教師データとして学習する。又、把持
対象物体に、複数個のマーカを取り付け、マーカの画面
上の重心位置(X,Y),面積(S) 等の特徴量を、上記ニュー
ラルネットワークに入力して、対応するロボットの対応
する関節角度，手先効果器の位置，姿勢角(X,Y,Z, α,
β, γ) を教師データとして学習し、その学習結果に
より、任意の位置に置かれた物体を把持する。
Description
【０００１】
【産業上の利用分野】本発明は、特定の物体の３次元空
間内に置かれた位置の３次元位置測定, 制御装置，又
は、その３次元測定, 制御装置での学習方法に関する。
間内に置かれた位置の３次元位置測定, 制御装置，又
は、その３次元測定, 制御装置での学習方法に関する。
【０００２】近年、コンピュータやセンサ技術等の急速
な発達に伴い、各種のセンサ、例えば、ビデオカメラ等
の画像処理装置のビジョンセンサを用いて、外部環境を
認識し、認識した情報を基に、自から判断し行動するこ
とのできる「知能ロボット」への期待が高まっている。
な発達に伴い、各種のセンサ、例えば、ビデオカメラ等
の画像処理装置のビジョンセンサを用いて、外部環境を
認識し、認識した情報を基に、自から判断し行動するこ
とのできる「知能ロボット」への期待が高まっている。
【０００３】特に、人間の視覚と同様に、上記ビジョン
センサ等の光学式センサを用いて、周囲の環境を認識
し、物体の把持，組み立て作業を行う視覚制御技術は、
ロボットの知能の向上を進める上で最も重要な技術の１
つである。
センサ等の光学式センサを用いて、周囲の環境を認識
し、物体の把持，組み立て作業を行う視覚制御技術は、
ロボットの知能の向上を進める上で最も重要な技術の１
つである。
【０００４】
【従来の技術】図７は、従来の３次元位置を測定する方
法を説明する図である。３次元空間内に置かれた物体の
３次元位置(x,y,z) を測定する場合、従来方法では、図
示されているように、複数個の観測点(Oa ,0b ) から測
定対象物(P) までの直線距離(x,y,z) を測定し、三角測
量の原理で測定するのが一般的である。
法を説明する図である。３次元空間内に置かれた物体の
３次元位置(x,y,z) を測定する場合、従来方法では、図
示されているように、複数個の観測点(Oa ,0b ) から測
定対象物(P) までの直線距離(x,y,z) を測定し、三角測
量の原理で測定するのが一般的である。
【０００５】図示されているように、観測レンズ節点
と、観測面との距離がｆである、一対の観測光学系が、
各節点を結ぶ線に、光軸が垂直で互いに平行となるよう
に、Ｌの間隔で配置され、標点Ｐの各観測面上での像
が、それぞれ、(xa ,ya ),(xb ,y b ) で検出されたとす
ると、標点Ｐの座標値(x,y,z) は、 ｘ＝ xa L/ xa -xb ｙ＝fL/xa -xb ｚ＝ ya L/ xa -xb ,yb L/ xa -xb で与えられる。
と、観測面との距離がｆである、一対の観測光学系が、
各節点を結ぶ線に、光軸が垂直で互いに平行となるよう
に、Ｌの間隔で配置され、標点Ｐの各観測面上での像
が、それぞれ、(xa ,ya ),(xb ,y b ) で検出されたとす
ると、標点Ｐの座標値(x,y,z) は、 ｘ＝ xa L/ xa -xb ｙ＝fL/xa -xb ｚ＝ ya L/ xa -xb ,yb L/ xa -xb で与えられる。
【０００６】
【発明が解決しようとする課題】然しながら、上記従来
方法では、光等の反射を利用して距離の計測を行うの
で、測定対象の物体がどこにあるのかを決定するのが困
難な問題、所謂、対応点決定法が大きな課題となってい
る。
方法では、光等の反射を利用して距離の計測を行うの
で、測定対象の物体がどこにあるのかを決定するのが困
難な問題、所謂、対応点決定法が大きな課題となってい
る。
【０００７】そこで、対象となる物体がどこにあるかを
他の方法、例えば、物体の持っている特徴点等につい
て、近傍の画像情報との自己相関をとり、自己相関の値
の大きい物体を対象とする等の方法で、予め、知ってお
く必要があった。
他の方法、例えば、物体の持っている特徴点等につい
て、近傍の画像情報との自己相関をとり、自己相関の値
の大きい物体を対象とする等の方法で、予め、知ってお
く必要があった。
【０００８】又、反射等を利用する装置の場合、物体の
姿勢が変わると、反射光が得られなくなり、対象物体の
真の姿勢までも検出できないとか、測定対象物までの距
離の測定が誤ることがある等の問題があった。
姿勢が変わると、反射光が得られなくなり、対象物体の
真の姿勢までも検出できないとか、測定対象物までの距
離の測定が誤ることがある等の問題があった。
【０００９】本発明は上記従来の欠点に鑑み、測定対象
物をロボット等に持たせ、ロボットの関節角度とアーム
長から、ロボットの把持している物体の３次元座標値
（又は、各次元での姿勢角α，β，γを含めた６次元座
標値) を求めておき、さらに、その物体, 又は、その物
体に取り付けられた複数個のマーカをテレビカメラ等の
ビジョンセンサを用いて捉え、そのビジョンセンサから
得られる画像情報を計測し、その計測情報｛例えば、２
次元座標(X,Y) と、ロボットの慣性軸方向の角度αと、
物体の面積Ｓ｝と、上記ロボットの把持している物体の
３次元座標値，又は、６次元座標, 或いは、関節角との
関係をニューラルネットワーク等の学習装置に学習させ
て、上記テレビカメラ等のビジョンセンサから得られる
画像情報から、対象物体の姿勢を計測する装置, 又は、
任意位置に置かれた対象物体を、ロボットに把持させる
制御装置，又はその学習方法を提供することを目的とす
るものである。
物をロボット等に持たせ、ロボットの関節角度とアーム
長から、ロボットの把持している物体の３次元座標値
（又は、各次元での姿勢角α，β，γを含めた６次元座
標値) を求めておき、さらに、その物体, 又は、その物
体に取り付けられた複数個のマーカをテレビカメラ等の
ビジョンセンサを用いて捉え、そのビジョンセンサから
得られる画像情報を計測し、その計測情報｛例えば、２
次元座標(X,Y) と、ロボットの慣性軸方向の角度αと、
物体の面積Ｓ｝と、上記ロボットの把持している物体の
３次元座標値，又は、６次元座標, 或いは、関節角との
関係をニューラルネットワーク等の学習装置に学習させ
て、上記テレビカメラ等のビジョンセンサから得られる
画像情報から、対象物体の姿勢を計測する装置, 又は、
任意位置に置かれた対象物体を、ロボットに把持させる
制御装置，又はその学習方法を提供することを目的とす
るものである。
【００１０】
【課題を解決するための手段】図１は本発明の一実施例
を示した図であり、図２は、本発明のニューラルネット
ワークによる学習方法を説明する図であり、図３は本発
明の他の学習装置の例を示した図であり、図４は、本発
明の他の実施例を示した図であり、図５は本発明による
ビジョンセンサ観測面でのマーカ特徴量を説明する図で
あり、図６は、本発明により把持物体をアプローチする
方法を示した図である。上記の問題点は下記の如くに構
成した３次元位置測定, 制御装置，及び、その学習方法
によって解決される。
を示した図であり、図２は、本発明のニューラルネット
ワークによる学習方法を説明する図であり、図３は本発
明の他の学習装置の例を示した図であり、図４は、本発
明の他の実施例を示した図であり、図５は本発明による
ビジョンセンサ観測面でのマーカ特徴量を説明する図で
あり、図６は、本発明により把持物体をアプローチする
方法を示した図である。上記の問題点は下記の如くに構
成した３次元位置測定, 制御装置，及び、その学習方法
によって解決される。
【００１１】(1) ロボット 1等が把持した測定対象物 1
0 の位置を３台以上のテレビカメラ等の画像処理装置
2, 又はレーザ等を利用した１次元距離計測装置 2a 等
で測定し、取得した画像情報, 又は、該画像情報から
得られる物体位置等の情報，或いは、距離計測情報
を、ニューラルネットワーク等の学習装置 3に入力し、
上記ロボット 2の各関節の角度と，アーム長の情報から
計算し得る測定対象物の多次元位置情報(X,Y,Z, α,
β, γ) を教師データとして学習し、該学習した学習
装置 3を用いて、測定対象物 10 の画像情報, 又は、距
離計測情報, 又は、を入力して、上記測定対象物 1
0 の多次元位置を測定するように構成する。
0 の位置を３台以上のテレビカメラ等の画像処理装置
2, 又はレーザ等を利用した１次元距離計測装置 2a 等
で測定し、取得した画像情報, 又は、該画像情報から
得られる物体位置等の情報，或いは、距離計測情報
を、ニューラルネットワーク等の学習装置 3に入力し、
上記ロボット 2の各関節の角度と，アーム長の情報から
計算し得る測定対象物の多次元位置情報(X,Y,Z, α,
β, γ) を教師データとして学習し、該学習した学習
装置 3を用いて、測定対象物 10 の画像情報, 又は、距
離計測情報, 又は、を入力して、上記測定対象物 1
0 の多次元位置を測定するように構成する。
【００１２】(2) 上記多次元位置測定装置を用いて、テ
レビカメラ等の画像処理装置 2からの画像情報から、
各画像上のある測定対象物 10 の重心等におけるＸ座
標，Ｙ座標，該対象物の傾斜角度（α），面積（Ｓ）等
を、上記学習装置 3に入力し、該入力された測定対象物
10 の位置に対応する上記ロボット 1等の関節角度 (θ
1,θ2,〜),及び、アーム長から計算し得る多次元位置情
報(X,Y,Z, α, β, γ)を教師データとするように構
成する。
レビカメラ等の画像処理装置 2からの画像情報から、
各画像上のある測定対象物 10 の重心等におけるＸ座
標，Ｙ座標，該対象物の傾斜角度（α），面積（Ｓ）等
を、上記学習装置 3に入力し、該入力された測定対象物
10 の位置に対応する上記ロボット 1等の関節角度 (θ
1,θ2,〜),及び、アーム長から計算し得る多次元位置情
報(X,Y,Z, α, β, γ)を教師データとするように構
成する。
【００１３】(3) 上記多次元位置測定装置を用いて、上
記ロボット 1の手先位置を、上記テレビカメラ等の画像
処理装置 2群の視野内でランダムに設定し、該設定され
た手先位置に対応する上記ロボット 1等の関節角度 (θ
1,θ2,〜),及び、アーム長から計算し得る多次元位置情
報(X,Y,Z, α, β, γ) を教師データとするように構
成する。
記ロボット 1の手先位置を、上記テレビカメラ等の画像
処理装置 2群の視野内でランダムに設定し、該設定され
た手先位置に対応する上記ロボット 1等の関節角度 (θ
1,θ2,〜),及び、アーム長から計算し得る多次元位置情
報(X,Y,Z, α, β, γ) を教師データとするように構
成する。
【００１４】(4) 上記多次元位置測定装置を用いて、上
記ロボット 1の各関節角度を、所定の分割数で設定する
際、該設定した関節角度により得られた手先位置が、上
記テレビカメラ等の画像処理装置 2群の視野内に入るよ
うに各関節角度を分割して設定し、該設定された手先位
置に対応する上記ロボット 1等の関節角度 (θ1,θ2,
〜),及び、アーム長から計算し得る多次元位置情報(X,
Y,Z, α, β, γ) を教師データとするように構成す
る。
記ロボット 1の各関節角度を、所定の分割数で設定する
際、該設定した関節角度により得られた手先位置が、上
記テレビカメラ等の画像処理装置 2群の視野内に入るよ
うに各関節角度を分割して設定し、該設定された手先位
置に対応する上記ロボット 1等の関節角度 (θ1,θ2,
〜),及び、アーム長から計算し得る多次元位置情報(X,
Y,Z, α, β, γ) を教師データとするように構成す
る。
【００１５】(5) 上記３台以上のテレビカメラ等の画像
処理装置 2の内、少なくとも、１つ以上は、他のテレビ
カメラ等の画像処理装置 2と、所定の角度を保持する方
向に設置する。
処理装置 2の内、少なくとも、１つ以上は、他のテレビ
カメラ等の画像処理装置 2と、所定の角度を保持する方
向に設置する。
【００１６】(6) ロボット 1等が把持した把持対象物 1
1 に複数個のマーカを取り付け、該取り付けられたマ
ーカの位置を３台以上のテレビカメラ等の画像処理装
置 2, 又はレーザ等を利用した１次元距離計測装置 2a
等で測定し、取得した画像情報，又は、該画像情報か
ら得られる物体位置等の情報，或いは、距離計測情報
を、ニューラルネットワーク等の学習装置 3に入力し、
上記ロボット 2の各関節の角度と，アーム長の情報から
計算し得る測定対象物の３次元位置情報(X,Y,Z, α,
β, γ) を教師データとして学習し、該学習した学習
装置 3を用いて、任意位置，姿勢に置かれた把持対象物
11 の画像情報, 又は、距離計測情報,又は、を入
力して、上記把持対象物 11 を把持するように構成す
る。
1 に複数個のマーカを取り付け、該取り付けられたマ
ーカの位置を３台以上のテレビカメラ等の画像処理装
置 2, 又はレーザ等を利用した１次元距離計測装置 2a
等で測定し、取得した画像情報，又は、該画像情報か
ら得られる物体位置等の情報，或いは、距離計測情報
を、ニューラルネットワーク等の学習装置 3に入力し、
上記ロボット 2の各関節の角度と，アーム長の情報から
計算し得る測定対象物の３次元位置情報(X,Y,Z, α,
β, γ) を教師データとして学習し、該学習した学習
装置 3を用いて、任意位置，姿勢に置かれた把持対象物
11 の画像情報, 又は、距離計測情報,又は、を入
力して、上記把持対象物 11 を把持するように構成す
る。
【００１７】(7) 上記任意の位置姿勢に置かれた物体の
把持作業を行う際、上記学習装置 3により、目標とする
把持物体 11 の位置から、所定の距離 dだけ離れた位置
を目標点とし、上記ロボット 1の手先効果器 12 が、上
記目標点に到達した後に、上記把持物体 11 へのアプロ
ーチを行うように制御する。
把持作業を行う際、上記学習装置 3により、目標とする
把持物体 11 の位置から、所定の距離 dだけ離れた位置
を目標点とし、上記ロボット 1の手先効果器 12 が、上
記目標点に到達した後に、上記把持物体 11 へのアプロ
ーチを行うように制御する。
【００１８】
【作用】即ち、本発明においては、測定対象物をロボッ
ト等に持たせ、ロボットの関節角度θ1,θ2,〜とアーム
長から、ロボットの把持している物体の３次元座標値
（又は、各次元での姿勢角α，β，γを含めた６次元座
標値) を、順運動学演算（順キネマティクス）から求め
ておき、さらに、その物体をテレビカメラ等のビジョン
センサを用いて捉え、そのビジョンセンサから得られる
画像情報を計測し、その計測情報、例えば、物体の重心
の２次元座標(X,Y) と、手先きの方向、例えば、慣性主
軸の方向αと、物体の面積Ｓと、上記ロボットの把持し
ている物体の３次元座標値，又は、６次元座標との関係
をニューラルネットワーク等の学習装置に学習させて、
上記テレビカメラ等のビジョンセンサから得られる上記
画像情報２次元座標(X,Y) と、手先きの方向αと、物体
の面積Ｓ等とから、対象物体の姿勢、即ち、上記物体の
３次元座標値、又は、各次元での姿勢角α，β，γを含
めた６次元座標値を計測するようにしたものである。
ト等に持たせ、ロボットの関節角度θ1,θ2,〜とアーム
長から、ロボットの把持している物体の３次元座標値
（又は、各次元での姿勢角α，β，γを含めた６次元座
標値) を、順運動学演算（順キネマティクス）から求め
ておき、さらに、その物体をテレビカメラ等のビジョン
センサを用いて捉え、そのビジョンセンサから得られる
画像情報を計測し、その計測情報、例えば、物体の重心
の２次元座標(X,Y) と、手先きの方向、例えば、慣性主
軸の方向αと、物体の面積Ｓと、上記ロボットの把持し
ている物体の３次元座標値，又は、６次元座標との関係
をニューラルネットワーク等の学習装置に学習させて、
上記テレビカメラ等のビジョンセンサから得られる上記
画像情報２次元座標(X,Y) と、手先きの方向αと、物体
の面積Ｓ等とから、対象物体の姿勢、即ち、上記物体の
３次元座標値、又は、各次元での姿勢角α，β，γを含
めた６次元座標値を計測するようにしたものである。
【００１９】特に、物体正面に、例えば、２台以上のテ
レビカメラを設置し、それらと、例えば、直角をなす方
向に、１台以上のテレビカメラを設置し、奥行き方向
（Ｘ軸方向）の画像情報を増やすことで、測定対象物体
の、例えば、３次元位置の測定精度を向上させることが
できる。
レビカメラを設置し、それらと、例えば、直角をなす方
向に、１台以上のテレビカメラを設置し、奥行き方向
（Ｘ軸方向）の画像情報を増やすことで、測定対象物体
の、例えば、３次元位置の測定精度を向上させることが
できる。
【００２０】従って、本発明によれば、テレビカメラの
視野内であれば、測定対象物の正確な位置測定が可能で
あり、従来方法では困難であった姿勢変化も、画像の主
軸方向の情報（前述のαA 〜) や、面積 (前述のＳ
A 〜) を利用することにより検出することができる。
視野内であれば、測定対象物の正確な位置測定が可能で
あり、従来方法では困難であった姿勢変化も、画像の主
軸方向の情報（前述のαA 〜) や、面積 (前述のＳ
A 〜) を利用することにより検出することができる。
【００２１】又、学習装置、例えば、ニューラルネット
ワークは、教えられなかった点以外でも、補間する機能
を備えているので、全空間に対して教師データを作成し
なくても、適当な代表点を教えるだけで、対象物体の位
置を計測することができる。
ワークは、教えられなかった点以外でも、補間する機能
を備えているので、全空間に対して教師データを作成し
なくても、適当な代表点を教えるだけで、対象物体の位
置を計測することができる。
【００２２】本発明による方法では、測定対象物の、例
えば、３次元位置と画像情報との対応関係を学習するこ
とによって位置測定を行うようにしたものであるので、
ニューラルネットワークに限らず、最初の学習時に、上
記３次元の位置が学習できる他の学習装置を用いても良
い。
えば、３次元位置と画像情報との対応関係を学習するこ
とによって位置測定を行うようにしたものであるので、
ニューラルネットワークに限らず、最初の学習時に、上
記３次元の位置が学習できる他の学習装置を用いても良
い。
【００２３】又、測定の対象とする空間が広くなってく
ると、一つのニューラルネットワークで学習するために
は、ニューラルネットワークの規模が大きくなり過ぎる
ことになる。そこで、手先の座標空間を所定の大きさで
複数個に分割し、別々のニューラルネットワークに学習
させることによって、ニューラルネットワークの小規模
化が可能になり、学習時間の短縮化が図れる。このよう
にすることにより、１つのニューラルネットワークの受
け持つ範囲が狭まるので、そのニューラルネットワーク
が小規模でも、補間精度が向上する。
ると、一つのニューラルネットワークで学習するために
は、ニューラルネットワークの規模が大きくなり過ぎる
ことになる。そこで、手先の座標空間を所定の大きさで
複数個に分割し、別々のニューラルネットワークに学習
させることによって、ニューラルネットワークの小規模
化が可能になり、学習時間の短縮化が図れる。このよう
にすることにより、１つのニューラルネットワークの受
け持つ範囲が狭まるので、そのニューラルネットワーク
が小規模でも、補間精度が向上する。
【００２４】又、１つのニューラルネットワークには、
全空間を疎らに教え、他のニューラルネットワークに
は、ある部分だけを蜜に教えることによって、特定の場
所における測定精度を向上させたり、更に、複数のニュ
ーラルネットワークを用いることによって、全体の精度
の向上を図ることも可能になる。
全空間を疎らに教え、他のニューラルネットワークに
は、ある部分だけを蜜に教えることによって、特定の場
所における測定精度を向上させたり、更に、複数のニュ
ーラルネットワークを用いることによって、全体の精度
の向上を図ることも可能になる。
【００２５】又、組立て作業等、ロボット (マニピュレ
ータ) 周囲の環境や、作業対象物がある程度わかってい
る場合、作業対象物の表面に、その形状や色等から、そ
れぞれを特定するマーカを取り付ける。
ータ) 周囲の環境や、作業対象物がある程度わかってい
る場合、作業対象物の表面に、その形状や色等から、そ
れぞれを特定するマーカを取り付ける。
【００２６】次に、ロボットの手先効果器に、作業対象
物を把持した状態で、その手先効果器を作業空間に固定
し、マニピュレータとして動作するロボットの関節角
度, 或いは、該関節角度やアームの長さ等から、前述の
順キネマティクスで求められる手先効果器の位置(X,Y,
Z),姿勢角 (α, β, γ) を教師データとして採取
し、同時に、上記ビジョンセンサにより、上記マーカの
ビジョンセンサ観測面における重心位置や、面積、主軸
方向等を観測する。
物を把持した状態で、その手先効果器を作業空間に固定
し、マニピュレータとして動作するロボットの関節角
度, 或いは、該関節角度やアームの長さ等から、前述の
順キネマティクスで求められる手先効果器の位置(X,Y,
Z),姿勢角 (α, β, γ) を教師データとして採取
し、同時に、上記ビジョンセンサにより、上記マーカの
ビジョンセンサ観測面における重心位置や、面積、主軸
方向等を観測する。
【００２７】上記作業を、空間内のいくつかの点で、手
先効果器の姿勢を替えて行い、得られたマーカの特徴量
と, ロボットの関節角度, 或いは、該手先効果器の位置
姿勢(X,Y,Z, α, β, γ) の関係を、図２に示した階層
型のニューラルネットワーク等の学習装置で学習させ
る。
先効果器の姿勢を替えて行い、得られたマーカの特徴量
と, ロボットの関節角度, 或いは、該手先効果器の位置
姿勢(X,Y,Z, α, β, γ) の関係を、図２に示した階層
型のニューラルネットワーク等の学習装置で学習させ
る。
【００２８】そして、空間内の任意の位置，姿勢角をと
る作業対象物に対して、上記マーカのビジョンセンサの
観測面における重心位置や面積，主軸方向等を計測し、
これらの特徴量を、上記階層型のニューラルネットワー
ク等の学習装置に入力することにより、出力として、上
記作業対象物を把持するための関節角度，或いは、作業
対象物の位置，姿勢角が得られ、これにより、該作業対
象物の把持を行うことができる。
る作業対象物に対して、上記マーカのビジョンセンサの
観測面における重心位置や面積，主軸方向等を計測し、
これらの特徴量を、上記階層型のニューラルネットワー
ク等の学習装置に入力することにより、出力として、上
記作業対象物を把持するための関節角度，或いは、作業
対象物の位置，姿勢角が得られ、これにより、該作業対
象物の把持を行うことができる。
【００２９】このとき、学習装置から得られた関節角度
や作業対象物の位置，姿勢角を、その儘、ロボットに指
令すると、ロボットの各アームの動き，方向を特定する
ことができないことから、作業物体に接触したり、思わ
ぬ方向から、物体を把持する恐れがある。
や作業対象物の位置，姿勢角を、その儘、ロボットに指
令すると、ロボットの各アームの動き，方向を特定する
ことができないことから、作業物体に接触したり、思わ
ぬ方向から、物体を把持する恐れがある。
【００３０】そこで、本発明においては、学習装置によ
り、目標とされた手先効果器の位置，姿勢角から得られ
る物体の正面位置から任意の位置ｄだけ離れた位置を、
第１の目標値として、その目標点に、上記ロボットの手
先効果器が位置付けした後、その把持物体の正面方向に
平行移動させることにより、常に、望みの方向から物体
を把持することができるようになる。
り、目標とされた手先効果器の位置，姿勢角から得られ
る物体の正面位置から任意の位置ｄだけ離れた位置を、
第１の目標値として、その目標点に、上記ロボットの手
先効果器が位置付けした後、その把持物体の正面方向に
平行移動させることにより、常に、望みの方向から物体
を把持することができるようになる。
【００３１】
【実施例】以下本発明の実施例を図面によって詳述す
る。前述の図１は本発明の一実施例を示した図であり、
図２は、本発明のニューラルネットワークによる学習方
法を説明する図であり、図３は本発明の他の学習装置の
例を示した図であり、図４は、本発明の他の実施例を示
した図であり、図５は、本発明によるビジョンセンサ観
測面でのマーカ特徴量を説明する図であり、図６は本発
明により把持物体をアプローチする方法を示した図であ
る。
る。前述の図１は本発明の一実施例を示した図であり、
図２は、本発明のニューラルネットワークによる学習方
法を説明する図であり、図３は本発明の他の学習装置の
例を示した図であり、図４は、本発明の他の実施例を示
した図であり、図５は、本発明によるビジョンセンサ観
測面でのマーカ特徴量を説明する図であり、図６は本発
明により把持物体をアプローチする方法を示した図であ
る。
【００３２】本発明においては、特定の物体の、例え
ば、３次元空間内に置かれた位置の測定装置において、
ロボット 1等が把持した測定対象物 10 の位置を３台以
上のテレビカメラ等の画像処理装置 2等で測定し、取得
した画像情報等(X,Y, α,S) , 距離計測情報を、ニ
ューラルネットワーク等の学習装置 3に入力し、上記ロ
ボットの各関節の角度と，アーム長の情報から計算し得
る測定対象物の、例えば、６次元位置情報(X,Y,Z, α,
β, γ) を教師データとして学習する。又、上記テレ
ビカメラ等の画像処理装置 2の１つ以上は、他のテレビ
カメラ 2と、ほぼ直角をなす方向に設置する手段、或い
は、把持物体 11 に、複数個のマーカを取り付けて、
そのマーカの位置情報をテレビカメラ等の画像処理装
置 2で測定し、取得した画像情報と、上記把持物体 11
の把持しているロボット 1の関節角度等の情報を教師デ
ータとで学習した結果に基づいて、所定の空間に置か
れている物体 11 を把持する手段が、本発明を実施する
のに必要な手段である。尚、全図を通して同じ符号は同
じ対象物を示している。
ば、３次元空間内に置かれた位置の測定装置において、
ロボット 1等が把持した測定対象物 10 の位置を３台以
上のテレビカメラ等の画像処理装置 2等で測定し、取得
した画像情報等(X,Y, α,S) , 距離計測情報を、ニ
ューラルネットワーク等の学習装置 3に入力し、上記ロ
ボットの各関節の角度と，アーム長の情報から計算し得
る測定対象物の、例えば、６次元位置情報(X,Y,Z, α,
β, γ) を教師データとして学習する。又、上記テレ
ビカメラ等の画像処理装置 2の１つ以上は、他のテレビ
カメラ 2と、ほぼ直角をなす方向に設置する手段、或い
は、把持物体 11 に、複数個のマーカを取り付けて、
そのマーカの位置情報をテレビカメラ等の画像処理装
置 2で測定し、取得した画像情報と、上記把持物体 11
の把持しているロボット 1の関節角度等の情報を教師デ
ータとで学習した結果に基づいて、所定の空間に置か
れている物体 11 を把持する手段が、本発明を実施する
のに必要な手段である。尚、全図を通して同じ符号は同
じ対象物を示している。
【００３３】以下、図１〜図４, 及び、図５，図６によ
って、本発明の３次元位置測定，制御装置の構成，学習
動作，物体の位置測定方法，物体の把持方法等につい
て、具体的に説明する。
って、本発明の３次元位置測定，制御装置の構成，学習
動作，物体の位置測定方法，物体の把持方法等につい
て、具体的に説明する。
【００３４】先ず、図１では、３関節からなるアームを
持つロボット 1と、その外部に複数台のテレビカメラ
（Ａ，Ｂ，〜）2 が設置されている。各々のテレビカメ
ラＡ，Ｂ，〜 2は、上記ロボット 1が把持した物体 10
を捕らえ、画像処理によって、手先の別々の２次元位置
座標(XA ,YA ,XB ,YB , 〜 )が得られる。
持つロボット 1と、その外部に複数台のテレビカメラ
（Ａ，Ｂ，〜）2 が設置されている。各々のテレビカメ
ラＡ，Ｂ，〜 2は、上記ロボット 1が把持した物体 10
を捕らえ、画像処理によって、手先の別々の２次元位置
座標(XA ,YA ,XB ,YB , 〜 )が得られる。
【００３５】上記２次元位置座標(XA ,YA ,XB ,YB,〜 )
には、例えば、得られた画像の重心位置を用いればよ
い。更に、手先の方向、例えば、慣性主軸の方向αA,α
B,〜も得られる。又、図１に示されているように、特定
の棒のような物体 10 を持たせて、その重心の位置と、
棒の方向を測定しても良い。
には、例えば、得られた画像の重心位置を用いればよ
い。更に、手先の方向、例えば、慣性主軸の方向αA,α
B,〜も得られる。又、図１に示されているように、特定
の棒のような物体 10 を持たせて、その重心の位置と、
棒の方向を測定しても良い。
【００３６】このときの、ロボット 1の各関節の角度
は、図示されていない角度エンコーダ等を用いて測定す
ることができる。又、ロボット 1のアーム長は、ロボッ
ト 1を設計したときに分かっているので、上記関節角度
(θ1,θ2,θ3,〜) と、アーム長とから、ロボット 1の
先端の３次元座標(X,Y,Z),又は、各座標軸での姿勢角
α, β, γをいれると６次元座標は、簡単な演算（前述
の順キネマティクス）によって求めることができる。
は、図示されていない角度エンコーダ等を用いて測定す
ることができる。又、ロボット 1のアーム長は、ロボッ
ト 1を設計したときに分かっているので、上記関節角度
(θ1,θ2,θ3,〜) と、アーム長とから、ロボット 1の
先端の３次元座標(X,Y,Z),又は、各座標軸での姿勢角
α, β, γをいれると６次元座標は、簡単な演算（前述
の順キネマティクス）によって求めることができる。
【００３７】このとき、奥行き方向（Ｘ軸方向）に物体
10 の位置が変わっても、２台のテレビカメラＡ，Ｂ 2
から得られる画像には、Ｙ−Ｚ方向に、上記物体 10 の
位置が変化した場合に比較して、大きな変化が現れない
ので、上記の方法で３次元位置を正確に測定するために
は、画像処理の精度を高精度にする必要がある。
10 の位置が変わっても、２台のテレビカメラＡ，Ｂ 2
から得られる画像には、Ｙ−Ｚ方向に、上記物体 10 の
位置が変化した場合に比較して、大きな変化が現れない
ので、上記の方法で３次元位置を正確に測定するために
は、画像処理の精度を高精度にする必要がある。
【００３８】画像処理を高精度に行う為には、高価な画
像処理装置や、照明の均質化 (通常、照明には不均質さ
が付きまとうので、例えば、閾値以上の影ができると、
物体10 が小さくなり、遠くに存在するものと誤認識さ
れることがある) などが必要となり、装置の大型化を招
き、現実的でなくなる。
像処理装置や、照明の均質化 (通常、照明には不均質さ
が付きまとうので、例えば、閾値以上の影ができると、
物体10 が小さくなり、遠くに存在するものと誤認識さ
れることがある) などが必要となり、装置の大型化を招
き、現実的でなくなる。
【００３９】そこで、本発明では、図３に示したよう
に、テレビカメラＡ，Ｂ 2を結ぶ線とほぼ９０度をなす
位置に、別のテレビカメラＣ 2を置き、このテレビカメ
ラＣ 2で、上記奥行き方向 (Ｘ軸方向）の変化を画像と
して捉えるように構成する。
に、テレビカメラＡ，Ｂ 2を結ぶ線とほぼ９０度をなす
位置に、別のテレビカメラＣ 2を置き、このテレビカメ
ラＣ 2で、上記奥行き方向 (Ｘ軸方向）の変化を画像と
して捉えるように構成する。
【００４０】上記のようにして、テレビカメラＡ，Ｂ，
Ｃ 2が捉えた上記画像情報(XA ,YAαA,ＳA, XB ,YB α
B,ＳB,〜) を、図２に示したように、ニューラルネッ
トワーク 3に入力し、ロボット 1の各関節角度 (θ1,θ
2,θ3,〜) と、アーム長とから、ロボット 1の先端の３
次元座標(X,Y,Z),又は、各座標軸での姿勢角α, β,γ
をいれると６次元座標を教師データとして、相互の位
置関係を、例えば、ニューラルネットワーク 3で学習さ
せる。
Ｃ 2が捉えた上記画像情報(XA ,YAαA,ＳA, XB ,YB α
B,ＳB,〜) を、図２に示したように、ニューラルネッ
トワーク 3に入力し、ロボット 1の各関節角度 (θ1,θ
2,θ3,〜) と、アーム長とから、ロボット 1の先端の３
次元座標(X,Y,Z),又は、各座標軸での姿勢角α, β,γ
をいれると６次元座標を教師データとして、相互の位
置関係を、例えば、ニューラルネットワーク 3で学習さ
せる。
【００４１】この学習装置 3には、種々のものが考えら
れているが、図２に示した実施例では、３層階層型のニ
ューラルネットワークを例にしている。上記の教師デー
タとして、上記ロボット 1の順キネマティクスから得
られた物体の３次元情報（又は、６次元情報），或い
は、関節角度 (θ1,θ2,θ3,〜)を使用する。
れているが、図２に示した実施例では、３層階層型のニ
ューラルネットワークを例にしている。上記の教師デー
タとして、上記ロボット 1の順キネマティクスから得
られた物体の３次元情報（又は、６次元情報），或い
は、関節角度 (θ1,θ2,θ3,〜)を使用する。
【００４２】このとき、ロボット 1の関節座標値をラン
ダムに変えて、ロボット 1に指示すれば、ロボット 1の
手先がランダムな位置に移動するので、把持物体 11
の、例えば、上記３次元座標値がランダムに複数個得ら
れる。
ダムに変えて、ロボット 1に指示すれば、ロボット 1の
手先がランダムな位置に移動するので、把持物体 11
の、例えば、上記３次元座標値がランダムに複数個得ら
れる。
【００４３】このようにして、多数の学習データをラン
ダムに取得し、学習を行うことができる。学習後、把持
対象物 10 を教えた空間の範囲内で提示しすると、上記
ニューラルネットワーク 3は、該把持対象物 10 の３次
元位置，或いは、関節角度を出力するので、物体の３次
元位置を計測したり、ロボット 1の手先効果器 12 の位
置, 姿勢角が、物体を把持する位置に移動したりするこ
とができるようになる。
ダムに取得し、学習を行うことができる。学習後、把持
対象物 10 を教えた空間の範囲内で提示しすると、上記
ニューラルネットワーク 3は、該把持対象物 10 の３次
元位置，或いは、関節角度を出力するので、物体の３次
元位置を計測したり、ロボット 1の手先効果器 12 の位
置, 姿勢角が、物体を把持する位置に移動したりするこ
とができるようになる。
【００４４】上記ロボット 1が物体を把持する場合の、
具体的な実施例について、図５，図６によって説明す
る。図５，図６は、本発明の多関節型ロボット（マニピ
ュレータ：以下、ロボットという） 1による手先効果器
12 で物体の把持作業を行う場合の動作を説明した図で
ある。
具体的な実施例について、図５，図６によって説明す
る。図５，図６は、本発明の多関節型ロボット（マニピ
ュレータ：以下、ロボットという） 1による手先効果器
12 で物体の把持作業を行う場合の動作を説明した図で
ある。
【００４５】先ず、学習過程では、前述の図１に示した
ように把持対象の物体 11 の表面に、色の異なった複数
個、例えば、本実施例では、３個のマーカ（丸印）を
取り付け、多関節型ロボット 1に、上記把持物体 11 を
把持させた状態で、手先効果器 12 に任意の位置(X,Y,
Z),姿勢角 (α, β, γ) を取らせ、複数個のビジョン
センサ、例えば、テレビカメラ 2により、画像情報とし
て、各丸印のテレビカメラ観測面における重心位置を計
測し、同時に、多関節型ロボット 1の各関節角度も採取
することを、該手先効果器 12 の位置, 姿勢角を変え
て、幾つかの点で行い、上記丸印 (マーカ) の重心位
置を入力データとし、上記多関節型ロボット1の各関節
角度, 或いは、該関節角度, アーム長から順キネマティ
クスで計算できる、物体 10 の位置(X,Y,Z),姿勢角
(α, β, γ) を教師データとして、階層型のニュー
ラルネットワーク 3に学習させる。
ように把持対象の物体 11 の表面に、色の異なった複数
個、例えば、本実施例では、３個のマーカ（丸印）を
取り付け、多関節型ロボット 1に、上記把持物体 11 を
把持させた状態で、手先効果器 12 に任意の位置(X,Y,
Z),姿勢角 (α, β, γ) を取らせ、複数個のビジョン
センサ、例えば、テレビカメラ 2により、画像情報とし
て、各丸印のテレビカメラ観測面における重心位置を計
測し、同時に、多関節型ロボット 1の各関節角度も採取
することを、該手先効果器 12 の位置, 姿勢角を変え
て、幾つかの点で行い、上記丸印 (マーカ) の重心位
置を入力データとし、上記多関節型ロボット1の各関節
角度, 或いは、該関節角度, アーム長から順キネマティ
クスで計算できる、物体 10 の位置(X,Y,Z),姿勢角
(α, β, γ) を教師データとして、階層型のニュー
ラルネットワーク 3に学習させる。
【００４６】次に、実行過程では、任意の位置に置かれ
た把持物体 11 に対して、その把持物体 11 に取り付け
られているマーカ、前述の丸印のテレビカメラ 2の観
測面における重心位置を計測し、それらを、上記学習済
のニューラルネットワーク 3に入力することにより、出
力として、把持物体 11 を把持する為の関節角度, 或い
は、手先効果器 12 の位置, 姿勢角が得られることにな
る。
た把持物体 11 に対して、その把持物体 11 に取り付け
られているマーカ、前述の丸印のテレビカメラ 2の観
測面における重心位置を計測し、それらを、上記学習済
のニューラルネットワーク 3に入力することにより、出
力として、把持物体 11 を把持する為の関節角度, 或い
は、手先効果器 12 の位置, 姿勢角が得られることにな
る。
【００４７】然し、この関節角度, 手先効果器の位置,
姿勢角を、そのまま、上記多関節型ロボット 1に指令し
ても、上記多関節型ロボット 1の動きの方向等を特定す
ることができないため、図６(a) に示したように、把持
物体 11 への接近方向などによっては、上記多関節型ロ
ボット 1の手先効果器 12 が、思わぬ方向から接近し
て、上記物体 10 に衝突する危険がある。
姿勢角を、そのまま、上記多関節型ロボット 1に指令し
ても、上記多関節型ロボット 1の動きの方向等を特定す
ることができないため、図６(a) に示したように、把持
物体 11 への接近方向などによっては、上記多関節型ロ
ボット 1の手先効果器 12 が、思わぬ方向から接近し
て、上記物体 10 に衝突する危険がある。
【００４８】そこで、本発明においては、図６(b) に示
したように、先ず、ニューラルネットワーク 3から得ら
れた関節角度等を用いて、手先効果器 12 の目標位置を
計算する。
したように、先ず、ニューラルネットワーク 3から得ら
れた関節角度等を用いて、手先効果器 12 の目標位置を
計算する。
【００４９】この目標位置（アプローチ点）は、ニュー
ラルネットワーク 3から得られた手先効果器 12 の位置
情報が、(X,Y,Z, α, β, γ) T であるとき、その手先
効果器 12 の正面軸方向に一定の距離ｄだけ離れた点と
する。
ラルネットワーク 3から得られた手先効果器 12 の位置
情報が、(X,Y,Z, α, β, γ) T であるとき、その手先
効果器 12 の正面軸方向に一定の距離ｄだけ離れた点と
する。
【００５０】この目標位置（アプローチ点）を(X",Y",
Z",α, β, γ) T としたとき、 (X",Y",Z",α, β, γ) T ＝(X-d cosα sinβ,Y-d sin
α sinβ,Z-d cosβ, α, β, γ) T で与えられる。
Z",α, β, γ) T としたとき、 (X",Y",Z",α, β, γ) T ＝(X-d cosα sinβ,Y-d sin
α sinβ,Z-d cosβ, α, β, γ) T で与えられる。
【００５１】上記の式の導出方法については、「株式会
社裳華房刊“ロボット工学",広瀬茂男著,1987,12,15,第
１版刊，第８章“マニピュレータ解析の準備",8-6, "方
向の表示",8-6-2,オイラー角,P142 〜145 に示されてい
る。
社裳華房刊“ロボット工学",広瀬茂男著,1987,12,15,第
１版刊，第８章“マニピュレータ解析の準備",8-6, "方
向の表示",8-6-2,オイラー角,P142 〜145 に示されてい
る。
【００５２】本発明による、多関節型ロボット 1の制御
方法は、上記ニューラルネットワークから得られた手先
効果器 12 の位置情報(X,Y,Z, α, β, γ) T から、上
記目標位置（アプローチ点）(X",Y",Z",α, β, γ) T
を計算し、この計算された目標位置（アプローチ点）
を、上記多関節型ロボット 1に指令し、その目標位置
（アプローチ点）にロボット 1の手先効果器 12 が到達
した後、実際の把持物体 11 に対して、該手先効果器 1
2 の軸方向に、上記距離ｄだけ移動させることで、常
に、一定の方向、即ち、ロボット 1の手先効果器 12 の
正面方向から、把持対象の物体 11 の把持作業を行うこ
とができる。
方法は、上記ニューラルネットワークから得られた手先
効果器 12 の位置情報(X,Y,Z, α, β, γ) T から、上
記目標位置（アプローチ点）(X",Y",Z",α, β, γ) T
を計算し、この計算された目標位置（アプローチ点）
を、上記多関節型ロボット 1に指令し、その目標位置
（アプローチ点）にロボット 1の手先効果器 12 が到達
した後、実際の把持物体 11 に対して、該手先効果器 1
2 の軸方向に、上記距離ｄだけ移動させることで、常
に、一定の方向、即ち、ロボット 1の手先効果器 12 の
正面方向から、把持対象の物体 11 の把持作業を行うこ
とができる。
【００５３】上記の物体の計測作業, 把持作業におい
て、テレビカメラＡ，Ｂ 2の設置位置は、物体と正確に
正対している必要もないし、上記３台目のテレビカメラ
Ｃ 2の位置も、テレビカメラＡ，Ｂ 2と、正確に直角に
なっている必要もない。物体の姿勢や位置変化がより多
く捉えられる方向にテレビカメラＡ，Ｂ，Ｃ, 〜2 を設
置すればよいので、テレビカメラＡ，Ｂ，Ｃ, 〜2 の設
置位置に、精度は必要ではない。
て、テレビカメラＡ，Ｂ 2の設置位置は、物体と正確に
正対している必要もないし、上記３台目のテレビカメラ
Ｃ 2の位置も、テレビカメラＡ，Ｂ 2と、正確に直角に
なっている必要もない。物体の姿勢や位置変化がより多
く捉えられる方向にテレビカメラＡ，Ｂ，Ｃ, 〜2 を設
置すればよいので、テレビカメラＡ，Ｂ，Ｃ, 〜2 の設
置位置に、精度は必要ではない。
【００５４】上記の実施例では、ロボット 1等が把持し
ている物体 10 の位置を計測して、ニューラルネットワ
ーク 3に入力する情報を得るのに、テレビカメラ (ビジ
ョンセンサ) 2 を用いた例で説明したが、これに限るも
のではなく、図７で説明した従来の三角測量の原理に基
づく１次元距離計測装置等で測定した距離計測情報(X,
Y,Z) であっても良いことはいう迄もないことである。
ている物体 10 の位置を計測して、ニューラルネットワ
ーク 3に入力する情報を得るのに、テレビカメラ (ビジ
ョンセンサ) 2 を用いた例で説明したが、これに限るも
のではなく、図７で説明した従来の三角測量の原理に基
づく１次元距離計測装置等で測定した距離計測情報(X,
Y,Z) であっても良いことはいう迄もないことである。
【００５５】又、物体 10 の３次元位置だけを計測し、
物体 10 の姿勢を計測しない場合には、２台のテレビカ
メラ 2を、物体 10 の正面方向と、その直角方向に設置
するだけでよい。
物体 10 の姿勢を計測しない場合には、２台のテレビカ
メラ 2を、物体 10 の正面方向と、その直角方向に設置
するだけでよい。
【００５６】更に、物体 10 の姿勢が変わった場合で
も、画像の主軸方向αA 〜や、面積Ｓ A 〜の情報を利用
することで、物体の姿勢変化が検出できるので、３次元
位置のみならず、３次元姿勢までも計測することができ
る。
も、画像の主軸方向αA 〜や、面積Ｓ A 〜の情報を利用
することで、物体の姿勢変化が検出できるので、３次元
位置のみならず、３次元姿勢までも計測することができ
る。
【００５７】図４は、複数個のニューラルネットワーク
3を用いて、物体の位置を計測する場合を示している。
一般に、測定の対象とする空間が広くなってくると、一
つのニューラルネットワーク 3で学習するためには、ニ
ューラルネットワーク 3の規模が大きくなり過ぎること
になる。
3を用いて、物体の位置を計測する場合を示している。
一般に、測定の対象とする空間が広くなってくると、一
つのニューラルネットワーク 3で学習するためには、ニ
ューラルネットワーク 3の規模が大きくなり過ぎること
になる。
【００５８】そこで、手先の座標空間を所定の大きさで
複数個に分割し、別々のニューラルネットワーク 3に学
習させることによって、ニューラルネットワーク 3の小
規模化が可能になり、学習時間の短縮化が図れる。
複数個に分割し、別々のニューラルネットワーク 3に学
習させることによって、ニューラルネットワーク 3の小
規模化が可能になり、学習時間の短縮化が図れる。
【００５９】このようにすることにより、１つのニュー
ラルネットワーク 3の受け持つ範囲が狭まるので、その
ニューラルネットワーク 3が小規模でも、補間精度が向
上する。
ラルネットワーク 3の受け持つ範囲が狭まるので、その
ニューラルネットワーク 3が小規模でも、補間精度が向
上する。
【００６０】又、１つのニューラルネットワーク 3に
は、全空間を疎らに教え、他のニューラルネットワーク
3には、ある部分だけを蜜に教えることによって、特定
の場所における測定精度を向上させたり、更に、複数の
ニューラルネットワーク 3を用いることによって、全体
の精度の向上を図ることも可能になる。
は、全空間を疎らに教え、他のニューラルネットワーク
3には、ある部分だけを蜜に教えることによって、特定
の場所における測定精度を向上させたり、更に、複数の
ニューラルネットワーク 3を用いることによって、全体
の精度の向上を図ることも可能になる。
【００６１】このように、本発明による３次元位置計測
装置，３次元位置制御装置, 及び、学習方法は、ロボッ
ト等が把持した測定対象物, 把持対象物の位置を３台以
上のテレビカメラ等の画像処理装置等で測定し、取得し
た画像情報等(X,Y, α,S) , 距離計測情報を、ニュ
ーラルネットワーク等の学習装置に入力し、上記ロボッ
トの各関節の角度と，アーム長の情報から、順キネマテ
ィクスで計算し得る測定対象物の、例えば、６次元位置
情報(X,Y,Z, α, β, γ) を教師データとして学習す
る。又、上記テレビカメラ等の画像処理装置の１つ以上
は、他のテレビカメラと、ほぼ直角をなす方向に設置す
るようにする。又、物体を把持する場合には、該物体に
複数個のマーカを取り付け、各マーカのテレビカメ
ラ観測面における重心位置等を特徴量として、ニューラ
ルネットワークに入力して学習し、該学習されたニュー
ラルネットワークを用いて、物体を把持する場合には、
ニューラルネットワークから得られた手先効果器の位
置, 姿勢角から、アプローチ方向に一定の距離ｄだけ離
れた点を目標点として、ロボットに指令し、ロボットの
手先効果器が、該指令した目標点に到達した後、距離ｄ
だけ移動して物体へのアプローチを行うようにしたとこ
ろに特徴がある。
装置，３次元位置制御装置, 及び、学習方法は、ロボッ
ト等が把持した測定対象物, 把持対象物の位置を３台以
上のテレビカメラ等の画像処理装置等で測定し、取得し
た画像情報等(X,Y, α,S) , 距離計測情報を、ニュ
ーラルネットワーク等の学習装置に入力し、上記ロボッ
トの各関節の角度と，アーム長の情報から、順キネマテ
ィクスで計算し得る測定対象物の、例えば、６次元位置
情報(X,Y,Z, α, β, γ) を教師データとして学習す
る。又、上記テレビカメラ等の画像処理装置の１つ以上
は、他のテレビカメラと、ほぼ直角をなす方向に設置す
るようにする。又、物体を把持する場合には、該物体に
複数個のマーカを取り付け、各マーカのテレビカメ
ラ観測面における重心位置等を特徴量として、ニューラ
ルネットワークに入力して学習し、該学習されたニュー
ラルネットワークを用いて、物体を把持する場合には、
ニューラルネットワークから得られた手先効果器の位
置, 姿勢角から、アプローチ方向に一定の距離ｄだけ離
れた点を目標点として、ロボットに指令し、ロボットの
手先効果器が、該指令した目標点に到達した後、距離ｄ
だけ移動して物体へのアプローチを行うようにしたとこ
ろに特徴がある。
【００６２】
【発明の効果】以上、詳細に説明したように、本発明に
よれば、テレビカメラの視野内であれば、測定対象物の
正確な位置測定が可能であり、従来方法では困難であっ
た姿勢変化も、画像の主軸方向の情報（前述のαA 〜)
や、面積 (前述のＳA 〜) を利用することにより検出す
ることができる。
よれば、テレビカメラの視野内であれば、測定対象物の
正確な位置測定が可能であり、従来方法では困難であっ
た姿勢変化も、画像の主軸方向の情報（前述のαA 〜)
や、面積 (前述のＳA 〜) を利用することにより検出す
ることができる。
【００６３】又、学習装置、例えば、ニューラルネット
ワークは、教えられなかった点以外でも、補間する機能
を備えているので、全空間に対して教師データを作成し
なくても、適当な代表点を教えるだけで、対象物体の位
置を計測することができる。
ワークは、教えられなかった点以外でも、補間する機能
を備えているので、全空間に対して教師データを作成し
なくても、適当な代表点を教えるだけで、対象物体の位
置を計測することができる。
【００６４】本発明による方法では、測定対象物の、例
えば、３次元位置と画像情報との対応関係を学習するこ
とによって位置測定を行うようにしたものであるので、
ニューラルネットワークに限らず、最初の学習時に、上
記３次元の位置が学習できる他の学習装置を用いても良
い。
えば、３次元位置と画像情報との対応関係を学習するこ
とによって位置測定を行うようにしたものであるので、
ニューラルネットワークに限らず、最初の学習時に、上
記３次元の位置が学習できる他の学習装置を用いても良
い。
【００６５】又、測定の対象とする空間が広くなってく
ると、一つのニューラルネットワークで学習するために
は、ニューラルネットワークの規模が大きくなり過ぎる
ことになる。そこで、手先の座標空間を所定の大きさで
複数個に分割し、別々のニューラルネットワークに学習
させることによって、ニューラルネットワークの小規模
化が可能になり、学習時間の短縮化が図れる。このよう
にすることにより、１つのニューラルネットワークの受
け持つ範囲が狭まるので、そのニューラルネットワーク
が小規模でも、補間精度が向上する。
ると、一つのニューラルネットワークで学習するために
は、ニューラルネットワークの規模が大きくなり過ぎる
ことになる。そこで、手先の座標空間を所定の大きさで
複数個に分割し、別々のニューラルネットワークに学習
させることによって、ニューラルネットワークの小規模
化が可能になり、学習時間の短縮化が図れる。このよう
にすることにより、１つのニューラルネットワークの受
け持つ範囲が狭まるので、そのニューラルネットワーク
が小規模でも、補間精度が向上する。
【００６６】又、１つのニューラルネットワークには、
全空間を疎らに教え、他のニューラルネットワークに
は、ある部分だけを蜜に教えることによって、特定の場
所における測定精度を向上させたり、更に、複数のニュ
ーラルネットワークを用いることによって、全体の精度
の向上を図ることも可能になる。
全空間を疎らに教え、他のニューラルネットワークに
は、ある部分だけを蜜に教えることによって、特定の場
所における測定精度を向上させたり、更に、複数のニュ
ーラルネットワークを用いることによって、全体の精度
の向上を図ることも可能になる。
【００６７】又、物体を把持する場合には、物体にマー
カを取り付け、その重心位置を特徴量とすることによ
り、テレビカメラの画像が、照明や他の物体などの影響
を受け難く、物体そのものを計測する場合に比較して、
精度のよい計測を行うことができる。
カを取り付け、その重心位置を特徴量とすることによ
り、テレビカメラの画像が、照明や他の物体などの影響
を受け難く、物体そのものを計測する場合に比較して、
精度のよい計測を行うことができる。
【００６８】又、物体の把持を行う際に、ニューラルネ
ットワークから得られた手先効果器の位置から、該手先
効果器のアプローチ方向に、一定の距離ｄだけ離れた点
をアプローチ目標点として、ロボットに指令し、手先効
果器が、そのアプローチ目標点に到達した後に、実際
に、物体へのアプローチを行うように制御することによ
り、常に、一定の方向から物体の把持作業を行うことが
できる。
ットワークから得られた手先効果器の位置から、該手先
効果器のアプローチ方向に、一定の距離ｄだけ離れた点
をアプローチ目標点として、ロボットに指令し、手先効
果器が、そのアプローチ目標点に到達した後に、実際
に、物体へのアプローチを行うように制御することによ
り、常に、一定の方向から物体の把持作業を行うことが
できる。
【図１】本発明の一実施例を示した図
【図２】本発明のニューラルネットワークによる学習方
法を説明する図
法を説明する図
【図３】本発明の他の学習装置の例を示した図
【図４】本発明の他の実施例を示した図
【図５】本発明によるビョンセンサ観測面でのマーカ特
徴量を説明する図
徴量を説明する図
【図６】本発明により把持物体をアプローチする方法を
示した図
示した図
【図７】従来の３次元位置を測定する方法を説明する図
1 ロボット 10 測定対象の
物体 11 把持対象の物体, 把持物体 12 手先効果器 2 テレビカメラＡ，Ｂ，Ｃ，〜 3 ニューラルネットワーク(Neural network,Networ
k 1,2,〜n) 画像情報(XA ,YA , αA,ＳA,〜) 距離計測情報 教師データ(X,Y,Z, α, β, γ) マーカ θ1 〜 ロボットの関節角
物体 11 把持対象の物体, 把持物体 12 手先効果器 2 テレビカメラＡ，Ｂ，Ｃ，〜 3 ニューラルネットワーク(Neural network,Networ
k 1,2,〜n) 画像情報(XA ,YA , αA,ＳA,〜) 距離計測情報 教師データ(X,Y,Z, α, β, γ) マーカ θ1 〜 ロボットの関節角
Claims (7)
- 【請求項１】ロボット(1) 等が把持した測定対象物(10)
の位置を３台以上のテレビカメラ等の画像処理装置(2),
又はレーザ等を利用した１次元距離計測装置等で測定
し、取得した画像情報 () ，又は、該画像情報から得
られる物体位置等の情報，或いは、距離計測情報（）
を、ニューラルネットワーク等の学習装置(3) に入力
し、上記ロボット(2) の各関節の角度と，アーム長の情
報から計算し得る測定対象物の多次元位置情報(X,Y,Z,
α, β, γ) を教師データ () として学習し、該学習
した学習装置(3) を用いて、測定対象物(10)の画像情
報, 又は、距離計測情報（, 又は、）を入力して、
上記測定対象物(10)の多次元位置を測定することを特徴
とする多次元位置測定装置。 - 【請求項２】上記多次元位置測定装置を用いて、テレビ
カメラ等の画像処理装置(2) からの画像情報 () か
ら、各画像上のある測定対象物(10)の重心等におけるＸ
座標，Ｙ座標，該対象物の傾斜角度（α），面積（Ｓ）
等を、上記学習装置(3) に入力し、該入力された測定対
象物(10)の位置に対応する上記ロボット(1) 等の関節角
度 (θ1,θ2,〜),及び、アーム長から計算し得る多次元
位置情報(X,Y,Z, α, β, γ) を教師データ（）とす
ること特徴とする学習方法。 - 【請求項３】上記多次元位置測定装置を用いて、上記ロ
ボット(1) の手先位置を、上記テレビカメラ等の画像処
理装置(2) 群の視野内でランダムに設定し、該設定され
た手先位置に対応する上記ロボット(1) 等の関節角度
(θ1,θ2,〜),及び、アーム長から計算し得る多次元位
置情報(X,Y,Z, α, β, γ) を教師データ（）とする
こと特徴とする学習方法。 - 【請求項４】上記多次元位置測定装置を用いて、上記ロ
ボット(1) の各関節角度を、所定の分割数で設定する
際、該設定した関節角度により得られた手先位置が、上
記テレビカメラ等の画像処理装置(2) 群の視野内に入る
ように各関節角度を分割して設定し、該設定された手先
位置に対応する上記ロボット(1) 等の関節角度 (θ1,θ
2,〜),及び、アーム長から計算し得る多次元位置情報
(X,Y,Z, α, β, γ) を教師データ（）とすること特
徴とする学習方法。 - 【請求項５】上記３台以上のテレビカメラ等の画像処理
装置(2) の内、少なくとも、１つ以上は、他のテレビカ
メラ等の画像処理装置と、所定の角度を保持する方向に
設置することを特徴とする請求項１〜４に記載の多次元
位置測定装置，及び学習方法。 - 【請求項６】ロボット(1) 等が把持した把持対象物(11)
に複数個のマーカ（）を取り付け、該取り付けられた
マーカ () の位置を３台以上のテレビカメラ等の画像
処理装置(2),又はレーザ等を利用した１次元距離計測装
置(2a)等で測定し、取得した画像情報 () ，又は、該
画像情報から得られる物体位置等の情報，或いは、距離
計測情報（）を、ニューラルネットワーク等の学習装
置(3) に入力し、上記ロボット(2) の各関節の角度と，
アーム長の情報から計算し得る測定対象物の３次元位置
情報(X,Y,Z, α, β, γ) を教師データ () として学
習し、該学習した学習装置(3) を用いて、任意位置，姿
勢に置かれた把持対象物(11)の画像情報, 又は、距離計
測情報（, 又は、）を入力して、上記把持対象物(1
0)を把持することを特徴とする多次元位置制御装置。 - 【請求項７】上記任意の位置姿勢に置かれた物体の把持
作業を行う際、上記学習装置(3) により、目標とする把
持物体(11)の位置から、所定の距離(d) だけ離れた位置
を目標点とし、上記ロボット(1) の手先効果器(12)が、
上記目標点に到達した後に、上記把持物体(10)へのアプ
ローチを行うように制御することを特徴とする多次元位
置制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5000382A JPH06203166A (ja) | 1993-01-06 | 1993-01-06 | 多次元位置測定，制御装置，及び、学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5000382A JPH06203166A (ja) | 1993-01-06 | 1993-01-06 | 多次元位置測定，制御装置，及び、学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06203166A true JPH06203166A (ja) | 1994-07-22 |
Family
ID=11472256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5000382A Withdrawn JPH06203166A (ja) | 1993-01-06 | 1993-01-06 | 多次元位置測定，制御装置，及び、学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06203166A (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017102755A (ja) * | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
| JP2017107902A (ja) * | 2015-12-07 | 2017-06-15 | ファナック株式会社 | コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法 |
| JP2019164836A (ja) * | 2019-06-19 | 2019-09-26 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
| CN110959099A (zh) * | 2017-06-20 | 2020-04-03 | 卡尔蔡司Smt有限责任公司 | 确定可移动物体在空间中的位置的系统、方法和标记物 |
| CN111113414A (zh) * | 2019-12-19 | 2020-05-08 | 长安大学 | 一种基于屏幕标识的机器人三维空间尺度提示方法及系统 |
| US10717196B2 (en) | 2015-07-31 | 2020-07-21 | Fanuc Corporation | Machine learning device, robot system, and machine learning method for learning workpiece picking operation |
| US11034018B2 (en) | 2017-05-31 | 2021-06-15 | Preferred Networks, Inc. | Learning device, learning method, learning model, detection device and grasping system |
| CN113199483A (zh) * | 2015-07-31 | 2021-08-03 | 发那科株式会社 | 机器人系统、机器人的控制方法、机器学习装置及机器学习方法 |
| CN113362452A (zh) * | 2021-06-07 | 2021-09-07 | 中南大学 | 一种手部姿态三维重建方法、装置及存储介质 |
| WO2021200438A1 (ja) * | 2020-03-31 | 2021-10-07 | ミネベアミツミ株式会社 | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
| US20210398342A1 (en) * | 2020-06-23 | 2021-12-23 | Tokyo Electron Limited | Teaching method and transfer system |
| CN116852359A (zh) * | 2023-07-04 | 2023-10-10 | 无锡斯帝尔科技有限公司 | 一种基于机器人手持示教装置的tcp快速标定的装置及方法 |
| US11904469B2 (en) | 2015-07-31 | 2024-02-20 | Fanuc Corporation | Machine learning device, robot controller, robot system, and machine learning method for learning action pattern of human |
| US12412227B2 (en) | 2020-10-20 | 2025-09-09 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
-
1993
- 1993-01-06 JP JP5000382A patent/JPH06203166A/ja not_active Withdrawn
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10717196B2 (en) | 2015-07-31 | 2020-07-21 | Fanuc Corporation | Machine learning device, robot system, and machine learning method for learning workpiece picking operation |
| US11780095B2 (en) | 2015-07-31 | 2023-10-10 | Fanuc Corporation | Machine learning device, robot system, and machine learning method for learning object picking operation |
| US11904469B2 (en) | 2015-07-31 | 2024-02-20 | Fanuc Corporation | Machine learning device, robot controller, robot system, and machine learning method for learning action pattern of human |
| CN113199483A (zh) * | 2015-07-31 | 2021-08-03 | 发那科株式会社 | 机器人系统、机器人的控制方法、机器学习装置及机器学习方法 |
| JP2017102755A (ja) * | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
| US10500721B2 (en) | 2015-12-07 | 2019-12-10 | Fanuc Corporation | Machine learning device, laminated core manufacturing apparatus, laminated core manufacturing system, and machine learning method for learning operation for stacking core sheets |
| JP2017107902A (ja) * | 2015-12-07 | 2017-06-15 | ファナック株式会社 | コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法 |
| US11034018B2 (en) | 2017-05-31 | 2021-06-15 | Preferred Networks, Inc. | Learning device, learning method, learning model, detection device and grasping system |
| US11565407B2 (en) | 2017-05-31 | 2023-01-31 | Preferred Networks, Inc. | Learning device, learning method, learning model, detection device and grasping system |
| EP3642560A1 (de) * | 2017-06-20 | 2020-04-29 | Carl Zeiss SMT GmbH | System, verfahren und marker zur positionsbestimmung eines beweglichen objektes im raum |
| US11504855B2 (en) | 2017-06-20 | 2022-11-22 | Carl Zeiss Smt Gmbh | System, method and marker for the determination of the position of a movable object in space |
| CN110959099A (zh) * | 2017-06-20 | 2020-04-03 | 卡尔蔡司Smt有限责任公司 | 确定可移动物体在空间中的位置的系统、方法和标记物 |
| EP3642560B1 (de) * | 2017-06-20 | 2025-08-06 | Carl Zeiss SMT GmbH | System, verfahren und marker zur positionsbestimmung eines beweglichen objektes im raum |
| JP2019164836A (ja) * | 2019-06-19 | 2019-09-26 | 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ | 学習装置、学習方法、学習モデル、検出装置及び把持システム |
| CN111113414A (zh) * | 2019-12-19 | 2020-05-08 | 长安大学 | 一种基于屏幕标识的机器人三维空间尺度提示方法及系统 |
| CN111113414B (zh) * | 2019-12-19 | 2022-08-30 | 长安大学 | 一种基于屏幕标识的机器人三维空间尺度提示方法及系统 |
| JP2021160037A (ja) * | 2020-03-31 | 2021-10-11 | ミネベアミツミ株式会社 | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
| WO2021200438A1 (ja) * | 2020-03-31 | 2021-10-07 | ミネベアミツミ株式会社 | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
| JP2022003663A (ja) * | 2020-06-23 | 2022-01-11 | 東京エレクトロン株式会社 | ティーチング方法、搬送システム及びプログラム |
| KR20210158329A (ko) * | 2020-06-23 | 2021-12-30 | 도쿄엘렉트론가부시키가이샤 | 티칭 방법 및 반송 시스템 |
| US20210398342A1 (en) * | 2020-06-23 | 2021-12-23 | Tokyo Electron Limited | Teaching method and transfer system |
| US12536776B2 (en) * | 2020-06-23 | 2026-01-27 | Tokyo Electron Limited | Teaching method and transfer system for substrate using three-dimensional image data |
| US12412227B2 (en) | 2020-10-20 | 2025-09-09 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| CN113362452A (zh) * | 2021-06-07 | 2021-09-07 | 中南大学 | 一种手部姿态三维重建方法、装置及存储介质 |
| CN116852359A (zh) * | 2023-07-04 | 2023-10-10 | 无锡斯帝尔科技有限公司 | 一种基于机器人手持示教装置的tcp快速标定的装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113696186B (zh) | 复杂光照条件下基于视触融合的机械臂自主移动抓取方法 | |
| US11813749B2 (en) | Robot teaching by human demonstration | |
| CN109940605B (zh) | 融合三维视觉与接触力分析的柔顺装配系统及方法 | |
| Kofman et al. | Teleoperation of a robot manipulator using a vision-based human-robot interface | |
| JP6826069B2 (ja) | ロボットの動作教示装置、ロボットシステムおよびロボット制御装置 | |
| CN102814814B (zh) | 一种双臂机器人基于Kinect的人机交互方法 | |
| US5818424A (en) | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space | |
| JPH06203166A (ja) | 多次元位置測定，制御装置，及び、学習方法 | |
| CN103112007B (zh) | 基于混合传感器的人机交互方法 | |
| CN110906863B (zh) | 一种用于线结构光传感器的手眼标定系统及标定方法 | |
| CN113021358A (zh) | 机械臂工具坐标系原点标定方法、装置和电子设备 | |
| JP2005169564A (ja) | ロボットによる任意形状物体の把持方法 | |
| WO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| CN109940604A (zh) | 基于点云数据的工件三维定位系统及方法 | |
| Grasshoff et al. | 7dof hand and arm tracking for teleoperation of anthropomorphic robots | |
| CN110877335A (zh) | 一种基于混合滤波器自适应无标记机械臂轨迹跟踪方法 | |
| JP2021010994A (ja) | センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法 | |
| Ren et al. | Vision based object grasping of robotic manipulator | |
| Arsirii et al. | Development of the intelligent software and hardware subsystem for capturing an object by robot manipulator | |
| JP2022047503A (ja) | 実演による教示における両手検出 | |
| JP2616225B2 (ja) | 相対位置決め方式 | |
| CN119501951A (zh) | 一种基于视觉感知的夹持机械臂及其控制方法 | |
| JPH0588721A (ja) | 関節型ロボツトの制御装置 | |
| Cheng et al. | A study of using 2D vision system for enhanced industrial robot intelligence | |
| Zhao et al. | Using 3D matching for picking and placing on UR robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20000307 |