JP2018179859A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】バラ積み状態のワークであっても、事前に登録された位置での把持の成否に関する統計データに基づいて、３Ｄピッキングにおけるマニピュレータによるピッキング動作を制御する画像処理装置、画像処理方法及びコンピュータプログラムを提供する。【解決手段】バラ積みされたワークが搭載されている作業空間を三次元計測し、事前に記憶されている複数のワークモデルを登録する。把持される位置及び姿勢で構成される把持データを設定し、把持データごとに把持の成否に関する統計データを記憶する。取得した三次元計測データに対し、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行し、検出スコアが大きいワークについて、他のワークと干渉するか否かを判定する。他のワークと干渉しないと判定された把持データの中から、統計データにおける把持の成功率に基づいて把持データを選択してピキング動作を制御する。【選択図】図４

Description

本発明は、バラ積み状態のワークであっても、事前に登録された位置での把持の成否に関する統計データに基づいて、３Ｄピッキングにおけるマニピュレータによるピッキング動作を制御する画像処理装置、画像処理方法、及びコンピュータプログラムに関する。

工場において、マニピュレータによるピッキング動作を自動的に行うことができるように、３Ｄピッキングの技術が向上している。３Ｄピッキングでは、まずピッキング対象のワークがばら積みされた作業空間を三次元計測センサにより三次元計測して三次元計測データを取得する。次に画像処理装置を用いて三次元計測データの中からあらかじめ登録されているワークモデルを用いた三次元サーチ処理を実行し、ワークの位置及び姿勢を検出する。位置及び姿勢が検出されたワークに対し、あらかじめ登録された把持データを用いてマニピュレータにより把持すべきワーク上の位置と把持すべきワーク上の位置を把持する場合のマニピュレータの把持姿勢を決定し、ロボットコントローラが実際にマニピュレータを動作させる、あるいは画像処理装置のシミュレータの３Ｄ−ＣＡＤ上でマニピュレータの把持部を移動させる。このようにマニピュレータの把持部をワークを把持することが可能な位置へと誘導し、ワークとマニピュレータの把持部との位置関係を検出して登録しておく。これにより、マニピュレータの把持部をワークを把持することが可能な位置へと確実に移動制御することができる。

しかし、１００％確実にワークを把持できるものではなく、状況によっては把持することができない場合も生じうる。したがって、少しでもワークを把持することができる確率を高めるために、マニピュレータ及び把持部の動作制御に過去の把持の成否に関する統計データを用いることが考えられている。

例えば特許文献１では、過去のワーク取り出しの成否をデータベース化し、計測特徴と取り出しの成否に関する情報に基づいて掴みやすさを推定し、掴みやすい計測特徴を優先して掴むよう制御するワーク取り出し装置が開示されている。特許文献１では、ハンドの開閉量、把持力、動作速度のうち、少なくとも１つを自動調整し、掴みにくそうなワークを取り出すこともできる。

特開２０１３−０５２４９０号公報

しかし、特許文献１に開示されている方法では、ワーク単位にデータベース化された情報に基づいて掴みやすいワークを取り出すよう動作を制御しているので、同一のワークで複数の把持可能部位がある場合に、どの位置を把持するかを変更することができないという問題点があった。また、把持可能な部位の把持優先順位を統計的な情報に基づいて変更することもできない。

本発明は斯かる事情に鑑みてなされたものであり、バラ積み状態のワークであっても、事前に登録された位置での把持の成否に関する統計データに基づいて、３Ｄピッキングにおけるマニピュレータによるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像処理装置は、バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置において、バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得するセンシング部と、事前に記憶されている複数のワークモデルを登録するワークモデル登録部と、前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する把持データ設定部と、前記把持データごとにワークの把持の成否に関する統計データを記憶する統計データ記憶部と、三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行するサーチ処理実行部と、三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する干渉判定部と、他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する把持データ選択部とを備えることを特徴とする。

また、第２発明に係る画像処理装置は、第１発明において、前記センシング部は、前記作業空間内のワークを撮像して画像データを取得するワーク撮像部と、撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する三次元データ抽出部とを備えることが好ましい。

また、第３発明に係る画像処理装置は、第１又は第２発明において、前記統計データ記憶部は、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶し、前記把持データ選択部は、前記干渉判定部で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択することが好ましい。

また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記統計データ記憶部は、前記統計データに把持データの選択回数も含めて記憶し、前記干渉判定部は、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行うことが好ましい。

次に、上記目的を達成するために第５発明に係る画像処理方法は、バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置で実行することが可能な画像処理方法において、前記画像処理装置は、バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得する第一の工程と、事前に記憶されている複数のワークモデルを登録する第二の工程と、前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する第三の工程と、前記把持データごとにワークの把持の成否に関する統計データを記憶する第四の工程と、三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行する第五の工程と、三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する第六の工程と、他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する第七の工程とを含むことを特徴とする。

また、第６発明に係る画像処理方法は、第５発明において、前記第一の工程は、前記作業空間内のワークを撮像して画像データを取得する第八の工程と、撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する第九の工程とを含むことが好ましい。

また、第７発明に係る画像処理方法は、第５又は第６発明において、前記第四の工程は、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶し、前記第七の工程は、前記第六の工程で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択することが好ましい。

また、第８発明に係る画像処理方法は、第５乃至第７発明のいずれか１つにおいて、前記第四の工程は、前記統計データに把持データの選択回数も含めて記憶し、前記第六の工程は、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行うことが好ましい。

次に、上記目的を達成するために第９発明に係るコンピュータプログラムは、バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理装置を、バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得するセンシング手段、事前に記憶されている複数のワークモデルを登録するワークモデル登録手段、前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する把持データ設定手段、前記把持データごとにワークの把持の成否に関する統計データを記憶する統計データ記憶手段、三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行するサーチ処理実行手段、三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する干渉判定手段、及び他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する把持データ選択手段として機能させることを特徴とする。

また、第１０発明に係るコンピュータプログラムは、第９発明において、前記センシング手段を、前記作業空間内のワークを撮像して画像データを取得するワーク撮像手段、及び撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する三次元データ抽出手段として機能させることが好ましい。

また、第１１発明に係るコンピュータプログラムは、第９又は第１０発明において、前記統計データ記憶手段を、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶する手段として機能させ、前記把持データ選択手段を、前記干渉判定手段で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択する手段として機能させることが好ましい。

また、第１２発明に係るコンピュータプログラムは、第９乃至第１１発明のいずれか１つにおいて、前記統計データ記憶手段を、前記統計データに把持データの選択回数も含めて記憶する手段として機能させ、前記干渉判断手段を、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行う手段として機能させることが好ましい。

第１発明、第５発明及び第９発明では、画像処理装置は、バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得する。事前に記憶されている複数のワークモデルを登録しておき、ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持するマニピュレータの把持部の姿勢で構成される把持データを設定する。把持データごとにワークの把持の成否に関する統計データを記憶し、三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行する。三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定し、他のワークと干渉しないと判定された把持データの中から、統計データにおける把持の成功率に基づいて把持データを選択する。これにより、マニピュレータの把持部がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。

第２発明、第６発明及び第１０発明では、作業空間内のワークを撮像して画像データを取得し、取得された画像データに基づいて、三次元サーチ処理の対象となる作業空間内におけるワークの三次元データを三次元計測データとして抽出するので、高価な三次元形状センサを用いることなく、作業空間内におけるワークのバラ積み状態を三次元計測データとして取得することが可能となる。

第３発明、第７発明及び第１１発明では、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶しておき、干渉しないと判定された把持データのうち、統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択するので、把持の成功率が高い部分領域及び該部分領域で把持対象として検出されたワークのワークモデルに設定された把持データを用いることでマニピュレータの把持部がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。

第４発明、第８発明及び第１２発明では、統計データに把持データの選択回数も含めて記憶しておき、統計データにおいて選択回数の多い把持データから順に干渉判定を行うので、把持の成功率が高いと過去に判断されて選択された回数の多い把持データを用いることでマニピュレータの把持部がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。

本発明によれば、検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定し、他のワークと干渉しないと判定された把持データの中から、統計データにおける把持の成功率に基づいて把持データを選択する。これにより、マニピュレータの把持部がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。

本発明の実施の形態に係る画像処理装置を用いた、ピッキングシステムの構成例を示すブロック図である。 本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。 本発明の実施の形態に係る画像処理装置の撮像部の構成を示す例示図である。 本発明の実施の形態１に係る画像処理装置の機能ブロック図である。 本発明の実施の形態１に係る画像処理装置の把持データとして記憶される把持部の位置及び姿勢の例示図である。 本発明の実施の形態１に係る画像処理装置と接続されているロボットコントローラにおける把持の成否判断の一例を示す模式図である。 本発明の実施の形態に係る画像処理装置のワークモデルの例示図である。 本発明の実施の形態に係る画像処理装置の三次元サーチ処理の説明図である。 本発明の実施の形態１に係る画像処理装置のＣＰＵの三次元サーチ処理以降の処理手順を示すフローチャートである。 本発明の実施の形態１に係る画像処理装置のＣＰＵの把持データの優先度決定処理の手順を示すフローチャートである。 本発明の実施の形態１に係る画像処理装置のＣＰＵの把持成功率の高い把持データの優先度決定処理の手順を示すフローチャートである。 本発明の実施の形態２に係る画像処理装置のＣＰＵのワークを示す部分領域の優先度決定処理の手順を示すフローチャートである。 本発明の実施の形態２に係る画像処理装置のＣＰＵの把持成功率の高い部分領域の優先度決定処理の手順を示すフローチャートである。 本発明の実施の形態に係る画像処理装置を用いた、ピッキングシステムの処理の手順を示すフローチャートである。

以下、本発明の実施の形態に係る画像処理装置について、図面に基づいて具体的に説明する。本実施の形態では、マニピュレータのピッキング動作において、マニピュレータの把持部を少しでも把持に成功する確率の高い位置及び姿勢へと誘導することに用いている。

図１は、本発明の実施の形態に係る画像処理装置を用いた、ピッキングシステムの構成例を示すブロック図である。画像処理装置１には、バラ積みされたワーク等を撮像する撮像部２がセンシング部として接続されており、キーボード１１１及びマウス１１２等の入力装置で画像処理の設定を行い、表示装置１１３で設定や動作状態の確認を行うことができる。

図２は、本発明の実施の形態に係る画像処理装置１の構成を示すブロック図である。図２に示すように、本実施の形態に係る画像処理装置１は、少なくともＣＰＵ１１、メモリ１２、ハードディスク等の記憶装置１３、Ｉ／Ｏインタフェース１４、ビデオインタフェース１５、通信インタフェース１６、可搬型ディスクドライブ１７及び上述したハードウェアを接続する内部バス１８で構成されている。

ＣＰＵ１１は、内部バス１８を介して画像処理装置１の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置１３に記憶しているコンピュータプログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ１２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１００の実行時にロードモジュールが展開され、コンピュータプログラム１００の実行時に発生する一時的なデータ等を記憶する。

記憶装置１３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置１３に記憶しているコンピュータプログラム１００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体９０から、可搬型ディスクドライブ１７によりダウンロードされ、実行時には記憶装置１３からメモリ１２へ展開して実行される。もちろん、通信インタフェース１６を介してネットワークに接続されている外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。

Ｉ／Ｏインタフェース１４は、キーボード１１１、マウス１１２等の入力装置と接続され、データの入力を受け付ける。また、ビデオインタフェース１５は、ＣＲＴモニタ、ＬＣＤ等の表示装置１１３と接続され、画像処理装置１の設定データ、マニピュレータの動作状態等を表示する。

通信インタフェース１６は内部バス１８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、ロボットコントローラ４、撮像部２、外部のコンピュータ等とデータ送受信することが可能となっている。

図１に戻って、撮像部２は、作業空間内にバラ積みされたワークを三次元的に撮像する。図３は、本発明の実施の形態に係る画像処理装置１の撮像部２の構成を示す例示図である。

図３に示すように、本実施の形態に係る撮像部２は、１個のプロジェクタ２１を中心として、ワークの移動方向に対して前後左右方向に１基ずつ、合計４基のカメラ２２（２２ａ〜２２ｄ）を備えている。これにより、バラ積みされたワークの状態によらず、死角を作ることなく作業空間内におけるワークそれぞれの位置及び姿勢を把握するための三次元計測データを取得することができる。もちろん、カメラ２２の数は少なくとも１基以上備えていれば足り、プロジェクタ２１を除いたカメラ２２だけの構成でも三次元モデルを生成することができれば良い。

プロジェクタ２１の光源は、例えば白色光を出射するハロゲンランプ、白色光を出射する白色ＬＥＤ（発光ダイオード）等であれば良い。出射口の近傍に、図示しないパターン生成部を備え、縞パターンを生成する。パターン生成部としては、例えばＤＭＤ（デジタルマイクロミラーデバイス）、ＬＣＯＳ（登録商標）（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ：反射型液晶素子)、マスク等であれば良い。

カメラ２２ａ〜２２ｄは、バラ積みされたワークの移動方向に対して前後左右方向の４か所に配置されている。カメラ２２ａ〜２２ｄは、例えばモノクロＣＣＤ（電荷結合素子）、ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ等の撮像素子を備えている。撮像素子の画素ごとに受光量に対応する受光信号が出力される。そして、受光信号に基づいて画像が生成される。

図１に戻って、画像処理装置１はマニピュレータ５の動作を制御するロボットコントローラ４とデータ通信することが可能に接続されている。画像処理装置１で作業空間上のワークＷの位置及び姿勢が特定されるので、画像処理装置１は、ロボットコントローラ４がマニピュレータ５及び把持部５０の動作を制御してワークＷを把持するために必要な情報をロボットコントローラ４に出力する。ロボットコントローラ４は、マニピュレータ５の動作信号を生成して、マニピュレータ５及び把持部５０の動作を制御する。

なお、ロボットコントローラ４にはペンダント６がデータ通信することが可能に接続されており、マニピュレータ５及び把持部５０の動作に関する設定データの入力を受け付ける。

（実施の形態１）
以上の構成における画像処理装置１の動作について説明する。図４は、本発明の実施の形態１に係る画像処理装置１の機能ブロック図である。図４において、センシング部１００１は、バラ積みされたワークＷが搭載されている作業空間を、例えば撮像部２を介して、三次元計測して三次元計測データを取得する。本実施の形態では、センシング部１００１は、ワーク撮像部１００２及び三次元データ抽出部１００３を備えている。

ワーク撮像部１００２は、作業空間内のワークＷを撮像部２で撮像して画像データを取得する。そして、取得した画像データに基づいて三次元データを生成しておく。三次元データ抽出部１００３は、取得された画像データに基づいて、三次元サーチ処理の対象となる作業空間内におけるワークＷの三次元データを抽出して三次元計測データとする。ここで、「三次元データ」とは、バラ積みされていないワークＷ単体の三次元データとし、「三次元計測データ」とは、バラ積みされている状態でのワークＷ全体の三次元データを意味するものとする。すなわち、三次元計測データをサーチ対象として、三次元データをキー情報として三次元サーチ処理を実行することになる。

ワークモデル登録部１００４は、生成された三次元データの中から三次元サーチ処理に用いる一又は複数の三次元データ（以下、ワークモデル）を登録する。登録されたワークモデルが、三次元サーチ処理のキー情報となる。なお、三次元データ（ワークモデル）は、ワークＷのＣＡＤデータから取得しても良い。

把持データ設定部１００５は、ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持するマニピュレータ５の把持部５０の姿勢で構成される把持データを設定する。具体的には、ワークＷの姿勢を順次変更しつつ三次元計測により取得した三次元計測データに対して、登録されている一又は複数のワークモデルそれぞれについて、モデル座標系の設定及び把持データの設定を繰り返し、複数の把持データをワークモデルごとに対応付けて記憶装置１３に記憶しておく。

図５は、本発明の実施の形態１に係る画像処理装置１の把持データとして記憶される把持部５０の位置及び姿勢の例示図である。図５（ａ）は、把持対象となるワークＷのワークモデルを例示した斜視図であり、図５（ｂ）〜図５（ｇ）は、把持データとして記憶される把持部５０の位置及び姿勢を例示した斜視図である。

図５（ａ）に示すように、把持する位置が複数存在するワークＷが把持対象である場合、把持する位置に応じて把持部５０の位置及び姿勢が相違する。図５（ｂ）、図５（ｃ）は、ワークＷの長軸方向のフランジ部Ｗ１が把持対象である場合の把持部５０の位置及び姿勢を示している。同様に、図５（ｄ）、図５（ｅ）は、ワークＷの環状部Ｗ２が把持対象である場合の把持部５０の位置及び姿勢を、図５（ｆ）、図５（ｇ）は、ワークＷの短軸方向のフランジ部Ｗ３が把持対象である場合の把持部５０の位置及び姿勢を、それぞれ示している。

このように、ワークＷのどの部分をどの方向から把持するかに応じて、把持データを事前に設定しておくことにより、バラ積みされたワークがどのような位置及び姿勢で検出されたとしても、把持対象となる部位を検出することができる。

図４に戻って、統計データ記憶部１００６は、把持データごとにワークＷの把持の成否に関する統計データを記憶する。すなわち、毎回選択した把持データに基づいてワークＷをピッキングし、把持に成功したか否かの実績データを統計データとして記憶装置１３に記憶する。また、統計データ記憶部１００６は、把持データごとに後述する干渉判定部１００８による干渉するか否かの実績データも統計データとして記憶装置１３に記憶する。

把持の成否判断の方法は、特に限定されるものではない。図６は、本発明の実施の形態１に係る画像処理装置１と接続されているロボットコントローラ４における把持の成否判断の一例を示す模式図である。図６（ａ）は、マニピュレータ５の把持部５０の構成を示す模式図である。２つの把持部材５０１を移動させて、把持部材５０１、５０１間の距離Ｂ１を検出する。

把持対象であるワークＷの把持する部位の幅をＢ２とすると、Ｂ１＞Ｂ２ならば把持する過程であることがわかる（図６（ａ）の状態）。そして、Ｂ１＝Ｂ２である場合には、ワークＷを把持することに成功していることがわかる（図６（ｂ）の状態）。しかし、Ｂ１＜Ｂ２である場合には、把持に失敗していると判断することができる（図６（ｃ）の状態）。

もちろん、把持の成否判断の方法は、これに限定されるものではない。例えば、把持部に重量センサ、あるいは圧力センサを取り付けておき、センサの出力値に応じてワークＷの把持に成功しているか否かを判断しても良い。

また、単純に把持部５０の把持部材５０１の先端に電極を設けておき、通電した場合には警告信号を出力するようにしておくだけでも良い。図６（ｃ）の状態になった場合にのみ電極が接触して警告信号が出力される。

また、把持したワークＷを目的地で解放し、その位置を他のカメラで撮像するようにしても良い。所定の位置にワークＷが存在しない、あるいは位置が異なっていると、撮像により取得した画像データの解析から判断された場合には、把持に失敗したと判断することができる。

同様に、把持したワークＷを目的地まで移動する途中で他のカメラで撮像するようにしても良い。移動中にワークＷが存在していないと、撮像により取得した画像データの解析から判断された場合には、把持に失敗したと判断することができる。

さらに、把持部５０が、空気の吸入による吸着を用いる方式である場合、エア流量の相違により把持の成否判断をすることもできる。もちろん、センサ等によるデータ取得のみをロボットコントローラ４の指示で実行し、把持の成否判断を画像処理装置１で実行しても良い。

図４に戻って、サーチ処理実行部１００７は、三次元計測により取得した三次元計測データに対して、登録された一又は複数のワークモデルを用いてワークＷの位置及び姿勢を特定する三次元サーチ処理を実行する。サーチ処理実行部１００７では、ワークＷごとに検出スコアを算出して三次元サーチ処理の結果として出力する。

図７は、本発明の実施の形態に係る画像処理装置１のワークモデルの例示図である。図７に示すように、ワークモデルの表面において特徴点を抽出している。特徴点とは、三次元サーチ処理において必要な特徴を示す点を意味しており、例えば形状の輪郭を表す輪郭上の特徴点、表面形状を表す表面上の特徴点の２種類の特徴点又はいずれかの特徴点で構成されていれば良い。

図８は、本発明の実施の形態に係る画像処理装置１の三次元サーチ処理の説明図である。図８（ａ）に示すように、作業空間にワークＷがバラ積みされている。この状態で、図７に示すワークモデルを用いて、三次元サーチ処理を実行することにより、ワーク８１、８２が検出されている。

三次元サーチ処理では、ワークモデルと対応する特徴点がどの程度存在するかを示す割合に基づいて検出スコアを算出する。例えば、高さ画像に対して、一定の距離以下の誤差を有する特徴点の点数の割合等を用いる。無効画素が多く含まれている場合には対応する特徴点が存在しないので検出スコアが低くなる。したがって、検出スコアが高いほど、三次元サーチ処理の結果として信頼性が高いことになる。また、一定の閾値以下の検出スコアである場合には、誤検出している可能性が高いことから、把持対象から除外することもできる。

図４に戻って、干渉判定部１００８は、三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークＷについて、他のワークＷと干渉するか否かを判定する。信頼性が高く、把持対象として検出されているワークＷについてのみ、他のワークＷとの干渉チェックを行う。これにより、干渉するワークＷを把持対象から除外することができる。

把持データ選択部１００９は、他のワークＷと干渉しないと判定された把持データのうち、統計データにおいて把持の成功率の最も高い把持データを選択する。また、把持データ選択部１００９は、統計データに基づいて、他のワークＷと干渉しないと判定された把持データのうち、把持成功率が低い把持データを選択対象の把持データ候補から除外する。この場合、把持データ選択部１００９は、除外された把持データを除いた把持データの中から、三次元サーチ処理により得られた検出スコアが最も高くなる把持データを選択する。

すなわち、把持データ選択部１００９は、三次元サーチ処理により所定の閾値よりも高い検出スコアが得られた把持データについて干渉判定を実行し、干渉しないと判定された把持データについて、統計データ記憶部１００６が記憶装置１３に記憶されている統計データを参照することにより、実際に把持に成功する確率が高い把持データを選択する。図１に示すロボットコントローラ４は、把持対象として検出されているワークＷのワークモデルに設定された把持データに基づいて、マニピュレータ５及び把持部５０の動作を制御する。

図９は、本発明の実施の形態１に係る画像処理装置１のＣＰＵ１１の三次元サーチ処理以降の処理手順を示すフローチャートである。図９に示すように、画像処理装置１のＣＰＵ１１は、上述したような三次元サーチ処理を実行し（ステップＳ９０１）、一又は複数のワークモデルを用いてワークＷの位置及び姿勢を特定し、ワークＷを検出したか否かを判断する（ステップＳ９０２）。

ＣＰＵ１１が、ワークＷを検出したと判断した場合（ステップＳ９０２：ＹＥＳ）、ＣＰＵ１１は、検出された一又は複数のワークＷの中から優先度が最も高いワークＷを選択し（ステップＳ９０３）、優先度が最も高い把持データを用いた場合の他のワークＷとの干渉判定を実行する（ステップＳ９０４）。ＣＰＵ１１は、他のワークＷとの干渉があるか否かを判断する（ステップＳ９０５）。

ＣＰＵ１１が、他のワークＷとの干渉がないと判断した場合（ステップＳ９０５：ＮＯ）、ＣＰＵ１１は、選択されたワークＷを選択された把持データで把持するようロボットコントローラ４へ指示を送信する（ステップＳ９１１）。ＣＰＵ１１が、他のワークＷとの干渉があると判断した場合（ステップＳ９０５：ＹＥＳ）、ＣＰＵ１１は、他の把持データが存在するか否かを判断する（ステップＳ９０６）。

ＣＰＵ１１が、他の把持データが存在すると判断した場合（ステップＳ９０６：ＹＥＳ）、ＣＰＵ１１は、優先度が次に高い把持データを用いた場合の他のワークＷとの干渉判定を実行し（ステップＳ９０７）、処理をステップＳ９０５に戻して上述した処理を繰り返す。ＣＰＵ１１が、他の把持データが存在しないと判断した場合（ステップＳ９０６：ＮＯ）、ＣＰＵ１１は、他のワークＷが存在するか否かを判断する（ステップＳ９０８）。

ＣＰＵ１１が、他のワークＷが存在すると判断した場合（ステップＳ９０８：ＹＥＳ）、ＣＰＵ１１は、優先度が次に高いワークＷを選択し（ステップＳ９０９）、処理をステップＳ９０４へ戻して上述した処理を繰り返す。ＣＰＵ１１が、他のワークＷが存在しないと判断した場合（ステップＳ９０８：ＮＯ）、及びワークＷを検出していないと判断した場合（ステップＳ９０２：ＮＯ）、ＣＰＵ１１は、把持不可であると判断して（ステップＳ９１０）、処理を終了する。

なお、上述した処理は、把持データの存否を優先した処理としているが、他のワークＷの存否を優先しても良い。この場合、ステップＳ９０６及びステップＳ９０７と、ステップＳ９０８及びステップＳ９０９とが入れ替わる。

また、把持データの優先度は、様々な方法で決定することができる。例えば、統計データ記憶部１００６において、統計データに把持データの選択回数も含めて記憶しておき、干渉判定部１００８において、統計データにおける選択回数の多い把持データの優先度を高くして干渉判定を行う方法であっても良い。図１０は、本発明の実施の形態１に係る画像処理装置１のＣＰＵ１１の把持データの優先度決定処理の手順を示すフローチャートである。

図１０に示すように、画像処理装置１のＣＰＵ１１は、把持データごとのカウンタを‘０’に初期化設定し（ステップＳ１００１）、把持データの優先度の仮設定を行う（ステップＳ１００２）。ＣＰＵ１１は、図９に示す処理を実行し（ステップＳ１００３）、選択された把持データのカウンタを加算する（ステップＳ１００４）。

ＣＰＵ１１は、カウンタの値に従って把持データの優先度を入れ替え（ステップＳ１００５）、初期化するか否かを判断する（ステップＳ１００６）。ＣＰＵ１１が、初期化しないと判断した場合（ステップＳ１００６：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１００３へ戻し、上述した処理を繰り返す。ＣＰＵ１１が、初期化すると判断した場合（ステップＳ１００６：ＹＥＳ）、ＣＰＵ１１は、処理を終了する。

また、把持データの把持の成否に関する統計データも同様に成否カウンタを用いることで作成することができる。図１１は、本発明の実施の形態１に係る画像処理装置１のＣＰＵ１１の把持成功率の高い把持データの優先度決定処理の手順を示すフローチャートである。

図１１に示すように、画像処理装置１のＣＰＵ１１は、把持データごとの成否カウンタを初期化し（ステップＳ１１０１）、把持データの優先度の仮設定を行う（ステップＳ１１０２）。ＣＰＵ１１は、図９に示す処理を実行し（ステップＳ１１０３）、選択された把持データをロボットコントローラ４へ出力する（ステップＳ１１０４）。

ＣＰＵ１１は、ロボットコントローラ４から、選択された把持データでの把持の成否に関する把持成否データを取得し（ステップＳ１１０５）、把持に成功したか否かを判断する（ステップＳ１１０６）。ＣＰＵ１１が、把持に成功したと判断した場合（ステップＳ１１０６：ＹＥＳ）、ＣＰＵ１１は、選択された把持データの成否カウンタを更新する（ステップＳ１１０７）。

ＣＰＵ１１が、把持に失敗したと判断した場合（ステップＳ１１０６：ＮＯ）、ＣＰＵ１１は、選択された把持データの成否カウンタを更新し（ステップＳ１１０８）、処理を終了するか否かを判断する（ステップＳ１１０９）。ＣＰＵ１１が、処理を終了しないと判断した場合（ステップＳ１１０９：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１１０３へ戻し、上述した処理を繰り返す。ＣＰＵ１１が、処理を終了すると判断した場合（ステップＳ１１０９：ＹＥＳ）、ＣＰＵ１１は、処理を終了する。

以上のように本実施の形態１によれば、検出スコアが所定の閾値より大きいワークＷについて、他のワークＷと干渉するか否かを判定し、他のワークＷと干渉しないと判定された把持データのうち、統計データにおいて把持の成功率の最も高い把持データを選択する。選択された把持データに基づいてマニピュレータ５及び把持部５０の動作を制御することにより、マニピュレータ５の把持部５０がワークＷを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。

（実施の形態２）
本発明の実施の形態２に係る画像処理装置１の構成及び機能ブロック図は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明は省略する。本実施の形態２は、把持データに基づいて統計データを生成するのではなく、部分領域に干渉しない把持データが存在するか否かに基づいて統計データを生成する点で実施の形態１とは相違する。

本実施の形態２では、図９に示す三次元サーチ処理以降の処理手順において、他のワークＷの存否を優先する場合と同様となる。したがって、図９において、ステップＳ９０６及びステップＳ９０７と、ステップＳ９０８及びステップＳ９０９とが入れ替わった状態を前提に説明する。

上述の図４における把持データ選択部１００９は、部分領域に干渉しない把持データが存在すると判定された把持データのうち、把持対象として検出されたワークＷのワークモデルに設定された把持データを選択する。図１に示すロボットコントローラ４は、把持対象として検出されたワークＷのワークモデルに設定された把持データに基づいてマニピュレータ５及び把持部５０の動作を制御する制御信号を受信して、把持部５０の動作を制御する。

把持対象となるワークＷを示す部分領域の優先度は、以下の手順で決定することができる。図１２は、本発明の実施の形態２に係る画像処理装置１のＣＰＵ１１のワークＷを示す部分領域の優先度決定処理の手順を示すフローチャートである。

図１２に示すように、画像処理装置１のＣＰＵ１１は、部分領域ごとのカウンタを‘０’に初期化設定し（ステップＳ１２０１）、部分領域の優先度の仮設定を行う（ステップＳ１２０２）。ＣＰＵ１１は、図９に示す処理を実行し（ステップＳ１２０３）、選択された把持データが部分領域内に存在するか否かを判断する（ステップＳ１２０４）。ＣＰＵ１１が、部分領域内に存在すると判断した場合（ステップＳ１２０４：ＹＥＳ）、ＣＰＵ１１は、把持データが存在する部分領域のカウンタを加算する（ステップＳ１２０５）。ＣＰＵ１１が、部分領域内に存在しないと判断した場合（ステップＳ１２０４：ＮＯ）、ＣＰＵ１１は、ステップＳ１２０５をスキップする。

ＣＰＵ１１は、部分領域ごとのカウンタの値に従って部分領域の優先度を入れ替え（ステップＳ１２０６）、処理を終了するか否かを判断する（ステップＳ１２０７）。ＣＰＵ１１が、処理を終了しないと判断した場合（ステップＳ１２０７：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１２０３へ戻し、上述した処理を繰り返す。ＣＰＵ１１が、処理を終了すると判断した場合（ステップＳ１２０７：ＹＥＳ）、ＣＰＵ１１は、処理を終了する。

また、部分領域ごとの把持の成否に関する統計データも同様に成否カウンタを用いることで作成することができる。図１３は、本発明の実施の形態２に係る画像処理装置１のＣＰＵ１１の把持成功率の高い部分領域の優先度決定処理の手順を示すフローチャートである。

図１３に示すように、画像処理装置１のＣＰＵ１１は、部分領域ごとの成否カウンタを初期化し（ステップＳ１３０１）、部分領域の優先度の仮設定を行う（ステップＳ１３０２）。ＣＰＵ１１は、図９に示す処理を実行し（ステップＳ１３０３）、選択された部分領域及び部分領域で把持対象として検出されたワークＷのワークモデルに設定された把持データをロボットコントローラ４へ出力する（ステップＳ１３０４）。

ＣＰＵ１１は、ロボットコントローラ４から、選択された部分領域及び部分領域で把持対象として検出されたワークＷのワークモデルに設定された把持データでの把持の成否に関する把持成否データを取得し（ステップＳ１３０５）、把持に成功したか否かを判断する（ステップＳ１３０６）。ＣＰＵ１１が、把持に成功したと判断した場合（ステップＳ１３０６：ＹＥＳ）、ＣＰＵ１１は、選択された部分領域の成否カウンタを更新する（ステップＳ１３０７）。

ＣＰＵ１１が、把持に失敗したと判断した場合（ステップＳ１３０６：ＮＯ）、ＣＰＵ１１は、処理を終了するか否かを判断する（ステップＳ１３０８）。ＣＰＵ１１が、処理を終了しないと判断した場合（ステップＳ１３０８：ＮＯ）、ＣＰＵ１１は、処理をステップＳ１３０３へ戻し、上述した処理を繰り返す。ＣＰＵ１１が、処理を終了すると判断した場合（ステップＳ１３０８：ＹＥＳ）、ＣＰＵ１１は、処理を終了する。

以上のように本実施の形態２によれば、把持の成功率が高い部分領域及び該部分領域で把持対象として検出されたワークＷのワークモデルに設定された把持データを用いることでマニピュレータ５の把持部５０がワークを把持する成功率を高めることができ、ピッキング装置の稼働率を高めるとともに、作業のタクトタイムを向上させることが可能となる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば統計データのみを別の外部コンピュータ、あるいはクラウド環境に記憶しておいても良い。

図１４は、本発明の実施の形態に係る画像処理装置１を用いた、ピッキングシステムの処理の手順を示すフローチャートである。図１４では、統計データが統計データ外部記憶装置７に記憶されている点で上述した実施の形態とは相違している。

図１４において、画像処理装置１は、上述した処理により把持データを選択して（ステップＳ１４１１）、把持データをロボットコントローラ４へ出力する（ステップＳ１４１２）。

ロボットコントローラ４は、画像処理装置１から把持データの入力を受け付け（ステップＳ１４４１）、マニピュレータ５及び把持部５０の動作を制御する（ステップＳ１４４２）。そして、上述の処理を実行して把持の成否を判断して（ステップＳ１４４３）、選択された把持データ及び把持の成否に関する把持成否データを統計データ外部記憶装置７へ出力する（ステップＳ１４４４）。

統計データ外部記憶装置７は、ロボットコントローラ４からの把持データ及び把持成否データの入力を受け付け（ステップＳ１４７１）、把持データ又は部分領域に対応付けられている成否カウンタを更新する（ステップＳ１４７２）。更新された成否カウンタに基づいて、把持データ又は部分領域の優先度を更新して（ステップＳ１４７３）、更新された優先度を画像処理装置１へ出力する（ステップＳ１４７４）。

画像処理装置１は統計データ外部記憶装置７からの優先度の入力を受け付けて（ステップＳ１４１３）、次のピッキング動作に適用する。これにより、統計データを記憶する位置的制約から解放され、ビッグデータとしての取り扱いも容易となる。

なお、上述した実施例では、画像処理装置１を１基設ける場合について説明しているが、特に１基に限定せず、複数の画像処理装置１を設けても良い。この場合、複数の画像処理装置１で同じ処理を行うので、統計データとしては共通の統計データを用いれば良い。

例えば、複数の画像処理装置１で得られた把持データ及び把持成否結果等を、複数の画像処理装置１に共有される統計データとして一又は複数の画像処理装置１の記憶装置１３に統計データとして記憶する。記憶されている統計データに基づいて優先順位を特定し、複数の画像処理装置１で利用する。もちろん、外部に統計データのみを集約して記憶する統計データ共有記憶装置を設けても良いことは言うまでもない。

また、それぞれの画像処理装置１で得られた把持データ及び把持成否結果等を、それぞれ別個独立してそれぞれの記憶装置１３に記憶し、それぞれの統計データに基づいて得られた優先順位のみを複数の画像処理装置１でそれぞれ利用しても良い。

１ 画像処理装置
２ 撮像部
４ ロボットコントローラ
５ マニピュレータ
１１ ＣＰＵ
５０ 把持部
Ｗ ワーク

Claims (12)

1. バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置において、
   バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得するセンシング部と、
   事前に記憶されている複数のワークモデルを登録するワークモデル登録部と、
   前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する把持データ設定部と、
   前記把持データごとにワークの把持の成否に関する統計データを記憶する統計データ記憶部と、
   三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行するサーチ処理実行部と、
   三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する干渉判定部と、
   他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する把持データ選択部と
   を備えることを特徴とする画像処理装置。
2. 前記センシング部は、
   前記作業空間内のワークを撮像して画像データを取得するワーク撮像部と、
   撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する三次元データ抽出部と
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記統計データ記憶部は、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶し、
   前記把持データ選択部は、前記干渉判定部で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記統計データ記憶部は、前記統計データに把持データの選択回数も含めて記憶し、
   前記干渉判定部は、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行うことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置で実行することが可能な画像処理方法において、
   前記画像処理装置は、
   バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得する第一の工程と、
   事前に記憶されている複数のワークモデルを登録する第二の工程と、
   前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する第三の工程と、
   前記把持データごとにワークの把持の成否に関する統計データを記憶する第四の工程と、
   三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行する第五の工程と、
   三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する第六の工程と、
   他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する第七の工程と
   を含むことを特徴とする画像処理方法。
6. 前記第一の工程は、
   前記作業空間内のワークを撮像して画像データを取得する第八の工程と、
   撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する第九の工程と
   を含むことを特徴とする請求項５に記載の画像処理方法。
7. 前記第四の工程は、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶し、
   前記第七の工程は、前記第六の工程で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択することを特徴とする請求項５又は６に記載の画像処理方法。
8. 前記第四の工程は、前記統計データに把持データの選択回数も含めて記憶し、
   前記第六の工程は、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行うことを特徴とする請求項５乃至７のいずれか一項に記載の画像処理方法。
9. バラ積みされたワークをマニピュレータの把持部で把持し、把持されたワークを所定位置まで移動させるピッキング動作を制御するためのロボットコントローラに接続される画像処理装置で実行することが可能なコンピュータプログラムにおいて、
   前記画像処理装置を、
   バラ積みされたワークが搭載されている作業空間を三次元計測して、三次元計測データを取得するセンシング手段、
   事前に記憶されている複数のワークモデルを登録するワークモデル登録手段、
   前記ワークモデルのモデル座標系に対して、相対的な位置データとして、把持される位置及び該位置において把持する前記マニピュレータの前記把持部の姿勢で構成される把持データを設定する把持データ設定手段、
   前記把持データごとにワークの把持の成否に関する統計データを記憶する統計データ記憶手段、
   三次元計測により取得した三次元計測データに対して、登録された複数のワークモデルを用いてワークの位置及び姿勢を特定する三次元サーチ処理を実行するサーチ処理実行手段、
   三次元サーチ処理の結果として出力される検出スコアが所定の閾値より大きいワークについて、他のワークと干渉するか否かを判定する干渉判定手段、及び
   他のワークと干渉しないと判定された把持データの中から、前記統計データにおける把持の成功率に基づいて把持データを選択する把持データ選択手段として機能させることを特徴とするコンピュータプログラム。
10. 前記センシング手段を、
    前記作業空間内のワークを撮像して画像データを取得するワーク撮像手段、及び
    撮像して取得された画像データに基づいて、前記三次元サーチ処理の対象となる前記作業空間内におけるワークの三次元データを三次元計測データとして抽出する三次元データ抽出手段
    として機能させることを特徴とする請求項９に記載のコンピュータプログラム。
11. 前記統計データ記憶手段を、ワークが検出された部分領域ごとのワークの把持の成否に関する統計データを記憶する手段として機能させ、
    前記把持データ選択手段を、前記干渉判定手段で干渉しないと判定された把持データのうち、前記統計データにおいて把持の成功率の最も高い部分領域に存在するワークに対応する把持データを選択する手段として機能させることを特徴とする請求項９又は１０に記載のコンピュータプログラム。
12. 前記統計データ記憶手段を、前記統計データに把持データの選択回数も含めて記憶する手段として機能させ、
    前記干渉判断手段を、前記統計データにおいて選択回数の多い把持データから順に干渉判定を行う手段として機能させることを特徴とする請求項９乃至１１のいずれか一項に記載のコンピュータプログラム。