JP2009115783A - シーン内の物体の３ｄ姿勢を求める方法及びシステム - Google Patents

Abstract

【課題】本発明はシーン内の物体の３Ｄ姿勢を求める方法及びシステムを提供する。
【解決手段】深度エッジが、複数の物体を含むシーン内で照明が変化している間に、当該シーンから取得された１セットの画像から求められる。輪郭を形成するために深度エッジは連結される。輪郭に従って、画像は複数の領域に分割される。それらの領域を使用して遮蔽グラフが構築される。遮蔽グラフは、シーン内の遮蔽されていない物体の遮蔽されていない領域を表すソースノードを含む。遮蔽されていない物体に関連付けられる輪郭は、物体の１セットのシルエットと比較され、当該１セットのシルエットにおいて各シルエットは既知の姿勢を有する。最良に一致するシルエットの既知の姿勢が、遮蔽されていない物体の姿勢として選択される。
【選択図】図１

Description

本発明は、包括的には、３次元の物体の検出及び認識に関し、より詳細には、物体の姿勢を求めることに関する。本方法の具体的な出力、すなわち物体の姿勢によって、特に製造現場におけるビンピッキング機械のための多数の有用な用途が可能になる。

産業用ロボットは通常、高度に正確且つ精密に同じ作業を繰り返し行うように設計される。製造及び組立てのような幾つかの産業用途では、ロボットは、ビンから部品を「ピッキング」する（部品取得する）と共に、後の処理のためにその部品を正しい位置及び向き（姿勢）に配置するために使用される。

ロボットは、ピッキングされる部品の姿勢が変わらないということに依存している。あらゆるずれは結果的にロボット又は部品の損傷をもたらし、それによってコストが増大する。通常、カスタム設計された機械システム及び電気機械システムは、特定の姿勢にある部品をロボットに供給するために使用される。幾つかの場合では、部品は手動で予め位置決めされており、それによって、ロボットが容易に部品を拾い上げることができる。

より最近では、コンピュータビジョン技法が、部品の位置特定及びピッキングのプロセスを自動化するために使用されている。ほとんどの従来型の自動化技法は、単一の遮蔽していない部品、又は他から離れている部品、例えばコンベヤベルト上で余裕をもって散乱されている部品しかピッキングすることができない。

幾つかのビジョン支援型システムは積み重ねられた部品をピッキングすることができるが、これは、洗練された機械システム又は手動による介入を使用する場合のみである。ビジョン支援型システムのほとんどは、信頼性、正確さ及び頑健性に欠け、高価なビジョンセンサ及びハードウェアを使用する。従来のビジョン支援型システムは、部品が、ランダムに、無計画に重なり合って積み重ねられるか又はビン内に置かれる場合、３Ｄ部品を取得することができない。

３Ｄの姿勢推定及び部品取得の問題は既知である。手動による部品取得は、人間が組み立てのために取得及び設置することを伴う。これは、人間が重い部品と共に作業する場合に危険である。加えて、一定レベルのスキルセットが人間の作業員には必要とされる。人間の作業員に取って代わることによってコストを低減することが望ましい。

自動部品取得システムは通常、ピッキングされる部品用に特別に設計された捕捉器具を備え付けられているロボットアームのような電気機械装置を使用する。しかし、ロボットは、ピッキングされる部品の姿勢を知る必要がある。精密固定（precision fixturing）のような方法は、特定の姿勢にある部品をロボットアームに提供するために使用することができる。これらのシステムは、コストがかかり、相互運用性に欠く、すなわちこれらのシステムは、所与の部品用に特定的に設計する必要があり、ランダムに積み重ねられる部品のビンを扱うことができない。

物体の姿勢を求めるためにコンピュータビジョンシステムを使用することができる。これらのシステムは通常、１つ又は複数のカメラを使用する。カメラによって取得される画像は、物体を位置特定すると共に後の作業のためにロボットアームにフィードバックを提供するために、分析することができる。ほとんどのビジョンシステムは２Ｄであり、検査のような２Ｄの作業、及び単一部品の取得のためにしか使用することができない。これらのシステムは、部品の面内の向き及び位置のみを求めることができるが、いかなる面外の回転も、また部品に対する距離も求めることができない。通常、これらの２Ｄシステムは、部品が重ならないこと及び平らな表面上に置かれることを必要とする。したがって、これらのシステムは、ランダムに置かれて積み重なった物体に対しては動作することができない。

幾つかのシステムは、物体に対する距離を画像内の物体のサイズに基づかせることによって２Ｄビジョンシステムを拡張する。しかし、これらの２．５Ｄシステムは、面外の回転を推定することができず、距離推定に関しては多くの場合に信頼できない。

３Ｄビジョンシステムは通常、シーンの３Ｄ形状を推定するセンサを使用する。ステレオシステムは、物体に対する距離を推定するために２つのカメラを使用する。まず、対応する特徴が立体画像内で位置特定される。カメラ間の幾何学的関係を使用して、特徴の深度（距離）を識別することができる。しかし、対応する特徴を位置特定すること自体は、特に、多くの場合に高度に反射性であると共に外見上均一である機械部品に関しては困難な問題である。ステレオシステムは、画像が特徴に関してノイズを有する場合、深度を誤って推定する可能性がある。ステレオシステムに関する別の問題は、深度が、物体全体にわたってではなく、特徴に関してのみ再生されるということである。この低減した正確さは、正確なビンピッキングには不十分である。

レーザ三角測量は、物体の表面上にパターンを生成するために構造化された光を使用し、全体の画像がカメラによって取得される。レーザ三角測量は、物体表面の３Ｄ形状を再生することができる。この技術は、例えば柔軟で且つ寸法が安定していない部品の溶接、封止、接着剤の堆積、研削、ウォータージェット切削及びデバリングのためのエッジ追跡を伴う用途に使用されている。

レーザ三角測量は、画像レジストレーション、並びに影及び遮蔽を計上することを必要とする。これらのシステムは、全体的でランダムなビンピッキングの用途に関しては依然として完全ではない。加えて、レーザは多くの場合、人間の作業員の非常に近くに配置された場合、安全上の問題をもたらす。

本発明の実施の形態は、シーン内の物体を検出及び認識するシステム及び方法を提供する。さらに、実施の形態は、各物体の３Ｄ姿勢を求める。本明細書では、この姿勢は、物体の３次元の位置及び向きとして定義される。

実際の用途の一例では、物体はビン内で重なり合って積み重ねられる。カメラに最も近い物体は、積み重なりの最上部にあり、他の物体を乱すことなくビンからピッキングすることができる。

画像は、シーンが光源によって照明されている間に、カメラによって当該シーンから取得される。光源は影を投じる。影は、シーン内の物体の深度エッジ及び影エッジを得るために使用される。深度エッジは、深度エッジと影エッジとの間の物理的且つ幾何学的な制約を使用して連結され、結果として閉じた輪郭がもたらされる。輪郭は、画像シーンを複数の領域に分割するために使用される。

「遮蔽グラフ」が構築される。このグラフは、分割された領域毎に１つのノードを有する。２つのノードは、一方のノードに関連付けられる領域が、他方のノードに関連付けられる領域に対して影を投じる（遮蔽する）場合、エッジによって接続される。遮蔽グラフはシーン内の遮蔽されていない物体を識別する。遮蔽されていない物体は、完全なつながった輪郭を有する、積み重なりの最上部の物体に対応する。

物体シルエットのデータベース（メモリ）が、物体の３Ｄコンピュータ支援設計（ＣＡＤ）モデルを使用して生成される。シルエットは、複数の異なるビューに関して存在する。データベースは、異なるビューの物体の部分シルエットも含む。シルエットはまた、深度エッジとして表現される。

遮蔽グラフは、潜在的な候補の遮蔽されていない物体を見つけるために検討される。最上部レベルの（遮蔽されていない）物体の輪郭は、当該遮蔽されていない物体の３Ｄの位置及び向き（３Ｄ姿勢）を推定するために、データベースのシルエットと照合される。

推定された３Ｄ姿勢は、出荷（handling）又は組み立てのための部品取得を含む幾つかのロボット作業のために、ロボットアームと共に使用することができる。本システムによって、制約のない３Ｄビンピッキングが可能になる。

本発明の実施の形態によるシステム及び方法は、ビン内の遮蔽されていない部品の姿勢を求める。システムは、費用のかからない発光ダイオード（ＬＥＤ）を備え付けられている単一のカメラを使用する。姿勢は、製造用途においてビンから部品をピッキングするためにロボットアームに送られる。本方法の実行は比較的簡単且つ高速なため、本方法は、リアルタイムの用途に使用することができる。

本発明は、ステレオカメラ、レーザ光又は構造光のような３Ｄ取得装置を使用することなく、３Ｄの物体認識及び姿勢推定を実行する。シーンの深度マップの再構成には、特に鏡面性及び非ランバート面を有する光る産業用部品の場合、時間及び費用がかかる。本発明のシステムは３Ｄ深度を推定しない。代わりに、深度エッジが投じられる影から得られる。深度エッジは、強度エッジ、角及び接合点のような一般的に使用される特徴とは対照的に、シーンを分割すると共に姿勢を推定するための特徴として使用することができる。

深度エッジの使用によって、本システムは、光るか又は反射する、ざらつきのある物体と、ざらつきのない物体との両方に対して作動することができる。強度エッジに基づく特徴を使用するシステムは、光る金属の産業用部品及びざらつきのない物体を扱うのが困難である。

本発明は、シーン内の欠損している深度エッジを完全にするために新規のエッジ連結プロセスを提供する。従来のエッジ連結プロセスは、発見的方法を使用して強度エッジを完全にすることによって強度画像から閉じた輪郭を得ようと試みる。本発明では、いかなる発見的方法も使用することなく、深度エッジの連結のための実際の物理的且つ幾何学的な制約が使用される。

本発明では、新規の、シーンの遮蔽グラフも提供される。遮蔽グラフは、深度エッジによって囲まれている領域から構築される。遮蔽グラフ内の全てのノードは、深度エッジによって囲まれている２Ｄ領域に対応する。領域Ａが領域Ｂに対して影を投じる場合、ノードＡとノードＢとの間に有向アークが存在する。遮蔽グラフのソースノードは、シーン内の遮蔽されていない物体に対応する。

このグラフは、物体とそれらのシルエットとを照合するために実行する必要がある照合の数を低減する。

システム構造
図１は、本発明の実施の形態に従って物体を位置特定及びピッキングするシステム及び方法を示す。本発明の一実施の形態では、物体は、外見及び形状において類似している。別の実施の形態では、物体は異なる。

ビン１０１は、ロボット１０３によってピッキングされる物体１０２を含む。ビンは、複数の光源１０４によって照明される。光源は、ビン内に様々な影を投じる。カメラ１０５は、照明が変化している間に、ビン内の物体の１セットの（複数の）画像１１１を取得する（１１０）。例えば図２に示されているように、影２０１及び２０２は、光源１０４の位置に応じて物体１０２のいずれかの側とすることができる。

画像１１１内の影２０１及び２０２に起因する深度エッジ１２１及び影エッジ１２２が求められる（１２０）。深度エッジ１２１は、つながった輪郭１３１を形成する（１３０）ために連結される。輪郭は、画像を複数の領域１４１に分割する（１４０）ために使用される。その後、領域１４１は遮蔽グラフ１５１を構築する（１５０）ために使用される。

グラフは、予め記憶されているデータベース（メモリ）１６２内でシルエット１６１を探す（１６０）ために使用される。シルエットは、深度エッジの形態でもある。各シルエットは、関連付けられている姿勢１０６を有する。グラフに従って、遮蔽されていない物体の輪郭１３１に最良に一致する、データベース内のシルエット１６１の姿勢１０６が選択され（１７０）、これはビン内の物体の姿勢である。ロボット１０３は、後の処理用にビンから物体をピッキングするためにこの姿勢を使用する。

方法の動作
画像取得
１セットの（複数の）画像１１１は、１つ又は複数のカメラ１０５によって取得される（１１０）。カメラは、ビデオカメラ又は静止画像カメラとすることができる。カメラは、ロボットアーム１０７上に配置することができるか、又はロボット及びビンの近くの作業空間内に固定することができる。画像は光源１０４を用いて取得される。光源は、カメラの近く又は作業空間内に配置される発光ダイオード（ＬＥＤ）又は他のタイプの発光装置とすることができる。カメラに対する光源の構成は、較正を目的として確定される。本実施の形態では、マルチフラッシュカメラが使用される。本明細書に参照により援用される、Raskarに対して発行された米国特許第７，２１８，７９２号を参照されたい。

シーンが環境光のみによって照明される場合、環境画像も取得される。環境画像は、環境光の影響を消去するために、セット内の各画像から差し引かれる。

深度エッジ及び影エッジを求める
画像が取得された後に、ビン内の物体の深度エッジ１２１及び影エッジ１２２が求められる。深度エッジは、物体を切り離す境界と背景との間の不連続部として定義される。影エッジは、物体によって投じられる影と背景との間の不連続部として定義される。

通常、産業用物体は、雑音を有すると共に不要な深度エッジをもたらす非ランバート反射率及び鏡面性を有する。非ランバート面は、輝度が視角と共に変化するため、扱うのが困難である。本方法は、穴を有する物体を扱うこともできる。自己付影と同様に、本方法は、鏡面性に起因する不要な深度エッジが存在する場合、これらの不要な深度エッジを除去することによって鏡面ハイライトの効果を無視することができる。

この説明を簡単にするために、セットは、光源をカメラの上、下、及び左右に配置することによって取得される４つの異なる照明画像Ｉ_１、Ｉ_２、Ｉ_３、Ｉ_４を含む。画素毎に勾配のメジアンを求めること、及び勾配から再構成することによって画像のセットから固有画像Ｉ_{ｍｅｄｉａｎ}を求める。Raskarを参照されたい。

その後、各画像Ｉ_ｉは、Ｉ_ｉ＝ｍｉｎ（Ｉ_ｉ，Ｉ_{ｍｅｄｉａｎ}）によって置き換えられる。すなわち、画像Ｉ_ｉ内の画素毎に、強度値が、強度値又はメジアン値Ｉ_{ｍｅｄｉａｎ}の最小値に置き換えられる。次に、比画像Ｉ_Ｒ＝Ｉ_ｉ／Ｉ_{ｍｅｄｉａｎ}が得られる。この動作の効果は、画像内の鏡面性を最小化する。

比画像内でエッジが検出される。エッジは、その画像のための照明の方向に応じて深度エッジ又は影エッジに対応する。

輪郭形成
深度エッジ１２１は不完全である可能性がある、すなわち深度エッジ及び影エッジの一定の部分が、ソフトシャドウ又は影の欠如に起因して欠損している可能性がある。ゲシュタルトの法則を使用する、エッジを連結するための発見的方法が既知である。しかし、本発明においては、発見的方法の代わりに、エッジ連結に対する物理的且つ幾何学的な制約を使用する。これらの制約は、深度エッジと影エッジとの間にある。投じられる影は半影領域を有し、上記で定義されたような深度エッジは、半影の一方の側における不連続部に対応し、一方、影エッジは、半影の他方の側における不連続部に対応する。したがって、２つの制約が定義される：
１）深度エッジ毎に、平行な影エッジが存在し、
２）深度エッジ及び影エッジは、同じ画素において共存することはできない。

これらの２つの制約によって、閉じた輪郭を形成するために欠損している深度エッジを完全にすることができる。これは、深度エッジに線分を合わせると共に各線分を拡張することによって達成される。上記の制約に従う全ての拡張線分は、輪郭１３１として保たれる。

分割
深度エッジ１２１から形成される輪郭１３１は、画像を複数の領域１４１に分割する。以下に記載されるように、過度な分割は融合によって補正される。

遮蔽グラフ構築
図３に示されているように、遮蔽グラフは、ノード３０１、３０３及び有向アーク３０２から成る２Ｄ有向グラフとして定義される。グラフにおいて、ノードは領域を表し、第１のノードによって表される領域が第２の領域に影を投じる場合、有向アークは第１のノードから第２のノードに延びる。１つの画像のために１セットのグラフが存在することができる。例えば、物体の２つの別個の積み重なりがある場合、２つの遮蔽グラフが構築され、グラフは積み重なり毎に１つである。

遮蔽グラフは以下のように構築される。Ａ及びＢは、１対の領域を表しているものとする。この一対の領域は、グラフ内にノードとして挿入される。その後、領域Ａが領域Ｂに対して影を投じるか否か、及びその逆が行われるか否かを判断する。真である場合、有向アークは、投じられる影の方向にノードＡとＢとを接続する。偽の場合、領域は融合することができ、ノードが結合される。

遮蔽されていない物体の位置特定
遮蔽グラフは、ビン内の遮蔽されていない物体を識別する。ソースノード３０３は、有向アークが到来しないノードである。ソースノードは遮蔽されていない物体の領域を表さなければならない。

姿勢推定
姿勢推定は２段階のプロセスであり、第１の段階は粗く、第２の段階は細やかである。姿勢推定は、データベース内に予め記憶されているシルエットの深度エッジを使用する。

事前処理
異なるビューにおける物体のシルエットがデータベース内に予め記憶される。ビュー毎に、物体の部分シルエットもデータベース内に記憶される。ビューは対応する姿勢をもたらす。部分シルエットは、自己付影及び自己遮蔽の存在下において物体を照合するのに役立つ。物体のＣＡＤモデルが、製造及び組み立ての用途において容易に利用可能であることが仮定される。

粗い姿勢推定
最良に一致する姿勢を得るために、グラフに従って遮蔽されていない物体に関連付けられる輪郭が、データベース内に記憶されているシルエットと照合される。照合は、面照合（chamfer matching）又は画像モーメントの照合のような任意の既知の技法を使用することができる。データベース内に記憶されるシルエットの数は有限であるため、粗い姿勢推定しか得ることができない。

細やかな姿勢推定
３Ｄ ＣＡＤモデル全体を使用して３Ｄ姿勢が洗練される。姿勢洗練は、３Ｄ ＣＡＤモデルのシルエットを所定の領域と照合することによって回転及び並進を最適化する従来の技法を使用して行われる。この最適化は、粗い姿勢推定から開始し、正確な姿勢に収束する。

物体のピッキング
姿勢は、ビンから一番上にある物体をピッキングするためにロボットによって使用することができる。特定の画像が複数の遮蔽されていない物体を示す場合、これらの物体は連続してピッキングすることができる。

複数の物体タイプ
上記の方法は、データベースが異なる物体の対応するシルエットを記憶する場合、同様の物体に関して記載される。

複数の画像取得
上記の方法は、固定されている視点における単一のカメラに関して記載される。しかし、システムは、複数のカメラ視点と共に作動することもできる。そして追加の画像を、分割及び姿勢推定の結果を検証するために使用することができる。代替的に、複数の画像からの情報は、姿勢推定の正確さを向上させるために組み合わせることができる。

本発明を好ましい実施の形態の例として説明したが、本発明の精神及び範囲内で、様々な他の適合及び変更を行うことができることを理解されたい。したがって、本発明の真の精神及び範囲内に入るような全ての変形及び変更を包含することが添付の特許請求の範囲の目的である。

本発明の実施の形態による、物体の位置特定及びピッキングを行うシステム及び方法のブロック図である。 本発明の実施の形態による、物体と、当該物体によって投じられる影との概略図である。 本発明の実施の形態による遮蔽グラフである。

Claims (20)

1. 複数の物体を含むシーン内で照明が変化している間に、前記シーンから取得された１セットの画像から深度エッジを求めるステップと、
   輪郭を形成するよう、前記深度エッジを連結するステップと、
   前記輪郭に従って、前記画像を複数の領域に分割するステップと、
   前記複数の領域を使用して、前記シーン内の遮蔽されていない物体の遮蔽されていない領域を表すソースノードを含む遮蔽グラフを構築するステップと、
   前記遮蔽されていない領域に関連付けられる前記輪郭と、前記複数の物体の、各々が既知の姿勢を有する、１セットのシルエットとを比較するステップと、
   最良に一致するシルエットの前記既知の姿勢を、前記遮蔽されていない物体の姿勢として選択するステップと
   を含む、シーン内の物体の３Ｄ姿勢を求める方法。
2. 前記姿勢に従って、前記シーンから前記遮蔽されていない物体をピッキングするステップをさらに含む
   請求項１記載の方法。
3. 前記ピッキングするステップは、ロボットアームによって実行される
   請求項２記載の方法。
4. 前記複数の物体は、外見及び形状が類似している
   請求項１記載の方法。
5. 前記複数の物体は、非ランバート面を有する
   請求項１記載の方法。
6. 照明の変化は、カメラの上、下、及び左右の光源からのものである
   請求項１記載の方法。
7. 前記カメラは、ビデオカメラである
   請求項６記載の方法。
8. カメラは、前記ロボットアーム上に配置される
   請求項３記載の方法。
9. 前記深度エッジを、前記物体を切り離す境界と、前記シーン内の背景との間の不連続部として定義するステップと、
   影エッジを、前記物体によって投じられる影と、前記背景との間の不連続部として定義するステップとをさらに含む
   請求項１記載の方法。
10. 前記複数の物体は、鏡面性を含む
    請求項１記載の方法。
11. 前記１セットの画像はＩ_ｉであり、
    前記１セットの画像内の各画素における勾配のメジアンから、画像Ｉ_ｉ毎に固有画像Ｉ_{ｍｅｄｉａｎ}を求めるステップと、
    各画像Ｉ_ｉをＩ_ｉ＝ｍｉｎ（Ｉ_ｉ，Ｉ_{ｍｅｄｉａｎ}）によって置き換えるステップと、
    比画像Ｉ_ｉ／Ｉ_{ｍｅｄｉａｎ}を得るステップと、
    前記鏡面性を最小化するよう、前記比画像から前記深度エッジを求めるステップとをさらに含む
    請求項１０記載の方法。
12. 前記連結するステップは、深度エッジ毎に平行な影エッジが存在するという制約と、前記深度エッジ及び前記影エッジは前記１セットの画像内の同じ画素において共存することができないという制約とを有する
    請求項９記載の方法。
13. 第１のノードによって表される第１の領域が、第２のノードによって表される第２の領域に影を投じる場合、有向アークが前記第１のノードから前記第２のノードに延び、前記ソースノードは、到来するアークエッジを有しない
    請求項１記載の方法。
14. 前記第１のノード及び前記第２のノードの間にアークが存在しない場合に、前記第１のノード及び前記第２のノードを融合するステップをさらに含む
    請求項１３記載の方法。
15. 前記シルエット及び前記既知の姿勢は、メモリ又はデータベース内に予め記憶されている
    請求項１記載の方法。
16. 前記シルエット及び前記既知の姿勢は、前記複数の物体の異なるビューのコンピュータ支援設計モデルから得られる
    請求項１記載の方法。
17. 前記シルエットは、部分シルエットを含む
    請求項１記載の方法。
18. 前記１セットの画像は、複数のカメラによって取得される
    請求項１記載の方法。
19. 複数の物体を含むシーン内で照明が変化している間に、前記シーンから１セットの画像を取得するように構成されるカメラと、
    前記１セットの画像から深度エッジを求める手段と、
    輪郭を形成するよう、前記深度エッジを連結する手段と、
    前記輪郭に従って、前記画像を複数の領域に分割する手段と、
    前記複数の領域を使用して、前記シーン内の遮蔽されていない物体の遮蔽されていない領域を表すソースノードを含む遮蔽グラフを構築する手段と、
    前記複数の物体の、各々が既知の姿勢を有する、１セットのシルエットを記憶するデータベースと、
    前記遮蔽グラフのサブグラフに対応する前記深度エッジと、前記１セットのシルエットとを比較する手段と、
    最良に一致するシルエットの前記既知の姿勢を、前記遮蔽されていない物体の姿勢として選択する手段と
    を備える、シーン内の物体の３Ｄ姿勢を求めるシステム。
20. 前記姿勢に従って、前記シーンから前記遮蔽されていない物体をピッキングする手段をさらに備える
    請求項１９記載のシステム。

Images