JP2011067941A - 人間型ロボットのための視覚認知システムおよび方法 - Google Patents

Abstract

【課題】人間型ロボットのための視覚認知システムおよび方法を提供すること。
【解決手段】ロボットシステムが人間型ロボットとロボット関節のそれぞれの移動を制御するための分散された制御装置とを備える。制御装置は、しきい値照明条件の下においてロボットの視野内の物体を視覚的に特定および追跡するための視覚認知モジュール（ＶＰＭ）を備える。ＶＰＭは物体の画像を収集するための光学デバイス、位置抽出デバイスと、画像および位置情報を処理するためのアルゴリズムを有するホストマシンを含む。アルゴリズムは、物体を視覚的に特定および追跡し、しきい値照明条件下において画像の特徴データ喪失を防ぐように光学デバイスの露光時間を自動的に適合化させる。物体を特定および追跡する方法は、画像を収集するステップと、物体の位置情報を抽出するステップと、露光時間を自動的に適合化させ、それにより画像の特徴データ喪失を防ぐステップとを含む。
【選択図】図２

Description

（連邦政府の支援を受けた研究または開発に関する陳述）
[0001] 本発明は、ＮＡＳＡ宇宙活動協定（ＮＡＳＡ Ｓｐａｃｅ Ａｃｔ Ａｇｒｅｅｍｅｎｔ）第ＳＡＡ−ＡＴ−０７−００３号の下において政府支援によりなされた。政府は、本発明において一定の権利を有し得る。

[0002] 本発明は、人間型ロボットの制御に関し、詳細には、人間型ロボットの視野内の様々な特徴および／または物体を自動的に発見し、追跡し、測定するためのシステムおよび方法に関する。

[0003] ロボットは、関節部またはモータ駆動型ロボット関節を介して相互連結される一連の剛体リンクを使用して、物体を操作することが可能な、自動型または自律型デバイスである。典型的なロボットにおける各関節は、自由度（ＤＯＦ： ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ）とも呼ばれる、独立した制御変数を呈する。エンドエフェクタは、例えば作業工具または他の物体を把持するなど、手元の作業を実施するために使用される特定のリンクである。したがって、ロボットの正確な動作制御は、タスクレベルの指定により調整され得て、すなわち、物体レベル制御（すなわちロボットの片手または両手の中に保持された物体の挙動を制御する能力）、エンドエフェクタ制御、および関節レベル制御によって、調整され得る。集合的に、種々の制御レベルが協働して、所要のロボット動作性、器用さ、および作業タスク関連機能性を達成する。

[0004] 人間型ロボットは、とりわけ、全身、胴部、および／または１つもしくは複数の付属物であるか否かに関わらず、ほぼ人間の構造、機能、および／または外観を有し、人間型ロボットの必要な構造的複雑さは、実施される作業タスクの性質に大きく左右される。人間型ロボットの使用は、特に人間が使用することが意図された物体、工具、またはシステムと直接的に相互にやり取りすることが必要な場合に、好ましい場合がある。幅広い範囲の可能な作業タスクが人間型ロボットに期待され得ることにより、異なる制御モードが、同時に必要とされる場合がある。例えば、正確な制御が、加えられるトルク、力、動作、または結果的に得られる関節動作に対する制御と並び、上述の様々な制御空間内において与えられなければならない。

[0005] 従来のロボットシステムは、組立プロセスを実施するために、タスク指定エンドエフェクタ、部品固定具、およびジグに頼る場合がある。いくつかの場合においては、機械視覚システムが、ある特定の部品の位置を特定するために、および／または、組立タスクもしくはそれに引き続くステップの完了を確認するために、実装され調整されることがある。かかるシステムの設定は、比較的時間がかかることがあり、しばしば広範囲にわたる較正、ロボットプログラミング、および機械レベルコードのコンパイルを要する。最新の機械視覚システムは、２次元または３次元視覚システム、および、構造化された／工学設計された照明技術を利用する場合がある。結果的に得られる組立システムは、１セットの類似のタスクおよび作業条件のみに特定されたものとなる傾向となり得る。同様に、ロボットの設定、立ち上げ、およびサポートは、比較的困難かつ時間のかかるものとなる場合があり、固定具類、工具類、および／または様々な材料取扱い装備が、通常必要となり、したがって、さらなる工学設計、設置、および他の費用が追加される結果となる。

[0006] したがって、自由度の高い視覚認知システムおよび方法が、本明細書において提示され、例えば本明細書において記載される特定の人間型ロボットは４２ＤＯＦを超えるなど、多自由度を有する人間型ロボットが、ロボットの視野内において、すなわちロボットの異なる光学センサ、レーザセンサ、および／または赤外線センサのアレイの視野内において、複数の特徴および／または物体を自動的に発見、追跡、および測定することが可能となる。人間型ロボットは、少なくとも１つの関節モータまたは他の関節レベルアクチュエータ（または複数のアクチュエータ）を使用して１つまたは複数のＤＯＦを介してそれぞれが可動である多数のロボット関節を含み、さらに、ロボット関節および他の一体型システム構成要素内の任意の必要な制御およびフィードバックデータを測定するように適合化された、トルクセンサ、位置センサ、および／または他のセンサをさらに備えてよい。

[0007] 分散された制御装置が、多重高速通信ネットワークを介した通信制御データによって、以下に説明されるような視覚認知モジュール（ＶＰＭ）を含む、特定のシーケンスを実行するために必要な種々のロボット関節および他の一体型システム構成要素を制御するように適合化されてよい。制御装置は、ロボットによる自動化または自律化されたタスクまたはステップの実施を命じる制御信号を伝達するためのコマンドレベル制御装置と、例えばロボット関節の中の１つなど、それぞれ一体化されたシステム構成要素の作動をそれぞれが直接的に制御する、多数の組み込まれた関節およびシステムレベル制御装置と、制御信号に対するある特定のシーケンスのために使用される様々な一体化されたシステム構成要素の制御を調整するための関節調整レベル制御装置とを含んでよい。

[0008] 分散された制御装置の一部分、すなわちＶＰＭは、例えば、マシン視覚高解像度カメラなどの光学センサ、汎用照明および／または周囲照明、近距離赤外線領域撮像デバイスなどの領域検出センサ、および／または、物体の位置データを抽出するためのレーザデバイスなどの、センサのセット、ならびに、１つまたは複数の画像処理ハードウェア／ソフトウェアデバイス、すなわち各ホストマシンおよび画像処理アルゴリズムにより、正確な視覚認知能力を人間型ロボットに与える。自動化が可能となり、人間型ロボットの基本作業のための機械的構造体の固定および／または支持に対する人間型ロボットの依存性が著しく低減され、完全に手動によるプロセスに対して使用されるものと同様の工具およびインフラストラクチャを使用して、タスクを完了することが可能となる。

[0009] 制御装置は、ＶＰＭを備え、ＶＰＭは、ホストマシン、サーバ、または他の適切な処理デバイス、および、本発明の方法を具現化する画像処理アルゴリズム、および、ホストマシンを使用して最終的に処理される所要の画像および／または範囲画像データを収集するように構成された複数のセンサを含んでよい。さらに、ＶＰＭは、当技術において既知のタイプの用途特定的に工学設計された照明システムを必要とすることなく自動化を可能にする予備照明システムを含んでよい。本明細書において示されるようにアルゴリズムを実行することにより、ＶＰＭは、ある特定の自動化されたタスクまたは自律化されたタスクの実施において遭遇し得る様々な部分について、困難なしきい値周囲照明条件、すなわちしきい値低コントラストのブラック・オン・ブラックまたはホワイト・オン・ホワイト特徴条件において、正確な物体／特徴の位置特定および誘導を実現する。

[0010] アルゴリズムは、収集された画像のしきい値暗区域または明区域における特徴データ喪失を防ぐように、光学カメラのセットの露光時間を自動的に適合化する。上述のように、このアルゴリズムは、さらに、しきい値周囲照明条件下における同様のコントラスト表面のブラック・オン・ブラックまたはホワイト・オン・ホワイト特徴検出能力を実現する。これにより、視野内における非常に暗いまたは明るい特徴を識別するためのアプリケーションの必要性に基づいて、センサ照明ダイナミックレンジの最適化が可能となる。さらに、ＶＰＭは、例えば、ロボットの様々なデータポイント、部品、姿勢、環境内の特徴、較正アーチファクト、および／または特定の作業区域または作業エンベロープ内のシーケンス経路などを示すことにより、新規の自動化されたタスクシーケンスを人間型ロボットに「教示する」または「示す」ために使用されてよい。これらのおよび他の画像処理能力が、本明細書においてさらに詳細に示される。

[0011] 特に、複数のアクチュエータの中の少なくとも１つを使用してそれぞれが可動である複数のロボット関節を有する人間型ロボットを含む、ロボットシステムが提供される。さらに、このシステムは、視覚認知モジュール（ＶＰＭ）を含む。ＶＰＭは、しきい値環境照明条件下においてロボットの視野内の物体を視覚的に特定および追跡するように適合化されており、物体の画像を収集するように適合化された複数の光学デバイスと、物体の位置情報を抽出するように適合化されたレーザデバイスおよび範囲撮像デバイスなどの少なくとも１つの位置抽出デバイスと、ホストマシンと、画像処理アルゴリズムとを含む。アルゴリズムは、ホストマシンにより実行されて、センサの輝度範囲の極限値にて非常に暗いまたは非常に明るい関心特徴の両方について、しきい値周囲照明条件下における物体の取得された画像の特徴データ喪失を防ぐように、光学デバイスの露光時間を自動的に適合化する。

[0012] さらに、同一のしきい値周囲照明条件下において人間型ロボットの視野内の物体の特定および追跡を行なうための方法が提供される。この方法は、物体の画像を収集するための光学デバイスを使用するステップと、物体の位置情報を抽出するためにレーザベース範囲撮像デバイスおよびレーダベース範囲撮像デバイスのいずれかまたは両方を使用するステップと、ホストマシンを使用して画像および位置情報を処理するステップとを含む。さらに、この方法は、画像処理アルゴリズムを使用して画像および位置情報を処理するためにホストマシンを使用して、光学デバイスの露光時間を自動的に適合化し、それによりしきい値周囲照明条件の下で画像の特徴データ喪失を防ぐステップを含む。

[0013] 添付の図面と関連させて理解することにより、本発明を実施するための最良の形態の以下の詳細な説明から、本発明の上述の特徴および利点ならびに他の特徴および利点が、容易に明らかになろう。

[0014]
本発明による視覚認知モジュール（ＶＰＭ）を有するロボットシステムの概略図である。 [0015] 図１に図示されるＶＰＭの概略図である。

[0016]
図２に図示されるＶＰＭのアルゴリズムの一部分を説明する図式的流れ図である。 [0017] 図２に図示されるＶＰＭのアルゴリズムの別の部分を説明する図式的流れ図である。

[0018]
多数の視野または角度を介して物体を見ている図１の人間型ロボットの概略図である。 [0019] 図１に図示されるロボットの手に設置することが可能な較正アーチファクトまたは較正物体の概略斜視図である。

[0020]
図１のロボットの視覚ベースタスクトレーニングのために有用な箇所／姿勢教示ポインタツールの概略斜視図である。

[0021] 同様の参照番号が複数の図面にわたって同一または類似の構成要素を指す図面を参照すると、図１は、分散された制御システムまたは制御装置（Ｃ）２４によって制御される、器用な人間型ロボット１０を含むロボットシステムを示す。ロボット１０は、多自由度（ＤＯＦ）により１つまたは複数の自動化されたまたは自律化されたタスクを実施するように適合化される。一実施形態によれば、ロボット１０は、矢印Ａによりその位置が大まかに示唆される肩関節、肘関節（矢印Ｂ）、手首関節（矢印Ｃ）、首関節（矢印Ｄ）、および腰部関節（矢印Ｅ）、さらには各ロボット指１９の指骨間に位置する様々な指関節（矢印Ｆ）などの（それらに限定されない）、複数の独立的に可動なロボット関節および相互依存的に可動なロボット関節によって、構成される。

[0022] 各ロボット関節は、１つまたは複数のＤＯＦを有し得る。例えば、肩関節（矢印Ａ）、肘関節（矢印Ｂ）、および手首関節（矢印Ｃ）などのいくつかの関節は、ピッチおよびロールの形式の少なくとも２ＤＯＦを有し得る。同様に、首関節（矢印Ｄ）は、少なくとも３ＤＯＦを有することができ、腰部（矢印Ｅ）は、１つまたは複数のＤＯＦを有し得る。タスクの複雑性に応じて、ロボット１０は、４２以上のＤＯＦによる動作が可能である。各ロボット関節は、例えば関節モータ、リニアアクチュエータ、直列型弾性アクチュエータ（ｓｅｒｉｅｓ ｅｌａｓｔｉｃ ａｃｔｕａｔｏｒ）、および他のロータリアクチュエータ等々の、１つまたは複数のアクチュエータを含み、この１つまたは複数のアクチュエータにより内部駆動される。

[0023] この人間型ロボット１０は、頭部１２、胴部１４、腰部１５、腕１６、手１８、指１９、および親指２１を備えてよく、それらの中またはそれらの間に、上述の多様な関節が配設される。さらに、ロボット１０は、脚部、トレッド、または、ロボットの特定の用途もしくは意図される用途に応じた別の可動式または固定式ベースなどの、タスクに適した固定具またはベース（図示せず）を備えてもよい。例えば胴部１４の背の上に担持または着用される再充電式電池パックまたは別の適切なエネルギー供給部などの電源部１３が、様々な関節の制御装置およびアクチュエータ、ならびに他の一体型システム構成要素に十分な電気エネルギーを供給するために、ロボット１０に一体的に設置されてよく、または、ロボットの外部に位置し、電気ケーブルを介して接続されてよい。

[0024] 分散された制御装置２４は、人間型ロボット１０の、すなわち、様々な関節と、リレー、モジュール、内部または外部回路構成要素等々の他の組み込まれるシステム構成要素とに対する、正確な動作およびシステム制御を実現し、これには、１つまたは複数の手１８の指１９および親指２１により把持され得る工作物、工具、または他の物体２０を操作するために必要な精密なおよび大まかな動作に対する制御が含まれる。制御装置２４は、他の関節から分離させて各ロボット関節を独立的に制御することが可能であると共に、比較的複雑な作業タスクの実施において多数の関節の動作を完全に調整するために複数の関節を相互依存的に制御することが可能である。

[0025] 制御装置２４は、多数のデジタルコンピュータまたはデータ処理デバイスを含んでよく、これらはそれぞれ、１つまたは複数のマイクロプロセッサまたは中央演算処理ユニット（ＣＰＵ）、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、高速クロック、アナログ／デジタル（Ａ／Ｄ）回路、デジタル／アナログ（Ｄ／Ａ）回路、および任意の所要の入出力（Ｉ／Ｏ）回路およびデバイス、ならびに、信号調整およびバッファ電子機器を有する。したがって、制御装置２４内に位置するまたは容易にアクセス可能な個々の制御アルゴリズムは、ＲＯＭ内に保存されてよく、各制御機能性を実現するために１つまたは複数の異なる制御レベルにて自動的に実行される。

[0026] 制御装置２４は、多数の通信ノードまたは接続ポイントを越えて、および、例えばイーサネット、マルチポイント低電圧差動信号伝送（Ｍ−ＬＶＤＳ： ｍｕｌｔｉ−ｐｏｉｎｔ ｌｏｗ−ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）バス、およびバックプレイン、等々の、多重高速通信ネットワークを介して通信することができる。ノードは、様々なモデム、ハブ、ブリッジ、コンピュータ、データルータ、ワークステーション、サーバ、等々として具現化されてよく、ロボットシステム内の情報の流れを制御する。

[0027] さらに図１を参照すると、制御装置２４は、コマンドレベル制御が、最上位またはマクロレベルにて実現され、関節調整制御が、下位または中間のレベルにて実現され得るという意味において、「分散」される。次いで、中間レベル制御装置は、ある特定のタスクまたは動作の制御に関与する各関節を制御し、これを、多数の低レベル制御装置との直接的な通信を介して行なう。

[0028] したがって、制御装置２４は、本明細書においてはシステムコマンダ２５と呼ばれるコマンドレベル制御装置、および、後に脳幹２７と呼ばれるリアルタイム関節およびシステム調整制御装置を含んでよい。さらに、制御装置２４は、多数の組み込まれた関節レベル制御装置２９を含んでよく、これらは、本説明において示唆されるように、それぞれ、特定の関節またはこの特定の関節により制御される他の一体化されるシステム構成要素の近傍にて、例えばアーム１６内など、ロボット１０の構造体内に組み込まれる。関節レベル制御装置２９は、関節感知、信号処理、および即時アクチュエータ制御を実現する、１つまたは複数の印刷回路基板アセンブリ（ＰＣＢＡ： ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ ａｓｅｍｂｌｙ）として構成されてよい。

[0029] さらに図１を参照すると、両矢印１１により表される制御データおよびフィードバックデータは、人間型ロボット１０と、以下において説明される視覚認知モジュール（ＶＰＭ）３０Ｖを含む様々なレベルの制御装置２４と間において交換されて、ロボットの正確で複雑な動作およびシステム制御を確実なものとすることができる。制御装置２４は、例えば、制御パネル、ディスプレイ画面、および／または他の人間／機械間インターフェース（ＨＭＩ： ｈｕｍａｎ−ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ）デバイスなどの、ユーザインターフェース２２を含んでよい。ユーザインターフェース２２は、作動レベルおよびプログラミングレベルにて人間型ロボット１０へのアクセスを個別に容易化するように構成されてよい。

[0030] 本発明の範囲内において、さらに、制御装置２４は、アプリケーションモジュール３０を含んでよい。各アプリケーションモジュールは、ある特定の環境感知または周囲感知アプリケーションを制御するように構成される。一実施形態においては、コマンドモジュールの中の１つが、ＶＰＭ３０Ｖとして構成され、このＶＰＭ３０Ｖは、器用なタスクを支援する自由度の高い視覚認知能力をロボット１０に与える。ＶＰＭ３０Ｖのかかる環境認知／感知能力または他の関連する制御機能性は、上述の多重高速ネットワークを介して制御装置２４の多様な制御レベルにより中継される。

[0031] 図２を参照すると、ＶＰＭ３０Ｖは、ハードウェア、ソフトウェア、およびセンサを含み、これら全てが、図１のロボット１０にリンクされる。ＶＰＭ３０Ｖにより、作業区域および／またはロボットにより作用を受ける任意の物体（または複数の物体）を照明するための、用途特定的に工学設計された照明システムを必要とすることなく、ロボット１０の視覚ベース作動が可能となる。ＶＰＭ３０Ｖは、従来の態様における固定具類または他のインフラストラクチャを要することなく、困難な照明条件下、低コントラスト表面条件下、等々において、物体または特徴の位置特定および誘導を実現する。

[0032] 一実施形態によれば、ＶＰＭ３０Ｖは、プロセッサまたはホストマシン３２、画像処理アルゴリズム１００の形態のソフトウェア、ならびに、光学センサまたはカメラ３４、および例えば距離測定センサまたは赤外線（ＩＲ）領域撮像装置３６および／またはレーザプロジェクタ４２などの位置データ抽出デバイス（または複数の位置データ抽出デバイス）の形態の、センサを含んでよい。一実施形態によれば、カメラ３４は、少なくとも約５メガピクセルの高解像度カメラとして構成され得るが、他の適切な解像度を実現する異なるカメラを使用して同様の結果を達成することも可能である。

[0033] ホストマシン３２は、１つまたは複数のマイクロプロセッサまたは中央演算処理ユニット（ＣＰＵ）、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、電気的プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、高速クロック、アナログ／デジタル（Ａ／Ｄ）回路、デジタル／アナログ（Ｄ／Ａ）回路、および任意の所要の入出力（Ｉ／Ｏ）回路およびデバイス、さらには、信号調整およびバッファ電子機器を有する、デジタルコンピュータとして構成され得る。アルゴリズム１００は、ホストマシン３２に搭載されたＲＯＭ内に保存されるか、またはホストマシンがアクセス可能な別の位置に保存されてよく、これにより、以下に示されるように、各視覚認知機能性を実現するために自動的に実行され得る。

[0034] ホストマシン３２は、高速接続部３７および各ハブ３８Ａ、３８Ｂを介して、カメラ３４およびＩＲ領域撮像装置３６にリンクされ得る。一実施形態においては、ハブ３８Ａは、イーサネットハブとして構成されてよく、ハブ３８Ｂは、ユニバーサルシリアルバス（ＵＳＢ）ハブとして構成されてよいが、本発明の意図される範囲から逸脱することなく、他のハブ構成を使用することも可能である。カメラ３４、ＩＲ領域撮像装置３６、およびレーザプロジェクタ４２は、ロボット１０の頭部１２内に収容または封入されてよく、一対のカメラが、ロボットの視野内の焦点４０に位置する物体２０（図１を参照）の３次元（３Ｄ）立体視を実現するために、較正された距離だけ分離される。

[0035] さらに、ＶＰＭ３０Ｖは、以下において説明される機能性を有する予備照明デバイス４４を含んでよい。プロジェクタ４２および照明デバイス４４は、図１に図示されるロボット１０の頭部１２内に同様に封入されたフレーム４６に対して設置され得る。さらに、かかるフレーム４６は、ＩＲ領域撮像装置３６およびカメラ３４のそれぞれを支持するように構成されてよい。この態様においては、データ処理は、ホストマシン３２により実施され、カメラ３４、ＩＲ領域撮像装置３６、照明デバイス４４、およびレーザプロジェクタ４２は、頭部１２内に固定的に配置される。

[0036] さらに図２を参照すると、ＶＰＭ３０Ｖは、図１の腰部１５により与えられる軸を含む、４軸リダンダント注視制御ユニット（ＧＣＵ： ｇａｚｅ ｃｏｎｔｒｏｌ ｕｎｉｔ）４８を含む。頭部１２は、少なくとも２ＤＯＦ、すなわち回転および上昇により移動可能である。例えば関節モータ、直列型弾性アクチュエータ、ロータリアクチュエータ、および／またはリニアアクチュエータなどの１つまたは複数のアクチュエータ５０により、頭部１２は、焦点４０を調節するために必要に応じて回転または傾斜することが可能となる。注視に対する正確な動作制御は、図１の制御装置２４および図２のＧＣＵ４８を介して実現され、１つの関節レベル制御装置１９が、図１のロボット１０の首関節内に組み込まれ、この関節の少なくとも１ＤＯＦのためにセンサおよびデータ処理を行なうように専用化される。

[0037] 図１に図示される４２＋ＤＯＦの人間型ロボット１０と組み合わせて、図２のＶＰＭ３０Ｖを使用することにより、上述のように、固定具類および機械的構造体に対する依拠を著しく低減させ得る自動化能力が実現される。この能力により、完全に手動的なプロセスであるインフラストラクチャ要件のセットを殆どまたは全く伴うことなく、自動化されたタスクの実行が可能となる。固定具類によるものではなく認知による誘導によって、ロボットの可動性は、再現性および精度についての実質的に緩い要件を有することが可能となり、タスク関連誘導認知能力を活用することが可能となる。ＶＰＭ３０Ｖにより実現される柔軟なロボット認知能力は、自由度の高いロボット／エンドエフェクタ、特徴認知、および、手動作業タスクを行なう人間のユーザまたはオペレータとの融合を含む方策を適用する。自動型アプリケーションのアレイにわたり高い自由度を有する視覚認知システムにより、生産ミックスおよびビジネスニーズにより必要とされるようなある特定のタスクのセットに対するロボット１０の割り当てが、容易化され得る。

[0038] 図１および図２の構造体と組み合わせて図３を参照すると、図２のアルゴリズム１００は、視覚タスクにおいて使用するための１つまたは複数のカメラ３４から適切に露光された画像を取得するように試みる一部分またはアルゴリズム１００Ａを含む。アルゴリズム１００Ａは、ステップ１０２から始まり、画像を取得する際にカメラ３４により使用されるための露光時間が求められる。一実施形態においては、求められた露光時間値は、同一のアルゴリズム１００Ａにより以前に使用された露光時間であってよい。なぜならば、これらの値は、照明条件が変わらなければ、適切に露光された画像を生成するからである。

[0039] 次いで、アルゴリズム１００Ａは、ステップ１０４に進み、画像露光時間がカメラ３４に対して設定される。設定されると、アルゴリズム１００Ａは、ステップ１０６に進み、例えば工作物、工具、またはロボット１０により作用を受ける物体などの、物体２０の画像が、カメラ３４を使用してＶＰＭ３０Ｖにより取得される。

[0040] 画像取得のタイミングは、ソフトウェアによって、または、外部ハードウェア信号によって制御され得る。多数のカメラが使用される場合には、同期信号が、全てのカメラに同時に送信される。これにより、両立体カメラからの２つの画像の取得が、同一の瞬間に遅れることなく開始されたために、正確な立体視の計算の実施が可能となる。さらに、同期信号は、関節またはデカルト空間のいずれかにおけるロボット１０の位置などの他の情報の記録を開始させることもできる。代替としては、画像取得プロセスは、画像が取得される時間を記録することができ、例えばそれにより、その後の処理が、個々の画像の取得間におけるロボットの動作を補償することが可能となる。

[0041] 画像は、ホストマシン３２のメモリに一時的に記録される。画像データ保存露光制御は、取得された画像の上方および下方の強度成分を自動的に処理し解析することによって、行なわれ得る。次いで、アルゴリズム１００Ａは、ステップ１０８に進む。

[0042] ステップ１０８においては、画像輝度が、ホストマシン３２を使用して算出され得る。画像輝度は、単一のカメラ３４に基づいて算出されてよく、または、２つ以上のカメラからの同時の画像に基づいてもよい。後者の場合においては、測定される輝度は、全ての画像において個別に算出され得るか、または、個々の画像の輝度の数学的組合せ（平均値など）であってもよい。この輝度が、手元の作業に対して十分なものであると判定されると、次いで、アルゴリズム１００Ａは、ステップ１１２に進むか、またはステップ１１０に進み、露光時間が必要に応じて調節される。

[0043] 本発明の範囲内においては、上述の画像輝度の計算の性質は、タスク依存のものである。例えば、暗い画像上の暗い特徴を処理する場合には、画像の輝度は、画像全体内のピクセルの強度のヒストグラムを求め、例えば最も暗い１パーセントなどの、最も暗いピクセルの一定の割合を無視し、次いで、残りの最も暗いピクセルを見ることにより、測定されてよい。そのピクセルの強度値が、許容可能な範囲内にある場合には、次いで、画像全体が、許容可能と見なされる。画像内のピクセルの最も明るい１パーセントを無視することにより輝度測定を求めることを除いては、同様の計算を、ホワイト・オン・ホワイト処理についても行なうことが可能である。

[0044] ステップ１０６において、画像輝度が許容範囲内にないと判定される場合には、次いで、アルゴリズム１００Ａは、ステップ１１０に進み、例えば新規の露光時間が計算されるなど、露光時間が調節される。露光時間は、画像が暗すぎるかまたは明るすぎるかのそれぞれに応じて、必要に応じて増減され得る。この計算は、画像が明るすぎるまたは暗すぎる量、ピクセル強度の分布、および、露光時間に対してカメラにより課される制限を考慮に入れることができる。

[0045] ２つ以上のカメラ３４が使用される場合には、カメラに対する露光時間が、カメラにより得られた画像の輝度に基づいて個別に調節され得るか、または、互いに対する一定の関係に保たれ得る。後者の場合においては、露光時間は、ステップ１０８におけるように、単一のカメラ３４または複数のかかるカメラに基づくことが可能である。露光時間を一定の関係に維持することにより、異なるカメラゲイン設定、アイリス絞り開口、または画像輝度に影響を与える他の要素に対する補償が行なわれる。カメラ露光時間同士の間における関係性は、典型的には、露光時間の比として表すことができ、この比は、カメラ３４が同一のシーンを狙う際に得られる画像の相対的輝度を測定する較正処置を用いて求められる。カメラ３４が、同一であると見なされる場合には、この比は、１に等しいものと見なすことが可能であり、それにより、全てのカメラは同一の露光時間を有する。

[0046] 照明条件が、しばしば、複数の画像がカメラ３４により取得されるタイムフレームにわたって、ほぼ安定することが可能であるため、最後に収束した露光時間は、ステップ１１２にて、その後の画像取得サイクルへとフィード・フォーワードされ得る。露光のフィード・フォーワードにより、露光時間に対する最適な初期値がもたらされ、引き続き使用可能な画像を取得するために１つの追加の画像取得サイクルのみが必要となる可能性が高まる。

[0047] 図４を参照すると、図２のアルゴリズム１００は、さらに、例えば黒い工作物上の黒い刻み目など、単色物体上の特定の特徴を位置特定するために、実質的にブラック・オン・ブラックの画像を解析するための一部分またはアルゴリズム１００Ｂを含んでよい。この能力は、前述の画像データ保存露光制御、すなわち図３のアルゴリズム１００Ａの使用に依拠し、それにより、画像データは、過度に短いまたは長い露光時間によって喪失されないようになる。

[0048] アルゴリズム１００Ｂは、ステップ１１４で始まり、最大しきい値関心区域が、さらなる評価のために、比較的大きな画像において、すなわちアルゴリズム１００Ａのステップ１０２にて収集された画像において、選択される。ステップ１１６で、この選択された区域が、ヒストグラムを使用して自動的に評価され、これにより関心区域の照明の範囲の程度が判定される。アルゴリズム１００Ｂは、次いでステップ１１８に進む。

[0049] ステップ１１８にて、評価される範囲が、比例的に拡張され、コントラストを強化するために試験区域または関心区域に適用される。試験区域における強度レベルのヒストグラムは、強度の範囲および分布に基づいて評価される。多くの場合、画像の使用可能なダイナミックレンジのサブセットである、分布の上限および下限に基づき、分布の範囲は、この分布が、平坦化し、使用可能な強度値のダイナミックレンジ全体を満たすように、初期値に対して強度オフセットを線形追加することにより拡張され得る。この技術により、強度がほぼ暗いまたはほぼ明るい試験区域の条件についてのコントラストが、有効に平坦化および強化される。

[0050] 次いで、アルゴリズム１００Ｂは、ステップ１２０に進み、画像勾配が、検出され、ここでは特徴が、画像内において識別され得る。さらに、後のステップにおける作業に干渉し得る選択された画像データを破棄するために、他の画像処理ステップをこのステップにおいて行なうことが可能である。これらの作業には、ある特定の値の範囲内の画像を「しきい値処理」すること、および、しきい値区域の形状に基づき関心区域を「ブロブ処理」する（「ブロブ処理」という語が当技術において理解されるように）ことが含まれ得るが、それらに限定されない。

[0051] ステップ１２２で、これは、ステップ１１８および１２０における以前の処理の産物であった単純化された画像に対して作用する作業を含み得るが、これに限定されない。単純化された画像内に現れる関心特徴は、輪郭モデルまたは他の適切な手段に基づいて、マッチングされ得る。このようにして、特徴認識および／または他の作業のロバストネスおよび速度が、前のステップにおいて実施される単純化により大幅に促進される。

[0052] 図５を参照すると、ロボット１０は、手１８の中に、例えばトルク感知固定具ドライバまたは他の工作物などの、物体２０を保持して図示される。ＶＰＭ３０Ｖ（図２を参照）のセンサの殆どが、上述のように、ロボット１０の頭部１２内に封入される。追加のカメラ３４Ａおよび３４Ｂは、ロボット１０の前腕、手のひら、または胸部領域に、および、例えば天井、壁、支柱、またはロボット作業セルもしくは作業エンベロープ内の他の適切な頭上表面または位置などの、頭上構造体４５に、それぞれ設置され得る。カメラ３４Ｂは、例えば、運搬者状態またはグローバルシーン認識を判定するために使用されてよい。頭上カメラは、関心物体の大まかな位置測定を実現するか、または、任意の所望の部品のプロセスなど（それに限定されない）プロセスの状態を提供する。

[0053] 本発明の範囲内において、最適な視点を提供するために、物体２０に対して実施されるタスクの様々な視座の自動的な統合がなされる。有すべき１つまたは複数のより重要な視座は、物体２０に対面する手１８の手のひらの視点である。この特定の視座により、物体２０との接触がなされる前に、およびロボット１０の任意の触覚が使用可能となる前に、手１８の把持へのアプローチにおけるより正確なセンタリングが可能となる。これらの技術に内在するものは、様々なセンサの視認範囲および視野のコレジストレーションである。

[0054] 当業者には認識されるように、大量のアレイデータの処理は、時間がかかるのみならず、タスクと無関係なもの（ｔａｓｋ−ｉｒｒｅｌｅｖａｎｔ）または誤ったマッチングに至る可能性もある。他方において、空間的注意機構は、有限な計算リソースを、タスクと関係性があり、さらに誤ったマッチングを引き起こす可能性の少ない、捜索空間の領域に送ることが可能である。本明細書において使用される際に、空間的注意機構という語は、レンジ技術、エピポーラ／ステレオ幾何学技術、および／または、視野キューイング技術を指す。

[0055] 再び図２を参照すると、レンジキューイングは、タスクに関係性があり、マッチングの可能性を含む、捜索空間の領域に対して、比較的低速の比較的高解像度のセンサを向けるために、比較的高速の低解像度センサを使用する。一実施形態においては、ＩＲ領域撮像装置３６の形態の高速低解像度センサを使用することにより、比較的高速の高解像度ステレオカメラ、すなわちカメラ３４にキューイングを行なう飛行時間型（ＴＯＦ： ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）データが供給され、次いでこれは、予備領域照明デバイス４４から必要に応じて構造化された光の配置をキューイングすることができる。

[0056] タスク関連性に基づくレンジキューイングの一例は、ロボット１０の作業エンベロープの外部に位置し、特徴の引き続いての高解像度特定をセグメント化する領域を、無視することである。なぜならば、レンジ画像内のこの位置は、高解像度カメラ３４の視野に変換されるからである。マッチングの可能性に基づくレンジキューイングの一例は、センサの比較的近いレンジに位置する他の物体により塞がれるボリュームを無視することである。

[0057] さらに、ＩＲ領域撮像装置３６およびカメラ３４は、無特徴表面を位置測定するＩＲ領域撮像装置の能力など、相補的特徴を提供する。さらに、これは、ステレオカメラ３４が単独では行なうことが不可能なタスクである、予備照明デバイス４４からの構造化された光によって改良させることが可能であり、例えば、ＩＲ領域撮像装置から構造化されたＩＲ光源を圧倒する直射日光によりタスク領域が照明されて、センサからのレンジ画像出力の損失がもたらされる条件などの、大量のＩＲ照明に対処するステレオカメラ３４の能力によって改良させることが可能である。

[0058] エピポーラ・キューイングは、三角測量制約を適用して、１つのカメラ３４の視野から、その姉妹カメラ、すなわち他のカメラ３４内のわずかな列のみへと捜索を向ける。捜索列の幅は、ＩＲ領域撮像装置３６により提供され得るおおよその深度、または関心物体のサイズを認識することにより、さらに制限されてよい。視野キューイングは、比較的大きな特徴または物体に対する比較的小さな特徴または物体の相対位置に基づいて、比較的小さな特徴または物体を位置特定することを指す。

[0059] 例えば、視野全体にわたる、ケーブルの先端または構成要素のロケータホールの位置特定は、計算コストが高くなる場合があり、誤ったマッチングの傾向があり得る。しかし、ケーブルトグルまたは構成要素端部からのオフセットを使用した後に同一のケーブル先端またはロケータを捜索することにより、より高速で、おそらくより確実なマッチングが得られ得る。次いで、１つのカメラの視野における小さな特徴または物体の発見は、ＩＲ領域撮像装置３６により生成され得る大まかな深度または関心物体のサイズに基づいてステレオ三角測量を方向付けることが可能である。キューイング技術に内在するものは、センサの範囲および視野のコレジストレーションである。

[0060] 図５と組み合わせて図６を参照することにより、眼と手による較正（ｅｙｅ−ｈａｎｄ ｃａｌｉｂｒａｔｉｏｎ）が、幾何学的パターン６０を有するエンドエフェクタ設置物体２２０を使用することにより実現することが可能となり、ロボット１０の手１８の３Ｄ位置および６ＤＯＦ姿勢が抽出される。この較正物体２２０は、好ましくは図６に図示されるように容易に識別可能なハイコントラストマーキング６２を有する物体であるが、設置ホール６３を介してエンドエフェクタの把持部、すなわち手１８の手のひらの中心部に固定され得るか、または、既知の寸法再現性でロボット１０の把持部内に確実に保持され得る。これにより、ＶＰＭ３０Ｖの視覚的視野内に配置されたエンドエフェクタの位置の計測が可能となる。

[0061] 頭部１２に対する物体２２０の位置および配向（６ＤＯＦ姿勢）の３Ｄ位置は、好ましくは高解像度立体撮像技術を使用して、ＶＰＭ３０Ｖにより判定され得る。較正を実施するためには、ロボット１０は、その視野内の多数の位置へと較正物体２２０を移動させ、較正物体に対して注視を定めるように、命じられ得る。各位置において、ロボットの内部角度センサにより測定される関節角度が、頭部１２に固定された調整フレーム内の構成物体２２０の６ＤＯＦ姿勢と同様に、記録され得る。

[0062] 較正アルゴリズム（図示せず）は、好ましくは、較正物体２２０の様々な測定された姿勢に眼／手関係の運動モデルの予測をマッチングするために最小二乗適合を使用して、幾何学的運動空間にロボット１０の視覚空間を位置合わせするために、実施され得る。代替としては、二乗和の代わりにエラー成分の絶対値の和などの他のエラー測定値が、最小限化され得る。一実施形態においては、較正されたパラメータは、ロボット手１８から腕１６を上り（図１を参照）、ロボット１０の首に沿いフレーム４６まで（図２を参照）通じる運動連鎖において測定された関節角度のゼロオフセットを含んでよい。十分な精度により十分な数の姿勢を測定した後には、ロボットのリンクの運動モデルに対する精密な調節を行なうことも可能となる。この技術は、ＶＰＭ３０Ｖの計量能力を利用し、較正を実施または確認するための他の予備の計量デバイスの必要性を回避する。

[0063] 眼と手による較正は、両手１８にまで拡張させることが可能であり、さらに、カメラ３４Ｂなどの外部設置カメラとの調整を含むように拡張させることが可能である。第２の手に較正を拡張するために、較正物体は、第２の手まで移動され、関節の角度および物体姿勢の対応する視覚的測定値を含む別のデータセットが、再度多数の手の位置にて収集される。２つの手／眼間の連鎖、すなわち首関節と任意の介在リンクに共通の運動連鎖の部分が、両手からの測定値の集合に最小二乗最小化を適用することにより、較正され得る。

[0064] 腰部関節１５または他の下肢などのロボットの運動連鎖の残りを較正するために、較正物体２２０は、頭部から較正物体までの運動連鎖が測定されるべき関節を含むように、頭部１２からより位相幾何学的に離れて位置する任意のリンク上の既知の位置に配置されてよい。この位相幾何学的に離れたリンクが、ロボット１０の届く範囲内にある場合には、リンク上への較正物体２２０の配置は、ロボットにより自動的に達成されることが可能となり、他の場合には、人間のオペレータの介入が必要になり得る。

[0065] 最後に、任意の外部設置カメラ、例えばカメラ３４Ｂを較正するために、ロボット１０は、外部設置カメラ（または複数の外部設置カメラ）に対して較正物体２２０を示し、内部測定される関節角度と、外部カメラにより測定された較正物体の位置との両方を記録することができる。以前に較正された眼／手運動モデルを使用して内部計算された較正物体２２０の姿勢を、例えば３４Ｂなどの外部カメラにより測定された姿勢と比較することにより、ロボット１０に対する外部カメラの３Ｄ位置および配向が明らかになる。多数のかかる姿勢の測定値は、最小二乗を使用して分解されてよく、それにより、較正の精度が改善される。この態様においては、このカメラからの関心の他の物体または特徴のその後の測定値が、ロボットの内部基準フレーム内において正確に変換されて、かかる物体を拾い上げるまたは他の場合にはかかる物体と相互にやり取りを行なうために必要となるようなこれらの物体または特徴に対する正確な動作が促進される。

[0066] 図７を参照すると、３Ｄおよび６ＤＯＦ姿勢教示ポインタツール６６により、ロボットの視野内における、ロボット１０の様々なシステム位置および／または姿勢を「教示する」または「示す」ことが可能になり得る。このポインタツール６６は、手元のプロセスに適合可能な必要な任意の実用的サイズに縮尺設定され得る。ポインタツール６６は、ポインタヘッド６４と、例えばバー、ロッド、または他の剛性延在部などの連結部分６５を介して連結されるハンドル６８とを備えてよい。一連の視覚追跡基準マーク１６２が、ヘッドに配置される。ポインタツール６６を使用することにより、直ぐ近くのロボット１０の作業エンベロープに進入する必要性を伴わずに、デカルト空間内における様々な箇所および／または姿勢の高速かつ容易な箇所教示が可能となり得る。オペレータが、関心領域、すなわち箇所１４０へとポインタツール６６を向けると、上述のように、画像が取得され、処理され、ポインタヘッド６４の中央位置および姿勢が、カメラ３４の空間的に較正された視野内において判定される。

[0067] この位置および姿勢は、ポインタヘッド６４の物理的構造に基づいて既知のオフセットによりポインタツール６６の先端に数学的に輸送され得る。図１のロボットシステムがその後の作動において使用することが可能な「教示された箇所」としてさらに使用するために、制御装置２４に戻されるのは、ポインタツール６６が指し示しているこの位置および姿勢である。高フレームレートにてポインタの位置を連続的に更新することにより、ロボットシステムによりさらに使用されるように保存される幾何学形状に従うまたは幾何学形状を描くために使用され得る経路の取得がなされる。これは、新規のタスクに対するシステムの設定および構成を著しく容易にするために、自由度の高い認知システムの計量能力を利用する。

[0068] 再び図２を参照すると、一体構造化された光システムが、予備照明デバイス４４を介して設けられ得る。レーザプロジェクタ４２からのレーザ光の２つの交差平面が、従来のステレオディスプレイ技術が使用不能である比較的特徴のない表面および形状を有する物体２０から位置情報を抽出するために使用され得る。レンジ機能は、右および左の画像の両方における光の２つの平面の交差部の中心を見出し、次いで、平面光交差部の異なる特徴位置に対して双眼較正および交差視線を与えることにより支援されて、反射光が観察される表面の３Ｄ位置を判定することが可能となる。

[0069] ３Ｄスキャニングおよび機器を備えた表面モデル再構築は、４軸リダンダントＧＣＵ４８により表面にわたってレーザ光ストリップをパンすることによって達成することが可能であり、較正されたカメラによるストリップ位置が記録され、画像モデルが再構築される。さらに、ＧＣＵ４８は、基本的に同一のシーンの多数の視座を得るために使用され得る。さらに、これらの異なる視座の評価は、代替の視点に対して適応性の標的注視コマンドを供給することが可能である。これにより、物体曖昧性除去技術の実装のための能動注視制御視覚が可能となり、既知のカメラ位置動作に対するレンジ較正チェックが可能となり、「再トライ」注視制御によるオクルージョン解像が可能となる。

[0070] 例えば手１８などのエンドエフェクタ内にロボットが把持する物体２０の位置は、エンドエフェクタがその把持部内の物体を正確に固定することが不可能である場合には、認識されることが重要である。自由度の高いエンドエフェクタの１つの目的は、物体が初めの把持位置からスリップすることなく、物体２０を少なくとも制御することである。これは、把持部内に保持される物体２０の正確な位置が認知されていないため、固定的把持とはやや異なる。工具の形態の物体は、特定の作業タスクの実施において、継続的に再利用されるため、マークが、ＶＰＭ３０Ｖの視野内の位置または姿勢の確実な判定を容易にするために、物体２０の可視領域に加えられてよい。これらのマークは、各物体２０に固有のものであってよく、さらに、作業スペース内における物体の見出されるランダムな位置に対するアプローチ経路および把持方策の生成を容易にするために、物体の各姿勢内において固有のものであってよい。

[0071] 本発明の範囲内において、高フレームレート高解像度２重カメラ追跡、すなわち頭部１２内に封入されたカメラ３４の追跡は、カメラの一方を他方よりも低解像度および高フレームレートにて作動させることによって、可能となる。第１のカメラからの画像は、視野内の所望の捜索区域をセグメント化するために、および、その後の画像更新および視野内の位置の増分変化のために標的の位置に対して「粗ロック」を行なうために、使用され得る。この標的セグメント化の位置は、ホストマシン３２による画像処理のための第２の高解像度カメラの画像平面内に転送されてよく、詳細な解析および同一の視野内の比較的小さな特徴を含む。

[0072] この実施により、視野全体が同一のタスクについて評価される場合に、通常可能となるものよりも、より高解像度にてより高速で直接的な画像解析タスクの適用が可能となり得る。高レート追跡は、高精度画像フレーム取得に対して非同期的に実行され得る。画像は、取得時にタイムスタンプを与えられてよく、その結果得られるものが、評価時に同期されて、正確な結果による応答性およびロバスト物体追跡が可能となる。デカルトまたは関節位置フィードバックのサンプリングもまた、画像データの最も近い時間距離位置合わせが達成され得るように、タイムスタンプを与えられ得る。さらに、この技術は、画像取得とこの画像および他のデータのための記録されたタイムスタンプとの近い調整が行なわれるように、１つまたは複数のカメラ３４が専用の信号により作動される場合に、適用可能となる。これにより、画像およびロボットの瞬間位置および他の関連するデータの最も正確な同期が可能となる。

[0073] グレーレベル値による、またはカラーによる画像セグメント化のプロセスは、比較的大きな特徴および物体に対する比較的小さな特徴および物体の相対的位置に基づく、比較的小さな特徴および物体の位置特定を指す。例えば、ロボット１０の視野全体にわたりねじの先端を位置特定することは、計算コストが高く、誤ったマッチングの傾向があり得る。しかし、例として、暗画像領域に対して黄色のパワードリル／ねじ回しからのオフセットを使用した後に同一のねじの先端を捜索することは、より高速のおよび場合によってはより確実なマッチングが得られる。

[0074] さらに、ＩＲ領域撮像装置３６を使用することにより、マルチスペクトル成分が得られ、これは、従来の機械視覚システムにおいては典型的には見出されないものである。例えば２つの表面が電磁スペクトルの可視部分において同様に見え、一方で電磁スペクトルのＩＲ部分においてより明確に区別が可能であり、熱含有量および含水量はＩＲ撮像装置が役に立つ場合の２つのケースとなる。これらのキューイング技術に内在するものはセンサのホワイトバランスポイントの較正である。この較正は、例えば一日の間の太陽光の量の違い、または工場の異なる場所において使用される頭上光の違いなど、周囲の照明条件に基づいて変わり、例えばマクベスカラーチェッカーまたは他の適切な較正アーチファクトなどの、既知の反射率の較正アーチファクトを使用して較正され得る。

[0075] 図２に図示されるＶＰＭ３０Ｖの自由度の高さの一部は、ＶＰＭの視覚認知能力が変化する周囲の照明条件の下で確実なものに留まることが、必要となる。構造化されたまたは工学設計された照明の厳格な条件は、一連の様々な複雑な組立タスクのための多数の視覚ベース機能を実現するロボットシステムにとって実際的なものとはなり得ない。したがって、視野内の条件の部分的知識を利用し、次いで、後のアルゴリズムステップのための画像のさらなるセグメント化においてさらに使用されることとなる適切なしきい値（または複数のしきい値）を抽出するためにこの情報を使用する、適応性のあるしきい値処理技術が、実現される。

[0076] ＶＰＭ３０Ｖは、セグメント化されることとなる物体のために画像内において関心区域を位置特定する。これらの小さな区域は、区域のヒストグラムの優勢ピークの評価に基づいて、それらの区域の相当するグレースケールまたはカラー強度値について選択される。次いで、この情報は、視野内の背景または他の物体を含む物体区域を差異化するしきい値レベルを算出するために使用される。

[0077] ＧＣＵ４８は、所望の視野の方向にセンサおよび照明デバイス向ける際に重要な役割を果たす。ロボット１０のサーボ制御される「頭部」および「首部」構成要素は、プログラム制御の下において、所定の位置を特定するために、または、手元のタスクのために必要に応じて視野内の特徴を捜索および／または追跡するために、配向され得る。さらに、自動注視機能性は、頭部軸および首軸の配向および構成を明確にプログラミングする必要性を低減させ得る。なぜならば、ロボット１０の視野内において見出されるおよび／または追跡される特徴間の相互作用は、ロボットの確立された運動較正およびＶＰＭ３０Ｖの空間的基準フレームを介して頭部および首部を配向するために、使用され得るためである。

[0078] ロボット１０のタスク環境が比較的構造化されていないことにより、視野内において特徴または物体を初めに捜索する際に、大まかな位置関係性のみを前提とすることが可能となる。この捜索の第１のセグメント化においては、詳細な標的特徴に関連付けされる、見出すことが容易な基準特徴が、視野内のいずれかにて位置特定される。位置特定されない場合には、次いで、タスクエラーが生成されるか、または、注視が変更するように命じられ、新しい画像（または複数の新しい画像）に対して捜索が繰り返され得る。手元のタスクに基づいて、詳細な特徴が、見出されてよく、または、標的特徴を視野の特定の区域内においてみることが可能となるように、注視が命じられ得る。

[0079] これは、標的特徴が見出されるが、例えば、他の特徴を画像の右側にも見ることが可能となるように、画像の左側の中に見出されることが望ましく、それにより距離を測定することが可能となり、または、さらなる位置判定または姿勢判定のために物体を立体的に両方のカメラ３４により同時に見ることが可能となる例において、有効となり得る。これは、わずか数個の画像および注視制御コマンドにおいて、または、移動標的の高フレームレート追跡および連続注視追跡サーボにおいて、プログレッシブシーケンスにおいて実現することが可能である。標的特徴の連続注視追跡サーボは、移動標的が視野内に留まることが可能となり、および／または、さらに構造化されたもしくは工学設計された照明が関心特徴の確実な追跡を行なうことが可能となるため、重要である。

[0080] 実に自由度の高いエンドエフェクタは、例えば指１９などの、複数の顎部または指を有してよく、これらは多様な把持タスクを実施するために必要な多自由度を有してよい。これらの把持構成要素は、サーボ制御されてよく、リンクまたは上述のように任意の実装技術の組合せにより作動されてよい。エンドエフェクタのＤＯＦ角度または変位の関係性および位置フィードバックデバイスは、それらの実際の機械的絶対位置に対して適切に較正されるべきである。

[0081] ＶＰＭ３０Ｖは、エンドエフェクタ構造体の上の非移動基準に対する個々の把持構成要素の姿勢および移動を観察することにより、この較正機能を支援するために使用され得る。位置合わせマークまたは把持リンク構成要素を、画像内に見出すことが可能であり、これらの幾何学的関係は、視覚的に判定されてよく、エンドエフェクタは、視野内において好ましい姿勢にて保持される。

[0082] 同様に誘導において、および掴むことにおいて、ロボット１０および／または物体２０に対する損傷を回避するために、ならびに他の物体またはオペレータとの意図されない接触を回避するために、障害物回避技術が使用されてよい。障害物回避は、エゴモーションおよび外部モーションの両方が可能であるため、動的プロセスである。以前の障害物回避技術が、ロボットの直近の周囲環境に対して焦点を置くのに対し、ＶＰＭ３０Ｖは、異なる、可能な場合には重複しない領域のセンサとの、相互作用エージェントのネットワークを考慮する。ロボット１０、静的アセンブリセルカメラ、人間のオペレータ、および部品配送システムまたは車両が、これらのエージェントの例である。

[0083] オフボード処理からの障害物回避警告は、ホストマシン３２を経由してロボット１０に届き、それにより、ロボット１０は、最大飛翔速度を下げ、衝突が生じる際にモーメントを低下させ、または、関節コンプライアンスを変更し、移動経路を制限し、等々を行なう。さらに、ホストマシン３２は、例えば、人間の安全性または部品キットのキューイングのために、オーディオ信号および／またはビジュアル信号を作動させることによって、安全性および／または効率性の理由からトラフィックを調整するように、ロボット１０の現在のおよび意図された移動経路を伝えることが可能である。

[0084] ＶＰＭ３０Ｖの全ての機械視覚ベースタスクの土台となるものは、放射較正である。考慮に含まれるものは、デッドピクセルの効果の除去、暗電流の効果の除去、ピクセル応答曲線の正規化、口径食の補償、熱効果のモデリング、等々である。典型的には、以前の較正方法は、例えば単一のカメラ３４など、センサ自体を考慮するが、本発明は、例えば多数のカメラ３４、３４Ａ、３４Ｂ、ＩＲ領域撮像装置３６、等々など、相補的センサからの融合情報をも考慮することができる。

[0085] 例えば、１つのカメラ３４が、熱効果を被っている場合には、ピクセル値は、初めに、熱モデルに基づいて正規化されてよく、極限の熱効果の限度においては、その姉妹カメラまたはアセンブリカメラから得られてよく、新規のアルゴリズムのフォールト・トレランスを生じるように処理される。さらに、放射較正は、前述の動的露光アルゴリズムについての線形反応曲線を生じさせ、これは、所望の露光を求めることにおける捜索時間を著しく短縮し、可能な場合には無くす。例えば、較正がない場合には、２倍の明るさの画像を取得するためには、１．７から２．４倍の露光時間が必要となり、較正後には、新たな露光時間が、直接的に計算され得る。

[0086] 本発明を実施するための最良の実施形態を詳細に説明したが、この発明が関係する技術の当業者には、添付の特許請求の範囲内において本発明を実施するための様々な代替の設計および実施形態が認識されよう。

１０ 人間型ロボット
１１ 制御データ、フィードバックデータ
１２ 頭部
１３ 電源部
１５ 腰部
１６ 腕
１８ 手
１９ 指、ロボット指
２０ 物体
２１ 親指
２２ ユーザインターフェース
２４、Ｃ 分散された制御システム、制御装置
２５ システムコマンダ
２７ 脳幹
２９ 関節レベル制御装置
３０ アプリケーションモジュール
３０Ｖ 視覚認知モジュール
Ａ 肩関節
Ｂ 肘関節
Ｃ 手首関節
Ｄ 首関節
Ｅ 腰部関節
Ｆ 指関節
３２ プロセッサ、ホストマシン
３４ 光学センサ、カメラ
３６ 距離測定センサ、赤外線領域撮像装置
３７ 高速接続部
３８Ａ ハブ
３８Ｂ ハブ
４０ 焦点
４２ レーザプロジェクタ
４４ 予備照明デバイス
４６ フレーム
４８ ４軸リダンダント注視制御ユニット
５０ アクチュエータ
１００ 画像処理アルゴリズム
３４Ａ 追加のカメラ
３４Ｂ 追加のカメラ
４５ 頭上構造体
６０ 幾何学パターン
６２ ハイコントラストマーキング
６３ 設置ホール
６４ ポインタヘッド
６５ 連結部分
６６ ６ＤＯＦ姿勢教示ポインタツール
６８ ハンドル
１４０ 箇所
１６２ 視覚追跡基準マーク
２２０ エンドエフェクタ設置物体、較正物体

Claims (18)

1. 少なくとも１つのアクチュエータを使用してそれぞれが可動である複数のロボット関節を有する人間型ロボット、ならびに
   前記ロボット関節のそれぞれの動作を制御するように構成された分散された制御装置であって、所定のしきい値の周囲照明条件下において前記ロボットの視野内の物体を視覚的に特定および追跡するように適合化された視覚認知モジュール（ＶＰＭ）を備える、分散された制御装置
   を備え、前記ＶＰＭは、前記物体の画像を収集するための複数の光学デバイスと、前記物体の位置情報を検出するためのレーザデバイスおよび領域撮像デバイスの中の少なくとも１つと、前記画像および前記位置情報を処理するためのアルゴリズムを有し、それにより前記物体を視覚的に特定および追跡するホストマシンとを含み、前記ＶＰＭは、前記しきい値照明条件下において前記画像の特徴データ喪失を防ぐために、前記光学デバイスの露光時間を自動的に適合化させるように構成される、ロボットシステム。
2. 前記人間型ロボットは、前記光学デバイス、前記レーザデバイス、および前記領域撮像デバイスを封入する可動頭部を備え、さらに、少なくとも４つの移動軸を介して可動頭部を制御するための注視制御ユニットをさらに含む、請求項１に記載のロボットシステム。
3. 前記光学デバイスは、少なくとも約５メガピクセルを用いて画像を取得するように適合化された、少なくとも１対の同一に構成された高解像度カメラを備える、請求項１に記載のロボットシステム。
4. 前記範囲撮像デバイスは、近距離赤外線（ＩＲ）時間飛行型（ＴＯＦ）デバイスとして構成される、請求項１に記載のロボットシステム。
5. 前記ＶＰＭは、割り当たられた作業エンベロープ内にて作業シーケンスおよび作業姿勢の少なくとも一方を前記ロボットに示すことにより、新規の自動化されたタスクに対して前記人間型ロボットをトレーニングするように適合化される、請求項１に記載のロボットシステム。
6. 前記アルゴリズムは、ヒストグラムを使用して前記画像の小さな関心区域を自動的に評価して、前記関心区域の照明の範囲の度合いを判定し、次いで、前記ホストマシンを使用して前記照明範囲を処理し、それにより関心特徴を特定することによって、前記物体上のブラック・オン・ブラックまたはホワイト・オン・ホワイト関心特徴を識別するように適合化される、請求項１に記載のロボットシステム。
7. 前記複数の光学デバイスは、少なくとも追加のカメラを備え、前記ＶＰＭは、前記少なくとも１つの追加のカメラからの情報を用いて、前記物体の様々な視座を統合するように構成される、請求項６に記載のロボットシステム。
8. 所定のしきい値周囲照明条件の下で人間型ロボットの視野内の物体を視覚的に特定および追跡するように適合化された視覚認知モジュール（ＶＰＭ）であって、
   前記物体の画像を収集するように構成された複数の光学デバイスと、
   レーザデバイスおよび範囲撮像デバイスの少なくとも一方を含む位置抽出デバイスであって、前記物体の位置データを抽出するように構成された位置抽出デバイスと、
   ホストマシンと、
   前記ホストマシンを介して実行可能なアルゴリズムと
   を備え、前記ホストマシンによる前記アルゴリズムの実行は、前記画像および位置データを処理し、それにより前記光学デバイスの露光時間を自動的に適合化させ、それにより前記しきい値周囲照明条件下において物体の取得された画像の特徴データ喪失を防ぐ、視覚認知モジュール（ＶＰＭ）。
9. 前記人間型ロボットは、前記複数の光学デバイスおよび前記位置抽出デバイスを封入する可動頭部を備える、請求項８に記載のＶＰＭ。
10. 前記光学デバイスは、少なくとも約５メガピクセルを用いて前記画像を取得するように適合化された、少なくとも１対の同一に構成された高解像度カメラを備える、請求項８に記載のＶＰＭ。
11. 前記位置抽出デバイスは、近距離赤外線（ＩＲ）時間飛行型（ＴＯＦ）デバイスとして構成される、請求項８に記載のＶＰＭ。
12. 前記ＶＰＭは、割り当てられた作業エンベロープ内にて作業シーケンスおよび作業姿勢の少なくとも一方を前記ロボットに示すことにより、新規の自動化されたタスクに対して前記人間型ロボットをトレーニングするように適合化される、請求項８に記載のＶＰＭ。
13. 前記アルゴリズムは、ヒストグラムを使用して前記画像の小さな関心区域を自動的に評価して、前記関心区域の照明の範囲の度合いを判定し、次いで、前記ホストマシンを使用して前記照明範囲を処理し、それにより関心特徴を特定することによって、前記物体上のブラック・オン・ブラックまたはホワイト・オン・ホワイト関心特徴を識別するように適合化される、請求項８に記載のＶＰＭ。
14. 前記複数の光学デバイスは、少なくとも追加のカメラを備え、前記ＶＰＭは、前記少なくとも１つの追加のカメラからの、ならびに、前記ロボットの手のひら、前腕、および胸区域の中の少なくとも１つからの情報を用いて、前記物体がロボットから離れて位置する際に、前記物体の様々な視座を統合するように構成される、請求項８に記載のロボットシステム。
15. しきい値照明条件の下において人間型ロボットの視野内の物体を特定および追跡する方法であって、
    前記物体の画像を収集するために複数の光学デバイスを使用するステップと、
    前記物体の位置情報を抽出するためにレーザデバイスおよび領域撮像デバイスの少なくとも一方を使用するステップと、
    視覚認知モジュール（ＶＰＭ）のホストマシンを使用して、前記画像および位置情報を処理するステップと
    を含み、前記ホストマシンは、アルゴリズムを使用して、前記光学デバイスの露光時間を自動的に適合化させ、それにより、前記しきい値照明条件の下で前記画像の特徴データ喪失を防ぐ、方法。
16. 割り当てられた作業エンベロープ内にて作業シーケンスおよび作業姿勢の少なくとも一方を前記ロボットに示すことにより、新規の自動化されたタスクに対して前記人間型ロボットをトレーニングするステップをさらに含む、請求項１５に記載の方法。
17. 前記画像を処理するステップは、ヒストグラムを使用して前記画像の小さな関心区域を自動的に評価して、前記関心区域の照明の範囲の度合いを判定し、次いで、前記ホストマシンを使用して前記照明範囲を処理し、それにより関心特徴を特定することによって、前記物体上のブラック・オン・ブラック関心特徴を識別するステップを含む、請求項１５に記載の方法。
18. 前記人間型ロボットは、測定可能な関節角度をそれぞれが有する複数の適合関節を備え、前記方法は、
    前記人間型ロボットの把持部および視野内に前記物体を位置決めするステップと、
    一連の姿勢を介して前記人間型ロボットおよび物体を移動させるステップと、
    前記一連の姿勢を介して前記物体が移動する際に前記物体を追跡するために前記ホストマシンを使用するステップであって、前記関節角度をそれぞれ測定することを含むステップと、
    前記ホストマシンを使用して前記関節角度を記録するステップと、
    前記記録された関節角度を使用し、それにより前記人間型ロボットの眼／手調整を較正するステップと
    をさらに含む、請求項１５に記載の方法。

Images