JP2019089157A - 把持方法、把持システム及びプログラム - Google Patents

Abstract

【課題】三次元計測情報を取得できない領域が存在しても、対象物を把持することができる把持方法を提供すること
【解決手段】複数の指を備える多指ハンドＨを用いて対象物Ｗを把持する把持方法である。
三次元計測センサ１６を用いて対象物Ｗを含む領域を計測し、三次元情報を取得する距離情報取得ステップと、領域内に三次元情報を取得できない領域が存在する場合は、両者を区分し、指の開閉方向軸上において未計測領域ＵＡを挟んで隣接する２つの位置に対応する距離情報のうち、距離が近いことを示す距離情報で補完する。そして、対象物Ｗを把持するための指の間隔を決定し、これに基づき多指ハンドを制御する。
【選択図】図１

Description

本発明は、把持方法、把持システム及びプログラムに関する。

多指ハンドを用いて、ワークを把持するための方法として、特許文献１には、ワークを三次元計測して得られたワーク計測データ及びワークを把持するためのハンド形状データに基づいて、把持位置姿勢を導き出すワーク取り出し方法が開示されている。

この特許文献１には、ワークの三次元計測データを取得するものとして、例えば、二眼あるいは多眼のステレオカメラ、レーザやプロジェクタなどの投光部とカメラとを備えたアクティブなステレオ計測方式などが記載されている。

特許第５５５８５８５号公報

上記のようなステレオ計測方式において、オクルージョンが発生することでワーク三次元計測データを取得できない領域が存在することが一般的に知られている。またオクル-ジョンによるもの以外に、計測対象物であるワークの表面状態によって三次元計測データを取得できない領域が存在することも知られている。このような場合、ワークの計測データ及びワークを把持するためのハンド形状データに基づいて把持位置姿勢を導き出そうとしても、計測データを取得できない領域周辺のワークについては、把持位置姿勢を導き出すことはできず、ワークを把持することができなかった。

そこで本発明は、対象物を含む領域内において、三次元計測情報を取得できない領域が存在しても、対象物を把持することができる把持方法、把持システム及びプログラムを提供することを目的とする。

本開示の一側面に係る把持方法は、複数の指を備える多指ハンドを用いて対象物を把持する。

そして、三次元計測センサを用いて対象物を含む所定の領域について距離情報を含む三次元情報を取得する距離情報取得ステップと、所定の領域内に、三次元情報を取得できない領域が存在する場合は、三次元情報に基づいて、計測領域と未計測領域に区分し、少なくとも１つの未計測領域を、指の開閉方向の軸上においてこの未計測領域を挟んで隣接する２つの位置に対応する距離情報のうち、距離が近いことを示す距離情報で補完する補完ステップと、距離情報取得ステップで取得された距離情報及び補完ステップで補完された距離情報に基づいて、複数の指の間隔を決定する間隔決定ステップと、決定された指の間隔で、対象物を把持するように多指ハンドを制御するステップとを含む。

この方法によれば、三次元情報を取得できない未計測領域が存在する場合は、距離が近いことを示す距離情報で補完するから、そのような領域が存在しても、対象物を含む領域内のすべての位置ごとに距離情報を確定して把持位置姿勢を導き出すことで、対象物を把持することができる。

また、間隔決定ステップは、距離情報取得ステップで取得された距離情報及び補完ステップで補完された距離情報に基づいて、対象物と干渉しない指の間隔を、複数の指の間隔として決定することができる。

この方法によれば、対象物を含む領域内において、三次元計測情報を取得できない領域が存在しても、対象物を傷つけないように指の間隔を決定することができる。

また、少なくとも１つの未計測領域を、この未計測領域に隣接する２つの位置に対応する距離情報のうち、距離が遠いことを示す距離情報で補完する第２の補完ステップと、距離情報取得ステップで取得された距離情報及び第２の補完ステップで補完された距離情報に基づいて、対象物を複数の指が把持する際の複数の指の位置を決定する把持位置決定ステップと、更に含むことができる。

この方法によれば、対象物を把持する際の指の位置を決定するためには、距離が遠いことを示す距離情報で補完する第２の補完ステップで補完した距離情報を用いるから、対象物のエッジを抽出することにより、適切に把持位置を決定することができる。

また、把持位置決定ステップは、対象物の形状を示すデータと、複数の指の形状を示すデータと、対象物の把持可能な位置を示すデータと、を用いて、対象物を複数の指が把持する際の複数の指の位置を決定することができる。

この方法によれば、対象物の形状を示すデータと、複数の指の形状を示すデータと、対象物の把持可能な位置を示すデータと、を用いるから、より正確に把持の際の指の位置を決定することができる。

また、補完ステップは、把持位置決定ステップで決定される指の位置を包含する指の稼働領域が、１つの未計測領域と、この未計測領域で区分される２つの計測領域を含む場合は、稼働領域内の一方の計測領域が未計測領域と隣接する第１の位置における距離情報と、稼働領域内の他方の計測領域が未計測領域と隣接する第２の位置における距離情報のうち、距離が近いことを示す距離情報でその未計測領域を補完することができる。

この方法によれば、指の位置を包含する指の稼働領域が、１つの未計測領域と、この未計測領域で区分される２つの計測領域を含む場合に、距離が近いことを示す距離情報を用いて未計測領域を補完するから、未計測領域に対象物が存在しても、対象物を傷つけないように把持することができる。

また、間隔決定ステップで決定された複数の指の間隔を維持して対象物に向かって多指ハンドを進行させる多指ハンド移動ステップと、複数の指の間隔を異ならせて、把持位置決定ステップで決定された複数の指の位置に複数の指を移動させて、対象物を把持する把持ステップと、を更に含むことができる。

この方法によれば、決定された複数の指の間隔を維持して対象物に向かって多指ハンドを進行させる多指ハンド移動ステップを含むので、多指ハンドの進行時に対象物を傷つけることがない。

なお、指の間隔を維持して対象物に向かって多指ハンドを進行させる、とは、少なくとも対象物の近傍で、指の間隔を維持して対象物に向かって多指ハンドを進行させる場合を含む。

また、把持ステップは、複数の指の間隔を狭めるように、複数の指を移動させることができる。

この方法によれば、複数の指の間隔を狭めることで、対象物の外縁を把持することができる。

また、把持ステップにおいて、複数の指のいずれか一つは、計測領域から未計測領域に移動した後に対象物に接触することができる。

この方法によれば、複数の指のいずれか一つは、計測領域から未計測領域に移動するので、未計測領域に対象物が存在しても、対象物を傷つけないで把持することができる。

また、間隔決定ステップは、距離情報取得ステップで取得された距離情報及び補完ステップで補完された距離情報に基づいて、複数の指の間隔が第１の間隔の場合に、対象物と複数の指が干渉するか判断するステップと、このステップで干渉すると判断された場合は、複数の指の間隔が、対象物と複数の指が干渉しない第２の間隔を探索するステップと、を含むことができる。

この方法によれば、複数の指の間隔が第１の間隔の場合に、対象物と複数の指が干渉すると判断された場合は、複数の指の間隔が、対象物と複数の指が干渉しない第２の間隔を探索するので、適切な指の間隔を決定することができる。

また、本開示の他の側面に係る把持システムは、対象物を把持するための複数の指を備える多指ハンドと、この多指ハンドが接続されるロボットアームと、対象物を含む所定の領域について距離情報を含む三次元情報を取得するための三次元計測センサと、所定の領域内に、三次元情報を取得できない領域が存在する場合は、三次元情報に基づいて、計測領域と未計測領域に区分し、少なくとも１つの未計測領域を、指の開閉方向の軸上においてこの未計測領域を挟んで隣接する２つの位置に対応する距離情報のうち、距離が近いことを示す距離情報で補完し、前記三次元計測センサで取得された距離情報及び前記補完された距離情報に基づいて、複数の指の間隔を決定し、決定された指の間隔で、対象物を把持するように多指ハンドを制御するコントローラと、を備える。

この把持システムによれば、三次元情報を取得できない未計測領域が存在する場合は、隣接する２つの位置に対応する距離情報のうち、距離が近いことを示す距離情報で補完するから、そのような領域が存在しても、対象物を含む領域内のすべての位置ごとに距離情報を確定して把持位置姿勢を導き出すことで、対象物を把持することができる。

また、本開示の他の側面に係るプログラムは、複数の指を備える多指ハンドを用いて対象物を把持するためのものである。そして、コンピュータに、三次元計測センサを用いて対象物を含む所定の領域について距離情報を含む三次元情報を取得する距離情報取得ステップと、所定の領域内に、三次元情報を取得できない領域が存在する場合は、三次元情報に基づいて、計測領域と未計測領域に区分し、少なくとも１つの未計測領域を、指の開閉方向の軸上においてこの未計測領域を挟んで隣接する２つの位置に対応する距離情報のうち、距離が近いことを示す距離情報で補完する補完ステップと、距離情報取得ステップで取得された距離情報及び補完ステップで補完された距離情報に基づいて、複数の指の間隔を決定する間隔決定ステップと、決定された指の間隔で、対象物を把持するように多指ハンドを制御するステップと、を実行させる。

このプログラムによれば、三次元情報を取得できない未計測領域が存在する場合は、隣接する２つの位置に対応する距離情報のうち、距離が近いことを示す距離情報で補完するから、そのような領域が存在しても、対象物を含む領域内のすべての位置ごとに距離情報を確定して把持位置姿勢を導き出すことで、
対象物を把持させることができる。

本発明によれば、対象物を含む領域内において、三次元計測情報を取得できない領域が存在しても、対象物を把持することができる把持方法、把持システム及びプログラムを提供することができる。

本実施形態に係る把持システム１０ 本実施形態に係る把持システム１０の機能ブロック図 本実施形態に係る把持方法のフローチャート バラ積みされた複数のワークＷを撮像して得られた距離画像データの一例 所定断面における距離データのプロファイル 多指ハンドＨの開き幅を更新するサブステップのフローチャート 多指ハンドＨの各指Ｌ及びＲの移動方向と、ワークＷの位置関係を示した図 ８か所の未計測領域ＵＡ１〜ＵＡ８を含む距離画像データＤＤ 第３実施形態に係る把持方法のフローチャート ステップＳ９２及びＳ９４による補完方法の比較図

[第１実施形態]
まず、図１を用いて、本発明が適用される実施形態の一例について説明する。

図１は、本実施形態に係る把持システム１０（「把持システム」の一例）のハードウェア構成図である。本発明が適用される場面の一例として、多指ハンドＨが接続されるロボットアームを含むロボットＲを用いてワークＷ（「対象物」の一例）を把持する際の把持方法について説明する。

まず、三次元計測センサ１６（「三次元計測センサ」の一例）を用いてワークＷを含む領域を計測し、領域内の位置ごとに距離データ（「距離情報」の一例）を含む三次元情報を取得する。

このとき、様々な理由により、距離データを取得できない未計測領域ＵＡ（「未計測領域」の一例）が発生する場合がある。たとえば、ワークＷのエッジ付近は、一般的に距離データを取得しにくい領域である。

未計測領域ＵＡが発生した場合は、隣接する三次元情報を取得できた領域（「計測領域」の一例）の距離データを用いて、未計測領域ＵＡの距離データを補完する。その際に、隣接する２つの位置に対応する距離データのうち、近い距離の距離データで補完する。

たとえば、机上に置かれたワークＷのエッジ付近に未計測領域ＵＡがある場合は、ワークＷの方が机よりも距離が近いため、未計測領域ＵＡを、ワークＷの距離データで補完することに相当する。このため、未計測領域ＵＡは、あたかもワークＷが存在する領域のように取り扱われる。

その後、補完後の三次元情報を用いて、多指ハンドＨの指の間隔を決定する。補完後の三次元情報を用いることにより、たとえ未計測領域ＵＡにワークＷが存在していたとしても、ワークＷを傷つけることなく把持することができる。

なお、多指ハンドＨの指の数は、複数であれば何本でもよい。例えば、三本以上であってもよい。

また、指の間隔を決定する、とは、指の間隔を示す情報を、直接的、または、間接的に決定することを含む。たとえば、多指ハンドＨの指の間隔が、ある情報に応じて変動するときに、その情報を決定することを含む。

また、多指ハンドＨは、指の間隔が狭くなるように各指を移動させてワークＷを把持する、いわゆる外径把持のタイプでも、指の間隔が広くなるように各指を移動させてワークＷを把持する、いわゆる内径把持のタイプでも、本実施形態の把持方法を適用することができる。

また、必ずしも未計測領域ＵＡの全域を補完する必要はない。ワークＷを把持する際の多指ハンドＨの各指の稼働方向についてのみ補完してもよい。たとえば、多指ハンドＨの各指が一次元的に移動してワークＷと接触する場合は、各指の稼働領域、すなわち、各指の移動方向を通過する各断面の未計測領域ＵＡのみについて、距離データを補完してもよい。

また、全ての未計測領域ＵＡを補完する必要はない。ワークＷを把持するために必要な未計測領域ＵＡ（たとえば、ワークＷのエッジ付近の未計測領域ＵＡ）のみを補完して、一部の未計測領域ＵＡ（たとえば、面積が小さいために無視できる未計測領域ＵＡや、ワークＷから遠く離れた位置にある未計測領域ＵＡ）は補完しないようにしてもよい。

［第２実施形態］
以下、図面を参照して本発明の第２実施形態について説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略又は簡略化する。

図１は、本実施形態に係る把持システム１０のハードウェア構成図である。また、図２は、この把持システム１０の機能ブロック図である。

この把持システム１０は、ロボットＲを備えている。このロボットＲは、多軸多関節型のロボットアームであり、床面に固定されたベースと、可動軸として機能する複数のジョイントと、ジョイントの可動軸に従って回転駆動する複数のリンクと、各リンクを回転駆動するためのサーボモータを備えている。また、先端のリンクには、２本の指を備える多指ハンドＨ（「多指ハンド」の一例である）が連結されている。多指ハンドＨの各指は、それぞれ一次元に移動可能な構成となっており、ロボット制御部１２から受け取った命令に基づいて、２本の指の間隔を変更することができる。

ロボット制御部１２は、情報処理装置１４から受け取る把持位置姿勢を指定する情報に基づいて、ロボットＲ及び多指ハンドＨを制御するための制御命令を生成し、ロボットＲ及び多指ハンドＨに対して出力する。

三次元計測センサ１６（「三次元計測センサ」の一例）は、把持対象物であるワークＷ（「対象物」の一例）を含む領域を撮像し、画素（または、ピクセル、という）ごとに、三次元計測センサ１６とその領域に存在する物体との距離データを出力する。ここで、三次元計測センサ１６から各画素に対応して出力される距離データ（「距離情報」の一例）の集合（距離情報が得られなかった画素の情報を含む）を、距離画像データＤＤ（「三次元情報」の一例）と呼ぶ。

三次元計測センサ１６は、所定領域内の複数の位置について、基準となる位置からの距離を示す情報を取得できるものであれば、如何なる方式のものであってもよい。たとえば、レーザを照射しその反射光の受信時間または位相等に基づいて距離を取得するＴＯＦ（Time Of Flight）方式、所定のパターンを有するレーザ光線を照射し、反射光のパターンに基づいて距離を測定するパターン照射方式、赤外線レーザを照射しその反射光に基づいて距離を測定するレーザレンジファインダを用いるもの、二眼または多眼のカメラを用いて距離を計測するステレオカメラを用いるものを、三次元計測センサ１６として用いることができる。

また、三次元計測センサ１６は、ワークＷの上方に固定されてもよいし、ロボットＲの先端のリンク等に固定されていてもよい。

情報処理装置１４は、たとえば、汎用のパーソナルコンピュータをハードウェアとして用いることができる。この情報処理装置１４は、本実施の形態に示される種々の演算処理を実施するための図示しないプロセッサ、一時記憶装置及びインタフェースを備える情報処理部１８（「コントローラ」の一例）と、多指ハンドＨのハンド形状データＨＤ、ワークＷのワーク形状データＷＤ、本実施形態に示す各処理を実現するためのコンピュータ読み取り可能なプログラム等を記憶するための記憶媒体２０から構成される。

情報処理部１８のプロセッサは、記憶媒体２０に記憶されているプログラム（本開示の各フローチャート等で示される演算処理を規定するプログラムを含む）を読み出し、又は、インタフェースを用いて外部からプログラムを取得し、実行する。一時記憶装置は、ＳＲＡＭ（Static Random Access Memory）等から構成されており、プログラムの一部や、演算データ等を一時的に記憶する。

記憶媒体２０は、コンピュータを用いて読み取り可能な状態で、プログラム等の情報を、電気的、磁気的、光学的、機械的、化学的又はそれらの組み合わせによって記憶する媒体であり、例えば、ＣＤ、ＤＶＤ、磁気ディスク、ＭＯ、半導体メモリ（ＮＯＲフラッシュメモリ、ＮＡＮＤフラッシュメモリ、ＭＲＡＭ等）を含む。

図２の機能ブロック図に示されるとおり、情報処理部１８は、把持位置姿勢認識部２２と、距離画像補完部２４と、ハンド開き幅更新部２６と、最適把持位置姿勢算出部２８を備える。

把持位置姿勢認識部２２は、距離画像データＤＤ、記憶媒体２０から読み出されたハンド形状データＨＤ及びワーク形状データＷＤに基づいて、多指ハンドＨの各指がワークＷに接触して把持するときの把持位置姿勢を認識する。

距離画像補完部２４は、未計測領域ＵＡの距離情報を補完して、補完された距離画像データＤＤを生成する
ハンド開き幅更新部２６は、距離画像補完部２４において補完された距離画像データＤＤに基づいて多指ハンドＨの開き幅の設定値を更新する。

最適把持位置姿勢算出部２８は、把持位置姿勢認識部２２で設定された把持位置姿勢及びハンド開き幅更新部２６で設定された多指ハンドＨの開き幅を最適な把持位置姿勢として算出する。

なお、情報処理部１８の一時記憶装置（不図示）は、三次元計測センサ１６及び記憶媒体２０から受信した各種データや、各ブロック２２〜２８において演算処理されるデータ等を、一時的に記憶するために用いられる。

次いで、図３を用いて、本実施形態に係る把持方法について説明する。図３は、本実施形態に係る把持方法のフローチャートである。

なお、本実施形態において、把持の対象物であるワークＷは、三次元形状が定まっている部品や、基本的な三次元形状は共通するが個体差を有する物体（たとえば、同種の魚や果物、食物等）である。これらワークＷの三次元のワーク形状データＷＤは、予め、記憶媒体２０に記憶されている。

また、把持システム１０は、不特定にバラ積みされた複数のワークＷから１つのワークＷを選択して把持する。ただし、これに限られるものではなく、たとえば、ベルトコンベヤで搬送されている複数のワークＷを、把持システム１０が順番に把持するように構成してもよい。

まず、三次元計測センサ１６は、少なくとも一つのワークＷを含む領域を撮像して、距離画像データＤＤを取得する（ステップＳ３１）。この距離画像データＤＤは、距離が近いほど高輝度な二次元画像として、図示しない表示装置に表示させることができる。

ここで、一部の画素について距離データを取得できない場合がある。例えば、ステレオカメラの死角に起因するオクル−ジョンや、物体表面の法線がセンサの撮像面の法線と垂直に近い角度を有するため有意な反射光が得られない場合は、距離データを取得することができない。更に、低反射物体や、逆に鏡面反射物体を撮像する場合も、距離データを取得できない。距離画像データＤＤは、このような理由で距離データを取得することができない画素の情報も含んでいる。

図４は、バラ積みされた複数のワークＷ（果物のオレンジ）を撮像して得られた距離画像データを、距離が近いほど輝度を高くする二次元画像として表示させた例である。この例の場合、複数のワークＷの右側のエッジ付近は、オクル−ジョン等のため、距離データを取得することができない未計測領域ＵＡを含んでいる。

次いで把持位置姿勢認識部２２は、未計測領域ＵＡの距離データを補完する（ステップＳ３２）。このステップは、ワークＷの位置姿勢算出（ステップＳ３３）の際に、距離画像データＤＤと、ワーク形状データＷＤのパターンマッチング等を実行するために、未計測領域ＵＡの距離データを補完するステップであり、既知の様々な補完方法を用いることができる。また、このステップの未計測領域ＵＡの補完方法は、後のステップＳ３５における未計測領域ＵＡの補完方法と異なっていてもよい。

次いで、把持位置姿勢認識部２２は、記憶媒体２０からワーク形状データＷＤを読み出し、ステップＳ３２において、未計測領域ＵＡの距離データが補完されている距離画像データＤＤと、ワーク形状データＷＤに基づいて、距離画像データＤＤ中に存在する複数のワークＷを抽出し、そのワークＷの位置及び姿勢を算出する（ステップＳ３３）。例えば、既知の三次元形状特徴に基づく手法や、二次元投影に基づく手法を用いてこのステップを実行することができる。

そして、多指ハンドＨによるワークＷの把持位置姿勢が以下のとおり算出される（ステップＳ３４）。まず、把持位置姿勢認識部２２は、把持位置データベースＤＢから、ワークＷを把持可能な位置を特定した把持位置情報を取得する。把持位置情報は、ティーチングペンダントや把持シミュレータなどを用いて、既知のワークＷを把持することができる位置を特定する情報である。把持位置情報は、１つのワークＷに対して、複数個所の把持可能な位置を含んでもよい。また、把持可能な位置ごとに関連付けられたスコア情報を含んでもよい。把持位置情報は、二つの指を備える多指ハンドＨの場合は、二つの把持可能な位置のペアから構成される情報である。

また、把持位置姿勢認識部２２は、記憶媒体２０からハンド形状データＨＤを読み出す。そして、ステップＳ３３で抽出されたワークＷの位置姿勢情報と、把持位置データベースＤＢから読み出された把持位置情報ならびにハンド形状データＨＤに基づいて、多指ハンドＨの各指がワークＷに接触して把持するときの把持位置姿勢を算出する。ここで、多指ハンドＨと、ワークＷの周囲の物体やワークＷを格納するコンテナが干渉しないかも判定され、干渉するものは把持位置姿勢から除外される。このようにして算出された把持位置姿勢は、ロボットＲの先端部に相当する多指ハンドＨの位置ならびに姿勢を特定する六次元の情報及び多指ハンドＨの指の開き幅を規定する一次元の情報から構成される七次元の情報である。複数の把持位置姿勢を把持位置姿勢の候補として算出することも可能である。

次いで、距離画像補完部２４は、次のステップＳ３６において実行される干渉判定のために、未計測領域ＵＡを距離データで補完する（ステップＳ３５）。

具体的には、ステップＳ３４において把持位置姿勢認識部２２が算出した把持位置姿勢における多指ハンドＨの各指の稼働領域を含む断面上における距離データに基づいて、未計測領域ＵＡと計測領域の境界の２つの距離データのうち、距離が近い方の距離データでその断面における未計測領域ＵＡの距離情報を補完する。

図５（ａ）は、このような断面の距離データのプロファイルを示している。横軸は、多指ハンドＨの一つの指の稼働方向における画素を単位とする位置を示しており、多指ハンドＨの指の稼働領域内に未計測領域ＵＡが含まれる。このため、稼働領域内に未計測領域ＵＡで区分される二つの計測領域が含まれる。

縦軸は、距離データを示している。図において未計測領域ＵＡの左側の計測領域は、距離が近い（距離データの値が小さい）。一方で、未計測領域ＵＡの右側の計測領域は、距離が遠い（距離データの値が大きい）。これは、距離が近い領域にワークＷが存在することを示している。

図５（ｂ）は、ステップＳ３５に基づく補完後のプロファイルを示している。左側の計測領域が未計測領域ＵＡと隣接する位置（「第１の位置」の一例）における距離データと、右側の計測領域が未計測領域ＵＡと隣接する位置（「第２の位置」の一例）における距離データのうち、距離が近い方（距離データの値が小さい方）の距離データで、断面上の未計測領域ＵＡが補完されたことが示されている。ワークＷは、周辺よりも突出している場合が多いため、ワークＷの方が、周辺よりも距離が近い（距離データが小さい）。従って、このように補完することにより、未計測領域ＵＡを、あたかもワークＷが存在する領域のように取り扱う距離画像データＤＤを生成することが可能になる。

なお、多指ハンドＨの各指が、複数の画素分の幅を有する場合は、各画素を通過する複数の断面のプロファイルについて、同様に未計測領域ＵＡの距離データを補完する。たとえば、多指ハンドＨの各指が、５画素分の幅を有する場合は、５つの断面について未計測領域ＵＡの距離データを補完する。

図５（ｃ）は、比較例として、未計測領域ＵＡと計測領域の境界の２つの距離データのうち遠い方（距離データの値が大きい方）の距離データで未計測領域ＵＡを補完した場合のプロファイルを示している。

次いで、ハンド開き幅更新部２６は、未計測領域ＵＡの距離データが補完された距離画像データＤＤに基づいて、多指ハンドＨの開き幅（「複数の指の間隔」の一例）を更新する（ステップＳ３６）。

図６は、ハンド開き幅更新部２６が、多指ハンドＨの開き幅を更新するステップＳ３６のサブステップのフローチャートである。

まず、ステップＳ３４で設定された多指ハンドＨの現時点の開き幅（「第１の間隔」の一例）が、多指ハンドＨが取りうる開き幅の最大値以下であるか否か判断される（サブステップＳ６１）。多指ハンドＨの開き幅が、多指ハンドＨが取りうる開き幅の最大値以下の場合（ＹＥＳ）は、サブステップＳ６２に進む。

そして、現時点の開き幅の多指ハンドＨと、ステップＳ３５において補完された距離画像データＤＤが干渉するか否か判断される（サブステップＳ６２）。具体的には、以下の手順が実行される。

まず、多指ハンドＨの各指が、距離画像データＤＤを構成する画像座標で定義される領域中に占める指領域が算出される。

ここで、三次元位置座標（Ｘ、Ｙ、Ｚ）で特定される点を、距離画像データＤＤを構成する画像座標で規定される平面に投影したときの画像座標（ｘ、ｙ）は、以下の透視投影の式で求められる。

ここで、ｆは、三次元計測センサ１６の焦点距離である。また、Ｃ_x、Ｃ_yは、三次元計測センサ１６の中心の画像座標である。

従って、多指ハンドＨの各指の頂点の三次元位置座標を、ステップＳ３４で算出された多指ハンドＨの把持位置姿勢に基づいて算出し、各頂点について、上記式をあてはめて、画像座標上の位置を算出することにより、各頂点の画像座標上の位置で囲まれる領域を、多指ハンドＨの各指が占める指領域として算出することができる。

そして、算出された多指ハンドＨの指領域と、補完された距離画像データＤＤを用いて、多指ハンドＨが干渉するか否か判断される（サブステップＳ６２）。たとえば、距離画像データＤＤの中で、多指ハンドＨと干渉する可能性がある領域（たとえば、距離データが所定値以下の領域）と、多指ハンドＨの指領域が重複するか否かを判断することによって、多指ハンドＨの干渉有無が判断される。

干渉しない（ＮＯ）と判断された場合は、そのときの多指ハンドＨの開き幅を最適値（「第２の間隔」の一例）として登録し（サブステップＳ６４）、サブルーチンは終了する。

干渉する（ＹＥＳ）と判断された場合は、サブステップＳ６３において、多指ハンドＨの開き幅の設定値を所定量（たとえば５画素分）増加した後に、再びサブステップＳ６１を実行する。

サブステップＳ６１において、現時点における多指ハンドＨの開き幅の設定値が、多指ハンドＨが取りうる開き幅の最大値以下の場合（ＹＥＳ）は、サブステップＳ６２以下が繰り返し実行される。

一方で、現時点における多指ハンドＨの開き幅の設定値が、多指ハンドＨが取りうる開き幅の最大値を超える場合（ＮＯ）は、最適な開き幅は存在しないと登録され（サブステップＳ６５）、サブルーチンは終了する。

その後、ステップＳ３４において設定された多指ハンドＨの位置ならびに姿勢と、サブステップＳ６４において登録された多指ハンドＨの開き幅が、ワークＷを把持するための最適な把持位置姿勢として選択される（ステップＳ３７）。ここで、ステップＳ３４において設定された多指ハンドＨの位置ならびに姿勢が複数候補ある場合は、その中から最良な把持位置姿勢を選択する。たとえば、三次元計測センサ１６からの距離（近いほど好ましい）、多指ハンドＨの傾き（傾かないほど好ましい）、多指ハンドＨが占める領域における未計測領域ＵＡの面積（小さいほど好ましい）などを指標として、複数の把持位置姿勢間で優先順位付けを行い、その中から最良なものを選択する。

次いで、情報処理部１８から、ロボット制御部１２に対して、最適な把持位置姿勢情報が出力される（ステップＳ３８）。

ロボット制御部１２は、入力された最適な把持位置姿勢を、ロボットＲ及び多指ハンドＨが取るように制御命令を出力する。

この制御命令に従って、ロボットＲ及び多指ハンドＨは、ステップＳ３７において最適な把持位置姿勢として選択された多指ハンドＨの開き幅でワークＷに近接し、最適な把持位置姿勢をとる。そして、ロボット制御部１２から出力される制御命令に基づいて、多指ハンドＨの指の間隔を狭め、ワークＷを把持する。

このような本実施形態に係る把持方法の効果について図面を用いて説明する。

図７は、多指ハンドＨの各指Ｌ及びＲの稼働領域を含む断面における各指Ｌ及びＲの移動方向と、ワークＷの実際の断面（破線）と、未計測領域ＵＡを補完した断面（実線）を示している。図７（ａ）は、比較例の場合の把持方法を示し、図７（ｂ）は、本実施形態に係る把持方法を示している。

比較例の場合は、未計測領域ＵＡを補完した結果、実際のワークＷよりもワークＷの幅が狭くなるように補完された。このため、多指ハンドＨがワークＷに向かって進行する際に、指ＬがワークＷに衝突する。このため、ワークＷが傷つき、作業工程がストップする等の甚大な被害をもたらす。

本実施形態の場合は、ワークＷを、多指ハンドＨを用いて把持するための把持位置姿勢を決定した後、多指ハンドＨの開閉方向の軸に沿った未計測領域ＵＡの全範囲を、隣接する距離データのうち、距離が近い方（小さい方）の距離データで補完し、その補完した距離画像データＤＤに基づいても、ワークＷ等と干渉しないように、多指ハンドＨの開き幅を設定した。そして、少なくともワークＷの近傍では、その開き幅以上の開き幅を維持してワークＷに進行し、その後、ハンドＨの指の間隔を狭めることで、ワークＷを傷つけることなく把持することが可能になった。

なお、以上は外径把持の場合について述べたが、内径把持の場合は、サブステップＳ６１において多指ハンドＨの開き幅が最小値以上か否か判断するように変更し、また、サブステップＳ６３において多指ハンドＨの開き幅を減少するように変更すればよい。

また、サブステップＳ６２において、多指ハンドＨと補完した距離画像データＤＤは干渉しない（ＮＯ）と判断された後に、更に詳細に最適な開き幅を探索するようにしてもよい。たとえば、サブステップＳ６３で規定された開き幅の増加量よりも小さい量だけ多指ハンドＨを減少させながら、サブステップＳ６２を実行することで、補完した距離画像データＤＤと干渉しない最小の開き幅を探索することができる。

また、初めから、サブステップＳ６３の開き幅の増加量を設定しうる最小値にして、補完した距離画像データＤＤと干渉しない最小の開き幅を探索するようにしてもよい。

また、本実施形態の場合は、二本指の多指ハンドＨであったため、多指ハンドＨの開き幅という一次元の情報を更新して、最適な指の間隔を設定したが、これに限られるものではなく、指ごとに独立に位置を設定できるような多指ハンドＨに本実施形態に係る把持方法を適用してもよい。その場合は、開き幅を更新する替りに、指ごとに補完された距離画像データＤＤと干渉しない位置を決定するようにしてもよい。たとえば、三本指の場合は、各指の稼働領域を含む各断面と、その断面における補完された距離画像データＤＤを比較して、ワークＷと干渉しない各指の位置をそれぞれ設定するようにしてもよい。

また、最適値として登録された多指ハンドＨの開き幅は、少なくともワークＷの近傍で、外径把持の場合はその開き幅以上、内径把持の場合はその開き幅以下を維持するように多指ハンドＨを移動させてもよい。

なお、ワークＷが載置された状況によっては、ワークＷのエッジ以外の領域にも未計測領域が発生する場合もある。以下では、そのような場合に本実施形態に係る把持方法を適用した例について説明する。

図８（ａ）は、距離画像データＤＤ中に、８か所の未計測領域ＵＡ１〜ＵＡ８が存在する場合を示している。また、線分Ｖは、多指ハンドＨの指の可動領域を含む線分を示している。

図８（ｂ）は、多指ハンドＨの指の稼働領域を含む断面における距離データのプロファイルを示している。縦軸は距離データを示しており、図面の下ほど距離データの値が大きい、すなわち、距離が遠い。また、未計測領域ＵＡ１〜ＵＡ８は、距離データが不明である。

図８（ｃ）は、ステップＳ３５における補完後のプロファイルと、多指ハンドＨの左指Ｌ及び右指Ｒが干渉する開き幅の場合を示している。このプロファイルに示されるように、各未計測領域ＵＡ１〜ＵＡ８は、計測領域との境界における２つの距離データのうち近い方（小さい方）の距離データを用いて補完されている。一方で、ステップＳ３４において算出された把持位置姿勢より、多指ハンドＨの左指Ｌ及び右指Ｒの位置がわかっているから、サブステップＳ６２において、その開き幅で干渉するか否かを判断することができる。ここで、未計測領域ＵＡ１〜ＵＡ３及びＵＡ６〜ＵＡ８は、両端の距離データの差がほとんどなく、かつ、距離が遠い（距離データが大きい）領域である。このため、把持の際に、多指ハンドＨと干渉することがない未計測領域である。一方でＵＡ４及びＵＡ５は、隣接する距離データの少なくとも一方の値が小さいから、距離が近く干渉する可能性がある未計測領域であるから、これと干渉しないように多指ハンドＨの開き幅を大きくする必要があるといえる。

図８（ｄ）は、補完された距離画像データＤＤと多指ハンドＨが干渉しなくなるまで多指ハンドＨの開き幅を大きくした様子を示している。

このように、本実施形態の把持方法に示される補完方法を用いて指が稼働する領域に含まれる未計測領域ＵＡについて一律に、すなわち、ワークＷのエッジにある未計測領域ＵＡか否かを判断することなく、距離データを補完しても、ワークＷを傷つけない好適な開き幅を決定することが可能になる。一方で、所定の（たとえば距離が近い）未計測領域ＵＡについてのみ、補完するようにしてもよい。

また、開き幅の設定にあたっては、ワークＷの周辺の状況を考慮することもできる。たとえば、図８において、未計測領域ＵＡ７の少なくとも一方の距離が近い（距離データが小さい）場合は、多指ハンドＨがこれと干渉しないように開き幅を設定することもできる。

また、サブステップＳ６２における多指ハンドＨと補完した距離画像データＤＤの干渉判定は、別の方法を用いて実行してもよい。たとえば、多指ハンドＨの各指の稼働方向における距離データのプロファイルに基づいて（未計測領域ＵＡを含む）ワークＷの幅を算出し、そのときの多指ハンドＨの開き幅と比較してもよい。

また、ステップＳ３５における距離画像データＤＤの補完は、必ずしも多指ハンドＨの稼働方向における距離データを用いなくてもよい。たとえば、周辺の複数の位置に対応する複数の距離データのうち、近い位置の距離データで補完するようにしてもよい。

［第３実施形態］
以下、第３実施形態について説明する。なお、他の実施形態と共通または類似する部分については説明を簡略化し、異なる部分を中心に説明する。

第２実施形態では、ワークＷの形状は既知であったため、把持位置姿勢の設定等にあたり、ワーク形状データＷＤを利用することができた。一方で、本実施形態では、ワークＷの形状が未知の場合の把持方法を説明する。ただし、形状が既知のワークＷに本実施形態の把持方法を適用することも可能である。

図９は、本実施形態に係る把持方法のフローチャートである。

まず、三次元計測センサ１６を用いて、距離画像データＤＤを取得する（ステップＳ９１）。

次いで、把持位置姿勢を算出するために、得られた距離画像データＤＤ内の未計測領域ＵＡの距離データを補完する（ステップＳ９２）。具体的には、多指ハンドＨの指の稼働領域を含む断面上における距離データに基づいて、未計測領域ＵＡと計測領域の境界の２つの距離データのうち、遠い方（距離データの値が大きい方）を用いて未計測領域ＵＡを補完する。たとえば、図５（ａ）のような断面のプロファイルに対しては、図５（ｃ）のように距離データが補完される。

続いて、多指ハンドＨの把持位置姿勢を算出する（ステップＳ９３）。把持位置姿勢認識部２２は、ステップＳ９２において、未計測領域ＵＡの距離データが補完された距離画像データＤＤに基づいて、ワークＷのエッジ形状を取得する。また、記憶媒体２０から、ハンド形状データＨＤを読み出して、多指ハンドＨがワークＷを把持するための把持位置姿勢を算出する。ここで、算出された把持位置姿勢は、ロボットＲの先端部に相当する多指ハンドＨの位置ならびに姿勢を特定する六次元の情報及び多指ハンドＨの指の開き幅を規定する一次元の情報から構成される七次元の情報である。複数の把持位置姿勢を算出することもできる。

その後のステップＳ９４〜Ｓ９７は、図３のステップＳ３５〜Ｓ３８（ならびに図６に示されるサブステップ）と同様なので説明を省略する。これらステップを経て、ワークＷを把持するための最適な把持位置姿勢を決定することができる。

このような把持方法においては、ステップＳ９２において、まずは、未計測領域ＵＡを含む距離画像データＤＤに基づいて、未計測領域ＵＡの距離が遠くなるように（距離データが大きくなるように）距離データを補完して（図５（ｃ））、把持可能な一又は複数の把持位置姿勢を算出し（ステップＳ９３）、次いで、同じ未計測領域ＵＡを含む距離画像データＤＤに基づいて、三次元計測センサ１６と未計測領域ＵＡの距離が近くなるように（距離データが小さくなるように）距離データを補完して（ステップＳ９４、図５（ｂ））、多指ハンドＨの開き幅を決定する（ステップＳ９５）。

以下、図面を用いて、目的に応じて異なる補完方法により補完された距離画像データＤＤを用いることの効果について説明する。

図１０は、図４における領域ＡＲについて本実施形態に示される補完方法を適用した際に抽出できるエッジＥを示している。図１０（ａ）は、ステップＳ９２の補完により抽出することができるエッジＥであり、図１０（ｂ）は、ステップＳ９４の補完により抽出することができるエッジＥである。三次元計測センサ１６とワークＷの距離は、三次元計測センサ１６とワークＷが載置されている面との距離よりも小さくなることが一般的である。したがって未計測領域ＵＡは、ワークＷの表面（距離が近い、または、距離データが小さい領域）と、ワークＷが載置されている面（距離が遠い、または、距離データが大きい領域）との間隙に形成されやすい。そして、ワークＷの表面のうち、三次元計測センサ１６とワークＷとの距離が一定となる曲線は、一般的には、滑らかになるから、ワークＷの計測領域と未計測領域ＵＡの境界は、滑らかになりやすい。

そこで、図１０（ａ）に示されるように、ワークＷの計測領域と未計測領域ＵＡの境界がエッジＥとして認識されるように補完して、多指ハンドＨによる把持可能な位置を抽出する際に用いることができる。

一方で、干渉可能性を判断する際には、干渉のリスクを回避するために、ワークＷに隣接する未計測領域ＵＡには、ワークＷと同様に距離が近い（データが小さい）領域として取り扱って、多指ハンドＨの開き幅を設定することが好ましい。このため、図１０（ｂ）に示されるように、未計測領域ＵＡとワークＷが隣接していない計測領域との境界がエッジＥとして認識されるように補完をして、干渉を回避するような多指ハンドＨの開き幅を選択することが可能になる。

以上述べたように、ワークＷを把持するための多指ハンドＨの把持位置姿勢を設定するにあたり、まず、ワークＷと未計測領域ＵＡの境界がエッジとして認識されるように距離画像データＤＤを補完した。このため、未計測領域についてワークＷからワークＷが載置される面にかけて、距離データが連続的に変化するように補完する場合と比較して、距離データが大きく変化するエッジＥを検出しやすい。そのため、ワークＷの形状を認識し、多指ハンドＨにより把持可能な一又は複数の箇所を特定することができる。ただし、本実施形態はこれに限られるものではなく、その他の方法によりワークＷの把持可能な一又は複数の箇所を特定してもよい。

一方で、ワークＷと多指ハンドＨの各指の開き幅を決定する際には、ワークＷと同じ距離データを未計測領域ＵＡで補完することによって、ワークＷと多指ハンドＨの各指の干渉リスクを抑制することができる。

このように、距離画像データＤＤに未計測領域ＵＡが存在する場合に、二種類の補完に基づく距離画像データＤＤ（ワークＷを含むワークＷと同等の距離データを備える領域が広くなるような補完に基づく距離画像データＤＤと、ワークＷを含むワークＷと同等の距離データを備える領域が狭くなるような補完に基づく距離画像データＤＤ）を作成し、目的に応じて使い分けたので、より好適なワークＷの把持方法を実現することができる。

なお、本明細書において、「部」や「手段」、「手順」とは、単に物理的構成を意味するものではなく、その「部」等が行う処理をソフトウェアによって実現する場合も含む。また、１つの「部」等や、装置が行う処理が２つ以上の物理的構成や装置により実行されても、２つ以上の「部」等や、装置が行う処理が１つの物理的手段や装置により実行されてもよい。また、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施形態のみに限定する趣旨ではない。

また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。たとえば、当業者の通常の創作能力の範囲内で、ある実施形態における一部の構成要素を、他の実施形態に組み合わせることもできる。さらに、当業者の通常の創作能力の範囲内で、各フローチャートに示される各ステップの順番を変更することも可能である。たとえば、ステップＳ９２とステップＳ９４を同時に実行してもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
複数の指を備える多指ハンドＨを用いて対象物Ｗを把持する把持方法であって、
三次元計測センサ１６を用いて前記対象物Ｗを含む所定の領域について距離情報を含む三次元情報を取得する距離情報取得ステップと、
前記所定の領域内に、前記三次元情報を取得できない領域が存在する場合は、前記三次元情報に基づいて、計測領域と未計測領域ＵＡに区分し、少なくとも１つの前記未計測領域ＵＡを、前記指の開閉方向の軸上においてこの未計測領域ＵＡを挟んで隣接する２つの位置に対応する前記距離情報のうち、距離が近いことを示す前記距離情報で補完する補完ステップと、
前記距離情報取得ステップで取得された距離情報及び前記補完ステップで補完された距離情報に基づいて、前記複数の指の間隔を決定する間隔決定ステップと、
決定された前記指の間隔で、前記対象物を把持するように前記多指ハンドを制御するステップと、
を含む把持方法。

（付記２）
対象物Ｗを把持するための複数の指を備える多指ハンドＨと、
この多指ハンドＨが接続されるロボットアームと、
前記対象物を含む所定の領域について距離情報を含む三次元情報を取得するための三次元計測センサ１６と、
前記所定の領域内に、前記三次元情報を取得できない領域が存在する場合は、前記距離を示す情報に基づいて、計測領域と未計測領域ＵＡに区分し、少なくとも１つの前記未計測領域ＵＡを、前記指の開閉方向の軸上においてこの未計測領域ＵＡを挟んで隣接する２つの位置に対応する前記距離情報のうち、距離が近いことを示す前記距離情報で補完し、
前記三次元計測センサ１６で取得された距離情報及び前記補完された距離情報に基づいて、前記複数の指の間隔を決定し、
決定された前記指の間隔で、前記対象物を把持するように前記多指ハンドを制御するコントローラ１８と、
を備える把持システム１０。

（付記３）
複数の指を備える多指ハンドＨを用いて対象物Ｗを把持するためのプログラムであって、
三次元計測センサ１６を用いて前記対象物Ｗを含む所定の領域について距離情報を含む三次元情報を取得する距離情報取得ステップと、
前記所定の領域内に、前記三次元情報を取得できない領域が存在する場合は、前記三次元情報に基づいて、計測領域と未計測領域ＵＡに区分し、少なくとも１つの前記未計測領域ＵＡを、前記指の開閉方向の軸上においてこの未計測領域ＵＡを挟んで隣接する２つの位置に対応する前記距離情報のうち、距離が近いことを示す前記距離情報で補完する補完ステップと、
前記距離情報取得ステップで取得された距離情報及び前記補完ステップで補完された距離情報に基づいて、前記複数の指の間隔を決定する間隔決定ステップと、
決定された前記指の間隔で、前記対象物を把持するように前記多指ハンドを制御するステップと、
をコンピュータに実行させるためのプログラム。

１０…把持システム、１２…ロボット制御部、１４…情報処理装置、１６…三次元計測センサ、１８…情報処理部、２０…記憶媒体、２２…把持位置姿勢認識部、２４…距離画像補完部、２６…幅更新部、２８…最適把持位置姿勢算出部、ＤＢ…把持位置データベース、ＤＤ…距離画像データ、Ｅ…エッジ、Ｈ…多指ハンド、ＨＤ…ハンド形状データ、Ｒ…ロボット、ＵＡ…未計測領域、Ｗ…ワーク、ＷＤ…ワーク形状データ

Claims (11)

1. 複数の指を備える多指ハンドを用いて対象物を把持する把持方法であって、
   三次元計測センサを用いて前記対象物を含む所定の領域について距離情報を含む三次元情報を取得する距離情報取得ステップと、
   前記所定の領域内に、前記三次元情報を取得できない領域が存在する場合は、前記三次元情報に基づいて、計測領域と未計測領域に区分し、少なくとも１つの前記未計測領域を、前記指の開閉方向の軸上においてこの未計測領域を挟んで隣接する２つの位置に対応する前記距離情報のうち、距離が近いことを示す前記距離情報で補完する補完ステップと、
   前記距離情報取得ステップで取得された距離情報及び前記補完ステップで補完された距離情報に基づいて、前記複数の指の間隔を決定する間隔決定ステップと、
   決定された前記指の間隔で、前記対象物を把持するように前記多指ハンドを制御するステップと、
   を含む把持方法。
2. 前記間隔決定ステップは、
   前記距離情報取得ステップで取得された距離情報及び前記補完ステップで補完された距離情報に基づいて、前記対象物と干渉しない指の間隔を、前記複数の指の間隔として決定する請求項１に記載の把持方法。
3. 少なくとも１つの前記未計測領域を、この未計測領域に隣接する２つの位置に対応する前記距離情報のうち、距離が遠いことを示す前記距離情報で補完する第２の補完ステップと、
   前記距離情報取得ステップで取得された距離情報及び前記第２の補完ステップで補完された距離情報に基づいて、前記対象物を前記複数の指が把持する際の前記複数の指の位置を決定する把持位置決定ステップと、
   を更に含む請求項１又は２に記載の把持方法。
4. 前記把持位置決定ステップは、
   前記対象物の形状を示すデータと、前記複数の指の形状を示すデータと、前記対象物の把持可能な位置を示すデータと、を用いて、前記対象物を前記複数の指が把持する際の前記複数の指の位置を決定する請求項３に記載の把持方法。
5. 前記補完ステップは、
   前記把持位置決定ステップで決定される前記指の位置を包含する前記指の稼働領域が、１つの前記未計測領域と、この未計測領域で区分される２つの前記計測領域を含む場合は、
   前記稼働領域内の一方の前記計測領域が前記未計測領域と隣接する第１の位置における前記距離情報と、
   前記稼働領域内の他方の前記計測領域が前記未計測領域と隣接する第２の位置における前記距離情報のうち、
   距離が近いことを示す前記距離情報でその未計測領域を補完する
   請求項３又は４に記載の把持方法。
6. 前記間隔決定ステップで決定された前記複数の指の間隔を維持して前記対象物に向かって前記多指ハンドを進行させる多指ハンド移動ステップと、
   前記複数の指の間隔を異ならせて、前記把持位置決定ステップで決定された前記複数の指の位置に前記複数の指を移動させて、前記対象物を把持する把持ステップと、
   を更に含む請求項３から５のいずれか一項に記載の把持方法。
7. 前記把持ステップは、前記複数の指の間隔を狭めるように、前記複数の指を移動させる請求項６に記載の把持方法。
8. 前記把持ステップにおいて、前記複数の指のいずれか一つは、前記計測領域から前記未計測領域に移動した後に前記対象物に接触する請求項６又は７に記載の把持方法。
9. 前記間隔決定ステップは、
   前記距離情報取得ステップで取得された距離情報及び前記補完ステップで補完された距離情報に基づいて、前記複数の指の間隔が第１の間隔の場合に、前記対象物と前記複数の指が干渉するか判断するステップと、
   このステップで干渉すると判断された場合は、前記複数の指の間隔が、前記対象物と前記複数の指が干渉しない第２の間隔を探索するステップと、
   を含む請求項１から８のいずれか一項に記載の把持方法。
10. 対象物を把持するための複数の指を備える多指ハンドと、
    この多指ハンドが接続されるロボットアームと、
    前記対象物を含む所定の領域について距離情報を含む三次元情報を取得するための三次元計測センサと、
    前記所定の領域内に、前記三次元情報を取得できない領域が存在する場合は、前記三次元情報に基づいて、計測領域と未計測領域に区分し、少なくとも１つの前記未計測領域を、前記指の開閉方向の軸上においてこの未計測領域を挟んで隣接する２つの位置に対応する前記距離情報のうち、距離が近いことを示す前記距離情報で補完し、
    前記三次元計測センサで取得された距離情報及び前記補完された距離情報に基づいて、前記複数の指の間隔を決定し、
    決定された前記指の間隔で、前記対象物を把持するように前記多指ハンドを制御するコントローラと、
    を備える把持システム。
11. 複数の指を備える多指ハンドを用いて対象物を把持するためのプログラムであって、
    三次元計測センサを用いて前記対象物を含む所定の領域について距離情報を含む三次元情報を取得する距離情報取得ステップと、
    前記所定の領域内に、前記三次元情報を取得できない領域が存在する場合は、前記三次元情報に基づいて、計測領域と未計測領域に区分し、少なくとも１つの前記未計測領域を、前記指の開閉方向の軸上においてこの未計測領域を挟んで隣接する２つの位置に対応する前記距離情報のうち、距離が近いことを示す前記距離情報で補完する補完ステップと、
    前記距離情報取得ステップで取得された距離情報及び前記補完ステップで補完された距離情報に基づいて、前記複数の指の間隔を決定する間隔決定ステップと、
    決定された前記指の間隔で、前記対象物を把持するように前記多指ハンドを制御するステップと、
    をコンピュータに実行させるためのプログラム。