JP2018124200A - 処理装置、処理方法、システム、および物品製造方法 - Google Patents

Abstract

【課題】計測精度の点で有利な、画像データにおける輝度値分布を得る処理装置を提供する。【解決手段】物体Ｗを撮像して画像データを得る撮像部３０と、撮像部３０を制御する制御部４０とを有する処理装置であって、制御部４０は、画像データを構成する複数の画素に関する輝度値分布の広がりの大きさに基づいて、撮像に関する条件を決定する。【選択図】図１

Description

本発明は、処理装置、処理方法、システム、および物品製造方法に関する。

対象物に対してプロジェクタなどの投影部を用いてパターン光を投影し、該対象物をカメラなどの撮像部で撮像して得られた画像データからパターン光の位置を特定することで距離を計測する方法が知られている。対象物の表面の反射率、および対象物の姿勢などの対象物の条件によっては、画像データにおけるパターン光の輝度値が高すぎたり低すぎたりして、パターン光の位置を高精度に特定することが困難となりうる。対象物の条件によらずにパターン光の位置を高精度に特定するためには、対象物の表面におけるパターン光の照度調整および撮像部における露光量調整のうち少なくとも一方を適切に行う必要がある。

撮像部における露光量を調整することにより画像データにおける投影光の輝度のピーク値と背景光の輝度のピーク値との差を調整したうえで光切断線を抽出する三次元形状計測方法がある（特許文献１）。また、画像データにおける高輝度しきい値以上の輝度をもつ画素の割合および低輝度しきい値以下の輝度をもつ画素の割合を露光量制御により調整することで画像データの細部の認識性を向上させる方法がある（特許文献２）。

特開２００９−２５０８４４号公報 特許第４３０４６１０号公報

しかしながら、パターン光投影による計測方法においては、投影光と背景光とを明確に分離し難いため、特許文献１の方法の適用は困難である。また、特許文献２の方法では、高輝度しきい値と低輝度しきい値との間の中輝度の画素の輝度分布を考慮しておらず、画像データにおける輝度値の調整は十分とはいえない。

本発明は、例えば、計測精度の点で有利な、画像データにおける輝度値分布を得る処理装置を提供することを目的とする。

上記課題を解決するために、本発明は、物体を撮像して画像データを得る撮像部と、撮像部を制御する制御部とを有する処理装置であって、制御部は、画像データを構成する複数の画素に関する輝度値分布の広がりの大きさに基づいて、撮像に関する条件を決定することを特徴とする。

本発明によれば、例えば、計測精度の点で有利な、画像データにおける輝度値分布を得る処理装置を提供することができる。

第１実施形態に係る処理装置の構成を示す概略図である。 拡散反射性が鏡面反射性よりも高い物体を３つの異なる計測条件による撮像画像を構成する画素の輝度値の分布をヒストグラムで表した図である。 複数の計測条件における撮像画像に基づいて拡散反射性が鏡面反射性よりも高い物体の最適な計測条件を求めるためのグラフを示す図である。 鏡面反射性が拡散反射性よりも高い物体を３つの異なる計測条件による撮像画像を構成する画素の輝度値の分布をヒストグラムで表した図である。 複数の計測条件における撮像画像に基づいて鏡面反射性が拡散反射性よりも高い物体の最適な計測条件を求めるためのグラフを示す図である。 最適な計測条件を決定する工程を示すフローチャートである。 第２実施形態に係る最適な計測条件を決定する工程を示すフローチャートである。 処理装置が備え付けられた把持装置を含む制御システムを示す図である。 表示部に表示される情報の例を示す図である。 画像表示領域に表示される各種画像を示す図である。

以下、本発明を実施するための形態について図面などを参照して説明する。

（第１実施形態）
図１は第１実施形態に係る処理装置１の構成を示す概略図である。処理装置１は、物体Ｗの形状を計測し、計測結果に基づいて物体Ｗの位置および姿勢を求める。処理装置１は、投影部２０および撮像部３０を含む計測ヘッドと、制御部４０と、を有する。投影部２０は、物体Ｗに光を投影する。撮像部３０は、光が投影された物体Ｗを撮像する。制御部４０は、例えば、ＣＰＵ、メモリなどを含む制御回路であり、撮像部３０が撮像した撮像画像から、物体Ｗの三次元形状および二次元形状を計測し、計測結果および物体ＷのＣＡＤモデルを用いて物体Ｗの位置および姿勢を求める。また、制御部４０は、投影部２０が物体Ｗに投影する光の照度調整および、撮像部３０の露光量の調整などを行う。

投影部２０は、光源２１と、照明光学系２２と、表示素子２３と、投影絞り２４と、投影光学系２５と、を含む。光源２１としては、例えばハロゲンランプ、ＬＥＤなどの各種の発光素子を用いうる。照明光学系２２は、光源２１から照射された光の光強度を均一化して表示素子２３へと導く機能を持つ光学系であり、例えば、ケーラー照明や拡散板などの光学系が用いられうる。

表示素子２３は、物体Ｗに投影する光の所定のパターンに応じて、照明光学系２２からの光の透過率、または、反射率を空間的に制御する機能を有する素子である。例えば、透過型ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、反射型ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）などが用いられる。所定のパターンは、制御部４０が生成して表示素子２３に出力しうる。また、制御部４０とは別の装置が生成してもよく、投影部２０内の不図示の装置が生成してもよい。

投影絞り２４は、投影光学系２５のＦ値を制御するために用いられる。Ｆ値が小さいほど投影光学系２５内のレンズを通過する光の光量が多い。投影光学系２５は、表示素子２３から導かれた光を物体Ｗの特定位置に結像させるように構成される光学系である。

撮像部３０は、撮像素子３１と、撮像絞り３２と、撮像光学系３３と、を含む。撮像素子３１としては、例えば、ＣＭＯＳセンサ、ＣＣＤセンサなどの各種の光電変換素子が用いられうる。撮像素子３１で光電変換されたアナログ信号は、撮像部３０内の不図示の装置により、デジタル画像信号に変換される。当該装置は、デジタル画像信号から、輝度値を有する画素から構成される画像（撮像画像）を生成し、生成した撮像画像を制御部４０に出力する。撮像絞り３２は、撮像光学系３３のＦ値を制御するために用いられる。撮像光学系３３は、物体Ｗの特定位置を撮像素子３１上に結像させるよう構成される光学系である。

撮像部３０は、投影部２０から物体Ｗに投影される光のパターンが変更される度に物体Ｗを撮像して、複数のパターン光ごとに撮像画像を取得する。制御部４０は、撮像部３０と投影部２０とを同期して動作させる。

制御部４０は、決定部４１、調整部４２および位置姿勢算出部４３を含む。決定部４１は、撮像部３０が取得した撮像画像を構成する画素の輝度値分布の広がりの大きさに基づいて、物体Ｗを計測する際の撮像部３０の露光量および投影部２０が投影する光の照度を含む計測条件（撮像に関する条件ともいう。）を決定する。調整部４２は、決定部４１が決定した計測条件に基づいて、輝度値分布の広がりの大きさが許容範囲内になるように投影部２０および撮像部３０のうち、少なくとも一方の調整を行う。

撮像部３０の露光量の調整は、撮像素子３１の制御による露光時間（シャッタースピードともいう）および、撮像光学系３３のＦ値のうち、少なくとも一方を調整することで行われる。撮像画像を構成する各画素の輝度値は、露光時間を長くするほど高くなる。また、Ｆ値が小さいほど、各画素の輝度値は高くなる。なお、撮像絞り３２の制御により、撮像光学系３３の被写界深度が変化するため、その変化量を考慮して撮像絞り３２を制御する。

投影部２０が物体Ｗに投影する光の照度の調整は、光源２１の発光輝度、表示素子２３の表示階調値、および投影光学系２５のＦ値のうち、いずれか１つを調整することで行われる。光源２１としてハロゲンランプを用いる場合には、印加電圧を高くするほど発光輝度は高くなり、照度が高くなる。光源２１としてＬＥＤを用いる場合は、ＬＥＤに流す電流を大きくするほど発光輝度は高くなり、照度が高くなる。

表示素子２３として透過型ＬＣＤを用いる場合は、表示階調値を大きくするほど透過率は高くなり、照度が高くなる。表示素子２３として、反射型ＬＣＯＳを用いる場合は、表示階調値を大きくするほど反射率が高くなり、照度が高くなる。表示素子２３として、ＤＭＤを用いる場合は、表示階調値を大きくするほど、フレームあたりのＯＮの回数が増加して、照度が高くなる。

Ｆ値が小さいほど、物体Ｗに投影される光の照度は高くなる。投影絞り２４の制御により、投影光学系２５の被写界深度が変化するため、その変化量を考慮して投影絞り２４を制御する。

位置姿勢算出部４３は、撮像部３０が撮像した、距離画像から物体Ｗの三次元形状を算出する。距離画像は、明線で形成された明部と暗線で形成された暗部とが交互に周期的に配置されたラインパターン光が投影された物体Ｗを撮像することで得られる。また、位置姿勢算出部４３は、撮像部３０が撮像した、濃淡画像から物体Ｗの二次元形状を算出する。濃淡画像は、均一に照明された物体Ｗを撮像することで得られる。三次元形状は、例えば、空間符号化法を用いて撮像部３０から物体Ｗまでの距離を算出することで求められうる。位置姿勢算出部４３は、三次元形状および物体ＷのＣＡＤモデルを用いて物体Ｗの位置および姿勢を求める。

本実施形態で用いる空間符号化法では、まず、明部と暗部とを含むラインパターン光（以下、ポジティブパターン光という）が投影された物体Ｗの撮像画像を構成する画素の輝度値からなる波形を求める。次に、当該ラインパターン光における明部と暗部とを反転させたラインパターン光（以下、ネガティブパターン光という）が投影された物体Ｗの撮像画像を構成する画素の輝度値からなる波形を求める。求めた２つの波形の複数の交点位置をラインパターン光の位置とみなす。また、ポジティブパターンにおける明部に１、暗部に０の空間コードを与える。ラインパターン光の幅を変更しながら、同様の処理を行う。光の幅が異なる空間コードを結合し、復号することで、ラインパターン光の投影部２０からの出射方向（投影方向）を決定することができる。この出射方向とラインパターン光の位置に基づいて撮像部３０から物体Ｗまでの距離が算出される。

決定部４１は、上記２つの波形の複数の交点位置における輝度値が所定の範囲内に収まるように、光の照度および露光量を含む計測条件を決定する。交点位置における輝度値を交点位置近傍の輝度値から算出する場合は、交点位置近傍の輝度値のうち、最も輝度値が高い輝度値が所定の範囲内に収まるように計測条件を決定することが望ましい。なお、濃淡画像を用いて二次元形状を算出する場合については、例えば、濃淡画像全体の輝度値が所定の範囲内に収まるように計測条件が決定される。所定の範囲から外れる場合は、例えば、交点位置の輝度が低すぎて黒つぶれする場合、輝度が高すぎて飽和する場合がある。

図２の（Ａ）〜（Ｃ）は、拡散反射性が鏡面反射性よりも高い物体Ｗを３つの異なる計測条件で撮像部３０が取得した撮像画像を構成する画素の輝度値の分布をヒストグラムで表した図である。横軸は輝度値であり、縦軸は、輝度値を所定の幅で分割した区間（ビンという。）に属する画素の度数（頻度ともいう。）を示す。横軸のうち、輝度が低く画素が黒つぶれする領域を黒つぶれ領域、輝度が高く飽和する領域を飽和領域とする。黒つぶれ領域と飽和領域とで挟まれる領域は、パターン光の位置を特定するために有効な所定の輝度値範囲（有効輝度領域ともいう。）とする。黒つぶれ領域としては、画像輝度の範囲の下位２％程度を設定することが好適である。同様に飽和領域についても、画像輝度範囲の上位２％程度を設定することが好適である。８ｂｉｔ階調（２５５階調）の画像を例に説明すると、下位２％は輝度階調にして、０ないし５、上位２％は輝度階調にして、２５０ないし２５５となる。

図２（Ａ）は、撮像部３０の露光量、または物体Ｗに投影する光の照度が低い計測条件におけるヒストグラムである。この場合、画素の輝度分布は、低輝度側に偏る。図２（Ｂ）は、撮像部３０の露光量、または物体Ｗに投影する光の照度を調整してパターン光の位置の特定精度を向上させた計測条件におけるヒストグラムである。この場合、画素の輝度分布は、有効輝度領域の中央付近にて分布のピークが立つ。図２（Ｃ）は、撮像部３０の露光量、または物体Ｗに投影する光の照度が高い計測条件におけるヒストグラムである。この場合、画素の輝度分布は、高輝度側に偏る。

パターン光の位置の特定精度を向上させるためには、輝度分布が有効輝度領域の全体に広がることが必要となる。さらに、有効輝度領域に含まれる画素の数もできるだけ多くすると、より精度を向上させることができる。輝度値分布の評価基準としては、輝度値分布の標準偏差および、他の評価基準も適用することができる。ここでは、他の評価基準を３つ例示する。

１つ目は、有効輝度領域に含まれるビンのうち度数が所定値以上（例えば、度数の最大値の４分の１以上）のビンの数である。ビンの数が多いほど、輝度値分布が有効輝度領域全体に広がっている（輝度値分布の広がりが大きい、輝度値分布の偏りが小さい、輝度値ヒストグラムの均一性（平坦性）が高い）と評価することができる。

２つ目は、有効輝度範囲に含まれるビンのうち度数が所定範囲に含まれるビンの数である。１つ目の評価基準と同様に、ビンの数が多いほど、輝度値分布の広がりが大きいと評価することができる。３つ目は、２次元画像の輝度ヒストグラムを確率分布とみなした場合におけるエントロピーの値である。エントロピーは、乱雑さの統計的尺度であり、-Σｐ・ｌｏｇ_２（ｐ）で定義される。ここで、ｐは、総和が１になるように正規化された輝度値ヒストグラムの度数である。エントロピーが大きいほど、輝度値分布の広がりが大きいと評価することができる。

有効輝度領域に含まれる画素の数は、例えば、撮像画像を構成する全画素のうち、有効輝度領域に含まれる画素の割合に基づいて評価することができる。すなわち、黒つぶれ領域に含まれる画素数、および飽和領域に含まれる画素数を全画素数から引いた結果を全画素数で割った値が、有効輝度領域に含まれる画素の割合となる。

図３は、複数の計測条件における撮像画像に基づいて最適な計測条件を求めるためのグラフを示す図である。図３における複数の計測条件は、物体Ｗに投影する光の照度を一定にして、撮像部３０について露光量のみを変化させたものとした。図３に示すグラフの横軸は露光量を示す。図３のグラフ中の曲線Ｌ１は、正規化された輝度分布の標準偏差の変化を示す。正規化は、次のようになされる。まず、複数の撮像画像のそれぞれにおいて、画素の輝度値の分布の標準偏差を求める。求めた複数の標準偏差のうち、最大の標準偏差で各標準偏差を割ることで複数の撮像画像のそれぞれに対応する標準偏差が正規化される。

なお、曲線Ｌ１は、有効輝度領域に含まれるビンのうち、度数が所定の値以上のビンの数、有効輝度領域に含まれるビンのうち、度数が所定の範囲に含まれるビンの数、輝度値ヒストグラムのエントロピー（上述）などを正規化して求めてもよい。また、曲線Ｌ２は、複数の撮像画像のそれぞれに対応する、有効輝度領域に含まれる画素の割合の変化を示す。

最適な計測条件を曲線Ｌ１のみから求める場合は、曲線Ｌ１が最大値となる露光量が最適な計測条件となる。さらに曲線Ｌ２を考慮して最適な計測条件を求める場合は、曲線Ｌ１と曲線Ｌ２とを合成した曲線Ｌ３（例えば、Ｌ１×Ｌ２）が最大値となる露光量が最適な計測条件となる。

図４の（Ａ）〜（Ｃ）は、鏡面反射性が拡散反射性よりも高い物体Ｗを３つの異なる計測条件で撮像部３０が取得した撮像画像を構成する画素の輝度値の分布をヒストグラムで表した図である。軸および領域の定義は図２と同様である。図４（Ａ）は、撮像部３０の露光量、または物体Ｗに投影する光の照度が低い計測条件におけるヒストグラムである。鏡面反射性が高い物体Ｗの場合、正反射条件が成り立つと、画素の輝度が非常に高くなる。したがって、低露光量または低照度の状態であっても飽和領域の画素が存在しうる。

図４の（Ｂ）は、撮像部３０の露光量、または物体Ｗに投影する光の照度を調整してパターン光の位置の特定精度を向上させた計測条件におけるヒストグラムである。拡散反射性が高い場合の図２（Ｂ）と比較すると飽和領域の画素の度数が多いが、分布の広がりや有効輝度領域に入る画素数は図４の（Ａ）よりも改善されている。図４の（Ｃ）は、撮像部３０の露光量、または物体Ｗに投影する光の照度が高い計測条件におけるヒストグラムである。この場合、画素の輝度分布は、高輝度側に偏る。鏡面反射性が高い物体Ｗの場合、物体Ｗの傾きに起因する明暗の差が大きいため、露光量を大きくしても飽和しにくい領域が多い。そのため、拡散反射性が高い対象物ほど、飽和領域に入る画素数は急激に増加しないが、有効輝度領域に属する画素の数は、図４の（Ｂ）の状態に比べると低い。

図５は、複数の計測条件における撮像画像に基づいて最適な計測条件を求めるためのグラフを示す図である。図３の場合と同様に、露光量のみを変化させた複数の計測条件としている。軸や曲線の定義は図３と同様である。拡散反射性が鏡面反射性よりも高い場合の図３と比べると、曲線Ｌ３のピークが鈍化しているものの最適露光時間を求めることができる。ピークが鈍化したのは、鏡面反射性が高い物体Ｗの方が、露光量を大きくしたときの飽和画素の割合の増加量が低いためである。

図６は、最適な計測条件を決定する工程を示すフローチャートである。各工程は、制御部４０内の決定部４１または調整部４２が行う。また、上述の空間符号化法により三次元形状を求める場合について説明する。上記説明では、画素の輝度値、画素数に基づいて計測条件が決定されていたが、空間符号化法を用いる場合は、交点の輝度値、交点の数に基づいて計測条件が決定される。本実施形態では、計測条件のうち、露光時間のみを変化させて、最適な露光時間を決定する。工程Ｓ１０１で決定部４１は、撮像を行うＮ種類の複数の露光時間を決定する。工程Ｓ１０２で決定部４１は、ｉ番目の露光時間を設定する。初回はｉ＝１とする。工程Ｓ１０３および工程Ｓ１０４で調整部４２は、決定部４１が設定した露光時間を含む計測条件に基づいて、投影部２０および撮像部３０を調整する。工程Ｓ１０３では、ポジティブパターン光を投影された物体Ｗの撮像が行われる。投影するパターン光は、ラインパターンの幅がもっとも狭いもの１種類のみを用いればよい。工程Ｓ１０４では、ネガティブパターン光を投影された物体Ｗの撮像が行われる。ポジティブパターン光と同様にラインパターンの幅がもっとも狭いもの１種類のみを用いればよい。工程Ｓ１０３および工程Ｓ１０４は順不同である。

工程Ｓ１０５で決定部４１は、工程Ｓ１０３で撮像された撮像画像を構成する画素の輝度値の分布と工程Ｓ１０４で撮像された撮像画像を構成する画素の輝度値の分布との複数の交点を求める。工程Ｓ１０６および工程Ｓ１０７は、上述の曲線Ｌ１を求めるフローであり、工程Ｓ１０８〜工程Ｓ１１１は、上述の曲線Ｌ２を求めるフローである。これらフローは、並列に進めてもよく、別々に順次進めてもよい。

工程Ｓ１０６で決定部４１は、工程Ｓ１０５で求めた複数の交点を、当該複数の交点の輝度値に基づいて輝度値のヒストグラムの各区間に分類する。工程Ｓ１０７で決定部４１は、ヒストグラムの標準偏差を算出する。

工程Ｓ１０８で決定部４１は、工程Ｓ１０５で求めた複数の交点の総数をカウントする。工程Ｓ１０９で決定部４１は、黒つぶれ領域に含まれる交点の数をカウントする。工程Ｓ１１０で決定部４１は、飽和領域に含まれる交点の総数をカウントする。工程Ｓ１１１で決定部４１は、交点の総数から黒つぶれ領域に含まれる交点の数および飽和領域に含まれる交点の数を引いた結果から交点の総数を割り、有効輝度領域に含まれる交点の割合を算出する。

工程Ｓ１１２で決定部４１は、工程Ｓ１０１で決定したＮ種類の露光時間による撮像が完了したか否か（ｉ＜Ｎ）を判断する。完了していないと判断された場合は、工程Ｓ１１３でｉに１を加算して工程Ｓ１０２で次の露光時間を設定する。完了した（ｉ＝Ｎ）と判断された場合は、工程Ｓ１１４で決定部４１は、工程Ｓ１０７で求めた標準偏差の最大値を求める。工程Ｓ１１５で決定部４１は、工程Ｓ１１４で求めた最大値により工程Ｓ１０７で求めた標準偏差を正規化する。工程Ｓ１１７で決定部４１は、工程Ｓ１１１で求めた割合と、工程Ｓ１１５で求めた標準偏差の正規化値との掛け算を計算し、その値が最大値となる露光時間を最適露光時間とする。

以上のように、本実施形態の処理装置１は、物体Ｗの表面の反射性によらず、適切な計測条件を決定することができる。したがって、本実施形態によれば、計測精度の点で有利な、画像データにおける輝度値分布を得る処理装置を提供することができる。

（第２実施形態）
第１実施形態では、空間符号化法を用いた三次元形状の算出においてラインパターン光の位置を計測する場合を主に説明した。本実施形態では、均一光を物体Ｗに投影して得られた濃淡画像を用いて二次元形状を算出する場合について説明する。第１実施形態と異なる点は、二つの撮像画像それぞれに対応する二つの輝度分布の交点ではなく、一つの撮像画像を構成する画素を計測条件の決定のために用いる点である。

図７は、本実施形態に係る最適な計測条件を決定する工程を示すフローチャートである。第１実施形態の図６における工程と同様の工程の説明は省略する。工程Ｓ２０１および工程Ｓ２０２は、それぞれ図６の工程Ｓ１０１および工程Ｓ１０２と同様である。本実施形態では、工程Ｓ１０３〜工程Ｓ１０５の代わりに、工程Ｓ２０３にて、均一光が投影された物体Ｗが撮像される。

工程Ｓ１０６、Ｓ１０７では、交点の輝度に基づいて作成したヒストグラムの標準偏差を算出していた。一方、本実施形態では、工程Ｓ２０３で得た撮像画像を構成する画素の輝度に基づいてヒストグラムを作成し（工程Ｓ２０４）、標準偏差を算出する（工程Ｓ２０５）。

工程Ｓ１０８〜工程Ｓ１１１では、交点の総数に基づいて有効画素の割合を算出していた。本実施形態では、工程Ｓ２０３で得た撮像画像を構成する画素の総数（工程Ｓ２０６）、黒つぶれ領域の画素数（工程Ｓ２０７）、飽和領域の画素数（工程Ｓ２０８）、をそれぞれカウントし、有効画素の割合を算出する（工程Ｓ２０９）。工程Ｓ２１０以降は、工程Ｓ１１２以降と同様である。

以上のように、均一光を投影して得られた濃淡画像においても物体Ｗの表面の反射性によらず、適切な計測条件を決定することができ、本実施形態も第１実施形態と同様の効果を奏する。

（物品製造方法に係る実施形態）
上述の処理装置は、ある支持部材に支持された状態で使用されうる。本実施形態では、一例として、図８のようにロボットアーム４００（把持装置）に備え付けられて使用される制御システムについて説明する。処理装置１００は、支持台Ｔに置かれた物体Ｗにパターン光を投影して撮像し、画像を取得する。そして、処理装置１００の制御部（図示せず）が、又は、処理装置１００の制御部（図示せず）から出力された画像データを取得したアーム制御部３１０が、物体Ｗの位置および姿勢を求め、求められた位置および姿勢の情報をアーム制御部３１０が取得する。アーム制御部３１０は、その位置および姿勢の情報（計測結果）に基づいて、ロボットアーム４００に駆動指令を送ってロボットアーム４００を制御する。ロボットアーム４００は先端のロボットハンドなど（把持部）で物体Ｗを保持して、並進や回転などの移動をさせる。さらに、ロボットアーム４００によって物体Ｗを他の部品に組み付ける（組立する）ことにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された物体Ｗを加工（処理）することにより、物品を製造することができる。アーム制御部３１０は、ＣＰＵなどの演算装置やメモリなどの記憶装置を有する。なお、ロボットを制御する制御部をアーム制御部３１０の外部に設けても良い。また、処理装置１００により計測された計測データや得られた画像をディスプレイなどの表示部３２０に表示してもよい。

図９は、表示部３２０に表示される情報の例を示す図である。表示部３２０は、画像表示領域３２１およびボタン領域３２２を有する。図９では、物体Ｗを鏡面反射性が高い球体とした。表示部３２０としては、液晶ディスプレイやプラズマディスプレイなど種々の表示装置を用いることができる。画像表示領域３２１には、処理装置１００の撮像部により撮像された撮像画像や距離点群データが表示されうる。さらに、撮像画像に飽和領域や黒つぶれ領域、距離点群欠損領域を重ねて表示されうる。距離点群欠損領域とは、画素が飽和または黒つぶれして計測ができなかった距離点群が存在する領域を指す。ユーザは、画像表示領域３２１に表示される情報に基づいて、設定された計測条件の妥当性を判断することができる。

ボタン領域３２２には、画像表示領域３２１に表示する画像の種別を選択するボタンが配置される。図１０の（Ａ）〜（Ｅ）は、画像表示領域３２１に表示される各種画像を示す図である。ボタン領域３２２には位置された画像データのラジオボタンを有効にすると、図１０の（Ａ）に示す撮像画像が表示される。領域Ｂａは、物体Ｗにより遮られてできた影領域を示す。領域Ｓａは、ハレーションを起こした飽和領域を示す。

ボタン領域３２２の飽和領域のチェックボックスを有効にすると、図１０の（Ｂ）において斜線で示すように飽和領域がハイライトされる。ボタン領域３２２の黒つぶれ領域のチェックボックスを有効にすると、図１０の（Ｃ）において斜線で示すように黒つぶれ領域がハイライトされる。ボタン領域３２２の距離点群欠損領域のチェックボックスを有効にすると、距離点群を取得できなかった領域が図１０の（Ｄ）において斜線で示すようにハイライトされる。ボタン領域３２２の距離点群データのラジオボタンを有効にすると、距離点群データｄが表示される。距離点群データを表示する際は、マウスやキーボードなどの入力デバイスを利用して３次元的な視点変更ができるようにしてもよい。

（その他の実施形態）
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。

１ 処理装置
２０ 投影部
２１ 光源
２２ 照明光学系
２３ 表示素子
２４ 投影絞り
２５ 投影光学系
３０ 撮像部
３１ 撮像素子
３２ 撮像絞り
３３ 撮像光学系
４０ 制御部
４１ 決定部
４２ 調整部

Claims (18)

1. 物体を撮像して画像データを得る撮像部と、前記撮像部を制御する制御部とを有する処理装置であって、
   前記制御部は、前記画像データを構成する複数の画素に関する輝度値分布の広がりの大きさに基づいて、前記撮像に関する条件を決定することを特徴とする処理装置。
2. 前記制御部は、前記輝度値分布の標準偏差に基づいて前記条件を決定することを特徴とする請求項１に記載の処理装置。
3. 前記制御部は、前記輝度値分布を表すヒストグラムにおいて、所定の輝度値範囲に含まれる複数のビンのうち度数が所定値以上のビンの数に基づいて前記条件を決定することを特徴とする請求項１または２に記載の処理装置。
4. 前記制御部は、前記輝度値分布を表すヒストグラムにおいて、所定の輝度値範囲に含まれる複数のビンのうち度数が所定範囲に含まれるビンの数に基づいて前記条件を決定することを特徴とする請求項１乃至３のうちいずれか１項に記載の処理装置。
5. 前記制御部は、前記輝度値分布から得られるエントロピーに基づいて前記条件を決定することを特徴とする請求項１に記載の処理装置。
6. 前記制御部は、前記条件ごとに前記大きさを示す第１曲線に基づいて前記条件を決定することを特徴とする請求項１乃至５のうちいずれか１項に記載の処理装置。
7. 前記制御部は、前記条件を、前記第１曲線における前記条件のうち前記大きさが最大となるものに決定することを特徴とする請求項６に記載の処理装置。
8. 前記制御部は、所定の輝度値範囲に含まれる画素の占める割合を前記条件ごとに示す第２曲線に基づいて、前記条件を決定することを特徴とする請求項６に記載の処理装置。
9. 前記制御部は、前記第１曲線と前記第２曲線との積により得られる第３曲線に基づいて前記条件を得ることを特徴とする請求項８に記載の処理装置。
10. 前記制御部は、前記条件を、前記第３曲線における前記条件のうち前記第３曲線が最大値を示すものに決定することを特徴とする請求項９に記載の処理装置。
11. パターン光を前記物体に投影する投影部を有し、
    前記画像データは、前記投影部により前記パターン光を前記物体に投影されて前記撮像部により前記物体を撮像して得られたものであり、
    前記制御部は、前記画像データにおける前記パターン光に対応する複数の画素を抽出し、前記複数の画素に関して前記輝度値分布を得ることを特徴とする請求項１乃至１０のうちいずれか１項に記載の処理装置。
12. 前記パターン光は、第１ラインパターン光と、前記第１ラインパターン光とは明暗が反転している第２ラインパターン光とを含み、
    前記画像データは、前記第１ラインパターン光に対応する第１画像データと、前記第２ラインパターン光に対応する第２画像データとを含み、
    前記制御部は、前記複数の画素として、前記第１画像データの画素とそれに対応する前記第２画像データの画素との間で互いに輝度値が等しい前記第１画像データにおける画素を抽出することを特徴とする請求項１１に記載の処理装置。
13. 前記制御部は、前記撮像部に含まれる絞りおよび撮像素子のうち少なくとも一方を、前記大きさが許容範囲内になるように、前記条件に基づいて制御することを特徴とする請求項１乃至１２のうちいずれか１項に記載の処理装置。
14. パターン光を前記物体に投影する投影部を有し、
    前記制御部は、前記大きさが許容範囲内になるように、前記条件に基づいて前記投影部を制御することを特徴とする請求項１に記載の処理装置。
15. 前記物体を認識する機能を有する請求項１乃至１４のうちいずれか１項に記載の処理装置と、
    前記処理装置により認識された前記物体を保持して移動させるロボットと、
    を有することを特徴とするシステム。
16. 請求項１乃至１４のうちいずれか１項に記載の処理装置と、
    前記撮像部により前記条件で得られた画像データを表示する表示部と、
    を有することを特徴とするシステム。
17. 画像データを処理する処理方法であって、
    物体を撮像して前記画像データを得、
    前記画像データを構成する複数の画素に関して輝度値分布の広がりの大きさを得、
    前記大きさに基づいて、前記撮像に関する条件を決定する、
    ことを特徴とする処理方法。
18. 請求項１乃至１６のうちいずれか１項に記載の処理装置を用いて認識を行われた物体の移動をロボットにより行う第１工程と、
    前記第１工程で前記移動を行われた前記物体の処理を行う第２工程と、
    を含み、前記第２工程での前記物体の前記処理により物品を製造することを特徴とする物品製造方法。

Images