JP2011095131A - 画像処理方法 - Google Patents

Abstract

【課題】 立体的な対象物の３次元形状を計測する際に問題となる画像中に観測される輝度値の変動領域の判定を行う画像処理方法を提供する。
【解決手段】 画像処理方法は、対象物Ｑを照射装置Ｆ１で照明し、カメラＣ１によって撮像した２次元画像データＦＤ１２を得る第一撮像工程と、同一のカメラＣ１によって同一の対象物Ｑを異なる照明位置から照明装置Ｆ２で照明して撮像した２次元画像データＦＤ１３を得る第二撮像工程とを行い、２次元画像データＦＤ１２とＦＤ１３とから反射光量による輝度値の差分データを生成し、この差分データの平均値を基準に標準偏差を閾値にして、閾値以上の輝度を示す差分データを対象物Ｑの画像データの変動領域と判定する抽出工程とを具備し、対象物Ｑの３次元形状データが正確に生成される効果を奏する。
【選択図】図１

Description

本発明は、対象物の２次元画像からステレオ相関法で３次元形状データを生成する画像処理方法に関する。そして本発明は、物品検査、ロボットの視覚、個人認証、監視カメラ、衛星画像解析、医療画像解析、顕微鏡画像解析などに利用できる。

３次元物体の対象物に対して、非接触でその３次元距離データを計測する場合、例えば特開平２−２９８７８号公報（特許文献１）に示されているように、光軸及び座標系（撮像面）が平行な２台のカメラを使用することが提案されている。これは、その２台のカメラで同一対象物を撮像し、各撮像画像の同一領域を構成する画素についてそれぞれ対応付けを行い、その結果から視差を抽出することにより対象物までの距離を演算するようにしたものである。

一方、対象物の３次元形状データを生成する方法として、ステレオ相関法がしばしば用いられる。ステレオ相関法では、複数台のカメラを備えた撮像装置によって対象物を撮影し、視点の異なる複数の２次元画像を得る。それら複数の２次元画像について、相関法または勾配法などを用いて対応点を探索する。探索結果を合成し、３次元再構成を行って３次元形状データを生成する。

更に詳しく、ステレオ相関法は、輝度画像から物体の形状を計測する簡便な３次元計測手法である。基本的な原理は、２台のカメラから対象物体上の同一点を探し、画像中の２次元座標から各カメラからの方向ベクトルを得て三角測量の原理で３次元座標を計算する。計算に用いるカメラの位置と画像中の２次元位置から方向ベクトルに変換する変換式および式のパラメータは、あらかじめキャリブレーションを行って計測しておく。

ステレオ相関法においては、第一のカメラ画像の各画素内に一点を選び、その周囲に近傍の微小領域（以下近傍領域という）のウィンドウを設ける。多くの場合、近傍領域は注目点を中心とする矩形である。次に、第二のカメラにおいても同様に対応点の候補となる点の周辺に同じ形状のウィンドウを設ける。これらのウィンドウ間で輝度分布の類似度を計算する。類似度の評価方法にはさまざまな方法がある。一例として、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる方法では相対的位置が等しい画素同士の輝度の差の絶対値のウィンドウ全体における総和を計算する。この場合、計算結果が小さいものほど類似度は高くなる。対応点が決定すれば，２台のカメラからそれぞれの画像上の点への方向ベクトルが決まり、対象物体上の点の３次元座標値が計算できる。

ここで対象物が立体的でその側面画像は、異なるカメラで撮像された異なる２次元画像中の対象物体上の同一点に観測されることは稀で、一般に異なる位置に現れたり、片方の画像にしか存在しなかったりする。即ち、一方のカメラから見えており撮像される領域が視線の異なる他方のカメラから見えず撮像されない領域が存在する。以後、この領域をオクルージョン領域（Ｏｃｃｕｌｕｓｉｏｎ）と称す。この結果，誤って対応付けられた点から計算された三次元座標値は、正しい値を持たない。

そのため、対応点の探索が困難であり、生成された３次元形状データが不正確となる。よって、対応点はカメラに向いた対象物の正面の平面領域内から選ぶのが好ましい。従って、対象物に対して、ステレオ相関法を正しく行うためには、カメラに向かって対象物画像に現れる側面領域を含むオクルージョン領域を検出し、さらに可能であれば正面の平面領域を判定する必要がある。そして、既存の対象物の正面の領域を判定する方法は、対象物のエッジを検出する方法（特許文献２）などがある。

特開平２−２９８７８号公報 特開平７−２９９７８２号公報

しかし、上に述べた従来の方法によってもオクルージョン領域の判定をより精度良く行うことは出来ない。対象物が不特定形状で乱雑に配置されているような場合や、乱雑に積層されているような場合は、エッジ検出だけでカメラに向かって正面の平面領域は特定出来ない。例えば、カメラからの視野に積層された上部の対象物の平面に連続して下部の対象物の側面が見えることもあれば、右側の対象物の側面に連続して左側の対象物の平面が見えることもある。そのため、やはり対応点の探索が正確に行われない部分が生じ、正確な３次元形状データを生成することが困難である。

本発明は、ステレオ相関法を用いて物体の３次元形状を計測する際に問題となる画像中に観測されるオクルージョン領域成分の判定を行うことを目的とする。

本発明は上記課題を解決するために、光を照射する照射手段で対象物を照明し、少なくとも１つの撮像手段によって撮像した第一２次元画像データを得る第一撮像工程と、第一撮像工程と同一の撮像手段によって同一の対象物を異なる照明位置から照射手段で照明して撮像した第二２次元画像データを得る第二撮像工程と、第一２次元画像データと第二２次元画像データとから反射光量による輝度値の変動領域を判定する抽出工程と、前記撮像手段を含む複数の撮像手段で対象物を異なる視点から撮像して得た複数の２次元画像データから３次元形状データを生成する時に、前記抽出工程で変動領域を判定した前記撮像手段による２次元画像データにおいて変動領域以外の画像から３次元形状データを生成する生成工程と、を具備するようにしたものである。

また本発明の請求項１記載の画像処理方法において、前記抽出工程は第一２次元画像データと第二２次元画像データとから反射光量による輝度値の差分データを生成し、この差分データの平均値を基準に設定した閾値以上の輝度を示す画像データを対象物の画像データの変動領域と判定するようにしたものである。

また本発明の請求項２記載の画像処理方法において、前記閾値は差分データの平均値から標準偏差の値を離した値であるようにしたものである。

また本発明の請求項１記載の画像処理方法において、前記第一撮像工程と前記第二撮像工程は照明手段による照明位置の対象物からの角度が異なるようにしたものである。

本発明は上記課題を解決するために、第一撮像手段のオクルージョン領域成分を判定する第一抽出工程と、第二撮像手段のオクルージョン領域成分を判定する第二抽出工程と、前記第一撮像手段と第二撮像手段によって対象物を撮像して得た２次元画像データから３次元形状データを生成する時に、前記第一抽出工程と第二抽出工程で判定したオルクージョン領域成分を除外して画像処理する３次元形状データを生成する生成工程と、を具備するようにしたものである。

また本発明の請求項５記載の画像処理方法において、前記第一と第二抽出工程は、第一撮像手段が照明手段による照明位置の対象物からの角度が異なる第一撮像工程と第二撮像工程と、を備え、前記第一撮像工程と第二撮像工程にて得た第一と第二２次元画像データからオクルージョン領域を判定するようにしたものである。

また本発明の請求項６記載の画像処理方法において、前記第一と第二抽出工程は第一と第二２次元画像データとから反射光量による輝度値の差分データを生成し、この差分データの平均値を基準に設定した閾値以上の輝度を示す画像データを対象物の画像データの変動領域と判定するようにしたものである。

また本発明の請求項７記載の画像処理方法において、前記閾値は差分データの平均値から標準偏差の値を離した値であるようにしたものである。

本発明の請求項１に係る画像処理方法によれば、画像データ中の変動領域分が簡単に判定される。その結果、正確な３次元形状データを生成することができる。

また本発明の請求項２に係る画像処理方法によれば、２次元画像データ中の変動領域を高い精度で特定することができる効果を奏する。

また本発明の請求項３に係る画像処理方法によれば、第一撮像工程と第二撮像工程にて得られた２次元画像データによる変動領域をより高い精度でを特定することができる効果を奏する。

また本発明の請求項４に係る画像処理方法によれば、第一撮像工程と第二撮像工程にて２次元画像データの変動領域をより高い精度で特定することができる効果を奏する。

また本発明の請求項５に係る画像処理方法によれば、２次元画像データのオクルージョン領域成分を除外して画像処理することで正確な３次元形状データを生成することができる。

また本発明の請求項６に係る画像処理方法によれば、第一撮像工程と第二撮像工程にて２次元画像データのオクルージョン領域成分をより高い精度で特定することができる効果を奏する。

また本発明の請求項７に係る画像処理方法によれば、２次元画像データ中のオクルージョン領域成分を高い精度で特定することができる効果を奏する。

また本発明の請求項８に係る画像処理方法によれば、第一抽出工程と第二抽出工程にて得られた２次元画像データによるオクルージョン領域成分をより高い精度でを特定することができる。

本発明の第１の実施形態の３次元形状生成装置１の機能的な構成を示すブロック図 撮像装置および照明装置の配置の例を示す図 ３次元形状生成装置１の処理工程を示す図 変動領域の判定手段の他の実施形態を説明する説明図 本発明の第２の実施形態である第１の実施形態の３次元形状生成装置１を産業用ロボットのアーム部に配置した状態を示す図

以下、本発明の実施例を図１乃至図３に基づいて説明する。

図１は本発明に係る第１の実施形態の３次元形状生成装置１の機能的な構成を示すブロック図、図２は撮像装置および照明装置の配置の例を示す図である。

本発明では、２台のカメラで同時に例えば床面に置かれた立体形状の対象物Ｑを撮像し、１対のステレオ視対を用意し、そのステレオ視対で距離を計算する。まず個々のステレオ視の画像についてオクルージョン領域が存在している変動領域を抽出し、ついでステレオ視対において３次元形状画像データを生成する。

これらの図において、３次元形状生成装置１は、撮像装置Ｍ１、照明装置Ｆ１，Ｆ２、および処理装置１０からなる。撮像装置Ｍ１は、２台のカメラＣ１，Ｃ２を一体的に備える。これらのカメラＣ１，Ｃ２は、光学系を介して結像する対象物Ｑの２次元画像を撮像（撮影）するＣＣＤやＣＭＯＳなどを有する公知のデジタルカメラである。２つのカメラＣ１，Ｃ２は、床面に置かれた対象物Ｑに対して互いに視点が異なるように配置され、互いに視差のある２次元画像データＦＤを取得する。

２台のカメラＣ１，Ｃ２の配置に関して、図２を参照して詳述する。カメラＣ１とＣ２は互いに所定の距離（視間）を離れて配置され、対象部Ｑに向かって傾斜される。よって、カメラＣ１とＣ２は互いに異なる方向に傾斜している。この配置によるとカメラＣ１の投影中心Ｃ１１から見て対象物Ｑの側面Ｑ１と平面Ｑ２は撮像領域となり、側面Ｑ３はカメラＣ１からは見えないオクルージョン領域となる。一方、カメラＣ２の投影中心Ｃ２１から見て対象物Ｑの側面Ｑ３と平面Ｑ２は撮像領域となり、側面Ｑ１はカメラＣ２からは見えないオクルージョン領域となる。即ち、カメラＣ１とカメラＣ２の両方の撮像領域に入るのは平面Ｑ２となる。ここで、カメラＣ１とカメラＣ２の視間が広くなるとそれぞれのカメラＣ１とＣ２との傾斜角度が床面と平行に近づくため、カメラＣ１とカメラＣ２との間で平面Ｑ２の撮像画像が小さくなり、オルクージョン領域が広くなるので対応点の設定が限られてしまう。そのため、平面Ｑが適宜の大きさに撮像される視間が設定される。

カメラＣ１，Ｃ２により取得された視差を有する２つの２次元画像データＦＤ１、ＦＤ２に基づいて、処理装置１０において、ステレオ相関法によって３次元形状画像データＤＴが生成される。なお、３つ以上のカメラＣを用い、それらから得られる２つの２次元画像データＦＤに基づいて３次元形状画像データＤＴを生成し、他の１つの２次元画像データＦＤを各点の信頼性データの取得に用いることも可能である。このようにすると、データの欠落部分の評価が容易である。

照明装置Ｆ１，Ｆ２は、対象物Ｑに照明光を照射するもので、本発明の照射手段に相当する。本実施例において、対象物Ｑの撮像が室内で行なわれるため、撮像における適正露出が得られる撮像環境を得るために撮像装置Ｍ１による撮像時に光を照射するものである。なお、この照射装置Ｆ１，Ｆ２による光量は撮像環境によって変わるもので、対象物Ｑの撮像が室外で行なわれるときには、天候にもよるが自然光による光量が多い環境では適正露出を得るのに照射装置Ｆ１，Ｆ２による光量は少なくとも良い。

次に、各照明装置Ｆ１，Ｆ２は、対象物Ｑに対して互いに異なる角度で照明光を照射する。照明装置Ｆ１，Ｆ２は撮像装置Ｍ１を挟んで左右に配置され、撮像装置Ｍ１に対向配置された対象物Ｑに向かうように互いに逆向きに傾斜される。これら照明装置Ｆ１，Ｆ２は、撮像装置Ｍ１による撮影に際して、１回目は照明装置Ｆ１により、２回目は照明装置Ｆ２によりそれぞれ照明が行なわれる動作と、両方を同時に点灯する動作が可能である。これら、撮像装置Ｍ１および照明装置Ｆ１，Ｆ２の動作は、処理装置１０によって制御される。

撮像装置Ｍ１で得られる２次元画像データＦＤにおいて、オルクージョン領域があった場合、いずれの照明装置Ｆ１，Ｆ２がオンしているかによって照明光が照射されるオクルージョン領域の位置が異なる。図２に示すように、照明装置Ｆ１によって照明される時、対象物Ｑの側面Ｑ１と平面Ｑ２は照明されるが、側面Ｑ３は照明されず影となる。一方、照明装置Ｆ２によって照明される時、対象物Ｑの側面Ｑ３と平面Ｑ２は照明されるが、側面Ｑ１は照明されず影となる。よって、照明装置Ｆ１とＦ２の点灯状態によってオクルージョン領域は照明状態が変動するが、共通撮像領域は照明状態の変動が小さくなる。

処理装置１０は、制御部１１、記憶部１２、変動領域判定部１３、および３次元形状画像生成部１５などを有する。制御部１１には、撮像制御部２１および照明制御部２２が設けられる。撮像制御部２１は、撮像装置Ｍ１を制御する。例えば、撮像装置Ｍ１のシャッタを制御し、露出タイミング、露出時間などを制御する。照明制御部２２は、各照明装置Ｆ１，Ｆ２を制御する。例えば、撮像装置Ｍ１による撮影に際して、照明装置Ｆ１，Ｆ２を順次オンするように切り換える。

その他、制御部１１は処理装置１０の全体を制御する。記憶部１２は、撮像装置Ｍ１から出力される複数組みの２次元画像データＦＤ、その他のデータおよびプログラムを記憶する。また、制御部１１からの指令によって、記憶した２次元画像データＦＤを変動領域判定部１３に出力する。

変動領域判定部１３は、２次元画像データＦＤ１、ＦＤ２の中からオクルージョン成分領域を検出する。その方法として次の方法がある。画像データ中の１画素ごとの輝度値を基準に所定の閾値との比較でもって画素または領域をオクルージョン成分領域として抽出する。具体的には、撮像装置Ｍ１の一方のカメラＣ１で撮像される対象物Ｑに含まれるオクルージョン領域とカメラＣ２により撮像されるオクルージョン領域は異なる。また、それぞれのカメラＣ１，Ｃ２による撮像領域において照明装置Ｆ１，Ｆ２により光照射領域も異なる。この場合、撮像装置Ｍ１に対向する対象物Ｑの正面の平面Ｑ２領域はほぼ均等に照明されることとなるが、略垂直面の側面Ｑ１、Ｑ３であるオルクージョン領域は、カメラＣ１に撮像される側面Ｑ１は照明装置Ｆ１に照明されるが照明装置Ｆ２によっては照明されない位置関係となる。一方、カメラＣ２に撮像される側面Ｑ３は照明装置Ｆ２に照明されるが照明装置Ｆ１によっては照明されない位置関係となる。即ち、一方のカメラＣ１で撮像する際に照明装置Ｆ１のみを用いた画像と照明装置Ｆ２のみを用いた画像では側面Ｑ１とＱ３で大きくその明るさが変動する。これはカメラＣ２でも同様である。そこでこの変動の大きな領域を抽出することで対象物Ｑのオルクージョン領域成分と判定する。

更に具体的には、一方のカメラＣ１で使用する照明装置Ｆ１とＦ２を異ならせた２つの画像を撮像する。通常のカメラにおいては撮像素子に入射する光量を積算し、その値をＡ／Ｄ変換によって整数値に変換し画像フォーマットの形式で保持するが、Ａ／Ｄ変換あるいは画像フォーマットの制限により、この際に画素で表現可能な輝度の最大値が存在する。たとえば輝度を８ｂｉｔで表現する画像フォーマットであれば、最大値は２５５となり最小値は０となる。したがって、そのようなカメラの使用においては、２つの画像における輝度値の差分画像を得ることで、その差分値が大きい値ほど２つの画像で明るさがことなる点、即ちオクルージョン領域と判定できる。詳細は後述するが本実施例では、差分画像において、全輝度値の平均値から全輝度値の標準偏差を減算した値を閾値として、オクルージョン領域成分の有無を設定する。

このような変動領域判定部１３によって、２次元画像データＦＤ１、ＦＤ２の中のオクルージョン領域成分を自動的に検出することが可能である。なお、２次元画像データＦＤ１におけるオクルージョン領域成分の位置と、２次元画像データＦＤ２におけるオクルージョン領域成分の位置とは異なる。照明装置Ｆ１，Ｆ２とカメラＣ１、Ｃ２との位置が異なるためである。

３次元形状画像生成部１５は、２次元画像データＦＤ１、ＦＤ２に基づいて、３次元形状画像データＤＴを生成する。また、複数の３次元形状画像データＤＴを統合して１つの３次元形状画像データＤＴとする。３次元形状画像生成部１３のこのような機能は、従来から公知である。この３次元形状画像データＤＴを生成する基となる２次元画像データＦＤ１、ＦＤ２の対応点は変動領域判定部１３にて検出された情報を元にオクルージョン領域成分以外の画像から探索される。

このような処理装置１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、磁気ディスク装置、光磁気ディスク装置、媒体ドライブ装置、入力装置、ディスプレイ装置、および適当なインタフェースなどを用い、ＣＰＵがプログラムを実行することによって実現することができる。パーソナルコンピュータなどを用いて構成することも可能である。そのようなプログラムは、適当な記録媒体によって供給することが可能であり、また、ネットワークを介して他のサーバからダウンロードすることも可能である。

次に、３次元形状生成装置１の動作の流れを、タイムチャートを参照して説明する。図３は３次元形状生成装置１の処理工程を示すタイムチャートである。横軸は時間（ｔ）、縦軸には対応する構成のＯＮとＯＦＦを示す。３次元形状生成装置１で対象物Ｑの３次元形状画像データＤＴを作成したい場合、操作者は３次元形状生成装置１の図示しない動作スイッチをオンする。そのオンに続いて、３次元形状生成装置１は制御部１１によって自動的に以下の動作を行なう。

図３において、照明装置Ｆ１、Ｆ２の両方を消灯して撮像装置Ｍ１による１回目の撮像を行う。この時、照明装置Ｆ１、Ｆ２による照明光量が無いので、対象物Ｑを室内において外来光のみで撮像される。ここで撮像装置Ｍ１による撮影時間は以後の処理工程と同じでよく、特に変更する必要はない。

カメラＣ１、Ｃ２を介して得られた２つの２次元画像データＦＤ１１、ＦＤ２１を、記憶部１２の所定のメモリ領域に記憶し、後述する変動領域の抽出工程において用いられる２次元画像データにおいて外来光の影響を無くす処理が実行される時に利用される（工程Ｓ１）。即ち、照明装置Ｆ１、Ｆ２による照明光量が無いので２次元画像データＦＤ１１、ＦＤ２１の輝度値は外来光のみによるものなるので、照明装置Ｆ１、Ｆ２による照明光量がある場合は、その外来光の輝度値を引き算することで、仮に外来光にムラがあった場合に、そのムラの影響を少なくすることが出来る。ただし、このプレ撮像工程は外来光が均一な環境であれば無くても良い。

次に、照明装置Ｆ１をＯＮ、照明装置Ｆ２をＯＦＦにして撮像装置Ｍ１による２回目の撮像を行う。この時、照明装置Ｆ１による初期露光時間Ｔ１と初期照明光量は、対象物Ｑを室内において撮像装置Ｍ１で撮影する際の通常の撮像条件が設定される。即ち、一般的にカメラは対象物を撮影するのに適正露出となるよう公知の自動露出機能を有している。本発明では、撮影装置Ｍ１に自動露出により適正露出が設定されることで、初期露光時間Ｔ１と初期照射光量が設定される。カメラＣ１、Ｃ２を介して得られた２つの２次元画像データＦＤ１２、ＦＤ２２を、記憶部１２の所定のメモリ領域に記憶される。これは本発明の第一撮像工程に相当する（工程Ｓ２）。

次に、照明装置Ｆ１をＯＦＦ、照明装置Ｆ２をＯＮにして撮像装置Ｍ１による３回目の撮像を行う。この時、照明装置Ｆ１による初期露光時間Ｔ１と初期照明光量は、工程Ｓ２と同じく対象物Ｑを室内において撮像装置Ｍ１で撮影する際の通常の撮像条件が設定される。そして、カメラＣ１、Ｃ２を介して得られた２つの２次元画像データＦＤ１３、ＦＤ２３を、記憶部１２の所定のメモリ領域に記憶される。これは本発明の第二冊増工程に相当する（工程Ｓ３）。

カメラＣ１、Ｃ２を介して得られた４つの２次元画像データＦＤ１２、ＦＤ１３、ＦＤ２２、ＦＤ２３を用いて、それぞれの画像に対して変動領域判定部１３によって分析される。

次に、変動領域の判定に関して説明する。判定処理は、４つの２次元画像データから同一のカメラによって撮像され照明装置が異なる２つの画像データを用いて行われる。ここでは、まずカメラＣ１によって撮像された２次元画像データＦＤ１２とＦＤ１３を用いて判定を行う。

２次元画像データＦＤ１２とＦＤ１３の全画素における２５６階調で表した輝度値の差分データを求める。１画素ごとの階調値の差分を計算することで、２次元画像データＦＤ１２とＦＤ１３との間で照射光の照射される領域の状態が大きく異なる領域ほど差分値が「０（ゼロ）」から離れる。即ち、カメラＣ１での撮影領域において対象物Ｑの側面Ｑ１は照明装置Ｆ１で照射された２次元画像データＦＤ１２ではその輝度値が「０」に近くなる。一方、同じ側面Ｑ１は照明装置Ｆ２で照射された２次元画像データＦＤ１３ではその輝度値が「２５５」に近くなる。そのため、差分値は「０」よりも負側のマイナスの値を示す。逆の場合は、差分値は「０」よりも正側のプラスの値を示す。即ち、２次元画像データＦＤ１２とＦＤ１３との間で照射光の照射される領域が異ならない領域ほど、即ち平面Ｑ２は画素の輝度値が等しくなるので差分値が「０（ゼロ）」に近づく。

ここで、この差分データから所定の閾値をもってオクルージョン領域成分を判定する。差分データ中においてその値が「０」に近いほど２次元画像データＦＤ１２とＦＤ１３において対象物Ｑにおける照明装置Ｆ１とＦ２による照明状態に変動がなかった領域と言える。言い換えるとカメラＣ１に対向する正面である平面Ｑ２領域が相当する。そのため、逆にマイナスまたはプラスの値が大きいほど、照射状態の変更によって照射光量が変動する側面等の略垂直面を含むオクルージョン領域と考えられる。よって、所定の閾値をオクルージョン領域が示す照射光量の変動に相当する境界値とすることで良好にオクルージョン領域成分を判定することができる。

詳細に説明すると、所定の閾値は、まず差分データの全画像データの平均値と標準偏差を求める。そして、平均値から標準偏差を減算または加算することで、平均値から標準偏差の値を離した値を閾値とする。差分データの全データの標準偏差を求めることで、２次元画像データＦＤ１２とＦＤ１３における照射光量の変動のバラツキが求められるので、その値を超える照射光量の変動を示すことは、２次元画像データＦＤ１２とＦＤ１３において光照射が変動しているものと言える。対象物Ｑのオクルージョン領域は照明装置Ｆ１とＦ２による光照射の状態が異なり大きく輝度値が変動する。よって、差分データにおける値も差分データの平均値から標準偏差の値を超えたて離れた値である場合、オクルージョン領域成分と判断する。なお、このカメラＣ１に対する工程Ｓ３が本発明の第一抽出工程に相当する。

次に、２次元画像データＦＤ２２とＦＤ２３を用いて同様にオクルージョン領域成分の判定が繰り返される。なお、このカメラＣ２に対する工程Ｓ３が本発明の第二抽出工程に相当する。そして、それぞれの画像に対して変動領域判定部１３によって分析された結果が制御部１１に与えられる。制御部１１では、カメラＣ１，Ｃ２による２次元画像領域にオクルージョン領域成分であることを示すフラグを個別に記憶するようにして、両方の画像データにおいて対応点の探索時に利用して３次元形状画像データＤＴを生成する基とすればよい。なお、これら第一抽出工程と第二抽出工程は、それぞれ本発明の第一発明の抽出工程にも相当する（工程Ｓ３）。

次に、照明装置Ｆ１をＯＮ、照明装置Ｆ２をＯＮにして撮像装置Ｍ１による４回目の撮像を行う。この時、照明装置Ｆ１，Ｆ２による初期露光時間Ｔ１と初期照明光量は、工程Ｓ２と同じく対象物Ｑを室内において撮像装置Ｍ１で撮影する際の通常の撮像条件が設定される。そして、カメラＣ１、Ｃ２を介して得られた２つの２次元画像データＦＤ１４、ＦＤ２４を、記憶部１２の所定のメモリ領域に記憶される（工程Ｓ４）。

３次元形状画像生成部１５は、２次元画像データＦＤ１４、ＦＤ２４に基づいて、３次元形状画像データＤＴを画像処理で生成する。また、複数の３次元形状画像データＤＴを統合して１つの３次元形状画像データＤＴとする。３次元形状画像生成部１３のこのような機能は、従来から公知である。この３次元形状画像データＤＴを生成する基となる２次元画像データＦＤ１４、ＦＤ２４の対応点は変動領域判定部１３にて検出された情報を元にオクルージョン領域成分以外の画像から探索される。なお、これは本発明の生成工程に相当する。

このように、上記第１の実施形態によれば、オクルージョン領域を示すオクルージョン領域成分を２次元画像データ中で判定することで、その領域成分以外の画像データから３次元形状画像データを生成する対応点を設定し探索することで正確な３次元形状データを生成することができる。

次に、本発明の第２の実施形態を図４に基づいて説明する。上記実施形態では、オクルージョン領域成分領域の抽出を２つの２次元画像データＦＤの差分データの中から、輝度値が所定の閾値以上になっている画素または領域を変動領域であるオクルージョン領域成分として抽出しているが、その方法として他に次の方法がある。図４は本発明に係る第２の実施形態の変動領域の判定方法を示す図である。

差分データの画素値である０から２５５の値がオクルージョン領域成分である可能性を示す値と関係付けを行う。具体的には、差分データが２０１から２５５までを８０％の可能性、１５１から２００までを７０％の可能性、１０１から１５０までを５０％の可能性、残りの０から１００までを０％の可能性と設定するテーブル３０を生成する。この関係テーブル３０でもって図４に示すように差分データのマトリクス表３１を画素ごとに可能性を示す数値に置き換えたデータのマトリクス表３２を変動領域判定部１３に生成する。こうすることで、オクルージョン領域と見做される状態の領域を以後の処理で省くようにフラグを立てたい時は、可能性の閾値を５０％として設定する。そして、５０％以上の値を示す画素を全てオクルージョン領域成分と判定するようにすればよい。

また、よりオクルージョン領域の可能性が高い状態の領域を以後の処理で省くようにフラグを立てたい時は、可能性の閾値を８０％として設定する。そして、８０％以上の値を示す画素を全てオクルージョン領域成分と判定するようにすればよい。この可能性の閾値は任意に設定できるようにしてもよく、対象物Ｑの高さが低い形状の場合は、閾値を８０％に設定してもよい。また、テーブル３０の可能性の閾値を更に細かく設定してもよい。

次に、本発明に係る第３の実施形態を図５に基づいて説明する。図５は、第１の実施形態の３次元形状生成装置１を産業用ロボットのアーム部に配置した状態を示す図である。産業用ロボット２００は、回転自在のロボット本体２０１と、ロボット本体２０１に装着されたアーム２０２より構成される。

アーム２０２は、伸縮自在の多間接アームより構成され、その先端に装着された対象物Ｑを挟むことが可能な挟持動作をするハンド２０３より構成され、このハンド２０３に３次元形状生成装置１の照明装置Ｆ１、Ｆ２と撮像装置Ｍ１がユニットとして装着される。

この産業用ロボット２００によれば、対象物Ｑをハンド２０３で掴む動作の開始にあたって、３次元形状生成装置１が第１の実施形態と同様の変動領域の判定を行なった上で、２次元画像データを生成する。その２次元画像データに基づいて，３次元形状画像データが形成され、対象物Ｑの画像上の点の三次元座標値が計算できる。その結果、アーム２０２の対象物Ｑまでの動作距離が計算されることで正確にハンド２０３が対象物Ｑを掴むことが可能となる。

工業製品をロボット等の自動機械で取り扱おうとする場合、工業製品の計測や認識を自動的に行う必要がある。従来の２次元あるいは３次元の画像による物体の３次元計測および認識技術では、画像中にオクルージョン領域があると、カメラによる撮像結果が著しく異なるので対応点の探索が困難になる。そのため、生産ラインの自動化は限られていた。

本発明により立体的な対象物体の位置姿勢を計測できるようになれば、生産ラインにおいて対象を選ばない自動化が可能になる。これは、生産コストの削減と同時に、従来法では自動化が難しかったため労働条件が悪くても人間による作業が必要だった分野においても作業を機械化できることで、労働者を悪条件から解放する効果がある。

上に述べた実施形態において、照明装置Ｆとして、キセノン管、その他の発光素子を用いたフラッシュ装置、ランプを用いた照明装置、マスクシャッタを備えた照明装置など、公知の種々のものを用いることができる。１つの撮影装置Ｍ１を用いたが、複数セットの撮影装置Ｍ１を用いてもよい。

上に述べた実施形態において、撮影装置Ｍ１としてデジタルカメラを用いたが、銀塩式カメラを用いて撮影し、得られた２次元画像データをスキャナーを用いてデジタル化してもよい。その他、３次元形状生成装置１の全体または各部の構成、個数、処理内容または処理順序などは、本発明の趣旨に沿って適宜変更することができる。

１ ３次元形状生成装置
Ｍ１ 撮像装置
Ｆ１、Ｆ２ 照明装置
１０ 処理装置
Ｃ１、Ｃ２ カメラ
Ｑ 対象物
１１ 制御部
１２ 記憶部
１３ 変動領域判定部
１５ ３次元形状画像生成部
２１ 撮像制御部
２２ 照明制御部
ＦＤ、ＦＤ１、ＦＤ１１、ＦＤ１２、ＦＤ１３、ＦＤ１４、ＦＤ２、ＦＤ２１、ＦＤ２２、ＦＤ２３、ＦＤ２４ ２次元画像データ
ＤＴ ３次元形状データ

Claims (8)

1. 光を照射する照射手段で対象物を照明し、少なくとも１つの撮像手段によって撮像した第一２次元画像データを得る第一撮像工程と、
   第一撮像工程と同一の撮像手段によって同一の対象物を異なる照明位置から照射手段で照明して撮像した第二２次元画像データを得る第二撮像工程と、
   第一２次元画像データと第二２次元画像データとから反射光量による輝度値の変動領域を判定する抽出工程と、
   前記撮像手段を含む複数の撮像手段で対象物を異なる視点から撮像して得た複数の２次元画像データから３次元形状データを生成する時に、前記抽出工程で変動領域を判定した前記撮像手段による２次元画像データにおいて変動領域以外の画像から３次元形状データを生成する生成工程と、
   を具備するようにしたことを特徴とする画像処理方法。
2. 請求項１記載の画像処理方法において、前記抽出工程は第一２次元画像データと第二２次元画像データとから反射光量による輝度値の差分データを生成し、この差分データの平均値を基準に設定した閾値以上の輝度を示す画像データを対象物の画像データの変動領域と判定することを特徴とする画像処理方法。
3. 請求項２記載の画像処理方法において、前記閾値は差分データの平均値から標準偏差の値を離した値であることを特徴とする画像処理方法。
4. 請求項１記載の画像処理方法において、前記第一撮像工程と前記第二撮像工程は照明手段による照明位置の対象物からの角度が異なることを特徴とする画像処理方法。
5. 第一撮像手段のオクルージョン領域成分を判定する第一抽出工程と、
   第二撮像手段のオクルージョン領域成分を判定する第二抽出工程と、
   前記第一撮像手段と第二撮像手段によって対象物を撮像して得た２次元画像データから３次元形状データを生成する時に、前記第一抽出工程と第二抽出工程で判定したオルクージョン領域成分を除外して画像処理する３次元形状データを生成する生成工程と、
   を具備するようにしたことを特徴とする画像処理方法。
6. 請求項５記載の画像処理方法において、前記第一と第二抽出工程は、第一撮像手段が照明手段による照明位置の対象物からの角度が異なる第一撮像工程と第二撮像工程と、を備え、
   前記第一撮像工程と第二撮像工程にて得た第一と第二２次元画像データからオクルージョン領域を判定するようにしたことを特徴とする画像処理方法。
7. 請求項６記載の画像処理方法において、前記第一と第二抽出工程は第一と第二２次元画像データとから反射光量による輝度値の差分データを生成し、この差分データの平均値を基準に設定した閾値以上の輝度を示す画像データを対象物の画像データの変動領域と判定することを特徴とする画像処理方法。
8. 請求項７記載の画像処理方法において、前記閾値は差分データの平均値から標準偏差の値を離した値であることを特徴とする画像処理方法。

Images