JP5055191B2 - ３次元形状計測方法および装置 - Google Patents

Description

本発明は、被計測物体の３次元形状計測方法および装置に関する。

従来から、非接触かつ自動処理により被計測物体の３次元形状を計測する方法として、いわゆる位相シフト法が知られている。位相シフト法は、互いに位相をずらした正弦波縞パターン光による照明状態のもとで撮像した複数の縞パターン画像つまり複数の輝度分布データを用いて、画像全体について定まる１つの位相状態について画素点毎の位相を求め、その位相の分布データを３次元座標決定の基礎データとする。３次元形状計測結果は、位相分布データと撮像の幾何学条件等から得られ、各画素に被計測物体表面の３次元座標を割り当てた距離画像として得られる。

位相シフト法を用いて３次元形状計測を行う場合に、被計測物体表面に反射率の異なる部分、例えば、文字や柄があると、これらの文字や柄と背景部分の境界において計測誤差が発生する。その原因は、境界部分における注目画素の輝度がその周辺画素の輝度に影響されてぼけて真の輝度から変化することによる。このぼけは、例えば、撮像の際の焦点ぼけやレンズの変調伝達関数特性に基づくぼけによる。縞パターン画像がぼけると基礎データとする位相の分布データが誤差を含み、計測誤差が発生する。

上述の誤差の発生をシミュレーションにより図２３乃至図２８を参照して説明する。図２３は反射率の異なる領域を含む計測領域を一様照明のもとで撮像した画像Ｇを示し、図２４は図２３の画像Ｇにおけるｘ０方向に沿った輝度値変化を示す。これらの図に示すように一様照明のもとで明部（領域ｗ２）と暗部（領域ｗ１，ｗ３）とが２値の輝度値Ｌ１，Ｌ２となるコントラストのある対象領域に対して、強制的にぼけを発生させて比較する。図２５（ａ）〜（ｄ）は、明度がｘ方向に正弦波状に変化する照明のもとで、それぞれ位相変化分δφを０（初期位相状態）から、π／２，π，３π／２とした場合の、ｘ０方向に沿った輝度変化の計算値を示す。これはぼけのないデータである。図２６（ａ）〜（ｄ）は、図２５（ａ）〜（ｄ）の輝度変化に標準偏差σのガウス移動平均処理を行って、計算により強制的に輝度変化をぼかして得たデータである。図２７は、図２５（ａ）〜（ｄ）から算出した位相分布と、図２６（ａ）〜（ｄ）から算出した位相分布とを重ねて示している。図２８は、図２７において位相差ΔＰが生じている部分Ｄを拡大して示している。図２７、図２８に示すように、明暗の境界ｘｂの位置で、破線で示したぼかし有りの位相値は、実線で示したぼかしのない正しい位相値から変化して、位相差ΔＰの誤差を有している。

上述の位相値の誤差による３次元座標の計測誤差の発生について説明する。図２９は位相シフト法による３次元計測における３次元計測点を特定する仕組みをピンホールモデルで示す。縞パターン投影装置はパターン生成部２２を備え、撮像装置（カメラ）は撮像素子３１を備えている。点Ａは縞パターン投影装置の光学中心、点Ｃはカメラの光学中心、点Ｏは縞パターン投影装置の光軸とカメラの光軸との交点である。カメラによって撮像された画像から求められる位相値は、投影装置内部のパターン生成部２２上の座標に１対１対応する。そこで、撮像素子３１における或る画素について位相を求めると、パターン生成部２２上の点Ｐの位置と、これに対応する撮像素子３１上の点Ｑの位置が特定される。

また、計測したい点Ｍの位置は、直線Ａ−Ｐと直線Ｃ−Ｑの各延長線の交点Ｍとして求められる。上述した位相値の誤差が生じた場合に、パターン生成部２２上の点Ｐの位置が、位相値の誤差に従って少しずれた点Ｐ１として認識される。このとき、計測された点の位置は、直線Ａ−Ｐ１と直線Ｃ−Ｑの延長線の交点Ｍ１となる。すなわち、位相値の誤差により、線分Ｍ−Ｍ１の長さ分の誤差が３次元計測値の誤差となる。

上述のような特性を有する位相シフト法は、被計測物体上に反射率の異なる部分があると、その部分の明暗状態が表面形状を反映しないものとなって計測誤差を発生するので、被計測物体は白く塗装して計測される。従って、位相シフト法による３次元形状計測は、例えば、３次元ＣＡＤに基づいて製作された製品が正しい形状にできているかを検証するために、白塗装された試作段階の物体について行われるが、実際の生産工程におけるインライン計測には殆ど使われていない。

また、位相シフト法において、カメラの視野方向と投影装置による投影方向とが異なることに加え被計測物体が３次元形状であることにより発生する自己隠蔽（いわゆるオクルージョン）や、影、乱反射、などの影響を解消するため、異なる複数の方向から縞パターン光を投影したり、被計測物体を回転させたりして、計測精度を上げることが提案されている（例えば、特許文献１参照）。
特開平７−１９８２５号公報

しかしながら、上述したように、従来の位相シフト法は実際の生産工程におけるインライン計測には殆ど使われていない。また、上述した特許文献１に示されるような位相シフト法による計測方法は、被計測物体表面の反射率の違いにより発生する計測誤差を解決することができない。

本発明は、上記課題を解消するものであって、簡単な構成により、表面に文字や柄などによる反射率の異なる領域が混在する被計測物体や自己隠蔽による影が発生する被計測物体についても計測精度を向上できる位相シフト法による３次元形状計測方法および装置を提供することを目的とする。

上記課題を達成するために、請求項１の発明は、明度が正弦波状に変化する縞パターンを異なる位相で３回以上被計測物体に投影して撮像し、得られた複数の画像を用いて各画素における被計測物体の３次元座標を位相シフト法により求める３次元形状計測方法において、被計測物体の計測領域上方に撮像部を設置し、前記撮像部の光軸を含む平面内に投影用光軸を２つ設定し、前記投影用光軸の各方向からそれぞれ独立に計測領域に縞パターンを投影すると共に前記撮像部によって撮像して２種類の３次元座標を求める計測ステップと、前記計測ステップにより前記撮像部の撮像素子上の１点に対応して得られる２種類の３次元座標の平均値を算出する演算ステップと、を含み、前記２つの投影用光軸の一方から縞パターンを投影して撮像された画像に影が生じた場合に、その影の部分を任意の距離だけ拡張した領域について、他方の投影用光軸から縞パターンを投影して撮像された画像に基づく３次元座標を用いるものである。

請求項２の発明は、請求項１に記載の３次元形状計測方法において、前記２つの投影用光軸が、前記撮像部の光軸に対して線対称に設定されているものである。

請求項３の発明は、請求項１または請求項２に記載の３次元形状計測方法において、前記撮像部の撮像レンズ、または前記２つの投影用光軸から縞パターンを投影するための投影レンズのいずれかにテレセントリックレンズを用いるものである。

請求項４の発明は、請求項１乃至請求項３のいずれか一項に記載の３次元形状計測方法において、前記撮像部の撮像レンズ、および前記２つの投影用光軸から縞パターンを投影するための投影レンズのそれぞれにテレセントリックレンズを用いるものである。

請求項５の発明は、請求項１乃至請求項４のいずれか一項に記載の３次元形状計測方法を用いる３次元形状計測装置である。

請求項１の発明によれば、２種類の３次元座標の平均値を計測結果とすることができるので、位相値の誤差やランダムノイズに起因する３次元座標の計測誤差を低減することができ、精度の高い計測ができる。また、自己隠蔽による影の部分の周辺において発生する位相値の誤差に起因する３次元座標の計測誤差を解消でき、計測精度を向上できる。

請求項２の発明によれば、位相値の誤差に起因する３次元座標の計測誤差を互いに相殺させることができるので、表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。

請求項３の発明によれば、投影装置からの出射光や撮像部への入射光を、被計測物体側の空間において平行光線として光学特性を改善できるので、計測精度を向上できる。

請求項４の発明によれば、請求項３と同等の効果が得られる。

請求項５の発明によれば、自己隠蔽による影が発生したり、表面に文字や柄などによる反射率の異なる領域が混在したりする被計測物体についても、計測精度を向上できる位相シフト法による３次元形状計測装置を提供することができる。

（第１の実施形態）
第１の実施形態に係る３次元形状計測装置について図１乃至図４を参照して説明する。なお、図１に示す構成は他の実施形態に共通であり、他の実施形態においても参照する。また、本実施形態と次の第２の実施形態では、自己隠蔽のない立体表面の形状計測について説明しており、自己隠蔽による影を有する被計測物体の形状計測については、第３、第４の実施形態において説明する。

図１、図２は３次元形状計測装置の構成を示す。３次元形状計測装置１は、文字や柄などによる反射率の異なる領域が表面に混在する被計測物体についても、位相シフト法を用いて非接触で精度良くその３次元形状を計測可能とする装置であって、画像中の画素毎に被計測物体の３次元座標を求めることができる。この３次元形状計測装置１は、基本的に、通常の位相シフト法による３次元形状計測を複数回行い、その計測結果から最良の計測結果を決定することにより、最終的に高精度の３次元形状計測を可能にする。

このため、３次元形状計測装置１は、互いに異なる方向（本例の場合対向する方向）から被計測物体の計測領域１０に縞パターンを投影する２系統（第１および第２）の縞パターン投影部２ａ，２ｂ（総称して縞パターン投影部２と表記）と、計測領域１０の上方に設置されて計測領域１０を撮像する撮像部３と、縞パターン投影部２および撮像部３とを制御すると共に縞パターン投影部２および撮像部３から出力されるデータを基に計測領域１０の３次元形状を求める計算を行う３次元計測処理部４とを備えている。計測領域１０は、任意の３次元凹凸表面を有する被計測物体の表面領域である。

縞パターン投影部２ａ，２ｂは、それぞれ照明部２１ａ，２１ｂ（総称して２１）、縞パターン生成部２２ａ，２２ｂ（総称して２２）、および投影光学部２３ａ，２３ｂ（総称して２３）を備えている。照明部２１は、光源と光源からの光を平行光に変換するコンデンサーレンズとを用いて構成される。縞パターン生成部２２は、光の透過率が一方向に沿って正弦波状に変化する、平面上において平行縞となる縞パターンを生成する部分であり、透過型液晶板と偏光板とを用いて構成される。投影光学部２３は、縞パターン生成部２２で作られた縞パターンを計測対象物に投影するためのレンズで構成される。

縞パターン投影部２ａ，２ｂの各投影用光軸２０ａ，２０ｂ（総称して２０）は、撮像部３の光軸３０を含む平面に含まれるように設定されている。なお、縞パターン投影部２ａ，２ｂは、実際に複数の機器を準備する必要はなく、１系統の縞パターン投影部２の配置を変えることにより２系統の動作を実現してもよい。これは、複数系統からの照明のもとで同時に撮像することはないからである。しかしながら、撮像の段取り変えに要する時間などを考えると、複数系統を固定して移動せずに用いる方が好ましい。

上述の縞パターン生成部２２を構成する透過型液晶板と偏光板とは、反射型液晶板と偏光板との組合せ、縞パターンを焼き付けたフィルムと所定の位相をずらすためのそのフィルムを移動させるアクチュエータとの組合せ、またはデジタルミラーデバイス（ＤＭＤ）などによって、同等の機能を実現するようにしてもよい。

撮像部３は、計測領域１０からの光を光電変換して画像データを生成するための撮像素子３１と、計測領域１０の像を撮像素子３１上に形成するための光学レンズから成る撮像光学部３２とを備えている。

３次元計測処理部４は、縞パターンデータ作成部４１と、中央制御部４２と、メモリ４３と、演算部４４と、計測結果や撮像画像等を表示する表示部４５と、本装置の操作に必要な入出力部（不図示）と、を備えている。また、演算部４４は、最終的な計測結果を決定するための計測結果決定部４ａを備えている。このような３次元計測処理部４は、ＣＰＵ、外部記憶装置、表示装置、入力装置などを備えた一般的な構成を備えたコンピュータ、およびコンピュータ上のプロセスや機能の集合を用いて構成することができる。

表示部４５は、通常のコンピュータ周辺機器として用いられる液晶ディスプレイやＣＲＴ等で構成することができる。入出力部は、簡単なスイッチ群で構成したり、通常のコンピュータ周辺機器におけるマウスやキーボード等を用いて構成される。縞パターンデータ作成部４１は、縞パターン投影部２ａ，２ｂの縞パターン生成部２２において生成される縞パターンのもとになるデータを生成する。

中央制御部４２は、縞パターン投影部２ａ，２ｂに送る縞パターンのもとデータの送信制御、縞パターン投影部２ａ，２ｂの投影制御、撮像部３の撮像制御などを行って、計測領域１０に投影する縞パターンの位相を一定の位相間隔でシフトさせると共に、各位相のもとで照明した計測領域１０の撮像部３による撮像を制御する。中央制御部４２は、このほか、表示部４５や入出力部その他の各部の制御を行う。

メモリ４３は、３次元形状計測に必要なデータを記録するところであり、撮像部３と縞パターン投影部２ａ，２ｂの空間配置に関するデータ、撮像部３の分解能、縞パターンのピッチ、位相シフト量、撮像部３により撮像された画像データ等のデータが記録される。

演算部４４は、メモリ４３に記録されたデータを用いて、位相シフト法における撮像画像の各画素での位相値を求め、求まった位相値に基づいて各画素点毎に計測領域１０の３次元形状座標を算出する。

（縞パターン投影部２ａ，２ｂと撮像部３の空間配置）
本実施形態では、被計測物体の計測領域１０の上方に撮像部３が設置され、撮像部３の光軸３０と、２系統の縞パターン投影部２ａ，２ｂの各投影用光軸２０ａ，２０ｂとが同一平面内に設定され、２つの縞パターン投影部２ａ，２ｂが互いに撮像部３を挟むように配置されている。３つの光軸２０ａ，２０ｂ，３０は互いに１つの点Ｏで交わるように配置されるが、必ずしもこのようにする必要はない。

ここで、便宜上右手系直交座標系を構成する空間の座標軸Ｘ，Ｙ，Ｚ、および画像面における座標軸ｘ，ｙを定義する。Ｚ軸は撮像部３の光軸３０とし、Ｘ軸は３つの光軸が含まれる面にあるとする。座標軸ｘ，ｙは、座標軸Ｘ，Ｙに一致させて、または対応させて定義することができる。また、便宜上、ｘ軸方向を水平方向と呼ぶことがある。

（縞パターンＳＰの配置）
本実施形態の位相シフト法で用いられる縞パターンＳＰは、明度が一定方向（以下、パターン変化方向５）に沿って正弦波状に変化するパターンである。本実施形態においては、パターン変化方向５を、Ｘ，ｘ軸方向に設定している。

（動作説明）
本実施形態の３次元形状計測装置１が、被計測物体の表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できることを説明する。要点は、互いに撮像部３を挟むように配置した２つの縞パターン投影部２ａ，２ｂを用いて形状計測を行い、２種類の計測結果を平均化することにより、個々の縞パターン投影部２ａ，２ｂによる計測における位相値の誤差に起因する３次元座標の計測誤差を互いに相殺させることができることによる。

図３は、縞パターン投影部２ａ，２ｂからの照明光および撮像部３への入射光の各光路と計測誤差との関連を示す。既に、位相シフト法における従来の問題として、図２３乃至図２８、および図２９を参照して、表面に反射率の異なる領域が混在する被計測物体における位相値の誤差発生と、その位相値の誤差による計測精度の発生を説明した。ここでは、本実施形態の３次元形状計測装置１が、２つの縞パターン投影部２ａ，２ｂを備えることにより、２種類の３次元座標の平均値を計測結果として３次元座標の計測誤差を低減できる原理を示す。

図３は、図２９で説明した位相シフト法による３次元計測のピンホールモデルにおいて、光学中心を点Ｂとする第２の投影装置を追加したものである。本図において、２つの縞パターン投影部２ａ，２ｂはそれぞれパターン生成部２２ａ，２２ｂを備え、撮像部３は撮像素子３１を備えている。点Ａ，Ｂは縞パターン投影部２ａ，２ｂの光学中心、点Ｃは撮像部３の光学中心、点Ｏは縞パターン投影部２ａ，２ｂの光軸２０ａ，２０ｂと撮像部３の光軸３０との交点である。点Ａ，Ｂが点Ｃを挟んで、向かい合うように配置されている。撮像部３によって撮像された画像から求められる位相値は、パターン生成部２２ａ，２２ｂ上の座標に１対１対応する。そこで、撮像素子３１における或る画素について位相を求めると、パターン生成部２２ａ上の点Ｐの位置と、これに対応する撮像素子３１上の点Ｑの位置が特定される。

また、計測しようとする点Ｍの位置は、直線Ａ−Ｐと直線Ｃ−Ｑの各延長線の交点Ｍとして求められる。上述した位相値の誤差が生じた場合に、パターン生成部２２ａ上の点Ｐの位置が、位相値の誤差に従って少しずれた点Ｐ１として認識される。このとき、計測された点の位置は、直線Ａ−Ｐ１と直線Ｃ−Ｑの延長線の交点Ｍ１となる。位相値の誤差により、線分Ｍ−Ｍ１の長さ分の誤差が３次元計測値の誤差となる。なお、光学中心とは、各光学装置において入射光または出射光が一点に収束する仮想の点である。

縞パターン投影部２ｂにおいて、測定しようとする点Ｍに対応するパターン生成部２２ｂ上の点をＲとすると、点Ｒは直線Ｂ−Ｍとパターン生成部２２ｂの平面との交点となる。ここで、縞パターン投影部２ｂと撮像部３の組み合わせで求めた位相においても、縞パターン投影部２ａと撮像部３の組み合わせで求めた位相と同様の誤差が生じる場合を考える。この場合、位相値の誤差によって点Ｒの位置が点Ｒ１であると誤認識される。その結果、縞パターン投影部２ｂによって求められる計測点の位置は、直線Ｂ−Ｒ１と直線Ｃ−Ｑの各延長線の交点Ｍ２となる。この場合、直線Ｃ−Ｑにおいて考えると、点Ｍ１と点Ｍ２とは点Ｍを間に挟む位置関係となる。

上述のことは、縞パターン投影部２ａ，２ｂを用いた場合に発生する計測誤差が、互いに符号が異なる誤差となることを意味する。従って、計測された点Ｍ１の座標値と点Ｍ２の座標値との平均値を求めることにより、誤差が相殺され、本来の位置である点Ｍの座標値に近い計測結果を得ることができる。これが３次元形状計測装置１における３次元座標の計測誤差を低減する原理である。

ここで、誤差ベクトルの概念を導入する。縞パターン投影部２ａのパターン生成部２２ａ上に生じる誤差は、パターン生成部２２ａ上における誤差のない位置から、誤差によって移動した位置に向かうパターン生成部２２ａ上のベクトルの方向と大きさによって表すことができる。このベクトルを誤差ベクトルＶａとする（図中では、大きさを拡大して表示している）。同様にパターン生成部２２ｂ上における誤差ベクトルＶｂを定義する。

上述の誤差ベクトルＶａ，Ｖｂを用いると、直線Ｃ−Ｑ上で点Ｍ１と点Ｍ２とが点Ｍを間に挟む位置関係となるための条件は、誤差ベクトルＶａ，Ｖｂの、光軸３０に直交する方向の成分を成分ｖａ，ｖｂとするとき、成分ｖａ，ｖｂの向きが互いに同じ向きになることである、と表現される。これは、例えば図３の場合、点Ｐ１が点Ｐの右側に移動し、点Ｒ１が点Ｒの右側に移動するように、同じ側に誤差が発生することを意味する。

計測時に発生する位相値の誤差が、上述のような条件を満たすための装置の条件は、縞パターン投影部２ａ，２ｂが、撮像部３を挟んで向かい合うように配置され、２つの縞パターン投影部２ａ，２ｂから同じ縞パターンＳＰを投影する場合に満たされる。この条件を［投影部配置条件１］とする。

ここで、縞パターン投影部２ａ，２ｂから投影する縞パターンＳＰが同じとは、少なくとも縞パターンＳＰのパターン変化方向５が同じ方向、ということである。例えば、図１、図２の場合、２つのパターン変化方向５は共に同じくＸ方向とされている。

図４は２つの投影用光軸２０ａ，２０ｂのなす角度と相対誤差の関係を示す。上述の［投影部配置条件１］を満たした上で、さらに計測値の平均値を求める平均化処理を行った後に残る誤差（相対誤差Ｒｅ）を小さくするための条件［投影部配置条件２］を説明する。図４に示すように、縞パターン投影部２ａの光軸２０ａと撮像部３の光軸３０とのなす角度θ_Ａを２０゜に固定し、縞パターン投影部２ｂの光軸２０ｂと撮像部３の光軸３０とのなす角度θ_Ｂを変化させたとき、相対誤差Ｒｅは、θ_Ｂ＝２０゜、すなわち、θ_Ａ＝θ_Ｂのときに最小となっている。この条件が、求める［投影部配置条件２］である。

上述のように、角度が等しくなる（θ_Ａ＝θ_Ｂ）のは、２つの投影用光軸２０ａ，２０ｂが、例えば、撮像部３の光軸３０に対して線対称に設定されている場合に成り立つ。線対称の場合、３つの光軸２０ａ，２０ｂ，３０は互いに１つの点Ｏで交わるが、θ_Ａ＝θ_Ｂとするには、必ずしもこのようにする必要はない。また、［投影部配置条件１］や［投影部配置条件２］は、必ずしも厳密に満たされなくとも、このような条件に近付けることにより、計測精度を向上できることを説明する。

本実施形態の３次元形状計測装置１によれば、上述の［投影部配置条件１，２］を満たすことにより、位相値の誤差に起因する３次元座標の計測誤差を互いに相殺させることができるので、立体的な被計測物体の表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。

（第２の実施形態）
第２の実施形態に係る３次元形状計測装置について図５を参照して説明する。本実施形態の３次元形状計測装置１は、第１の実施形態における撮像部３の撮像レンズにテレセントリックレンズ１１を用い、２つの縞パターン投影部２ａ，２ｂから縞パターンＳＰを投影するための投影レンズに、それぞれテレセントリックレンズ１２ａ，１２ｂを用いるものである。

上述の第１の実施形態における［投影部配置条件１，２］を満たしていても、誤差は０にはならない。これは、撮像部３の撮像素子３１や縞パターン投影部２ａ，２ｂのパターン生成部２２ａ，２２ｂ上の素子から被計測物体側の空間における光線が、それぞれ平行にならないことに起因する。

そこで、パターン生成部２２ａ，２２ｂの対物側、および撮像素子３１の対物側におけるレンズを、テレセントリックレンズ１１，１２ａ，１２ｂにすることにより、上述の問題を解決する。図５は、［投影部配置条件２］を満たす２つの縞パターン投影部２ａ，２ｂに、同じ投影視野の物体側テレセントリックレンズ１２ａ，１２ｂを用いて、撮像部３にも物体側テレセントリックレンズ１１を用いた場合の、点Ｍ，Ｍ１，Ｍ２の位置関係を示す。

一方のパターン生成部２２ａ上の点Ｐ，Ｐ１を通る主光線のテレセントリックレンズ１２ａ上の位置をＰｔ，Ｐｔ１とする。同様に、他方のパターン生成部２２ｂとテレセントリックレンズ１２ｂ上の点Ｒ，Ｒ１，Ｒｔ，Ｒｔ１を定義する。このとき、直線Ｐｔ−Ｍと直線Ｐｔ１−Ｍ１は平行である。また、直線Ｒｔ−Ｍと直線Ｒｔ１−Ｍ２は平行である。従って、各点間の距離について、（Ｍ−Ｍ１）：（Ｍ−Ｍ２）＝（Ｐｔ−Ｐｔ１）：（Ｒｔ−Ｒｔ１）という比例関係が成り立つ。また、２つの縞パターン投影部２ａ，２ｂで同じ投影視野のレンズを使用していることにより、（Ｐｔ−Ｐｔ１）：（Ｒｔ−Ｒｔ１）＝（Ｐ−Ｐ１）：（Ｒ−Ｒ１）という比例関係が成り立つ。

２点間の距離（Ｐ−Ｐ１）と距離（Ｒ−Ｒ１）とは、それぞれの縞パターン投影部２ａ，２ｂを用いた場合の位相値の誤差の大きさであるから、この２つが等しい場合、（Ｍ−Ｍ１）＝（Ｍ−Ｍ２）が成り立つ。従って、一方の縞パターン投影部２ａまたは２ｂを用いて得られた計測結果と、他方の縞パターン投影部２ｂまたは２ａを用いて得られた計測結果とを平均化処理することによって、計測誤差を相殺することができる。これは、点Ｐ，Ｑ，Ｒがそれぞれパターン生成部２２ａ，２２ｂ上、または撮像素子３１上のどの位置にあるかに依存することなく、すなわち、パターン生成部２２ａ，２２ｂ上、または撮像素子３１上の全面において成り立つ。

上述の通り、平均化処理によって、どの場合でも誤差をゼロにすることができるのは、撮像部３と、２つの縞パターン投影部２ａ，２ｂの全てについて、物体側テレセントリックを用いた場合のみである。しかしながら、撮像部３と２つの縞パターン投影部２ａ，２ｂの、いずれかのみを物体側テレセントリックにした場合であっても、誤差は０にはできないものの、全てが非テレセントリック系であるよりは誤差を改善することができる。従って、そのような構成も、装置コストや装置寸法の面で制約がある場合においては、有効に採用することができる。

本実施形態の３次元形状計測装置１によれば、縞パターン投影部２ａ，２ｂからの出射光や撮像部３への入射光を、被計測物体側の空間において平行光線として光学特性を改善できるので、計測精度を向上できる。

（第３の実施形態）
第３の実施形態に係る３次元形状計測方法について、図６乃至図１１を参照して説明する。本実施形態は、上述の第１、第２の実施形態における３次元形状計測装置１を用いて３次元形状計測を行う方法を示すものである。本実施形態では、自己隠蔽により被計測物体の計測領域に影が発生する場合に、計測精度を向上させることについて説明する。

図６は本計測方法の概要を示す。本計測方法では、処理の前半の計測ステップにおいて２組の点群データ取得が独立に行われ（＃１，＃２）、後半の演算ステップにおいて２組の３次元形状データから微分強度に基づいて画素毎にデータ選択または平均化処理が行われて最良の３次元形状データが決定される（＃３）。

前半の処理は、図７（ａ）（ｂ）（ｃ）に示すように、撮像、位相復元、３次元形状復元を行う処理であって、中央制御部４２の制御のもとで２つの縞パターン投影部２ａ，２ｂを用いて行われる。この処理は、一般的な位相シフト法を用いる計測と同様である。また、後半の処理は、図７（ｄ）に示すように、２つの３次元座標データから選択し、またはこれらを平均化により合成する処理であり、計測結果決定部４ａによって行われる。

図８は、本計測方法の全体のフローチャートを示す。２組の点群データ取得が行われ（Ｓ１，Ｓ２）、その後、２組の３次元形状データから各画素毎にデータ処理が行われる（ループＬＰ１〜ＬＰ１１，ＬＰ２〜ＬＰ２２）。

（点群データ取得）
図９は、上述のフローチャートにおける点群データ取得処理（Ｓ１，Ｓ２）を行うサブルーティンを示す。この処理は、縞パターン投影部２ａ，２ｂにとって共通の処理である。以下において、式や変数における添字ｋは、縞パターン投影部２ａ，２ｂを識別するＡまたはＢを表す。この点群データ取得処理では、３次元形状データおよび微分強度データが点群データとして取得される。

ここで、「点群データ」という用語について説明する。位相シフト法を用いる３次元形状計測では、計測領域１０に対して一定の位置に固定した撮像部３によって種々の画像が撮像され、参照される。これらの画像は、互いに同じ画素数、および互いに同じｘ，ｙ座標系（図１参照）のもとでの同じ画素配列を有して構成されている。また、各画素は、ＸＹＺ座標系（図１参照）で定義される３次元空間における計測領域１０の表面の特定の点に対応している。点群データは、これらの特定の点に関するデータ、すなわち、輝度、ＸＹＺ座標値、所定の画像についてその点における輝度の微分強度、などのデータの総称である。通常、そのデータの種類毎に画素数と同じ数のデータの集まり（すなわち点群）となる。

上述のように、点群データは画像中の画素毎に取得されるデータであり、点群データ取得処理は、画像を撮像する画像データ取得処理（Ｓ１０）、および、演算部４４による画素毎の点群データ取得のための画像処理（ループＬＰ３〜ＬＰ３３，ＬＰ４〜ＬＰ４４）によって行われる。この画像処理では、位相シフト法に関する処理（Ｓ１１，Ｓ１２）、および微分強度データの取得が行われる（Ｓ１３）。

図１０は、画像データ取得処理（Ｓ１０）を行うサブルーティンを示す。このサブルーティンの処理では、４相の位相シフト法のための４つの縞パターン光による照明のもとでの４つの画像データと、一様照明のもとでの１つの画像データが取得される。縞パターン照明による画像は輝度データＩ_ｋｉ（ｘ，ｙ），ｉ＝０，１，２，３として記録され（ＬＰ５〜ＬＰ５５）、一様照明による画像は輝度データＩ_ｋ（ｘ，ｙ）として記録される（Ｓ２４〜Ｓ２６）。ここで、ｘ，ｙは画像上の画素の位置を示す座標であり、画像のサイズに応じてｘ＝０，１，・・，ｍ，ｙ＝０，１，・・，ｎである。なお、ここでは４相の位相シフト法を用いる例を示すが、３次元形状データを取得するためには、これに限らず３相または５相以上の位相シフト法を用いることもできる。

（縞パターン光による画像データ取得）
中央制御部４２は、位相変化ループ（ＬＰ５〜ＬＰ５５）において、変数ｉの値を各ループ毎にｉ＝０，１，２，３と変化させて、投影縞パターンデータ生成（Ｓ２０）、縞パターン投影（Ｓ２１）、撮像（Ｓ２２）、輝度データ記録（Ｓ２３）を行う。すなわち、中央制御部４２は、正弦波の位相をπ／２ずつ変化させて画像データを輝度データとしてメモリ４３に４回取り込む。

より具体的に述べると、３次元計測処理部４の縞パターンデータ作成部４１が、投影縞パターンデータを生成する（Ｓ２０）。生成された縞パターンデータは、中央制御部４２の制御によって縞パターン投影部２ａ，２ｂに転送され、縞パターン投影部２ａ，２ｂより、正弦波状に明度が変化する縞パターンＳＰとして被計測物の計測領域１０に投影される（Ｓ２１）。

縞パターン生成部２２ａ，２２ｂで作られる縞パターンＬ_ｋｉ（ｕ，ｖ）は、次式（１）に表される。この縞パターンは、明度が正弦波状に変化する。ここで、（ｕ，ｖ）は縞パターン投影部２ａ，２ｂの縞パターン生成部２２を構成する透過型液晶板上の座標であり、ｂ（ｕ，ｖ）はバイアス値、ａ（ｕ，ｖ）は振幅、φ（ｕ）は初期位相（ｉ＝０の場合の位相）、ｉπ／２は初期位相からの位相シフト量（ｉ＝０，１，２，３）である。

撮像部３は、縞パターンが投影された被計測物の計測領域１０を撮像し（Ｓ２２）、撮像された各画素の輝度データから成る輝度データＩ_ｋｉ（ｘ，ｙ）は、３次元計測処理部４のメモリ４３に記録される（Ｓ２３）。

（一様照明による画像データ取得）
次に、中央制御部４２は、縞パターン投影部２ａ，２ｂによって明るさが一様な照明光を被計測物の計測領域１０に投影し（Ｓ２４）、撮像部３によって撮像し（Ｓ２５）、縞パターンのない一様照明での輝度データＩ_ｋ（ｘ，ｙ）をメモリに記録する（Ｓ２６）。

縞パターンのない画像は、上述のように縞パターンが投影されていない一様照明による状態を撮像して得ることもできるが、位相シフト法計測のために取得した縞パターンの画像を合成して取得することもできる。つまり、具体的な輝度データＩ_ｋの取得方法として、次の２つの方法を用いることができる。
（１）パターンのない明るさが一定の画像を投影部から投影して撮像する。
（２）Ｉ_ｋ＝Ｉ_ｋ０＋Ｉ_ｋ１＋Ｉ_ｋ２＋Ｉ_ｋ３により合成して求める。

（位相算出）
次に、図９に戻って、位相算出（Ｓ１１）を説明し、その後、３次元データ計算（Ｓ１２）を説明する。まず、上述の縞パターン投影と撮像によって得られた各画素の輝度値Ｉ_ｋｉ（ｘ，ｙ）（ｉ＝０，１，２，３）から、次式（２）によって定義される位相φ（ｘ，ｙ）が算出される（Ｓ１１）。算出は演算部４４において行われる。

この位相φ（ｘ，ｙ）は、画像全体について定まる１つの位相状態について、座標（ｘ，ｙ）で定まる画素点毎の位相（位相値）の分布データである。この式で表される位相分布データと撮像の幾何学条件等から、被計測物体表面の３次元座標を各画素に割り当てた、いわゆる距離画像が得られる。より詳しく説明すると、計測領域１０に投影された縞パターンＳＰは、計測領域１０の３次元形状によって変調（歪曲）される。投影時の位相φ（ｕ）と、撮像した画像から求めた位相φ（ｘ，ｙ）は、もとが同じものであるので、撮像部３の撮像素子３１上の座標と液晶板上の座標の対応関係を得ることができる。従って、三角測量の原理によって被計測物表面の計測領域１０の３次元座標Ｘ，Ｙ，Ｚが、次式（３）によって求められる（Ｓ１２）。

ここで、（Ｘ，Ｙ，Ｚ）は３次元空間における計測領域１０の表面の点の座標、ｕ（φ）は液晶板上における画素の座標（位相が変化する方向の座標）である。またｐ^ｃ，ｐ^ｐはそれぞれ、撮像部３、縞パターン投影部２ａ，２ｂのキャリブレーションで求められるパラメータであり、次式（４）（５）を満足する。

上述の処理に基づいて、１つの縞パターン投影部２ａまたは２ｂと撮像部３の組み合わせによる３次元形状計測結果として、画像上の画素位置（ｘ，ｙ）において空間座標データ（Ｘ，Ｙ，Ｚ）が定義された３次元点群データＰ_ｋ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）が得られる。このように表された３次元点群データは、画像上の１点が３次元点の１点に対応することから、３次元座標ベクトル（Ｘ，Ｙ，Ｚ）を値として持つ離散関数である。

ところで、隠蔽によって縞パターンＳＰが投影されていない被計測領域（影の部分）の点や、撮像部３に向けて十分に光を反射しないような被計測領域の点の画素については、正しく３次元座標を求めることができない。そこで、次式（６）で定義される正弦波の振幅Ａ（ｘ，ｙ）が一定値以下になる点を、このような計測不可能点として扱う。このような点の画素に対応する３次元座標は定義されないことになる。３次元座標が定義されない点については、記号ＮＵＬＬを用いて、Ｐ_ｋ（ｘ，ｙ）＝ＮＵＬＬのように表す。

（微分強度データ計算）
図９における処理では、一様照明での輝度データＩ_ｋ（ｘ，ｙ）について微分強度データ（微分強度画像）を求める計算が行われる（Ｓ１３）。微分強度画像は、画像のｘ方向（水平方向）について輝度データの微分値を算出し、その絶対値（すなわち強度）をとって求められる。この算出には、例えばＳｏｂｅｌフィルタを用いることができる。輝度データＩ_ｋに対応するｘ方向の微分値Ｄ_ｋ（ｘ，ｙ）は、次式（７）で求められる。

上式のように画像のｘ方向について輝度データの微分強度を求めるのは、次の理由による。すなわち、ｘ方向は、縞パターン投影部２ａ，２ｂによって照明する照明光の方向（向きは互いに異なる）であり、被計測物体の自己隠蔽による影はｘ方向の前方または後方に発生する。その影の境界は、ｘ方向に直交する方向成分を優勢な成分として有する。このような影の領域を検出するためにｘ方向の微分強度が有効に用いられる。

以上の処理により、図８のステップＳ１，Ｓ２における、縞パターン投影部２ａ，２ｂによる２組の点群データ取得が完了し、３次元形状データＰ_ｋ（ｘ，ｙ；Ｘ，Ｙ，Ｚ），ｋ＝Ａ，Ｂ、微分強度データＤ_ｋ（ｘ，ｙ），ｋ＝Ａ，Ｂが取得される。以下では、図８における各画素についての最良の３次元形状データの選択による画素データの決定と平均化の処理を説明する（ループＬＰ１〜ＬＰ１１、ＬＰ２〜ＬＰ２２）。なお、Ｐ_ｋ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）をＰ_ｋ（ｘ，ｙ）と表記し、選択決定された最終の３次元形状データをＰ（ｘ，ｙ；Ｘ，Ｙ，Ｚ）、またはＰ（ｘ，ｙ）と表記する。

（画素データの決定）
図８におけるループ処理において（ループＬＰ１〜ＬＰ１１，ＬＰ２〜ＬＰ２２）、座標ｘ，ｙによって指定された特定の画素について、Ｐ_Ａ（ｘ，ｙ），Ｐ_Ｂ（ｘ，ｙ）の存在の如何が判断され、いずれか一方のみが存在する場合には、その値が選択され、Ｐ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）、または、Ｐ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）とされる（Ｓ６，Ｓ８）。また、いずれも存在していなければ（Ｓ３，Ｓ７でＮｏ）、Ｐ（ｘ，ｙ）は、非存在とされ、「９９９」などの所定の異常値がＰ（ｘ，ｙ）に与えられる（Ｓ９）。

上述の処理（Ｓ６，Ｓ８，Ｓ９）は、各縞パターン投影部２ａ，２ｂからの投影方向に依存して発生する３次元立体形状に起因する隠蔽（影ができる、いわゆるオクルージョン）のため計測結果がなくなる場合の対応処理である。これにより、２種類の測定結果のうち、一方が隠蔽の影響を受ける場合、他方を正しい計測結果として選択して、隠蔽部分の補完をすることができる。

Ｐ_Ａ（ｘ，ｙ），Ｐ_Ｂ（ｘ，ｙ）がいずれも存在する場合に（Ｓ３とＳ４でＹｅｓ）、微分強度に基づく画素データの選択決定が行われる（Ｓ５）。ここの処理では、処理の対象となる画素データが、隠蔽によって画像に生じた影の境界部分のデータか、または影から離れた位置のデータかによって区別され、それぞれ最適化される。影の境界部分では、影の影響で輝度値が正常値から変化している（ぼけが発生している）と考えられる。影の境界部分の検出に微分強度が用いられる。

図１１は、上述の微分強度に基づく画素データ決定処理（Ｓ５）を行うサブルーティンを示す。ここで、微分強度データＤ_ｋ（ｘ，ｙ），ｋ＝Ａ，Ｂを簡単に、微分強度Ｄ_Ａ，Ｄ_Ｂと表す。現在処理中の座標ｘ，ｙにおける画素について、微分強度の差Ｄ_Ａ−Ｄ_Ｂを所定の閾値Ｔと比較し、差が閾値より大きければ（Ｄ_Ａ−Ｄ_Ｂ＞Ｔ、＃１０でＹｅｓ）、Ｐ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）とする（＃１１）。逆に、微分強度の差、Ｄ_Ａ−Ｄ_Ｂが、閾値Ｔより小さければ、すなわち、−（Ｄ_Ａ−Ｄ_Ｂ）＞Ｔであれば（＃１２でＹｅｓ）、Ｐ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）とする（＃１３）。

また、差Ｄ_Ａ−Ｄ_Ｂが閾値Ｔよりも大きくなく、かつ、−Ｔよりも小さくなければ、すなわち、差の絶対値が閾値以下、｜Ｄ_Ａ−Ｄ_Ｂ｜≦Ｔの場合（＃１０，＃１２でＮｏ）、平均値を算出して、Ｐ（ｘ，ｙ）＝（Ｐ_Ａ（ｘ，ｙ）＋Ｐ_Ｂ（ｘ，ｙ））／２とする（＃１４）。

上述の選択および平均値化の処理の原理を、さらに、図１２乃至図１５を参照して説明する。図１２（ａ）は、縞パターン投影部２ａによって方向ＬＡからの一様照明のもとで撮像した画像Ｉ_Ａを示し、隠蔽による影が領域１５にｙ方向に沿って発生している。図１２（ｂ）は、前記と同じ計測領域を、縞パターン投影部２ｂによって方向ＬＢからの一様照明のもとで撮像した画像Ｉ_Ｂを示し、領域１５には影が発生していない。

図１３（ａ）（ｂ）は、それぞれ上述の画像Ｉ_Ａ，Ｉ_Ｂから、前出の式（７）によって求めた微分強度画像Ｄ_Ａ，Ｄ_Ｂである。画像Ｄ_Ａにおいては、領域１５と領域１６に影の痕跡と境界部分の痕跡が認められ、画像Ｄ_Ｂにおいては、痕跡が認められない。

図１４（ａ）は、上述の画像Ｉ_Ａに対応して段差がある計測領域の３次元形状計測データについて、あるｙ座標値（Ｙ座標値）におけるＺ座標の測定値をＸ座標に対する変数値として示す。この測定結果では、段差による隠蔽のため領域ｘ１における計測値（破線が真の座標値）が得られなく、境界部分である領域ｘ２においては、影の影響のため真値からのずれが発生している。

図１４（ｂ）は、同様に上述の画像Ｉ_Ｂに対応するＺ座標の測定値を示す。この測定結果では、影の発生がないので、真値に沿った結果が得られている。なお、領域ｘ１，ｘ２は上述の領域１５，１６に対応する。

図１４（ａ２）（ｂ２）は、それぞれ上述の画像Ｉ_Ａ，Ｉ_Ｂに対応する図である。ここで、画像Ｉ_Ａにおいて、領域ｘ１のように隠蔽による影の部分を領域ａ１、領域ｘ２のように影の境界部分を領域ａ２、その他の部分を領域ａ３とする。また、画像Ｉ_Ｂにおいて、領域ａ１，ａ２，ａ３に対応する部分を、領域ｂ１，ｂ２，ｂ３とする。

上述の図８におけるステップＳ８の処理は、領域ｂ１における計測値を採用する処理であり、図１１におけるステップ＃１１の処理は、領域ｂ２における計測値を採用する処理であり、図１１におけるステップ＃１４の処理は、領域ａ３と領域ｂ３における計測値の平均値を採用する処理である。これらの処理に関して、Ｐ_Ａ（ｘ，ｙ）とＰ_Ｂ（ｘ，ｙ）とは互いに相補的であり、一方に影ができて他方に影ができないときに、または、共に影ができないときに、互いに補完し合ってＰ（ｘ，ｙ）の計測精度を向上させることができる。

図１５（ａ）は、図１４（ａ２）における、あるｙ値についての輝度値Ｉ_Ａｘおよび微分強度Ｄ_Ａｘ（これは絶対値）のｘ方向変化を示し、図１５（ｂ）は、同様に、図１４（ｂ２）における輝度値Ｉ_Ｂｘおよび微分強度Ｄ_Ｂｘのｘ方向変化を示す。これらの図から、微分強度の差（Ｄ_Ａ−Ｄ_Ｂ）によって領域ｘ２を検出できることが分かる。つまり、Ｉ_Ａ，Ｉ_Ｂについての微分強度の差が大きい箇所は、どちらかに影の境界線ができている場所であると判断でき、影のない方の３次元点を選択することができる。

これは、物体表面のテクスチャ（文字や柄）の場合は、どちらからの投影であっても微分強度はほぼ等しい値になるのに対し、隠蔽により、どちらか一方の投影によってできた影の場合は一方にしか大きい微分強度値が現れない、ということを利用している。そこで、例えば、図１１におけるステップ＃１０において、Ｄ_Ａ−Ｄ_Ｂ＞Ｔが成立して領域ａ２が検出されるので、Ｐ（ｘ，ｙ）として、領域ｂ２における計測値Ｐ_Ｂ（ｘ，ｙ）が採用される。

本実施形態の３次元形状計測方法によれば、２つの縞パターン投影部２ａ，２ｂによって取得した３次元形状計測データを、照明方向に沿って輝度を微分した微分強度に基づいて計測データを選択し、さらには、計測データの平均値を算出して計測結果とするので、隠蔽による影の部分や、影の境界部分や、影や影の境界ではない部分において、それぞれ最適の計測結果とすることができ、３次元形状計測の精度を向上させることができる。また、平均化処理によると、ランダム雑音の影響を低減させることができ、３次元形状計測の精度を向上させることができる。

また、本実施形態の３次元形状計測方法は、２つの縞パターン投影部２ａ，２ｂが対向配置されている（図１、図２）ことによる装置特性だけを用いているので、それぞれの縞パターン投影部２ａ，２ｂによって投影される縞パターンＳＰのパターン変化方向５の向きには依存していない処理である。

（第４の実施形態）
第４の実施形態に係る３次元形状計測方法について、図１６乃至図２１を参照して説明する。本実施形態は、上述の第３の実施形態における隠蔽部分（領域ａ１）および影の境界部分（領域ａ２）の求め方（特定の仕方）を、微分強度を用いるのではなく、差分画像、２値化処理、および膨張処理によって行うものである。従って、点群データの取得の部分は、第３の実施形態と同様である。

図１６（ａ）は、縞パターン投影部２ａによって図の左方からの一様照明のもとで撮像した画像Ｉ_Ａを示し、右側に隠蔽による影Ｓ_Ａが発生しており、図１６（ｂ）は、前記と同じ計測領域を、縞パターン投影部２ｂによって右方からの一様照明のもとで撮像した画像Ｉ_Ｂを示し、左側に影Ｓ_Ｂが発生している。

図１７（ａ）は、上記２つの画像の差分画像（Ｉ_Ａ−Ｉ_Ｂ）を示し、図１７（ｂ）は、同様に差分画像（Ｉ_Ｂ−Ｉ_Ａ）を示す。この差分処理において、例えば、画像の暗部の輝度値をゼロとし、明部を輝度値をその明るさに応じた正値とすると、一方の画像における影（暗部）に対応する部分が、他方の画像における明部から取り出される。輝度値の差分値が負の値は、画像において暗部とされている。

図１８（ａ）（ｂ）は、上記差分画像（Ｉ_Ａ−Ｉ_Ｂ），（Ｉ_Ｂ−Ｉ_Ａ）を所定の閾値で明暗（白黒）の２値とし２値化画像Ｇ_Ａ，Ｇ_Ｂである。この処理により、画像Ｉ_Ａにおける影Ｓ_Ａ部分が２値化画像Ｇ_Ｂに領域ｅ_Ａとして抽出され、画像Ｉ_Ｂにおける影Ｓ_Ｂ部分が２値化画像Ｇ_Ａに領域ｅ_Ｂとして抽出される。

図１９（ａ）（ｂ）は、それぞれ、上記２値化画像Ｇ_Ａ，Ｇ_Ｂにおいて明部、すなわち領域ｅ_Ａ，ｅ_Ｂを膨張処理して、拡張領域Ｅ_Ａ，Ｅ_Ｂとした拡張２値化画像Ｇ_ＡＥ，Ｇ_ＢＥである。この膨張処理は、明部（白部）の各画素について、所定の画素数α、例えばα＝５だけ周囲の画素を白とする処理である。この処理により、抽出された影の領域の周辺部分が画素数αだけ拡張される（広がる）ことになり、影の境界部分が拡張領域Ｅ_Ａ，Ｅ_Ｂに取り込まれることになる。

図２０は、点群データを取得し、上述の拡張領域Ｅ_Ａ，Ｅ_Ｂを生成するまでの処理のフローチャートを示す。ステップＳ３１，Ｓ３２の処理は、図８におけるステップＳ１，Ｓ２の処理と同様である。ステップＳ３３では、各画素の輝度値の差分から成るいわゆる差分画像Ｉ_Ｄ（ｘ，ｙ）＝Ｉ_Ｄ＝Ｉ_Ａ−Ｉ_Ｂが算出される。この差分画像における各画素は、一般に正負の差分値を有し、その絶対値が大きな画素は隠蔽による影の部分に対応する。

上述の隠蔽による影の部分を明確化するために、を正負の閾値（Ｄ_ＴＨ＞０、と−Ｄ_ＴＨ）で２値化して、２値化画像Ｇ_Ａ，Ｇ_Ｂを算出する（Ｓ３４）。Ｉ_Ｄ（ｘ，ｙ）≧Ｄ_ＴＨの場合に画素値を１（明）とし、Ｉ_Ｄ（ｘ，ｙ）＜Ｄ_ＴＨの場合に画素値を０（暗）とする。このようにして得られた画像Ｇ_Ａ（ｘ，ｙ）は、Ｉ_Ｂにおける影の部分を明部として有する画像である（図１６乃至図１９の説明参照）。同様に、Ｉ_Ｄ（ｘ，ｙ）≦−Ｄ_ＴＨの場合に画素値を１（明）とし、Ｉ_Ｄ（ｘ，ｙ）＞−Ｄ_ＴＨの場合に画素値を０（暗）とする。このようにして得られた画像Ｇ_Ｂ（ｘ，ｙ）は、Ｉ_Ａにおける影の部分を明部として有する画像である。

次に、上述の影の部分に影の境界部分を含ませるために、画像Ｇ_Ａ（ｘ，ｙ），Ｇ_Ｂ（ｘ，ｙ）における値１を有する画素を、それぞれα（定数）画素拡張し、得られた画像をＧ_ＡＥ（ｘ，ｙ），Ｇ_ＢＥ（ｘ，ｙ）とする（Ｓ３５）。

上述の明部が拡張された２つの画像における値１を有する画素領域が、それぞれ影の境界部分を包含する領域Ｅ_Ａ，Ｅ_Ｂとして抽出される（Ｓ３６）。

（画素データの決定）
図２１は、第３の実施形態の図８のフローチャートにおけるｘｙループ部分に対応する処理ルーティンを示す。ｘｙループ処理において（ループＬＰ１〜ＬＰ１１，ＬＰ２〜ＬＰ２２）、座標ｘ，ｙによって指定された特定の画素（注目画素）について、Ｐ_Ａ（ｘ，ｙ），Ｐ_Ｂ（ｘ，ｙ）の存在の如何が判断され、いずれも存在していなければ（Ｓ３，Ｓ７でＮｏ）、Ｐ（ｘ，ｙ）は、非存在とされ、「９９９」などの所定の異常値がＰ（ｘ，ｙ）に与えられる（Ｓ４２）。

また、少なくともいずれか一方が存在する場合には（Ｓ４１でＹｅｓ）、注目画素が領域Ｅ_Ｂ内かどうか判断され、Ｅ_Ｂ内であれば（Ｓ４３でＹｅｓ）、Ｐ（ｘ，ｙ）＝Ｐ_Ａ（ｘ，ｙ）とされる（Ｓ４４）。また、Ｅ_Ｂ内でなければ（Ｓ４３でＮｏ）、さらに領域Ｅ_Ａ内かどうか判断され、Ｅ_Ａ内であれば（Ｓ４５でＹｅｓ）、Ｐ（ｘ，ｙ）＝Ｐ_Ｂ（ｘ，ｙ）とされる（Ｓ４６）。

注目画素が領域Ｅ_Ａ，Ｅ_Ｂ内のいずれでもない場合には（Ｓ４５でＮｏ）、平均値が算出され、Ｐ（ｘ，ｙ）＝（Ｐ_Ａ（ｘ，ｙ）＋Ｐ_Ｂ（ｘ，ｙ））／２とされる（Ｓ４７）。

本実施形態の３次元形状計測方法によれば、隠蔽による影の部分と影の境界部分について、近接する画素間の輝度値の差分に基づく離散的な微分強度によらずに、適切な計測結果の選択を確実に実行でき、計測誤差を低減して精度の高い計測ができる。また、本実施形態の計測方法は、上述の第３の実施形態と同様に、各縞パターン投影部２ａ，２ｂによって投影される縞パターンＳＰのパターン変化方向５の向きには依存していない処理である。

（第５の実施形態）
図２２は、第５の実施形態に係る３次元形状計測装置および計測方法を示す。本実施形態は、第１または第２の実施形態とは、縞パターン投影部２ａ，２ｂが投影する縞パターンＳＰのパターン変化方向５をＸ軸方向（ｘ軸方向）からずらした互いに平行な同じ方向としている点が異なり、他の点は同様である。

本実施形態の３次元形状計測方法および装置によると、第１または第２の実施形態と同様に、２つの縞パターン投影部２ａ，２ｂを互いに対向する位置に配置する構成としており、各縞パターン投影部２ａ，２ｂによって投影される縞パターンＳＰのパターン変化方向５の向きを同じとしているので、第１、第２の実施形態と同様に、位相値の誤差に起因する３次元座標の計測誤差を互いに相殺させることができ、表面に文字や柄などによる反射率の異なる領域が混在して位相値の誤差が発生するような被計測物体についても計測精度を向上できる。

また、本実施形態の３次元形状計測方法および装置によると、２つの縞パターン投影部２ａ，２ｂを互いに対向する位置に配置する構成としているので、第３、第４の実施形態と同様に、各縞パターン投影部２ａ，２ｂによって投影される縞パターンＳＰのパターン変化方向５の向きには依存せずに、一方側からの照明によって発生する隠蔽（オクルージョン）による計測データの欠損や影の境界部分におけるデータ損傷を、他方側からの照明による計測データによって補完することができる。

なお、本発明は、上記各実施形態によって示した構成に限られることなく種々の変形が可能である。例えば、上述した各実施形態の構成を互いに組み合わせた構成とすることができる。また、位相シフト法で用いられる縞パターンＳＰは、明度が必ずしも正弦波状に変化するパターンである必要はなく、明度が周期的に変化する縞パターンであればよい。

本発明の第１の実施形態に係る３次元形状計測装置の模式的構成図。 同上装置の投影部、撮像部、および縞パターンの位置関係を示す平面図。 同上装置における投影部からの照明光および撮像部への入射光の各光路と計測誤差との関連を説明する平面図。 同上装置における２つの投影用光軸のなす角度と相対誤差の関係を示すグラフ。 第２の実施形態に係る３次元形状計測装置における投影部からの照明光および撮像部への入射光の各光路を示す平面図。 第３の実施形態に係る３次元形状計測方法の概要を示すフローチャート。 （ａ）〜（ｄ）は同上方法の要点を段階的に示す模式的概念図。 同上方法を説明するフローチャート。 同上方法における点群データ取得のフローチャート。 同上方法における画像データ取得のフローチャート。 同上方法における画素データ決定のフローチャート。 （ａ）（ｂ）は同じ計測領域を異なる方向から照明して撮像した画像。 （ａ）（ｂ）は図１２（ａ）（ｂ）の画像についてのｘ方向微分画像。 （ａ）は隠蔽された領域を含む計測領域の３次元形状データをＸ座標に対するＺ座標値で示すグラフ、（ｂ）は同領域を隠蔽なしの条件で計測した３次元形状データを示すグラフ、（ａ１）は（ａ）における計測領域の画像、（ｂ１）は（ｂ）における計測領域の画像。 （ａ）は図１４（ａ２）の画像におけるｘ軸方向の輝度値と微分値のグラフ、（ｂ）は図１４（ｂ２）の画像におけるｘ軸方向の輝度値と微分値のグラフ。 （ａ）（ｂ）は第４の実施形態に係る３次元形状計測方法を説明するための、同じ計測領域を異なる方向から照明して撮像した画像。 （ａ）は図１６（ａ）の画像から図１６（ｂ）の画像を差し引いた差分画像、（ｂ）は図１６（ｂ）の画像から図１６（ａ）の画像を差し引いた差分画像。 （ａ）（ｂ）はそれぞれ図１７（ａ）（ｂ）の画像を２値化した画像。 （ａ）（ｂ）はそれぞれ図１８（ａ）（ｂ）の画像における白画素領域を拡張した画像。 同上方法における点群データ取得と前処理のフローチャート。 同上方法における画素データ決定のフローチャート。 第５の実施形態に係る３次元形状計測方法および装置を説明するための投影部、撮像部、および縞パターンの位置関係を示す平面図。 従来および本発明が適用される反射率の異なる領域を含む計測領域の一様照明のもとでの画像。 図２３の画像におけるｘ０方向に沿った輝度値変化を示すグラフ。 （ａ）〜（ｄ）はそれぞれ図２３の画像を明度がｘ方向に正弦波状に変化する照明のもとで位相変化分を初期位相０から、π／２，π，３π／２とした場合のｘ０方向に沿った輝度値変化の計算値を示すグラフ。 （ａ）〜（ｄ）はそれぞれ図２５（ａ）〜（ｄ）の輝度値に移動平均処理を行って輝度変化をぼかした状態のグラフ。 図２５（ａ）〜（ｄ）から算出した初期位相のｘ方向の変化を示すグラフと図２６（ａ）〜（ｄ）から算出した初期位相のｘ方向の変化を示すグラフを重ねて示したグラフ。 図２７のＤ部を拡大したグラフ。 位相シフト法における投影部からの照明光および撮像部への入射光の各光路と計測誤差との関連を説明する平面図。

符号の説明

１ ３次元形状計測装置
２，２ａ，２ｂ 縞パターン投影部
３ 撮像部
４ 計測処理部
１０ 計測領域
１１，１２ａ，１２ｂ テレセントリックレンズ
２０，２０ａ，２０ｂ 投影用光軸
３０ 撮像部光軸
ＳＰ 縞パターン
Ｘ，Ｙ，Ｚ ３次元座標

Claims (5)

1. 明度が正弦波状に変化する縞パターンを異なる位相で３回以上被計測物体に投影して撮像し、得られた複数の画像を用いて各画素における被計測物体の３次元座標を位相シフト法により求める３次元形状計測方法において、
   被計測物体の計測領域上方に撮像部を設置し、前記撮像部の光軸を含む平面内に投影用光軸を２つ設定し、前記投影用光軸の各方向からそれぞれ独立に計測領域に縞パターンを投影すると共に前記撮像部によって撮像して２種類の３次元座標を求める計測ステップと、
   前記計測ステップにより前記撮像部の撮像素子上の１点に対応して得られる２種類の３次元座標の平均値を算出する演算ステップと、を含み、
   前記２つの投影用光軸の一方から縞パターンを投影して撮像された画像に影が生じた場合に、その影の部分を任意の距離だけ拡張した領域について、他方の投影用光軸から縞パターンを投影して撮像された画像に基づく３次元座標を用いることを特徴とする３次元形状計測方法。
2. 前記２つの投影用光軸が、前記撮像部の光軸に対して線対称に設定されていることを特徴とする請求項１に記載の３次元形状計測方法。
3. 前記撮像部の撮像レンズ、または前記２つの投影用光軸から縞パターンを投影するための投影レンズのいずれかにテレセントリックレンズを用いることを特徴とする請求項１または請求項２に記載の３次元形状計測方法。
4. 前記撮像部の撮像レンズ、および前記２つの投影用光軸から縞パターンを投影するための投影レンズのそれぞれにテレセントリックレンズを用いることを特徴とする請求項１乃至請求項３のいずれか一項に記載の３次元形状計測方法。
5. 請求項１乃至請求項４のいずれか一項に記載の３次元形状計測方法を用いる３次元形状計測装置。