JP5648749B2 - 形状計測装置および形状計測方法 - Google Patents

Description

本発明は、計測対象物の表面の３次元形状を計測する技術に関する。

カメラで撮影した計測対象物の画像を解析することにより計測対象物の表面形状（３次元形状）を計測する技術が知られている。例えば、鏡面物体の表面形状を計測する手法としては、特徴を異ならせた複数の照明を用いて、鏡面物体の鏡面からの反射光の撮像を行い、それらの画像から物体表面の法線の方向を算出する方法がある（例えば、特許第３５５３６５２号公報参照）。物体表面上の複数の点における法線が得られれば、それら法線を勾配に変換し勾配を積分することで物体表面の３次元形状を復元できる（例えば、特開平３−２１８４０７号公報参照）。また、拡散物体の表面形状を計測する手法としては、縞状のパタンを物体に投影し物体表面の凹凸に応じて発生するパタンの歪を解析することで、物体表面の３次元形状を復元する方法がある。拡散物体の表面形状を計測する手法の代表的なものとしては、光切断法、位相シフト法、縞解析法などが知られている（例えば、特開２００２−２８６４３３号公報、特開２００７−１９６１９３号公報参照）。

自動計測装置や自動検査装置などの分野においては、金属のような鏡面物体の表面形状を精度良く計測したいというニーズが存在する。例えば基板外観検査装置のはんだ検査では、ランドやチップとの接触不良や短絡の有無などを誤りなく検出するために、はんだ部分の３次元形状を正確に捉えることが望まれている。

しかしながら、従来の計測手法には次のような問題がある。特許第３５５３６５２号公報及び特開平３−２１８４０７号公報に記載の方法では、物体の表面形状そのものは復元できるものの、カメラの奥行方向（Ｚ方向）の距離（つまりカメラと物体表面の距離）を測定できないために、復元された表面形状の３次元空間内のＺ方向位置（高さ）を特定することができない。例えばはんだ検査の場合、はんだ部分の高さが不明であると、はんだ量の過不足やはんだとランドの間の隙間の有無などを正確に検査できない虞がある。一方、特開２００２−２８６４３３号公報及び特開２００７−１９６１９３号公報に記載の方法は、物体表面のＺ方向位置（高さ）を計測することが可能であるが、鏡面物体の計測に適さないという問題がある。鏡面反射の強い物体の場合は、物体表面の反射特性によって投影パタンの反射光の強度が変わるため、計測精度が安定せず、表面形状を正確に復元できないからである。

本発明は上記実情に鑑みてなされたものであって、本発明の目的は、鏡面物体の３次元形状およびその空間位置を精度良く計測するための技術を提供することにある。

上記目的を達成するために、本発明では、法線算出により復元された物体表面の３次元形状と、測距により得られた物体表面の高さ（基準位置からの距離）の情報とを組み合わせることにより、計測対象物の３次元形状およびその空間位置を求める。

具体的には、本発明は、計測対象物の３次元形状を計測する形状計測装置であって、ステージ上に配置された計測対象物に光を照射する照明装置と、前記計測対象物を撮像する撮像装置と、前記照明装置から光を照射した状態で前記撮像装置による撮像を行うことにより得られた画像から、前記計測対象物の表面上の複数の点における法線の向きを算出し、その法線の向きの算出結果を前記計測対象物の表面上の前記複数の点における勾配に変換し、前記複数の点の勾配をつなぎ合わせることで前記計測対象物の表面の３次元形状を算出する形状算出装置と、前記計測対象物の表面上の１以上の測距点について、前記撮像装置の奥行方向に関する高さを計測する測距装置と、前記形状算出装置で得られた前記計測対象物の表面の３次元形状の前記奥行方向に関する位置を、前記３次元形状における前記測距点に対応する点の高さが前記測距装置で計測された高さに合うように、決定する決定装置と、を有する形状計測装置を提供する。

この構成によれば、法線算出により鏡面物体表面の３次元形状を精度良く復元することができる。そして、測距装置で得られた距離の情報を用いることで、復元された３次元形状の空間位置を決定できるため、当該計測対象物の３次元形状のみならず計測対象物の空間位置も簡易にかつ精度良く計測可能となる。

前記測距装置は、縞状または格子状のパタンを前記計測対象物に投影する投影装置を有しており、前記測距装置は、縞状または格子状のパタンを投影した状態で撮像された前記計測対象物の画像を解析することにより前記計測対象物の表面上の測距点の高さを算出するものであることが好ましい。本発明では３次元形状の計測を画像解析により行うことか
ら、測距についても画像解析による手法を採用することで、ハードウェアの共通化による装置構成の簡易化・小型化などの効果を得ることができる。

前記撮像装置は、前記測距装置が測距用の画像を撮像するための装置を兼ねていることが好ましい。すなわち、形状計測と測距における観測系（撮像装置）を共通にするのである。これにより、形状計測結果と測距結果の画像座標の位置合わせが省略できるため、処理の簡易化ならびに精度の向上が実現できる。

前記照明装置は、所定の広さの発光領域を有する面光源であり、前記発光領域内の各位置から照射される光のスペクトル分布が互いに異なっていることが好ましい。このような照明装置を用いることにより、１回の計測（照明および撮像）だけで計測対象物の３次元形状を求めることができ、計測時間の短縮を図ることができる。

前記照明装置は、互いに異なる複数の照明パタンを重ね合わせた光を照射し、または、前記複数の照明パタンを順次照射する面光源であり、各照明パタンは、前記計測対象物が配置される点を通る前記ステージに平行な所定の直線を中心軸として、前記中心軸周りの角度に対し発光強度が線形に変化するように設定されていることが好ましい。このような照明装置を用いることにより、反射特性が均一でない物体や表面が粗い物体であっても精度良く計測することが可能となる。なお構造上もしくは設計上の理由などから厳密な線形性を実現することが困難な場合もある。そのような場合には実質的に線形性が実現されていればよい。すなわち、本発明において「発光強度が線形に変化」とは「発光強度が実質的に線形に変化」を含む概念である。

なお、本発明は、上記装置の少なくとも一部を有する形状計測装置として捉えることができる。また、本発明は、上記処理の少なくとも一部を含む形状計測方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記装置および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、鏡面物体の３次元形状およびその空間位置を精度良く計測することができる。さらに、鏡面物体のみ、拡散物体のみ、または、鏡面物体と拡散物体とが混在した物体について、３次元形状およびその空間位置を精度良く計測することができる。

図１は形状計測装置のハードウェア構成を模式的に示す図である。 図２は照明装置の発光領域におけるカラーパタンをＲＧＢごとに示す図である。 図３Ａおよび図３Ｂは照明装置の発光領域におけるＲＧＢ各色の変化を説明する図であり、図３Ａは斜視図、図３Ｂは側面図である。 図４は測定対象物表面の法線の向きと発光領域の対応を説明する図である。 図５は計測処理の流れを示すフローチャートである。 図６は計測処理の流れを模式的に示す図である。 図７は照明装置のカラーパタンによる効果を説明する図である。 図８は反射特性を説明する図である。 図９は入射光と反射光を説明するための図である。 図１０は鏡面ローブの相殺効果を説明するための図である。 図１１Ａ〜図１１Ｃは照明パタンの変形例を示す図である。 図１２Ａおよび図１２Ｂは照明パタンの変形例を示す図である。 図１３は平板形状の照明装置を備える形状計測装置の構成を示す図である。 図１４Ａおよび図１４Ｂは平板形状の照明装置における照明パタンを説明するための図である。

以下、図面を参照して本発明の好適な実施形態について説明する。本発明の実施形態の形状計測装置は、画像解析により鏡面物体の３次元計測を行うものである。本実施形態の形状計測装置は、自動計測装置、自動検査装置、ロボットビジョンなど様々な分野における物体認識に適用可能である。例えば、形状計測装置は基板外観検査装置（ＡＯＩシステム）におけるはんだ付けの良否検査や、金属加工物表面の凹凸検査などに好ましく適用することができる。

＜計測装置の全体構成＞
図１を参照して、本実施形態の形状計測装置の全体構成について説明する。図１は形状計測装置のハードウェア構成を模式的に示す図である。

形状計測装置は、概略、計測ステージ５、検査ヘッドＨ、および、情報処理装置６を備える。検査ヘッドＨには、照明装置３、プロジェクタ２、および、カメラ（イメージセンサ）１が取り付けられている。照明装置３は、計測ステージ５上に配置された計測対象物４に測定光を照射する。プロジェクタ２は、計測対象物４の表面に所定の縞状パタンを投影する。カメラ１は、鉛直上方から計測対象物４を撮影する。情報処理装置６は、ＣＰＵ（中央演算処理装置）６０、メモリ６１、記憶装置６２、検査ヘッド制御部６３、画像入力部６４、プロジェクタ制御部６５、照明装置制御部６６、ステージ制御部６７、ユーザＩ／Ｆ６８、表示部６９などを備えている。検査ヘッド制御部６３は検査ヘッドＨのＺ方向（計測ステージ５に垂直な方向）の移動を制御する機能であり、ステージ制御部６７は計測ステージ５のＸＹ方向の移動を制御する機能である。プロジェクタ制御部６５はプロジェクタ２の点灯および消灯や投影パタンの変更を制御する機能である。照明装置制御部６６は照明装置３の点灯および消灯（必要に応じて照明パタンの切り替え）を制御する機能である。画像入力部６４はカメラ１からデジタル画像を取り込む機能である。ユーザＩ／Ｆ６８はユーザにより操作される入力装置である。ユーザＩ／Ｆ６８の例としては、ポインティングデバイス、タッチパネル、キーボードなどがある。計測結果は表示部６９の画面に表示される。例えば、表示部６９は液晶ディスプレイで構成される。

本実施形態の形状計測装置は、「形状計測」と「測距」の２つの計測機能を有している。本実施形態の形状計測装置の特徴の一つは、形状計測機能で得られた物体表面の３次元形状と測距機能で得られた物体表面の距離（高さ）情報とを組み合わせることで、計測対象物４の３次元形状およびその空間位置を簡易かつ高精度に求める点である。ここで形状計測機能は照明装置３とカメラ１と情報処理装置６とで構成され、測距機能はプロジェクタ２とカメラ１と情報処理装置６とで構成されている。すなわち、２つの計測機能は、光
源はそれぞれ別のものを用いるが、計測対象物４からの反射光の測定には同一の観測系（カメラ１）を用いている。

計測時には、検査ヘッドＨと計測ステージ５が相対的に移動し、計測対象物４が所定の計測位置（図１の例では、照明装置３の中央（カメラ１の光軸と計測ステージ５の交点））に位置決めされる。そして、照明装置３から測定光を照射した状態で形状計測用の画像が撮影され、続いて、プロジェクタ２がパタンを投影し測距用の画像が撮影される。形状計測と測距の順番は逆でもよい。カメラ１で撮影された画像は画像入力部６４を介して情報処理装置６に取り込まれ、その画像は画像解析に供される。各計測機能の構成および処理について詳しく説明する。

＜形状計測＞
形状計測機能は、計測対象物表面の３次元形状を計測するための機能である。ここでは金属のような鏡面物体が計測対象となるため、以下に述べるような構造化照明を用いて物体表面の法線を計測し表面形状を復元する方法を用いる。

（照明装置）
照明装置３は、図１に示すようにドーム形状をした面光源であり、このドーム形状の全てが発光領域である。照明装置３の天頂部分と側方にはそれぞれカメラ１とプロジェクタ２のための開口が設けられている。照明装置３は、例えば、ドーム形状のカラーフィルタと、その外部から白色光で計測対象物４を照射する光源とから構成することができる。また、例えば、複数のＬＥＤチップをドームの内側に配列させて拡散板を通して計測対象物４を照射する構成にしても良い。また、液晶ディスプレイや有機ＥＬディスプレイなどをドーム形状にして、照明装置３を構成することもできる。

照明装置３の発光領域の形状は、計測対象物４の全方位から光を照射できるように半球状のドーム形状であることが好ましい。こうすることにより、あらゆる方向の法線を計測可能となる。しかしながら、計測の対象とする法線方向に対応した位置から光が計測対象物４に照射されるような形状であれば、発光領域の形状はどのようなものであっても良い。例えば、表面の法線の向きがほぼ鉛直方向に限られるのであれば、水平方向から（角度の浅い方向から）の光で計測対象物４を照射する必要がない。

照明装置３の発光領域の各位置における発光は、全ての位置で異なるスペクトル分布の光を発するように設定される。例えば、発光が赤色光（Ｒ）、緑色光（Ｇ）、青色光（Ｂ）の３色の光成分の合成で実現される場合に、図２に示すようにＲＧＢの各成分の発光強度をドーム上で異なる方向に対して変化させる。ここでは、変化方向が互いに１２０度となるようにしている。このようなＲＧＢ成分の組み合わせにより、発光領域の各位置での発光はＲＧＢ各成分の組み合わせが全て異なることとなる。したがって、全ての位置で異なるスペクトル分布の光を発し、計測対象物４への入射方向が異なれば入射する光のスペクトル分布（ＲＧＢの強度比）が異なるように設定できる。なお、発光色は前述の３色だけでなく３色以上の色成分（カラーチャンネル）を用いてもよい。

図３Ａおよび図３Ｂに、図２における一つの成分光の強度変化（照明パタン）を示した。図３Ａは一つの成分光の等色（等発光強度）線を示す斜視図である。図３Ｂは図３Ａに対応する側面図である。図３Ａおよび図３Ｂに示すように、ドーム（半球）とドームの直径を通る平面との交線が等色線となる。便宜上、図２、図３Ａ、図３ＢではＲＧＢ各成分の発光強度が段階的に変化（図２、図３Ａ、図３Ｂでは８段階で変化）するように示している。しかし実際には各成分光の発光強度（輝度）は連続的に変化している。そして、この発光強度の変化は角度に対して線形に変化するように設定する。より具体的には、発光強度の最小値をＬ_ｍｉｎ、発光強度の最大値をＬ_ｍａｘ、等色線を含む平面と水平面（計
測ステージ５）とのなす角度をθとしたとき、この等色線上での発光強度Ｌ（θ）はＬ（θ）＝Ｌ_ｍｉｎ＋（Ｌ_ｍａｘ−Ｌ_ｍｉｎ）×（θ／π）の関係を満たすように発光強度を設定する。図３Ａに示すように「極」を定義すると、このθは経度であり、本実施形態における光源分布（照明パタン）は経度に対して線形に変化すると表現することができる。あるいは、この照明パタンは、計測対象物が配置される点Ｏを通る計測ステージ５に平行な直線を中心軸として、この中心軸周りの角度θに対し発光強度が線形に変化するように設定されている、と表現することもできる。

このような光源分布（照明パタン）をもつ照明装置を利用することで、１枚の画像のみから計測対象物の表面形状（法線の向き）を計測することができる。このことを図４を参照して説明する。計測対象物４の表面上のある点における法線の向きが矢印Ｎの向きであり、天頂角がθ、方位角がφであるとする。このとき、カメラ１によって撮影される像点の色は、照明装置３の領域Ｒで発光し計測対象物４へ入射する光の反射光となる。このように、表面の法線の向き（θ、φ）と、入射光の方向（照明装置３の発光領域における位置）は１対１に対応する。そして、異なる方向から入射される光は異なるスペクトル分布をもつ（発光領域の全ての位置で異なるスペクトル分布の光を発している）ことから、撮影画像の色（スペクトル分布）を調べることで、その点における法線の向きを天頂角および方位角の両方について、算出することができる。

（法線算出および形状復元）
次に図５および図６を参照して、形状計測に関わる機能および処理の流れを説明する。図５は本形状計測装置の計測処理の流れを示すフローチャートであり、図６はその計測処理の流れを模式的に図示したものである。図５に示す処理は、情報処理装置６のＣＰＵ６０が記憶装置６２からプログラムを読み込み実行することにより実現されるものである。これらの機能ブロックの一部または全部をＡＳＩＣやＰＬＤ（プログラマブルロジックデバイス）などで構成してもよい。

ＣＰＵ６０は、画像入力部６４を介して形状計測用の画像を取り込み、その形状計測用の画像から計測対象物部分の画素のそれぞれについて、反射光のスペクトル成分に関する特徴量を算出する（ステップＳ１０）。本実施形態では、照明装置３が、赤色光（Ｒ）、緑色光（Ｇ）および青色光（Ｂ）の３つの成分光を組み合わせた光を投光しているため、ここでは特徴量としてＲＧＢ各成分の比を利用する。例えば、ＲＧＢの各成分について、最大輝度を１で正規化した上で、（Ｒ，Ｇ，Ｂ）の組み合わせを特徴量とすることができる。また、ある色（ここではＧ）に対する他の色の比、例えば、Ｒ／（Ｒ＋Ｇ），Ｂ／（Ｂ＋Ｇ）などを特徴量としても良い。

上述したように、計測対象物４の色、すなわち、ステップＳ１０で算出される特徴量と、法線の向きとは１対１に対応する。情報処理装置６の記憶装置６２内には、法線の向きと特徴量の値との対応関係を記述したテーブルが格納されている。このテーブルは、真球などの形状が既知の物体に対して、照明装置３およびカメラ１を使った撮影を行って、法線と特徴量との対応関係をあらかじめ調べることで作成可能である。例えば、真球の物体を利用した場合、注目する画素の中心からの位置を調べることで、その法線の向きを計算によって求めることができる。そして、この位置における特徴量を算出することで、法線の向きと特徴量の対応関係を調べることが可能である。

法線と特徴量の対応関係ではなく、法線とＲＧＢの値の対応関係、入射光の方向（天頂角と方位角）と特徴量の値の対応関係、または、入射光の方向とＲＧＢの値の対応関係をテーブルに記述してもよい。あるいは、法線の向きとカメラ１で撮影されるスペクトル分布の関係が、幾何配置等から定式化できるのであれば、この算出式を用いて法線を算出しても良い。

ＣＰＵ６０は、入力画像から算出した特徴量とテーブルとから、計測対象物４の表面上の各点における法線の向きを算出する（ステップＳ１１）。半球状の計測対象物４の画像から算出された法線マップの例を図６の（ａ）に示す。なお法線マップとは、計測対象物表面の各点における法線を単位ベクトルで図示したものである。

ＣＰＵ６０は、ステップＳ１１で得られた各点の法線を勾配に変換し、それらの勾配をつなぎ合わせることで３次元形状を復元する（ステップＳ１２）。ステップＳ１０からＳ１２の処理を「積分」と表現する。図６の（ｂ）は、（ａ）の法線マップから復元された形状を示す。積分によれば、鏡面物体の表面の３次元形状を精度良く復元することができる。ただし、あくまでも勾配の積み上げにより各点の相対的な高さを計算しているにすぎないので、復元された３次元形状全体の絶対的な高さ（空間位置）は不明である。積分を補完するのが、次に説明する測距機能である。

＜測距＞
測距機能は、計測対象物表面の高さ（所定の基準位置からの距離）を計測するための機能である。ここでは位相シフト法を利用して、計測対象物の表面上の点の高さ情報を得る。

位相シフト法とは、縞状パタンを計測対象物の表面に投影し、表面の凹凸によるパタンの歪を解析することにより表面の３次元計測を行う手法の一つである。具体的には、位相シフト法では、輝度が正弦波状に変化する縞状パタンを物体表面に投影し撮影するという処理を、輝度変化の位相を変化させながら複数回繰り返すことで、明るさの相違する複数枚の画像を得る。各画像の同一画素の明るさ（濃度値）は縞状パタンの変化と同一の周期で変化するはずであるから、各画素の明るさの変化に対して正弦波を当てはめることで、各画素の位相が分かる。そして、所定の基準位置（計測テーブル表面、基板表面など）の位相に対する位相差を求めることで、その基準位置からの距離（高さ）を算出することができる。

前述したように、位相シフト法は原理的には鏡面物体の３次元計測には適していない。ただし、鏡面物体といっても、実際には反射光に多少の拡散反射成分が含まれていたり、正反射方向を向いている面が存在したりする。そのため、精度良く高さを計測できる点がいくらか存在する。本実施形態の場合、計測対象物４の３次元形状そのものは法線積分により得られているから、測距では少なくとも物体表面上の１点（好ましくは複数点）の高さ情報が精度良く得られればよい。このような目的であれば位相シフト法は十分実用に足りる。

図５および図６を参照して、測距に関わる機能および処理の流れを説明する。

ＣＰＵ６０は、画像入力部６４を介して測距用の画像を取り込む（ステップＳ２０）。ここでは縞状パタンの位相をπ／２ずつずらして４枚の画像を取得する。ＣＰＵ６０は、各画素の明るさの変化に正弦波を当てはめることで、各画素の位相を求める（ステップＳ２１）。半球状の計測対象物４の画像から算出された位相マップの例を図６の（ｃ）に示す。位相マップとは、同位相の画素を同じ明るさで図示したものである。次にＣＰＵ６０は、三角測量の原理により各画素の位相から距離（高さ）を算出する（ステップＳ２２）。このようにして得られた測距結果を図６の（ｄ）に示す。図６（ｂ）と比較すると、位相シフトによる測距結果はばらつきが大きく、精度が低いことが分かる。

＜空間位置の決定＞
上記処理により計測対象物４の復元形状と測距結果が得られたら、復元形状と測距結果
を組み合わせて復元形状の空間位置（高さ）が決定される。具体的には、ＣＰＵ６０は、全画素の測距結果（高さ情報）の中から信頼度の高い測距結果を選別する処理を行う（ステップＳ３０）。信頼度の評価指標としては、当該画素の明るさの変化のカーブと正弦波とのマッチング度合いを示すスコアを用いることができる。このスコアは、ステップＳ２１において画素の明るさの変化に最も合致する正弦波を探索する際に求められる値である。ここでは、信頼度の値が所定の閾値よりも高い画素の測距結果のみ選出される。選出された測距結果の例を図６の（ｅ）に示す。（ｄ）と比較すると、ばらつきがかなり軽減されていることが分かる。信頼度の評価指標は画素の明るさの変化のカーブと正弦波とのマッチング度合いに限られず、明るさの変化から決定される位相、または、正反射成分の強度から決定される値を信頼度の評価指標として用いてもよい。

ＣＰＵ６０は、ステップＳ３０で得られた測距結果（高さ情報）を用いて、計測対象物４の復元形状の位置決めを行う（ステップＳ３１）。ここでは、最小二乗法により、測距結果に最もフィットする復元形状のＺ方向位置を求める。これにより、図６の（ｆ）に示すように、計測対象物４の３次元的な形状および位置を確定できる。

本実施形態では信頼度に基づき測距結果（高さ情報）の選別を行った。しかし、全ての測距結果をもとに３次元形状の位置決めを行っても実用上問題ない精度が得られる場合や、測距結果の数が少ない場合には、選別は不要である。また選別を行う場合の評価指標は上記のものに限らず、どのような指標を用いてもよい。

＜実施形態の利点＞
本実施形態の形状計測装置によれば、測距により求めた高さ情報を、形状計測により求めた復元形状に組み合わせることで、鏡面物体表面の３次元形状およびその空間位置を精度良く計測することができる。測距と形状計測における観測系（カメラ）を共通にしたことで、形状計測結果と測距結果の間のＸＹ座標（画像座標）の位置合わせを省略できるという利点もある。もし測距と形状計測で異なる観測系を用いた場合は、測距により得られた高さ情報が、形状計測により得られた表面形状のどの点の高さを表しているのかを特定しなければならないが、このような位置同定処理を精度良く行うことは難しい。したがって、形状計測結果と測距結果の位置合わせを省略できることは、処理の簡易化ならびに精度の向上という観点から非常に好ましい。さらに観測系を共通にすることは、装置の小型化や低コスト化にも寄与する。

形状計測の照明として、全ての入射角方向について異なるスペクトル分布の光が入射するような照明装置３を利用していることから、１枚の画像だけから計測対象物４の法線の向きを、天頂角成分および方位角成分の両方について求めることができる。画像の撮影が１回だけであること、および、法線の向きの算出が法線と特徴量の対応関係を格納したテーブルを調べるだけで分かることから簡単に（高速に）計測対象物４の表面形状を計測することが可能である。

拡散物体（反射特性がLambertian特性をもつ物体）を撮影する場合、その画像は様々な方向からの入射光が混じり合ったものとなる。本実施形態では、照明装置３の発光領域を、ＲＧＢの３つの成分の光を図２に示すように均等な方向（互いに１２０度の向き）に変化させ、かつ、その変化の度合いを同じにしている。したがって、図７に示すように、任意の天頂角についてその天頂角における全方位角方向からの１色あたりの光強度の総和は各色で同一となる。全天頂角について積分しても各色の光強度の総和は同一である。そのため、拡散物体から鉛直方向に位置するカメラに入射する光のＲＧＢの成分光は全て同じ強度となり、その撮影画像は拡散物体に関しては白色の反射光が撮影されることになる。つまり、撮影対象が、鏡面物体（計測対象物体）と拡散物体の両方から構成される場合に、鏡面物体の表面形状を計測可能であるとともに、拡散物体についてはあたかも白色光が
照射されたかのような撮影が可能である。したがって、例えば、はんだ検査を行う際に、はんだ以外の対象（基板、ＩＣなど）については対象色に基づいた検査が実施可能となる。

照明装置３を利用することで、反射特性が不均一な対象物に対しても精度の良い計測が行える。以下、このことについて説明する。図８に示すように、完全鏡面ではない物体に入射した光の反射光は、正反射の方向に鋭く狭い光（鏡面スパイク）と、正反射方向からずれた方向へのぼんやりと広がった光（鏡面ローブ）の２つからなる。鏡面ローブとは、計測対象表面上の微小凹凸面（マイクロファセット）によって引き起こされる鏡面反射光の広がりのことを指す。マイクロファセットの向きがばらつくほど、すなわち表面が粗くなるほど鏡面ローブは広がる。逆にマイクロファセットの向きのばらつきが小さくなるほど、計測対象物表面は完全鏡面の状態に近づく。ここで、正反射方向からのずれ（角度）とスパイクに対するローブの光強度の比が、反射特性を表す。反射特性が均一ではない物体では、各表面位置における表面粗さに応じて鏡面ローブの形状が異なる。表面が非常に粗い場合、反射光は鏡面ローブのみで構成されることになる。この場合、鏡面ローブと鏡面スパイクの比は１に近づき、鏡面ローブと鏡面スパイクはほとんど区別できない。

鏡面ローブの広がりがあることで、撮影画像における輝度値は、物体の表面位置に対応する発光領域（図４における領域Ｒ）からの光だけでなく、その周囲からの光の影響も受ける。つまり、表面が粗い物体では、正反射方向に対応する発光領域からの光とその周囲の領域からの光とが混じり合ってしまい、完全鏡面の場合と異なるスペクトル特徴が観測されることとなる。

このとき、周囲の領域からの光がちょうどキャンセルして完全鏡面の場合と同様のスペクトル特徴が保たれるような照明を行うことができれば、反射特性が均一でない物体や表面が粗い物体でも、あたかも完全鏡面の物体と同じように計測することができる。反射特性が均一でない物体や表面が粗い物体の計測を実現するためには、理論的には、照明装置３の光源分布（照明パタン）を次のように設定すればよい。

すなわち、図９に示すように、入射角（θｉ，φｉ）の方向から計測点ｐに入射する光源の放射輝度をＬｉ（ｐ，θｉ，φｉ）としたときに、点ｐにおける任意の法線ベクトルおよび発光領域上の任意の点対称領域Ωについて、以下の式が成り立てばよい。

ここで、ｐは物体表面上の計測点、（θｉ，φｉ）は光源の入射方向（θは天頂角成分、φは方位角成分。以下同じ。）、（θｒ，φｒ）は光源の光の反射方向（カメラの視線方向）、ｆは点ｐの反射特性、Ωは反射特性ｆでの鏡面ローブのプロスペクト立体角、ｋｆは放射輝度の減衰比（物体表面の反射特性に依存する）である。

本実施形態による照明装置３では、ＲＧＢ各成分光の発光強度を、角度（経度）に対して線形に変化するように設定している（図２、図３Ａ、図３Ｂ参照）。角度（経度）に対して輝度が線形に変化する照明パタンは上記式の近似解の一つである。また、ＲＧＢの各成分光のパタンを重ね合わせて得られる照明装置３の照明パタンも上記式の近似解となる。

このような照明パタンを利用することで鏡面ローブの影響を相殺できることを、図１０を参照して別の観点から説明する。図１０は、本実施形態における照明パタンの効果を説
明するために、理想に近い光が得られる輝度変化方向の１次元方向を示した図である。ここでは、図１０に示すように、角度ａ（正反射方向）、角度ａ＋α、角度ａ−αの３点からの光についてのみ考える。角度ａ＋α、ａ−αの位置からの光のローブ係数は、互いに等しくσであるとする。また、照明装置３の発光強度は、角度に比例するものとして、角度ａ−α、ａ、ａ＋αのそれぞれの位置において、（ａ−α）Ｌ、ａＬ、（ａ＋α）Ｌであるとする。すると、この３点からの反射光の合成は、σ（ａ−α）Ｌ＋ａＬ＋σ（ａ＋α）Ｌ＝（１＋２σ）ａＬとなり、周囲からの光の拡散光による影響が相殺されることが分かる。ここではａ±αの２点のみを考えているが、周囲からの光の拡散光の影響は全て相殺されることは容易に分かる。このことは、ＲＧＢそれぞれの光について成立し、したがって、ＲＧＢの各色の発光強度の比によって表される特徴量は、完全鏡面反射の場合と同一の値となる。よって、反射特性が均一でない物体の場合であっても、完全鏡面反射の場合と同様、１枚の撮影画像から計測対象物の表面形状を精度良く取得することができる。

上記の説明は最も理想的な効果が得られる方向についての説明である。その他の方向については、上記のような線形性が崩れてしまい厳密には拡散反射の影響を相殺することはできないが、実用上問題ない範囲で拡散反射の影響を除去することが可能である。

＜照明装置の変形例＞
上記実施形態の説明では、ＲＧＢの３色の発光強度が１２０度ずつ異なる方向に対して角度とともに変化するパタンを重ね合わせた照明装置を利用している。しかし、照明パタンはこれに限られるものではない。例えば、図１１Ａに示すように３色がそれぞれ下方向、右方向、左方向に変化するパタンのように、それぞれが異なる方向に対して変化するパタンを組み合わせたものを利用しても良い。３色全てを角度ともに変化させる必要はなく、図１１Ｂに示すように１色については全面で均一の輝度で発光し、その他の２色については異なる方向に角度とともに変化するようなパタンを採用しても良い。

上記実施形態では、異なるカラーチャンネルの照明パタンを重ね合わせた照明装置を用いることにより、１回の計測（照明および撮影）だけで対象物の３次元形状を復元することを可能にしている。ただし、上記実施形態に比べて計測時間は長くはなるものの、２種類以上の照明パタンを順次点灯してそれぞれ撮影を行い、得られた複数枚の画像を用いて３次元形状を復元してもよい。この方法でも同じ復元結果を得ることができる。照明パタンを切り替えながら撮影する場合は、図１１Ｃに示すように、輝度分布が異なる複数のモノクロ照明パタンを用いることもできる（この場合はカメラもモノクロでよい）。

上記実施形態では、経度方向の角度に対して発光強度が線形に変化する照明パタンを採用した。しかし、照明パタンはこれに限られない。例えば図１２Ａおよび図１２Ｂに示すように緯度方向に対して発光強度が線形に変化するパタンを用いることも好適である。このような照明パタンも上記式の近似解の１つであり、鏡面ローブの影響をほぼ相殺して正反射光を検出することが可能となる。

また照明装置３の形状はドーム状（半球状）に限られず、図１３に示すような平板形状でもよい。また平板を弧状に湾曲させた形状でもよい。このような形状の照明装置３においても、発光領域での各位置における発光のスペクトル分布が全ての位置で異なるように照明パタンを設定すれば、１回の計測で計測対象物４の３次元形状を復元できる。図１４Ａの例では、右方向に行くほど発光強度が大きくなる赤色光（Ｒ）パタンと、左方向に行くほど発光強度が大きくなる緑色光（Ｇ）パタンと、上方向に行くほど発光強度が大きくなる青色光（Ｂ）パタンを重ね合わせている。この場合も、図１４Ｂに示すように、各パタンにおいて、発光強度を角度θに対して線形に変化させることで、鏡面ローブの影響をほぼ相殺することができる。ここで、θは、点Ｐ（計測対象物が配置される点）を通り計
測ステージ５に平行な直線周りの角度である。あるいは、θは、照明装置３の発光領域上の等発光強度線（等色線）と点Ｐを通る平面と、計測ステージ５に平行な平面とのなす角と表現することもできる。

＜その他の変形例＞
上記実施形態では位相シフト法により測距を行っている。代わりに、物体表面の高さ情報を得られるのであればいかなる測距方法を用いてもよい。中でも、縞状や格子状のパタンを物体に投影しそのパタンの歪を画像解析することによって高さ情報を得ることのできる測距方法が、観測系（カメラ）を共通にできるという点から好ましい。この種の測距方法としては、例えば、光切断法、縞解析法などがある。もちろん画像解析以外の測距方法を用いてもかまわない。例えば、Ｘ線、赤外線、超音波などを用いた測距センサを用いることもできる。いずれの方法であっても、物体表面上の少なくとも１点の高さを特定できれば、この高さ情報を法線積分による復元形状に組み合わせることで、３次元的な形状および位置を決定することが可能となる。

Claims (8)

1. 計測対象物の３次元形状を計測する形状計測装置であって、
   ステージ上に配置された計測対象物に光を照射する照明装置と、
   前記計測対象物を撮像する撮像装置と、
   前記照明装置から光を照射した状態で前記撮像装置による撮像を行うことにより得られた画像から、前記計測対象物の表面上の複数の点における法線の向きを算出し、その法線の向きの算出結果を前記計測対象物の表面上の前記複数の点における勾配に変換し、前記複数の点の勾配をつなぎ合わせることで前記計測対象物の表面の３次元形状を算出する形状算出装置と、
   前記計測対象物の表面上の１以上の測距点について、前記撮像装置の奥行方向に関する高さを計測する測距装置と、
   前記形状算出装置で得られた前記計測対象物の表面の３次元形状の前記奥行方向に関する位置を、前記３次元形状における前記測距点に対応する点の高さが前記測距装置で計測された高さに合うように、決定する決定装置と、
   を有する形状計測装置。
2. 前記測距装置は、縞状または格子状のパタンを前記計測対象物に投影する投影装置を有しており、
   前記測距装置は、縞状または格子状のパタンを投影した状態で撮像された前記計測対象物の画像を解析することにより前記計測対象物の表面上の測距点の高さを算出するものである
   請求項１に記載の形状計測装置。
3. 前記撮像装置は、前記測距装置が測距用の画像を撮像するための装置を兼ねている
   請求項２に記載の形状計測装置。
4. 前記照明装置は、所定の広さの発光領域を有する面光源であり、
   前記発光領域内の各位置から照射される光のスペクトル分布が互いに異なっている
   請求項１〜３のうちいずれか１項に記載の形状計測装置。
5. 前記照明装置は、互いに異なる複数の照明パタンを重ね合わせた光を照射し、または、前記複数の照明パタンを順次照射する面光源であり、
   各照明パタンは、前記計測対象物が配置される点を通る前記ステージに平行な所定の直線を中心軸として、前記中心軸周りの角度に対し発光強度が線形に変化するように設定されている
   請求項１〜４のうちいずれか１項に記載の形状計測装置。
6. 前記撮像装置は、単一の撮像装置である
   請求項１〜５のうちいずれか１項に記載の形状計測装置。
7. 計測対象物の３次元形状を計測する形状計測方法であって、
   ステージ上に配置された計測対象物に光を照射するステップと、
   前記光を照射した状態で前記計測対象物を撮像装置により撮像するステップと、
   前記撮像ステップで得られた画像から、前記計測対象物の表面上の複数の点における法線の向きを算出し、その算出結果を前記計測対象物の表面上の前記複数の点における勾配に変換し、前記複数の点の勾配をつなぎ合わせることで前記計測対象物の表面の３次元形状を算出する形状算出ステップと、
   前記計測対象物の表面上の１以上の測距点について、前記撮像装置の奥行方向に関する高さを計測する測距ステップと、
   前記形状算出ステップで得られた前記計測対象物の表面の３次元形状の前記奥行方向に関する位置を、前記３次元形状における前記測距点に対応する点の高さが前記測距ステップで計測された高さに合うように、決定するステップと、
   を有する形状計測方法。
8. 前記撮像装置は、単一の撮像装置である
   請求項７に記載の形状計測方法。

Images