JP7799375B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、物体の表面特性を評価するための画像処理技術に関する。

近年、デジタルカメラが広く普及し、様々な用途で利用されている。例えば、特許文献１は、カメラを用いて凹凸面や曲面を有する対象物を測色する技術を開示している。また、特許文献２は、分光カメラで試料の写像性やオレンジピールなどの質感を測定する技術を開示している。

特開２０１７－０３６９３７号公報 特開２０１６－０３８２２２号公報

特許文献１や特許文献２のような測定を行う際に、測定の対象物がデザインや機能性のために複雑な形状を有する場合がある。この場合、評価対象の領域によっては、塗装による色ムラやオレンジピールなどの表面特性の評価結果に対象物の形状が影響を与えてしまい、高精度な評価結果を得られないという課題があった。

そこで本発明は、複雑な形状を有する物体であっても、物体の表面特性を高精度に評価するための処理を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、格子パターン光が照射された物体を撮像手段が撮像して得られる画像データに基づく格子投影法により、前記撮像手段から前記物体までの奥行きを位置ごとに表す奥行きマップを取得する取得手段と、前記奥行きマップにおける領域ごとに前記奥行きの分散値を算出する算出手段と、前記分散値が所定の閾値以下である領域を、前記物体における平坦な領域として決定する第１決定手段と、前記撮像手段による撮像領域とゆず肌の度合いを評価するための矩形波パターン光の照射領域との対応関係を表す情報を取得し、前記情報に基づいて前記矩形波パターン光の照射領域における前記平坦な領域の座標を算出し、前記平坦な領域の座標に基づいて前記矩形波パターン光の照射領域が前記平坦な領域に応じるよう、前記矩形波パターン光を照射するためのパターン画像のサイズ又は位置を変換することによって、前記矩形波パターン光の照射領域を決定する第２決定手段と、前記物体上の前記照射領域に照射された前記矩形波パターン光を撮像して得られる画像データに基づいて、前記ゆず肌の度合いを評価する評価手段と、を有することを特徴とする。

本発明によれば、複雑な形状を有する物体であっても、物体の表面特性を高精度に評価することができる。

画像処理装置を含む測色システムの構成を示す模式図 画像処理装置のハードウェア構成を示すブロック図 アプリケーションウィンドウを示す模式図 画像処理装置の機能構成を示すブロック図 評価領域を決定する処理を示すフローチャート 奥行き情報の分散値を算出する処理を説明するための模式図 測定処理を示すフローチャート 色差マップを表示する処理を説明するための模式図 画像処理装置が実行する処理を示すフローチャート 測定処理を示すフローチャート 撮像領域とパターン光の照射領域との対応関係を説明するための模式図 パターン光の照射領域における評価領域を説明するための模式図 パターン画像を変換する処理を説明するための模式図 ゆず肌評価値を算出する処理を説明するための模式図 評価結果の表示例を示す模式図

以下、本実施形態について、図面を参照して説明する。尚、以下の実施形態は本発明を必ずしも限定するものではない。また、本実施形態において説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

［第１実施形態］
自動車などの工業製品の表面における色ムラやゆず肌（オレンジピール）などを測定する場合、評価領域にはデザイン上のくぼみなどがない略平坦な領域を指定する必要がある。これは、デザイン上のくぼみを評価領域に含めた場合、塗装による色ムラだけでなく、くぼみによる色合いの変化も測色値に影響を与えてしまうためである。同様に、ゆず肌評価においても、略平坦な領域以外を評価領域に指定してしまうと、微細な凹凸による光のボケ度合いを正しく評価できず、適切なゆず肌評価値を得ることができない。そこで、本実施形態においては、対象物体において評価領域に適した領域として略平坦な領域を特定し、特定した評価領域に対して表面特性の評価を行う。尚、本実施形態における略平坦な領域は、デザインや機能性に関するくぼみなどの形状を含まない領域であって、塗装による色ムラやゆず肌を生じさせる微細な凹凸を含む領域であるものとする。

＜測色システムの構成＞
図１は、本実施形態における測色システムの構成を示す図である。測色システムは、画像処理装置１０１、撮像装置１０２、投影装置１０３を含む。画像処理装置１０１は、投影装置１０３を制御して、対象物体１０４にパターン光１０５を照射する。画像処理装置１０１は、撮像装置１０２を制御して、パターン光１０５が照射された対象物体１０４を撮像し、撮像により得られた画像データを基に色差マップの生成に適した領域として対象物体１０４の略平坦な領域を決定する。

＜画像処理装置のハードウェア構成＞
図２は、画像処理装置１０１のハードウェア構成を示すブロック図である。ＣＰＵ２０１は、ＲＡＭ２０３をワークメモリとして、ＲＯＭ２０２やハードディスクドライブ（ＨＤＤ）２０５に格納されたオペレーティングシステム（ＯＳ）や各種プログラムを実行する。ＣＰＵ２０１は、ＰＣＩ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ）バスなどのシステムバス２１０を介して各構成を制御する。ＣＰＵ２０１は、システムバス２１０及びＨＤＤインタフェース（Ｉ／Ｆ）２０４を介してＨＤＤ２０５にアクセスする。ＨＤＤＩ／Ｆ２０４は、ＨＤＤ２０５や光ディスクドライブなどの二次記憶装置を接続するためのインタフェースであり、例えばシリアルＡＴＡ（ＳＡＴＡ）インタフェースがある。ＣＰＵ２０１は、ＨＤＤＩ／Ｆ２０４を介して、ＨＤＤ２０５からのデータ読み出し、及びＨＤＤ２０５へのデータ書き込みが可能である。また、ＣＰＵ２０１は、ユーザインタフェース（ＵＩ）や処理結果を、グラフィックアクセラレータ２０８を介してディスプレイ２０９に表示する。さらに、ＣＰＵ２０１は、ユーザからの指示を、ＵＳＢＩ／Ｆ２０６に接続されたマウスやキーボードなどの入力デバイス２０７を介して受け付ける。

＜画像処理装置の動作＞
まず、ＨＤＤ２０５に格納されている画像処理プログラムが、入力デバイス２０７を介したユーザの指示に応じてＣＰＵ２０１により実行され、図３に示すアプリケーションウィンドウ３０１がディスプレイ２０９上に表示される。画像表示ウィンドウ３０２は、撮像装置１０２の撮像により得られた撮像画像を表示するウィンドウである。評価領域決定ボタン３０３は、評価領域を決定する処理の実行開始をユーザが指示するためのボタンである。評価領域決定ボタン３０３が押下された後、撮像装置１０２及び投影装置１０３を用いて対象物体の３次元形状が取得され、対象物体の３次元形状を基に評価領域が決定される。測定ボタン３０４は、測定処理の実行開始をユーザが指示するためのボタンである。測定ボタン３０４が押下された後、決定された評価領域に対して色差マップが生成され、画像表示ウィンドウ３０２に表面特性の評価結果として色差マップが表示される。

＜画像処理装置の機能構成＞
図４は、画像処理装置１０１の機能構成を示す図である。画像処理装置１０１は、画像取得部４０１、形状取得部４０２、領域決定部４０３、評価部４０４を有する。画像取得部４０１は、撮像装置１０２及び投影装置１０３を制御する制御部として機能し、投影装置１０３に対象物体に対してパターン光を照射させ、撮像装置１０２にパターン光が照射された対象物体を撮像させる。画像取得部４０１は、撮像装置１０２から、撮像により得られた画像データを取得する。尚、パターン光の照射及び撮像が予め行われていた場合、画像取得部４０１は、ＨＤＤ２０５などの記憶装置から画像データを取得するのみであってもよい。

形状取得部４０２は、画像取得部４０１により取得された画像データに基づいて、対象物体の３次元形状を取得する。本実施形態における３次元形状の取得方法としては、公知の格子投影法を用いる。このため、投影装置１０３が対象物体に対して照射する３次元形状取得用のパターン光は、格子パターン光である。尚、３次元形状の取得方法は格子投影法に限られず、縞パターン光を用いた位相シフト法など他の公知の方法を用いてもよい。領域決定部４０３は、形状取得部４０２により取得された対象物体の３次元形状に基づいて、対象物体において略平坦な領域を決定する。評価部４０４は、領域決定部４０３により決定された略平坦な領域を評価領域として、対象物体の表面特性を評価する。本実施形態における評価対象の表面特性は塗装による色ムラであり、評価部４０４は、予め定められた基準値と評価領域の色値との色差を各画素に有する色差マップを生成する色差マップ生成部として機能する。

＜評価領域を決定する処理＞
以下においては、評価領域決定ボタン３０３が押下された後の、評価領域を決定する処理の流れについて、図５（ａ）及び図５（ｂ）のフローチャートを用いて説明する。図５（ａ）のフローチャートが示す処理は、ユーザによって入力デバイス２０７を介して指示が入力され、ＣＰＵ２０１が入力された指示を受け付けることにより開始する。以下、各ステップ（工程）は符号の前にＳをつけて表す。

Ｓ５０１において、画像取得部４０１は、投影装置１０３を制御して、対象物体に３次元形状取得用のパターン光を照射する。本実施形態におけるパターン光は格子パターン光である。Ｓ５０２において、画像取得部４０１は、撮像装置１０２を制御して、パターン光が照射された対象物体を撮像する。Ｓ５０３において、形状取得部４０２は、撮像により得られた画像データに基づいて、対象物体の３次元形状を取得する。本実施形態においては、公知の格子投影法に従って、格子の位相分布を推定することにより対象物体の３次元形状を取得する。

Ｓ５０４において、領域決定部４０３は、対象物体の３次元形状に基づいて、評価領域として略平坦な領域を決定する。以下において、Ｓ５０４の処理の詳細について、図５（ｂ）のフローチャートを用いて説明する。Ｓ５０４１において、領域決定部４０３は、対象物体の３次元形状を特定するための奥行きマップを取得する。奥行きマップは、各画素に奥行き情報ｚ（ｘ，ｙ）を有するデータであり、Ｓ５０３において生成される。ここで、（ｘ，ｙ）は撮像画像の画素位置であり、ｚ（ｘ，ｙ）は当該画素位置の奥行き情報である。

Ｓ５０４２において、領域決定部４０３は、奥行きマップにローパスフィルタ処理を適用する。このローパスフィルタ処理により、奥行き情報に含まれるノイズを低減し、より高精度に略平坦な領域を特定することが可能となる。本実施形態におけるローパスフィルタには、１０×１０の平均値フィルタを用いるが、例えばガウシアンフィルタなど他のローパスフィルタを用いてもよい。本実施形態における平均値フィルタは、以下の式（１）で表される。

また、ローパスフィルタ処理後の奥行き情報をｚｌ（ｘ，ｙ）とすると、ｚｌ（ｘ，ｙ）は式（２）で表される。

Ｓ５０４３において、領域決定部４０３は、奥行きマップにおける矩形領域ごとに、奥行き情報ｚｌ（ｘ，ｙ）の分散値を算出する。奥行き情報ｚｌ（ｘ，ｙ）の分散値を算出する処理について、図６の模式図を用いて説明する。図６（ａ）は、奥行きマップを可視化した模式図である。図６（ａ）においては、自動車のドア部分やデザインによるふくらみなどが奥行きマップとして取得されており、略平坦部と非略平坦部とが混在している。Ｓ５０４３において、領域決定部４０３は、奥行きマップを４×４の１６領域に分割し、各分割領域内で奥行き情報ｚｌ（ｘ，ｙ）の分散値を算出する。ｉ行ｊ列の分割領域における分散値をＶ（ｉ，ｊ）とすると、Ｖ（ｉ，ｊ）は式（３）で表される。

ここで、Ｗは奥行きマップの横方向の画素数、Ｈは縦方向の画素数である。Ｎは分割領域内の総画素数であり、Ｎ＝Ｈ×（Ｗ／１６）である。ｚｌ_{ａｖｅ（ｉ，ｊ）}は分割領域（ｉ，ｊ）内の奥行き情報ｚｌ（ｘ，ｙ）の平均値である。図６（ｂ）は、各分割領域の分散値を可視化した模式図である。色が濃い領域は分散値が高く、色が薄い領域は分散値が低いことを示す。

Ｓ５０４４において、領域決定部４０３は、分散値Ｖ（ｉ，ｊ）に基づいて、略平坦な領域を決定する。本実施形態において、奥行き情報の分散値Ｖ（ｉ，ｊ）が所定の閾値以下である領域を略平坦な領域として決定する。図６（ａ）の例においては、奥行きマップの下部や左上部に対応する領域には、自動車のドア部分や線上のふくらみがないため、分散値Ｖ（ｉ，ｊ）は低い値となる。このため、以上のＳ５０４の処理により、画像上の下部や左上部の領域が略平坦な領域として決定される。

＜測定処理＞
以下においては、測定ボタン３０４が押下された後の、測定処理の流れについて、図７（ａ）及び図７（ｂ）のフローチャートを用いて説明する。図７（ａ）のフローチャートが示す処理は、ユーザによって入力デバイス２０７を介して指示が入力され、ＣＰＵ２０１が入力された指示を受け付けることにより開始する。Ｓ７０１において、画像取得部４０１は、撮像装置１０２を制御して、パターン光が照射されていない対象物体を撮像する。

Ｓ７０２において、評価部４０４は、Ｓ５０４において略平坦な領域として決定された領域を撮像画像から切りだす。以下において、切り出された画像における、左上から横方向にｘ画素目、縦方向にｙ画素目の画素値（Ｒ，Ｇ，Ｂ）を、それぞれＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とする。

Ｓ７０３において、評価部４０４は、略平坦な領域に対応する切り出された画像に基づいて、色差マップを生成する。評価部４０４は、切り出された画像の画素値をＬ^＊ａ^＊ｂ^＊値に変換し、Ｌ^＊ａ^＊ｂ^＊値を基に色差を算出する。まず、評価部４０４は、８ｂｉｔの値であるＲ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）それぞれを０以上１以下の値に正規化する。正規化後の値に対して撮像装置１０２のγ値に応じた補正を行うことにより、輝度リニアな値であるＲ’（ｘ，ｙ）、Ｇ’（ｘ，ｙ）、Ｂ’（ｘ，ｙ）を算出する。Ｒ’（ｘ，ｙ）、Ｇ’（ｘ，ｙ）、Ｂ’（ｘ，ｙ）は式（４）のように表される。

次に、式（５）を用いて、Ｒ’（ｘ，ｙ）、Ｇ’（ｘ，ｙ）、Ｂ’（ｘ，ｙ）を三刺激値Ｘ、Ｙ、Ｚに変換する。

ここで、色変換行列Ｍは（Ｒ，Ｇ，Ｂ）から（Ｘ，Ｙ，Ｚ）への色変換を行うための３×３色変換行列である。例えば、ＩＴＵ－Ｒ ＢＴ．７０９に規定される色変換行列Ｍは、以下の式（６）で表される。

色変換行列Ｍには、式（６）に示す行列を用いてもよいし、カラーチャートの撮像結果を基に撮像装置及び撮像条件ごとに算出してもよい。さらに、評価部４０４は、三刺激値Ｘ、Ｙ、ＺをＬ^＊ａ^＊ｂ^＊値に変換する。基準白色の三刺激値Ｘ、Ｙ、Ｚを（Ｘｗ，Ｙｗ，Ｚｗ）とすると、Ｌ^＊ａ^＊ｂ^＊値は以下の式（７）、式（８）、式（９）、式（１０）を用いて算出される。

次に、評価部４０４は、算出したＬ^＊ａ^＊ｂ^＊値と基準値との色差を算出する。本実施形態においては、基準値として、対象物体である自動車のボディの一般的なＬ^＊ａ^＊ｂ^＊値が予め設定されているものとする。基準値であるＬ^＊ａ^＊ｂ^＊値を（Ｌ^＊ _０，ａ^＊ _０，ｂ^＊ _０）とし、画像内の任意の画素位置（ｘ，ｙ）におけるＬ^＊ａ^＊ｂ^＊値を（Ｌ^＊ _{（ｘ，ｙ）}，ａ^＊ _{（ｘ，ｙ）}，ｂ^＊ _{（ｘ，ｙ）}）とする。（ｘ，ｙ）における色差ΔＥ_{（ｘ，ｙ）}は、式（１１）により表される。

Ｓ７０４において、評価部４０４は、評価結果をディスプレイ２０９に表示する。以下において、Ｓ７０４の処理の詳細について、図７（ｂ）のフローチャートを用いて説明する。Ｓ７０４１において、評価部４０４は、Ｓ７０１における撮像により得られた画像データを取得する。Ｓ７０４２において、評価部４０４は、画像データが表す画像における評価領域を色差マップで置き換える。図８（ａ）は撮像画像を示す模式図であり、点線に囲まれた領域はＳ５０４において略平坦な領域と決定された領域を表す。この略平坦な領域を色差マップで置き換えることにより、図８（ｂ）に示す合成画像が得られる。ここで、色差マップは、色差が小さい領域ほど暗く、色差が大きい領域ほど明るくなるように表現されている。Ｓ７０４３において、評価部４０４は、Ｓ７０４２において生成した合成画像をユーザに提示する。具体的には、評価部４０４は、画像表示ウィンドウ３０２に合成画像を表示する。

＜第１実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、物体を撮像して得られる画像データを取得する。画像データに基づいて、物体の３次元形状を取得する。物体の３次元形状に基づいて、物体における略平坦な領域を決定する。物体における略平坦な領域の表面特性を評価する。表面特性の評価に適した略平坦な領域を特定することにより、デザインや機能性に関するくぼみやふくらみなどの形状が表面特性の評価に与える影響を低減することができる。このため、表面特性を評価する対象物体が複雑な形状を有する場合であっても、対象物体の表面特性を高精度に評価することができる。

＜変形例＞
本実施形態においては、評価領域を決定する処理と測定処理とをユーザの指示に応じて別々に行ったが、Ｓ５０１からＳ７０４までを一連の処理として実行してもよい。図９は、一連の処理を示すフローチャートである。Ｓ７０１をＳ５０１の前に行うことにより、パターン光照射を行わない撮像処理とパターン光照射を行う撮像処理とをまとめて行うことができる。

［第２実施形態］
第１実施形態においては、対象物体の表面特性として、塗装による色ムラを評価した。本実施形態においては、対象物体の表面特性として、ゆず肌を評価する。尚、本実施形態における画像処理装置１０１のハードウェア構成及び機能構成は第１実施形態のものと同等であるため、説明を省略する。以下において、本実施形態と第１実施形態とで異なる部分を主に説明する。尚、第１実施形態と同一の構成については、同一の符号を付して説明する。

＜測定処理＞
以下においては、測定ボタン３０４が押下された後の、測定処理の流れについて、図１０（ａ）のフローチャートを用いて説明する。図１０（ａ）のフローチャートが示す処理は、ユーザによって入力デバイス２０７を介して指示が入力され、ＣＰＵ２０１が入力された指示を受け付けることにより開始する。

Ｓ１００１において、画像取得部４０１は、Ｓ５０４において決定された評価領域に基づいて、ゆず肌評価用のパターン光を決定する。ゆず肌評価用のパターン光を決定する処理の詳細は後述する。Ｓ１００２において、画像取得部４０１は、投影装置１０３を制御して、対象物体にゆず肌評価用のパターン光を照射する。Ｓ１００３において、画像取得部４０１は、撮像装置１０２を制御して、ゆず肌評価用のパターン光が照射された対象物体を撮像する。また、画像取得部４０１は、パターン光が照射されていない対象物体も撮像する。Ｓ１００４において、評価部４０４は、Ｓ５０４において決定された評価領域を、ゆず肌評価用の撮像画像から切りだす。Ｓ１００５において、評価部４０４は、略平坦な領域に対応する切り出された画像に基づいて、ゆず肌評価値を算出する。ゆず肌評価値を算出する処理の詳細は後述する。Ｓ１００６において、評価部４０４は、評価結果をディスプレイ２０９に表示する。評価結果を表示する処理の詳細は後述する。

＜ゆず肌評価用のパターン光を決定する処理＞
以下においては、ゆず肌評価用のパターン光を決定する処理の流れについて、図１０（ｂ）のフローチャートを用いて説明する。Ｓ１００１１において、画像取得部４０１は、撮像領域とパターン光の照射領域との対応関係を取得する。図１１は、対象物体における撮像領域とパターン光の照射領域との対応関係を示す模式図である。画像取得部４０１は、該対応関係として、図１１における座標（ＴＬｘ，ＴＬｙ）及び座標（ＢＲｘ，ＢＲｙ）を取得する。図１１において、撮像領域は、左上の座標が（０，０）であり、右下の座標が（Ｗｃ，Ｈｃ）である。パターン光の照射領域は、左上の座標が（０，０）であり、右下の座標が（Ｗｐ，Ｈｐ）である。点線に囲まれた領域は、パターン光の照射領域における撮像領域の位置を表している。撮像領域における左上の座標（０，０）は、パターン光の照射領域においては座標（ＴＬｘ，ＴＬｙ）に相当する。また、撮像領域における右下の座標（Ｗｃ，Ｈｃ）は、パターン光の照射領域においては座標（ＢＲｘ，ＢＲｙ）に相当する。撮像領域とパターン光の照射領域との対応関係を表す情報として、座標（ＴＬｘ，ＴＬｙ）及び座標（ＢＲｘ，ＢＲｙ）は予めＲＯＭ２０２に格納されている。

Ｓ１００１２において、画像取得部４０１は、撮像領域とパターン光の照射領域との対応関係に基づいて、パターン光の照射領域における、Ｓ５０４において決定された評価領域の座標を算出する。パターン光の照射領域における評価領域の左上の座標（ｘ_ｓｐ，ｙ_ｓｐ）及び右下の座標（ｘ_ｅｐ，ｙ_ｅｐ）は、以下の式（１２）で表される。

ここで、座標（ｘ_ｓ，ｙ_ｓ）は、撮像領域における評価領域の左上の座標であり、座標（ｘ_ｅ，ｙ_ｅ）は、右下の座標を表す。図１２は、パターン光の照射領域における座標（ｘ_ｓｐ，ｙ_ｓｐ）及び座標（ｘ_ｅｐ，ｙ_ｅｐ）の位置関係を表す図である。点線で囲まれた領域は評価領域である。

Ｓ１００１３において、画像取得部４０１は、座標（ｘ_ｓｐ，ｙ_ｓｐ）及び座標（ｘ_ｅｐ，ｙ_ｅｐ）により定義される評価領域に基づいて、予め保持されているパターン画像を変換する。図１３は、パターン画像を変換する処理を説明するための模式図である。図１３（ａ）は、変換前のパターン画像である。本実施形態においては、ゆず肌を測定するために矩形波パターンの画像が用いられる。図１３（ｂ）は、評価領域に基づいて変換されたパターン画像を表している。まず、画像取得部４０１は、公知の二アレストネイバー法により、パターン画像のサイズを高さＨｃ、幅Ｗｃから高さ（ｙ_ｅｐ－ｙ_ｓｐ）、幅（ｘ_ｅｐ－ｘ_ｓｐ）に変換する。次に、画像取得部４０１は、変換したパターン画像の左上の座標が（ｘ_ｓｐ，ｙ_ｓｐ）となるように移動させることにより、図１３（ｂ）で示したパターン画像が生成される。尚、本実施形態においては拡大及び縮小処理により画像変換を行ったが、評価領域に対してパターン画像が傾いている場合は、アフィン変換や射影変換による回転補正を行ってもよい。

＜ゆず肌評価値を算出する処理＞
以下においては、ゆず肌評価値を算出する処理の流れについて、図１０（ｃ）のフローチャートを用いて説明する。Ｓ１００５１において、評価部４０４は、Ｓ１００４において切り出された画像を取得する。Ｓ１００５２において、評価部４０４は、切り出された画像において１つの直線を指定することにより、ゆず肌評価値の算出対象範囲を決定する。図１４（ａ）は、切り出された画像におけるゆず肌評価値の算出対象範囲を模式的に示しており、画像表示ウィンドウ３０２に表示される。評価部４０４は、ユーザの指示に基づいて、切り出された画像１４０１において、ゆず肌評価値の算出対象範囲を決めるための直線の始点１４０２及び終点１４０３を指定する。始点１４０２及び終点１４０３を結ぶ直線に対して、予め設定された値ｗを用い、左右に±ｗ画素の幅で広げた範囲１４０４を算出対象範囲として決定する。尚、本実施形態においてはユーザに直線の始点と終点とを指定させたが、算出対象範囲の４つの頂点を指定させてもよい。また、ユーザの指示を受け取らず、評価領域とパターン画像との相対位置に応じて自動で決定してもよい。

Ｓ１００５３において、評価部４０４は、切り出された画像において算出対象範囲の平均輝度値を算出する。Ｓ１００５４において、評価部４０４は、算出した平均輝度値を閾値として用いて、切り出された画像の画素値を二値化する。Ｓ１００５５において、評価部４０４は、画素値を二値化した画像のエッジを検出する。図１４（ｂ）は、二値化処理後の画像を示している。ここで、始点１４０２の座標を（ｘ_ｓｔ，ｙ_ｓｔ）とし、終点１４０３の座標を（ｘ_ｅｄ，ｙ_ｅｄ）とする。評価部４０４は、ｙの値を、ｙ_ｓｔからｙ_ｅｄまで変化させ、ｙの値それぞれに対して、ｘの値を変化させ、隣の画素との値が異なる点をエッジ点とする。ただし、同一のｙの値に対して、エッジ点が複数存在する場合には、始点と終点とを結ぶ直線との距離が小さい方をエッジ点とする。尚、本実施形態においては二値画像において隣の画素との値が異なる画素をエッジ点としたが、切り出された画像を２次微分し、出力値がプラスからマイナスになる点、すなわち変曲点をエッジ点として検出するようにしてもよい。

Ｓ１００５６において、評価部４０４は、検出したエッジに対して近似直線を導出する。Ｓ１００５７において、評価部４０４は、Ｓ１００５５において検出したエッジと、Ｓ１００５６において導出した近似直線と、の距離を算出する。

Ｓ１００５８において、評価部４０４は、エッジと近似直線との距離に基づいて、ゆず肌評価値を算出する。本実施形態において、対象物体のゆず肌度合いが小さい場合には、エッジ点の空間的なばらつきは小さくなる。そこで、評価部４０４は、エッジ点の集合が直線上に位置する場合にゆず肌評価値が０となり、直線からの変動が大きくなるほどゆず肌評価値が大きくなるように、ゆず肌評価値Ｅを算出する。具体的には、ゆず肌評価値Ｅは以下の式（１３）で算出される。

ここで、ｄ_ｊは、エッジ点の集合を最小二乗法で直線近似した場合の近似直線と、ｙ座標がｊの場合に検出されたエッジ点と、の距離である。

＜評価結果を表示する処理＞
以下においては、評価結果を表示する処理の流れについて、図１０（ｄ）のフローチャートを用いて説明する。Ｓ１００６１において、評価部４０４は、Ｓ１００３においてパターン光が照射されていない対象物体を撮像して得られた画像データを取得する。Ｓ１００６２において、評価部４０４は、画像データが表す画像に対して、評価領域を表す点線及びゆず肌評価値を重畳する。Ｓ１００６３において、評価部４０４は、Ｓ１００６２において生成された合成画像をユーザに提示する。具体的には、画像表示ウィンドウ３０２に合成画像を表示する。図１５は、評価結果の表示例を示す図である。

＜第２実施形態の効果＞
以上説明したように、本実施形態における画像処理装置は、対象物体の３次元形状に基づいて決定された評価領域のサイズや位置に応じて、ゆず肌評価用のパターン光を変更する。これにより、ゆず肌を評価する対象物体が複雑な形状を有する場合であっても、適切な位置にゆず肌評価用のパターン光を照射し、対象物体のゆず肌を高精度に評価できる。

＜変形例＞
本実施形態においては、対象物体のゆず肌の度合いを評価したが、第１実施形態において行った色ムラの評価も同時に行ってもよい。この場合、評価結果として、色差マップとゆず肌評価値とを併せてディスプレイ２０９に表示する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像処理装置
４０１ 画像取得部
４０２ 形状取得部
４０３ 領域決定部
４０４ 評価部

Claims (11)

1. 格子パターン光が照射された物体を撮像手段が撮像して得られる画像データに基づく格子投影法により、前記撮像手段から前記物体までの奥行きを位置ごとに表す奥行きマップを取得する取得手段と、
   前記奥行きマップにおける領域ごとに前記奥行きの分散値を算出する算出手段と、
   前記分散値が所定の閾値以下である領域を、前記物体における平坦な領域として決定する第１決定手段と、
   前記撮像手段による撮像領域とゆず肌の度合いを評価するための矩形波パターン光の照射領域との対応関係を表す情報を取得し、前記情報に基づいて前記矩形波パターン光の照射領域における前記平坦な領域の座標を算出し、前記平坦な領域の座標に基づいて前記矩形波パターン光の照射領域が前記平坦な領域に応じるよう、前記矩形波パターン光を照射するためのパターン画像のサイズ又は位置を変換することによって、前記矩形波パターン光の照射領域を決定する第２決定手段と、
   前記物体上の前記照射領域に照射された前記矩形波パターン光を撮像して得られる画像データに基づいて、前記ゆず肌の度合いを評価する評価手段と、
   を有することを特徴とする画像処理装置。
2. 前記評価手段は、前記平坦な領域の色値と基準値との色差を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記評価手段は、前記色差を各画素に有する色差マップを表示することを特徴とする請求項２に記載の画像処理装置。
4. 前記評価手段は、前記画像データが表す画像における前記平坦な領域に対応する領域を前記色差マップに置き換えて、前記画像を表示することを特徴とする請求項３に記載の画像処理装置。
5. 前記評価手段は、前記画像データが表す画像と前記ゆず肌の度合いを表すゆず肌評価値とを併せて表示することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
6. 前記取得手段は、塗装前の前記物体を撮像して得られる前記画像データに基づいて、前記奥行きマップを取得し、
   前記評価手段は、塗装後の前記物体における、前記平坦な領域の表面特性を評価することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像処理装置。
7. 前記物体は、複数のパーツから構成される物体であって、
   前記平坦な領域は、パーツ間の境界を含まない領域であることを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像処理装置。
8. 縞パターン光が照射された物体を撮像手段が撮像して得られる画像データに基づく位相シフト法により、前記撮像手段から前記物体までの奥行きを位置ごとに表す奥行きマップを取得する取得手段と、
   前記奥行きマップにおける領域ごとに前記奥行きの分散値を算出する算出手段と、
   前記分散値が所定の閾値以下である領域を、前記物体における平坦な領域として決定する第１決定手段と、
   前記撮像手段による撮像領域とゆず肌の度合いを評価するための矩形波パターン光の照射領域との対応関係を表す情報を取得し、前記情報に基づいて前記矩形波パターン光の照射領域における前記平坦な領域の座標を算出し、前記平坦な領域の座標に基づいて前記矩形波パターン光の照射領域が前記平坦な領域に応じるよう、前記矩形波パターン光を照射するためのパターン画像のサイズ又は位置を変換することによって、前記矩形波パターン光の照射領域を決定する第２決定手段と、
   前記物体上の前記照射領域に照射された前記矩形波パターン光を撮像して得られる画像データに基づいて、前記ゆず肌の度合いを評価する評価手段と、
   を有することを特徴とする画像処理装置。
9. コンピュータを請求項１乃至請求項８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
10. 格子パターン光が照射された物体を撮像手段が撮像して得られる画像データに基づく格子投影法により、前記撮像手段から前記物体までの奥行きを位置ごとに表す奥行きマップを取得する取得ステップと、
    前記奥行きマップにおける領域ごとに前記奥行きの分散値を算出する算出ステップと、
    前記分散値が所定の閾値以下である領域を、前記物体における平坦な領域として決定する第１決定ステップと、
    前記撮像手段による撮像領域とゆず肌の度合いを評価するための矩形波パターン光の照射領域との対応関係を表す情報を取得し、前記情報に基づいて前記矩形波パターン光の照射領域における前記平坦な領域の座標を算出し、前記平坦な領域の座標に基づいて前記矩形波パターン光の照射領域が前記平坦な領域に応じるよう、前記矩形波パターン光を照射するためのパターン画像のサイズ又は位置を変換することによって、前記矩形波パターン光の照射領域を決定する第２決定ステップと、
    前記物体上の前記照射領域に照射された前記矩形波パターン光を撮像して得られる画像データに基づいて、前記ゆず肌の度合いを評価する評価ステップと、
    を有することを特徴とする画像処理方法。
11. 縞パターン光が照射された物体を撮像手段が撮像して得られる画像データに基づく位相シフト法により、前記撮像手段から前記物体までの奥行きを位置ごとに表す奥行きマップを取得する取得ステップと、
    前記奥行きマップにおける領域ごとに前記奥行きの分散値を算出する算出ステップと、
    前記分散値が所定の閾値以下である領域を、前記物体における平坦な領域として決定する第１決定ステップと、
    前記撮像手段による撮像領域とゆず肌の度合いを評価するための矩形波パターン光の照射領域との対応関係を表す情報を取得し、前記情報に基づいて前記矩形波パターン光の照射領域における前記平坦な領域の座標を算出し、前記平坦な領域の座標に基づいて前記矩形波パターン光の照射領域が前記平坦な領域に応じるよう、前記矩形波パターン光を照射するためのパターン画像のサイズ又は位置を変換することによって、前記矩形波パターン光の照射領域を決定する第２決定ステップと、
    前記物体上の前記照射領域に照射された前記矩形波パターン光を撮像して得られる画像データに基づいて、前記ゆず肌の度合いを評価する評価ステップと、
    を有することを特徴とする画像処理方法。