JP2018105671A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2018105671A JP2018105671A JP2016250626A JP2016250626A JP2018105671A JP 2018105671 A JP2018105671 A JP 2018105671A JP 2016250626 A JP2016250626 A JP 2016250626A JP 2016250626 A JP2016250626 A JP 2016250626A JP 2018105671 A JP2018105671 A JP 2018105671A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- projection
- unit
- pattern
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】3次元測定技術で、測定時間の短縮を図り、測定能力の向上を図った画像処理装置及び画像処理方法を提供する。【解決手段】対象物に所定の縞パターン光を投影する投影部と、対象物を撮像する撮像部13と、撮像画像データから対応する画素の輝度値を取得する輝度値取得部23と、輝度値データから3次元形状を算出する3次元点群生成部24とを、制御する制御部を具備する画像処理装置10であって、制御部20は、均一パターン光を投影させた状態で、撮像した撮像画像データから対象物の輝度分布データを取得し、投影輝度分布パターンを設定する投影輝度設定部32を制御する拡張制御部30を具備し、拡張制御部は、投影輝度分布パターンと、所定の縞パターンと、を合成した投影輝度分布縞パターンに基づくパターン光を投影部に投影させた状態で、対象物を撮像した撮像画像データから輝度値データを取得し、3次元点群生成部に3次元形状を算出させる。【選択図】図1
Description
本発明は、画像処理装置及び画像処理方法に関し、特に、製品の形状検査、ロボットによるピッキング、リバースエンジニアリング等に用いられる3次元(3D)計測技術として有用なものである。
近年、製品の形状検査、ロボットによるピッキング、リバースエンジニアリング等において、正確な3次元形状計測に関する技術の需要が高まっている。正確な3次元形状計測が可能となることにより、工業製品等の傷のチェックや、ビンピッキング、計測結果の3次元プリンターへの利用等、様々な応用が考えられる。
従来、3次元形状計測の方法としては、プロジェクターとカメラを1台ずつ使用した位相シフト法を用いた3次元形状計測が知られている(特許文献1参照)。この方法は、プロジェクターによって投影された正弦波パターンをカメラで撮像することで、撮像画像と投影画像とのピクセル間の対応(すなわち、プロジェクターとカメラのピクセル間の対応)を計算し、三角測量によって、その深度を計算する方法である。
このような3次元形状計測方法では、例えば、白、黒のような輝度差の大きい部分がある製品を検査する場合、明るい部分に光量、露光時間を合わせると、暗い部分の光量不足になり、暗い部分に合わせると明るい部分ではハレーションしてしまう。そのため白、黒それぞれに合わせた照明輝度、カメラ露光時間を変えて複数回計測する必要があるという問題があった。
そこで、測定対象物が明るさ(色)の異なる複数の領域を有している場合に、測定対象物に対して複数の検査ブロックを割り当て、割り当てられた前記検査ブロック毎に、照明の測定照度を決定し、決定された前記測定照度で、それぞれ、投影部により検査ブロックに対して縞を投影し、縞が投影された検査ブロックの縞画像を撮像部により撮像し、撮像された縞画像に基づいて測定対象物を3次元測定する3次元測定装置が提案されている(特許文献2参照)。
しかしながら、上述した3次元測定装置においても、検査ブロック毎に設定された照明の照度を変更して測定を行うため、撮像視野に明るさの大きく異なる部分があった場合、照明の照度を変更しながら撮像と測定を行う必要があり、測定時間を要してしてしまうという課題があった。
本発明は、3次元測定技術で、測定時間の短縮を図り、測定能力の向上を図った画像処理装置及び画像処理方法を提供することを目的とする。
上記課題を解決する本発明の態様は、対象物に所定の縞パターン光を投影する投影部と、前記投影部により前記所定の縞パターン光が投影された前記対象物を撮像する撮像部と、前記所定の縞パターン光が投影された前記対象物を前記撮像部により撮像した撮像画像データから前記対象物に対応する画素の輝度値を取得する輝度値取得部と、前記輝度値取得部が取得した輝度値データから3次元形状を算出する3次元点群生成部とを制御する制御部を具備する画像処理装置であって、前記制御部は、前記投影部に均一パターン光を投影させた状態で、前記撮像部により前記対象物を撮像した撮像画像データから前記対象物の輝度分布データを取得する輝度分布取得手段と、前記輝度分布取得手段が取得した輝度分布データから、投影輝度分布パターンを設定する投影輝度設定部と、を制御する拡張制御部を具備し、前記拡張制御部は、前記投影輝度設定部が設定した前記投影輝度分布パターンと、前記所定の縞パターン光の縞パターンと、を合成した投影輝度分布縞パターンに基づくパターン光を前記投影部に投影させた状態で、前記撮像部により前記対象物を撮像した撮像画像データから前記輝度値取得部に輝度値データを取得させ、この輝度値データから前記3次元点群生成部に3次元形状を算出させることを特徴とする画像処理装置にある。
かかる態様では、投影輝度分布パターンが作成され、これに基づいて、投影部が投影輝度分布縞パターンを投影し、この状態で、撮像部が撮像するので、一回の計測で高輝度領域から低輝度領域の測定対象の3次元形状が計測できる。
ここで、前記投影輝度分布縞パターンは、前記輝度分布データから、所定の基準輝度に対して所定値以上高い輝度値を有する領域を対象領域とし、前記対象領域について投影輝度値を低減した低輝度パターンを設定し、前記所定の縞パターンと前記低輝度パターンとを重畳したものであることが好ましい。これによれば、投影輝度分布縞パターンが比較的容易に生成できる。
また、前記投影輝度分布縞パターンは、前記対象領域が複数あり、前記複数の対象領域毎に前記低輝度パターンの投影輝度値が異なるようにしてもよい。これによれば、より広範囲の輝度を有する測定対象が測定できる。
また、前記対象領域に設定される前記低輝度パターンは、1つの対象領域について投影輝度値が分布していてもよい。これによれば、より広範囲の輝度を有する測定対象が測定できる。
また、前記投影部は、入力輝度とそのときの計測輝度との関係示す補正テーブルを具備し、入力輝度の最低値及び最高値と、これらに対応する最低計測輝度と最高値計測輝度とを正比例とした関係式から投影する輝度に対応する設定輝度を決定し、当該設定輝度に相当する前記補正テーブルの計測輝度に対応する実設定輝度を入力輝度として投影することが好ましい。これによれば、投影部の出力輝度範囲を比較的容易に拡張できる。
本発明の他の態様は、対象物に均一パターン光を投影させた状態で、撮像部に前記対象物を撮像させた撮像画像データから前記対象物の輝度分布データを取得する輝度分布取得工程と、前記輝度分布取得工程で取得した前記輝度分布データから、投影輝度分布パターンを設定する投影輝度設定工程と、前記投影輝度設定工程で設定した前記投影輝度分布パターンと、所定の縞パターンと、を合成した投影輝度分布縞パターン光を前記対象物に投影する投影工程と、前記投影工程で前記投影輝度分布縞パターン光が投影された前記対象物を撮像する撮像工程と、前記撮像工程で撮像された撮像画像データから前記対象物に対応する画素の輝度値を取得する輝度値取得工程と、前記輝度値取得工程で取得した輝度値データから3次元形状を算出する3次元点群生成工程とを具備することを特徴とする画像処理方法にある。
かかる態様では、投影輝度分布パターンが作成され、これに基づいて、投影部が投影輝度分布縞パターンを投影し、この状態で、撮像部が撮像するので、一回の計測で高輝度領域から低輝度領域の測定対象の3次元形状が計測できる。
以下に本発明を実施形態に基づいて詳細に説明する。
(実施形態1)
以下、本発明の実施形態1について、図面を参照して説明する。図1は、実施形態1に係る画像処理装置の一例を示す概略図である。画像処理装置10は、例えば、対象物1を載置する基台11と、投影部12と、撮像部13と、これらを制御する制御部20とを具備する。撮像部13は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備えたカメラである。以下では、説明を簡略化するため、撮像部13は、静止画像を撮像するものとする。なお、撮像部13は、静止画像を撮像することに代えて、動画像を撮像してもよい。
(実施形態1)
以下、本発明の実施形態1について、図面を参照して説明する。図1は、実施形態1に係る画像処理装置の一例を示す概略図である。画像処理装置10は、例えば、対象物1を載置する基台11と、投影部12と、撮像部13と、これらを制御する制御部20とを具備する。撮像部13は、例えば、集光された光を電気信号に変換する撮像素子であるCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を備えたカメラである。以下では、説明を簡略化するため、撮像部13は、静止画像を撮像するものとする。なお、撮像部13は、静止画像を撮像することに代えて、動画像を撮像してもよい。
投影部12は、例えば、投影画像を投影するための液晶ライトバルブや投射レンズ、液晶駆動部、光源として超高圧水銀ランプやメタルハライドランプ等を備えるプロジェクターである。投影部12は、例えばケーブルによって制御部20と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB等の規格によって行われる。なお、投影部12と制御部20とは、Wi−Fi等の通信規格により行われる無線通信によって接続されてもよい。投影部12は、通信により制御部20から各種パターン(画像)を取得し、取得した各種パターンを対象物1に投影する。
撮像部13は、例えばケーブルによって制御部20と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット(登録商標)やUSB(Universal Serial Bus)等の規格によって行われる。なお、撮像部13と制御部20とは、Wi−Fi(登録商標)等の通信規格により行われる無線通信によって接続されてもよい。撮像部13は、対象物1を撮像する。
制御部20は、投影部12が投影する投影パターンを作成する投影パターン設定部21と、撮像部13が撮像した撮像画像データを取得する画像取得部22と、画像取得部22が取得した撮像画像データから対象物1に対応する画素の輝度値を取得する輝度値取得部23と、輝度値取得部23が取得した輝度値データから3次元形状を端出する3次元点群生成部24とを具備する。
このような画像処理装置10では、例えば、 位相シフト法により、3次元形状を計測する。まず、この手順を説明する。位相シフト法では、まず、投影部12から正弦波状に輝度が変化する縞パターンを対象物1に投影し、縞パターンを統制した状態で、撮像部13が撮像する。対象物1に投影される縞パターンの位相は、所定の位相シフト量でシフトさせる。位相シフトは、縞パターンの位相が1周期分移動するまで複数回(最低3回、通常4回以上)繰り返される。縞パターンの位相がシフトされる毎に、撮像部13により、縞パターンが投影された対象物1が撮像される。例えば、位相シフト量がπ/2[rad]である場合、0、π/2、π、3π/2と縞の位相がシフトされ、各位相で測定対象物の画像が撮像される。そして合計4枚の撮像画像データが取得される。
次いで、輝度値取得部23は、撮像画像データより、対象物1の画素の輝度を取得する。4回の位相シフトの場合、4枚の撮像画像データからそれぞれ画素の輝度値を取得する。そして、下記の式(1)に適用することにより、座標(x、y)での位相φ(x、y)を求めることができる。
φ(x、y)=Tan−1{I3π/2(x、y)−Iπ/2(x、y)}/{I0(x、y)−Iπ(x、y)}・・・(1)
なお、I0(x、y)、Iπ/2(x、y)、Iπ(x、y)、I3π/2(x、y)は、それぞれ、位相が0、π/2、π、3π/2である場合における、座標(x、y)に位置する画素の輝度値である。
φ(x、y)=Tan−1{I3π/2(x、y)−Iπ/2(x、y)}/{I0(x、y)−Iπ(x、y)}・・・(1)
なお、I0(x、y)、Iπ/2(x、y)、Iπ(x、y)、I3π/2(x、y)は、それぞれ、位相が0、π/2、π、3π/2である場合における、座標(x、y)に位置する画素の輝度値である。
位相φ(x、y)を求めることができれば、位相φ(x、y)に基づいて三角測量の原理により各座標での高さ情報を得て、対象物1の3次元形状を得ることができる。
ここで、対象物1の一例を図2に示す。図2の対象物1は、輝度が高い高輝度領域101と、輝度が中程度の中輝度領域102と、輝度が低い低輝度領域103とを有し、各領域内に、3次元形状を測定したい測定対象101A、102A、103Aを有している。
このような輝度変化が大きな対象物1について、上述した手法を実行すると、以下の示すように、一回の計測では全ての測定対象101A〜103Aの3次元形状を計測する
ことはできない。
ことはできない。
図3は、図中上下方向に正弦波状に輝度が変化する縞パターン110であり、実際には、最低4種の位相が変化した縞パターンを使用する。そして、このような縞パターン110を投影した対象物1を、撮像部13が露光時間を変化させて撮像した撮像画像データの例を図4、図5に示す。図4の状態では、露出を低輝度領域103に合わせて撮像した撮像画像データである。よって、低輝度領域103の測定対象103Aは検出できるが、高輝度領域101内の測定対象101Aや中輝度領域102内の測定対象102Aはハレーションにより検出できない。一方、図5に示すように、高輝度領域101に露出を合わせると、測定対象101Aは検出できるが、中輝度領域102や低輝度領域103は光量不足で黒つぶれとなり、測定対象102A、103Aは検出できない。
よって、このような輝度変化が大きな対象物1については、通常であれば、露出を変えて3回の測定を行う必要があり、これを位相シフト毎に行わなければならない。
本実施形態の画像処理装置10は、このような輝度変化の大きな対象物1を1回の撮像で計測処理することができように拡張制御部30を具備する。拡張制御部30は、投影部12に均一パターン光を投影させた状態で撮像部13に対象物1を撮像させ、その撮像データから対象物1の輝度分布データを取得する輝度分布取得手段31と、輝度分布取得部31が取得した輝度分布データから、投影輝度分布パターンを設定する投影輝度設定部32とを具備する。そして、拡張制御部30は、投影部12に均一パターン光を投影させ、その状態で撮像部13に対象物1を撮像させ、その撮像データを取得する。次いで、輝度分布取得手段31に、撮像データから対象物1の輝度分布データを取得させ、投影輝度設定部32に、輝度分布データから投影輝度分布パターンを設定させる。そして、投影輝度設定部32が設定した投影輝度分布パターンを投影パターン設定部21に送信し、投影パターン設定部21にと投影輝度分布パターンと所定の縞パターンとを合成した投影輝度分布縞パターンを設定させ、この投影輝度分布縞パターンに基づくパターン光を投影部12に投影させる。詳細は後述するが、これにより、上述したように対象物1の輝度変化が大きな場合でも、1回の計測で、対象物1の3次元形状を算出することができる。この手順を以下に詳細に説明する。
拡張制御部30は、まず、投影部12に均一パターン光を投影させる。均一パターンは例えば、全面白パターンであり、白パターンの輝度は適宜設定すればよい。そして、均一パターンを投影した状態で撮像部13に対象物1を撮像させる。この撮像は、中輝度領域102に露出を合わせて撮像したものである。この撮像画像データの一例を図6に示す。その撮像画像データでは、中輝度領域102の測定対象102Aは視認できるが、高輝度領域101内の測定対象101Aはハレーションによりほとんど視認できず、低輝度領域103の測定対象103Aは露出不足で視認できない。これは、高輝度領域101と低輝度領域103との輝度変化が大きいからである。なお、ここでも撮像は、例えば、低輝度領域103内の測定対象103Aが視認できる露出で撮像してもよい。
次に、拡張制御部30は、撮像した撮像画像データに基づき、輝度分布取得手段31により輝度値データを取得させ、この輝度値データから、投影輝度設定部32に投影輝度分布パターンを設定させる。
ここで、投影輝度分布パターンの一例を図7に示す。投影輝度分布パターン120は、上述した高輝度領域101と中輝度領域102を対象領域とし、対象領域について、所定値だけ輝度を低減する低輝度パターン121、122を具備するものである。ここで、高輝度領域101に対応する低輝度パターン121は、低減する輝度値が相対的に大きなパターンであり、中輝度領域102に対応する低輝度パターン122は、低減する輝度値が相対的に小さなパターンである。低輝度パターン121、122は、高輝度領域101や中輝度領域102の輝度値を所定量低減させて、低輝度領域103に露出を合わせた状態で撮像した場合に、高輝度領域101や中輝度領域102でも露出が適正になるように設定されたものである。
ここで、対象領域の設定は、高輝度領域101や中輝度領域102の形状や大きさに合わせる必要はなく、形状や大きさを適宜設定すればよく、測定対象101A、102Aを少なくとも含むように設定すればよい。このような対象領域の設定は、輝度分布取得手段31が取得した輝度値に基づき、所定の基準輝度に対して所定値以上高い輝度値を有する領域を対象領域とするが、対象領域の決定は、少なくとも、測定対象101A〜103Aが存在する領域の輝度値の差から設定すればよい。また、投影輝度設定部32が設定する投影輝度分布パターンの低輝度パターンは、低輝度領域103に露出を合わせた状態で、高輝度領域101や中輝度領域102で露出が適正になるように設定すればよい。
このような投影輝度分布パターン120の低輝度パターン121、122では、それぞれの輝度値は一定としているが、各低輝度パターン121、122にといて、輝度値が変化するように設定してもよい。
かかる投影輝度分布パターン120は、投影パターン設定部21に送られ、上述した縞パターン110と合成され、図8に示す投影輝度分布縞パターン130とされる。なお、縞パターンが位相シフトした場合でも、低輝度パターン121、122の位置は変化しない。
そして、投影部12は、投影輝度分布縞パターン130を投影し、撮像部13は、この状態で、撮像する。この撮像画像データの一例を図9に示す。図9に示すように、投影輝度分布縞パターン130を投影した状態の撮像画像データは、高輝度領域101から低輝度領域103の全ての領域で露出が適正であり、全ての測定対象101A〜103Aが計測できる。
本実施形態の画像処理装置10は、通常の対象物については、通常の手法で3次元形状を計測できるが、図2に示したような輝度変化が大きな対象物1については、拡張制御部30により、投影輝度分布パターン120が作成され、これに基づいて、投影部12が投影輝度分布縞パターン130を投影し、この状態で、撮像部13が撮像するので、一回の計測で高輝度領域101、中輝度領域102及び低輝度領域103の測定対象101A、102A、103Aの3次元形状が計測できる。
この手順を再度整理しておくと以下の通りとなる。
対象物1に均一パターン光を投影させた状態で撮像部13に対象物1を撮像させ、その撮像データから、輝度分布取得部31が対象物1の輝度分布データを取得する輝度分布取得工程と、輝度分布取得工程で取得した輝度分布データから、投影輝度設定部32が投影輝度分布パターン120を設定する投影輝度設定工程と、投影パターン設定部21が、投影輝度設定工程で設定した投影輝度分布パターン120と所定の縞パターン110とを合成した投影輝度分布縞パターン130に基づいてパターン光を対象物1に投影する投影工程と、投影工程で投影輝度分布縞パターン130に基づいたパターン光が投影された対象物1を撮像し、画像取得部22が撮像画像データを取得する撮像工程と、撮像工程で撮像された撮像画像データ(図9)から、輝度値取得部23が、対象物1に対応する画素の輝度値を取得する輝度値取得工程と、前記輝度値取得工程で取得した輝度値データから、3次元点群生成部24が、3次元形状を算出する3次元点群生成工程とを具備する。
対象物1に均一パターン光を投影させた状態で撮像部13に対象物1を撮像させ、その撮像データから、輝度分布取得部31が対象物1の輝度分布データを取得する輝度分布取得工程と、輝度分布取得工程で取得した輝度分布データから、投影輝度設定部32が投影輝度分布パターン120を設定する投影輝度設定工程と、投影パターン設定部21が、投影輝度設定工程で設定した投影輝度分布パターン120と所定の縞パターン110とを合成した投影輝度分布縞パターン130に基づいてパターン光を対象物1に投影する投影工程と、投影工程で投影輝度分布縞パターン130に基づいたパターン光が投影された対象物1を撮像し、画像取得部22が撮像画像データを取得する撮像工程と、撮像工程で撮像された撮像画像データ(図9)から、輝度値取得部23が、対象物1に対応する画素の輝度値を取得する輝度値取得工程と、前記輝度値取得工程で取得した輝度値データから、3次元点群生成部24が、3次元形状を算出する3次元点群生成工程とを具備する。
(実施形態2)
本実施形態は、投影部12の投影可能輝度範囲を拡張する機能を備えた画像処理装置に係り、他は実施形態1と同様であるので、重複する説明は省略する。
本実施形態は、投影部12の投影可能輝度範囲を拡張する機能を備えた画像処理装置に係り、他は実施形態1と同様であるので、重複する説明は省略する。
上述した実施形態1における投影輝度分布縞パターン130は、投影部12の投影可能輝度範囲では投影できない場合があるが、本実施形態によれば、投影輝度範囲をソフト的に拡張でき、投影輝度分布縞パターン130の輝度範囲が大きくても、投影可能となる。なお、この手法は投影輝度分布縞パターン130の投影にだけ使用するものではなく、縞パターン110の投影に使用してもよく、この場合には、輝度差の大きな正弦波状の縞パターンが形成され、3次元形状の計測の精度を向上することができるという利点がある。
図10は、通常手法の投影部2の出力輝度の設定方法を示し、入力輝度と出力輝度との関係を示す。
一般的に、投影部2は、入力値に対して出力される輝度は線形ではなく、曲線となる。よって、通常は、線形に近い範囲、例えば、図10の入力輝度が1500〜2500に対応する領域R、輝度曲線Bの点mから点nの範囲を使用して縞パターン110を投影するように制御される。
この場合の縞パターンは、図11のパターンO1であり、輝度範囲の狭い正弦波形となる。一方、入力輝度0から4095の全範囲を使用して縞パターンを生成すると、図11のパターンO2となり、正弦波形の先端が潰れた状態となる。
本実施形態では、予め、入力輝度とそのときの計測輝度との関係を測定し、これを補正テーブルとして具備するようにする。そして、入力輝度が最低値の入力輝度0に対応する点Mと、最高値の入力輝度4095に対応する点Nとを結ぶ直線MNに基づいて所定の出力輝度に対応する入力輝度を設定輝度S1として決定する。しかしながら、実際に設定される入力輝度は、直線MNの設定輝度の出力輝度に対応する出力輝度を、上記補正テーブルから取得し、この値を実設定輝度S2とする。図12で説明すると、設定輝度S1と直線MNとの交点が所定の出力輝度であり、この出力輝度と曲線Bとの交点に対応する入力輝度が実設定輝度S2となる。
このように、入力輝度の最低値及び最高値と、これらに対応する最低計測輝度と最高値計測輝度とを正比例とした関係式から投影する輝度に対応する設定輝度を決定し、当該設定輝度に相当する補正テーブルの計測輝度に対応する実設定輝度を入力輝度として投影することで、図13に示す輝度範囲が広い正弦波形を得ることができ、輝度範囲の広い投影輝度分布縞パターン130にも対応することができる。
1‥対象物、2‥投影部、3‥最低、10‥画像処理装置、11‥基台、12‥投影部、
13‥撮像部、20‥制御部、21‥投影パターン設定部、22‥画像取得部、23‥輝度値取得部、24‥次元点群生成部、30‥拡張制御部、31‥輝度分布取得手段、32‥投影輝度設定部、101、‥高輝度領域、102‥中輝度領域、103‥低輝度領域、110‥縞パターン、120‥投影輝度分布パターン、121‥低輝度パターン、122‥低輝度パターン、130‥投影輝度分布縞パターン
13‥撮像部、20‥制御部、21‥投影パターン設定部、22‥画像取得部、23‥輝度値取得部、24‥次元点群生成部、30‥拡張制御部、31‥輝度分布取得手段、32‥投影輝度設定部、101、‥高輝度領域、102‥中輝度領域、103‥低輝度領域、110‥縞パターン、120‥投影輝度分布パターン、121‥低輝度パターン、122‥低輝度パターン、130‥投影輝度分布縞パターン
Claims (6)
- 対象物に所定の縞パターン光を投影する投影部と、
前記投影部により前記所定の縞パターン光が投影された前記対象物を撮像する撮像部と、
前記所定の縞パターン光が投影された前記対象物を前記撮像部により撮像した撮像画像データから前記対象物に対応する画素の輝度値を取得する輝度値取得部と、
前記輝度値取得部が取得した輝度値データから3次元形状を算出する3次元点群生成部とを制御する制御部を具備する画像処理装置であって、
前記制御部は、
前記投影部に均一パターン光を投影させた状態で、前記撮像部により前記対象物を撮像した撮像画像データから前記対象物の輝度分布データを取得する輝度分布取得手段と、
前記輝度分布取得手段が取得した輝度分布データから、投影輝度分布パターンを設定する投影輝度設定部と、
を制御する拡張制御部を具備し、
前記拡張制御部は、前記投影輝度設定部が設定した前記投影輝度分布パターンと、前記所定の縞パターン光の縞パターンと、を合成した投影輝度分布縞パターンに基づくパターン光を前記投影部に投影させた状態で、前記撮像部により前記対象物を撮像した撮像画像データから前記輝度値取得部に輝度値データを取得させ、この輝度値データから前記3次元点群生成部に3次元形状を算出させることを特徴とする画像処理装置。 - 前記投影輝度分布縞パターンは、前記輝度分布データから、所定の基準輝度に対して所定値以上高い輝度値を有する領域を対象領域とし、前記対象領域について投影輝度値を低減した低輝度パターンを設定し、前記所定の縞パターンと前記低輝度パターンとを重畳したものであることを特徴とする請求項1に記載の画像処理装置。
- 前記投影輝度分布縞パターンは、前記対象領域が複数あり、前記複数の対象領域毎に前記低輝度パターンの投影輝度値が異なることを特徴とする請求項2に記載の画像処理装置。
- 前記対象領域に設定される前記低輝度パターンは、1つの対象領域について投影輝度値が分布していることを特徴とする請求項2又は3に記載の画像処理装置。
- 前記投影部は、入力輝度とそのときの計測輝度との関係示す補正テーブルを具備し、入力輝度の最低値及び最高値と、これらに対応する最低計測輝度と最高値計測輝度とを正比例とした関係式から投影する輝度に対応する設定輝度を決定し、当該設定輝度に相当する前記補正テーブルの計測輝度に対応する実設定輝度を入力輝度として投影することを特徴とする請求項1〜4の何れか一項に記載の画像処理装置。
- 対象物に均一パターン光を投影させた状態で、撮像部に前記対象物を撮像させた撮像画像データから前記対象物の輝度分布データを取得する輝度分布取得工程と、
前記輝度分布取得工程で取得した前記輝度分布データから、投影輝度分布パターンを設定する投影輝度設定工程と、
前記投影輝度設定工程で設定した前記投影輝度分布パターンと、所定の縞パターンと、を合成した投影輝度分布縞パターン光を前記対象物に投影する投影工程と、
前記投影工程で前記投影輝度分布縞パターン光が投影された前記対象物を撮像する撮像工程と、
前記撮像工程で撮像された撮像画像データから前記対象物に対応する画素の輝度値を取得する輝度値取得工程と、
前記輝度値取得工程で取得した輝度値データから3次元形状を算出する3次元点群生成工程と、
を具備することを特徴とする画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016250626A JP2018105671A (ja) | 2016-12-26 | 2016-12-26 | 画像処理装置及び画像処理方法 |
| US15/839,591 US20180180407A1 (en) | 2016-12-26 | 2017-12-12 | Image processing apparatus and image processing method |
| EP17207560.8A EP3339800A1 (en) | 2016-12-26 | 2017-12-15 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016250626A JP2018105671A (ja) | 2016-12-26 | 2016-12-26 | 画像処理装置及び画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018105671A true JP2018105671A (ja) | 2018-07-05 |
Family
ID=60781574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016250626A Pending JP2018105671A (ja) | 2016-12-26 | 2016-12-26 | 画像処理装置及び画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180180407A1 (ja) |
| EP (1) | EP3339800A1 (ja) |
| JP (1) | JP2018105671A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11898838B2 (en) | 2020-12-03 | 2024-02-13 | Seiko Epson Corporation | Adjustment method and measurement method |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101842141B1 (ko) * | 2016-05-13 | 2018-03-26 | (주)칼리온 | 3차원 스캐닝 장치 및 방법 |
| US11317078B2 (en) * | 2019-05-28 | 2022-04-26 | Purdue Research Foundation | Method and system for automatic exposure determination for high- resolution structured light 3D imaging |
| WO2021152754A1 (ja) * | 2020-01-29 | 2021-08-05 | オリンパス株式会社 | 画像処理装置、観察システム、及び観察方法 |
| CN116067306B (zh) * | 2023-03-07 | 2023-06-27 | 深圳明锐理想科技有限公司 | 一种自动调光方法、三维测量方法、装置和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2007061632A2 (en) * | 2005-11-09 | 2007-05-31 | Geometric Informatics, Inc. | Method and apparatus for absolute-coordinate three-dimensional surface imaging |
| JP5032943B2 (ja) | 2007-11-06 | 2012-09-26 | パナソニック株式会社 | 3次元形状計測装置及び3次元形状計測方法 |
| JP5881235B2 (ja) | 2011-08-05 | 2016-03-09 | Jukiオートメーションシステムズ株式会社 | 3次元測定装置、3次元測定方法及びプログラム |
| WO2016057043A1 (en) * | 2014-10-10 | 2016-04-14 | Georgia Tech Research Corporation | Dynamic digital fringe projection techniques for measuring warpage |
-
2016
- 2016-12-26 JP JP2016250626A patent/JP2018105671A/ja active Pending
-
2017
- 2017-12-12 US US15/839,591 patent/US20180180407A1/en not_active Abandoned
- 2017-12-15 EP EP17207560.8A patent/EP3339800A1/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11898838B2 (en) | 2020-12-03 | 2024-02-13 | Seiko Epson Corporation | Adjustment method and measurement method |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3339800A1 (en) | 2018-06-27 |
| US20180180407A1 (en) | 2018-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102255017B1 (ko) | 시간 코딩된 패턴 타겟을 사용하여 적어도 하나의 센서 카메라를 포함하는 이미지 캡처 센서를 캘리브레이션하는 방법 | |
| KR101461068B1 (ko) | 삼차원 계측장치, 삼차원 계측방법 및 기억매체 | |
| US10262431B2 (en) | Three-dimensional measurement device | |
| JP5907596B2 (ja) | 三次元計測装置、三次元計測方法及びプログラム | |
| CN104769389B (zh) | 用于确定物体的三维坐标的方法和装置 | |
| JP4830871B2 (ja) | 3次元形状計測装置及び3次元形状計測方法 | |
| JP5032943B2 (ja) | 3次元形状計測装置及び3次元形状計測方法 | |
| JP2018105671A (ja) | 画像処理装置及び画像処理方法 | |
| JP5222430B1 (ja) | 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム | |
| KR20180018736A (ko) | 촬영 디바이스 및 깊이 정보를 취득하는 방법 | |
| JP2015021862A (ja) | 3次元計測装置及び3次元計測方法 | |
| JP2019168285A (ja) | 画像処理装置 | |
| CN106500626A (zh) | 一种手机立体成像方法及三维成像手机 | |
| JP7088530B2 (ja) | 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置 | |
| JP2015087321A (ja) | 制御装置、ロボット、制御システム、制御方法、及び制御プログラム | |
| JP2015102532A (ja) | 三次元形状測定装置 | |
| US11898838B2 (en) | Adjustment method and measurement method | |
| JP2001330417A (ja) | カラーパターン光投影を用いた三次元形状計測法および三次元形状計測装置 | |
| JP4797109B2 (ja) | 三次元形状計測装置及び三次元形状計測方法 | |
| JP2012068176A (ja) | 三次元形状計測装置 | |
| JP2010175554A (ja) | 三次元形状計測装置及び三次元形状計測方法 | |
| JP6713622B2 (ja) | 3次元計測装置、3次元計測システム、3次元計測方法及びプログラム | |
| JP2011021970A (ja) | 三次元形状測定装置および三次元形状測定方法 | |
| JP2006170744A (ja) | 3次元距離計測装置 | |
| JP5743433B2 (ja) | 三次元形状計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20180910 |