JP2017040598A - 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 - Google Patents
検査方法、検査装置、画像処理装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2017040598A JP2017040598A JP2015163414A JP2015163414A JP2017040598A JP 2017040598 A JP2017040598 A JP 2017040598A JP 2015163414 A JP2015163414 A JP 2015163414A JP 2015163414 A JP2015163414 A JP 2015163414A JP 2017040598 A JP2017040598 A JP 2017040598A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- image
- workpiece
- defect candidate
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】光源の写り込みを欠陥と誤検出することを回避する。
【解決手段】ワークに対する光源による相対的な光の照射位置を変更しながらカメラにワークを撮像させて複数の画像を取得する(S2,S3,S4)。複数の画像それぞれについて欠陥候補を抽出する(S5)。各画像における欠陥候補の特徴点の座標値、及び欠陥候補の特徴量を算出する(S6)。欠陥候補の特徴量のパターンが、予め設定された欠陥を示すパターン情報と合致するとき、欠陥候補が欠陥であると判定する(S8,S9)。
【選択図】図3
【解決手段】ワークに対する光源による相対的な光の照射位置を変更しながらカメラにワークを撮像させて複数の画像を取得する(S2,S3,S4)。複数の画像それぞれについて欠陥候補を抽出する(S5)。各画像における欠陥候補の特徴点の座標値、及び欠陥候補の特徴量を算出する(S6)。欠陥候補の特徴量のパターンが、予め設定された欠陥を示すパターン情報と合致するとき、欠陥候補が欠陥であると判定する(S8,S9)。
【選択図】図3
Description
本発明は、ワークの欠陥を検出する検査方法、検査装置、画像処理装置、プログラム及び記録媒体に関する。
従来、ワークに光を照射し、ワークからの透過光や反射光、散乱光をカメラ等の撮像装置で撮像し、撮像された撮像画像に対して画像処理を行い、欠陥を判定する検査方法が知られている。
このワークの検査方法において、ワークの微小なキズや薄い汚れ等の欠陥を感度良く検出するためには、光源の光軸がワークに近い位置となるように配置することが一般的である。ここで、ワークの表面が光沢を有する場合やワークからの透過光によって欠陥検査する場合などでは、光源からの直接光や反射光が撮像画像に写り込むことがある。このため、ワークの欠陥を検出しようとした際、この光源の写り込みを欠陥として誤検出することがあった。
そこで、特許文献1,2に示される検査方法が提案されている。特許文献1では、撮像装置に対して一定の相対位置に配置された光源により、ワークを照明した状態で予め定められた方向に移動するワークを複数回撮像する。この撮像された複数の撮像画像から、ワークの一部を示す領域を順次探索することで、ワークの検査領域全体の撮像画像を生成し、ワークの全域での検査を実施している。
また、特許文献2では、ワークに対する照明角度を変化させ、照明角度が異なる複数の撮像画像を撮像している。この複数の撮像画像から、照明角度の変化より位置が変化している欠陥候補をパターンマッチングにより順次追跡することで、光源の写り込みと判別し、位置が変化していない欠陥候補をワークの欠陥として選別する。
しかしながら、特許文献1の方法では、撮像画像内の輝度値から光源の写り込みを特定し、除去している。このため、ワークの欠陥での輝度値と光源による写り込みでの輝度値が同程度となってしまう場合、欠陥も除去してしまう。例えば、散乱光によるワークの欠陥検査を行う場合などでは、ワークの欠陥による輝度値と光源の写り込みの輝度値が同程度となってしまい、分離できなくなってしまう。このため、正しい欠陥検査を実施できないとう問題があった。
また、特許文献2では、ワークに対して光源が移動した際、各撮像画像間で光源の写り込みの形状が変化する場合、光源の写り込みを正しく追跡できない。各撮像画像間で光源の写り込みの形状が変化する場合の一例として、ワークが光学レンズのように曲面を有している場合などがある。このため、欠陥と光源の写り込みとを分離できず、正しい検査を実施できないという問題があった。
そこで、本発明は、光源の写り込みを欠陥と誤検出することを回避することを目的とする。
本発明の検査方法は、処理部が、光源にてワークに光を照射した状態で撮像装置にワークを撮像させて得られる複数の画像から前記ワークの欠陥を検出する検査方法であって、前記処理部が、前記ワークに対する前記光源による相対的な光の照射位置、及び前記ワークに対する前記撮像装置の相対的な撮像位置の少なくとも一方を変更しながら前記撮像装置に前記ワークを撮像させて前記複数の画像を取得する画像取得工程と、前記処理部が、前記複数の画像それぞれについて欠陥候補を抽出する欠陥候補抽出工程と、前記処理部が、前記各画像における前記欠陥候補の特徴点の座標値、及び前記欠陥候補の特徴量を算出する特徴算出工程と、前記処理部が、前記複数の画像の順番に対する、1つの座標値に出現する特徴点に対応する欠陥候補の特徴量のパターンが、予め設定された、欠陥であることを示す前記複数の画像の順番に対する特徴量のパターン情報と合致するとき、前記欠陥候補が欠陥であると判定する判定工程と、を備えたことを特徴とする。
本発明によれば、複数の画像に出現する欠陥候補の特徴量のパターンが、欠陥を示すパターン情報と合致する場合を欠陥と判定している。したがって、画像においてワークの欠陥による輝度値と光源の写り込みの輝度値が同程度となっても、光源の写り込みの形状が各画像で変化しても、光源の写り込みを欠陥と誤検出することを回避し、パターンから欠陥を精度よく検出することができる。
以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。
[第1実施形態]
図1は、本発明の第1実施形態に係る検査装置を示す概略図である。検査装置100は、ワーク(被検査物)Wを保持する保持部材101と、光源102と、光源102を移動させる移動装置103と、撮像装置としてのカメラ105と、画像処理装置200と、を備えている。
図1は、本発明の第1実施形態に係る検査装置を示す概略図である。検査装置100は、ワーク(被検査物)Wを保持する保持部材101と、光源102と、光源102を移動させる移動装置103と、撮像装置としてのカメラ105と、画像処理装置200と、を備えている。
第1実施形態ではワークWは、光学部品として両面凸形状の光学レンズとする。検査装置100は、レンズ表面のキズ、汚れ等の外観検査を行う。なお、ワークWは、レンズ以外の光学部品でもよいし、光学部品以外の部品、例えばカメラの外装部品等でもよく、工場で製造される部品全般を含むものである。
ワークWは保持部材101の上に保持されている。ワークWの下方には、光源102が設置され、ワークWの上方には、カメラ105が設置されている。
光源102は、ワークWに光を照射(照明)する照明装置である。光源102は、例えばLEDやハロゲンランプ等、画像処理に必要な光量の光をワークWに照射するものであればいかなるものでもよく、また、リング照明やバー照明いかなるものであってもよい。また、光源102の発光面側に拡散板やレンズ等を配置してもよい。以下、第1実施形態では、光源102は、LEDのバー照明である場合について説明する。光源102の移動方向と直交する方向の長さは、ワークWと同程度以上に設定されている。
移動装置103は、固定ステージ103Aと、固定ステージ103Aに対して移動(直動)する移動ステージ103Bとを有する。移動ステージ103Bには、光源102が固定されている。これにより、光源102は、ワークWに対して移動する。なお、移動装置103は、直動ステージとしたが、多関節ロボット等であってもよい。また、光源102の移動方向は、検査対象物であるワークWの形状等に応じて決めればよい。
カメラ105は、ワークWからの光を受光して、撮像画像のデータを生成する固体撮像素子105Aを有するデジタルカメラである。固体撮像素子105Aは、CMOSイメージセンサ又はCCDイメージセンサ等のエリアセンサである。また、カメラ105は、不図示の撮像レンズを有し、撮像レンズにより倍率が調整され、ワークWの全体が撮像されるように調整されている。
光源102によりワークWに照射された光は、ワークWを透過する。このとき、ワークWに欠陥が存在する場合、その欠陥において散乱光が発生する。上方に設置されたカメラ105にて、撮像画像として撮像される。
画像処理装置200は、カメラ105で撮像された撮像画像に対して画像処理を行い、ワークWに存在する欠陥を検出する。
第1実施形態では、カメラ105とワークW(つまり保持部材101)は、架台その他の構造物に固定され、カメラ105とワークWとの相対位置は固定である。また、光源102とカメラ105との相対位置(つまり、光源102とワークWとの相対位置)が変化する。即ち、移動装置103により光源102を移動させることで、ワークWに対する光源102による相対的な光の照射位置を変更することができる。なお、光源による光の照射位置を変更する構成として、光源102を移動装置103により移動させる場合について説明するが、これに限定するものではない。複数の光源を配置して、各光源を順次点灯させて、複数の照射位置(つまり複数の光源)それぞれから光をワークWに照射するように構成してもよい。また、光源102をワークWに対して移動させる場合について説明するが、ワークWを光源102に対して移動させてもよい。いずれの場合であっても、ワークWに対する光源102による相対的な光の照射位置を変更することができる。
図2は、本発明の第1実施形態に係る画像処理装置を示すブロック図である。画像処理装置200は、処理部(演算部)としてのCPU(Central Processing Unit)201を備えている。また、画像処理装置200は、記憶部として、ROM(Read Only Memory)202、RAM(Random Access Memory)203、HDD(Hard Disk Drive)204を備えている。また、画像処理装置200は、記録ディスクドライブ205及び各種のインタフェース211〜214を備えている。
CPU201には、ROM202、RAM203、HDD204、記録ディスクドライブ205及び各種のインタフェース211〜214が、バス210を介して接続されている。ROM202には、BIOS等の基本プログラムが格納されている。RAM203は、CPU201の演算処理結果等、各種データを一時的に記憶する記憶装置である。
HDD204は、CPU201の演算処理結果や外部から取得した各種データ等を記憶する記憶装置であると共に、CPU201に、後述する各種演算処理を実行させるためのプログラム240を記録するものである。CPU201は、HDD204に記録(格納)されたプログラム240に基づいて検査方法の各工程を実行する。
記録ディスクドライブ205は、記録ディスク241に記録された各種データやプログラム等を読み出すことができる。
光源102は、インタフェース211に接続され、CPU201の制御の下で点灯又は消灯する。移動装置103は、インタフェース212に接続され、CPU201の制御の下、光源102を移動(第1実施形態では直動移動)させる。
カメラ105は、インタフェース213に接続され、CPU201からのトリガ信号により撮像し、撮像結果である撮像画像のデータをCPU201に出力する。CPU201は、カメラ105から撮像画像のデータを取得し、撮像画像に画像処理を施して、ワークWのキズや汚れ等の欠陥を検出する。
また、インタフェース214には、書き換え可能な不揮発性メモリや外付けHDD等の外部記憶装置110が接続可能となっている。
なお、第1実施形態では、コンピュータ読み取り可能な記録媒体がHDD204であり、HDD204にプログラム240が格納される場合について説明するが、これに限定するものではない。プログラム240は、コンピュータ読み取り可能な記録媒体であれば、いかなる記録媒体に記録されていてもよい。例えば、プログラム240を供給するための記録媒体としては、図2に示すROM202や、記録ディスク241、外部記憶装置110等を用いてもよい。具体例を挙げて説明すると、記録媒体として、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性メモリ、ROM等を用いることができる。
次に、第1実施形態に係る検査方法について説明する。図3は、本発明の第1実施形態に係る検査方法を示すフローチャートである。第1実施形態では、CPU201がプログラム240に従って図3に示す各工程(各処理)を実行する。保持部材101にはワークWがセットされているものとする。
まず、CPU201は、光源102を所定の初期位置に移動させる(S1)。CPU201は、光源102によりワークWに光を照射した状態でカメラ105にワークWを撮像させて、画像を取得する(S2)。次に、CPU201は、所定数の画像を取得したかどうかを判断し(S3)、所定数に達していなければ、ワークWに対して光源102を相対的に移動させ(S4)、ステップS2の処理に戻る。即ち、CPU201は、移動装置103により光源102をワークWと平行に直動移動させ、再びカメラ105に撮像させる。これを繰り返し、ワークWと光源102との相対的な位置が異なる配置にてカメラ105での撮像を行い、光源102の光によりワークWの全域にて欠陥が検出できるように予め設定された数の複数の画像を取得する。
ここで、カメラ105による撮像タイミングに合わせて光源102の移動を停止させるといった、光源102を断続的に移動させる場合について説明したが、これに限定するものではない。光源102を連続的に移動させながら、カメラ105にワークWを撮像させてもよい。
このように、CPU201は、ステップS2〜S4(画像取得工程,画像取得処理)では、ワークWに対する光源102による相対的な光の照射位置を変更しながらカメラ105にワークWを撮像させて複数の画像を取得する。
次に、CPU201は、複数の撮像画像に対して、予め設定された輝度閾値を用いて輝度値に対する2値化処理を行い、複数の2値化画像それぞれについて欠陥候補を抽出する(S5:欠陥候補抽出工程,欠陥候補抽出処理)。ここで、輝度閾値は、記憶部であるHDD204等に予め設定(記憶)されている。
このとき、CPU201は、欠陥候補が明画素及び暗画素のうちいずれか一方、第1実施形態では明画素となるように2値化処理を行い、生成された2値化画像の明画素領域についてラベリング処理を行い、ラベル付けされた各領域を欠陥候補とする。2値化処理で用いる輝度閾値は、欠陥候補が十分に抽出できる程度の輝度値に設定する。
ここでCPU201が精度よく欠陥候補を算出するために、FFTや平滑化差分等の処理を行った後、2値化処理、ラベリング処理を行うことで、画像に対して欠陥と同程度の空間周波数のみの欠陥候補を抽出することができる。
図4(a)〜図4(e)は、光源102による光の照射位置を変更したときにカメラ105により撮像された撮像画像を2値化処理した画像を示す模式図である。なお、図4(a)〜図4(e)では、説明の便宜上、欠陥候補を黒で表現している。
図4(a)に示す画像I1には、光源102の写り込みに対応する欠陥候補21が存在している。図4(b)に示す画像I2には、ワークWの欠陥に対応する欠陥候補11と、光源102の写り込みに対応する欠陥候補22が存在している。図4(c)に示す画像I3には、ワークWの欠陥に対応する欠陥候補12と、光源102の写り込みに対応する欠陥候補23が存在している。図4(d)に示す画像I4では、欠陥と光源102の写り込みとが重なった欠陥候補31が存在している。図4(e)に示す画像I5には、ワークWの欠陥に対応する欠陥候補13と、光源102の写り込みに対応する欠陥候補24が存在している。
ワークWの欠陥に対応する欠陥候補11,12,13は、ワークWの欠陥からの散乱光による信号であるため、光源102の写り込みに対応する欠陥候補21,22,23,24と同程度の輝度値となっている。このため、欠陥に対応する欠陥候補11,12,13とともに光源の写り込みに対応する欠陥候補21,22,23,24も抽出される。
ここで、光源102の写り込みに対応する欠陥候補21,22,23,24は、光源102の移動に伴い、画像I1〜I5の間で位置が変化している。さらに、光源102の写り込みに対応する欠陥候補21,22,23,24の形状も変化している。これは、ワークWが両凸形状を有していることにより、光源102からの光が影響を受けるためである。
また、画像I4では、ワークWの欠陥と光源102の映り込みとが重なっているため、1つの欠陥候補31として抽出される。
ここで、第1実施形態では、ステップS5において、CPU201は、2値化した画像中、予め設定された被検査領域内について欠陥候補を抽出する。図4(a)〜図4(e)では、ワークWの輪郭に相当する部分が、被検査領域25の輪郭である。各画像I1〜I5において被検査領域25内についてのみ欠陥候補を抽出するので、ワークW以外の部分に対応する領域について欠陥候補を抽出することがなく、また、CPU201の演算負荷も低減する。
続いて、CPU201は、複数の画像から抽出した全ての欠陥候補について、欠陥候補の特徴点の座標値、及び欠陥候補の特徴量を算出する(S6:特徴算出工程,特徴算出処理)。
第1実施形態では、CPU201は、欠陥候補の特徴点の座標値として欠陥候補の重心点の座標値を算出する。ここで、特徴点としては重心点に限らず、エッジ点やコーナー点などを用いても構わない。
また、第1実施形態では、CPU201は、欠陥候補の特徴量として、欠陥候補の面積(即ち、画素数)を算出する。ここで、特徴量としては、面積に限らず、欠陥候補の長さ(長径又は短径)、輝度値(平均輝度値、最大輝度値又は最小輝度値)などを用いても構わない。即ち、欠陥候補の特徴量は、欠陥候補の面積、欠陥候補の長さ、及び欠陥候補の輝度値のうち少なくとも1つであればよい。
CPU201は、算出した欠陥候補の特徴点の座標値毎に、その欠陥候補を有する画像番号、およびその欠陥候補の特徴量を保存する(S7)。保存とは、記憶部(例えばHDD204)に記憶(記録)することである。
ここで、画像番号とは、各画像を識別するために、各画像に割り当てた識別子のことである。画像番号は、例えば数字、文字又はこれらの組み合わせで表現され、画像の撮像された順番を示すものなどで構わない。
第1実施形態では、欠陥候補の特徴点の座標値として重心点の座標値としたが、画像の1画素よりも細かい端数を有した値として算出された場合、端数を切り捨て又は四捨五入等して特徴点の座標値を量子化してもよい。
検査対象の画像から抽出される欠陥候補の位置精度は、カメラ105(固体撮像素子105A)の分解能により制限される。つまり、それ以下に設定した場合、画像のノイズなどにより、実際には同じ座標値である欠陥候補でも異なる値となることがある。このため、量子化の単位としては、カメラ105の画素による分解能以上とすることが好ましい。
次に、CPU201は、同一の座標値に保存された欠陥候補を有する画像の画像番号及び欠陥候補の特徴量から、欠陥候補の特徴量のパターン(以下、「出現パターン」という)を、予め設定されたパターン情報と比較する(S8)。パターン情報は、記憶部であるHDD204等に予め設定(記憶)されている。
ここで、出現パターンとは、複数の画像の順番に対し、注目している1つの座標値に出現する特徴点に対応する欠陥候補の特徴量のパターンである。つまり、出現パターンは、複数の画像中、1つの座標値に出現する特徴点に対応付けられた特徴量が、画像の順番でどのように変化するかを示すものである。
ここで、画像の順番とは、カメラ105により撮像された順番であってもよいし、任意に定めた順番であってもよい。第1実施形態では、カメラ105により撮像された順番とする。
また、パターン情報とは、出現パターンと照合する照合パターン(テンプレートパターン)であり、データ構造は、出現パターンと同じく、複数の画像の順番に対する特徴量のパターンとなっている。出現パターンとの照合に用いるパターン情報は、欠陥に対応するものと、光源102の写り込みに対応するものとのがあり、それぞれ複数、予めHDD204に記憶されている。ステップS8では、これら複数のパターン情報と、出現パターンとを比較し、出現パターンに合致するパターン情報を特定する。
CPU201は、欠陥候補の特徴量の出現パターンが、欠陥を示すパターン情報と合致するとき、当該欠陥候補が欠陥であると判定する(S9)。これらステップS8,S9が、判定工程(判定処理)である。
図5(a)は、欠陥候補が欠陥である場合の出現パターンを示す模式図である。出現パターンは、図5(a)のように横軸を画像番号、縦軸を特徴量とするグラフで表現することができる。図5(a)には、図4(a)〜図4(e)の場合を例に、ワークWの欠陥に対応する欠陥候補11,12,13の特徴点(重心点)が存在する座標値での欠陥候補の特徴量(面積)による出現パターンを示す。
図5(a)に示すように、ワークWの欠陥に対応する欠陥候補11,12,13の特徴点は、複数の画像I2,I3,I5において同一の座標値に複数回現れる。なおかつ、欠陥候補11,12,13の特徴量が所定範囲内(図5(a)中、所定範囲S±ΔS内)に納まっている。つまり、図5(a)において、ワークWの欠陥が独立して欠陥候補11,12,13として抽出された画像I2,I3,I5でのみ、その特徴量(面積)の値が所定範囲内に納まるように出現している。ワークWの欠陥による欠陥候補11,12,13であるため、その特徴量(面積)は画像によって変化せず、同じ値(所定範囲S±ΔS内)となっている。
このようなテンプレートパターン(即ち、パターン情報)を予め設定しておけば、CPU201は、図5(a)に示すような出現パターンを得たときに、欠陥候補11,12,13が欠陥であって、同じ1つの欠陥であると判定できる。即ち、欠陥を示すパターン情報は、複数の画像において同一の座標値に複数回現れる特徴点に対応する特徴量が所定範囲内に納まるパターン情報である。
図5(b)は、欠陥候補が欠陥ではない場合(つまり、光源102の写り込みの場合)の出現パターンを示す模式図である。図5(b)には、図4(a)〜図4(e)の場合を例に、ワークWの欠陥に対応する欠陥候補22の特徴点(重心点)が存在する座標値での欠陥候補の特徴量(面積)による出現パターンを示す。
光源102の写り込みによる欠陥候補の特徴点は、光源102の移動に伴い画像毎に移動する。したがって、各画像I1〜I5において、光源102の写り込みに対応する欠陥候補の特徴点が注目している座標値に現れるのは、1回のみとなり、図5(b)の例は、注目している座標値が画像I2に現れた欠陥候補22の特徴点の座標値のときである。よって、欠陥候補の特徴量である面積の出現は画像I2での1回のみとなる。
第1実施形態では、ワークWが両凸形状を有するため、ワークWに対する光源102の位置によって、各画像I1〜I5における光源102の写り込みの形状は変化していく。このため、画像毎に、光源102の写り込みによる欠陥候補の特徴量(面積)は異なる値をとる。
ここで、更に、欠陥候補の特徴量の出現パターンについて詳細に説明する。図6(a)〜図6(d)は、それぞれ異なる出現パターンを示す模式図である。図6(a)〜図6(c)は、欠陥候補が欠陥である場合の出現パターンを示す模式図である。図6(d)は、欠陥候補が欠陥ではない場合(つまり、光源102の写り込みの場合)の出現パターンを示す模式図である。
欠陥候補が欠陥である場合の出現パターンの1つは、図6(a)に示すように、全ての画像それぞれにおいて同じ注目座標値に欠陥候補の特徴点が現れ、この注目座標値を特徴点とする全ての欠陥候補の特徴量が所定範囲内に納まる。
また、欠陥候補が欠陥である場合の別の出現パターンは、図6(b)に示すように、全ての画像のうち2つ以上の画像それぞれにおいて同じ注目座標値に特徴点が現れ、この注目座標値を特徴点とする全ての欠陥候補の特徴量が所定範囲内に納まる。つまり、光源102の位置によって、欠陥に対応する欠陥候補が現れない場合が存在する。
また、欠陥候補が欠陥である場合の別の出現パターンは、図6(c)に示すように、全ての画像それぞれにおいて同じ注目座標値に特徴点が現れ、この注目座標値を特徴点とする全ての欠陥候補のうち2以上の欠陥候補の特徴量が所定範囲内に納まる。図6(c)において、所定範囲の上限値を超える特徴量に対応する欠陥候補は、光源102の写り込みによる欠陥候補であり、この場合、偶然に光源の写り込みによる欠陥候補の特徴点の座標値が注目座標値となったものであり、1回のみ現れる。
欠陥候補が光源102の写り込みである場合の出現パターンは、図6(c)に示すように、1つの画像のみ注目座標値に欠陥候補の特徴点が現れる。これは、画像における光源の写り込みの輝度値が、欠陥の輝度値と同程度となっても図6(c)に示すような出現パターンとなる。
以上、欠陥特有の出現パターンと、写り込み特有の出現パターンとがある。これらの欠陥候補の特徴量の出現パターンの違いから、抽出した欠陥候補から光源の写り込みによる欠陥候補を除去し、ワークWの欠陥による欠陥候補のみを欠陥として特定することが可能である。
即ち、欠陥を示す複数のパターン情報を予めHDD204に設定しておき、ステップS8で出現パターンとパターン情報とを比較して、ステップS9で欠陥を判定すればよい。これにより、光源102の写り込みを欠陥と誤検出するのを回避することができる。
第1実施形態によれば、複数の画像に出現する欠陥候補の特徴量の出現パターンから、ワークWの欠陥を判定している。したがって、画像においてワークWの欠陥による輝度値と光源の写り込みの輝度値が同程度となっても、また、光源102の写り込みの形状が各画像で変化しても、出現パターンから欠陥を精度よく検出することができる。
なお、第1実施形態では、パターン情報には、欠陥を示すパターン情報と、光源102の写り込みを示すパターン情報とが含まれる場合について説明したが、欠陥を示すパターン情報のみであってもよい。この場合、出現パターンと予め設定されたパターン情報とを照合して、該当するものがなければ、欠陥ではない、即ち光源102の写り込みと判定すればよい。
[第2実施形態]
次に、本発明の第2実施形態に係る検査装置について説明する。図7は、本発明の第2実施形態に係る検査装置を示す概略図である。なお、第2実施形態の検査装置300において、第1実施形態の検査装置100と同様の構成については同一符号を付して説明を省略する。
次に、本発明の第2実施形態に係る検査装置について説明する。図7は、本発明の第2実施形態に係る検査装置を示す概略図である。なお、第2実施形態の検査装置300において、第1実施形態の検査装置100と同様の構成については同一符号を付して説明を省略する。
検査装置300は、ワーク(被検査物)Wを保持する保持部材301と、光源302と、ワークWを移動させる移動装置303と、カメラ105と、画像処理装置200と、を備えている。
第2実施形態ではワークWは、光学部品として一方の面が凸形状で他方の面が凹形状の光学レンズとする。ワークWは、第1実施形態と同様、保持部材301により保持されている。
光源302は、ワークWの上方に配置され、ワークWの光軸Cに対して所定の角度で傾斜して配置されている。光源302はスポット型のLED照明が用いられている。
カメラ105は、ワークWの下方に配置されている。
移動装置303は、固定ステージ303Aと、固定ステージ303Aに対して移動(回転移動)する移動ステージ303Bとを有する。移動ステージ303Bには、ワークW、具体的には保持部材301が固定されている。これにより、ワークWは、カメラ105(光源102)に対して移動する。
第2実施形態では、移動ステージ303Bは、ワークWの光軸Cを中心軸として回転移動する。これにより、光源302及びカメラ105は、ワークWに対して相対的に移動することが可能である。
光源302は、カメラ105に対して固定されていてもよいし移動させてもどちらでもよいが、第2実施形態では、カメラ105及び光源302は、架台その他の構造物に固定され、カメラ105と光源302との相対位置は固定である。
また、ワークWとカメラ105との相対位置が変化する。第2実施形態では、移動装置303によりワークWを移動させることで、ワークWに対するカメラ105の相対的な撮像位置を変更する。なお、第2実施形態では、ワークWをカメラ105に対して移動させる場合について説明するが、カメラ105をワークWに対して移動させてもよい。いずれの場合であっても、ワークWに対するカメラ105の相対的な撮像位置を変更することができる。
第2実施形態における画像処理装置200は、第1実施形態で説明した図2の構成となっているが、プログラム240の内容が、第1実施形態と異なるものである。
次に、第2実施形態に係る検査方法について説明する。図8は、本発明の第2実施形態に係る検査方法を示すフローチャートである。第2実施形態では、画像処理装置200のCPU201がプログラム240に従って図8に示す各工程(各処理)を実行する。保持部材301にはワークWがセットされているものとする。
まず、CPU201は、光源102を所定の初期位置に移動させる(S21)。CPU201は、光源102によりワークWに光を照射した状態でカメラ105にワークWを撮像させて、画像を取得する(S22)。次に、CPU201は、所定数の画像を取得したかどうかを判断し(S23)、所定数に達していなければ、カメラ105に対してワークWを相対的に移動させ(S24)、ステップS22の処理に戻る。即ち、CPU201は、移動装置303によりワークWを光軸Cまわりに回転移動させ、再びカメラ105に撮像させる。これを繰り返し、ワークWとカメラ105との相対的な位置が異なる配置にてカメラ105での撮像を行い、予め設定された数の複数の画像を取得する。
このように、CPU201は、ステップS22〜S24(画像取得工程,画像取得処理)では、ワークWに対するカメラ105の相対的な撮像位置を変更しながらカメラ105にワークWを撮像させて複数の画像を取得する。
次に、CPU201は、複数の撮像画像に対して、予め設定された輝度閾値を用いて輝度値に対する2値化処理を行い、複数の2値化画像それぞれについて欠陥候補を抽出する(S25:欠陥候補抽出工程,欠陥候補抽出処理)。ここで、輝度閾値は、記憶部であるHDD204等に予め設定(記憶)されている。
図9(a)〜図9(d)は、ワークWに対するカメラ105の撮像位置を変更したときにカメラ105により撮像された撮像画像を2値化処理した画像を示す模式図である。なお、図9(a)〜図9(d)では、説明の便宜上、欠陥候補を黒で表現している。また、図9(a)〜図9(d)に示す画像I21〜I24において、画像内でワークWがカメラ105に対して回転移動していることがわかるように、画像上にワークWの基準点61を記載している。
図9(a)に示す画像I21には、ワークWの欠陥に対応する欠陥候補41と、光源102の写り込みに対応する欠陥候補51が存在している。図9(b)に示す画像I22には、ワークWの欠陥に対応する欠陥候補42と、光源102の写り込みに対応する欠陥候補52が存在している。図9(c)に示す画像I23には、光源102の写り込みに対応する欠陥候補53が存在している。図9(d)に示す画像I24には、光源102の写り込みに対応する欠陥候補54が存在している。
ワークWの欠陥に対応する欠陥候補41,42は、ワークWの欠陥からの散乱光による信号であるため、光源102の写り込みに対応する欠陥候補51〜54と同程度の輝度値となっている。このため、欠陥に対応する欠陥候補41,42とともに光源の写り込みに対応する欠陥候補51〜54も抽出される。
画像I21〜I24において、ワークWが回転移動しても、光源の写り込みに対応する欠陥候補51〜54は画像内での位置は変化していない。これに対して、画像I21,I22におけるワークWの欠陥に対応する欠陥候補41,42は、画像内での位置が変化している。
ここで、第2実施形態では、ステップS25において、CPU201は、ワークWを基準とするワーク座標系ΣWにおいて予め設定された被検査領域を、カメラ105を基準とする画像座標系ΣIに変換する。そして、CPU201は、各画像中、画像座標系ΣIに変換された被検査領域内について欠陥候補を抽出する。各画像において被検査領域内についてのみ欠陥候補を抽出するので、ワークW以外の部分に対応する領域について欠陥候補を抽出することがなく、また、CPU201の演算負荷も低減する。
続いて、CPU201は、第1実施形態と同様、複数の画像から抽出した全ての欠陥候補について、欠陥候補の特徴点の座標値、及び欠陥候補の特徴量を算出する(S26:特徴算出工程,特徴算出処理)。
CPU201は、第1実施形態と同様、算出した欠陥候補の特徴点の座標値毎に、その欠陥候補を有する画像番号、およびその欠陥候補の特徴量を保存する(S27)。
ここで、第2実施形態では、ワークWとカメラ105の相対的な位置を変化させて複数の画像を取得しているため、画像内でのワークWの位置が変化している。したがって、CPU201は特徴点の座標値を、画像座標系ΣIのワーク座標系ΣWに変換する(S28)。即ち、欠陥候補の特徴点の座標をワーク上の点を基準とした座標に変換し、欠陥候補の特徴点の座標として用いる。カメラ105に対するワークWの相対的な位置及び姿勢は、CPU201により、画像I21〜I24に含まれる基準点61に基づいて求められる。即ち、CPU201は、カメラ105に対するワークWの相対的な位置及び姿勢に基づき、特徴点の座標値を、画像座標系ΣIのワーク座標系ΣWに変換する。ここで、カメラ105に対するワークWの相対的な位置及び姿勢は、移動ステージ303Bに移動量検出手段を設けても良いし、CPU201による移動ステージ303Bの移動指令値を用いても構わない。さらには、画像におけるワークWの輪郭を用いたパターンマッチングによって求めても構わない。
次に、CPU201は、上記第1実施形態と同様に、同一の座標値に保存された欠陥候補を有する画像の画像番号及び欠陥候補の特徴量から、欠陥候補の特徴量の出現パターンを、予め設定されたパターン情報と比較する(S29)。パターン情報は、記憶部であるHDD204等に予め設定(記憶)されている。
CPU201は、欠陥候補の特徴量の出現パターンが、欠陥を示すパターン情報と合致するとき、当該欠陥候補が欠陥であると判定する(S30)。これらステップS28,S29,S30が、判定工程(判定処理)である。
ワークWの欠陥に対応する欠陥候補の特徴点は、ワーク座標系ΣWでは同じ座標値となる。したがって、欠陥に対応する欠陥候補の特徴量は上記第1実施形態で説明した通り、同じ値となる。これに対して、光源102の写り込みに対応する欠陥候補の特徴点は、ワーク座標系ΣWでは画像毎に異なる座標値となる。
このような欠陥候補の特徴量の出現パターンの違いから、第1実施形態と同様に、光源102の写り込みによる欠陥候補を除去し、ワークWの欠陥のみを正しく検出することが可能となる。したがって、光源102の写り込みを欠陥と誤検出するのを回避することができる。
また、欠陥候補の特徴点の座標値をワーク座標系ΣWに変換することで、ワークに対して撮像センサを相対的に移動する場合においても、光源の写り込みによる欠陥候補を除外し、ワークの欠陥を特定することができる。これにより、更に、ワークWに対する光源102、カメラ105の相対的な移動手段を選択する自由度が拡がり、検査装置の構成又は大きさを適正化することができる。
なお、本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、第1実施形態では、ワークに対する光源による相対的な光の照射位置を変更して撮像する場合について説明し、第2実施形態では、ワークに対するカメラの相対的な撮像位置を変更して撮像する場合について説明したが、これに限定するものではない。光の照射位置又は撮像位置の両方を変更して撮像してもよい。つまり、光の照射位置又は撮像位置のうち少なくとも一方を変更して撮像すればよい。
100…検査装置、102…光源、103…移動装置、105…カメラ(撮像装置)、200…画像処理装置、201…CPU(処理部)、W…ワーク
Claims (17)
- 処理部が、光源にてワークに光を照射した状態で撮像装置にワークを撮像させて得られる複数の画像から前記ワークの欠陥を検出する検査方法であって、
前記処理部が、前記ワークに対する前記光源による相対的な光の照射位置、及び前記ワークに対する前記撮像装置の相対的な撮像位置の少なくとも一方を変更しながら前記撮像装置に前記ワークを撮像させて前記複数の画像を取得する画像取得工程と、
前記処理部が、前記複数の画像それぞれについて欠陥候補を抽出する欠陥候補抽出工程と、
前記処理部が、前記各画像における前記欠陥候補の特徴点の座標値、及び前記欠陥候補の特徴量を算出する特徴算出工程と、
前記処理部が、前記複数の画像の順番に対する、1つの座標値に出現する特徴点に対応する欠陥候補の特徴量のパターンが、予め設定された、欠陥であることを示す前記複数の画像の順番に対する特徴量のパターン情報と合致するとき、前記欠陥候補が欠陥であると判定する判定工程と、を備えたことを特徴とする検査方法。 - 前記パターン情報は、前記複数の画像において同一の座標値に複数回現れる特徴点に対応する特徴量が所定範囲内に納まるパターン情報であることを特徴とする請求項1に記載の検査方法。
- 前記特徴量は、前記欠陥候補の面積、前記欠陥候補の長さ、及び前記欠陥候補の輝度値のうち少なくとも1つであることを特徴とする請求項1又は2に記載の検査方法。
- 前記欠陥候補抽出工程において、前記処理部が、前記画像中、予め設定された被検査領域内について前記欠陥候補を抽出することを特徴とする請求項1乃至3のいずれか1項に記載の検査方法。
- 前記画像取得工程において、前記処理部が、前記撮像位置を変更しながら前記撮像装置に前記ワークを撮像させて前記複数の画像を取得し、
前記判定工程において、前記処理部が、前記特徴点の座標値を、前記撮像装置を基準とする画像座標系から前記ワークを基準とするワーク座標系に変換し、前記ワーク座標系を基準に前記パターンを求めることを特徴とする請求項1乃至3のいずれか1項に記載の検査方法。 - 前記欠陥候補抽出工程において、前記処理部が、前記ワーク座標系において予め設定された被検査領域を、前記画像座標系に変換し、前記各画像中、前記画像座標系に変換された前記被検査領域内について前記欠陥候補を抽出することを特徴とする請求項5に記載の検査方法。
- 前記画像は、前記撮像装置により撮像された撮像画像に対して2値化処理を施した2値化画像であることを特徴とする請求項1乃至6のいずれか1項に記載の検査方法。
- ワークに光を照射する光源と、
前記ワークを撮像する撮像装置と、
光源にてワークに光を照射した状態で、前記撮像装置に前記ワークを撮像させて得られる複数の画像から前記ワークの欠陥を検出する処理部と、を備え、
前記処理部は、
前記ワークに対する前記光源による相対的な光の照射位置、及び前記ワークに対する前記撮像装置の相対的な撮像位置の少なくとも一方を変更しながら前記撮像装置に前記ワークを撮像させて前記複数の画像を取得する画像取得処理と、
前記複数の画像それぞれについて欠陥候補を抽出する欠陥候補抽出処理と、
前記各画像における前記欠陥候補の特徴点の座標値、及び前記欠陥候補の特徴量を算出する特徴算出処理と、
前記複数の画像の順番に対する、1つの座標値に出現する特徴点に対応する欠陥候補の特徴量のパターンが、予め設定された、欠陥であることを示す前記複数の画像の順番に対する特徴量のパターン情報と合致するとき、前記欠陥候補が欠陥であると判定する判定処理と、を実行することを特徴とする検査装置。 - 前記パターン情報は、前記複数の画像において同一の座標値に複数回現れる特徴点に対応する特徴量が所定範囲内に納まるパターン情報であることを特徴とする請求項8に記載の検査装置。
- 前記特徴量は、前記欠陥候補の面積、前記欠陥候補の長さ、及び前記欠陥候補の輝度値のうち少なくとも1つであることを特徴とする請求項8又は9に記載の検査装置。
- 前記処理部は、前記欠陥候補抽出処理において、前記画像中、予め設定された被検査領域内について前記欠陥候補を抽出することを特徴とする請求項8乃至10のいずれか1項に記載の検査装置。
- 前記処理部は、前記画像取得処理において、前記撮像位置を変更しながら前記撮像装置に前記ワークを撮像させて前記複数の画像を取得し、前記判定処理において、前記特徴点の座標値を、前記撮像装置を基準とする画像座標系から前記ワークを基準とするワーク座標系に変換し、前記ワーク座標系を基準に前記パターンを求めることを特徴とする請求項8乃至10のいずれか1項に記載の検査装置。
- 前記処理部は、前記欠陥候補抽出処理において、前記ワーク座標系において予め設定された被検査領域を、前記画像座標系に変換し、前記各画像中、前記画像座標系に変換された前記被検査領域内について前記欠陥候補を抽出することを特徴とする請求項12に記載の検査装置。
- 前記画像は、前記撮像装置により撮像された撮像画像に対して2値化処理を施した2値化画像であることを特徴とする請求項8乃至13のいずれか1項に記載の検査装置。
- 光源にてワークに光を照射した状態で、撮像装置にワークを撮像させて得られる複数の画像から前記ワークの欠陥を検出する処理部を有する画像処理装置であって、
前記処理部は、
前記ワークに対する前記光源による相対的な光の照射位置、及び前記ワークに対する前記撮像装置の相対的な撮像位置の少なくとも一方を変更しながら前記撮像装置に前記ワークを撮像させて前記複数の画像を取得する画像取得処理と、
前記複数の画像それぞれについて欠陥候補を抽出する欠陥候補抽出処理と、
前記各画像における前記欠陥候補の特徴点の座標値、及び前記欠陥候補の特徴量を算出する特徴算出処理と、
前記複数の画像の順番に対する、1つの座標値に出現する特徴点に対応する欠陥候補の特徴量のパターンが、予め設定された、欠陥であることを示す前記複数の画像の順番に対する特徴量のパターン情報と合致するとき、前記欠陥候補が欠陥であると判定する判定処理と、を実行することを特徴とする画像処理装置。 - コンピュータに、請求項1乃至7のいずれか1項に記載の検査方法の各工程を実行させるためのプログラム。
- 請求項16に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015163414A JP2017040598A (ja) | 2015-08-21 | 2015-08-21 | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015163414A JP2017040598A (ja) | 2015-08-21 | 2015-08-21 | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017040598A true JP2017040598A (ja) | 2017-02-23 |
Family
ID=58206158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015163414A Pending JP2017040598A (ja) | 2015-08-21 | 2015-08-21 | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017040598A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019113895A (ja) * | 2017-12-20 | 2019-07-11 | ファナック株式会社 | ワークを撮像する視覚センサを備える撮像装置 |
| JP2022070392A (ja) * | 2020-10-27 | 2022-05-13 | キヤノン株式会社 | 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体 |
| WO2024195316A1 (ja) * | 2023-03-22 | 2024-09-26 | 三菱電機株式会社 | 樹脂部品外観検査装置および樹脂部品外観検査方法 |
| CN119125158A (zh) * | 2024-06-04 | 2024-12-13 | 柯尼卡美能达株式会社 | 缺陷检查装置 |
-
2015
- 2015-08-21 JP JP2015163414A patent/JP2017040598A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019113895A (ja) * | 2017-12-20 | 2019-07-11 | ファナック株式会社 | ワークを撮像する視覚センサを備える撮像装置 |
| US11267142B2 (en) | 2017-12-20 | 2022-03-08 | Fanuc Corporation | Imaging device including vision sensor capturing image of workpiece |
| JP2022070392A (ja) * | 2020-10-27 | 2022-05-13 | キヤノン株式会社 | 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体 |
| JP7532206B2 (ja) | 2020-10-27 | 2024-08-13 | キヤノン株式会社 | 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体 |
| JP2024153809A (ja) * | 2020-10-27 | 2024-10-29 | キヤノン株式会社 | 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体 |
| JP7739550B2 (ja) | 2020-10-27 | 2025-09-16 | キヤノン株式会社 | 画像認識方法、画像認識装置、検査方法、検査装置、プログラム、記録媒体 |
| WO2024195316A1 (ja) * | 2023-03-22 | 2024-09-26 | 三菱電機株式会社 | 樹脂部品外観検査装置および樹脂部品外観検査方法 |
| CN119125158A (zh) * | 2024-06-04 | 2024-12-13 | 柯尼卡美能达株式会社 | 缺陷检查装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6486050B2 (ja) | 検査装置および検査方法 | |
| JP6635712B2 (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
| JP5342413B2 (ja) | 画像処理方法 | |
| CN110231346A (zh) | 图像检查装置、图像检查方法以及图像检查程序 | |
| JP5791475B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2011163766A (ja) | 画像処理方法および画像処理システム | |
| JP2016166853A (ja) | 位置推定装置および位置推定方法 | |
| JP2017040600A (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
| JP2018096908A (ja) | 検査装置及び検査方法 | |
| JP2017040598A (ja) | 検査方法、検査装置、画像処理装置、プログラム及び記録媒体 | |
| JP2017033063A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体 | |
| JP6881149B2 (ja) | 回転不良検出装置及び回転不良検出方法 | |
| JPH06307833A (ja) | 凹凸形状認識装置 | |
| JP2017166957A (ja) | 欠陥検出装置、欠陥検出方法およびプログラム | |
| JP2009116419A (ja) | 輪郭検出方法及び輪郭検出装置 | |
| JP7248201B2 (ja) | 解析装置、検査システム、および学習装置 | |
| JP2010091525A (ja) | 電子部品のパターンマッチング方法 | |
| JPH0723846B2 (ja) | 位置検出装置 | |
| JP6688629B2 (ja) | 欠陥検出装置、欠陥検出方法およびプログラム | |
| JP2017166956A (ja) | 欠陥検出装置、欠陥検出方法およびプログラム | |
| JP2023045419A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2018128261A (ja) | 検査装置および方法 | |
| JP2000321038A (ja) | パターン欠陥検出方法 | |
| JP2006145377A (ja) | 塗装面欠陥の検出方法および装置 | |
| CN116523882B (zh) | 一种基于视觉的光学目标区域准确率检测方法与系统 |