[go: up one dir, main page]

JP2010175281A - Apparatus for forming image of appearance surface - Google Patents

Apparatus for forming image of appearance surface Download PDF

Info

Publication number
JP2010175281A
JP2010175281A JP2009015437A JP2009015437A JP2010175281A JP 2010175281 A JP2010175281 A JP 2010175281A JP 2009015437 A JP2009015437 A JP 2009015437A JP 2009015437 A JP2009015437 A JP 2009015437A JP 2010175281 A JP2010175281 A JP 2010175281A
Authority
JP
Japan
Prior art keywords
inspection object
appearance surface
image
predetermined
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009015437A
Other languages
Japanese (ja)
Inventor
Taeko Fukuda
妙子 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Gijutsu Kaihatsu Co Ltd
Original Assignee
Kokusai Gijutsu Kaihatsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kokusai Gijutsu Kaihatsu Co Ltd filed Critical Kokusai Gijutsu Kaihatsu Co Ltd
Priority to JP2009015437A priority Critical patent/JP2010175281A/en
Publication of JP2010175281A publication Critical patent/JP2010175281A/en
Pending legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】簡易な構成で、検査対象物の外観面の状態を表わした画像を生成することができるようにする。
【解決手段】駆動部12によって、回転対称形状の金属部材である検査対象物を回転させる。ライン照明14によって線状スリット光を照射して、反射光をエリアカメラ18によって撮像する。画像処理部32によって、検査対象物の所定の回転量毎に撮像された複数の撮像画像の各々から、線状スリット光の反射光を表わす部分の周辺の所定領域を切り出して、切り出された所定領域の画像データを並べて合成して、検査対象物の外観面の状態を表わす外観面画像を生成する。欠陥検出部34によって、外観面画像から、輝度値が所定値以上となる部分を欠陥候補として検出する。
【選択図】図1
An image representing a state of an appearance surface of an inspection object can be generated with a simple configuration.
An inspection object, which is a rotationally symmetric metal member, is rotated by a drive unit. The line illumination 14 irradiates linear slit light, and the reflected light is imaged by the area camera 18. A predetermined region around the portion representing the reflected light of the linear slit light is cut out from each of a plurality of picked-up images picked up by the image processing unit 32 for each predetermined rotation amount of the inspection object, and the predetermined cut out The image data of the areas are arranged side by side and combined to generate an appearance surface image representing the state of the appearance surface of the inspection object. The defect detection unit 34 detects a part having a luminance value equal to or higher than a predetermined value from the appearance surface image as a defect candidate.
[Selection] Figure 1

Description

本発明は、外観面画像生成装置に係り、特に、検査対象物の外観面の状態を表わす画像を生成する外観面画像生成装置に関する。   The present invention relates to an appearance surface image generation device, and more particularly to an appearance surface image generation device that generates an image representing the state of the appearance surface of an inspection object.

従来より、短時間に且つ信頼性の高い測定をすることができるようにした3次元曲面形状の測定方法が知られている(特許文献1)。この測定方法では、複数の線状スリット光を被測定対象の全面に亘って同時に回転走査し、スリット光の回転走査角度を測定し、被測定対象表面を撮像して得られるビデオ信号の画面内の各画素に対応する被測定対象表面の各位置毎に、その点を一本乃至複数本のスリット光が通過した瞬間の回転走査角度又はそれに相当する値の中の1つをその画素の値とする画像を合成している。また、合成画像に基づいて被測定対象の3次元曲面形状を測定している。   Conventionally, a method for measuring a three-dimensional curved surface shape that enables highly reliable measurement in a short time is known (Patent Document 1). In this measurement method, a plurality of linear slit lights are simultaneously rotated and scanned over the entire surface of the object to be measured, the rotational scanning angle of the slit light is measured, and the video signal obtained by imaging the surface of the object to be measured is displayed on the screen. For each position of the surface to be measured corresponding to each pixel, the rotational scanning angle at the moment when one or more slit lights pass through that point or one of the corresponding values is the pixel value. Is composited. Further, the three-dimensional curved surface shape of the measurement target is measured based on the composite image.

特開平7−260443号公報JP-A-7-260443

しかしながら、上記特許文献1に記載の技術では、スリット光を回転走査する構成、及び回転走査角度を検出する構成が必要となるため、装置構成が複雑となってしまう、という問題がある。   However, the technique described in Patent Document 1 requires a configuration for rotationally scanning the slit light and a configuration for detecting the rotational scanning angle, which causes a problem that the configuration of the apparatus becomes complicated.

本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、検査対象物の外観面の状態を表わした画像を生成することができる外観面画像生成装置を提供することを目的とする。   The present invention has been made to solve the above-described problems, and provides an appearance surface image generation apparatus capable of generating an image representing the state of the appearance surface of an inspection object with a simple configuration. With the goal.

上記の目的を達成するために本発明に係る外観面画像生成装置は、検査対象物の外観面に線状の光を照射する光照射手段と、前記検査対象物の外観面からの前記線状の光の透過光又は反射光を含む領域を撮像する撮像手段と、前記検査対象物を移動又は回転させる駆動手段と、前記検査対象物の所定の移動量毎又は所定の回転量毎に前記撮像手段により撮像された複数の撮像画像の各々から、前記透過光又は前記反射光を表わす部分の周辺の所定領域を切り出す切り出し手段と、前記切り出し手段により切り出された前記所定領域の画像データを並べて合成して、前記検査対象物の外観面の状態を表わす外観面画像を生成する合成手段とを含んで構成されている。   In order to achieve the above object, an external appearance image generating apparatus according to the present invention includes a light irradiation means for irradiating an external appearance surface of a test object with linear light, and the linear shape from the external appearance surface of the inspection object. Imaging means for imaging a region including transmitted light or reflected light of the light, a driving means for moving or rotating the inspection object, and the imaging for every predetermined movement amount or every predetermined rotation amount of the inspection object The image data of the predetermined area cut out by the cut-out means and the cut-out means cut out a predetermined area around the portion representing the transmitted light or the reflected light from each of the plurality of picked-up images picked up by the means are combined and combined And a composing means for generating an appearance surface image representing the state of the appearance surface of the inspection object.

本発明に係る外観面画像生成装置によれば、駆動手段によって、検査対象物を移動又は回転させる。切り出し手段によって、検査対象物の所定の移動量毎又は所定の回転量毎に撮像手段により撮像された複数の撮像画像の各々から、透過光又は反射光を表わす部分の周辺の所定領域を切り出す。   According to the appearance surface image generating apparatus according to the present invention, the inspection object is moved or rotated by the driving means. A predetermined area around a portion representing transmitted light or reflected light is cut out from each of a plurality of captured images picked up by the image pickup means for each predetermined movement amount or predetermined rotation amount of the inspection object by the cutout means.

そして、合成手段によって、切り出し手段により切り出された所定領域の画像データを並べて合成して、検査対象物の外観面の状態を表わす外観面画像を生成する。   Then, the synthesizing unit arranges and synthesizes the image data of the predetermined area cut out by the clipping unit, and generates an appearance surface image representing the state of the appearance surface of the inspection object.

このように、複数の撮像画像の各々から、透過光又は反射光を表わす部分の周辺の所定領域を切り出して、切り出された所定領域の画像データを並べて合成することにより、簡易な構成で、検査対象物の外観面の状態を表わした画像を生成することができる。   In this way, by cutting out a predetermined area around a portion representing transmitted light or reflected light from each of a plurality of captured images and arranging and combining the image data of the cut out predetermined areas, the inspection can be performed with a simple configuration. An image representing the state of the appearance surface of the object can be generated.

本発明に係る外観面画像生成装置は、合成手段によって生成された外観面画像から、所定輝度以上となる部分を、欠陥部分として検出する欠陥検出手段を更に含むことができる。これによって、簡易な構成で、検査対象物の外観面の欠陥部分を検出することができる。   The appearance surface image generation apparatus according to the present invention can further include defect detection means for detecting, as a defect portion, a portion having a predetermined luminance or higher from the appearance surface image generated by the combining means. Thereby, it is possible to detect a defective portion of the appearance surface of the inspection object with a simple configuration.

本発明の検査対象物を、回転対称形状の金属部材又は樹脂部材とし、撮像手段は、検査対象物の外観面からの線状の光の反射光を含む領域を撮像し、駆動手段は、回転対称形状の回転中心軸を回転軸として検査対象物を回転させることができる。   The inspection object according to the present invention is a metal member or resin member having a rotationally symmetric shape, the imaging unit images a region including reflected light of linear light from the appearance surface of the inspection object, and the driving unit rotates. The object to be inspected can be rotated with the symmetrical rotation center axis as the rotation axis.

本発明の検査対象物を、板状の透明部材とし、撮像手段は、検査対象物の外観面からの線状の光の透過光を含む領域を撮像し、駆動手段は、検査対象物を、板状の面に平行な方向に移動させることができる。   The inspection object of the present invention is a plate-shaped transparent member, the imaging means images an area including transmitted light of linear light from the appearance surface of the inspection object, and the driving means is an inspection object, It can be moved in a direction parallel to the plate-like surface.

上記の検査対象物を回転対称形状の金属部材又は樹脂部材とした場合の切り出し手段は、撮像画像の回転軸と直交する各ラインについて、輝度が所定値以下となった画素から、反射光を表わす部分と反対側の所定数の画素を切り出すことにより、所定領域を切り出すことができる。   When the inspection object is a metal member or resin member having a rotationally symmetric shape, the clipping means represents reflected light from pixels whose luminance is not more than a predetermined value for each line orthogonal to the rotation axis of the captured image. A predetermined region can be cut out by cutting out a predetermined number of pixels opposite to the portion.

また、上記の切り出し手段は、検査対象物の半径又は直径と所定の回転量とに基づいて各ラインについて決定される所定数の画素を切り出すことにより、所定領域を切り出すことができる。   In addition, the cutout unit can cut out a predetermined region by cutting out a predetermined number of pixels determined for each line based on the radius or diameter of the inspection object and a predetermined rotation amount.

また、上記の切り出し手段は、各ラインに対して、切り出す画素の位置及び切り出す画素の所定数について前後のラインとの移動平均を求めることにより、切り出す画素の位置及び切り出す画素の所定数を決定することができる。   In addition, the above clipping unit determines the position of the pixel to be cut out and the predetermined number of pixels to be cut out by obtaining a moving average with the preceding and succeeding lines for the position of the pixel to be cut out and the predetermined number of pixels to be cut out for each line. be able to.

上記の検査対象物を板状の透明部材とした場合の切り出し手段は、複数の撮像画像の各々について、透過光を表わす部分を特定し、特定された部分を膨張させ、膨張された領域のうち、透過光を表わす部分でない領域を、該撮像画像から、所定領域として切り出すことができる。   When the inspection object is a plate-shaped transparent member, the clipping means specifies a portion representing transmitted light for each of a plurality of captured images, expands the specified portion, and among the expanded regions An area that does not represent transmitted light can be cut out as a predetermined area from the captured image.

以上説明したように、本発明の外観面画像生成装置によれば、複数の撮像画像の各々から、透過光又は反射光を表わす部分の周辺の所定領域を切り出して、切り出された所定領域の画像データを並べて合成することにより、簡易な構成で、検査対象物の外観面の状態を表わした画像を生成することができる、という効果が得られる。   As described above, according to the appearance surface image generation device of the present invention, a predetermined region around a portion representing transmitted light or reflected light is cut out from each of a plurality of captured images, and an image of the cut out predetermined region is obtained. By arranging the data side by side, it is possible to generate an image representing the state of the appearance surface of the inspection object with a simple configuration.

本発明の第1の実施の形態に係る外観面検査システムの構成を示すブロック図である。It is a block diagram which shows the structure of the external appearance inspection system which concerns on the 1st Embodiment of this invention. 検査対象物、エリアカメラ、ライン照明、及びバック照明を配置した様子を示すイメージ図である。It is an image figure which shows a mode that the test target object, area camera, line illumination, and back illumination are arrange | positioned. 面によって反射光の角度が変化する様子を示すイメージ図である。It is an image figure which shows a mode that the angle of reflected light changes with surfaces. 画素ラインの輝度の変化を示すグラフである。It is a graph which shows the change of the brightness | luminance of a pixel line. (A)検査対象物を撮像した画像を示すイメージ図、及び(B)外観面画像を示すイメージ図である。(A) It is an image figure which shows the image which imaged the test target object, (B) It is an image figure which shows an external surface image. 本発明の第1の実施の形態に係る外観面検査システムにおける欠陥検出処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the defect detection process routine in the external appearance inspection system which concerns on the 1st Embodiment of this invention. 本発明の第1の実施の形態に係る外観面検査システムにおける撮像画像取得処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the captured image acquisition process routine in the external appearance inspection system which concerns on the 1st Embodiment of this invention. (A)R平均画像の例を示す図、(B)G平均画像の例を示す図、及び(C)外観面画像と欠陥候補を示す画面の例を示す図である。(A) The figure which shows the example of R average image, (B) The figure which shows the example of G average image, (C) The figure which shows the example of the screen which shows an external surface image and a defect candidate. 検査対象物、駆動ステージ、エリアカメラ、及びライン照明を配置した様子を示すイメージ図である。It is an image figure which shows a mode that the test object, the drive stage, the area camera, and the line illumination were arrange | positioned. 検査対象物を撮像した画像を示すイメージ図である。It is an image figure which shows the image which imaged the test target object. 切り出し領域を合成する際のフレーム間のピッチを説明するための図である。It is a figure for demonstrating the pitch between frames at the time of synthesize | combining a cut-out area | region. 本発明の第2の実施の形態に係る外観面検査システムにおける欠陥検出処理ルーチンの内容を示すフローチャートである。It is a flowchart which shows the content of the defect detection process routine in the external appearance inspection system which concerns on the 2nd Embodiment of this invention. (A)検査対象物であるレンズを撮像した画像の例を示す図、及び(B)外観面画像と欠陥候補を示す画面の例を示す図である。(A) The figure which shows the example of the image which imaged the lens which is a test object, (B) The figure which shows the example of the screen which shows an external surface image and a defect candidate. (A)検査対象物であるタッチパネルを撮像した画像の例を示す図、及び(B)外観面画像と欠陥候補を示す画面の例を示す図である。(A) The figure which shows the example of the image which imaged the touchscreen which is a test object, (B) The figure which shows the example of the screen which shows an external surface image and a defect candidate.

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、回転対称形状の検査対象物の外観面から3次元的な欠陥を検出する外観面検査システムに本発明を適用した場合を例に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to an appearance surface inspection system that detects a three-dimensional defect from an appearance surface of a rotationally symmetric inspection object will be described as an example.

図1に示すように、第1の実施の形態に係る外観面検査システム10は、検査対象物である回転対称形状(例えば、円柱形)の金属部材を、回転対称形状の回転中心軸を回転軸として回転させる駆動部12と、検査対象物の外観面に対して、緑色の線状スリット光を照射するライン照明14と、検査対象物に対して、ライン照明14と反対側から、赤色の光を照射するバック照明16と、ライン照明14からの線状スリット光の反射光、及びバック照明16からの光を含む領域を撮像するエリアカメラ18と、エリアカメラ18により撮像された撮像画像に基づいて、検査対象物の外観面の状態を表わす外観面画像を生成すると共に、外観面の欠陥候補を検出して、表示装置22に表示させるコンピュータ20とを備えている。   As shown in FIG. 1, the appearance inspection system 10 according to the first embodiment rotates a rotationally symmetric (for example, cylindrical) metal member, which is an inspection object, about a rotationally symmetric rotation center axis. The driving unit 12 that rotates as an axis, the line illumination 14 that irradiates the green linear slit light to the external surface of the inspection object, and the red light from the opposite side of the line illumination 14 to the inspection object A back illumination 16 that irradiates light, an area camera 18 that captures an area including light reflected from the linear illumination light from the line illumination 14, and light from the back illumination 16, and a captured image captured by the area camera 18. Based on this, an external surface image representing the state of the external surface of the inspection object is generated, and a computer 20 that detects defects on the external surface and displays them on the display device 22 is provided.

図2に示すように、検査対象物24の回転軸に対して平行な線状スリット光が検査対象物24の外観面に照射されるように、ライン照明14が配置され、線状スリット光の反射光を含む領域が撮像されるようにエリアカメラ18が配置されている。また、バック照明16からの光が、検査対象物24越しに撮像されるように、バック照明16及びエリアカメラ18が配置されている。ライン照明14、バック照明16、及びエリアカメラ18は固定され、また、検査対象物24のみ回転させるように検査対象物24が駆動部12の駆動ステージ上に設置される。   As shown in FIG. 2, the line illumination 14 is arranged so that the linear slit light parallel to the rotation axis of the inspection object 24 is irradiated on the appearance surface of the inspection object 24, and the linear slit light An area camera 18 is arranged so that an area including reflected light is imaged. Further, the back illumination 16 and the area camera 18 are arranged so that light from the back illumination 16 is imaged through the inspection object 24. The line illumination 14, the back illumination 16, and the area camera 18 are fixed, and the inspection object 24 is installed on the drive stage of the drive unit 12 so that only the inspection object 24 is rotated.

なお、撮像する検査対象物によって、キズやダコン等の欠陥が最もよく光るカメラの撮像方向の角度、照明の種類、照明の当て方、及び照明の角度が異なるため、検査対象物の種類毎に、カメラの撮像方向の角度、照明の種類、当て方、及び角度を予め求めておき、検査対象物の種類に応じて、エリアカメラ18、ライン照明14、及びバック照明16が設置される。   Depending on the inspection object to be imaged, the imaging direction angle, illumination type, illumination method, and illumination angle of the camera where defects such as scratches and dacon are shining best differ for each type of inspection object. The angle in the imaging direction of the camera, the type of illumination, how to apply, and the angle are obtained in advance, and the area camera 18, the line illumination 14, and the back illumination 16 are installed according to the type of inspection object.

エリアカメラ18は、2次元に配列された複数の画素の各々に入射された可視光に応じた信号を出力する複数の受光素子を備え、複数の受光素子から出力された信号をデジタル信号に変換して、カラー画像を生成する。   The area camera 18 includes a plurality of light receiving elements that output signals corresponding to visible light incident on each of a plurality of pixels arranged two-dimensionally, and converts signals output from the plurality of light receiving elements into digital signals. Then, a color image is generated.

ライン照明14は、照射する線状スリット光の長さ方向に一列に配列された複数のLEDと、LEDの配列方向に長尺であるシリンドリカルレンズとを備え、複数のLEDから発光された光が、シリンドリカルレンズを介して、線状スリット光として照射される。   The line illumination 14 includes a plurality of LEDs arranged in a line in the length direction of the linear slit light to be irradiated and a cylindrical lens that is long in the LED arrangement direction, and light emitted from the plurality of LEDs is emitted from the LEDs. Irradiated as a linear slit light through a cylindrical lens.

コンピュータ20は、CPU、後述する欠陥検出処理ルーチンのプログラムを記憶したROM、データ等を記憶するRAM、及びこれらを接続するバスを含んで構成されている。このコンピュータ20をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、上記図1に示すように、コンピュータ20は、駆動部12による検査対象物24の回転を制御する駆動制御部28と、検査対象物24の回転に応じてエリアカメラ18による撮像を制御すると共にエリアカメラ18から連続して出力される複数のカラー画像を取得する画像取得部30と、複数のカラー画像に対して画像処理を行って検査対象物24の外観面の凹凸状態を表わす外観面画像を生成する画像処理部32と、外観面画像から3次元的な欠陥の候補を検出して、外観面画像及び検出結果を表示装置22に出力する欠陥検出部34とを備えている。   The computer 20 includes a CPU, a ROM that stores a program of a defect detection processing routine that will be described later, a RAM that stores data, and a bus that connects these. If the computer 20 is described by functional blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, the computer 20 rotates the inspection object 24 by the drive unit 12. A drive control unit 28 for controlling, an image acquisition unit 30 for controlling the imaging by the area camera 18 according to the rotation of the inspection object 24 and acquiring a plurality of color images continuously output from the area camera 18; An image processing unit 32 that performs image processing on the color image to generate an appearance surface image representing the unevenness of the appearance surface of the inspection object 24, and detects a three-dimensional defect candidate from the appearance surface image. And a defect detection unit 34 for outputting the appearance surface image and the detection result to the display device 22.

駆動制御部28は、エリアカメラ18による撮像が行われる毎に、予め決定された回転量分だけ検査対象物を回転させるように駆動部12を制御する。なお、検査対象物の1回転で撮像すべきフレーム数を決めておき、フレーム数より以下の(1)式に従って、回転量(回転角度)が予め決定される。
回転量a[deg/frame]=360°/フレーム数 ・・・(1)
The drive control unit 28 controls the drive unit 12 to rotate the inspection object by a predetermined amount of rotation every time the area camera 18 performs imaging. Note that the number of frames to be imaged in one rotation of the inspection object is determined, and the rotation amount (rotation angle) is determined in advance from the number of frames according to the following equation (1).
Rotation amount a [deg / frame] = 360 ° / number of frames (1)

画像取得部30は、駆動部12による駆動が停止している時に、エリアカメラ18による撮像を行うように制御する。また、画像取得部30は、例えば、A/Dコンバータや画像データを記憶する画像メモリ等を備え、エリアカメラ18から出力される複数のカラー画像を取得して保存する。   The image acquisition unit 30 controls to perform imaging by the area camera 18 when driving by the driving unit 12 is stopped. The image acquisition unit 30 includes, for example, an A / D converter and an image memory that stores image data, and acquires and stores a plurality of color images output from the area camera 18.

次に、本発明に係る実施の形態の原理について説明する。   Next, the principle of the embodiment according to the present invention will be described.

上述したように、ライン照明14とエリアカメラ18とを設置し、検査対象物が設置された駆動ステージを一定距離移動させながら、連続的に画像を取る。   As described above, the line illumination 14 and the area camera 18 are installed, and images are continuously taken while the drive stage on which the inspection object is installed is moved a certain distance.

ここで、図3(A)〜図3(C)に示すように、面によって反射光がエリアカメラに入る角度が変わる。したがって、得られた画像データにおける、ライン照明によって明暗が分かれる境界の部分が、3次元的な欠陥(キズやダコン等)に関して最も確認しやすい部分である。連続撮像した画像から、その明暗が分かれる部分をスリット画像として抽出し、スリット画像を並べて繋ぎ合わせて、プレーン画像を生成することで、その検査対象物の外観面の凹凸状態を表わす画像を得ることができる。   Here, as shown in FIGS. 3A to 3C, the angle at which the reflected light enters the area camera varies depending on the surface. Therefore, in the obtained image data, the boundary portion where light and dark are separated by line illumination is the portion that is most easily confirmed with respect to a three-dimensional defect (such as a scratch or a dacon). Extracting the part where the light and dark are separated from the continuously captured images as slit images, and joining the slit images together to generate a plain image, thereby obtaining an image representing the uneven state of the appearance surface of the inspection object Can do.

そこで、本実施の形態では、画像処理部32によって、以下に説明するように、複数のカラー画像に基づいて、外観面画像を生成する。   Therefore, in the present embodiment, as described below, the image processing unit 32 generates an appearance surface image based on a plurality of color images.

まず、取得したカラー画像の各々について、y軸方向が回転軸方向になるように画像を回転させる。例えば、取得したカラー画像において回転軸がx軸方向である場合に、縦軸(y軸)方向が回転軸方向になるように画像を270°回転させる。   First, for each acquired color image, the image is rotated so that the y-axis direction becomes the rotation axis direction. For example, when the rotation axis is the x-axis direction in the acquired color image, the image is rotated 270 ° so that the vertical axis (y-axis) direction is the rotation axis direction.

また、カラー画像の各画素について、24bitからR、Gの8bitに減色させて、R画像及びG画像に変換する。   For each pixel of the color image, the color is reduced from 24 bits to 8 bits of R and G, and converted into an R image and a G image.

次に、回転軸のぶれを最小限に抑えるためにスムージングを行って、ノイズを減らした画像を生成する。例えば、100フレームの全撮像画像から得られる100フレームのR画像から、0フレーム目、10フレーム目、20フレーム目、30フレーム目、・・・と所定フレーム間隔で複数枚選択し、選択されたR画像の平均を取って、R平均画像を生成する。また同様にG平均画像も生成する。   Next, smoothing is performed in order to minimize the shake of the rotation axis, and an image with reduced noise is generated. For example, from 100 frames of R images obtained from all 100 frames of captured images, a plurality of frames are selected at predetermined frame intervals, such as 0th frame, 10th frame, 20th frame, 30th frame, etc. An average of the R images is taken to generate an R average image. Similarly, a G average image is also generated.

次に、以下に説明するように、画像の回転軸と直交する方向である各ラインについて、切り出しスタート位置と切り出し長とを決定する。   Next, as will be described below, the cutout start position and cutout length are determined for each line that is in the direction orthogonal to the rotation axis of the image.

まず、R平均画像とG平均画像とから各ラインの輝度値を調べる。例えば、同一のラインをR平均画像及びG平均画像の各々から切り出し、輝度の高いものを優先として重ね合わせて、図4に示すような、該ラインの輝度値の変化を抽出する。   First, the luminance value of each line is examined from the R average image and the G average image. For example, the same line is cut out from each of the R average image and the G average image, and those with high luminance are preferentially overlapped to extract a change in luminance value of the line as shown in FIG.

また、X方向に対する輝度の変化に基づいて、反射光を表わす部分(高輝度部分)から輝度値が輝度の平均値より下がったところを切り出しスタート位置Xsとして特定する。また、バック照明16により輝度が高くなっている部分を2箇所抽出して、抽出された部分の間隔から、検査対象物の直径又は半径rを特定する。そして、上記で決定された回転量(回転角度)aを用いて、以下の(2)式に従って、切り出し長を決定する。
切り出し長Length[ピクセル数]=2*π*r*a/360 ・・・(2)
Further, based on the change in the luminance with respect to the X direction, the portion where the luminance value has fallen from the average value of the luminance from the portion representing the reflected light (high luminance portion) is specified as the cutout start position Xs. Also, two portions where the luminance is increased by the back illumination 16 are extracted, and the diameter or radius r of the inspection object is specified from the interval between the extracted portions. Then, using the rotation amount (rotation angle) a determined above, the cutout length is determined according to the following equation (2).
Cutout length Length [number of pixels] = 2 * π * r * a / 360 (2)

全ラインについて切り出しスタート位置と切り出し長とを決定した後に、各ラインについて決定された切り出しスタート位置の変化を、前後のラインとの移動平均によって滑らかにする。例えば、以下の(3)式に従って、注目ラインの切り出しスタート位置について、前後のラインとの移動平均Xs’を計算する。
Xs’ = (X(s−1)+2Xs+X(s+1))/4 ・・・(3)
After determining the cut start position and cut length for all lines, the change of the cut start position determined for each line is smoothed by a moving average with the preceding and following lines. For example, according to the following equation (3), the moving average Xs ′ with the preceding and following lines is calculated for the cutout start position of the target line.
Xs ′ = (X (s−1) + 2Xs + X (s + 1)) / 4 (3)

ただし、Xsは、注目ラインの切り出しスタート位置であり、X(s−1)は、注目ラインより1つ前のラインの切り出しスタート位置であり、X(s+1)は、注目ラインより1つ後のラインの切り出しスタート位置である。   However, Xs is the cutout start position of the target line, X (s−1) is the cutout start position of the line immediately before the target line, and X (s + 1) is one after the target line. This is the line cut start position.

また、以下の(4)式に従って、注目ラインの切り出し長について、前後のラインとの移動平均Ls’を計算する。
Ls’ = (L(s−1)+2Ls+L(s+1))/4 ・・・(4)
Further, according to the following equation (4), the moving average Ls ′ with the preceding and succeeding lines is calculated for the cutout length of the target line.
Ls ′ = (L (s−1) + 2Ls + L (s + 1)) / 4 (4)

ただし、Lsは、注目ラインの切り出し長であり、L(s−1)は、注目ラインより1つ前のラインの切り出し長であり、L(s+1)は、注目ラインより1つ後のラインの切り出し長である。   However, Ls is the cut-out length of the target line, L (s-1) is the cut-out length of the line immediately before the target line, and L (s + 1) is the line after the target line. The cut length.

なお、上記の移動平均の幅は、パラメータで設定するようにしてもよい。   Note that the moving average width may be set by a parameter.

以上のように各ラインについて決定された2つの値(切り出しスタート位置Xs’、切り出し長Length)を保持する。   As described above, the two values determined for each line (cutout start position Xs ′, cutout length Length) are held.

また、各ラインについて、切り出しスタート位置を任意に調整する。上述したように決定された切り出しスタート位置を基準として、スタート位置を遅らせるために予め設定された調整パラメータαを用いて、各ラインsについて、切り出しスタート位置Xs’+αを決定する。   Further, the cutout start position is arbitrarily adjusted for each line. Based on the cutout start position determined as described above, the cutout start position Xs ′ + α is determined for each line s using the adjustment parameter α set in advance to delay the start position.

そして、各ラインについて、上述したように決定された切り出しスタート位置及び切り出し長を読み込み、全撮像画像から、図5(A)に示すように、各ラインの切り出しスタート位置及び切り出し長から特定される領域(切り出しスタート位置から、反射光を表わす部分と反対側に、切り出し長だけ離れた位置までの各ラインの画素列からなる領域)を切り出す。切り出された領域を、全撮像画像について並べるように繋ぎ合わせて、図5(B)に示すように、回転対称形状を展開したような平面画像(プレーン画像)を、外観面画像として生成する。   Then, for each line, the cut start position and cut length determined as described above are read, and are specified from the cut start position and cut length of each line as shown in FIG. 5A from all captured images. A region (region consisting of a pixel row of each line from the cutout start position to a position away from the portion representing the reflected light by a cutout length) is cut out. The cut out regions are connected so as to be arranged for all the captured images, and as shown in FIG. 5B, a plane image (plane image) in which a rotationally symmetric shape is developed is generated as an appearance surface image.

以上説明したように、画像処理部32は、画像処理を行うことにより、検査対象物の外観面全体の凹凸状態を表わす外観面画像を生成する。なお、切り出しスタート位置及び切り出し長から特定される領域が、本発明の反射光を表わす部分の周辺の所定領域の一例である。   As described above, the image processing unit 32 performs an image process to generate an appearance surface image representing the uneven state of the entire appearance surface of the inspection object. The area specified from the cutout start position and the cutout length is an example of a predetermined area around the portion representing the reflected light of the present invention.

欠陥検出部34は、生成された外観面画像から、輝度値が指定輝度(パラメータで調整可能な値)以上となる部分を欠陥候補として検出する。また、欠陥検出部34は、検出された欠陥候補の各々について、明るさ、大きさ、及び形状に基づいて、欠陥を種別する。例えば、明るさが小さい場合には、汚れや指紋の可能性があると種別され、明るさが大きく、且つ、丸い形状である場合には、ダコンや気泡の可能性があると種別される。   The defect detection unit 34 detects, as a defect candidate, a portion where the luminance value is greater than or equal to the specified luminance (a value that can be adjusted with parameters) from the generated appearance surface image. Further, the defect detection unit 34 classifies the defect for each detected defect candidate based on the brightness, size, and shape. For example, when the brightness is low, it is classified as possible dirt or fingerprints, and when the brightness is large and the shape is round, it is classified as possible dacon or bubbles.

次に、本実施の形態に係る外観面検査システム10の作用について説明する。検査対象物として、回転対称形状の金属部材が駆動ステージ上に設置される。また、コンピュータ20に対して、検査対象物を1回転する間に撮像すべきフレーム数がオペレータによって入力設定されると、上記(1)式に従って、回転量が決定される。また、コンピュータ20において、図6に示す欠陥検出処理ルーチンが実行される。   Next, the operation of the appearance surface inspection system 10 according to the present embodiment will be described. As an inspection object, a rotationally symmetric metal member is placed on the drive stage. Further, when the operator inputs and sets the number of frames to be imaged during one rotation of the inspection object with respect to the computer 20, the rotation amount is determined according to the above equation (1). Further, the computer 20 executes a defect detection processing routine shown in FIG.

まず、ステップ100において、複数の撮像画像を取得する。上記ステップ100は、図7に示す撮像画像取得処理ルーチンによって実現される。   First, in step 100, a plurality of captured images are acquired. Step 100 is realized by the captured image acquisition processing routine shown in FIG.

ステップ120において、撮像する画像のフレーム番号を識別するための変数nを初期値の1に設定し、ステップ122において、エリアカメラ18による撮像を行うように制御すると共に、エリアカメラ18から出力されるカラー画像を取得する。   In step 120, a variable n for identifying the frame number of the image to be captured is set to an initial value of 1. In step 122, control is performed so that the area camera 18 performs imaging, and the image is output from the area camera 18. Get a color image.

次のステップ124では、上記ステップ122で取得したカラー画像をビットマップ(BMP)ファイルとしてメモリ(図示省略)に保存する。   In the next step 124, the color image acquired in step 122 is stored in a memory (not shown) as a bitmap (BMP) file.

そして、ステップ126において、予め決定された回転量分だけ検査対象物を回転させるように駆動部12を制御して、検査対象物を回転量分だけ回転させる。次のステップ128では、変数nが、1回転する間に撮像すべきフレーム数を表わす定数N未満であるか否かを判定し、変数nが定数N未満である場合には、ステップ130で、変数nをインクリメントして、ステップ122へ戻る。一方、1回転する間に撮像すべきフレーム数分だけカラー画像が撮像され、変数nが定数Nに到達した場合には、撮像画像取得処理ルーチンを終了する。   In step 126, the drive unit 12 is controlled to rotate the inspection object by a predetermined amount of rotation, and the inspection object is rotated by the amount of rotation. In the next step 128, it is determined whether or not the variable n is less than a constant N representing the number of frames to be imaged during one rotation. If the variable n is less than the constant N, in step 130, The variable n is incremented and the process returns to step 122. On the other hand, when a color image is captured for the number of frames to be captured during one rotation and the variable n reaches a constant N, the captured image acquisition processing routine is terminated.

そして、欠陥検出処理ルーチンのステップ102において、上記ステップ100で取得したカラー画像の各々から、R画像及びG画像に変換し、所定フレーム間隔で選択されるR画像から、図8(A)に示すような、R平均画像を生成する。また、所定フレーム間隔で選択されるG画像から、図8(B)に示すような、G平均画像を生成する。   Then, in step 102 of the defect detection processing routine, each of the color images acquired in step 100 is converted into an R image and a G image, and the R image selected at a predetermined frame interval is shown in FIG. Such an R average image is generated. Further, a G average image as shown in FIG. 8B is generated from the G image selected at a predetermined frame interval.

次のステップ104では、上記ステップ102で生成されたR平均画像及びG平均画像から、各ラインの輝度値の変化を抽出し、各ラインについて切り出しスタート位置及び切り出し長を決定して、切り出し領域を決定する。   In the next step 104, the change of the luminance value of each line is extracted from the R average image and the G average image generated in step 102, the cut start position and cut length are determined for each line, and the cut region is determined. decide.

そして、ステップ106において、上記ステップ100で取得した全てのカラー画像の各々から、上記ステップ104で決定された切り出し領域を読み込み、ステップ108において、上記ステップ106で読み込んだ切り出し領域の画像データを並べて合成することにより、外観面画像を生成する。   In step 106, the cutout area determined in step 104 is read from each of all the color images acquired in step 100. In step 108, the image data of the cutout area read in step 106 are arranged and combined. By doing so, an appearance surface image is generated.

そして、ステップ110では、上記ステップ108で生成された外観面画像から、輝度値が所定値以上である部分を欠陥候補として検出すると共に、欠陥候補の各々について欠陥を種別する。   In step 110, a portion having a luminance value equal to or higher than a predetermined value is detected as a defect candidate from the appearance surface image generated in step 108, and a defect is classified for each defect candidate.

次のステップ112では、上記ステップ108で生成された外観面画像と上記ステップ110で検出された欠陥候補とを表示装置22に出力し、図8(C)に示すような画面を表示装置22に表示させて、欠陥検出処理ルーチンを終了する。   In the next step 112, the appearance surface image generated in step 108 and the defect candidate detected in step 110 are output to the display device 22, and a screen as shown in FIG. Then, the defect detection processing routine is terminated.

以上説明したように、第1の実施の形態に係る外観面検査システムによれば、複数の撮像画像の各々から、反射光を表わす部分の周辺の、切り出しスタート位置及び切り出し長により特定される領域を切り出して、切り出された領域の画像データを並べて合成することにより、簡易な構成で、検査対象物の外観面の凹凸状態を表わした外観面画像を生成することができる。また、輝度が所定値以上となる領域を検出することにより、簡易な構成で、検査対象物の外観面の欠陥部分を検出することができる。   As described above, according to the appearance inspection system according to the first embodiment, the area specified by the cutout start position and the cutout length around the portion representing the reflected light from each of the plurality of captured images. By cutting out and combining the image data of the cut out regions side by side, it is possible to generate an appearance surface image representing the uneven state of the appearance surface of the inspection object with a simple configuration. Further, by detecting a region where the luminance is greater than or equal to a predetermined value, it is possible to detect a defective portion on the appearance surface of the inspection object with a simple configuration.

なお、上記の実施の形態では、画素ラインにおける輝度の変化から、輝度値が平均値以下に下がった位置を、切り出しスタート位置として決定した場合を例に説明したが、これに限定されるものではなく、他の手法で、切り出しスタート位置を決定するようにしてもよい。例えば、検査対象物の直径からn%の位置(パラメータで設定可能)を切り出しスタート位置として決定するようにしてもよい。   In the above-described embodiment, the case where the position where the luminance value has fallen below the average value is determined as the extraction start position from the change in luminance in the pixel line has been described as an example. However, the present invention is not limited to this. Instead, the cutout start position may be determined by another method. For example, a position of n% (can be set by a parameter) from the diameter of the inspection target may be determined as the cut start position.

また、回転対称形状の金属部材を検査対象物とした場合を例に説明したが、これに限定されるものではなく、回転対称形状の光反射性を有する部材を検査対象物とすればよく、例えば、樹脂部材や透明部材を検査対象物としてもよい。   In addition, the case where the rotationally symmetrical metal member is used as the inspection object has been described as an example, but the present invention is not limited thereto, and a rotationally symmetrical member having light reflectivity may be used as the inspection object. For example, a resin member or a transparent member may be used as the inspection object.

次に、第2の実施の形態について説明する。なお、第2の実施の形態に係る外観面検査システムの構成は、第1の実施の形態と同様であるため、説明を省略する。   Next, a second embodiment will be described. In addition, since the structure of the external appearance inspection system which concerns on 2nd Embodiment is the same as that of 1st Embodiment, description is abbreviate | omitted.

第2の実施の形態では、板状の透明部材を検査対象物としている点と、エリアカメラによって検査対象物からの線状スリット光の透過光を撮像している点とが、第1の実施の形態と主に異なっている。   In the second embodiment, the point that the plate-shaped transparent member is the inspection object and the point that the transmitted light of the linear slit light from the inspection object is imaged by the area camera are the first implementation. It is mainly different from the form.

第2の実施の形態に係る外観面検査システムでは、検査対象物を、板状の透明部材とし、たとえば、レンズやタッチパネルを、検査対象物とする。なお、板状の透明部材は、平面と一部球状とで形成される形状のレンズも含むものとする。   In the appearance inspection system according to the second embodiment, the inspection object is a plate-like transparent member, and for example, a lens or a touch panel is the inspection object. In addition, a plate-shaped transparent member shall also contain the lens of the shape formed by a plane and a part spherical shape.

駆動部12は、検査対象物である板状の透明部材を、平面軸方向(検査対象物の面に平行な方向)に移動させる。たとえば、図9に示すように、検査対象物224が、駆動部12の透明な駆動ステージ上に設置され、検査対象物224の平面軸方向に駆動ステージが移動することにより、検査対象物224が移動する。   The drive unit 12 moves the plate-shaped transparent member that is the inspection object in the plane axis direction (direction parallel to the surface of the inspection object). For example, as shown in FIG. 9, the inspection object 224 is installed on a transparent drive stage of the drive unit 12, and the inspection object 224 is moved by moving the drive stage in the plane axis direction of the inspection object 224. Moving.

また、検査対象物224の平面に対して平行な線状スリット光を検査対象物224の外観面に照射するように、ライン照明14が配置され、線状スリット光の透過光を含む領域を撮像するようにエリアカメラ18が配置されている。ライン照明14及びエリアカメラ18は固定されている。   Further, the line illumination 14 is arranged so as to irradiate the external surface of the inspection object 224 with linear slit light parallel to the plane of the inspection object 224, and an area including the transmitted light of the linear slit light is imaged. The area camera 18 is arranged to do so. The line illumination 14 and the area camera 18 are fixed.

駆動制御部28は、エリアカメラ18による撮像が行われる毎に、予め任意に決定された移動量分だけ検査対象物を移動させるように駆動部12を制御する。   The drive control unit 28 controls the drive unit 12 so as to move the inspection object by an amount determined in advance each time an image is captured by the area camera 18.

画像取得部30は、駆動部12による駆動が停止している時に、エリアカメラ18による撮像を行うように制御する。また、画像取得部30は、エリアカメラ18から出力されるカラー画像を取得して保存する。なお、撮像する検査対象物の長さ、及び任意に決定された撮像間の移動量に基づいて、撮像すべきフレーム枚数が決定される。また、画素サイズが移動分解能の倍数になるように、エリアカメラ18を調整することが好ましい。   The image acquisition unit 30 controls to perform imaging by the area camera 18 when driving by the driving unit 12 is stopped. The image acquisition unit 30 acquires and stores a color image output from the area camera 18. Note that the number of frames to be imaged is determined based on the length of the inspection object to be imaged and the amount of movement between the arbitrarily determined images. Moreover, it is preferable to adjust the area camera 18 so that the pixel size is a multiple of the moving resolution.

画像処理部32は、以下に説明するように、複数のカラー画像に基づいて、外観面画像を生成する。   As described below, the image processing unit 32 generates an appearance surface image based on a plurality of color images.

まず、複数のカラー画像の各々に対して、以下の処理を行う。   First, the following processing is performed for each of a plurality of color images.

対象のカラー画像から、予め定められた輝度値以上となる高輝度部分を抽出し、ラベリング処理を行って、抽出された高輝度部分のうち、最も大きい領域を特定する。この特定された領域が、線状スリット光の透過光を表わす部分であるライン部として決定される。また、スムージング処理のために、図10に示すように、指定量分だけライン部の膨張を行い、膨張された領域を、ライン部として決定する。   From the target color image, a high-luminance portion that is equal to or higher than a predetermined luminance value is extracted, and a labeling process is performed to identify the largest region among the extracted high-luminance portions. This specified region is determined as a line portion which is a portion representing the transmitted light of the linear slit light. Further, for the smoothing process, as shown in FIG. 10, the line portion is expanded by a specified amount, and the expanded region is determined as the line portion.

次に、上述したように決定されたライン部に対して、予め定められた量だけ膨張を行って、関心領域ROI(Region of Interest)を決定する。このとき、有効な画像データが得られる部分まで関心領域ROIの範囲を広げる。そして、図10に示すように、関心領域ROIから上記のライン部を除いた領域を、検査に有効な領域、すなわち凹凸が最もわかる部分とし、切り出し領域として決定する。この切り出し領域が検査エリアとなる。   Next, the line portion determined as described above is expanded by a predetermined amount to determine a region of interest ROI (Region of Interest). At this time, the range of the region of interest ROI is expanded to a portion where valid image data is obtained. Then, as shown in FIG. 10, a region obtained by removing the above-described line portion from the region of interest ROI is determined as a cut-out region, which is a region effective for inspection, that is, a portion where unevenness is most clearly understood. This cutout area becomes an inspection area.

上記の処理により、複数のカラー画像の各々について、切り出し領域が決定される。なお、切り出し領域が、本発明の透過光を表わす部分の周辺の所定領域の一例である。   With the above processing, a cutout region is determined for each of the plurality of color images. The cut-out area is an example of a predetermined area around the portion representing the transmitted light according to the present invention.

次に、全てのカラー画像の各々から、対応する切り出し領域を切り出す。切り出された切り出し領域の画像データを、全カラー画像について図11に示すように所定ピッチずらしながら重ね合わせるように合成して、外観面画像を生成する。なお、合成する際に重ね合わさる画素は、輝度の高い方を優先する。また、合成する際のフレーム間のピッチは、撮像した際のパラメータ移動量と、画素サイズとに基づいて、以下の(5)式に従って決まる。
フレーム間のピッチ=移動量[um]/画素サイズ[um] ・・・(5)
Next, a corresponding cutout region is cut out from each of all the color images. The image data of the cut-out regions that have been cut out are synthesized so as to overlap each other with a predetermined pitch shift for all color images as shown in FIG. It should be noted that a higher luminance is given priority to the pixels to be overlapped when combining. Further, the pitch between frames at the time of combining is determined according to the following expression (5) based on the amount of parameter movement at the time of imaging and the pixel size.
Pitch between frames = movement amount [um] / pixel size [um] (5)

以上説明したように、画像処理部32は、上記の画像処理を行うことにより、検査対象物の外観面全体の凹凸状態を表わす外観面画像を生成する。   As described above, the image processing unit 32 performs the above-described image processing to generate an appearance surface image representing the uneven state of the entire appearance surface of the inspection target.

次に、第2の実施の形態に係る欠陥検出処理ルーチンについて、図12を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して説明を省略する。また、検査対象物としてレンズを用いた場合を例に説明する。   Next, a defect detection processing routine according to the second embodiment will be described with reference to FIG. In addition, about the process similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted. Further, a case where a lens is used as an inspection object will be described as an example.

まず、ステップ250において、複数の撮像画像を取得する。上記ステップ250は、撮像画像取得処理ルーチンによって実現される。   First, in step 250, a plurality of captured images are acquired. Step 250 is realized by a captured image acquisition process routine.

本実施の形態に係る撮像画像取得ルーチンでは、まず、エリアカメラ18による撮像を行うように制御すると共に、エリアカメラ18から出力される図13(A)に示すようなカラー画像を取得し、取得したカラー画像をビットマップ(BMP)ファイルとしてメモリ(図示省略)に保存する。   In the captured image acquisition routine according to the present embodiment, first, control is performed so as to perform imaging by the area camera 18, and a color image as shown in FIG. 13A output from the area camera 18 is acquired and acquired. The color image is stored in a memory (not shown) as a bitmap (BMP) file.

そして、予め決定された移動量分だけ検査対象物を移動させるように駆動部12を制御して、検査対象物を移動量分だけ移動させる。   Then, the drive unit 12 is controlled to move the inspection object by a predetermined movement amount, and the inspection object is moved by the movement amount.

上記の処理を、撮像すべきフレーム数分だけカラー画像が撮像されるまで繰り返し行って、撮像画像取得処理ルーチンを終了する。   The above processing is repeated until a color image is captured for the number of frames to be captured, and the captured image acquisition processing routine is terminated.

そして、撮像画像取得処理ルーチンのステップ252において、上記ステップ250で取得したカラー画像の各々から、線状スリット光の透過光を表わすライン部を決定する。   In step 252 of the captured image acquisition processing routine, a line portion representing transmitted light of the linear slit light is determined from each of the color images acquired in step 250.

次のステップ254では、上記ステップ252で決定された各カラー画像のライン部を、予め定められた量だけ各々膨張させて、関心領域を各々決定し、ステップ256において、カラー画像の各々について、上記ステップ254で決定された関心領域から、上記ステップ252で決定されたライン部を除いて、切り出し領域を各々決定する。   In the next step 254, the line portion of each color image determined in the above step 252 is expanded by a predetermined amount to determine each region of interest. From the region of interest determined in step 254, the cut-out region is determined by excluding the line portion determined in step 252.

そして、ステップ258において、上記ステップ250で取得した全てのカラー画像の各々から、上記ステップ256で決定された、対応する切り出し領域を読み込み、ステップ260において、上記ステップ258で読み込んだ切り出し領域の画像データを、所定ピッチずらしながら合成し、外観面画像を生成する。   In step 258, the corresponding cutout area determined in step 256 is read from each of all the color images acquired in step 250. In step 260, the image data of the cutout area read in step 258 is read. Are synthesized while shifting by a predetermined pitch to generate an appearance surface image.

そして、ステップ110では、上記ステップ260で生成された外観面画像から、輝度値が所定値以上である部分を欠陥候補として検出すると共に、欠陥候補の各々について欠陥を種別する。   In step 110, a portion having a luminance value equal to or higher than a predetermined value is detected as a defect candidate from the appearance surface image generated in step 260, and a defect is classified for each defect candidate.

次のステップ112では、上記ステップ260で生成された外観面画像と上記ステップ110で検出された欠陥候補とを表示装置22に出力し、図13(B)に示すような画面を表示装置22に表示させて、欠陥検出処理ルーチンを終了する。   In the next step 112, the appearance surface image generated in step 260 and the defect candidates detected in step 110 are output to the display device 22, and a screen as shown in FIG. Then, the defect detection processing routine is terminated.

検査対象物としてタッチパネルを用いた場合には、上記欠陥検出処理ルーチンが実行されることにより、図14(A)に示すようなカラー画像が撮像され、生成された外観面画像と検出された欠陥候補とが表示装置22に出力されて、図14(B)に示すような画面が表示装置22に表示される。   When a touch panel is used as the inspection object, a color image as shown in FIG. 14A is captured by executing the defect detection processing routine, and the generated appearance surface image and the detected defect are detected. The candidates are output to the display device 22 and a screen as shown in FIG. 14B is displayed on the display device 22.

以上説明したように、第2の実施の形態に係る外観面検査システムによれば、複数の撮像画像の各々から、関心領域からライン部を除いた、線状スリット光の透過光を表わす部分の周辺の切り出し領域を切り出して、切り出された領域の画像データを並べて合成することにより、簡易な構成で、検査対象物の外観面の凹凸状態を表わした外観面画像を生成することができる。また、輝度が所定値以上となる領域を検出することにより、簡易な構成で、検査対象物の外観面の欠陥部分を検出することができる。   As described above, according to the appearance inspection system according to the second embodiment, the portion representing the transmitted light of the linear slit light excluding the line portion from the region of interest from each of the plurality of captured images. By cutting out peripheral cutout areas and arranging the image data of the cutout areas side by side, it is possible to generate an external appearance image representing the uneven state of the external appearance surface of the inspection object with a simple configuration. Further, by detecting a region where the luminance is greater than or equal to a predetermined value, it is possible to detect a defective portion on the appearance surface of the inspection object with a simple configuration.

次に、第3の実施の形態について説明する。なお、第3の実施の形態に係る外観面検査システムの構成は、第1の実施の形態と同様であるため、説明を省略する。   Next, a third embodiment will be described. In addition, since the structure of the external appearance inspection system which concerns on 3rd Embodiment is the same as that of 1st Embodiment, description is abbreviate | omitted.

第3の実施の形態では、板状の樹脂部材を検査対象物としている点と、エリアカメラによって検査対象物からの線状スリット光の反射光を撮像している点とが、第2の実施の形態と主に異なっている。   In the third embodiment, the point that the plate-shaped resin member is the inspection object and the point that the reflected light of the linear slit light from the inspection object is imaged by the area camera are the second embodiment. It is mainly different from the form.

第3の実施の形態に係る外観面検査システムでは、検査対象物を、板状の樹脂部材とする。   In the appearance inspection system according to the third embodiment, the inspection object is a plate-shaped resin member.

駆動部12は、検査対象物である板状の樹脂部材を、平面軸方向に移動させる。また、検査対象物224の平面に対して平行な線状スリット光を検査対象物224の外観面に照射するように、ライン照明14が配置され、線状スリット光の反射光を含む領域を撮像するようにエリアカメラ18が配置されている。   The drive part 12 moves the plate-shaped resin member which is a test object in the plane axis direction. Further, the line illumination 14 is arranged so as to irradiate the external surface of the inspection object 224 with linear slit light parallel to the plane of the inspection object 224, and an area including the reflected light of the linear slit light is imaged. The area camera 18 is arranged to do so.

画像処理部32は、以下に説明するように、複数のカラー画像に基づいて、外観面画像を生成する。   As described below, the image processing unit 32 generates an appearance surface image based on a plurality of color images.

まず、複数のカラー画像の各々に対して、以下の処理を行う。   First, the following processing is performed for each of a plurality of color images.

対象のカラー画像から、予め定められた輝度値以上となる高輝度部分を抽出し、ラベリング処理を行って、抽出された高輝度部分のうち、最も大きい領域を特定する。この特定された領域が、線状スリット光の反射光を表わす部分であるライン部として決定される。また、スムージング処理のために、指定量分だけライン部の膨張を行い、膨張された領域を、ライン部として決定する。   From the target color image, a high-luminance portion that is equal to or higher than a predetermined luminance value is extracted, and a labeling process is performed to identify the largest region among the extracted high-luminance portions. This specified region is determined as a line portion that is a portion representing the reflected light of the linear slit light. Further, for the smoothing process, the line portion is expanded by a specified amount, and the expanded region is determined as the line portion.

次に、上述したように決定されたライン部に対して、予め定められた量だけ膨張を行って、関心領域ROIを決定する。そして、関心領域ROIから上記のライン部を除いた領域を、切り出し領域として決定する。   Next, the region of interest ROI is determined by expanding the line portion determined as described above by a predetermined amount. And the area | region remove | excluding said line part from the region of interest ROI is determined as a cutting-out area | region.

上記の処理により、複数のカラー画像の各々について、切り出し領域が決定される。なお、切り出し領域が、本発明の反射光を表わす部分の周辺の所定領域の一例である。   With the above processing, a cutout region is determined for each of the plurality of color images. The cut-out area is an example of a predetermined area around the portion representing the reflected light of the present invention.

次に、全てのカラー画像の各々から、対応する切り出し領域を切り出す。切り出された切り出し領域の画像データを、全カラー画像について所定ピッチずらしながら重ね合わせるように合成して、外観面画像を生成する。なお、合成する際に重ね合わさる画素は、輝度の高い方を優先する。   Next, a corresponding cutout region is cut out from each of all the color images. The cut-out image data of the cut-out area is synthesized so as to be overlapped with respect to all color images while shifting by a predetermined pitch to generate an appearance surface image. It should be noted that a higher luminance is given priority to the pixels to be overlapped when combining.

以上説明したように、画像処理部32は、上記の画像処理を行うことにより、検査対象物の外観面全体の凹凸状態を表わす外観面画像を生成する。   As described above, the image processing unit 32 performs the above-described image processing to generate an appearance surface image representing the uneven state of the entire appearance surface of the inspection target.

なお、第3の実施の形態に係る外観面検査システムの他の構成及び作用については、第2の実施の形態と同様であるため、説明を省略する。   In addition, about the other structure and effect | action of an external appearance inspection system which concern on 3rd Embodiment, since it is the same as that of 2nd Embodiment, description is abbreviate | omitted.

このように、複数の撮像画像の各々から、関心領域からライン部を除いた、線状スリット光の反射光を表わす部分の周辺の切り出し領域を切り出して、切り出された領域の画像データを並べて合成することにより、簡易な構成で、検査対象物の外観面の凹凸状態を表わした外観面画像を生成することができる。   In this way, from each of the plurality of captured images, the cut-out region around the portion representing the reflected light of the linear slit light, excluding the line portion from the region of interest, is cut out, and the image data of the cut-out regions are arranged side by side and synthesized. By doing so, it is possible to generate an appearance surface image representing the uneven state of the appearance surface of the inspection object with a simple configuration.

なお、上記の実施の形態では、板状の樹脂部材を検査対象物とした場合を例に説明したが、これに限定されるものではなく、板状の光反射性を有する部材を検査対象物とすればよく、例えば、金属部材や透明部材を検査対象物としてもよい。   In the above embodiment, the case where the plate-shaped resin member is used as the inspection object has been described as an example. However, the present invention is not limited to this, and a plate-shaped member having light reflectivity is used as the inspection object. For example, a metal member or a transparent member may be used as the inspection object.

なお、上記の第1の実施の形態〜第3の実施の形態では、検査対象物を一定量移動させる毎に、エリアカメラによる撮像を行う場合を例に説明したが、これに限定されるものではなく、例えば、駆動ステージを動かしながら連続的に撮像を行って、所定フレーム数分の撮像画像を得るようにしてもよい。この場合には、移動量(例えば、検査対象物の長さ)を参考に、駆動ステージの速度とエリアカメラのフレームレートとを算出し、算出された所定速度で検査対象物を移動させると共に、算出された所定のフレームレートで連続撮像を行う。そして、撮像すべきフレーム数分撮像されると、撮像を終了すると共に、移動を終了させ、得られた各撮像画像をビットマップファイルで保存する。   In the first to third embodiments described above, the case where imaging is performed by an area camera every time the inspection object is moved by a certain amount has been described as an example. However, the present invention is not limited to this. Instead, for example, images may be captured continuously while moving the drive stage to obtain a predetermined number of captured images. In this case, referring to the movement amount (for example, the length of the inspection object), the speed of the drive stage and the frame rate of the area camera are calculated, and the inspection object is moved at the calculated predetermined speed, Continuous imaging is performed at the calculated predetermined frame rate. When the number of frames to be imaged is captured, the imaging is terminated and the movement is terminated, and each captured image obtained is saved as a bitmap file.

10 外観面検査システム
12 駆動部
14 ライン照明
16 バック照明
18 エリアカメラ
20 コンピュータ
22 表示装置
24、224 検査対象物
28 駆動制御部
30 画像取得部
32 画像処理部
34 欠陥検出部
DESCRIPTION OF SYMBOLS 10 Appearance surface inspection system 12 Drive part 14 Line illumination 16 Back illumination 18 Area camera 20 Computer 22 Display apparatus 24, 224 Inspection object 28 Drive control part 30 Image acquisition part 32 Image processing part 34 Defect detection part

Claims (10)

検査対象物の外観面に線状の光を照射する光照射手段と、
前記検査対象物の外観面からの前記線状の光の透過光又は反射光を含む領域を撮像する撮像手段と、
前記検査対象物を移動又は回転させる駆動手段と、
前記検査対象物の所定の移動量毎又は所定の回転量毎に前記撮像手段により撮像された複数の撮像画像の各々から、前記透過光又は前記反射光を表わす部分の周辺の所定領域を切り出す切り出し手段と、
前記切り出し手段により切り出された前記所定領域の画像データを並べて合成して、前記検査対象物の外観面の状態を表わす外観面画像を生成する合成手段と、
を含む外観面画像生成装置。
A light irradiation means for irradiating the external surface of the inspection object with linear light;
Imaging means for imaging a region including transmitted light or reflected light of the linear light from the appearance surface of the inspection object;
Drive means for moving or rotating the inspection object;
Cutting out a predetermined region around the portion representing the transmitted light or the reflected light from each of a plurality of captured images captured by the imaging unit for each predetermined movement amount or predetermined rotation amount of the inspection object Means,
Combining the image data of the predetermined area cut out by the cut-out means to synthesize and generate an appearance surface image representing the state of the appearance surface of the inspection object;
An external surface image generation apparatus including:
前記合成手段によって生成された外観面画像から、所定輝度以上となる部分を、欠陥部分として検出する欠陥検出手段を更に含む請求項1記載の外観面画像生成装置。   The appearance surface image generation apparatus according to claim 1, further comprising defect detection means for detecting a portion having a predetermined luminance or higher as a defect portion from the appearance surface image generated by the synthesizing means. 前記検査対象物を、回転対称形状の光反射性を有する部材とし、
前記撮像手段は、前記検査対象物の外観面からの前記線状の光の反射光を含む領域を撮像し、
前記駆動手段は、前記回転対称形状の回転中心軸を回転軸として前記検査対象物を回転させる請求項1又は2記載の外観面画像生成装置。
The inspection object is a rotationally symmetric member having light reflectivity,
The imaging means images a region including reflected light of the linear light from the appearance surface of the inspection object,
The appearance surface image generation apparatus according to claim 1, wherein the driving unit rotates the inspection object about a rotation center axis of the rotationally symmetric shape as a rotation axis.
前記検査対象物を、板状の透明部材とし、
前記撮像手段は、前記検査対象物の外観面からの前記線状の光の透過光を含む領域を撮像し、
前記駆動手段は、前記検査対象物を、板状の面に平行な方向に移動させる請求項1又は2記載の外観面画像生成装置。
The inspection object is a plate-shaped transparent member,
The imaging means images an area including transmitted light of the linear light from the appearance surface of the inspection object,
The appearance surface image generation apparatus according to claim 1, wherein the driving unit moves the inspection object in a direction parallel to a plate-like surface.
前記検査対象物を、板状の光反射性を有する部材とし、
前記撮像手段は、前記検査対象物の外観面からの前記線状の光の反射光を含む領域を撮像し、
前記駆動手段は、前記検査対象物を、板状の面に平行な方向に移動させる請求項1又は2記載の外観面画像生成装置。
The inspection object is a plate-like member having light reflectivity,
The imaging means images a region including reflected light of the linear light from the appearance surface of the inspection object,
The appearance surface image generation apparatus according to claim 1, wherein the driving unit moves the inspection object in a direction parallel to a plate-like surface.
前記切り出し手段は、前記撮像画像の回転軸と直交する各ラインについて、輝度が所定値以下となった画素から、前記反射光を表わす部分と反対側の所定数の画素を切り出すことにより、前記所定領域を切り出す請求項3記載の外観面画像生成装置。   The cutout means cuts out the predetermined number of pixels on the opposite side of the portion representing the reflected light from pixels whose luminance is equal to or lower than a predetermined value for each line orthogonal to the rotation axis of the captured image. The appearance surface image generation apparatus according to claim 3, wherein the region is cut out. 前記切り出し手段は、前記検査対象物の半径又は直径と前記所定の回転量とに基づいて各ラインについて決定される前記所定数の画素を切り出すことにより、前記所定領域を切り出す請求項6記載の外観面画像生成装置。   The appearance according to claim 6, wherein the cutout unit cuts out the predetermined region by cutting out the predetermined number of pixels determined for each line based on a radius or a diameter of the inspection object and the predetermined rotation amount. Surface image generation device. 前記切り出し手段は、各ラインに対して、切り出す画素の位置及び切り出す画素の前記所定数について前後のラインとの移動平均を求めることにより、切り出す画素の位置及び切り出す画素の前記所定数を決定する請求項7記載の外観面画像生成装置。   The cutout means determines the position of the pixel to be cut out and the predetermined number of pixels to be cut out by obtaining a moving average of the positions of the cutout pixels and the predetermined number of cutout pixels with respect to the preceding and succeeding lines for each line. Item 8. The appearance surface image generation device according to Item 7. 前記切り出し手段は、前記複数の撮像画像の各々について、前記透過光を表わす部分を特定し、前記特定された部分を膨張させ、前記膨張された領域のうち、前記透過光を表わす部分でない領域を、該撮像画像から、前記所定領域として切り出す請求項4記載の外観面画像生成装置。   The cutout unit specifies a portion representing the transmitted light for each of the plurality of captured images, expands the specified portion, and selects a region that is not a portion representing the transmitted light among the expanded regions. The external surface image generation apparatus according to claim 4, wherein the external image is cut out from the captured image as the predetermined region. 前記切り出し手段は、前記複数の撮像画像の各々について、前記反射光を表わす部分を特定し、前記特定された部分を膨張させ、前記膨張された領域のうち、前記反射光を表わす部分でない領域を、該撮像画像から、前記所定領域として切り出す請求項5記載の外観面画像生成装置。   The clipping means identifies a portion representing the reflected light for each of the plurality of captured images, expands the identified portion, and selects a region that is not a portion representing the reflected light among the expanded regions. 6. The appearance surface image generation apparatus according to claim 5, wherein the image is cut out as the predetermined area from the captured image.
JP2009015437A 2009-01-27 2009-01-27 Apparatus for forming image of appearance surface Pending JP2010175281A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009015437A JP2010175281A (en) 2009-01-27 2009-01-27 Apparatus for forming image of appearance surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009015437A JP2010175281A (en) 2009-01-27 2009-01-27 Apparatus for forming image of appearance surface

Publications (1)

Publication Number Publication Date
JP2010175281A true JP2010175281A (en) 2010-08-12

Family

ID=42706412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009015437A Pending JP2010175281A (en) 2009-01-27 2009-01-27 Apparatus for forming image of appearance surface

Country Status (1)

Country Link
JP (1) JP2010175281A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016142592A (en) * 2015-01-30 2016-08-08 富士通株式会社 Cylindrical product inspection device and cylindrical product inspection method
JP2019066371A (en) * 2017-10-03 2019-04-25 株式会社豊田中央研究所 Observation device and image analysis processing control program
EP3540414A1 (en) 2018-03-13 2019-09-18 OMRON Corporation Image inspection device, image inspection method and image inspection program
CN115876763A (en) * 2021-09-29 2023-03-31 日本电产株式会社 Imaging system and appearance inspection system
WO2023181668A1 (en) * 2022-03-24 2023-09-28 富士フイルム株式会社 Image formation device, image formation method, and inspection method
CN119044068A (en) * 2024-11-04 2024-11-29 宜宾禾城纺织科技有限公司 Polyester blended fabric defect detection method and system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5394640U (en) * 1976-12-29 1978-08-02
JPS62274249A (en) * 1986-05-23 1987-11-28 Inax Corp Automatic inspection method for surface of plate type body
JPH07225193A (en) * 1994-02-10 1995-08-22 Sony Corp Surface inspection device and surface inspection method
JPH09243568A (en) * 1996-03-08 1997-09-19 Bridgestone Corp Roller inspecting device
JPH11261870A (en) * 1998-03-10 1999-09-24 Pioneer Electron Corp Solid body surface photographing device
JP2000346629A (en) * 1999-06-07 2000-12-15 Mitsubishi Heavy Ind Ltd Method and apparatus for inspecting surface
JP2002214158A (en) * 2001-01-19 2002-07-31 Central Glass Co Ltd Defect detecting method and detecting device for transparent plate-like body

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5394640U (en) * 1976-12-29 1978-08-02
JPS62274249A (en) * 1986-05-23 1987-11-28 Inax Corp Automatic inspection method for surface of plate type body
JPH07225193A (en) * 1994-02-10 1995-08-22 Sony Corp Surface inspection device and surface inspection method
JPH09243568A (en) * 1996-03-08 1997-09-19 Bridgestone Corp Roller inspecting device
JPH11261870A (en) * 1998-03-10 1999-09-24 Pioneer Electron Corp Solid body surface photographing device
JP2000346629A (en) * 1999-06-07 2000-12-15 Mitsubishi Heavy Ind Ltd Method and apparatus for inspecting surface
JP2002214158A (en) * 2001-01-19 2002-07-31 Central Glass Co Ltd Defect detecting method and detecting device for transparent plate-like body

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016142592A (en) * 2015-01-30 2016-08-08 富士通株式会社 Cylindrical product inspection device and cylindrical product inspection method
JP2019066371A (en) * 2017-10-03 2019-04-25 株式会社豊田中央研究所 Observation device and image analysis processing control program
EP3540414A1 (en) 2018-03-13 2019-09-18 OMRON Corporation Image inspection device, image inspection method and image inspection program
US10887506B2 (en) 2018-03-13 2021-01-05 Omron Corporation Image inspection device, image inspection method and computer readable recording medium
CN115876763A (en) * 2021-09-29 2023-03-31 日本电产株式会社 Imaging system and appearance inspection system
WO2023181668A1 (en) * 2022-03-24 2023-09-28 富士フイルム株式会社 Image formation device, image formation method, and inspection method
CN119044068A (en) * 2024-11-04 2024-11-29 宜宾禾城纺织科技有限公司 Polyester blended fabric defect detection method and system

Similar Documents

Publication Publication Date Title
JP2010175281A (en) Apparatus for forming image of appearance surface
JP4633245B2 (en) Surface inspection apparatus and surface inspection method
JP2019200775A (en) Surface defect inspection device and surface defect inspection method
JP2010127746A (en) Apparatus for measuring abrasion and deflection of trolley wire by image processing
JP2010166247A (en) Image processor, image processing program, and image processing method
JP6045429B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP4150390B2 (en) Appearance inspection method and appearance inspection apparatus
JP2017227474A (en) Lighting device and image inspection device
JP2011174896A (en) Imaging apparatus and method
JP2008249413A (en) Defect detection method and device
JP3871963B2 (en) Surface inspection apparatus and surface inspection method
JP3688520B2 (en) Surface inspection apparatus and surface inspection method
JP4887540B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP4743231B2 (en) Appearance inspection method and appearance inspection apparatus
JP6704336B2 (en) Inspection device and inspection method
EP4010873B1 (en) Use of an hdr image in a visual inspection process
JP2010175283A (en) Device for producing plane image
US20210056679A1 (en) Inspection system, inspection apparatus, and inspection method
JP4279833B2 (en) Appearance inspection method and appearance inspection apparatus
TWI510776B (en) Bubble inspection processing method for glass
JP2010175282A (en) Device for measuring height
JP2021022637A (en) Inspection equipment of bonding wire, inspection method of bonding wire, and inspection program of bonding wire
JP6665549B2 (en) Tire contact surface analysis device, tire contact surface analysis system, and tire contact surface analysis method
JP2020016948A (en) Image inspection device
JP2014126943A (en) Image processing apparatus and method for performing image processing in order to detect object in image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140729