[go: up one dir, main page]

JP2010025652A - Surface flaw inspection device - Google Patents

Surface flaw inspection device Download PDF

Info

Publication number
JP2010025652A
JP2010025652A JP2008185520A JP2008185520A JP2010025652A JP 2010025652 A JP2010025652 A JP 2010025652A JP 2008185520 A JP2008185520 A JP 2008185520A JP 2008185520 A JP2008185520 A JP 2008185520A JP 2010025652 A JP2010025652 A JP 2010025652A
Authority
JP
Japan
Prior art keywords
image
band
edge
belt
column unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008185520A
Other languages
Japanese (ja)
Other versions
JP5031691B2 (en
Inventor
Hironao Yamaji
宏尚 山地
Takamichi Kobayashi
尊道 小林
Jun Umemura
純 梅村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP2008185520A priority Critical patent/JP5031691B2/en
Publication of JP2010025652A publication Critical patent/JP2010025652A/en
Application granted granted Critical
Publication of JP5031691B2 publication Critical patent/JP5031691B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

【課題】簡略な構成により、所定の受光角度でしか輝度変化を得ることができないような微小凹凸疵、色調変化疵をリアルタイム検出し、帯状体がロールに巻き付いた形状であっても帯状体のエッジを適切かつ正確に認識できる疵検査装置を提供する。
【解決手段】ロール2に巻き付いた形状で移動する帯状体1の表面に帯状光L1を照射した帯状体面上の2次元照射領域LAを、帯状光の入射と対向設置して撮像する2次元撮像装置20を備え、該2次元撮像装置は、帯状体の照射領域からの反射光の中で所定の2つ以上の異なる受光角度βで特定される反射光のみの画像信号を、帯状体の搬送速度に同期させて同時に部分読み出した画素列から得られる画像信号を帯状体の長手方向に合成する画像処理装置32と、画像列からエッジ位置を算出するエッジ算出装置31を備えることで、発生する疵に合わせて複数の受光角度で精度よくリアルタイム疵検出する。
【選択図】図1
[PROBLEMS] To detect, in real time, a minute uneven surface or color tone surface that can obtain a luminance change only at a predetermined light receiving angle with a simple configuration, and even if the belt is a shape wound around a roll, Provided is a wrinkle inspection device capable of recognizing edges appropriately and accurately.
Two-dimensional imaging for imaging a two-dimensional irradiation area LA on the surface of a band-like body that is irradiated with a band-like light L1 on the surface of the band-like body 1 that moves in a shape wound around a roll 2 in opposition to the incidence of the band-like light. The two-dimensional imaging apparatus includes an apparatus 20, and conveys the image signal of only the reflected light specified at two or more different light receiving angles β among the reflected light from the irradiation area of the belt. Generated by including an image processing device 32 that synthesizes image signals obtained from pixel rows partially read out simultaneously in synchronization with the velocity in the longitudinal direction of the strip, and an edge calculation device 31 that calculates edge positions from the image rows. Real-time defect detection with multiple light receiving angles according to the defect.
[Selection] Figure 1

Description

本発明は、金属板等の帯状体の表面の疵検査装置に関し、特に、帯状体の表面の各種の疵の検査を、撮影画像を用いて行う疵検査装置に好適な技術に関するものである。   The present invention relates to a wrinkle inspection device for the surface of a belt-like body such as a metal plate, and more particularly to a technique suitable for a wrinkle inspection device that uses a photographed image to inspect various wrinkles on the surface of a belt-like body.

金属板の一つである鋼板等の帯状体の製造工程において、製品の品質を損なうおそれのある疵は製造段階で早期に発見し、当該製造工程または上工程の製造条件を変更するなどして後続の製品について疵の発生を未然に防ぐ必要がある。そのために、例えば、製造ライン中で鋼板を移動させながら疵の検査を行っている。疵の検査方法として、電磁的や光学的手法など数々の検査方法が開発されており、なかでも光学的検査方法は鋼板に非接触で表面の疵が検出可能であり、疵画像が高速で容易に得られるために広く用いられている。   In the manufacturing process of strips such as steel plates that are one of the metal plates, defects that may impair the quality of the product are discovered early in the manufacturing stage, and the manufacturing conditions of the manufacturing process or the upper process are changed. It is necessary to prevent the occurrence of defects in subsequent products. For this purpose, for example, the inspection of the flaw is performed while moving the steel plate in the production line. Numerous inspection methods, such as electromagnetic and optical methods, have been developed as inspection methods for wrinkles. In particular, optical inspection methods can detect wrinkles on the surface without touching the steel sheet, and the wrinkle image is fast and easy. It is widely used to obtain

当該光学的検査方法は、通板する鋼板等の表面の被検査部を照明して、CCDカメラのような撮像装置により連続的に撮影して得られる画像信号に基づいて、鋼板等の表面の疵を検出している。一般的にこのような光学的な表面疵検査方法においては、明視野撮像を行うために鋼板への照明の入射角度と反射角度の角度差が無いまたは少ない範囲(0°〜5°程度)で撮像する正反射光学系と、暗視野撮像を行うために鋼板への照明の入射角度と反射角度の角度差が大きい範囲(20°〜70°)で撮像する散乱反射光学系(以下では、夫々「正反射光学系」又は「乱反射光学系」と記す)の2系統の光学系を用いることが多い。正反射光学系は表面の比較的大きな凹凸状の疵検出で有効であること、及び散乱反射光学系は鋼板表面の有色異物や汚れ欠陥の検出で有効であることが知られている。   The optical inspection method illuminates a portion to be inspected on a surface of a steel plate or the like to be passed, and based on an image signal obtained by continuously photographing with an imaging device such as a CCD camera,疵 is detected. In general, in such an optical surface defect inspection method, in order to perform bright-field imaging, there is no or little difference (about 0 ° to 5 °) between the incident angle of the illumination on the steel plate and the reflection angle. A regular reflection optical system for imaging, and a scattering reflection optical system for imaging in the range (20 ° to 70 °) where the angle difference between the incident angle and the reflection angle of the illumination on the steel plate is large in order to perform dark field imaging (hereinafter, respectively) In many cases, two systems of optical systems (referred to as “regular reflection optical system” or “diffuse reflection optical system”) are used. It is known that the regular reflection optical system is effective for detecting relatively large uneven ridges on the surface, and the scattering reflection optical system is effective for detecting colored foreign matters and dirt defects on the surface of the steel sheet.

しかしながら近年では、鋼板等の製品の出荷時の品質検査や、疵の早期発見により迅速な疵発生防止対策を実施する等の観点から、鋼板等の表面の正常部である地合と比べて、色調や凹凸の僅かな違いの疵をも検出することがますます重要になっている。正反射光学系と乱反射光学系の2系統の光学系を有する表面検査方法では、撮像装置は固定、つまり撮像装置の受光角度が上記2系統の光学系を満たす受光角度範囲の中で一意に固定されているため、固定した受光角度での撮像では色調や凹凸の僅かな違いの疵の検出が難しいという問題がある。例えば、押疵等の微小凹凸疵や、鋼板表面に薄く付着する汚れでは、疵表面で起こるわずかな乱反射の違いや反射率の角度依存性、または地合の表面性状により、ある特定の受光角度でしか輝度変化を得ることできず、検出が困難になる場合が生じていた。   However, in recent years, from the viewpoint of implementing quality inspections at the time of shipment of products such as steel sheets and early prevention of wrinkles by early detection of wrinkles, compared to the formation that is the normal part of the surface of steel sheets, It is becoming increasingly important to detect wrinkles with slight differences in color and unevenness. In the surface inspection method having two systems of specular reflection optical system and irregular reflection optical system, the imaging device is fixed, that is, the light receiving angle of the imaging device is uniquely fixed within the light receiving angle range that satisfies the above two systems of optical systems. Therefore, there is a problem that it is difficult to detect wrinkles with slight differences in color tone and unevenness in imaging at a fixed light receiving angle. For example, in the case of minute uneven ridges such as pressing rods, and dirt that adheres thinly to the steel plate surface, a certain light receiving angle depends on the slight irregular reflection that occurs on the ridge surface, the angle dependence of the reflectance, or the surface properties of the texture. In some cases, the luminance change can only be obtained, and the detection becomes difficult.

そこで、撮像装置の受光角度を変化させて鋼板等の表面疵検査を行う装置として、特許文献1に開示された技術のように、2次元CCDカメラの受光部を、2次元CCD素子の画素列の走査方向が鋼板の幅方向に実質的に一致するように平らな形状の鋼板に対向配置し、相前後する2以上の時刻において当該画素列を走査して得た、鋼板の幅方向に長い特定部分の2枚以上の画像を合成して、異なる受光角度の検査画像を作成する装置が知られている。   Therefore, as a device for inspecting surface defects on a steel plate or the like by changing the light receiving angle of the imaging device, the light receiving unit of the two-dimensional CCD camera is used as a pixel array of a two-dimensional CCD element as in the technique disclosed in Patent Document 1. Are arranged opposite to a flat steel plate so that the scanning direction substantially coincides with the width direction of the steel plate, and is obtained by scanning the pixel row at two or more successive times, and is long in the width direction of the steel plate. An apparatus for synthesizing two or more images of a specific portion to create inspection images with different light receiving angles is known.

特開2005−274325号公報JP 2005-274325 A 特開2002−181719号公報JP 2002-181719 A 特開2006−292593号公報JP 2006-292593 A

しかしながら、上記の従来技術では、以下のような問題がある。
特許文献1に開示されている技術では、鋼板の幅方向に長い特定部分が搬送によって製造ライン上を移動することにともなって、当該特定部分からの散乱光について、経時的に2次元CCDカメラである撮像装置の受光角度が変化することを利用している。鋼板の特定部分を含む画像が、2次元CCDカメラで撮像している製造ライン上の撮像領域中でオーバーラップするように、2次元CCDカメラで撮像した、複数の受光角度夫々で撮影した複数枚の画像を画像合成する。したがって、異なる2枚以上の、予め設定した所定の複数の受光角度の鋼板画像を得るために、必ず当該特定部分は、撮影領域中で所定の受光角度の位置で2回以上撮影される必要がある。言い換えれば、必ず2回以上の撮影回数で、特定部分を含む2次元画像を撮像することが必要となる。このため、効率的な画像撮影ができない。また、変化量の多い受光角度を得るために、画素数の大きな2次元CCDを用いる場合には、より一層2次元CCDカメラを高フレームレート化する必要があり、高速搬送するラインへの適用が困難である。さらに、鋼板の特定部位を撮影領域中で少なくとも2回以上の複数回撮影したフレーム単位の2次元の画像データから、後工程の画像処理装置で上記の画像を合成する処理をする際には、必要の無い受光角度の部分の画像データを含めて後工程の画像処理装置に伝送し、当該所定の受光角度で撮像された特定部分の画像データ(1画素列分)のみをフレーム単位の画像データから抽出しなければならない。そのために、フレーム単位の2次元の画像データの処理では、無駄にデータ伝送時間および画像合成処理時間を要する。したがって、特許文献1に開示された技術では、鋼板の通板時にリアルタイムの疵検出を難しくする問題もあり、加えて、高速の画像処理をするための装置コストが増大するといった問題も生じていた。さらに、鋼板の形状が平らな形状の場合の疵検査を想定しているに過ぎず、搬送される鋼板のパスライン変動や、鋼板のうねり(鋼板自体の大きな凹凸形状)により受光角度が変動するため、安定した疵検出ができなくなるといった問題が生じていた。
However, the above prior art has the following problems.
In the technique disclosed in Patent Document 1, a specific portion that is long in the width direction of the steel sheet moves on the production line by conveyance. This utilizes the fact that the light receiving angle of a certain imaging device changes. A plurality of images taken at a plurality of light receiving angles, respectively, taken with a two-dimensional CCD camera so that an image including a specific portion of a steel plate overlaps in an imaging region on a production line taken with a two-dimensional CCD camera. Combine the images of. Accordingly, in order to obtain two or more different steel plate images having a plurality of predetermined light receiving angles set in advance, the specific portion must be photographed at least twice at a predetermined light receiving angle in the photographing region. is there. In other words, it is always necessary to capture a two-dimensional image including a specific portion with two or more imaging times. For this reason, efficient image photography cannot be performed. In addition, when using a two-dimensional CCD having a large number of pixels in order to obtain a light receiving angle with a large amount of change, it is necessary to further increase the frame rate of the two-dimensional CCD camera, and it is applied to a line that carries at high speed. Have difficulty. Furthermore, when performing the process of synthesizing the above image with the image processing apparatus in the subsequent process from the two-dimensional image data of the frame unit obtained by photographing the specific part of the steel plate at least twice in the imaging region, The image data including the image data of the unnecessary light reception angle is transmitted to the image processing apparatus in the subsequent process, and only the image data (for one pixel column) of the specific portion imaged at the predetermined light reception angle is image data for each frame. Must be extracted from. For this reason, processing of two-dimensional image data in units of frames necessitates data transmission time and image composition processing time. Therefore, in the technique disclosed in Patent Document 1, there is a problem that it is difficult to detect real-time wrinkles when a steel plate is passed, and in addition, there is a problem that an apparatus cost for high-speed image processing increases. . Furthermore, it only assumes wrinkle inspection when the shape of the steel plate is flat, and the light receiving angle varies due to fluctuations in the pass line of the steel plate being conveyed and waviness of the steel plate (large uneven shape of the steel plate itself). For this reason, there has been a problem that stable wrinkle detection cannot be performed.

パスラインの変動や、鋼板のうねりを抑制するためには、鋼板に張力がかかるように、鋼板が搬送ロールに巻き付いた形状で疵検査を行うように構成すれば、上記の問題を解消できるのであるが、鋼板表面と搬送ロール表面が同時に、撮影されることから、鋼板の左右のエッジ位置を検出する必要があり上記左右のエッジ間の領域を鋼板と認識し、上記左右のエッジ検出位置の外側を搬送ロールと認識する必要性については、まったく考えられていなかった。   In order to suppress fluctuations in the pass line and the undulation of the steel sheet, the above problem can be solved if the steel sheet is configured to perform a wrinkle inspection in a shape wound around the transport roll so that tension is applied to the steel sheet. However, since the surface of the steel plate and the surface of the transport roll are photographed at the same time, it is necessary to detect the left and right edge positions of the steel plate, the area between the left and right edges is recognized as a steel plate, and the left and right edge detection positions are detected. The necessity of recognizing the outside as a transport roll was not considered at all.

鋼板が搬送ロールに巻きついた状態で撮像された画像から、疵検出を行う際には、鋼板と搬送ロールを区別する方法が行われている。これは、鋼板上での疵発生位置の特定や、鋼板以外の部分(搬送ロール表面)を全て疵候補として拾うことによって、計算機の処理が許容量を越えて処理不要となったり、鋼板上の疵発生位置情報が不正確になったりするのを解決するためである。搬送ロールと鋼板を区別する方法としては、撮像画像の画像処理あるいは別途備えたエッジ検出器より得た鋼板の左右のエッジ位置情報から左右のエッジ位置より外側を搬送ロールであると認識して撮像画像に反映する方法が一般的に行われてきた。   When performing wrinkle detection from an image captured in a state where the steel plate is wound around the transport roll, a method of distinguishing the steel plate from the transport roll is performed. This is because, by specifying the position of wrinkles on the steel plate and picking up all parts other than the steel plate (the surface of the transport roll) as wrinkle candidates, the processing of the computer exceeds the allowable amount, or the processing is unnecessary. This is to solve the situation where the wrinkle generation position information becomes inaccurate. As a method of distinguishing between the transport roll and the steel plate, the outside of the left and right edge positions is recognized as the transport roll based on the image processing of the captured image or the left and right edge position information obtained from the separately provided edge detector. The method of reflecting in an image has generally been performed.

鋼板の表面を撮影した画像信号に基づいてエッジ位置を検出する方法としては、例えば、特許文献2に開示された技術があり、一つの鋼板内で輝度が大きく変動しても鋼板のエッジを適切に認識することを目的に、複数の鋼板幅方向をスキャンしたデータにより構成される鋼板表面画像の1スキャンあるいは数スキャン内の輝度情報に基づいて、エッジ検出を行う閾値を鋼板幅方向の輝度平均値に応じて変化させることで、鋼板の状態に応じた鋼板エッジを検出する方法、あるいは、1スキャン分の輝度情報にローパスフィルタを通したのち、最大あるいは最小値を用いてエッジ検出閾値を算出することで、鋼板の輝度に応じた鋼板エッジを検出する方法が行われている。   As a method for detecting the edge position based on the image signal obtained by photographing the surface of the steel plate, for example, there is a technique disclosed in Patent Document 2, and the edge of the steel plate is appropriately detected even if the luminance varies greatly within one steel plate. For the purpose of recognizing the threshold, the threshold value for performing edge detection based on the luminance information within one scan or several scans of the steel plate surface image composed of data obtained by scanning a plurality of steel plate width directions is set as the luminance average in the steel plate width direction. By changing according to the value, the edge detection threshold is calculated using the maximum or minimum value after passing the low-pass filter through the luminance information for one scan after detecting the steel plate edge according to the state of the steel plate Thus, a method of detecting a steel plate edge according to the brightness of the steel plate is performed.

しかしながら、特許文献2に開示されている技術では、鋼板表面の輝度情報と搬送ロール表面の輝度情報の差が算出された場合には、鋼板エッジを検出することが可能であるが、搬送ロール表面材質としては、スチールや、ゴム、ウレタン等が使用され、さらに、搬送ロール表面は、耐久性や鋼板へのすべり防止などの観点から、溶射等による表面処理や、バフ研磨等の研磨処理により様々な表面性状(表面粗さ、色調)があるため、疵検出を目的に設定された所定の受光角度により撮影された検査画像上では、鋼板輝度と搬送ロールの輝度が同等となり、画像上から鋼板エッジが検出できない場合が生じるといった問題があった。   However, in the technique disclosed in Patent Document 2, when the difference between the luminance information on the steel plate surface and the luminance information on the conveyance roll surface is calculated, the edge of the steel plate can be detected. Steel, rubber, urethane, etc. are used as the material, and the surface of the transport roll varies depending on the surface treatment such as thermal spraying and polishing treatment such as buffing from the viewpoint of durability and prevention of slipping on the steel plate. Since the surface properties (surface roughness, color tone) are high, the brightness of the steel plate and the brightness of the transport roll are equivalent on the inspection image taken at a predetermined light receiving angle set for the purpose of wrinkle detection. There was a problem that an edge could not be detected.

また、エッジ位置情報を得るための他の方法としては、エッジ検出器を別途設置し、得られた鋼板の左右のエッジ位置情報から、左右のエッジ位置より外側を搬送ロールであると認識して撮像画像に反映することが考えられる。エッジ検出器としては、鋼板背面からの投影光を一次元ラインカメラ等で検出し、受光量からエッジ位置を算出する方式が用いられるのが一般的である。この場合、疵検査位置に隣接してエッジ検出器を設置することは、製造ラインの機器配置上の制約から困難であり、エッジ検出器を疵検査装置からある程度離れた場所に設置せざるをえないことが多い。従って、ロールに巻き付いて搬送される鋼板が蛇行をおこした場合に、エッジ検出器の位置と疵検査位置の位置との間に通板のタイムラグがあると、エッジ検出器により得られるエッジ位置と、疵検査装置の検査画像上のエッジ位置とが完全に一致しないという問題があった。また、別途エッジ検出器を設置するため、疵検査装置が高コストになるという問題もあった。   In addition, as another method for obtaining edge position information, an edge detector is separately installed, and from the left and right edge position information of the obtained steel plate, the outside of the left and right edge positions is recognized as a transport roll. It may be reflected in the captured image. As the edge detector, a method is generally used in which projected light from the rear surface of the steel plate is detected by a one-dimensional line camera or the like, and the edge position is calculated from the amount of received light. In this case, it is difficult to install an edge detector adjacent to the flaw inspection position due to restrictions on the arrangement of equipment on the production line, and it is necessary to install the edge detector at some distance from the flaw inspection apparatus. Often not. Therefore, when the steel plate wound around the roll is meandering, if there is a time lag of the passing plate between the position of the edge detector and the position of the wrinkle inspection position, the edge position obtained by the edge detector There is a problem that the edge position on the inspection image of the eyelid inspection apparatus does not completely match. In addition, since a separate edge detector is installed, there is a problem that the wrinkle inspection device is expensive.

上記の従来技術の問題に鑑みて、本発明の目的は、帯状体の正常部である地合の散乱・反射光が少なく、帯状体の表面の微小な疵によるわずかな乱反射の違いや反射率の角度依存性に適した受光角度で輝度変調を、任意に設定した複数の受光角度で効率よく撮像して、高速に画像処理して疵検出することが、複数の撮像装置を使用することなく、従来よりも簡便な装置配置で、且つ、帯状体がロールに巻き付いた形状であっても帯状体のエッジを適切にかつ正確に認識でき、従来と比べて低コストで帯状体の疵検査装置を提供することである。   In view of the above-described problems of the prior art, the object of the present invention is to reduce the amount of scattered / reflected light in the formation, which is a normal part of the band, and to detect slight irregular reflection differences and reflectivity due to minute wrinkles on the surface of the band Luminance modulation at a light reception angle suitable for the angle dependence of the image can be efficiently imaged at a plurality of arbitrarily set light reception angles, and image detection can be performed at high speed without using a plurality of imaging devices. A device for inspecting the wrinkle of a belt-like body at a lower cost than in the past, with a simpler device arrangement than before, and even when the belt-like body is wound around a roll, the edge of the belt-like body can be recognized appropriately and accurately. Is to provide.

上記の課題を解決する本発明の表面疵検査装置は、ロールにより搬送される帯状体の、該ロールに巻き付いた部分において、該帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査する表面疵検査装置であって、
前記帯状光の前記帯状体に対する垂直方向入射角度が、該帯状光照射領域のすべての点において、予め設定した所定の値と等しくなるように、ロール径に合わせ収束する帯状光を照射する照明装置と、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、前記帯状体の移動に同期して、該帯状光照射領域の内の、前記帯状体の移動方向における位置が異なる複数の部分領域を、夫々異なる複数の垂直方向反射角度で撮像して、複数の列単位画像を出力する、部分読み出し可能な2次元撮像装置と、
前記複数の列単位画像のうちの少なくとも二つ以上の列単位画像の夫々からフレーム画像が構成される間に、該複数の列単位画像のうちの少なくとも一つ以上の列単位画像からの輝度情報を用いて、前記帯状体のエッジ位置を算出するエッジ算出装置と、
前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出する疵画像処理装置と、
を備えることを特徴とする。
The surface flaw inspection apparatus of the present invention that solves the above-mentioned problems irradiates the band-shaped light on the entire width direction of the surface of the band-shaped body at the portion of the band-shaped body that is conveyed by the roll and wound around the roll. A surface wrinkle inspection device that images the reflected light of the band light from the band light irradiation region, which is a region irradiated with light, and inspects wrinkles on the surface of the band,
An illumination device that irradiates a band-shaped light that converges in accordance with a roll diameter so that a vertical incident angle of the band-shaped light with respect to the band-shaped body is equal to a predetermined value set in advance at all points in the band-shaped light irradiation region. When,
A plurality of partial regions that are arranged opposite to the illumination device across the band-shaped light irradiation region and that are different in position in the moving direction of the band-shaped body in the band-shaped light irradiation region in synchronization with the movement of the band-shaped body. A partially readable two-dimensional imaging device that captures images at a plurality of different vertical reflection angles and outputs a plurality of column unit images;
Luminance information from at least one column unit image of the plurality of column unit images while a frame image is configured from each of at least two column unit images of the plurality of column unit images. Using an edge calculating device for calculating the edge position of the strip,
A wrinkle image processing device that performs image processing on the frame image to detect wrinkles on the surface of the strip;
It is characterized by providing.

また、前記2次元撮像装置は、複数のCMOS撮像素子からなる2次元の画素配列を有する2次元CMOSカメラを備え、該画素配列から制御装置の指示により任意の画素列の前記列単位画像を出力するものであり、
前記制御装置は、予め設定した前記複数の垂直方向反射角度夫々に対応する前記複数の部分領域を撮像するために、前記2次元CMOSカメラの複数の画素列を指定して前記2次元撮像装置に指示し、さらに、該2次元撮像装置から入力した該複数の部分領域夫々に対応する該複数の列単位画像のうちの少なくとも二つ以上の列単位画像を配列・合成して、該少なくとも二つ以上の列単位画像の夫々が表した垂直方向反射角度夫々により前記帯状光照射領域を撮像したフレーム画像を構成するとともに、
前記エッジ算出装置は、前記垂直方向反射角度夫々のフレーム画像が構成される間に、前記複数の列単位画像のうちの一つ以上の列単位画像からの輝度情報を用いて、前記帯状体のエッジ位置を算出する、
ことを特徴とする。
The two-dimensional imaging device includes a two-dimensional CMOS camera having a two-dimensional pixel array composed of a plurality of CMOS image sensors, and outputs the column unit image of an arbitrary pixel column from the pixel array according to an instruction from a control device. Is what
The control device designates a plurality of pixel columns of the two-dimensional CMOS camera to the two-dimensional imaging device in order to image the plurality of partial regions corresponding to the plurality of vertical reflection angles set in advance. And further arranging and synthesizing at least two column unit images of the plurality of column unit images corresponding to the plurality of partial regions input from the two-dimensional imaging device, Constructing a frame image obtained by imaging the belt-shaped light irradiation region by each of the vertical reflection angle represented by each of the above column-unit images,
The edge calculation device uses the luminance information from one or more column unit images of the plurality of column unit images while the frame images of the vertical reflection angles are formed, and Calculate the edge position,
It is characterized by that.

また、前記制御装置は、前記フレーム画像を構成するのに使用する前記少なくとも二つ以上の列単位画像に夫々対応する前記部分領域とは異なる、前記ロール表面の画像輝度と前記帯状体表面の画像輝度との差が予め設定されたエッジ輝度差閾値以上となる垂直方向反射角度に対応する部分領域を、該フレーム画像を構成する間に一回以上撮影するために、前記2次元CMOSカメラの画素列を指定して前記2次元撮像装置に指示し、
前記2次元撮像装置は、前記垂直方向反射角度に対応する部分領域に対応する列単位画像を前記エッジ算出装置に出力し、
前記エッジ算出装置は、前記第2次撮像装置から入力された前記列単位画像の輝度情報から、帯状体のエッジ位置を算出してもよい。
Further, the control device is different from the partial areas respectively corresponding to the at least two or more column-unit images used to configure the frame image, and the image brightness of the roll surface and the image of the belt-like body surface The pixel of the two-dimensional CMOS camera is used to capture a partial region corresponding to the vertical reflection angle at which the difference from the luminance is greater than or equal to a preset edge luminance difference threshold value, at least once during the formation of the frame image. Specify the column and instruct the 2D imaging device;
The two-dimensional imaging device outputs a column unit image corresponding to a partial region corresponding to the vertical reflection angle to the edge calculation device,
The edge calculation device may calculate the edge position of the strip from the luminance information of the column unit image input from the secondary imaging device.

また、前記制御装置は、互いに連結されて搬送された前記帯状体の連結部直後の先端部分が撮像される時点で、前記フレーム画像を構成するのに使用する前記少なくとも二つ以上の列単位画像に夫々対応する前記部分領域とは異なる、複数の垂直方向反射角度に夫々対応する複数の部分領域を撮影するために、前記2次元CMOSカメラの画素列を指定して2次元撮像装置に指示し、
前記2次元撮像装置は、前記複数の垂直方向反射角度に夫々対応する複数の部分領域に夫々対応する複数の列単位画像を前記エッジ算出装置に出力し、
前記エッジ算出装置は、前記第2次撮像装置から入力された前記複数の列単位画像から、前記ロール表面の画像輝度と前記帯状体表面の画像輝度との差が、予め設定されたエッジ輝度差閾値以上となる垂直方向反射角度を決定してもよい。
In addition, the control device is configured to use the at least two column-unit images used to form the frame image at a time point when a front end portion immediately after the connecting portion of the strips that are connected to each other is imaged. In order to photograph a plurality of partial areas respectively corresponding to a plurality of vertical reflection angles, which are different from the partial areas corresponding respectively to the two-dimensional CMOS camera, a pixel column of the two-dimensional CMOS camera is designated and a two-dimensional imaging apparatus is instructed. ,
The two-dimensional imaging device outputs a plurality of column unit images respectively corresponding to a plurality of partial regions respectively corresponding to the plurality of vertical reflection angles to the edge calculation device;
The edge calculation device is configured such that a difference between an image luminance of the roll surface and an image luminance of the belt-like body surface is set as a predetermined edge luminance difference from the plurality of column unit images input from the secondary imaging device. You may determine the vertical direction reflection angle which becomes more than a threshold value.

また、前記制御装置は、互いに連結されて搬送された前記帯状体の連結部直後の先端部分が撮像される時点で、上位計算機から入力される該帯状体の幅情報に応じて、該帯状体のエッジ近傍の所定の2次元領域を撮像するために、所定の行と列の画素を設定して前記2次元撮像装置に指示し、
前記2次元撮像装置は、前記エッジ近傍の所定の2次元領域画像を前記エッジ算出装置に出力し、
前記エッジ算出装置は、前記第2次撮像装置から入力された前記2次元領域画像から、前記ロール表面の画像輝度と前記帯状体表面の画像輝度との差が、予め設定されたエッジ輝度差閾値以上となる垂直方向反射角度を決定してもよい。
In addition, the control device is configured to detect the band-like body according to width information of the band-like body input from a host computer at the time when the front end portion immediately after the connecting portion of the band-like bodies that are connected to each other is imaged. In order to image a predetermined two-dimensional region in the vicinity of the edge, set pixels in predetermined rows and columns and instruct the two-dimensional imaging device;
The two-dimensional imaging device outputs a predetermined two-dimensional region image near the edge to the edge calculation device,
The edge calculation device is configured such that a difference between the image luminance of the roll surface and the image luminance of the band-like surface is a preset edge luminance difference threshold value from the two-dimensional region image input from the secondary imaging device. The vertical reflection angle as described above may be determined.

また、本発明の表面疵検査方法は、ロールにより搬送される帯状体の、該ロールに巻き付いた部分において、該帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査する表面疵検査方法であって、
照明装置により、前記帯状光の前記帯状体に対する垂直方向入射角度が、該帯状光照射領域のすべての点において、予め設定した所定の値と等しくなるように、ロール径に合わせ収束する帯状光を照射するステップと、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、部分読み出し可能な2次元撮像装置により、前記帯状体の移動に同期して、該帯状光照射領域の内の、前記帯状体の移動方向における位置が異なる複数の部分領域を、夫々異なる複数の垂直方向反射角度で撮像して、複数の列単位画像を出力するステップと、
エッジ算出装置により、前記複数の列単位画像のうちの少なくとも二つ以上の列単位画像の夫々からフレーム画像が構成される間に、該複数の列単位画像のうちの少なくとも一つ以上の列単位画像からの輝度情報を用いて、前記帯状体のエッジ位置を算出するステップと、
疵画像処理装置により、前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出するステップと、
を含むことを特徴とする。
Further, the surface flaw inspection method of the present invention irradiates the band-like light to the entire width direction of the surface of the band-like body at the portion of the band-like body conveyed by the roll and wound around the roll. A surface wrinkle inspection method for inspecting wrinkles on the surface of the belt-like body by imaging the reflected light of the belt-like light from the belt-shaped light irradiation region,
With the illuminating device, the band-shaped light that converges in accordance with the roll diameter is adjusted so that the vertical incident angle of the band-shaped light with respect to the band-shaped body is equal to a predetermined value set in advance at all points of the band-shaped light irradiation region. Irradiating step;
Movement of the band-like body within the band-like light irradiation area is performed in synchronization with the movement of the band-like body by a two-dimensional imaging device that is arranged opposite to the illumination device with the band-like light irradiation area interposed therebetween and capable of partial reading. Imaging a plurality of partial regions having different positions in the direction at a plurality of different vertical reflection angles, and outputting a plurality of column unit images;
While the frame image is constructed from each of at least two or more column unit images of the plurality of column unit images by the edge calculation device, at least one or more column units of the plurality of column unit images Calculating the edge position of the strip using luminance information from the image;
A step of image-processing the frame image by a heel image processing device to detect a fold on the surface of the strip;
It is characterized by including.

さらに、本発明のコンピュータプログラムは、
ロールにより搬送される帯状体の、該ロールに巻き付いた部分において、該帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査するために、照明装置と2次元撮像装置とエッジ算出装置と疵画像処理装置とを有する表面疵検査装置を制御するコンピュータに、
前記照明装置により、前記帯状光の前記帯状体に対する垂直方向入射角度が、該帯状光照射領域のすべての点において、予め設定した所定の値と等しくなるように、ロール径に合わせ収束する帯状光を照射する処理と、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、部分読み出し可能な前記2次元撮像装置により、前記帯状体の移動に同期して、該帯状光照射領域の内の、前記帯状体の移動方向における位置が異なる複数の部分領域を、夫々異なる複数の垂直方向反射角度で撮像して、複数の列単位画像を出力する処理と、
前記エッジ算出装置により、前記複数の列単位画像のうちの少なくとも二つ以上の列単位画像の夫々からフレーム画像が構成される間に、該複数の列単位画像のうちの少なくとも一つ以上の列単位画像からの輝度情報を用いて、前記帯状体のエッジ位置を算出する処理と、
前記疵画像処理装置により、前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出する処理と、
を実行させる。
Furthermore, the computer program of the present invention is
In the portion of the belt-like body conveyed by the roll, the belt-like light is irradiated on the entire surface in the width direction of the surface of the belt-like body, and the belt-like light is irradiated from the belt-like light irradiation region. A computer that controls a surface wrinkle inspection device having an illumination device, a two-dimensional imaging device, an edge calculation device, and a wrinkle image processing device for imaging reflected light of the band light and inspecting wrinkles on the surface of the band. ,
Strip light that converges in accordance with the roll diameter so that the vertical incident angle of the strip light on the strip is equal to a predetermined value at all points in the strip light irradiation region by the illumination device. Irradiating with
The two-dimensional imaging device that is disposed opposite to the illumination device with the band-shaped light irradiation region interposed therebetween and is capable of partially reading out, in synchronization with the movement of the band-shaped body, of the band-shaped light irradiation region. A process of imaging a plurality of partial areas with different positions in the moving direction at a plurality of different vertical reflection angles and outputting a plurality of column unit images;
While the frame image is formed from each of at least two or more column unit images of the plurality of column unit images by the edge calculation device, at least one or more columns of the plurality of column unit images. Using the luminance information from the unit image, a process for calculating the edge position of the strip,
Processing to detect wrinkles on the surface of the strip by performing image processing on the frame image by the wrinkle image processing device;
Is executed.

以上説明したように本発明によると、複数台の撮像手段を使用することなく、帯状体がロールに巻き付いた形状であっても、同時刻に複数の受光角度で帯状体の表面を検査することができ、発生する疵に併せて複数の受光角度が選択できることから、所定の受光角度でしか輝度変化を得ることができないような疵のリアルタイム検出が可能となるとともに、エッジ検出器を付加することなく適切に帯状体のエッジを認識することができ、疵検出装置の機能低下を防止することができ、さらには、装置の小型化、廉価化が可能であるため、疵検査装置の導入が容易になる。   As described above, according to the present invention, the surface of the strip can be inspected at a plurality of light receiving angles at the same time even when the strip is wound around the roll without using a plurality of imaging means. Since multiple light receiving angles can be selected according to the generated wrinkles, real-time detection of wrinkles that can only change the brightness at a predetermined light receiving angle is possible, and an edge detector is added. It is possible to recognize the edge of the belt-like body properly, prevent the function of the wrinkle detection device from being deteriorated, and further reduce the size and cost of the device, so that the wrinkle inspection device can be easily introduced. become.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

<関連技術>
本発明の実施の形態について説明する前に、本発明の関連技術について説明する。
関連技術に係る表面疵検査装置は、上記従来技術とは異なり、平らな形状で移動する鋼板の表面に面状光で照射した2次元照射領域に対して面状光入射と対向配置した部分読み出し可能な2次元CMOSカメラで、照射領域からの反射光の中の所定の2つ以上の異なる受光角度で特定される反射光のみの画像信号を、鋼板の搬送速度に同期させて部分読み出しした画素列から得られる画像信号を鋼板の長手方向に合成・配列することで、同時に2つ以上の受光角度の検査画像をリアルタイムに作成する。
<Related technologies>
Prior to describing the embodiments of the present invention, the related art of the present invention will be described.
The surface defect inspection apparatus according to the related art is different from the above-described conventional technique in that the surface of a steel plate that moves in a flat shape is partially read out in a two-dimensional irradiation area irradiated with the planar light and opposed to the planar light incidence. A pixel in which the image signal of only the reflected light specified by two or more different light receiving angles in the reflected light from the irradiation area is partially read out in synchronization with the transport speed of the steel plate with a possible two-dimensional CMOS camera By synthesizing and arranging the image signals obtained from the columns in the longitudinal direction of the steel plate, inspection images at two or more light receiving angles are simultaneously created in real time.

この関連技術に係る表面疵検査装置は、部分読み出し可能な複数のCMOS撮像素子からなる2次元の画像配列を有する2次元CMOSカメラからなる撮像装置を備えていて、鋼板の幅方向に亘る面状光照射領域に照射された面状光照射領域内から、同時刻に複数の受光角度で検査画像を得ることができる。そのため、発生する疵に併せて任意に複数の受光角度を選択することで、所定の受光角度でしか輝度変化を得ることができないような疵のリアルタイム検出に対応している。しかしながら、やはり、鋼板の形状が平らな形状の場合の疵検査を想定しているに過ぎず、搬送される鋼板のパスライン変動や、鋼板のうねり(鋼板自体の大きな凹凸形状)により受光角度が変動するため、安定した疵検出ができなくなる恐れがあった。   The surface defect inspection apparatus according to this related technology includes an imaging device including a two-dimensional CMOS camera having a two-dimensional image array including a plurality of partially readable CMOS imaging elements, and has a planar shape extending in the width direction of the steel plate. Inspection images can be obtained at a plurality of light receiving angles at the same time from within the planar light irradiation region irradiated on the light irradiation region. Therefore, by selecting a plurality of light receiving angles arbitrarily according to the generated wrinkles, real-time detection of wrinkles that can obtain a change in luminance only at a predetermined light receiving angle is supported. However, it is only assumed that wrinkle inspection is performed when the shape of the steel plate is flat, and the light receiving angle depends on fluctuations in the pass line of the steel plate being transported and the waviness of the steel plate (large uneven shape of the steel plate itself). Due to fluctuations, there was a risk that stable soot detection could not be performed.

この関連技術でも、鋼板が搬送ロールに巻き付いた状態で疵検査を行うように構成すれば、鋼板に張力がかかるために、パスラインの変動や、鋼板のうねりを抑制することができ特長を生かすことができる。しかし、上記従来技術同様、鋼板の左右のエッジ位置を検出する必要があり上記左右のエッジ間の領域を鋼板と認識し、上記左右のエッジ検出位置の外側を搬送ロールと認識することは、依然として難しい。   Even in this related technology, if the steel sheet is configured to perform the wrinkle inspection while being wound around the transport roll, the tension is applied to the steel sheet, so that fluctuations in the pass line and undulation of the steel sheet can be suppressed and the advantages can be utilized. be able to. However, as in the prior art, it is necessary to detect the left and right edge positions of the steel sheet, and the area between the left and right edges is recognized as a steel sheet, and the outside of the left and right edge detection positions is still recognized as a transport roll. difficult.

本発明者は、このような関連技術の改善点等について鋭意研究を行った結果、複数台の撮像手段を使用することなく、帯状体がロールに巻き付いた形状であっても、同時刻に複数の受光角度で帯状体の表面を検査することができ、発生する疵に併せて複数の受光角度が選択できることから、所定の受光角度でしか輝度変化を得ることができないような疵のリアルタイム検出が可能となるとともに、エッジ検出器を付加することなく適切に帯状体のエッジを認識することができ、疵検出装置の機能低下を防止することができ、さらには、装置の小型化、廉価化が可能であるため、疵検査の導入が容易な、本発明に想到した。以下、図面を参照して、本発明の実施の形態を詳細に説明する。   As a result of earnest research on such improvements of the related art, the present inventor has found that a plurality of strips are wound around a roll without using a plurality of imaging means at the same time. The surface of the band-shaped body can be inspected at a certain light receiving angle, and a plurality of light receiving angles can be selected according to the generated wrinkles. In addition to being able to recognize the edge of the belt-like body appropriately without adding an edge detector, it is possible to prevent the function of the wrinkle detection device from being degraded, and further downsizing and cost reduction of the device. Since this is possible, the present inventors have arrived at the present invention, which facilitates the introduction of wrinkle inspection. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

<実施形態>
図1は本発明の実施の形態の一例を示すもので、被検査体の帯状体は、複数の鋼板が、各鋼板の後端と先端とが溶接点で溶接により連結されたものである。また、図1は、その鋼板がロールに巻き付いた形状で移動しながら加工される鋼板製造ライン(以下では「鋼板ライン」と記す)に配設された表面疵検査装置の概略構成図である。
<Embodiment>
FIG. 1 shows an example of an embodiment of the present invention. A strip of an object to be inspected is a plurality of steel plates in which the rear end and the front end of each steel plate are connected by welding at welding points. FIG. 1 is a schematic configuration diagram of a surface flaw inspection apparatus disposed in a steel plate production line (hereinafter referred to as “steel plate line”) that is processed while the steel plate moves while being wound around a roll.

本表面疵検査装置は鋼板1の表面の撮像領域(「帯状光照射領域」とも記す)LAを照明する照明装置10と、当該撮像領域を撮像して画像データを出力する2次元撮像装置20と、当該2次元撮像装置20を制御する制御装置30と、鋼板1のエッジを算出するエッジ算出装置31と、当該画像データを画像処理して鋼板1の表面の疵を検出する疵画像処理装置32と、検出した疵情報を画面上に表示するオペレータ疵表示装置33とからなる。さらに、鋼板ラインには鋼板の移動を検知するための、鋼板1の裏面にロール2を密着・回転させて、設定されたロール2の回転角度ごとにパルス信号を出力するロータリーエンコーダ等のセンサ(以下では「PLG40」と記す)を備えている。この表面疵検査装置は、鋼板1がロール2に巻き付いている部分を測定しており、パスライン変動による誤差を少なく検査が可能である。   The surface defect inspection apparatus includes an illumination device 10 that illuminates an imaging region (also referred to as a “band-like light irradiation region”) LA on the surface of the steel plate 1, and a two-dimensional imaging device 20 that images the imaging region and outputs image data. A control device 30 that controls the two-dimensional imaging device 20, an edge calculation device 31 that calculates an edge of the steel plate 1, and a heel image processing device 32 that performs image processing on the image data to detect wrinkles on the surface of the steel plate 1. And an operator wrinkle display device 33 for displaying the detected wrinkle information on the screen. Furthermore, a sensor such as a rotary encoder for detecting the movement of the steel sheet in the steel plate line, by closely contacting and rotating the roll 2 on the back surface of the steel sheet 1 and outputting a pulse signal for each set rotation angle of the roll 2 ( Hereinafter, it is referred to as “PLG40”). This surface flaw inspection apparatus measures the portion where the steel plate 1 is wound around the roll 2, and can inspect with little error due to pass line fluctuation.

(照明装置10)
照明装置10は、蛍光灯または白熱灯からなる光源11と、光ファイバー束12と、光源から出射された光を光ファイバー内へ導く入力端13と、光ファイバー内から光を出射する出力端14とからなっている。光ファイバー束12では多数の光ファイバーが整列されていて、入力端13は光源11が近接しており、鋼板1の幅方向に平行に設置された出力端14で帯状光L1が出射される。
(Lighting device 10)
The illuminating device 10 includes a light source 11 formed of a fluorescent lamp or an incandescent lamp, an optical fiber bundle 12, an input end 13 that guides light emitted from the light source into the optical fiber, and an output end 14 that emits light from the optical fiber. ing. In the optical fiber bundle 12, a large number of optical fibers are aligned, the light source 11 is close to the input end 13, and the strip-shaped light L <b> 1 is emitted from the output end 14 arranged in parallel with the width direction of the steel plate 1.

図2は鋼板ライン上の鋼板面を上方から見た平面図で、照明装置10、帯状光照射面LA、及び2次元撮像装置20の平面配置を示す。図3は鋼板ラインを側面から、すなわち、ロール軸方向から見た側面図で、照明装置10、帯状光照射領域LA、及び2次元撮像装置20の側面の配置状況を示している。   FIG. 2 is a plan view of the steel plate surface on the steel plate line as viewed from above, and shows a planar arrangement of the illumination device 10, the strip-shaped light irradiation surface LA, and the two-dimensional imaging device 20. FIG. 3 is a side view of the steel plate line viewed from the side, that is, from the roll axis direction, and shows the arrangement of the side surfaces of the illumination device 10, the strip-shaped light irradiation region LA, and the two-dimensional imaging device 20.

なお、本願でロールに巻き付いて湾曲した鋼板面の垂直方向とは、接平面の垂直方向を指す。図3に示すように、帯状光L1は、出力端14に備えられた図示しないロッドレンズあるいはシリンドリカルレンズでもって、鋼板1の鋼板面の垂直方向とのなす角度α(垂直方向入射角度)が、帯状光照射領域LAの各点で等しくなるように、ロール径に合わせて収束する光とされて、垂直方向入射角度αが45〜70°程度で帯状光照射領域LAに照射される。帯状光L1は均一照度で、帯状光照射領域LAの全幅にわたり、かつ鋼板1の移動方向の照射幅は2次元撮像装置20の撮像範囲を満たすように照射される。例えば、照明装置10は、180Wのハロゲンランプ1台を光源とした、ファイバー束の出力端の照明装置で、垂直方向入射角度αが45度で、鋼板表面を照射するように設定し、鋼板1上の帯状光照射領域LAは幅方向1700mm、長さ方向70mmである。光ファイバー束12の出力端14から、帯状光L1の鋼板面上の帯状光照射領域LAまでの距離は鋼板ラインの装置構成で決められるが、本実施の形態では200〜400mm程度である。なお、照明装置10は、上記した以外の例えば市販のLEDレーザ光照明装置等のその他の帯状光源を用いてもよい。   In addition, the vertical direction of the steel plate surface that is wound around the roll and curved in the present application refers to the vertical direction of the tangential plane. As shown in FIG. 3, the band-like light L1 is a rod lens or cylindrical lens (not shown) provided at the output end 14, and the angle α (vertical incident angle) formed with the vertical direction of the steel plate surface of the steel plate 1 is The light is converged according to the roll diameter so as to be equal at each point of the band-shaped light irradiation area LA, and the band-shaped light irradiation area LA is irradiated at a vertical incident angle α of about 45 to 70 °. The band-shaped light L1 is irradiated with uniform illuminance over the entire width of the band-shaped light irradiation area LA so that the irradiation width in the moving direction of the steel plate 1 satisfies the imaging range of the two-dimensional imaging device 20. For example, the illuminating device 10 is an illuminating device at the output end of a fiber bundle using one 180 W halogen lamp as a light source. The illuminating device 10 is set to irradiate the steel plate surface with a vertical incident angle α of 45 degrees. The upper strip-shaped light irradiation area LA is 1700 mm in the width direction and 70 mm in the length direction. Although the distance from the output end 14 of the optical fiber bundle 12 to the strip light irradiation area LA on the steel plate surface of the strip light L1 is determined by the apparatus configuration of the steel plate line, it is about 200 to 400 mm in the present embodiment. The lighting device 10 may use other belt-like light sources other than those described above, such as a commercially available LED laser light lighting device.

(2次元撮像装置20)
また、鋼板上の帯状光照射領域LAを撮像する2次元撮像装置20の光軸は、鋼板1の鋼板面の垂直方向とのなす角度β(垂直方向反射角度)が例えば45度で、垂直方向入射角度αと等しくなるように、2次元撮像装置20を設置する(図3を参照のこと)。
(Two-dimensional imaging device 20)
The optical axis of the two-dimensional imaging device 20 that images the strip-shaped light irradiation area LA on the steel plate has an angle β (vertical reflection angle) with the vertical direction of the steel plate surface of the steel plate 1 of, for example, 45 degrees, and the vertical direction. The two-dimensional imaging device 20 is installed so as to be equal to the incident angle α (see FIG. 3).

2次元撮像装置20は、帯状光照射領域LAを挟んで照明装置10に対向する位置にあって、鋼板1の幅方向に一台または複数台が通常は、並列に配設されている。2次元撮像装置20の台数は、鋼板1の検査幅、および撮像素子の横方向の画素数に基づいて、どの程度小さな疵を検出するかという必要とする分解能に応じて決定する。通常は鋼板ラインを通板する鋼板1は複数の種類あり、夫々の幅が1m〜3m程度であるので、これに合わせて撮像装置も通常3,4台並列に並べる。なお、2次元撮像装置20から帯状光L1の鋼板面上の帯状光照射領域LAまでの距離は、鋼板1の検査幅、撮像装置20の視野角、必要分解能等、及び設置場所近辺の他の装置配置等により決定され、通常は300〜1200mm程度である。例えば、鋼板の幅が1500mmで、2次元撮像装置は横2352画素、縦200画素を有する撮像素子からなるカメラを使用する場合、板幅方向が画素サイズ0.35mm、ライン方向の画素サイズ0.35mmの画像を得るには、カメラ1台の幅方向視野は820mmとなるように光学条件を設定すると、カメラ2台で、カメラ幅方向視野サイズは1640mmになり、板幅全域の画像をえることができる。   The two-dimensional imaging device 20 is located at a position facing the illumination device 10 across the band-shaped light irradiation area LA, and one or a plurality of the two-dimensional imaging devices 20 are usually arranged in parallel in the width direction of the steel plate 1. The number of the two-dimensional imaging devices 20 is determined according to the required resolution of how much wrinkles are detected based on the inspection width of the steel plate 1 and the number of pixels in the horizontal direction of the imaging element. Normally, there are a plurality of types of steel plates 1 through which the steel plate line passes, and the widths of each are about 1 m to 3 m, and accordingly, three or four imaging devices are usually arranged in parallel. Note that the distance from the two-dimensional imaging device 20 to the belt-shaped light irradiation area LA on the steel plate surface of the strip-shaped light L1 is the inspection width of the steel plate 1, the viewing angle of the imaging device 20, the required resolution, and the like. It is determined by the arrangement of the apparatus and is usually about 300 to 1200 mm. For example, when the width of the steel plate is 1500 mm and the two-dimensional imaging device uses a camera having an imaging element having 2352 horizontal pixels and 200 vertical pixels, the plate width direction is 0.35 mm pixel size, and the line size pixel size is 0. To obtain an image of 35 mm, if the optical conditions are set so that the width direction field of view of one camera is 820 mm, the size of the field of view in the camera width direction is 1640 mm with two cameras, and an image of the entire plate width can be obtained. Can do.

2次元撮像装置20は、図4に模式的に示すように複数のCMOS(Complementary Metal Oxide Semiconducter)撮像素子22が受光部21上に2次元配列(行と列)された、2次元の画素配列からなる2次元CMOSカメラで構成され、その光軸は鋼板1の幅方向が撮像素子の走査方向と平行になり、かつ、鋼板1の移動方向が撮像素子の走査方向と垂直になるように向けられている。1回の撮像動作中に、異なる複数の画素の列(以下では「画素列」と記す)を任意に選択して、当該画素列の画像信号(以下では「列単位画像」と記す)を部分読み出しする手段を備えている。   The two-dimensional imaging device 20 includes a two-dimensional pixel array in which a plurality of CMOS (Complementary Metal Oxide Semiconductor) imaging elements 22 are two-dimensionally arranged (rows and columns) on the light receiving unit 21 as schematically shown in FIG. The optical axis is directed so that the width direction of the steel plate 1 is parallel to the scanning direction of the image sensor and the moving direction of the steel plate 1 is perpendicular to the scanning direction of the image sensor. It has been. During one imaging operation, a plurality of different pixel columns (hereinafter referred to as “pixel columns”) are arbitrarily selected, and image signals of the pixel columns (hereinafter referred to as “column-unit images”) are partially Means for reading is provided.

従って、CMOS撮像素子22のp列目の画素列から得られるp列単位画像と、CMOS撮像素子22のq列目の画素列から得られるq列単位画像は、同じ撮像動作中に得ることができる(ここでp、qはCMOS撮像素子22の異なる任意の2つの列番を表す)。   Therefore, the p-column unit image obtained from the p-th pixel column of the CMOS image sensor 22 and the q-column unit image obtained from the q-th pixel column of the CMOS image sensor 22 can be obtained during the same imaging operation. (Where p and q represent any two different column numbers of the CMOS image sensor 22).

本発明の実施の形態では、照明装置10の出力端14から垂直方向入射角度α傾いて照射されるように、ロール径に合わせて収束された帯状光が帯状光照射領域LAで反射され、2次元撮像装置20の受光部21上に結像して、帯状光照射領域LAが撮像される。このとき、2次元撮像装置20により、帯状光照射領域LAの内、帯状体の移動方向における位置が異なる複数の部分領域が、それぞれ異なる複数の垂直方向反射角度で撮像される。より具体的には、図2、図3に示すように、帯状光照射領域LA上の鋼板1の幅方向に長い部分領域Lpから、常に一定の垂直方向反射角度βpの反射光が、2次元撮像装置20の受光部21のCMOS撮像素子22のp列目で受光される。同様に、帯状光照射領域LA上の部分領域Lqから、常に一定の垂直方向反射角度βqの反射光が、2次元撮像装置20の受光面21のCMOS撮像素子22のq列目で受光することになる。帯状光照射領域LA上の部分領域Lp、Lq夫々とCMOS撮像素子22上のp列、q列夫々との対応関係は、予め帯状光照射領域LAを当該光学系で、CMOS撮像素子22から撮像画像を得て校正しておく。ところで、帯状光照射領域LAは2次元撮像装置20の受光部21に結像しているため、帯状光が垂直方向入射角度αで入射している部分領域Lpから、常に一定の垂直方向反射角度βpで1走査線分の画像が入射していることになることから、CMOS撮像素子の画素列を任意に選択すれば、帯状光照射領域LAの範囲内で、常に一義に垂直方向反射角度を選択することが可能である。尚、ここでは部分領域Lp、Lqを撮像する場合を説明しているが、この部分領域の個数は、複数であればよく、3以上であってもよい。   In the embodiment of the present invention, the band-shaped light converged in accordance with the roll diameter is reflected by the band-shaped light irradiation region LA so that the light is irradiated from the output end 14 of the lighting device 10 with the vertical incident angle α inclined. An image is formed on the light receiving unit 21 of the two-dimensional imaging device 20 and the strip light irradiation area LA is imaged. At this time, a plurality of partial areas having different positions in the moving direction of the band-like body in the band-like light irradiation area LA are imaged by the two-dimensional imaging device 20 at a plurality of different vertical direction reflection angles. More specifically, as shown in FIGS. 2 and 3, the reflected light having a constant vertical reflection angle βp is always two-dimensionally from the partial region Lp long in the width direction of the steel plate 1 on the strip-shaped light irradiation region LA. Light is received at the p-th row of the CMOS image sensor 22 of the light receiving unit 21 of the imaging device 20. Similarly, reflected light having a constant vertical reflection angle βq is always received from the partial region Lq on the strip-shaped light irradiation region LA by the q-th column of the CMOS image sensor 22 of the light-receiving surface 21 of the two-dimensional imaging device 20. become. The correspondence between the partial areas Lp and Lq on the band-shaped light irradiation area LA and the p-row and q-column on the CMOS image sensor 22 is determined by imaging the band-shaped light irradiation area LA from the CMOS image sensor 22 in advance using the optical system. Obtain and calibrate the image. By the way, since the band-shaped light irradiation area LA forms an image on the light receiving unit 21 of the two-dimensional imaging device 20, the vertical reflection angle is always constant from the partial area Lp where the band-shaped light is incident at the vertical direction incident angle α. Since an image of one scanning line is incident at βp, if the pixel row of the CMOS image sensor is arbitrarily selected, the vertical reflection angle is always uniquely defined within the band-shaped light irradiation area LA. It is possible to select. Although the case where the partial areas Lp and Lq are imaged is described here, the number of the partial areas may be plural and may be three or more.

(制御装置30)
制御装置30は、2次元撮像装置20で撮像する1枚の画像上の鋼板ライン方向の画素サイズが、1回の撮像動作の時間中に移動する鋼板の長さに等しくなるように、ライン速度に対応してPLG40から出力されるパルス信号に同期して、2次元撮像装置20が1回撮像するための撮像駆動信号を出力する。また、制御装置30は、後で詳細を記載するような処理で、画像信号を読み出すCMOS撮像素子22の複数の画素列を選択し設定する。2次元撮像装置20から1回の撮像動作中に得られる夫々の列単位画像を順次鋼板長手方向に合成してフレーム画像を作成し、順次疵画像処理装置32に出力する。
(Control device 30)
The control device 30 sets the line speed so that the pixel size in the steel plate line direction on one image picked up by the two-dimensional image pickup device 20 is equal to the length of the moving steel plate during the time of one image pickup operation. In response to the pulse signal output from the PLG 40, the two-dimensional imaging device 20 outputs an imaging drive signal for imaging once. Further, the control device 30 selects and sets a plurality of pixel columns of the CMOS image sensor 22 from which an image signal is read out by processing that will be described in detail later. A frame image is created by sequentially synthesizing each column unit image obtained from the two-dimensional imaging device 20 during one imaging operation in the longitudinal direction of the steel plate, and sequentially outputting the frame image processing device 32.

図5は、鋼板1の疵検査をする際にCMOS撮像素子22上の2つの画素列(p列目、q列目)が選択された場合の処理の一例を説明する説明図である。図5(a)には、2次元撮像装置20のp列目の画素列とq列目の画素列により撮像された列単位画像(p列単位画像又はq列単位画像)、夫々の鋼板1上の撮像位置である部分領域(Lp又はLq)、及び、鋼板1の搬送方向を上方向へ、時間軸を右方向にして、各撮像時刻t、t+i、t+2i(ここでiは撮像に要する時間)における鋼板1の移動の様子を模式的に示す。本発明の実施形態では、制御装置30から出力される撮像駆動信号は、2次元撮像装置20が1回の撮影時間中に移動する鋼板の長さと、撮像する画像上の鋼板ライン方向の画素サイズと等しくなるように同期しているので、順次撮像動作で得られた夫々の列単位画像(p列単位画像同士又はq列単位画像同士)を図5(b)に示すように、各撮像時刻毎に順次並べて配列・合成するだけで、p列単位画像を鋼板長手方向に合成したフレーム画像Ipと、q列単位画像を鋼板長手方向に合成したフレーム画像Iqとを作成することができる。   FIG. 5 is an explanatory diagram for explaining an example of processing when two pixel columns (p-th column and q-th column) on the CMOS image sensor 22 are selected when the steel sheet 1 is inspected. FIG. 5A shows a column unit image (p column unit image or q column unit image) captured by the p-th pixel column and the q-th pixel column of the two-dimensional imaging device 20, each steel plate 1. The partial area (Lp or Lq), which is the upper imaging position, and the conveying direction of the steel sheet 1 are upward, the time axis is rightward, and each imaging time t, t + i, t + 2i (where i is required for imaging) A state of movement of the steel plate 1 in (time) is schematically shown. In the embodiment of the present invention, the imaging drive signal output from the control device 30 includes the length of the steel plate that the two-dimensional imaging device 20 moves during one imaging time, and the pixel size in the steel plate line direction on the image to be captured. As shown in FIG. 5 (b), each column unit image (p column unit images or q column unit images) obtained by sequential imaging operation is displayed at each imaging time. The frame image Ip obtained by combining the p-row unit images in the longitudinal direction of the steel plate and the frame image Iq obtained by combining the q-row unit images in the longitudinal direction of the steel plate can be created simply by arranging and synthesizing them sequentially.

なお、同じ撮像動作中に得ることができる列単位画像の選択可能な画素列は、上記では2つの異なる垂直方向反射角度βpおよびβqに対応した2つのp列目の画像列とq列目の画像列を用いる場合について説明したが、異なる複数の垂直方向反射角度βに対応する画素列は、2つに制限されるものではなく、受光部21の有する画像列数まで選択が可能である。   The selectable pixel columns of the column-unit image that can be obtained during the same imaging operation are the two p-th image columns and the q-th column corresponding to the two different vertical reflection angles βp and βq in the above. Although the case where an image sequence is used has been described, the number of pixel columns corresponding to a plurality of different vertical reflection angles β is not limited to two, and the number of image columns included in the light receiving unit 21 can be selected.

(エッジ算出装置31)
次に、疵検出に使用されるフレーム画像を得るために、撮像された列単位画像からエッジ検出が可能な場合のエッジ算出装置31がエッジ位置を算出する動作について説明する。制御装置30は、フレーム画像を作成する間に少なくとも一回は、エッジ算出装置31に、2次元撮像装置20により撮像されたp列単位画像またはq列単位画像を入力する。エッジ算出装置は入力したp列単位画像またはq列単位画像の輝度プロフィールから、ロール表面輝度と鋼板表面輝度の段差(以下「エッジ輝度差」とする)を探索して鋼板エッジ位置を算出し、疵画像処理装置32にエッジ位置を出力する。ここで、列単位画像の輝度範囲が0―255であるとすると、エッジ輝度差閾値Δyは例えば10以上であることを条件とすれば、鋼板エッジ位置を間違えずに検出することが可能である。
(Edge calculation device 31)
Next, in order to obtain a frame image used for wrinkle detection, an operation in which the edge calculation device 31 calculates an edge position when edge detection is possible from a captured column-unit image will be described. The control device 30 inputs the p-row unit image or the q-row unit image captured by the two-dimensional imaging device 20 to the edge calculation device 31 at least once during the creation of the frame image. The edge calculation device calculates a steel plate edge position by searching for a step between the roll surface luminance and the steel plate surface luminance (hereinafter referred to as “edge luminance difference”) from the luminance profile of the input p-row unit image or q-row unit image, The edge position is output to the image processing apparatus 32. Here, assuming that the luminance range of the column unit image is 0 to 255, the edge luminance difference threshold value Δy can be detected without mistake if the edge luminance difference threshold value Δy is, for example, 10 or more. .

エッジ位置を算出するには、列単位画像のエッジ輝度差を公知の技術によって探索すれば良い。例えば、列単位画像にローパスフィルタを通して高周波成分を除去した後に、隣り合った輝度値の差を順次求め最大差をエッジ輝度差とし、その位置をエッジ位置として算出する。あるいは、列単位画像のロール表面から初めてエッジ輝度差閾値Δyを超える位置を探索し、エッジ位置としても良い。   In order to calculate the edge position, the edge luminance difference of the column unit image may be searched by a known technique. For example, after removing high-frequency components from the column unit image through a low-pass filter, the difference between adjacent luminance values is sequentially obtained, the maximum difference is set as the edge luminance difference, and the position is calculated as the edge position. Alternatively, a position exceeding the edge luminance difference threshold value Δy may be searched for the first time from the roll surface of the row unit image, and the edge position may be used.

本発明の実施の形態では、疵検出に使用する複数のフレーム画像を得るために、複数の列単位画像が選択可能であるから、選択された列単位画像から、夫々エッジ輝度差を求めておき、順次、列単位画像から算出したエッジ輝度差をエッジ輝度差閾値Δyと比較し、Δy以上の条件を満たしたエッジ輝度差の位置を選択して、エッジ位置情報として疵画像処理装置32に出力することができる。   In the embodiment of the present invention, since a plurality of column unit images can be selected to obtain a plurality of frame images used for wrinkle detection, an edge luminance difference is obtained from each selected column unit image. The edge luminance difference calculated from the column unit image is sequentially compared with the edge luminance difference threshold value Δy, the position of the edge luminance difference satisfying the condition equal to or larger than Δy is selected, and output to the heel image processing device 32 as edge position information. can do.

一例として、黒く焼付き塗装を施したスチール製ロールに鋼板が巻き付いた状態の場合について述べる。図6(a)にp列単位画像の輝度プロフィールを、図6(b)は、q列単位画像の輝度プロフィールを示す。ここで、p列単位画像は、乱反射光学系を満足する垂直方向反射角度の反射光を撮像するようにCMOS撮像素子22の画素列が選択された場合の列単位画像で、q列単位画像は、正反射光学系を満足する垂直方向反射角度の反射光を撮像するようにCMOS撮像素子22の画素列が選択された場合の列単位画像である。従って図6(a)は乱反射光学系で撮像される列単位画像の輝度プロフィール、図6(b)は正反射光学系で撮像される列単位画像の輝度プロフィールである。図6(b)では、スチール製のロール表面は検査する鋼板表面と同等の表面粗さであるため、正反射光学系で撮像される画像輝度は鋼板とロールとで同程度となる。つまり、正反射光学系で撮像される列単位画像のエッジ輝度差はエッジ輝度差閾値Δy以上にならないため、エッジ位置を選択することができない。ところが、図6(a)では、ロール表面と鋼板表面に色調の差があるので、乱反射光学系で撮像される画像輝度は輝度差が顕著に表れる。つまり、p列単位画像から求めたエッジ輝度差はエッジ輝度差閾値Δy以上となり、エッジ位置を容易に決定することが可能となる。以上から、本発明の実施の形態によれば、使用されるフレーム画像を得るために撮像された列単位画像は垂直方向反射角度が異なっているから、ロールと鋼板の輝度差が異なる列単位画像を得ることができれば、エッジ位置を選択するのに十分なエッジ輝度差の列単位画像を選択することができ、結果としてエッジ位置情報を正確に算出することが可能となる。   As an example, a case where a steel plate is wound around a steel roll that has been subjected to a black baking coating will be described. FIG. 6A shows the luminance profile of the p-column unit image, and FIG. 6B shows the luminance profile of the q-column unit image. Here, the p-column unit image is a column-unit image when the pixel column of the CMOS image sensor 22 is selected so as to capture the reflected light with the vertical reflection angle satisfying the irregular reflection optical system, and the q-column unit image is This is a column-unit image when the pixel column of the CMOS image sensor 22 is selected so as to image the reflected light having a vertical reflection angle that satisfies the regular reflection optical system. Accordingly, FIG. 6A shows the luminance profile of the column-unit image captured by the irregular reflection optical system, and FIG. 6B shows the luminance profile of the column-unit image captured by the regular reflection optical system. In FIG. 6B, since the steel roll surface has the same surface roughness as the steel plate surface to be inspected, the brightness of the image captured by the regular reflection optical system is the same for the steel plate and the roll. That is, the edge luminance difference of the column-unit image captured by the regular reflection optical system does not exceed the edge luminance difference threshold value Δy, so that the edge position cannot be selected. However, in FIG. 6A, since there is a difference in color tone between the roll surface and the steel plate surface, the luminance difference appears remarkably in the luminance of the image captured by the irregular reflection optical system. That is, the edge luminance difference obtained from the p-row unit image is equal to or greater than the edge luminance difference threshold Δy, and the edge position can be easily determined. As described above, according to the embodiment of the present invention, the column unit images captured to obtain the frame image to be used have different vertical reflection angles, and therefore the column unit images having different brightness differences between the roll and the steel plate. Can be obtained, it is possible to select a column unit image having an edge luminance difference sufficient to select an edge position, and as a result, it is possible to accurately calculate edge position information.

次に、疵検出に使用されるフレーム画像を得るために選択された列単位画像(例えばp列単位画像及びq列単位画像)からエッジ検出ができず、且つエッジ位置を算出できる垂直方向反射角度βeが既知の場合について述べる。例えば、疵検出に必要なフレーム画像を作成するために選択され撮像される夫々の列単位画像からでは、エッジ輝度差閾値Δy以上を満たすエッジ輝度差を得ることができず、エッジ位置を求めることができない場合である。このような場合には、制御装置30は、エッジ輝度差閾値Δy以上のエッジ輝度差を得ることができる垂直方向反射角度βeに対応した部分領域Leを撮影するために、CMOS撮像素子22のe列目の画素列を選択し設定する。そして、エッジ算出装置31は、2次元撮像装置によって出力されたe列単位画像から、前述したのと同様に、エッジ位置を算出し、疵画像処理装置31に出力する。なお、制御装置30が、エッジ算出装置31に入力するe列単位画像の入力回数は、疵検査に必要な複数のフレーム画像作成の間隔、つまり図5(b)でフレーム画像Ip、Iqが作成される間隔内に1回以上あればよく、PLG40の撮像駆動信号を用いて容易に入力回数を制御することができる。また、CMOS撮像素子22の設定するe列目の画素列は、予めロール表面と、鋼板の品種に対応させて、オフライン実験や、ラインが停止している場合等で検討して決定すればよい。従って、疵検出に使用するフレーム画像を得るために選択された列単位画像からエッジが検出できない場合であっても、別途エッジ検出可能な列単位画像から精度良くエッジを検出することが可能となる。   Next, the vertical reflection angle at which edge detection cannot be performed and edge positions can be calculated from the column unit images (for example, p column unit images and q column unit images) selected to obtain the frame image used for wrinkle detection A case where βe is known will be described. For example, it is not possible to obtain an edge luminance difference satisfying the edge luminance difference threshold Δy or more from each column-unit image selected and imaged to create a frame image necessary for wrinkle detection, and obtain an edge position. This is the case when you cannot. In such a case, the controller 30 captures the partial area Le corresponding to the vertical reflection angle βe that can obtain an edge luminance difference equal to or greater than the edge luminance difference threshold value Δy, in order to capture the e of the CMOS image sensor 22. Select and set the pixel column. Then, the edge calculation device 31 calculates the edge position from the e-row unit image output by the two-dimensional imaging device, and outputs it to the eyelid image processing device 31 as described above. Note that the number of e-row unit images input to the edge calculation device 31 by the control device 30 is the interval between creation of a plurality of frame images necessary for wrinkle inspection, that is, the frame images Ip and Iq are created in FIG. The number of times of input can be easily controlled using the imaging drive signal of the PLG 40. Further, the pixel column e set by the CMOS image sensor 22 may be determined in advance by examining the off-line experiment or when the line is stopped, corresponding to the roll surface and the type of steel plate. . Therefore, even when the edge cannot be detected from the column unit image selected to obtain the frame image used for wrinkle detection, it is possible to detect the edge with high accuracy from the column unit image that can be separately detected. .

さらに、エッジ算出が可能な垂直方向反射角度βeをオンラインで検出する場合について述べる。本発明の実施の形態では、被検査体の複数の鋼板は、各鋼板の後端と先端とが溶接点で溶接により連結されたものであり、溶接点前後は、疵検査を行う必要性が低いことから、鋼板先頭部分で疵検出に使用されるフレーム画像を得るために選択された複数の列単位画像以外の複数の列単位画像を撮影して、最適なエッジ位置算出が可能な列単位画像を選択すればよい。具体的には、制御装置30は、溶接点検出部(図示しない)で溶接点を検出した信号(溶接点検出信号)を受けて、撮像している領域が鋼板先頭部分に切り替わった時点で、疵検出のために選択された垂直方向反射角度とは異なる複数の垂直方向反射角度βmに対応する複数の部分領域Lmを撮影するために、2次元CMOS撮像素子22に複数の画素列を設定する。そして、エッジ算出装置31は、2次元撮像装置によって出力された複数のm列単位画像から順次エッジ輝度差を算出、比較することでエッジ輝度差閾値Δy以上を満足する垂直方向反射角度βeに対応したe列単位画像を得る。なお、e列単位画像を選択するには、順次エッジ輝度差を比較する際に、エッジ輝度差閾値Δy以上を最初に満足した列単位画像を選択しても良いし、複数のエッジ輝度差閾値Δy以上を満足する列画像の中からエッジ輝度差が最大のものを選択しても良い。このようにして、2次元CMOS撮像素子22のe列目の画素列を選択することができる。   Further, a case where the vertical reflection angle βe capable of calculating the edge is detected online will be described. In the embodiment of the present invention, the plurality of steel plates of the object to be inspected are those in which the rear end and the front end of each steel plate are connected by welding at the welding point, and before and after the welding point, it is necessary to perform a flaw inspection. Since it is low, a plurality of column-unit images other than the plurality of column-unit images selected to obtain the frame image used for wrinkle detection at the top of the steel plate can be used to calculate the optimum edge position. What is necessary is just to select an image. Specifically, the control device 30 receives a signal (welding point detection signal) in which a welding point is detected by a welding point detection unit (not shown), and at the time when the area being imaged is switched to the steel plate top portion, In order to photograph a plurality of partial regions Lm corresponding to a plurality of vertical direction reflection angles βm different from the vertical direction reflection angle selected for haze detection, a plurality of pixel columns are set in the two-dimensional CMOS image sensor 22. . Then, the edge calculation device 31 corresponds to the vertical reflection angle βe that satisfies the edge luminance difference threshold Δy or more by sequentially calculating and comparing the edge luminance differences from the plurality of m-column unit images output by the two-dimensional imaging device. The obtained e-row unit image is obtained. In order to select the e column unit image, when sequentially comparing the edge luminance difference, a column unit image that first satisfies the edge luminance difference threshold value Δy may be selected, or a plurality of edge luminance difference threshold values may be selected. You may select the thing with the largest edge brightness | luminance difference from the row | line | column images which satisfy (DELTA) y or more. In this manner, the e-th pixel column of the two-dimensional CMOS image sensor 22 can be selected.

あるいは、前述した溶接点検出信号に加えて、上位計算機(図示しない)から鋼板の幅情報も制御装置30に入力される場合には、撮像している領域が鋼板先頭部分に切り替わった時点で、制御装置30は、鋼板のエッジ近傍の所定のエッジ探索領域LE(図2)を撮像するために、2次元CMOS撮像素子22の所定の矩形領域の画素を設定するように指示する。2次元CMOS撮像素子の画素列は、2次元CMOSカメラが設置された時点で、鋼板の幅方向の何処の位置を撮影するか一義に決定されるので、矩形領域の走査方向の一辺の中心は、鋼板の幅情報から算出したエッジ位置座標に対応する画素として、矩形領域の走査方向の一辺の画素数は、鋼板のウォーク量と呼ばれる蛇行量を考慮して設定する。例えば、通常の鋼板ラインでウォーク量は±50mm程度であるので、板幅方向の画素サイズが0.35mmの場合、286画素(≒100mm/0.35mm)と設定する。また、矩形領域の走査方向に垂直な一辺の長さは、帯状光照射領域LAの鋼板の移動方向の照射幅まで任意に設定可能であるが、通常は移動方向の照射幅の半分程度に設定する。そして、エッジ算出装置31は、2次元撮像装置によって撮像され出力されたエッジ探索領域LEの画像を用いて、順次、列単位毎にエッジ輝度差を求め、エッジ輝度差閾値Δy以上を満足する垂直方向反射角度βeに対応したe列単位画像を得ることで、対応する2次元CMOS撮像素子22e列目に画素列を選択してもよい。このようにすれば、取り扱う画像サイズを小さくすることができるので、最適なエッジ位置算出に必要な列単位画像の検索が効率良く行うことができる。このように本発明の実施の形態に係る表面疵検査装置では、上記のようなエッジ算出装置31を備えることにより、撮像された列単位画像等を使用して、鋼板のエッジをより正確かつ容易に認識することができる。従って、製造ラインの機器配置状の制約などにより正確なエッジ位置を検出することが困難であった別途のエッジ検出器などを使用せずとも、正確にエッジを認識することが可能であり、かつ、このような別途のエッジ検出器が必要でないため、疵検査装置全体の製造コストを低減することも可能である。   Alternatively, in addition to the above-described welding point detection signal, when the steel plate width information is also input to the control device 30 from a host computer (not shown), at the time when the imaged area is switched to the steel plate head portion, The control device 30 instructs to set pixels in a predetermined rectangular area of the two-dimensional CMOS image sensor 22 in order to image a predetermined edge search area LE (FIG. 2) near the edge of the steel plate. Since the pixel row of the two-dimensional CMOS image sensor is uniquely determined at which position in the width direction of the steel plate is photographed when the two-dimensional CMOS camera is installed, the center of one side in the scanning direction of the rectangular area is As the pixels corresponding to the edge position coordinates calculated from the steel plate width information, the number of pixels on one side in the scanning direction of the rectangular region is set in consideration of the meandering amount called the steel plate walk amount. For example, in a normal steel plate line, the walk amount is about ± 50 mm. Therefore, when the pixel size in the plate width direction is 0.35 mm, 286 pixels (≈100 mm / 0.35 mm) are set. In addition, the length of one side perpendicular to the scanning direction of the rectangular area can be arbitrarily set up to the irradiation width in the moving direction of the steel plate in the band-shaped light irradiation area LA, but is usually set to about half the irradiation width in the moving direction. To do. Then, the edge calculation device 31 uses the image of the edge search region LE imaged and output by the two-dimensional imaging device to sequentially obtain the edge luminance difference for each column unit, and satisfies the edge luminance difference threshold Δy or more. By obtaining an e-row unit image corresponding to the direction reflection angle βe, a pixel row may be selected as the corresponding 2-dimensional CMOS image sensor 22e row. In this way, the size of the image to be handled can be reduced, so that it is possible to efficiently search for the column unit image necessary for calculating the optimum edge position. As described above, the surface flaw inspection apparatus according to the embodiment of the present invention includes the edge calculation device 31 as described above, so that the edge of the steel plate can be more accurately and easily used by using the captured column unit image or the like. Can be recognized. Therefore, it is possible to accurately recognize the edge without using a separate edge detector or the like that has been difficult to detect an accurate edge position due to restrictions on the arrangement of equipment on the production line, and the like. Since such a separate edge detector is not necessary, it is possible to reduce the manufacturing cost of the entire eyelid inspection apparatus.

(動作及び効果の例等)
以上で説明したように、本発明の実施の形態では、2次元撮像装置20は、1回の撮像動作中に、制御装置30によって選択される所定の異なる複数の画素列の画像信号を読み出す手段を備えているので、CMOS撮像素子22のp列目とCMOS撮像素子22のq列目を予め制御装置30で選択しておけば、1回の撮像動作によって、垂直方向反射角度βpのp列単位画像と垂直方向反射角度βqのq列単位画像を同時に得るとともに、エッジ位置を算出するのに最適な列単位画像をも同時に得ることができる。
(Examples of actions and effects)
As described above, in the embodiment of the present invention, the two-dimensional imaging device 20 reads out image signals of a plurality of predetermined different pixel columns selected by the control device 30 during one imaging operation. Therefore, if the control device 30 selects the p-th column of the CMOS image sensor 22 and the q-th column of the CMOS image sensor 22 in advance, the p-column of the vertical reflection angle βp is obtained by one imaging operation. A unit image and a q-row unit image having a vertical reflection angle βq can be obtained at the same time, and an optimum row-unit image for calculating the edge position can be obtained at the same time.

制御装置30は、予め鋼板1の品種や表面性状に対応させて、どのような垂直方向反射角度(CMOS撮像素子22の読み出す画素列で一義に決定される)で鋼板を撮像すれば精度良く疵検出ができるか又はエッジ算出装置31がエッジ位置を算出できるかを、予め実験等によって検討して、鋼板1の品種等ごとに垂直方向反射角度または画素列の番号として内蔵するデータベース(図示しない)に登録する。そして、実際に鋼板ラインで検査するときに、被検査材の鋼板の品種や表面性状に適した垂直方向反射角度を、当該データベースを基に決定して、CMOS撮像素子22の読み出し画素列設定信号を2次元撮像装置20に出力して撮像を制御する。   The control device 30 can correspond to the type and surface properties of the steel plate 1 in advance and accurately capture the steel plate at any vertical reflection angle (determined uniquely by the pixel row read by the CMOS image sensor 22). A database (not shown) built in as a vertical reflection angle or a pixel row number for each type of the steel plate 1 by examining beforehand whether it can be detected or the edge position can be calculated by the edge calculation device 31 through experiments or the like. Register with. Then, when actually inspecting with the steel plate line, the vertical reflection angle suitable for the type and surface property of the steel plate to be inspected is determined based on the database, and the readout pixel column setting signal of the CMOS image sensor 22 is determined. Is output to the two-dimensional imaging device 20 to control imaging.

さらに、前述したように、制御装置30から出力される、鋼板1の移動に対応するパルス信号PLGに同期した撮像駆動信号によって、撮像動作を繰り返すので、容易に、垂直方向反射角度βpで撮像したフレーム画像(図5、Ip)と垂直方向反射角度βqで撮像したフレーム画像(図5、Iq)とを連続して鋼板長手方向全域について得られると同時に、エッジ算出装置31は、夫々のフレーム画像上の正確なエッジ位置情報を算出することができる。したがって、鋼板1の地合表面に適した任意の乱反射光学系を構築することが可能となり、疵表面で起こるわずかな乱反射の違いや反射率の角度依存性により、所定の受光角度でしか輝度変化を得ることできなかった疵に対して、最適な受光角度(即ち、垂直方向反射角度)で撮像することができると同時に、リアルタイムでエッジ位置を検知することができる。   Furthermore, as described above, the imaging operation is repeated by the imaging drive signal that is output from the control device 30 and synchronized with the pulse signal PLG corresponding to the movement of the steel plate 1, so that imaging is easily performed at the vertical reflection angle βp. The frame image (FIG. 5, Ip) and the frame image (FIG. 5, Iq) captured at the vertical reflection angle βq can be obtained continuously for the entire area in the longitudinal direction of the steel sheet. The above accurate edge position information can be calculated. Therefore, it is possible to construct an arbitrary irregular reflection optical system suitable for the surface of the steel plate 1, and the luminance change only at a predetermined light receiving angle due to a slight irregular reflection difference occurring on the surface of the ridge and the angle dependency of the reflectance. It is possible to pick up an image at an optimal light receiving angle (that is, a vertical reflection angle) and to detect an edge position in real time for the soot that could not be obtained.

また、図3に示すように、2次元撮像装置20の光軸が、垂直方向入射角度αとほぼ等しい垂直方向反射角度β(垂直方向入射角度との差が0°〜5°)で反射する反射光を受光する2次元撮像装置20の受光面21のCMOS撮像素子22のr列目で受光するように画素列を制御装置30で選択すれば、正反射光学系を構築することができ、凹凸性状疵が検出しやすくなる。ここで、正反射光学系を構築するために、CMOS撮像素子22のr列目を選択するのに、反射光の強度を測定し、一番強度の高い画素列を選択しても良い。なお、鋼板地合が鏡面のような場合は、正反射光学系から±1〜2°程度ずらした条件(トワイライトゾーン)を満たす画素列を選択して撮像すると、地合からの強烈な反射光が低減されて、微小凹凸性状疵の顕在化が図れるという結果が得られる。図5(b)には一例として、正反射凹凸疵(疵H)と、有色疵である異物付着(疵G)を撮影したときに得られた画像を示した。図5(b)でIpが正反射光学系で得られたフレーム画像であり(すなわち、p=rとなる例である)、Iqが乱反射光学系で得られたフレーム画像である。正反射光学系で得られた画像から、微小凹凸性状疵を、乱反射光学系から得られた画像から異物付着等の有色疵を確実に検出することができる。   Also, as shown in FIG. 3, the optical axis of the two-dimensional imaging device 20 reflects at a vertical reflection angle β (difference from the vertical incident angle is 0 ° to 5 °) substantially equal to the vertical incident angle α. If the control device 30 selects a pixel row so as to receive light at the r-th row of the CMOS image sensor 22 of the light receiving surface 21 of the two-dimensional imaging device 20 that receives reflected light, a regular reflection optical system can be constructed. It becomes easy to detect the irregularity wrinkles. Here, in order to construct the regular reflection optical system, in order to select the r-th column of the CMOS image sensor 22, the intensity of the reflected light may be measured and the pixel column having the highest intensity may be selected. In addition, when the steel plate formation is a mirror surface, intense reflected light from the formation is obtained by selecting a pixel row that satisfies the condition (twisting zone) shifted by about ± 1 to 2 ° from the regular reflection optical system. As a result, it is possible to obtain a result that the fine concavo-convex characteristic flaws can be realized. FIG. 5B shows, as an example, an image obtained when photographing regular reflection unevenness wrinkles (疵 H) and foreign matter adhesion (疵 G) that is colored wrinkles. In FIG. 5B, Ip is a frame image obtained by the regular reflection optical system (that is, an example in which p = r), and Iq is a frame image obtained by the irregular reflection optical system. From the image obtained with the regular reflection optical system, it is possible to reliably detect minute irregularities and the like, and from the image obtained from the irregular reflection optical system, colored wrinkles such as foreign matter adhesion.

(オペレータ疵表示装置33)
オペレータ疵表示装置33は、例えばコンピュータディスプレーなどの表示装置で構成され、疵画像処理装置32から送られてくる検出した疵の疵画像および疵画像から抽出された特徴量を含む信号を重畳し、疵の画像および特徴量を表示する。ここで、例えば特徴量としては疵の種類、鋼板上の発生位置、大きさ、有害度などのデータを含んでいる。
(Operator 疵 display device 33)
The operator wrinkle display device 33 is configured by a display device such as a computer display, for example, and superimposes a signal including the detected wrinkle image sent from the wrinkle image processing device 32 and a feature amount extracted from the wrinkle image, The image and feature amount of the cocoon are displayed. Here, for example, the feature amount includes data such as the type of soot, the occurrence position on the steel plate, the size, and the degree of harmfulness.

(疵画像処理装置32)
疵画像処理装置32は、制御装置30で複数の列単位画像から作成したフレーム画像と、エッジ算出装置31からエッジ位置情報が入力されて、当該フレーム画像に対して、シェーディング補正等の画質改善、ラベリング処理や幾何学的特徴量抽出等の画像解析などの画像処理、及び疵判定処理を行って有害疵を検出する。例えば、本出願人によって特許文献3に開示されているように、得られたフレーム画像から、抽出された疵候補画像の中から特定形状の模様を含む画像を抽出し、抽出した画像に所定の画像処理を行って有害疵を検出することにより、有害疵を検出するために行う画像処理対象を絞り込んで、高速且つ高精度で疵検出が可能であり、鋼板表面部分のみの画像処理を効率よく行うことができ、ロール上を移動している鋼板がいわゆるウォークと呼ばれる蛇行をおこしても鋼板エッジを起点に有害疵の発生位置を正確に算出することができる。
(Wrinkle image processing device 32)
The image processing device 32 receives the frame image created from the plurality of column unit images by the control device 30 and the edge position information from the edge calculation device 31, and improves the image quality such as shading correction on the frame image. Image processing such as image analysis such as labeling processing and geometric feature extraction, and wrinkle determination processing are performed to detect harmful flaws. For example, as disclosed in Patent Document 3 by the present applicant, an image including a pattern having a specific shape is extracted from the extracted candidate image from the obtained frame image, and a predetermined image is added to the extracted image. By performing image processing to detect harmful flaws, it is possible to narrow down the image processing target to detect harmful flaws and to detect wrinkles at high speed and with high accuracy and to efficiently perform image processing only on the steel plate surface portion. Even if the steel plate moving on the roll causes a meander called a so-called walk, the occurrence position of harmful flaws can be accurately calculated from the steel plate edge.

(プログラム等)
制御装置30、エッジ算出装置31及び疵画像処理装置32は、個別の専用装置で構成されてもよいが、夫々作業者が上記の疵検出のための設定値を入力するためのキーボードやマウス等の入力装置、オペレータ疵表示装置33との入力/出力インターフェイス、画像メモリを含む内部メモリ、DVD−RAMやHDD等の外部記録装置、及びコンピュータ・ディスプレーを具備するコンピュータで構成することも出来る。制御装置30、エッジ算出装置31及び疵画像処理装置32は、夫々別個のコンピュータで構成してもよく、また、設置場所や製作費を低減するために一台で構成しても良い。さらに、鋼板等の製造ラインを統括するプロセス=コンピュータとLAN又は専用のケーブル等で接続するI/Oボードを備えて、被検査材の鋼板の種類の情報を当該プロセスコンピュータから得るようにしてもよく、又、疵検出結果を当該プロセスコンピュータに出力するようにしても良い。このようにコンピュータ等で構成した装置で、制御装置30、エッジ装置31及び疵画像処理装置32で行う上記の制御や各データ処理(情報処理)は、予め作成した疵画像測定プログラム及び疵画像処理プログラムをHDD及び内部メモリにロードして実行させる。
(Program etc.)
The control device 30, the edge calculation device 31, and the eyelid image processing device 32 may be configured by individual dedicated devices, but a keyboard, a mouse, and the like for each operator to input setting values for the eyelid detection described above. It is also possible to configure the computer with an input device, an input / output interface with the operator display device 33, an internal memory including an image memory, an external recording device such as a DVD-RAM or HDD, and a computer display. The control device 30, the edge calculation device 31, and the eyelid image processing device 32 may be configured by separate computers, respectively, or may be configured by a single unit in order to reduce the installation location and production cost. In addition, a process for controlling a production line for steel plates, etc. = an I / O board connected to a computer or a LAN or a dedicated cable, etc., so that information on the type of steel plate to be inspected can be obtained from the process computer Alternatively, the wrinkle detection result may be output to the process computer. The above-described control and each data processing (information processing) performed by the control device 30, the edge device 31, and the eyelid image processing device 32 in the apparatus configured by a computer or the like in this way are the eyelid image measurement program and the eyelid image processing created in advance. The program is loaded into the HDD and internal memory and executed.

<まとめ>
以上説明したように、本発明の実施形態によれば、2次元撮像装置20の受光部21の画素列を選択することによって、撮像装置の数を増やすことなく、同時刻に複数の受光角度で撮像した疵画像を複数得ることができ、正反射光学系や乱反射光学系を容易に構築することができるので、所定の受光角度でしか輝度変化を得ることができないような疵のリアルタイム検出が可能となり、安価でかつ容易に鋼板上に発生する様々な疵に対応した検査ができる。
<Summary>
As described above, according to the embodiment of the present invention, by selecting the pixel column of the light receiving unit 21 of the two-dimensional imaging device 20, the number of imaging devices can be increased at a plurality of light receiving angles at the same time without increasing the number of imaging devices. Multiple captured images can be obtained, and regular reflection optical systems and diffuse reflection optical systems can be easily constructed, enabling real-time detection of wrinkles that can only change brightness at a predetermined light receiving angle. Therefore, it is possible to perform inspection corresponding to various wrinkles generated on the steel plate at low cost and easily.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されないことは言うまでもない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。   As mentioned above, although preferred embodiment of this invention was described in detail, referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this example. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

本発明の一実施の形態の疵検査装置の概略を示す図である。It is a figure which shows the outline of the wrinkle inspection apparatus of one embodiment of this invention. 図1に示す実施の形態の疵検査装置の上方から見た照明装置と2次元撮像装置の配置を示す平面図である。It is a top view which shows arrangement | positioning of the illuminating device and 2D imaging device which were seen from the upper direction of the eyelid inspection apparatus of embodiment shown in FIG. 図1に示す実施の形態の疵検査装置の側面配置図である。It is a side surface layout diagram of the wrinkle inspection apparatus of embodiment shown in FIG. 2次元撮像装置の受光部のCMOS撮像素子を模式的に示す図である。It is a figure which shows typically the CMOS image sensor of the light-receiving part of a two-dimensional imaging device. 2つの列単位画像からフレーム画像を導出する手法の概略の説明図である。It is explanatory drawing of the outline of the method of deriving | requiring a frame image from two column unit images. 2つの列単位画像の輝度プロフィールを示す図である。It is a figure which shows the brightness | luminance profile of two column unit images.

符号の説明Explanation of symbols

1 鋼板
2 ロール
10 照明装置
11 光源
12 光ファイバー束
13 光ファイバー束入力端
14 光はフィバー束出力端
20 2次元撮像装置
21 受光部
22 CMOS撮像素子
30 制御装置
31 エッジ算出装置
32 疵画像処理装置
33 オペレータ疵表示装置
40 PLG
L1 帯状光
LA 帯状光照射領域
LE エッジ算出探索領域
Lp、Lq 帯状光照射領域内の撮像位置(部分領域)
DESCRIPTION OF SYMBOLS 1 Steel plate 2 Roll 10 Illuminating device 11 Light source 12 Optical fiber bundle 13 Optical fiber bundle input terminal 14 Light is a fiber bundle output terminal 20 Two-dimensional imaging device 21 Light receiving part 22 CMOS imaging element 30 Control device 31 Edge calculation device 32 疵 Image processing device 33 Operator疵 Display device 40 PLG
L1 Band-shaped light LA Band-shaped light irradiation region LE Edge calculation search region Lp, Lq Imaging position (partial region) in the band-shaped light irradiation region

Claims (7)

ロールにより搬送される帯状体の、該ロールに巻き付いた部分において、該帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査する表面疵検査装置であって、
前記帯状光の前記帯状体に対する垂直方向入射角度が、該帯状光照射領域のすべての点において、予め設定した所定の値と等しくなるように、ロール径に合わせ収束する帯状光を照射する照明装置と、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、前記帯状体の移動に同期して、該帯状光照射領域の内の、前記帯状体の移動方向における位置が異なる複数の部分領域を、夫々異なる複数の垂直方向反射角度で撮像して、複数の列単位画像を出力する、部分読み出し可能な2次元撮像装置と、
前記複数の列単位画像のうちの少なくとも二つ以上の列単位画像の夫々からフレーム画像が構成される間に、該複数の列単位画像のうちの少なくとも一つ以上の列単位画像からの輝度情報を用いて、前記帯状体のエッジ位置を算出するエッジ算出装置と、
前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出する疵画像処理装置と、
を備えることを特徴とする表面疵検査装置。
In the portion of the belt-like body conveyed by the roll, the belt-like light is irradiated on the entire surface in the width direction of the surface of the belt-like body, and the belt-like light is irradiated from the belt-like light irradiation region. An apparatus for inspecting wrinkles on the surface of the band-shaped body by imaging reflected light of the band-shaped light,
An illumination device that irradiates a band-shaped light that converges in accordance with a roll diameter so that a vertical incident angle of the band-shaped light with respect to the band-shaped body is equal to a predetermined value set in advance at all points in the band-shaped light irradiation region. When,
A plurality of partial regions that are arranged opposite to the illumination device across the band-shaped light irradiation region and that are different in position in the moving direction of the band-shaped body in the band-shaped light irradiation region in synchronization with the movement of the band-shaped body. A partially readable two-dimensional imaging device that captures images at a plurality of different vertical reflection angles and outputs a plurality of column unit images;
Luminance information from at least one column unit image of the plurality of column unit images while a frame image is configured from each of at least two column unit images of the plurality of column unit images. Using an edge calculating device for calculating the edge position of the strip,
A wrinkle image processing device that performs image processing on the frame image to detect wrinkles on the surface of the strip;
A surface defect inspection apparatus comprising:
前記2次元撮像装置は、複数のCMOS撮像素子からなる2次元の画素配列を有する2次元CMOSカメラを備え、該画素配列から制御装置の指示により任意の画素列の前記列単位画像を出力するものであり、
前記制御装置は、予め設定した前記複数の垂直方向反射角度夫々に対応する前記複数の部分領域を撮像するために、前記2次元CMOSカメラの複数の画素列を指定して前記2次元撮像装置に指示し、さらに、該2次元撮像装置から入力した該複数の部分領域夫々に対応する該複数の列単位画像のうちの少なくとも二つ以上の列単位画像を配列・合成して、該少なくとも二つ以上の列単位画像の夫々が表した垂直方向反射角度夫々により前記帯状光照射領域を撮像したフレーム画像を構成するとともに、
前記エッジ算出装置は、前記垂直方向反射角度夫々のフレーム画像が構成される間に、前記複数の列単位画像のうちの一つ以上の列単位画像からの輝度情報を用いて、前記帯状体のエッジ位置を算出する、
ことを特徴とする請求項1に記載の表面疵検査装置。
The two-dimensional imaging device includes a two-dimensional CMOS camera having a two-dimensional pixel array composed of a plurality of CMOS image sensors, and outputs the column unit image of an arbitrary pixel column from the pixel array according to an instruction from a control device. And
The control device designates a plurality of pixel columns of the two-dimensional CMOS camera to the two-dimensional imaging device in order to image the plurality of partial regions corresponding to the plurality of vertical reflection angles set in advance. And further arranging and synthesizing at least two column unit images of the plurality of column unit images corresponding to the plurality of partial regions input from the two-dimensional imaging device, Constructing a frame image obtained by imaging the belt-shaped light irradiation region by each of the vertical reflection angle represented by each of the above column-unit images,
The edge calculation device uses the luminance information from one or more column unit images of the plurality of column unit images while the frame images of the vertical reflection angles are formed, and Calculate the edge position,
The surface flaw inspection apparatus according to claim 1.
前記制御装置は、前記フレーム画像を構成するのに使用する前記少なくとも二つ以上の列単位画像に夫々対応する前記部分領域とは異なる、前記ロール表面の画像輝度と前記帯状体表面の画像輝度との差が予め設定されたエッジ輝度差閾値以上となる垂直方向反射角度に対応する部分領域を、該フレーム画像を構成する間に一回以上撮影するために、前記2次元CMOSカメラの画素列を指定して前記2次元撮像装置に指示し、
前記2次元撮像装置は、前記垂直方向反射角度に対応する部分領域に対応する列単位画像を前記エッジ算出装置に出力し、
前記エッジ算出装置は、前記第2次撮像装置から入力された前記列単位画像の輝度情報から、帯状体のエッジ位置を算出する、
ことを特徴とする請求項1または請求項2に記載の表面検査装置。
The control device is different from the partial areas corresponding to the at least two or more column-unit images used to construct the frame image, and the image brightness of the roll surface and the image brightness of the belt-like body surface, In order to capture a partial region corresponding to the vertical reflection angle at which the difference between the two is equal to or greater than a preset edge luminance difference threshold value, at least once during the construction of the frame image, the pixel array of the two-dimensional CMOS camera is Specify and instruct the 2D imaging device;
The two-dimensional imaging device outputs a column unit image corresponding to a partial region corresponding to the vertical reflection angle to the edge calculation device,
The edge calculation device calculates the edge position of the strip from the luminance information of the column unit image input from the secondary imaging device.
The surface inspection apparatus according to claim 1 or 2, wherein
前記制御装置は、互いに連結されて搬送された前記帯状体の連結部直後の先端部分が撮像される時点で、前記フレーム画像を構成するのに使用する前記少なくとも二つ以上の列単位画像に夫々対応する前記部分領域とは異なる、複数の垂直方向反射角度に夫々対応する複数の部分領域を撮影するために、前記2次元CMOSカメラの画素列を指定して2次元撮像装置に指示し、
前記2次元撮像装置は、前記複数の垂直方向反射角度に夫々対応する複数の部分領域に夫々対応する複数の列単位画像を前記エッジ算出装置に出力し、
前記エッジ算出装置は、前記第2次撮像装置から入力された前記複数の列単位画像から、前記ロール表面の画像輝度と前記帯状体表面の画像輝度との差が、予め設定されたエッジ輝度差閾値以上となる垂直方向反射角度を決定する、
ことを特徴とする請求項3に記載の表面疵検査装置。
The controller is configured to each of the at least two column-unit images used to form the frame image at a time point when the front end portion immediately after the connecting portion of the belt-like bodies that are connected to each other is imaged. In order to photograph a plurality of partial areas respectively corresponding to a plurality of vertical reflection angles different from the corresponding partial areas, a pixel column of the two-dimensional CMOS camera is designated and a two-dimensional imaging device is instructed.
The two-dimensional imaging device outputs a plurality of column unit images respectively corresponding to a plurality of partial regions respectively corresponding to the plurality of vertical reflection angles to the edge calculation device;
The edge calculation device is configured such that a difference between an image luminance of the roll surface and an image luminance of the belt-like body surface is set as a predetermined edge luminance difference from the plurality of column unit images input from the secondary imaging device. Determine the vertical reflection angle that is above the threshold,
The surface flaw inspection apparatus according to claim 3.
前記制御装置は、互いに連結されて搬送された前記帯状体の連結部直後の先端部分が撮像される時点で、上位計算機から入力される該帯状体の幅情報に応じて、該帯状体のエッジ近傍の所定の2次元領域を撮像するために、所定の行と列の画素を設定して前記2次元撮像装置に指示し、
前記2次元撮像装置は、前記エッジ近傍の所定の2次元領域画像を前記エッジ算出装置に出力し、
前記エッジ算出装置は、前記第2次撮像装置から入力された前記2次元領域画像から、前記ロール表面の画像輝度と前記帯状体表面の画像輝度との差が、予め設定されたエッジ輝度差閾値以上となる垂直方向反射角度を決定する、
ことを特徴とする請求項3に記載の表面検査装置。
The control device detects the edge of the strip according to the width information of the strip input from the host computer at the time when the tip portion immediately after the connecting portion of the strip transported connected to each other is imaged. In order to image a predetermined two-dimensional region in the vicinity, set pixels in predetermined rows and columns and instruct the two-dimensional imaging device;
The two-dimensional imaging device outputs a predetermined two-dimensional region image near the edge to the edge calculation device,
The edge calculation device is configured such that a difference between the image luminance of the roll surface and the image luminance of the band-like surface is a preset edge luminance difference threshold value from the two-dimensional region image input from the secondary imaging device. Determine the vertical reflection angle to be above,
The surface inspection apparatus according to claim 3.
ロールにより搬送される帯状体の、該ロールに巻き付いた部分において、該帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査する表面疵検査方法であって、
照明装置により、前記帯状光の前記帯状体に対する垂直方向入射角度が、該帯状光照射領域のすべての点において、予め設定した所定の値と等しくなるように、ロール径に合わせ収束する帯状光を照射するステップと、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、部分読み出し可能な2次元撮像装置により、前記帯状体の移動に同期して、該帯状光照射領域の内の、前記帯状体の移動方向における位置が異なる複数の部分領域を、夫々異なる複数の垂直方向反射角度で撮像して、複数の列単位画像を出力するステップと、
エッジ算出装置により、前記複数の列単位画像のうちの少なくとも二つ以上の列単位画像の夫々からフレーム画像が構成される間に、該複数の列単位画像のうちの少なくとも一つ以上の列単位画像からの輝度情報を用いて、前記帯状体のエッジ位置を算出するステップと、
疵画像処理装置により、前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出するステップと、
を含むことを特徴とする表面疵検査方法。
In the portion of the belt-like body conveyed by the roll, the belt-like light is irradiated on the entire surface in the width direction of the surface of the belt-like body, and the belt-like light is irradiated from the belt-like light irradiation region. It is a surface wrinkle inspection method for imaging reflected light of a band-shaped light and inspecting wrinkles on the surface of the band-shaped body,
With the illuminating device, the band-shaped light that converges in accordance with the roll diameter is adjusted so that the vertical incident angle of the band-shaped light with respect to the band-shaped body is equal to a predetermined value set in advance at all points of the band-shaped light irradiation region. Irradiating step;
Movement of the band-like body within the band-like light irradiation area is performed in synchronization with the movement of the band-like body by a two-dimensional imaging device that is arranged opposite to the illumination device with the band-like light irradiation area interposed therebetween and capable of partial reading. Imaging a plurality of partial regions having different positions in the direction at a plurality of different vertical reflection angles, and outputting a plurality of column unit images;
While the frame image is constructed from each of at least two or more column unit images of the plurality of column unit images by the edge calculation device, at least one or more column units of the plurality of column unit images Calculating the edge position of the strip using luminance information from the image;
A step of image-processing the frame image by a heel image processing device to detect a fold on the surface of the strip;
A method for inspecting surface wrinkles, comprising:
ロールにより搬送される帯状体の、該ロールに巻き付いた部分において、該帯状体の表面の幅方向全域に帯状光を照射し、該帯状光が照射される領域である帯状光照射領域からの該帯状光の反射光を撮像し、該帯状体の表面の疵を検査するために、照明装置と2次元撮像装置とエッジ算出装置と疵画像処理装置とを有する表面疵検査装置を制御するコンピュータに、
前記照明装置により、前記帯状光の前記帯状体に対する垂直方向入射角度が、該帯状光照射領域のすべての点において、予め設定した所定の値と等しくなるように、ロール径に合わせ収束する帯状光を照射する処理と、
前記帯状光照射領域を挟んで前記照明装置と対向配置され、部分読み出し可能な前記2次元撮像装置により、前記帯状体の移動に同期して、該帯状光照射領域の内の、前記帯状体の移動方向における位置が異なる複数の部分領域を、夫々異なる複数の垂直方向反射角度で撮像して、複数の列単位画像を出力する処理と、
前記エッジ算出装置により、前記複数の列単位画像のうちの少なくとも二つ以上の列単位画像の夫々からフレーム画像が構成される間に、該複数の列単位画像のうちの少なくとも一つ以上の列単位画像からの輝度情報を用いて、前記帯状体のエッジ位置を算出する処理と、
前記疵画像処理装置により、前記フレーム画像を画像処理して、前記帯状体の表面の疵を検出する処理と、
を実行させるためのプログラム。
In the portion of the belt-like body conveyed by the roll, the belt-like light is irradiated on the entire surface in the width direction of the surface of the belt-like body, and the belt-like light is irradiated from the belt-like light irradiation region. A computer that controls a surface wrinkle inspection device having an illumination device, a two-dimensional imaging device, an edge calculation device, and a wrinkle image processing device for imaging reflected light of the band light and inspecting wrinkles on the surface of the band. ,
Strip light that converges in accordance with the roll diameter so that the vertical incident angle of the strip light on the strip is equal to a predetermined value at all points in the strip light irradiation region by the illumination device. Irradiating with
The two-dimensional imaging device that is disposed opposite to the illumination device with the band-shaped light irradiation region interposed therebetween and is capable of partially reading out, in synchronization with the movement of the band-shaped body, of the band-shaped light irradiation region. A process of imaging a plurality of partial areas with different positions in the moving direction at a plurality of different vertical reflection angles and outputting a plurality of column unit images;
While the frame image is formed from each of at least two or more column unit images of the plurality of column unit images by the edge calculation device, at least one or more columns of the plurality of column unit images. Using the luminance information from the unit image, a process for calculating the edge position of the strip,
Processing to detect wrinkles on the surface of the strip by performing image processing on the frame image by the wrinkle image processing device;
A program for running
JP2008185520A 2008-07-17 2008-07-17 Surface flaw inspection device Expired - Fee Related JP5031691B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008185520A JP5031691B2 (en) 2008-07-17 2008-07-17 Surface flaw inspection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008185520A JP5031691B2 (en) 2008-07-17 2008-07-17 Surface flaw inspection device

Publications (2)

Publication Number Publication Date
JP2010025652A true JP2010025652A (en) 2010-02-04
JP5031691B2 JP5031691B2 (en) 2012-09-19

Family

ID=41731635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008185520A Expired - Fee Related JP5031691B2 (en) 2008-07-17 2008-07-17 Surface flaw inspection device

Country Status (1)

Country Link
JP (1) JP5031691B2 (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101869971A (en) * 2010-05-31 2010-10-27 北京科技大学 Continuous casting machine crystallizer foot roll working status on-line monitor and its monitoring method
JP2013036796A (en) * 2011-08-05 2013-02-21 Panasonic Industrial Devices Sunx Co Ltd Image processor
CN103658197A (en) * 2012-09-03 2014-03-26 株式会社神户制钢所 Shape checking device of steel bar and shape checking method of steel bar
JP2014206451A (en) * 2013-04-12 2014-10-30 新日鐵住金株式会社 Color tone change detection device, color tone change detection method and program
JP2015133689A (en) * 2013-12-11 2015-07-23 株式会社リコー Imaging apparatus, image forming apparatus, and drive control method for two-dimensional image sensor
JP2016080517A (en) * 2014-10-17 2016-05-16 セイコーインスツル株式会社 Surface inspection device
CN106226317A (en) * 2016-09-22 2016-12-14 南京恒创磁电有限责任公司 A kind of examination and test of products classifier
JP2018004532A (en) * 2016-07-06 2018-01-11 株式会社エデックリンセイシステム Appearance inspection device
JP2018106932A (en) * 2016-12-27 2018-07-05 トヨタ自動車株式会社 Manufacturing apparatus for membrane electrode assembly for fuel cell
JP2018149582A (en) * 2017-03-14 2018-09-27 Jfeスチール株式会社 Edge detection method and edge detection apparatus of high strength cold-rolled steel plate
JPWO2018150590A1 (en) * 2017-02-20 2019-11-21 Primetals Technologies Japan株式会社 Plate edge detection apparatus and plate edge detection method
JP2019211310A (en) * 2018-06-04 2019-12-12 日本製鉄株式会社 Surface property inspection method and surface property inspection device
CN111811654A (en) * 2020-08-17 2020-10-23 武汉钢铁有限公司 Online color difference detection system and detection method
CN114354607A (en) * 2021-10-09 2022-04-15 七海测量技术(深圳)有限公司 A Photometric Stereo Defect Detection Method Based on Helical Phase Contrast Filtering Algorithm
JP2022149433A (en) * 2021-03-25 2022-10-06 Jfeスチール株式会社 Edge detection method and surface inspection device
CN116703839A (en) * 2023-05-25 2023-09-05 中冶赛迪上海工程技术有限公司 A strip defect diagnosis expert system and equipment
JP2024009912A (en) * 2017-12-08 2024-01-23 パナソニックIpマネジメント株式会社 Inspection system and method
WO2024022835A1 (en) * 2022-07-27 2024-02-01 Carl Zeiss Smt Gmbh Method, device, and computer-implemented method for inspecting a component, in particular a component of a lithography system, and lithography system
JP7779601B1 (en) * 2025-06-25 2025-12-03 株式会社丹勝 Greening mats and greening methods using greening mats

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS618610A (en) * 1984-06-22 1986-01-16 Sumitomo Metal Ind Ltd Apparatus for inspecting steel sheet surface
JPS63217785A (en) * 1987-03-04 1988-09-09 Sumitomo Metal Ind Ltd Steel plate welding point detection device
JPH08122275A (en) * 1994-10-25 1996-05-17 Sumitomo Metal Ind Ltd Surface defect inspection device
JP2002139447A (en) * 2000-08-03 2002-05-17 Nkk Corp Surface inspection apparatus and method for producing steel sheet free from minute unevenness defect
JP2002148196A (en) * 2000-11-15 2002-05-22 Nippon Steel Corp Shading correction method
JP2002181719A (en) * 2000-12-15 2002-06-26 Nippon Steel Corp Steel plate edge detection device, steel plate edge detection method, and storage medium
JP2003194728A (en) * 2001-12-27 2003-07-09 Nippon Steel Corp Steel sheet flaw inspection method
JP2004108828A (en) * 2002-09-13 2004-04-08 Ricoh Co Ltd Image input method, image input device, and surface defect inspection device
JP2005265828A (en) * 2004-02-18 2005-09-29 Nippon Steel Corp Flaw detection method and apparatus
JP2005274325A (en) * 2004-03-24 2005-10-06 Jfe Steel Kk Optical defect inspection method for metal strip
JP2006258582A (en) * 2005-03-16 2006-09-28 Ricoh Co Ltd Image input apparatus and image input method
JP2008286646A (en) * 2007-05-17 2008-11-27 Nippon Steel Corp Surface flaw inspection device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS618610A (en) * 1984-06-22 1986-01-16 Sumitomo Metal Ind Ltd Apparatus for inspecting steel sheet surface
JPS63217785A (en) * 1987-03-04 1988-09-09 Sumitomo Metal Ind Ltd Steel plate welding point detection device
JPH08122275A (en) * 1994-10-25 1996-05-17 Sumitomo Metal Ind Ltd Surface defect inspection device
JP2002139447A (en) * 2000-08-03 2002-05-17 Nkk Corp Surface inspection apparatus and method for producing steel sheet free from minute unevenness defect
JP2002148196A (en) * 2000-11-15 2002-05-22 Nippon Steel Corp Shading correction method
JP2002181719A (en) * 2000-12-15 2002-06-26 Nippon Steel Corp Steel plate edge detection device, steel plate edge detection method, and storage medium
JP2003194728A (en) * 2001-12-27 2003-07-09 Nippon Steel Corp Steel sheet flaw inspection method
JP2004108828A (en) * 2002-09-13 2004-04-08 Ricoh Co Ltd Image input method, image input device, and surface defect inspection device
JP2005265828A (en) * 2004-02-18 2005-09-29 Nippon Steel Corp Flaw detection method and apparatus
JP2005274325A (en) * 2004-03-24 2005-10-06 Jfe Steel Kk Optical defect inspection method for metal strip
JP2006258582A (en) * 2005-03-16 2006-09-28 Ricoh Co Ltd Image input apparatus and image input method
JP2008286646A (en) * 2007-05-17 2008-11-27 Nippon Steel Corp Surface flaw inspection device

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101869971A (en) * 2010-05-31 2010-10-27 北京科技大学 Continuous casting machine crystallizer foot roll working status on-line monitor and its monitoring method
JP2013036796A (en) * 2011-08-05 2013-02-21 Panasonic Industrial Devices Sunx Co Ltd Image processor
CN103658197A (en) * 2012-09-03 2014-03-26 株式会社神户制钢所 Shape checking device of steel bar and shape checking method of steel bar
CN103658197B (en) * 2012-09-03 2016-01-06 株式会社神户制钢所 The shape inspection apparatus of bar steel part and the shape inspection method of bar steel part
JP2014206451A (en) * 2013-04-12 2014-10-30 新日鐵住金株式会社 Color tone change detection device, color tone change detection method and program
JP2015133689A (en) * 2013-12-11 2015-07-23 株式会社リコー Imaging apparatus, image forming apparatus, and drive control method for two-dimensional image sensor
JP2016080517A (en) * 2014-10-17 2016-05-16 セイコーインスツル株式会社 Surface inspection device
JP2018004532A (en) * 2016-07-06 2018-01-11 株式会社エデックリンセイシステム Appearance inspection device
CN106226317A (en) * 2016-09-22 2016-12-14 南京恒创磁电有限责任公司 A kind of examination and test of products classifier
CN106226317B (en) * 2016-09-22 2023-07-21 南京恒创磁电有限责任公司 Product inspection sorter
JP2018106932A (en) * 2016-12-27 2018-07-05 トヨタ自動車株式会社 Manufacturing apparatus for membrane electrode assembly for fuel cell
JPWO2018150590A1 (en) * 2017-02-20 2019-11-21 Primetals Technologies Japan株式会社 Plate edge detection apparatus and plate edge detection method
JP2018149582A (en) * 2017-03-14 2018-09-27 Jfeスチール株式会社 Edge detection method and edge detection apparatus of high strength cold-rolled steel plate
JP2025079345A (en) * 2017-12-08 2025-05-21 パナソニックIpマネジメント株式会社 Inspection system and inspection method
JP2024009912A (en) * 2017-12-08 2024-01-23 パナソニックIpマネジメント株式会社 Inspection system and method
JP2019211310A (en) * 2018-06-04 2019-12-12 日本製鉄株式会社 Surface property inspection method and surface property inspection device
JP7159624B2 (en) 2018-06-04 2022-10-25 日本製鉄株式会社 Surface texture inspection method and surface texture inspection device
CN111811654A (en) * 2020-08-17 2020-10-23 武汉钢铁有限公司 Online color difference detection system and detection method
CN111811654B (en) * 2020-08-17 2025-06-03 武汉钢铁有限公司 Online color difference detection system and detection method
JP2022149433A (en) * 2021-03-25 2022-10-06 Jfeスチール株式会社 Edge detection method and surface inspection device
JP7342908B2 (en) 2021-03-25 2023-09-12 Jfeスチール株式会社 Edge detection method and surface inspection device
CN114354607A (en) * 2021-10-09 2022-04-15 七海测量技术(深圳)有限公司 A Photometric Stereo Defect Detection Method Based on Helical Phase Contrast Filtering Algorithm
WO2024022835A1 (en) * 2022-07-27 2024-02-01 Carl Zeiss Smt Gmbh Method, device, and computer-implemented method for inspecting a component, in particular a component of a lithography system, and lithography system
CN116703839A (en) * 2023-05-25 2023-09-05 中冶赛迪上海工程技术有限公司 A strip defect diagnosis expert system and equipment
JP7779601B1 (en) * 2025-06-25 2025-12-03 株式会社丹勝 Greening mats and greening methods using greening mats

Also Published As

Publication number Publication date
JP5031691B2 (en) 2012-09-19

Similar Documents

Publication Publication Date Title
JP5031691B2 (en) Surface flaw inspection device
JP5068731B2 (en) Surface flaw inspection apparatus, surface flaw inspection method and program
JP7262260B2 (en) Defect inspection device and defect inspection method
JP4943237B2 (en) 疵 inspection device and 疵 inspection method
EP1943502B1 (en) Apparatus and methods for inspecting a composite structure for defects
JP4932595B2 (en) Surface flaw inspection device
JP4511978B2 (en) Surface flaw inspection device
CN110402386B (en) Cylindrical surface inspection device and cylindrical surface inspection method
JP7151469B2 (en) Sheet defect inspection device
JPH10148619A (en) Method and apparatus for inspecting surface defects of inspection substrate
KR20240067222A (en) Device for measuring irregularities in sheet-shaped objects, method for measuring irregularities in sheet-shaped objects
TW201140043A (en) End face inspection method for light-pervious rectangular sheets and end face inspection apparatus
KR102780822B1 (en) Surface inspection device, surface inspection method, steel manufacturing method, steel quality control method, and steel manufacturing equipment
JP4930748B2 (en) Film inspection apparatus and method
JP5787668B2 (en) Defect detection device
US8547547B2 (en) Optical surface defect inspection apparatus and optical surface defect inspection method
JP6679942B2 (en) Sheet defect inspection device
JP2008025990A (en) Method and apparatus for detecting surface flaw of steel strip
JP4563183B2 (en) Inspection method and apparatus for streaky unevenness defect
JP4549838B2 (en) Glossiness measuring method and apparatus
JP4023295B2 (en) Surface inspection method and surface inspection apparatus
JP4563184B2 (en) Method and apparatus for inspecting mura defect
JP4792314B2 (en) Substrate inspection apparatus and substrate inspection method
JP2014186030A (en) Defect inspection device
JP2016125817A (en) Inspection system, and inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120605

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120627

R151 Written notification of patent or utility model registration

Ref document number: 5031691

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees