JP2017219529A - Appearance abnormality inspection apparatus, method, and program - Google Patents
Appearance abnormality inspection apparatus, method, and program Download PDFInfo
- Publication number
- JP2017219529A JP2017219529A JP2016150448A JP2016150448A JP2017219529A JP 2017219529 A JP2017219529 A JP 2017219529A JP 2016150448 A JP2016150448 A JP 2016150448A JP 2016150448 A JP2016150448 A JP 2016150448A JP 2017219529 A JP2017219529 A JP 2017219529A
- Authority
- JP
- Japan
- Prior art keywords
- image
- appearance
- inspection
- abnormality
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】検査対象物の外観の異常を精度良く検出することができるようにする。【解決手段】画像復元生成部３０が、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する。異常判定部３２が、生成された復元画像と、検査対象画像とを比較して、検査対象物の外観の異常を検出する。【選択図】図４PROBLEM TO BE SOLVED: To accurately detect an abnormality in the appearance of an inspection object. SOLUTION: A subspace of a feature space representing a non-defective product feature obtained in advance by an image restoration generation unit 30 based on a feature vector extracted from each of a plurality of non-defective product images representing the appearance of a non-defective product inspection object. Generates a restored image that is a restored image of the inspection target that represents the appearance of the input inspection target. The abnormality determination unit 32 compares the generated restored image with the inspection target image, and detects an abnormality in the appearance of the inspection target object. [Selection diagram] Fig. 4
Description
本発明は、外観異常検査装置、方法、及びプログラムに関し、特に、検査対象物の外観の異常を検査する外観異常検査装置、方法、及びプログラムに関する。 The present invention relates to an appearance abnormality inspection apparatus, method, and program, and more particularly, to an appearance abnormality inspection apparatus, method, and program for inspecting an appearance abnormality of an inspection object.
従来より、検査対象物の表面に生じる異常部の像を擬似的に表した擬似異常部画像を複数生成する擬似異常部画像生成部（１４）と、前記複数の擬似異常部画像のそれぞれについて、当該擬似異常部画像上の異常部の像が前記検査対象物の良品に対応するか、または前記検査対象物の不良品に対応するかを表す良否判定値を含む良否判定情報を取得する良否判定情報取得部（１５）と、前記複数の擬似異常部画像のそれぞれと、前記擬似異常部画像のそれぞれに対応する前記良否判定情報から、前記検査対象物の良品と前記検査対象物の不良品とを識別する境界を決定する境界決定部（１２）と、前記異常部の像についての特徴量と、前記境界に従って決定される当該特徴量に対する前記検査対象物の良否判定結果を表す値との組を学習サンプルとして、複数生成するサンプル生成部（１６）と、前記検査対象物を撮影した検査画像に基づいて前記検査対象物が良品か否かを識別する外観検査用識別器を、前記複数の学習サンプルのそれぞれに含まれる前記特徴量を当該外観検査用識別器に入力することにより、当該特徴量に対応する前記良否判定結果を表す値を出力するように学習する識別器学習部（１７）と、を有することを特徴とする外観検査用識別器生成装置が知られている（特許文献１）。 Conventionally, for each of the pseudo-abnormal part image generation unit (14) that generates a plurality of pseudo-abnormal part images that artificially represent the image of the abnormal part that occurs on the surface of the inspection object, and each of the plurality of pseudo-abnormal part images, Pass / fail judgment for acquiring pass / fail judgment information including pass / fail judgment value indicating whether an image of the abnormal portion on the pseudo-abnormal portion image corresponds to a non-defective product of the inspection object or a defective product of the inspection object. From the information acquisition unit (15), each of the plurality of pseudo-abnormal part images, and the pass / fail determination information corresponding to each of the pseudo-abnormal part images, the non-defective product of the inspection object and the defective product of the inspection object A boundary determining unit (12) that determines a boundary for identifying the feature, a feature amount for the image of the abnormal portion, and a value representing a result of the quality determination of the inspection object for the feature amount determined according to the boundary Learning sun A plurality of sample generation units (16) for generating a plurality of learning samples, and an identification device for visual inspection for identifying whether or not the inspection object is a non-defective product based on an inspection image obtained by photographing the inspection object. A classifier learning unit (17) that learns to output a value representing the pass / fail judgment result corresponding to the feature amount by inputting the feature amount included in each of the feature amount to the appearance inspection discriminator; There is known a discriminator generating device for appearance inspection characterized by having (Patent Document 1).
従来技術では、外観検査自動化を実現するために、擬似異常部画像を生成させている。擬似異常部を生成するためには、異常部と良品の定量的な線引きが必要である。たいていの目視での外観検査に於いては、この線引きがあいまいな場合が多く、『異常無きこと』などと表現されていたりと定量的ではない場合が多い。 In the prior art, a pseudo-abnormal part image is generated in order to realize appearance inspection automation. In order to generate a pseudo-abnormal part, it is necessary to quantitatively draw the abnormal part and a non-defective product. In most visual appearance inspections, this line drawing is often ambiguous and often expressed as “nothing abnormal” or the like, and is not quantitative.
さらには、これまでに見たことのある異常部については、苦労して擬似異常部を生成することは可能であるが、未知の異常部に対して、擬似異常部を生成することは不可能である。これにより、未知の異常部に対しての検査能力は未定となり、自動検査技術として危ういものとなってしまう。 Furthermore, it is possible to generate a pseudo-abnormal part for an abnormal part that has been seen so far, but it is impossible to generate a pseudo-abnormal part for an unknown abnormal part. It is. As a result, the inspection capability for unknown abnormal parts is undecided, which is dangerous as an automatic inspection technique.
本発明は、上記事情を鑑みて成されたものであり、本発明の目的は、検査対象物の外観の異常を精度良く検出することができる外観異常検査装置、方法、及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an appearance abnormality inspection apparatus, method, and program capable of accurately detecting an abnormality in the appearance of an inspection object. It is in.
上記目的を達成するために、本発明に係る外観異常検査装置は、検査対象物の外観の異常を検査する外観異常検査装置であって、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する画像復元手段と、前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する異常検出手段と、を含んで構成されている。 In order to achieve the above object, an appearance abnormality inspection apparatus according to the present invention is an appearance abnormality inspection apparatus that inspects an appearance abnormality of an inspection object, and includes a plurality of non-defective images representing the appearance of a non-defective inspection object. Image restoration for generating a restored image obtained by restoring the inspection object image representing the appearance of the input inspection object in a partial space of the feature space representing the non-defective feature obtained in advance based on the feature vector extracted from each of And an abnormality detection means for detecting an abnormality in the appearance of the inspection object by comparing the restored image generated by the image restoration means and the inspection object image.
本発明に係る外観異常検査方法は、検査対象物の外観の異常を検査する外観異常検査装置における外観異常検査方法であって、画像復元手段が、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成し、異常検出手段が、前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する。 An appearance abnormality inspection method according to the present invention is an appearance abnormality inspection method in an appearance abnormality inspection apparatus that inspects an appearance abnormality of an inspection object, and a plurality of image restoration means represent the appearance of a non-defective inspection object. A restored image is generated by restoring the inspection object image representing the appearance of the inputted inspection object in a partial space of the feature space representing the non-defective feature obtained in advance based on the feature vector extracted from each non-defective image. The abnormality detecting unit compares the restored image generated by the image restoring unit with the inspection target image, and detects an abnormality in the appearance of the inspection target.
本発明に係るプログラムは、検査対象物の外観の異常を検査するためのプログラムであって、コンピュータを、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する画像復元手段、及び前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する異常検出手段として機能させるためのプログラムである。 A program according to the present invention is a program for inspecting an appearance abnormality of an inspection object, and a computer is converted into a feature vector extracted from each of a plurality of non-defective images representing the appearance of a non-defective inspection object. An image restoration unit that generates a restored image obtained by restoring an inspection target image that represents an appearance of an input inspection target in a partial space of a feature space that represents a non-defective feature obtained in advance, and generated by the image restoration unit This is a program for comparing the restored image and the inspection object image to function as an abnormality detecting means for detecting an abnormality in the appearance of the inspection object.
本発明に係る外観異常検査装置、方法、及びプログラムによれば、画像復元手段によって、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する。そして、異常検出手段によって、前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する。 According to the appearance abnormality inspection apparatus, method, and program according to the present invention, the restoration by restoring the inspection target image representing the appearance of the inputted inspection target in the partial space of the feature space representing the non-defective feature by the image restoration means. Generate an image. Then, the abnormality detection unit compares the restored image generated by the image restoration unit with the inspection target image, and detects an abnormality in the appearance of the inspection target.
本発明によれば、良品特徴を表す特徴空間の部分空間に検査対象画像を復元した復元画像を生成し、検査対象画像と比較して、検査対象物の外観の異常を検出することにより、検査対象物の外観の異常を精度良く検出することができる、という効果を奏する。 According to the present invention, a restored image obtained by restoring an inspection target image in a partial space of a feature space representing a non-defective feature is generated, and compared with the inspection target image, an abnormality in the appearance of the inspection target is detected. There is an effect that an abnormality in the appearance of the object can be detected with high accuracy.
以下、図面を参照して本発明の実施の形態の一例を詳細に説明するが、まず、図１〜図３を参照して、本実施の形態の概要について説明する。 Hereinafter, an example of an embodiment of the present invention will be described in detail with reference to the drawings. First, an outline of the present embodiment will be described with reference to FIGS. 1 to 3.
＜本発明の第１の実施の形態の概要＞
図１に、本実施の形態に係る方法の位置づけを示す。目視検査の自動化を効率的に行うことを目的に、現状の目視検査結果で得られる大量のデータを用いる方法である。目視検査で良品とされたもののみを用いて学習を行うため、良品以外のものを異常として検出することとなる。これにより、従来目視検査を自動化する際に、異常の定義やそれを見出すための特徴量の選定やその定量化のために必要とされた専門家の工数を削減することが可能となる。
<Outline of First Embodiment of the Present Invention>
FIG. 1 shows the positioning of the method according to the present embodiment. This method uses a large amount of data obtained from the current visual inspection results for the purpose of efficiently performing visual inspection automation. Since learning is performed using only those that are determined to be non-defective products by visual inspection, items other than non-defective products are detected as abnormal. Thus, when automating conventional visual inspection, it is possible to reduce the number of man-hours required for the definition of abnormalities, selection of feature amounts for finding them, and quantification thereof.
図２、図３に、本実施の形態に係る方法の概念と検査結果例を示す。大量の良品画像データから良品の特徴を示す固有ベクトルを求め、この固有ベクトルを用いて検査データを変換する。変換された画像は良品特徴を持つ画像データとなる。このことから、検査画像データと変換画像データを比較して差分画像を生成することにより異常部位を特定することが可能となる。 2 and 3 show the concept of the method according to the present embodiment and an example of inspection results. An eigenvector indicating the characteristics of a non-defective product is obtained from a large amount of non-defective image data, and inspection data is converted using this eigenvector. The converted image becomes image data having good product characteristics. From this, it is possible to identify an abnormal part by comparing the inspection image data and the converted image data to generate a difference image.
＜本発明の第１の実施の形態に係る外観異常検査装置の構成＞ <Configuration of Appearance Abnormality Inspection Apparatus According to First Embodiment of the Present Invention>
図４を参照して、本発明の第１の実施の形態に係る外観異常検査装置１００について説明する。 With reference to FIG. 4, the appearance abnormality inspection apparatus 100 according to the first embodiment of the present invention will be described.
図４に示すように、外観異常検査装置１００は、入力部１０、演算部２０、及び出力部４０を含んで構成されている。 As shown in FIG. 4, the appearance abnormality inspection apparatus 100 includes an input unit 10, a calculation unit 20, and an output unit 40.
入力部１０は、良品判定された複数の検査対象品の外観を、同一の撮像条件で撮像した、良品画像群を受け付ける。また、入力部１０は、良品画像群と同一の撮像条件で撮像された、検査対象画像を受け付ける。 The input unit 10 receives a non-defective image group obtained by imaging the appearances of a plurality of inspection target products determined to be non-defective under the same imaging conditions. In addition, the input unit 10 receives an inspection target image captured under the same imaging conditions as the non-defective image group.
演算部２０は、検査対象画像に基づき、検査対象品の外観の異常の有無について画像解析する部位であり、たとえば、ＣＰＵと、ＲＡＭと、後述する変換方法生成処理ルーチン及び異常判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。 The calculation unit 20 is a part that performs image analysis on the presence or absence of an abnormality in the appearance of the inspection target product based on the inspection target image, and executes, for example, a CPU, a RAM, a conversion method generation processing routine, and an abnormality determination processing routine described later. And a computer including a ROM storing various programs and various data.
演算部２０は、良品画像データベース２２、特徴抽出部２４、変換方法生成部２６、固有ベクトル記憶部２８、復元画像生成部３０、及び異常判定部３２を備えている。 The calculation unit 20 includes a non-defective image database 22, a feature extraction unit 24, a conversion method generation unit 26, an eigenvector storage unit 28, a restored image generation unit 30, and an abnormality determination unit 32.
良品画像データベース２２は、入力部１０による受け付けた良品画像群を記憶している。 The non-defective image database 22 stores non-defective image groups received by the input unit 10.
特徴抽出部２４は、良品画像群に含まれる良品画像の各々から、特徴ベクトルを抽出する。例えば、良品画像のＲＧＢの輝度情報を並べたｄ次元の特徴ベクトルを抽出する。 The feature extraction unit 24 extracts a feature vector from each of the good product images included in the good product image group. For example, a d-dimensional feature vector in which RGB luminance information of a non-defective image is arranged is extracted.
変換方法生成部２６は、特徴抽出部２４によって抽出された良品画像の各々特徴ベクトルに基づいて、それぞれの良品画像が持つ特徴ベクトルを特徴空間へ投影してできる良品特徴を有する部分空間を形成するための変換方法を生成する。 Based on each feature vector of the non-defective image extracted by the feature extraction unit 24, the conversion method generation unit 26 forms a partial space having a non-defective feature formed by projecting the feature vector of each good product image onto the feature space. Generate a conversion method for.
本実施の形態では、部分空間法により、大量の良品画像の特徴ベクトルから、良品特徴を示す固有ベクトルを求める。具体的には、特徴ベクトルｘの自己相関行列Ｒを計算し、ＫＬ展開を行う。ここで、ｎは学習データである良品画像のサンプル数であり、ｒはＲのランクである。Ｕはｄ×ｒの固有ベクトル行列であり、Λは対角成分に固有値λを持つ固有値行列である。 In the present embodiment, an eigenvector indicating a non-defective feature is obtained from a large number of non-defective image feature vectors by the subspace method. Specifically, the autocorrelation matrix R of the feature vector x is calculated, and KL expansion is performed. Here, n is the number of non-defective image samples that are learning data, and r is the rank of R. U is a d × r eigenvector matrix, and Λ is an eigenvalue matrix having an eigenvalue λ as a diagonal component.
固有ベクトル記憶部２８は、変換方法生成部２６によって計算された固有ベクトル行列Ｕを記憶している。 The eigenvector storage unit 28 stores the eigenvector matrix U calculated by the conversion method generation unit 26.
復元画像生成部３０は、固有ベクトル記憶部２８に記憶された固有ベクトル行列Ｕを用いて、入力された検査対象画像を、良品特徴を表す特徴空間の部分空間に復元したときの復元画像を生成する。具体的には、固有ベクトル行列Ｕを用いて、以下の（１）式に従って、検査対象画像ｙを復元して、復元画像ｙ´を生成する。 The restored image generation unit 30 uses the eigenvector matrix U stored in the eigenvector storage unit 28 to generate a restored image when the input inspection target image is restored to a partial space of the feature space representing the non-defective feature. Specifically, using the eigenvector matrix U, the inspection target image y is restored according to the following equation (1) to generate a restored image y ′.
異常判定部３２は、復元画像生成部３０によって生成された復元画像と、検査対象画像とを比較して得られた差分の大きさを表す差分画像を生成し、差分画像から、検査対象物の外観の異常箇所を検出する。 The abnormality determination unit 32 generates a difference image representing the magnitude of the difference obtained by comparing the restored image generated by the restored image generation unit 30 and the inspection target image, and the inspection target object is generated from the difference image. Detect abnormalities in appearance.
本実施の形態では、Lmeds推定法を用いて、検査対象物の外観の異常箇所を検出する。具体的には、復元画像ｙ´と検査対象画像ｙの差分画像を生成する際、ＲＧＢの復元誤差の２乗和により濃淡画像を生成し、異常箇所では検査対象画像と復元画像との差が大きくなる性質を用いて、異常箇所の特定を行う。 In the present embodiment, an abnormal portion of the appearance of the inspection object is detected using the Lmeds estimation method. Specifically, when the difference image between the restored image y ′ and the inspection target image y is generated, a grayscale image is generated by the square sum of the RGB recovery errors, and the difference between the inspection target image and the restored image is found at an abnormal location. Using the property of increasing, identify the abnormal part.
異常判定部３２によって特定された異常箇所の特定結果が、出力部４０により出力される（上記図３参照）。 The specification result of the abnormal part specified by the abnormality determination unit 32 is output by the output unit 40 (see FIG. 3 above).
＜本発明の第１の実施の形態に係る外観異常検査装置の作用＞
まず、入力部１０により、良品判定された複数の検査対象品の外観を、同一の撮像条件で撮像した、良品画像群を受け付けると、外観異常検査装置１００は、良品画像群を良品画像データベース２２に格納し、図５に示す変換方法生成処理ルーチンを実行する。
<Operation of the appearance abnormality inspection apparatus according to the first embodiment of the present invention>
First, when accepting a non-defective image group obtained by imaging the appearance of a plurality of inspection target products determined to be non-defective by the input unit 10 under the same imaging condition, the appearance abnormality inspection apparatus 100 converts the non-defective image group into the non-defective image database 22. The conversion method generation processing routine shown in FIG. 5 is executed.
ステップＳ１００において、良品画像群の良品画像の各々から特徴ベクトルを抽出する。 In step S100, feature vectors are extracted from each of the good images in the good image group.
そして、ステップＳ１０２において、上記ステップＳ１００で抽出された良品画像の各々の特徴ベクトルに基づいて、特徴ベクトルの自己相関行列Ｒを計算し、ＫＬ展開を行って、良品特徴を有する部分空間を形成するための変換方法として、固有ベクトル行列を計算し、固有ベクトル記憶部２８に格納し、変換方法生成処理ルーチンを終了する。 In step S102, the autocorrelation matrix R of the feature vector is calculated based on each feature vector of the good product image extracted in step S100, and KL expansion is performed to form a partial space having the good product feature. As a conversion method for this, an eigenvector matrix is calculated and stored in the eigenvector storage unit 28, and the conversion method generation processing routine is terminated.
次に、入力部１０により、良品画像群と同一の撮像条件で検査対象品を撮像した検査対象画像を受け付けると、外観異常検査装置１００は、図６に示す異常判定処理ルーチンを実行する。 Next, when an inspection target image obtained by imaging the inspection target product under the same imaging condition as the non-defective image group is received by the input unit 10, the appearance abnormality inspection device 100 executes an abnormality determination processing routine shown in FIG.
ステップＳ１１０において、固有ベクトル記憶部２８に記憶されている固有ベクトル行列を用いて、上記（１）式に従って、検査対象画像を部分空間へ復元して、復元画像を生成する。 In step S110, using the eigenvector matrix stored in the eigenvector storage unit 28, the inspection target image is restored to the partial space according to the above equation (1) to generate a restored image.
ステップＳ１１２では、検査対象画像と、上記ステップＳ１１０で生成した復元画像とを比較して差分画像を作成する。ステップＳ１１４では、上記ステップＳ１１２で作成した差分画像から異常箇所を特定して、出力部４０により出力して、異常判定処理ルーチンを終了する。 In step S112, a difference image is created by comparing the inspection target image with the restored image generated in step S110. In step S114, an abnormal part is identified from the difference image created in step S112, and is output by the output unit 40, and the abnormality determination processing routine is terminated.
以上詳述したように、本発明の第１の実施の形態に係る外観異常検査装置によれば、良品特徴を表す特徴空間の部分空間に検査対象画像を復元した復元画像を生成し、検査対象画像と比較して、検査対象物の外観の異常箇所を検出することにより、検査対象物の外観の異常を精度良く検出することができる。 As described above in detail, according to the appearance abnormality inspection device according to the first embodiment of the present invention, a restored image obtained by restoring the inspection target image in the partial space of the feature space representing the non-defective feature is generated, and the inspection target By detecting an abnormal portion of the appearance of the inspection object as compared with the image, the abnormality of the appearance of the inspection object can be accurately detected.
また、従来より行われている目視検査でサンプルを数多く得ることが容易な良品画像のみを用いて検査手法を構築している。さらに、近年多く用いられるようになってきた機械学習技術を採用し、数多く得られた良品画像を用いることにより、従来多くの時間を要した特徴量の選定を自動化している。 In addition, an inspection method is constructed using only non-defective images for which it is easy to obtain a large number of samples by visual inspection conventionally performed. Furthermore, the machine learning technique that has been widely used in recent years is employed, and the selection of feature quantities that have conventionally required a lot of time is automated by using many non-defective images obtained.
また、目視検査を自動化するために、それまで行われている目視検査方法を参考にして、検査対象部品から有用な情報を画像として取り出すためのセンシング技術と、センシングされた画像から異常を情報として抽出するための認識技術の開発が必要となる。これら、センシング技術や認識技術の開発では、高度な専門知識が要求とされ、さらに開発技術の評価・導入に多くの時間が必要とされてきた。また、これら検査の自動化技術は対象部品ごとに異なり共通化が難しく、一品一様での検査技術の開発が行われてきた。本発明の実施の形態では、これらの手間と工数を低減させ、効率的に目視検査を自動化することが可能となる。 In addition, in order to automate the visual inspection, referring to the visual inspection methods that have been performed so far, sensing technology for extracting useful information from the inspection target part as an image, and abnormality from the sensed image as information It is necessary to develop recognition technology for extraction. In the development of sensing technology and recognition technology, highly specialized knowledge is required, and more time has been required for evaluation and introduction of development technology. In addition, these inspection automation technologies are different for each target part and are difficult to share, and development of inspection technology for a single product has been carried out. In the embodiment of the present invention, it is possible to reduce the labor and man-hours and to efficiently automate the visual inspection.
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。 Next, a second embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
＜本発明の第２の実施の形態の概要＞
図７に、本実施の形態に係る方法が解決すべき課題を示す。上記第１の実施の形態で説明した部分空間法での復元時に、検査対象画像の異常部周辺にノイズが生じる。このノイズが、異常部抽出時に異常部として抽出されて本来の異常部を見誤る場合がある。
<Outline of Second Embodiment of the Present Invention>
FIG. 7 shows problems to be solved by the method according to the present embodiment. At the time of restoration by the subspace method described in the first embodiment, noise is generated around the abnormal part of the inspection target image. This noise may be extracted as an abnormal part when the abnormal part is extracted, and the original abnormal part may be mistaken.
そこで、本実施の形態では、図８に示すように、検査対象画像から検出された異常部分を、例えば、良品画像群から生成した中央値画像で置き換え、検査対象画像との差分画像から、異常部を検出する。 Therefore, in the present embodiment, as shown in FIG. 8, the abnormal part detected from the inspection target image is replaced with, for example, a median image generated from the non-defective image group, and the abnormal image is detected from the difference image with the inspection target image. Part.
＜本発明の第２の実施の形態に係る外観異常検査装置の構成＞
図９を参照して、本発明の第２の実施の形態に係る外観異常検査装置２００について説明する。
<Configuration of Appearance Abnormality Inspection Device According to Second Embodiment of the Present Invention>
With reference to FIG. 9, the external appearance abnormality inspection apparatus 200 which concerns on the 2nd Embodiment of this invention is demonstrated.
図９に示すように、外観異常検査装置２００の演算部２２０は、良品画像データベース２２、特徴抽出部２４、変換方法生成部２６、固有ベクトル記憶部２８、中央値画像生成部２２６、中央値画像記憶部２２８、復元画像生成部３０、異常箇所抽出部２３２、置換部２３４、及び異常判定部２３６を備えている。 As shown in FIG. 9, the calculation unit 220 of the appearance abnormality inspection apparatus 200 includes a non-defective image database 22, a feature extraction unit 24, a conversion method generation unit 26, an eigenvector storage unit 28, a median value image generation unit 226, and a median value image storage. A unit 228, a restored image generation unit 30, an abnormal part extraction unit 232, a replacement unit 234, and an abnormality determination unit 236.
中央値画像生成部２２６は、良品画像データベース２２に記憶されている良品画像群から、画素毎に中央値を計算して、中央値画像を生成し、中央値画像記憶部２２８に格納する。 The median image generation unit 226 calculates a median value for each pixel from the good product image group stored in the good product image database 22, generates a median image, and stores the median image in the median image storage unit 228.
なお、良品画像群に含まれる良品画像の各々と、検査対象画像とは、位置決めされた検査対象品の外観を、同一の撮像条件で撮像したものである。 Each of the non-defective images included in the non-defective image group and the inspection target image are obtained by capturing the appearance of the positioned inspection target product under the same imaging condition.
異常箇所抽出部２３２は、復元画像生成部３０によって生成された復元画像と、検査対象画像とを比較して得られた差分の大きさを表す差分画像を生成し、差分画像から、検査対象物の外観の異常箇所候補を抽出する。例えば、図１０（Ａ）に示す検査対象画像から、図１０（Ｃ）に示す異常箇所候補が抽出される。このときの抽出すべき本来の異常箇所は、図１０（Ｂ）に示す異常部分である。 The abnormal part extraction unit 232 generates a difference image representing the size of the difference obtained by comparing the restored image generated by the restored image generation unit 30 and the inspection target image, and the inspection target object is generated from the difference image. Extract the abnormal part candidate of the appearance of. For example, the abnormal part candidate shown in FIG. 10C is extracted from the inspection target image shown in FIG. The original abnormal part to be extracted at this time is an abnormal part shown in FIG.
置換部２３４は、検査対象画像における、抽出された異常箇所候補を、中央値画像の画素値で置き換えて、置換え画像を生成する。 The replacement unit 234 generates a replacement image by replacing the extracted abnormal part candidate in the inspection target image with the pixel value of the median image.
異常判定部２３６は、置換部２３４によって生成された置換え画像と、検査対象画像とを比較して得られた差分の大きさを表す差分画像を生成し、差分画像から、検査対象物の外観の異常箇所を検出する。 The abnormality determination unit 236 generates a difference image representing the magnitude of the difference obtained by comparing the replacement image generated by the replacement unit 234 and the inspection target image, and the appearance of the inspection target object is determined from the difference image. Detect abnormal points.
異常判定部２３６によって特定された異常箇所の特定結果が、出力部４０により出力される。 The output unit 40 outputs the result of specifying the abnormal part specified by the abnormality determination unit 236.
＜本発明の第２の実施の形態に係る外観異常検査装置の作用＞
まず、入力部１０により、良品画像群を受け付けると、外観異常検査装置２００は、良品画像群を良品画像データベース２２に格納し、上記図５に示す変換方法生成処理ルーチンを実行する。また、外観異常検査装置２００は、良品画像群から中央値画像を生成し、中央値画像記憶部２２８に格納する。
<Operation of the visual anomaly inspection apparatus according to the second embodiment of the present invention>
First, when a non-defective image group is received by the input unit 10, the appearance abnormality inspection apparatus 200 stores the non-defective image group in the non-defective image database 22, and executes the conversion method generation processing routine shown in FIG. Further, the appearance abnormality inspection apparatus 200 generates a median image from the non-defective product image group and stores it in the median image storage unit 228.
次に、入力部１０により、検査対象画像を受け付けると、外観異常検査装置２００は、図１１に示す異常判定処理ルーチンを実行する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。 Next, when an image to be inspected is received by the input unit 10, the appearance abnormality inspection apparatus 200 executes an abnormality determination processing routine shown in FIG. In addition, about the process similar to 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
ステップＳ１１０において、固有ベクトル記憶部２８に記憶されている固有ベクトル行列を用いて、検査対象画像を部分空間へ復元して、復元画像を生成する。 In step S110, using the eigenvector matrix stored in the eigenvector storage unit 28, the inspection target image is restored to the partial space to generate a restored image.
ステップＳ１１２では、検査対象画像と、上記ステップＳ１１０で生成した復元画像とを比較して差分画像を作成する。ステップＳ２００では、上記ステップＳ１１２で作成した差分画像から異常箇所候補を抽出する。 In step S112, a difference image is created by comparing the inspection target image with the restored image generated in step S110. In step S200, abnormal part candidates are extracted from the difference image created in step S112.
そして、ステップＳ２０２において、検査対象画像における、上記ステップＳ２００で抽出された異常箇所候補を、中央値画像の画素値を用いて置き換え、置換え画像を生成する。 In step S202, the abnormal part candidate extracted in step S200 in the inspection target image is replaced using the pixel value of the median image, and a replacement image is generated.
ステップＳ２０４では、検査対象画像と、上記ステップＳ２０２で生成した置換え画像とを比較して差分画像を作成する。ステップＳ２０６では、上記ステップＳ２０４で作成した差分画像から異常箇所を特定して、出力部４０により出力して、異常判定処理ルーチンを終了する。 In step S204, a difference image is created by comparing the inspection object image with the replacement image generated in step S202. In step S206, an abnormal part is specified from the difference image created in step S204 and output by the output unit 40, and the abnormality determination processing routine is terminated.
以上詳述したように、本発明の第２の実施の形態に係る外観異常検査装置によれば、良品特徴を表す特徴空間の部分空間に検査対象画像を復元した復元画像を生成し、検査対象画像と比較して、検査対象物の外観の異常箇所候補を抽出し、良品画像群の中央値画像で異常箇所候補を置き換えた置換え画像と、検査対象画像とを比較して、検査対象物の外観の異常箇所を検出することにより、検査対象物の外観の異常を更に精度良く検出することができる。なお、上記実施形態では、置換え画像の例として、中央値画像を用いる場合を示したが、良品画像の画素値の平均値をとった平均値画像などを用いることも可能である。 As described above in detail, according to the appearance abnormality inspection apparatus according to the second embodiment of the present invention, a restored image obtained by restoring the inspection target image in the partial space of the feature space representing the non-defective feature is generated, and the inspection target Compared with the image, the abnormal part candidate of the appearance of the inspection object is extracted, the replacement image obtained by replacing the abnormal part candidate with the median image of the non-defective image group is compared with the inspection target image, and the inspection target image is compared. By detecting an abnormal portion of the appearance, it is possible to detect the abnormality of the appearance of the inspection object with higher accuracy. In the above-described embodiment, the case where the median image is used as an example of the replacement image has been described. However, an average value image obtained by taking the average value of the pixel values of the non-defective images can also be used.
なお、上記の実施の形態では、外観異常検査装置において、良品特徴の固有ベクトルを求める場合を例に説明したが、これに限定されるものではない。例えば、外観異常検査装置とは別の装置において、良品画像群から良品特徴の固有ベクトルを求めるようにしてもよい。 In the above-described embodiment, the case where the eigenvector of the non-defective feature is obtained in the appearance abnormality inspection apparatus is described as an example. However, the present invention is not limited to this. For example, the eigenvector of the non-defective product characteristic may be obtained from the non-defective image group in a device different from the appearance abnormality inspection device.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
１０ 入力部
２０、２２０ 演算部
２２ 良品画像データベース
２４ 特徴抽出部
２６ 変換方法生成部
２８ 固有ベクトル記憶部
３０ 復元画像生成部
３２、２３６ 異常判定部
４０ 出力部
１００、２００ 外観異常検査装置
２２６ 中央値画像生成部
２３２ 異常箇所抽出部
２３４ 置換部
DESCRIPTION OF SYMBOLS 10 Input part 20, 220 Operation part 22 Good product image database 24 Feature extraction part 26 Conversion method generation part 28 Eigenvector storage part 30 Restoration image generation part 32, 236 Abnormality determination part 40 Output part 100, 200 Appearance abnormality inspection apparatus 226 Median value image Generation unit 232 Abnormal part extraction unit 234 Replacement unit
Claims (6)
良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する画像復元手段と、
前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する異常検出手段と、
を含む外観異常検査装置。 An appearance abnormality inspection device for inspecting an appearance abnormality of an inspection object,
The appearance of the input inspection object is displayed in the partial space of the feature space representing the non-defective feature, which is obtained in advance based on the feature vector extracted from each of the plurality of non-defective images representing the appearance of the non-defective inspection object. Image restoration means for generating a restored image obtained by restoring the inspection target image to be represented;
An abnormality detection means for comparing the restored image generated by the image restoration means and the inspection object image to detect an abnormality in the appearance of the inspection object;
Appearance abnormality inspection device including
前記特徴抽出手段によって前記複数の良品画像の各々から抽出された特徴ベクトルに基づいて、良品特徴を表す特徴空間の部分空間を形成するための変換方法を生成する変換方法生成手段と、
を更に含み、
前記画像復元手段は、前記変換方法生成手段によって生成された前記変換方法を用いて、前記復元画像を生成する請求項１記載の外観異常検査装置。 Feature extraction means for extracting a feature vector from each of the plurality of non-defective images;
Conversion method generation means for generating a conversion method for forming a partial space of a feature space representing a non-defective feature based on the feature vector extracted from each of the plurality of good quality images by the feature extraction means;
Further including
The appearance abnormality inspection apparatus according to claim 1, wherein the image restoration unit generates the restored image using the conversion method generated by the conversion method generation unit.
前記検査対象画像の前記抽出された異常箇所候補を、前記複数の良品画像から生成される中央値画像の画素値を用いて置き換えた置換え画像を生成する置換手段とを更に含み、
前記異常検出手段は、前記置換手段によって生成された置換え画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する請求項１〜請求項３の何れか１項記載の外観異常検査装置。 An abnormal part extraction unit that compares the restored image generated by the image restoration unit with the inspection target image and extracts an abnormal part candidate of the appearance of the inspection target;
A replacement means for generating a replacement image in which the extracted abnormal part candidate of the inspection target image is replaced using a pixel value of a median image generated from the plurality of non-defective images;
The abnormality detection unit compares the replacement image generated by the replacement unit with the inspection target image, and detects an abnormality in the appearance of the inspection target. Appearance abnormality inspection device as described.
画像復元手段が、良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成し、
異常検出手段が、前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する
外観異常検査方法。 An appearance abnormality inspection method in an appearance abnormality inspection apparatus that inspects an appearance abnormality of an inspection object,
The image restoration means inputs the inspection inputted into the partial space of the feature space representing the non-defective feature obtained in advance based on the feature vector extracted from each of a plurality of non-defective images representing the appearance of the non-defective inspection object. Generate a restored image that restores the inspection object image that represents the appearance of the object,
An appearance abnormality inspection method in which an abnormality detection unit detects an abnormality in the appearance of the inspection object by comparing the restored image generated by the image restoration unit and the inspection object image.
コンピュータを、
良品である検査対象物の外観を表す複数の良品画像の各々から抽出される特徴ベクトルに基づいて予め求められた、良品特徴を表す特徴空間の部分空間に、入力された検査対象物の外観を表す検査対象画像を復元した復元画像を生成する画像復元手段、及び
前記画像復元手段によって生成された復元画像と、前記検査対象画像とを比較して、前記検査対象物の外観の異常を検出する異常検出手段
として機能させるためのプログラム。 A program for inspecting an appearance abnormality of an inspection object,
Computer
The appearance of the input inspection object is displayed in the partial space of the feature space representing the non-defective feature, which is obtained in advance based on the feature vector extracted from each of the plurality of non-defective images representing the appearance of the non-defective inspection object. An image restoration unit that generates a restored image obtained by restoring the inspection target image to be represented, and the restored image generated by the image restoration unit is compared with the inspection target image to detect an abnormality in the appearance of the inspection target object Program to function as an abnormality detection means.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016113843 | 2016-06-07 | ||
| JP2016113843 | 2016-06-07 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017219529A true JP2017219529A (en) | 2017-12-14 |
| JP6702064B2 JP6702064B2 (en) | 2020-05-27 |
Family
ID=60657919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016150448A Active JP6702064B2 (en) | 2016-06-07 | 2016-07-29 | Appearance abnormality inspection apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6702064B2 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019131945A1 (en) * | 2017-12-27 | 2019-07-04 | キューピー株式会社 | Food inspection device, food inspection method, and learning method for food reconstruction neural network of food inspection device |
| JP2020109374A (en) * | 2019-01-07 | 2020-07-16 | 日立オートモティブシステムズ株式会社 | Surface inspection device and surface inspection method |
| CN111902712A (en) * | 2018-03-29 | 2020-11-06 | 三菱电机株式会社 | Abnormal inspection device and abnormal inspection method |
| WO2021090789A1 (en) * | 2019-11-07 | 2021-05-14 | オムロン株式会社 | Integrated analysis method, integrated analysis device, and integrated analysis program |
| JP2021086382A (en) * | 2019-11-27 | 2021-06-03 | オムロン株式会社 | Learning apparatus, detection apparatus, learning method, and learning program |
| US11062458B2 (en) | 2017-06-06 | 2021-07-13 | Denso Corporation | Appearance inspection device, transformation data generation device, and program |
| JPWO2021220336A1 (en) * | 2020-04-27 | 2021-11-04 | ||
| US11386538B2 (en) | 2018-01-29 | 2022-07-12 | Nec Corporation | Image processing apparatus, image processing method, and storage medium |
| WO2025154335A1 (en) * | 2024-01-18 | 2025-07-24 | Ｊｆｅスチール株式会社 | Detection device, detection system, detection method, and model generation device |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10274626A (en) * | 1997-03-28 | 1998-10-13 | Mitsubishi Electric Corp | Image processing device |
| JP2007071789A (en) * | 2005-09-08 | 2007-03-22 | Yanmar Co Ltd | Chestnut quality inspection method |
| US7440607B1 (en) * | 2004-11-03 | 2008-10-21 | Kla-Tencor Corporation | Outlier substrate inspection |
| JP2012015697A (en) * | 2010-06-30 | 2012-01-19 | Meidensha Corp | Pantagraph detection device and method thereof |
| JP2016091359A (en) * | 2014-11-06 | 2016-05-23 | 株式会社リコー | Information processing system, information processing apparatus, information processing method, and program |
-
2016
- 2016-07-29 JP JP2016150448A patent/JP6702064B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10274626A (en) * | 1997-03-28 | 1998-10-13 | Mitsubishi Electric Corp | Image processing device |
| US7440607B1 (en) * | 2004-11-03 | 2008-10-21 | Kla-Tencor Corporation | Outlier substrate inspection |
| JP2007071789A (en) * | 2005-09-08 | 2007-03-22 | Yanmar Co Ltd | Chestnut quality inspection method |
| JP2012015697A (en) * | 2010-06-30 | 2012-01-19 | Meidensha Corp | Pantagraph detection device and method thereof |
| JP2016091359A (en) * | 2014-11-06 | 2016-05-23 | 株式会社リコー | Information processing system, information processing apparatus, information processing method, and program |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11062458B2 (en) | 2017-06-06 | 2021-07-13 | Denso Corporation | Appearance inspection device, transformation data generation device, and program |
| WO2019131945A1 (en) * | 2017-12-27 | 2019-07-04 | キューピー株式会社 | Food inspection device, food inspection method, and learning method for food reconstruction neural network of food inspection device |
| US11386538B2 (en) | 2018-01-29 | 2022-07-12 | Nec Corporation | Image processing apparatus, image processing method, and storage medium |
| CN111902712A (en) * | 2018-03-29 | 2020-11-06 | 三菱电机株式会社 | Abnormal inspection device and abnormal inspection method |
| CN111902712B (en) * | 2018-03-29 | 2023-07-25 | 三菱电机株式会社 | Abnormality checking device and abnormality checking method |
| JP2020109374A (en) * | 2019-01-07 | 2020-07-16 | 日立オートモティブシステムズ株式会社 | Surface inspection device and surface inspection method |
| WO2021090789A1 (en) * | 2019-11-07 | 2021-05-14 | オムロン株式会社 | Integrated analysis method, integrated analysis device, and integrated analysis program |
| JP2021077046A (en) * | 2019-11-07 | 2021-05-20 | オムロン株式会社 | Integrated analysis method, integrated analysis apparatus, and integrated analysis program |
| JP7388137B2 (en) | 2019-11-07 | 2023-11-29 | オムロン株式会社 | Integrated analysis method, integrated analysis device, and integrated analysis program |
| JP2021086382A (en) * | 2019-11-27 | 2021-06-03 | オムロン株式会社 | Learning apparatus, detection apparatus, learning method, and learning program |
| JP7404817B2 (en) | 2019-11-27 | 2023-12-26 | オムロン株式会社 | Learning device, detection device, learning method, and learning program |
| JPWO2021220336A1 (en) * | 2020-04-27 | 2021-11-04 | ||
| WO2021220336A1 (en) * | 2020-04-27 | 2021-11-04 | 三菱電機株式会社 | Image inspection device and image inspection method |
| JP7101918B2 (en) | 2020-04-27 | 2022-07-15 | 三菱電機株式会社 | Image inspection equipment and image inspection method |
| WO2025154335A1 (en) * | 2024-01-18 | 2025-07-24 | Ｊｆｅスチール株式会社 | Detection device, detection system, detection method, and model generation device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6702064B2 (en) | 2020-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6702064B2 (en) | Appearance abnormality inspection apparatus, method, and program | |
| EP3791336B1 (en) | System and method for detecting defects on imaged items | |
| US10634621B2 (en) | Information processing method, information processing apparatus, and program | |
| WO2020173177A1 (en) | Object color difference defect detection method, device, computer device, and storage medium | |
| CN108876761B (en) | Image processing device, computer-readable recording medium, image processing system | |
| CN111179251A (en) | Defect detection system and method based on twin neural network and by utilizing template comparison | |
| CN113850749B (en) | Method for training defect detector | |
| CN108520514B (en) | Consistency detection method of printed circuit board electronic components based on computer vision | |
| CN112534470A (en) | System and method for image-based inspection of target objects | |
| JP5168215B2 (en) | Appearance inspection device | |
| KR101929669B1 (en) | The method and apparatus for analyzing an image using an entropy | |
| CN118657764B (en) | Equipment defect detection method and system based on image recognition | |
| CN112508946A (en) | Cable tunnel abnormity detection method based on antagonistic neural network | |
| Chavan et al. | Quality control of PCB using image processing | |
| Li et al. | Automated rust-defect detection of a steel bridge using aerial multispectral imagery | |
| KR101782364B1 (en) | Vision inspection method based on learning data | |
| CN118501161A (en) | Quality detection method and system for copper column crimping | |
| US20190362188A1 (en) | Information processing method, information processing apparatus, and program | |
| JP2010008159A (en) | Visual inspection processing method | |
| JP5419555B2 (en) | Image inspection apparatus, image inspection method, and image inspection program | |
| CN117078679A (en) | Automatic assembly line production detection method for cooling fan based on machine vision | |
| KR101944604B1 (en) | Apparatus and method for inspection automation to count object quantity | |
| KR102823732B1 (en) | Defect detection method and system based on image patch | |
| KR102686135B1 (en) | Method of inspecting defect using artificial intelligence and apparatus for inspecting defect using artificial intelligence | |
| CN119067925A (en) | Real-time monitoring system and method for PCB drilling quality based on machine vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20160913 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160923 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190328 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6702064 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |