[go: up one dir, main page]

WO2018225745A1 - 外観検査装置、変換データ生成装置、及びプログラム - Google Patents

外観検査装置、変換データ生成装置、及びプログラム Download PDF

Info

Publication number
WO2018225745A1
WO2018225745A1 PCT/JP2018/021593 JP2018021593W WO2018225745A1 WO 2018225745 A1 WO2018225745 A1 WO 2018225745A1 JP 2018021593 W JP2018021593 W JP 2018021593W WO 2018225745 A1 WO2018225745 A1 WO 2018225745A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
defective
unit
space
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/021593
Other languages
English (en)
French (fr)
Inventor
良雄 横山
佳隆 坂本
一弘 堀田
智和 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Meijo University
Original Assignee
Denso Corp
Meijo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Meijo University filed Critical Denso Corp
Publication of WO2018225745A1 publication Critical patent/WO2018225745A1/ja
Priority to US16/704,816 priority Critical patent/US11062458B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Definitions

  • This disclosure relates to a technique for inspecting the appearance of an inspection object using an image.
  • the inspection image obtained by photographing the inspection object is analyzed to detect the result of wrinkles on the surface of the inspection object.
  • a technique for determining whether a product is defective is known.
  • Patent Document 1 discloses a technique for learning a discriminator used for visual inspection. That is, a defect image in which defects such as wrinkles on the surface of the inspection object are reflected is generated in a pseudo manner. The boundary between the non-defective product and the defective product is roughly determined from the generated pseudo defect image. According to the determined boundary, a large number of feature values of defect images to be determined as non-defective products and feature values of defect images to be determined as defective products are generated as learning samples. A discriminator for visual inspection is learned using the generated learning sample.
  • An appearance inspection apparatus includes an acquisition unit, a restoration unit, a determination unit, an extraction unit, a generation unit, and an adjustment unit.
  • the acquisition unit acquires an inspection target image representing the appearance of the inspection target.
  • the restoration unit generates a restored image representing the appearance determined to be non-defective from the inspection target image acquired by the acquisition unit using preset conversion data.
  • the determination unit determines the quality of the inspection object shown in the inspection target image from the difference between the inspection target image and the restored image.
  • the extraction unit extracts a non-defective product vector, which is a feature vector representing the features of the non-defective product image, from each of a plurality of non-defective images that are images of the appearance of the inspection object that is determined to be non-defective.
  • the generation unit generates a transformation matrix using a plurality of non-defective products vectors extracted by the extraction unit.
  • the transformation matrix is a matrix expressing that the first mapping for mapping the feature vector to the feature space and the second mapping for mapping the result of the first mapping to the entire space are performed in succession.
  • the whole space is a vector space represented by a feature vector
  • the feature space is a partial space that approximates the distribution of non-defective vectors in the whole space.
  • the adjustment unit adjusts each element of the transformation matrix generated by the generation unit using, as learning data, a feature vector extracted from a pseudo defect image obtained by synthesizing a non-defective image with an image representing a defect. Then, the restoration unit generates a restored image using the transformation matrix adjusted by the adjustment unit as the transformation data.
  • the quality of the inspection object is determined from the difference between the inspection object image and the restored image. Therefore, as long as the inspection object imaged in the inspection object image is different from the inspection object judged to be non-defective shown in the restored image, even an unknown defect can be detected. Inspection accuracy of the appearance of an object can be improved.
  • the conversion data used for generating the restored image is adjusted by learning using the pseudo defect image, instead of using the conversion matrix generated using the non-defective image as it is. For this reason, it is possible to further improve the accuracy of the restored image generated by the conversion data, and thus the inspection accuracy of the appearance of the inspection object.
  • the conversion data generation device includes an extraction unit, a generation unit, and an adjustment unit.
  • a program according to an aspect of the present disclosure is for causing a computer to function as an extraction unit, a generation unit, and an adjustment unit.
  • the extraction unit, the generation unit, and the adjustment unit in the conversion data generation device and the program are the same as the extraction unit, the generation unit, and the adjustment unit described in the appearance inspection device.
  • the appearance inspection apparatus 1 illustrated in FIG. 1 includes an input unit 10, a calculation unit 20, a storage unit 30, and an output unit 40.
  • the input unit 10 inputs an image obtained by imaging the appearance of the inspection object under the same imaging conditions.
  • the inspection object is various industrial products or parts of industrial products.
  • the input image includes an inspection target image and a non-defective image.
  • the inspection object image is an image obtained by imaging an inspection object that is a target of pass / fail determination.
  • a non-defective image is an image obtained by capturing an image of a known inspection object that is determined to be non-defective.
  • the calculation unit 20 includes a microcomputer having a CPU 21 and a semiconductor memory (hereinafter, memory 22) such as a RAM, a ROM, and a flash memory.
  • memory 22 a semiconductor memory
  • Various functions of the computing unit 20 are realized by the CPU 21 executing a program stored in a non-transitional tangible recording medium.
  • the memory 22 corresponds to a non-transitional tangible recording medium that stores a program. Also, by executing this program, a method corresponding to the program is executed.
  • the calculation unit may include one microcomputer or a plurality of microcomputers.
  • the processing for realizing the function of the calculation unit 20 includes an appearance inspection process and a conversion data generation process. Details of these processes will be described later.
  • the method by which the arithmetic unit 20 realizes these processes is not limited to software, and some or all of the elements may be realized using one or a plurality of hardware.
  • the electronic circuit may be realized by a digital circuit including a large number of logic circuits, an analog circuit, or a combination thereof.
  • the storage unit 30 includes a nonvolatile memory that can be read and written.
  • the storage unit 30 may be, for example, an HDD, a flash memory, or a USB memory that is detachable from the computer.
  • DBs databases
  • the storage unit 30 includes a non-defective image DB 31, a learning image DB 32, and a conversion data DB 33.
  • the non-defective image DB 31 a plurality of non-defective images used for generating the conversion data are accumulated.
  • the learning image DB 32 stores pseudo defect images used as learning data when adjusting the conversion data.
  • the pseudo defect image is generated by conversion data generation processing.
  • the conversion data DB 33 stores conversion data used when generating a restored image from the inspection target image. The conversion data is generated by the conversion data generation process in the same manner as the pseudo defect image.
  • the output unit 40 has at least a display screen, and at least one of the determination result of the pass / fail determination by the appearance inspection process in the arithmetic unit 20, the inspection target image to be determined, and the restored image obtained in the process. One can be displayed.
  • conversion data generation processing executed by the calculation unit 20 will be described with reference to the flowchart of FIG.
  • This process is activated when a generation instruction is input from the outside via the input unit 10 in a state where a plurality of non-defective images are stored in the non-defective image DB 31.
  • the non-defective image stored in the non-defective image DB 31 may be acquired from the outside via the input unit 10, for example, or an inspection target image determined to be non-defective by the appearance inspection process may be used. Further, a USB memory or the like in which a non-defective image is stored may be connected to the computer functioning as the calculation unit 20 as the non-defective image DB 31.
  • the arithmetic unit 20 acquires a plurality of non-defective images stored in the non-defective image DB 31 in S110.
  • non-defective images on the order of several thousand pieces are used.
  • the calculation unit 20 generates a pseudo defect image for a part of the acquired plurality of non-defective images and stores it in the learning image DB 32.
  • the pseudo-defect image is generated by synthesizing a non-defective image with a simulated image that simulates defects such as wrinkles on the surface of the inspection object.
  • a plurality of types of templates simulating the shape of the defect that is, the shape of the defect
  • the template to be used is selected at random.
  • a plurality of simulated images are generated by randomly changing at least one of the size, color, and inclination of the defect represented by the selected template.
  • a pseudo defect image is generated by synthesizing the plurality of simulated images with a non-defective image by randomly changing the position and number on the inspection object indicated in the non-defective image.
  • FIG. 3 shows a part of a template used for generating a simulated image, and a white portion represents a defect shape.
  • An example of a pseudo defect image generated by combining a simulated image with a non-defective image is shown as a test image in FIG.
  • the blacked out part is the part where the simulated image is synthesized.
  • the actual color of the simulated image is not limited to black, and a randomly selected color is given.
  • unevenness in luminance based on adhesion of dirt, conditions at the time of imaging for example, ambient brightness
  • these uneven brightness are not defects to be extracted.
  • the calculation unit 20 divides each of the plurality of non-defective images acquired in S110 and the pseudo defect image generated in S120 into a plurality of regions.
  • the non-defective image used here is a non-defective image other than that used for generating the pseudo defect image.
  • the present invention is not limited to this, and a non-defective image used for generating the pseudo defect image may be included.
  • the image of each divided area is referred to as a partial image. In the present embodiment, as shown in FIG. 4, the image is divided into nine regions so that all partial images have substantially the same shape.
  • the calculation unit 20 selects one of the regions of the image divided in S130 as a selection region that has not been subjected to the processing of S150 to S200 described below.
  • the calculation unit 20 generates a feature vector (hereinafter referred to as a non-defective product vector) x from the partial image of the selected region selected in S140 for each of the n non-defective images that are not used for generating the pseudo defect image.
  • a non-defective product vector a feature vector generated by arranging RGB luminance information of all the pixels belonging to the partial image.
  • the arithmetic unit 20 generates the autocorrelation matrix R using the n good product vectors x generated in S150.
  • the autocorrelation matrix R is obtained by the equation (2), assuming that the good product vector x is represented by the equation (1).
  • T represents transposition of a matrix.
  • the calculation unit 20 sets a d-dimensional vector space representing the good product vector x as the entire space, and performs mapping to a lower-dimensional subspace that best approximates the distribution of the good product vector x generated in S150.
  • a mapping matrix U to represent is generated.
  • the mapping matrix U is generated by KL-expanding the correlation function R obtained in S150 using equation (3).
  • KL is an abbreviation for Karhunen-Loeve.
  • r is the rank of the autocorrelation function R and is a positive integer such that r ⁇ d.
  • the mapping matrix U is an e-vector matrix of d rows and r columns in which r d-dimensional eigenvectors u1 to ur are arranged as shown in the equation (4), and ⁇ is a diagonal as shown in the equation (5). It is an e-value matrix of r rows and r columns having eigenvalues ⁇ as components.
  • the arithmetic unit 20 adjusts each element of the mapping matrix U calculated in S170 by learning using DAE.
  • DAE is an abbreviation for Denoising Auto Encoder.
  • the auto encoder is a supervised learning of a three-layer neural network using the same data for the input layer and the output layer.
  • DAE refers to learning performed by adding noise to learning data applied to the input layer in an auto encoder.
  • the mapping matrix U is used to generate a feature vector y ⁇ representing a restored image determined to be non-defective from the feature vector y extracted from the inspection target image, as shown in Equation (6).
  • a matrix represented by U ⁇ U T and the matrix of the transformation matrix K represented by V ⁇ W.
  • V is a matrix obtained by adjusting the U
  • W is a matrix obtained by adjusting the U T.
  • mapping matrix U T (hereinafter, the first mapping) is mapping from the entire space to a low dimensional subspace than representing the characteristics of the non-defective image That is, the feature vector y is encoded into a code z with more information compressed. As a result of this encoding, a code z from which information related to the defect assigned to the feature vector y is removed is generated. Further mapping (hereinafter referred to as second mapping) by the mapping matrix U in the transformation matrix K represents mapping from the partial space to the original entire space, that is, decoding the code z into the feature vector y ⁇ .
  • the feature vector y ⁇ generated by this decoding represents an image lacking information on defects, that is, a restored image determined to be non-defective.
  • the transformation matrix K can be regarded as representing the connection state of a three-layer neural network as shown in FIG. That is, of the transformation matrix K, is first mapped by mapping matrix U T which is transposed, representing the connection state from the input layer in the neural network of three layers to the intermediate layer. Further, the second mapping by the mapping matrix U represents the connection state from the intermediate layer to the output layer in the neural network.
  • back-propagation which is a well-known learning method in the neural network, can be applied to the learning of the transformation matrix K and the learning of the mapping matrix U.
  • DAE as the learning data to which noise is added, among the pseudo defect images divided for each region in S130, the one related to the selected region selected in S140 is used.
  • the calculation unit 20 sets a determination threshold TH for determining whether or not the pixel is a defective part for each pixel of the partial image.
  • LMedS estimation is used.
  • a restored image is generated for each of the partial images related to the selected region of the plurality of non-defective images.
  • the standard deviation ⁇ of the restoration error is calculated for each pixel belonging to the partial image.
  • the median value M of the square of the restoration error is obtained for the pixel to be calculated, and the standard deviation ⁇ is estimated using the median value M.
  • the determination threshold TH based on the estimated standard deviation ⁇ , for example, 2.5 ⁇ is set as the determination threshold TH.
  • the determination threshold TH of each pixel is collectively referred to as a determination threshold group.
  • the coefficient to be multiplied by ⁇ is not limited to 2.5, and an appropriate coefficient may be set based on experimental results.
  • the calculation unit 20 stores the converted conversion matrix K calculated in S180 and the determination threshold value group calculated in S190 in the conversion data DB 33 as conversion data.
  • the adjusted mapping matrices V and W may be stored instead of the adjusted conversion matrix K.
  • the calculation unit 20 determines whether or not the processing has been completed for all the divided areas. If there is an unprocessed area, the process returns to S140, and if the process has been completed for all areas, this process ends.
  • the conversion data DB 33 stores the conversion matrix K calculated for each divided region and the determination threshold TH calculated for each pixel of the input image.
  • S130 corresponds to the dividing unit
  • S150 corresponds to the extracting unit
  • S160 to S170 corresponds to the generating unit
  • S180 corresponds to the adjusting unit.
  • the calculation unit 20 first acquires an inspection target image via the input unit 10 in S310.
  • the arithmetic unit 20 divides the inspection target image into a plurality of regions as shown in FIG.
  • the computing unit 20 sets one of the partial images that are images of the respective regions divided in S320 as a selected image.
  • the computing unit 20 extracts a feature vector y from the selected image.
  • the extraction method of the feature vector y is the same as that of the feature vector x extracted from the above-mentioned non-defective product image.
  • the extracted feature vector y is referred to as a selection vector.
  • the arithmetic unit 20 uses the selection vector y extracted in S340 and the transformation matrix K that is the transformation data of the region corresponding to the selected image acquired from the transformation data DB 33, and according to the above-described equation (6).
  • a restored vector y ⁇ that is a feature vector of the restored image is generated.
  • the calculation unit 20 generates an error vector e representing the difference between the restoration vector y ⁇ and the selection vector y. That is, the error vector e indicates the difference between the inspection object determined as a non-defective product shown in the restored image generated from the restoration vector y ⁇ and the inspection object shown in the inspection object image, that is, the defective portion. It will be a thing. However, each element of the error vector e is binarized using the pixel determination threshold TH corresponding to each element acquired from the conversion data DB 33.
  • the element of the error vector e when the element of the error vector e is 1, it means that the pixel corresponding to the element is determined to be defective, and when the element of the error vector e is 0, the pixel corresponding to the element is It means that it was judged that there was no defect.
  • the reference vector based on the preset reference image is not used, but the restoration vector y ⁇ generated from the selection vector y is used for the following reason.
  • the inspection objects imaged in the inspection object image have the same shape and the same size, but the position of the inspection object is slightly shifted for each inspection object image depending on the conditions at the time of imaging. If the object to be inspected is a screw, the phase of the screw thread may be different. Therefore, the state of the inspection object imaged in the reference image does not necessarily match the state of the inspection object imaged in the inspection object image, and erroneous detection may occur due to the deviation. In order to suppress such erroneous detection due to a difference in the state of the inspection object, it is necessary to use a restored vector y ⁇ (that is, a restored image) generated from the selection vector y.
  • the calculation unit 20 determines whether or not the above-described processing of S330 to S360 has been executed for all the areas divided in S320. If there is an unprocessed area, the calculation unit 20 returns the process to S330, and if all the areas have been processed, the process proceeds to S380.
  • the arithmetic unit 20 determines that the inspection target image captured in the inspection target image is a non-defective product if the elements of the error vector e generated for each of the plurality of partial images obtained by dividing the inspection target image are all zero. It is judged that. In addition, the arithmetic unit 20 determines that the inspection target is a defective product if even one element of the error vector e is 1. Then, the calculation unit 20 displays the determination result on the display screen of the output unit 40 together with the inspection target image and the error image reproduced from the error vector e, and ends the present process.
  • S310 corresponds to an acquisition unit
  • S340 to S350 correspond to a restoration unit
  • S360 and S380 correspond to a determination unit.
  • Comparative Example 1 the initial value of the transformation matrix K was set at random, and each element of the transformation matrix K was adjusted by performing learning by DAE for this transformation matrix K. However, the number of units in the intermediate layer was 2000.
  • the method of Comparative Example 1 is expressed as DAE.
  • Comparative Example 2 the number of units in the intermediate layer was increased to 8000, and the transformation matrix K was generated and adjusted by the same method as in Comparative Example 1. However, the average pooling of 2 pixels ⁇ 2 pixels is performed on the test image, thereby reducing the resolution of the test image to 1 ⁇ 2.
  • the method of Comparative Example 2 is expressed as SD_DAE.
  • the method of the comparative example 3 is described as SD_EV.
  • each element of the transformation matrix K was adjusted by learning with DAE using the transformation matrix K generated by the same method as in Comparative Example 3 as an initial value.
  • the method of Comparative Example 4 is denoted as SD_EV_DAE.
  • the image is divided into nine regions, and the transformation matrix K is generated and adjusted using the same method as in Comparative Example 4 for each divided part.
  • the technique of the present disclosure is referred to as local DAE.
  • the appearance inspection process was performed on the test image using the transformation matrix K generated and adjusted in this way, and the correct answer number G, the detection number T, and the false detection number F were obtained.
  • the correct answer number G is the total number of pixels having defects in the test image, and is a known value determined by the test image to be used.
  • the detection number T is the total number of pixels correctly determined as a defect as a result of the appearance inspection process.
  • the number F of false detections is the total number of pixels (hereinafter, the number of false detections) erroneously determined to be defective even though they are not actually defective as a result of the appearance inspection process. Further, the determination threshold value TH was adjusted as appropriate so that the highest accuracy was obtained.
  • the graph shown in FIG. 8 is a precision-recall curve, which shows the relationship between the precision calculated by equation (7), that is, precision, and the recall calculated by equation (8), that is, recall. is there.
  • FIG. 9 shows, for three test images, a correct image GT indicating the position of a pixel having a pseudo defect, an error image generated using a restored image by the local DAE of the present disclosure, and a restored image by SD_EV of Comparative Example 3.
  • generated using the restored image by SD_EV_DAE of the comparative example 4 are shown side by side.
  • test images in the second and third lines have green and purple pseudo defects in places other than the white part of the detection target. In these cases, the same tendency as the test image in the first row can be read.
  • an inspection object is obtained from an error vector e (that is, an error image) that is a difference between a feature vector y (that is, an inspection object image) and a restored vector y ⁇ (that is, a restored image).
  • e that is, an error image
  • y that is, an inspection object image
  • y ⁇ that is, a restored image
  • the appearance inspection apparatus 1 generates the correlation function R based on the feature vector x extracted from the non-defective image as the conversion data used for generating the restored image by KL expansion, that is, using the subspace method. Instead of using the conversion matrix as it is, the conversion matrix K adjusted by applying DAE which is learning using a pseudo defect image is used. For this reason, it is possible to further improve the accuracy of the restored image generated by the conversion data, and hence the inspection accuracy of the appearance of the inspection object.
  • the appearance inspection apparatus 1 divides the inspection target image into a plurality of areas, and performs conversion data generation and appearance inspection using the conversion data for each of the divided areas. For this reason, it is possible to suppress noise generated due to a partial area of the inspection target image from spreading to other areas, and to generate a higher-quality restored image. The inspection accuracy of the appearance can be further improved.
  • the inspection target image or the non-defective image is divided into a plurality of areas for processing, but the inspection target image or the non-defective image is processed as it is without dividing the area. Also good.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment.
  • all the aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.
  • a conversion data generation apparatus excluding the appearance inspection processing function from the appearance inspection apparatus, a system including the appearance inspection apparatus or the conversion data generation apparatus as a constituent element, an appearance inspection apparatus or conversion data
  • the present disclosure can also be realized in various forms such as a program for causing a computer to function as a generation device, a non-transition actual recording medium such as a semiconductor memory in which the program is recorded, an appearance inspection method, and a conversion data generation method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Immunology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

抽出部（Ｓ１５０）は、良品と判断される検査対象物の外観を写した複数の良品画像のそれぞれから該良品画像の特徴を表す良品ベクトルを抽出する。生成部（Ｓ１６０～Ｓ１７０）は、抽出部にて抽出された複数の良品ベクトルを用いて変換行列を生成する。変換行列は、特徴ベクトルを特徴空間へ写像する第１の写像、および第１の写像の結果を、特徴ベクトルが属する全体空間へ写像する第２の写像を連続して行うことを表現する行列である。調整部（Ｓ１８０）は、擬似欠陥画像から抽出された特徴ベクトルを学習データとして、生成部で生成された変換行列の各要素を調整する。

Description

外観検査装置、変換データ生成装置、及びプログラム 関連出願の相互参照
　本国際出願は、２０１７年６月６日に日本国特許庁に出願された日本国特許出願第２０１７－１１１５７２号に基づく優先権を主張するものであり、日本国特許出願第２０１７－１１１５７２号の全内容を参照により本国際出願に援用する。
　本開示は、画像を用いて検査対象物の外観を検査する技術に関する。
　検査工程の省力化または検査精度の向上を目的として、検査対象物を撮影した検査画像を解析することにより、検査対象物の表面についた疵等の結果を検出して、検査対象物が良品か不良品であるかを判定する技術が知られている。
　下記特許文献１には、外観検査に使用する識別器を学習する技術が開示されている。即ち、検査対象物の表面についた疵などの欠陥が写っている欠陥画像を擬似的に生成する。生成した擬似欠陥画像から良品および不良品の境界を大まかに決定する。決定した境界に従って、良品とすべき欠陥の像の特徴量と、不良品とすべき欠陥の像の特徴量とを学習サンプルとして多数生成する。生成した学習サンプルを用いて外観検査用の識別器を学習する。
特許第５５４６３１７号公報
　しかしながら、発明者による詳細な検討の結果、特許文献１に記載の従来技術では以下の課題が見出された。即ち、従来技術では、良品と不良品の境界を決定する方法が客観的、定量的ではなく、あいまいである。また、従来技術では、擬似欠陥画像によって表現されていない未知の欠陥に対する検査能力が不明である。
　本開示の１つの局面は、検査対象物の外観の検査精度を向上させる技術を提供することにある。
　本開示の一態様による外観検査装置は、取得部と、復元部と、判断部と、抽出部と、生成部と、調整部と、を備える。
　取得部は、検査対象物の外観を表す検査対象画像を取得する。復元部は、取得部にて取得された検査対象画像から、予め設定された変換データを用いて、良品と判断される外観を表す復元画像を生成する。判断部は、検査対象画像と復元画像との差分から検査対象画像に写った検査対象物の良否を判断する。抽出部は、良品と判断される検査対象物の外観を写した複数の良品画像のそれぞれから該良品画像の特徴を表す特徴ベクトルである良品ベクトルを抽出する。生成部は、抽出部にて抽出された複数の良品ベクトルを用いて変換行列を生成する。変換行列は、特徴ベクトルを特徴空間へ写像する第１の写像、および第１の写像の結果を全体空間へ写像する第２の写像を連続して行うことを表現する行列である。但し、全体空間は、特徴ベクトルによって表されるベクトル空間であり、特徴空間は、全体空間のうち良品ベクトルの分布を近似する部分空間である。調整部は、良品画像に欠陥を表す画像を合成した擬似欠陥画像から抽出された特徴ベクトルを学習データとして、生成部で生成された変換行列の各要素を調整する。そして、復元部は、調整部にて調整された変換行列を、変換データとして用いて復元画像を生成する。
　このような構成によれば、検査対象画像と復元画像との差分から検査対象物の良否を判断する。従って、検査対象画像に撮像された検査対象物が、復元画像に示された良品と判断される検査対象物と異なってさえいれば、未知の欠陥であっても検出することができ、検査対象物の外観の検査精度を向上させることができる。
　また、復元画像の生成に用いる変換データは、良品画像を用いて生成される変換行列をそのまま用いるのではなく、擬似欠陥画像を用いた学習によって調整される。このため、変換データによって生成される復元画像の精度、ひいては、検査対象物の外観の検査精度をより一層向上させることができる。
　本開示の一態様による変換データ生成装置は、抽出部と、生成部と、調整部と、を備える。また、本開示の一態様によるプログラムは、抽出部と、生成部と、調整部と、としてコンピュータを機能させるためのものである。これら変換データ生成装置およびプログラムにおける抽出部、生成部、調整部は、上記外観検査装置において説明した抽出部、生成部、調整部と同様のものである。
　このような構成によれば、良品を表す画像への復元精度の高い変換データを生成することができ、生成された変換データを用いることで、検査対象物の外観の検査精度を向上させることができる。
　なお、請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
外観検査装置の構成を示すブロック図である。 変換データ生成処理のフローチャートである。 擬似欠陥画像の生成に使用するテンプレートを例示する説明図である。 検査対象画像および検査対象画像を複数に分割した部分画像を例示する説明図である。 変換行列の作用を示す説明図である。 ３層のニューラルネットワークと変換行列の関係を示す説明図である。 外観検査処理のフローチャートである。 外観検査の結果を、他の手法と比較して示したグラフである。 外観検査時に得られる誤差画像を他の手法と比較して、テスト画像および正解画像と共に示した説明図である。
　以下、図面を参照しながら、本開示の実施形態を説明する。
　［１．構成］
　図１に示す外観検査装置１は、入力部１０と、演算部２０と、記憶部３０と、出力部４０とを備える。
　入力部１０は、検査対象物の外観を、同一の撮像条件で撮像した画像を入力する。検査対象物は、各種の工業製品または工業製品の部品等である。入力される画像には、検査対象画像と良品画像とが含まれる。検査対象画像は、良否判定の対象となる検査対象物を撮像した画像である。良品画像は、良品と判断された既知の検査対象物を撮像した画像である。
　演算部２０は、ＣＰＵ２１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ２２）と、を有するマイクロコンピュータを備える。演算部２０の各種機能は、ＣＰＵ２１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ２２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、演算部は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
　演算部２０の機能を実現する処理には、外観検査処理と、変換データ生成処理とが含まれる。これらの処理の詳細については後述する。演算部２０がこれらの処理を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。
　記憶部３０は、読み出し、書き込みが可能な不揮発性メモリを備える。記憶部３０は、例えば、ＨＤＤ、フラッシュメモリ、またはコンピュータに対して着脱自在なＵＳＢメモリ等であってもよい。記憶部３０には、複数のデータベース（以下、ＤＢ）が構築される。具体的には、記憶部３０は、良品画像ＤＢ３１、学習画像ＤＢ３２、変換データＤＢ３３を備える。良品画像ＤＢ３１には、変換データの生成に使用する複数の良品画像が蓄積される。学習画像ＤＢ３２には、変換データを調整する際の学習データとして使用される擬似欠陥画像が蓄積される。擬似欠陥画像は、変換データ生成処理によって生成される。変換データＤＢ３３には、検査対象画像から復元画像を生成する際に使用する変換データが記憶される。変換データは、擬似欠陥画像と同様に、変換データ生成処理によって生成される。
　出力部４０は、少なくとも表示画面を有し、演算部２０での外観検査処理による良否判定の判定結果、判定の対象となった検査対象画像、および処理の過程で得られる復元画像のうち少なくとも一つを表示することができる。
　［２．処理］
　［２－１．変換データ生成処理］
　次に、演算部２０が実行する変換データ生成処理について、図２のフローチャートを用いて説明する。本処理は、良品画像ＤＢ３１に複数の良品画像が格納されている状態で、入力部１０を介して外部から生成指示が入力されると起動する。良品画像ＤＢ３１に格納される良品画像は、例えば、入力部１０を介して外部から取得してもよいし、外観検査処理により良品と判断された検査対象画像を用いてもよい。また、演算部２０として機能するコンピュータに、良品画像が格納されたＵＳＢメモリ等を良品画像ＤＢ３１として接続してもよい。
　本処理が起動すると、演算部２０は、Ｓ１１０では、良品画像ＤＢ３１に蓄積された複数の良品画像を取得する。ここでは、例えば、数千個オーダーの良品画像を用いるものとする。
　演算部２０は、Ｓ１２０では、取得した複数の良品画像の一部について、擬似欠陥画像を生成し、学習画像ＤＢ３２に格納する。擬似欠陥画像は、検査対象物の表面についた疵などの欠陥を模擬した模擬画像を、良品画像に合成することによって生成される。具体的には、欠陥の形状を模擬した複数種類のテンプレート（即ち、欠陥の形状）を用意し、使用するテンプレートをランダムに選択する。選択されたテンプレートによって表される欠陥の大きさ、色、および傾きのうち少なくとも一つをランダムに変化させて複数の模擬画像を生成する。この複数の模擬画像を、良品画像に示された検査対象物上で位置や数をランダムに変化させて良品画像に合成することで、擬似欠陥画像を生成する。図３は、模擬画像の生成に使用するテンプレートの一部を示したものであり、白抜きされた部分が欠陥の形状を表す。模擬画像を良品画像に合成することで生成された擬似欠陥画像の例を、図９に、テスト画像として示す。図中、黒く塗りつぶされた部位が模擬画像を合成した箇所である。模擬画像の実際の色は黒に限定されるものではなく、ランダムに選択された色が付与される。また、図に示された３つの検査対象物には、汚れの付着および撮像時の条件（例えば、周囲の明るさ）等に基づく輝度むらが生じている。但し、これらの輝度むらは抽出すべき欠陥ではない。
　演算部２０は、Ｓ１３０では、Ｓ１１０で取得した複数の良品画像およびＳ１２０で生成した擬似欠陥画像のそれぞれを、複数の領域に分割する。ここで使用される良品画像は、擬似欠陥画像の生成に使用されたもの以外の良品画像である。但し、これに限定されるものではなく、擬似欠陥画像の生成に用いた良品画像が含まれてもよい。以下では、分割された各領域の画像を部分画像という。本実施形態では、図４に示すように、全ての部分画像がほぼ同じ形状となるように９個の領域に分割する。
　演算部２０は、Ｓ１４０では、Ｓ１３０にて分割された画像の領域のうち、以下で説明するＳ１５０～Ｓ２００の処理が実施されていない領域の一つを選択領域として選択する。
　演算部２０は、Ｓ１５０では、擬似欠陥画像の生成に使用されていないｎ個の良品画像のそれぞれについて、Ｓ１４０で選択された選択領域の部分画像から特徴ベクトル（以下、良品ベクトル）ｘを生成する。ｎは数百～数千オーダーの正整数である。ここでは、良品ベクトルｘとして、部分画像に属する全ての画素のＲＧＢの輝度情報を並べることで生成されるｄ次元のベクトルを用いる。例えば、部分画像の画素数がｍである場合、良品ベクトルｘの次元は、ｄ＝３×ｍとなる。
　演算部２０は、Ｓ１６０では、Ｓ１５０にて生成されたｎ個の良品ベクトルｘを用いて、自己相関行列Ｒを生成する。具体的には、良品ベクトルｘを（１）式で表すものとして、自己相関行列Ｒは（２）式により求められる。但し、Ｔは行列の転置を表す。
Figure JPOXMLDOC01-appb-M000001
 　演算部２０は、Ｓ１７０では、良品ベクトルｘを表現するｄ次元のベクトル空間を全体空間とし、Ｓ１５０にて生成された良品ベクトルｘの分布を最もよく近似するより次元の低い部分空間への写像を表す写像行列Ｕを生成する。ここでは、（３）式を用いて、Ｓ１５０で求めた相関関数ＲをＫＬ展開することにより写像行列Ｕを生成する。ＫＬは、Karhunen-Loeveの略である。但し、ｒは自己相関関数Ｒのランクであり、ｒ＜ｄとなる正整数である。写像行列Ｕは、（４）式に示すように、ｄ次元の固有ベクトルｕ１～ｕｒをｒ個並べたｄ行ｒ列の固有ベクトル行列であり、Λは、（５）式に示すように、対角成分に固有値λを持つｒ行ｒ列の固有値行列である。
Figure JPOXMLDOC01-appb-M000002
 　演算部２０は、Ｓ１８０では、Ｓ１７０で算出された写像行列Ｕの各要素を、ＤＡＥを用いて学習することによって調整する。ＤＡＥは、Denoising Auto Encoderの略である。オートエンコーダは、３層のニューラルネットを、入力層と出力層とに同じデータを用いて教師あり学習させたものである。ＤＡＥは、オートエンコーダにおいて、入力層に加える学習データにノイズを加えて学習させたものをいう。
　写像行列Ｕは、（６）式に示すように、検査対象画像から抽出した特徴ベクトルｙから、良品と判断される復元画像を表す特徴ベクトルｙ～を生成するために使用される。以下では、Ｕ×ＵＴによって表される行列、およびＶ×Ｗによって表される行列を変換行列Ｋという。但し、Ｖは、Ｕを調整することで得られる行列であり、Ｗは、ＵＴを調整することで得られる行列である。
Figure JPOXMLDOC01-appb-M000003
 　図５に示すように、変換行列Ｋのうち、転置した写像行列ＵＴによる写像（以下、第１の写像）は、全体空間から良品画像の特徴を表現したより低次元の部分空間への写像、即ち、特徴ベクトルｙを、より情報が圧縮された符号ｚに符号化することを表す。この符号化により、特徴ベクトルｙに付与されている欠陥に関する情報が除去された符号ｚが生成される。変換行列Ｋのうち写像行列Ｕによる更なる写像（以下、第２の写像）は、部分空間から元の全体空間への写像、即ち、符号ｚを特徴ベクトルｙ～に復号化することを表す。この復号化により生成される特徴ベクトルｙ～は、欠陥に関する情報が欠落した画像、即ち、良品と判断される復元画像を表す。
　また、変換行列Ｋは、図６に示すように、３層のニューラルネットワークの接続状態を表現すると見なすことができる。つまり、変換行列Ｋのうち、転置した写像行列ＵＴによる第１の写像が、３層のニューラルネットワークにおける入力層から中間層へ接続状態を表現する。また、写像行列Ｕによる第２の写像が、ニューラルネットワークにおける中間層から出力層への接続状態を表現する。これにより、変換行列Ｋの学習、ひいては写像行列Ｕの学習には、ニューラルネットワークにおいて公知の学習手法であるバックプロパゲーション等の適用が可能となる。また、ＤＡＥによる学習では、ノイズを加えた学習データとして、Ｓ１３０で領域毎に分割された擬似欠陥画像のうち、Ｓ１４０で選択された選択領域に関するものが使用される。
　演算部２０は、Ｓ１９０では、部分画像の画素毎に、その画素が欠陥箇所であるか否かを判断するための判定閾値ＴＨを設定する。ここでは、ＬＭｅｄＳ推定を用いる。具体的には、Ｓ１８０で算出される変換行列Ｋを用いて、複数の良品画像の選択領域に関する部分画像のそれぞれについて復元画像を生成する。生成された複数の復元画像に基づき、部分画像に属する画素毎に、復元誤差の標準偏差σを算出する。標準偏差σを算出する際には、まず、算出対象の画素について復元誤差の2乗の中央値Ｍを求め、更にその中央値Ｍを用いて標準偏差σを推定する。そして、推定された標準偏差σに基づき、例えば、２．５σを判定閾値ＴＨとして設定する。以下では、各画素の判定閾値ＴＨを総称して判定閾値群という。但し、σに乗じる係数は、２．５に限定されるものではなく、実験結果から適切な係数を設定してもよい。
　演算部２０は、Ｓ２００では、Ｓ１８０にて算出された調整後の変換行列ＫおよびＳ１９０にて算出された判定閾値群を変換データとして、変換データＤＢ３３に格納する。なお、調整後の変換行列Ｋの代わりに調整後の写像行列Ｖ，Ｗが格納されてもよい。
　演算部２０は、Ｓ２１０では、分割された全ての領域について処理が終了しているか否かを判断する。未処理の領域があればＳ１４０に戻り、全ての領域について処理が終了していれば、本処理を終了する。
　本処理を実行することにより、変換データＤＢ３３には、分割される領域毎に算出された変換行列Ｋと、入力画像の画素毎に算出された判定閾値ＴＨとが格納される。
　なお、本処理において、Ｓ１３０が分割部、Ｓ１５０が抽出部、Ｓ１６０～Ｓ１７０が生成部、Ｓ１８０が調整部に相当する。
　［２－２．外観検査処理］
　演算部２０が実行する外観検査処理について、図７のフローチャートを用いて説明する。本処理は、入力部１０に検査対象画像が入力される毎に起動する。
　本処理が起動すると、演算部２０は、まず、Ｓ３１０にて、入力部１０を介して検査対象画像を取得する。
　演算部２０は、Ｓ３２０では、検査対象画像を、図４に示すように、複数の領域に分割する。
　演算部２０は、Ｓ３３０では、Ｓ３２０で分割された各領域の画像である部分画像の一つを選択画像に設定する。
　演算部２０は、Ｓ３４０では、選択画像から特徴ベクトルｙを抽出する。特徴ベクトルｙの抽出方法は、上述した良品画像から抽出する特徴ベクトルｘの場合と同様である。以下では、この抽出された特徴ベクトルｙを選択ベクトルという。
　演算部２０は、Ｓ３５０では、Ｓ３４０で抽出された選択ベクトルｙと、変換データＤＢ３３から取得した選択画像に対応する領域の変換データである変換行列Ｋとを用い、上述の（６）式に従って、復元画像の特徴ベクトルである復元ベクトルｙ～を生成する。
　演算部２０は、Ｓ３６０では、復元ベクトルｙ～と、選択ベクトルｙとの差分を表す誤差ベクトルｅを生成する。つまり、誤差ベクトルｅは、復元ベクトルｙ～から生成される復元画像に示された良品と判断される検査対象物と検査対象画像に示された検査対象物との差分、即ち、欠陥箇所を示すものとなる。但し、誤差ベクトルｅの各要素は、変換データＤＢ３３から取得される、各要素に対応する画素の判定閾値ＴＨを用いて２値化される。即ち、誤差ベクトルｅの要素が１である場合、その要素に対応した画素は、欠陥有りと判断されたことを意味し、誤差ベクトルｅの要素が０である場合、その要素に対応した画素は、欠陥無しと判断されたことを意味する。
　なお、誤差ベクトルｅを生成する際に、予め設定された基準画像に基づく基準ベクトルを用いるのではなく、選択ベクトルｙから生成される復元ベクトルｙ～を用いるのは、以下の理由による。つまり、検査対象画像に撮像された検査対象物は、いずれも同じ形状、同じ大きさのものであるが、撮像時の条件によって、検査対象画像毎に、検査対象物の位置が微妙にずれていたり、検査対象物がネジであれば、ねじ山の位相が異なっていたりする。従って、基準画像に撮像された検査対象物の状態は、必ずしも検査対象画像に撮像された検査対象物の状態と一致するとは限らず、そのずれによって誤検出が生じる可能性がある。このような検査対象物の状態の違いによる誤検出を抑制するために、選択ベクトルｙから生成した復元ベクトルｙ～（即ち、復元画像）を用いる必要がある。
　演算部２０は、Ｓ３７０では、Ｓ３２０で分割した全ての領域について、上述のＳ３３０～Ｓ３６０の処理を実行済みであるか否かを判断する。演算部２０は、未処理の領域があればＳ３３０に処理を戻し、全ての領域が処理済みであれば、Ｓ３８０に処理を移行する。
　演算部２０は、Ｓ３８０では、検査対象画像を分割した複数の部分画像のそれぞれについて生成された誤差ベクトルｅの要素がいずれも０であれは、検査対象画像に撮像されている検査対象物は良品であると判断する。また、演算部２０は、誤差ベクトルｅの要素が一つでも１であれば、検査対象物は不良品であると判断する。そして、演算部２０は、この判断結果を、検査対象画像および誤差ベクトルｅから再現される誤差画像等と共に出力部４０の表示画面に表示させて、本処理を終了する。
　なお、本処理において、Ｓ３１０が取得部、Ｓ３４０～Ｓ３５０が復元部、Ｓ３６０及びＳ３８０が判断部に相当する。
　［３．評価］
　本開示の手法および比較例１～４のそれぞれについて変換行列Ｋおよびこれに相当する行列を生成し、擬似欠陥画像を検査対象画像（以下、テスト画像）として、性能を評価した結果について説明する。
　比較例１では、変換行列Ｋの初期値をランダムに設定し、この変換行列Ｋに対してＤＡＥによる学習を行うことで変換行列Ｋの各要素を調整した。但し、中間層のユニット数を２０００とした。以下、比較例１の手法をＤＡＥと表記する。
　比較例２では、中間層のユニット数を８０００に増加させ、比較例１と同じ手法で変換行列Ｋの生成および調整を行った。但し、テスト画像に対して２画素×２画素の平均プーリングを行うことによって、テスト画像の解像度を１／２とした。以下、比較例２の手法をＳＤ＿ＤＡＥと表記する。
　比較例３では、比較例２と同様の手法で解像度を１／２にした良品画像を用い、部分空間法（即ち、ＫＬ展開）により変換行列Ｋを生成した。なお、固有ベクトルの成分数はｒ＝３７５０であった。以下、比較例３の手法をＳＤ＿ＥＶと表記する。
　比較例４では、比較例３と同様の手法で生成した変換行列Ｋを初期値として、ＤＡＥによる学習を行うことで変換行列Ｋの各要素を調整した。以下、比較例４の手法をＳＤ＿ＥＶ＿ＤＡＥと表記する。
　本開示では、画像を９つの領域に分割し、分割された部位毎に、比較例４と同様の手法を用いて変換行列Ｋの生成および調整を行った。以下、本開示の手法を局所ＤＡＥと表記する。
　このようにして生成および調整された変換行列Ｋを用いて、テスト画像について外観検査処理を実行し、正解数Ｇと、検出数Ｔと、誤検出数Ｆとを求めた。正解数Ｇは、テスト画像中で欠陥が存在する画素の総数であり、使用するテスト画像によって決まる既知の値である。検出数Ｔは、外観検査処理の結果、欠陥であると正しく判定された画素の総数である。誤検出数Ｆは、外観検査処理の結果、実際には欠陥ではないにも関わらず欠陥であると誤判定された画素の総数（以下、誤検出数）である。また、判定閾値ＴＨは、最高の精度が得られるように適宜調整した。
　図８に示すグラフは、precision-recall曲線であり、（７）式で算出される適合率、即ちprecisionと、（８）式で算出される再現率、即ちrecallとの関係を示したものである。
Figure JPOXMLDOC01-appb-M000004
 　図８からは、本開示および比較例４と比較例１～３との比較から、部分空間法を用いて算出された変換行列Ｋを初期値として、ＤＡＥによる学習を行うことで変換行列Ｋの各要素を調整することが有効であることがわかる。更に、本開示と比較例４との比較から、画像全体を一括で処理するのではなく、複数に分割して処理を行う局所ＤＡＥが有効であることがわかる。
　図９は、３つのテスト画像について、擬似欠陥がある画素の位置を示す正解画像ＧＴと、本開示の局所ＤＡＥによる復元画像を用いて生成した誤差画像と、比較例３のＳＤ＿ＥＶによる復元画像を用いて生成した誤差画像と、比較例４のＳＤ＿ＥＶ＿ＤＡＥによる復元画像を用いて生成した誤差画像と、を並べて示したものである。
　図中において１行目のテスト画像には、検出対象物の白い部分に黒い擬似欠陥がある。このとき、正常なサンプルとの輝度値の差が大きいため、比較例３では、擬似欠陥の周辺に誤検出が多く現れる。比較例４および本開示の手法では、擬似欠陥の箇所が正しく検出されている。また、本開示の手法では、比較例４に比べて、擬似欠陥以外で欠陥ありと判定されて画素の数（即ち、誤検出数）が、大幅に減少している。
　２行目および３行目のテスト画像には、検出対象物の白い部分以外の箇所に、緑色および紫色の擬似欠陥がある。これらの場合も、１行目のテスト画像と同様の傾向を読み取ることができる。
　［４．効果］
　以上詳述した第１実施形態によれば、以下の効果を奏する。
　（１）外観検査装置１では、特徴ベクトルｙ（即ち、検査対象画像）と、復元ベクトルｙ～（即ち、復元画像）との差分である誤差ベクトルｅ（即ち、誤差画像）から、検査対象物の良否を判断する。このため、検査対象画像に撮像された検査対象物が、復元画像に示された良品と判断される復元された検査対象物と異なってさえいれば、未知の欠陥であっても検出することができ、検査対象物の外観の検査精度を向上させることができる。
　（２）外観検査装置１では、復元画像の生成に用いる変換データとして、良品画像から抽出された特徴ベクトルｘに基づく相関関数ＲをＫＬ展開すること、即ち、部分空間法を用いることで生成された変換行列をそのまま用いるのではなく、擬似欠陥画像を用いた学習であるＤＡＥを施すことによって調整された変換行列Ｋを用いている。このため、変換データによって生成される復元画像の精度、ひいては、検査対象物の外観の検査精度をより向上させることができる。
　（３）外観検査装置１では、検査対象画像を複数の領域に分割し、分割された領域毎に、変換データの生成および変換データを用いた外観検査を実施する。このため、検査対象画像の一部の領域を原因として発生するノイズが、その領域以外に波及することを抑制することができ、より高品質な復元画像を生成することができ、ひいては検査対象物の外観の検査精度を更に向上させることができる。
　［５．他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
　（ａ）上記実施形態では、検査対象画像や良品画像を複数の領域に分割して処理を行っているが、領域分割を行うことなく、検査対象画像や良品画像をそのまま一括して処理してもよい。
　（ｂ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
　（ｃ）上述した外観検査装置の他、外観検査装置ら外観検査処理の機能を除外した変換データ生成装置、当該外観検査装置または変換データ生成装置を構成要素とするシステム、外観検査装置または変換データ生成装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、外観検査方法、変換データ生成方法など、種々の形態で本開示を実現することもできる。

Claims (6)

  1. 　検査対象物の外観を表す検査対象画像を取得する取得部（Ｓ３１０）と、
    前記取得部にて取得された前記検査対象画像から、予め設定された変換データを用いて、良品と判断される外観を表す復元画像を生成するように構成された復元部（Ｓ３４０、Ｓ３５０）と、
    　前記検査対象画像と前記復元画像との差分から前記検査対象画像に写った前記検査対象物の良否を判断するように構成された判断部（Ｓ３６０、Ｓ３８０）と、
    　良品と判断される前記検査対象物の外観を写した複数の良品画像のそれぞれから該良品画像の特徴を表す特徴ベクトルである良品ベクトルを抽出するように構成された抽出部（Ｓ１５０）と、
    　前記抽出部にて抽出された前記複数の良品ベクトルを用いて変換行列を生成するように構成され、前記変換行列は、前記特徴ベクトルを特徴空間へ写像する第１の写像、および前記第１の写像の結果を全体空間へ写像する第２の写像を連続して行うことを表現する行列であり、前記全体空間は、前記特徴ベクトルによって表されるベクトル空間であり、前記特徴空間は、前記全体空間のうち前記良品ベクトルの分布を近似する部分空間である生成部（Ｓ１６０、Ｓ１７０）と、
    　前記良品画像に欠陥を表す画像を合成した擬似欠陥画像から抽出された前記特徴ベクトルを学習データとして、前記生成部で生成された前記変換行列の各要素を調整するように構成された調整部（Ｓ１８０）と、
    　を備え、前記復元部は、前記調整部にて調整された変換行列を、前記変換データとして用いるように構成された外観検査装置。
  2. 　検査対象物の外観を表す検査対象画像から、良品と判断される外観を表す復元画像を生成するための変換データを生成する変換データ生成装置であって、
    　良品と判断される前記検査対象物の外観を写した複数の良品画像のそれぞれから該良品画像の特徴を表す特徴ベクトルである良品ベクトルを抽出するように構成された抽出部（Ｓ１５０）と、
    　前記抽出部にて抽出された前記複数の良品ベクトルを用いて変換行列を生成するように構成され、前記変換行列は、前記特徴ベクトルを特徴空間へ写像する第１の写像、および前記第１の写像の結果を全体空間へ写像する第２の写像を連続して行うことを表現する行列であり、前記全体空間は、前記特徴ベクトルによって表されるベクトル空間であり、前記特徴空間は、前記全体空間のうち前記良品ベクトルの分布を近似する部分空間である生成部（Ｓ１６０、Ｓ１７０）と、
    　前記良品画像に欠陥を表す画像を合成した擬似欠陥画像から抽出された前記特徴ベクトルを学習データとして、前記生成部で生成された前記変換行列の各要素を調整することで前記変換データを生成するように構成された調整部（Ｓ１８０）と、
    　を備える変換データ生成装置。
  3. 　請求項２に記載の変換データ生成装置であって、
    　前記複数の良品画像のそれぞれを複数の部分画像に分割する分割部（Ｓ１３０）を更に備え、
    前記抽出部、前記生成部、前記調整部は、前記分割部によって分割された複数の部分画像が表す部位毎に処理を実行するように構成された、
    　変換データ生成装置。
  4. 　請求項２または請求項３に記載の変換データ生成装置であって、
    　前記生成部は、前記抽出部にて抽出された前記複数の特徴ベクトルから自己相関行列を生成し、該自己相関行列をKarhunen-Loeve展開することで、前記変換行列を求めるように構成された
    　変換データ生成装置。
  5. 　請求項２から請求項４のいずれか１項に記載の変換データ生成装置であって、
    　前記調整部は、前記変換行列をニューラルネットワークの中間層とみなし、Denoisinng Autoencoderを適用することで前記変換行列の各要素を調整するように構成された、
    　変換データ生成装置。
  6. 　検査対象物の外観を表す検査対象画像から、良品と判断される外観を表す復元画像を生成するための変換データを生成するプログラムであって、
    　良品と判断される前記検査対象物の外観を写した複数の良品画像のそれぞれから該良品画像の特徴を表す特徴ベクトルである良品ベクトルを抽出するように構成された抽出部（Ｓ１５０）と、
    　前記抽出部にて抽出された前記複数の良品ベクトルを用いて変換行列を生成するように構成され、前記変換行列は、特徴ベクトルを前記特徴空間へ写像する第１の写像、および前記第１の写像の結果を全体空間へ写像する第２の写像を連続して行うことを表現する行列であり、前記全体空間は、前記特徴ベクトルによって表されるベクトル空間であり、前記特徴空間は、前記全体空間のうち前記良品ベクトルの分布を近似する部分空間である生成部（Ｓ１６０、Ｓ１７０）と、
    　前記良品画像に欠陥を表す画像を合成した擬似欠陥画像から抽出された前記特徴ベクトルを学習データとして、前記生成部で生成された前記変換行列の各要素を調整することで前記変換データを生成するように構成された調整部（Ｓ１８０）と、
    としてコンピュータを機能させるためのプログラム。
PCT/JP2018/021593 2017-06-06 2018-06-05 外観検査装置、変換データ生成装置、及びプログラム Ceased WO2018225745A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/704,816 US11062458B2 (en) 2017-06-06 2019-12-05 Appearance inspection device, transformation data generation device, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017111572A JP6792842B2 (ja) 2017-06-06 2017-06-06 外観検査装置、変換データ生成装置、及びプログラム
JP2017-111572 2017-06-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/704,816 Continuation US11062458B2 (en) 2017-06-06 2019-12-05 Appearance inspection device, transformation data generation device, and program

Publications (1)

Publication Number Publication Date
WO2018225745A1 true WO2018225745A1 (ja) 2018-12-13

Family

ID=64565862

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/021593 Ceased WO2018225745A1 (ja) 2017-06-06 2018-06-05 外観検査装置、変換データ生成装置、及びプログラム

Country Status (3)

Country Link
US (1) US11062458B2 (ja)
JP (1) JP6792842B2 (ja)
WO (1) WO2018225745A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097010A (zh) * 2019-05-06 2019-08-06 北京达佳互联信息技术有限公司 图文检测方法、装置、服务器及存储介质
WO2019194064A1 (ja) * 2018-04-02 2019-10-10 日本電産株式会社 画像処理装置、画像処理方法、外観検査システムおよび外観検査方法
US11062458B2 (en) * 2017-06-06 2021-07-13 Denso Corporation Appearance inspection device, transformation data generation device, and program
JP2021143884A (ja) * 2020-03-11 2021-09-24 株式会社Ｓｃｒｅｅｎホールディングス 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
JPWO2022024245A1 (ja) * 2020-07-29 2022-02-03
JP7424572B1 (ja) * 2023-01-18 2024-01-30 浜松ホトニクス株式会社 モデル生成方法、モデル生成システム、モデル生成プログラム、異物検出方法、異物検出システム、異物検出プログラム及び推論モデル
US20240177297A1 (en) * 2022-11-24 2024-05-30 Pusan National University Industry-University Cooperation Foundation Apparatus and method for detecting defect using deep learning-based surface inspection
WO2024154379A1 (ja) * 2023-01-18 2024-07-25 浜松ホトニクス株式会社 モデル生成方法、モデル生成システム、モデル生成プログラム、異物検出方法、異物検出システム、異物検出プログラム及び推論モデル

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7298176B2 (ja) * 2019-02-13 2023-06-27 東レ株式会社 欠点検査装置および学習済みモデル
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
WO2021014774A1 (ja) * 2019-07-25 2021-01-28 富士フイルム株式会社 補修図生成装置、補修図生成方法及びプログラム
JP7458158B2 (ja) * 2019-09-06 2024-03-29 清水建設株式会社 外観検査システム、及び外観検査方法
JP7391579B2 (ja) * 2019-09-06 2023-12-05 清水建設株式会社 外観検査システム、及び外観検査方法
JP7383946B2 (ja) * 2019-09-12 2023-11-21 株式会社アイシン 画像復元装置、画像復元方法、画像復元プログラム、復元器生成装置、復元器生成方法、復元器生成プログラム、判定器生成装置、判定器生成方法、判定器生成プログラム、物品判定装置、物品判定方法、および物品判定プログラム
JP7404817B2 (ja) * 2019-11-27 2023-12-26 オムロン株式会社 学習装置、検出装置、学習方法、及び学習プログラム
JP7262409B2 (ja) * 2020-03-06 2023-04-21 株式会社日立ハイテク 試料観察システム及び画像処理方法
WO2021205573A1 (ja) 2020-04-08 2021-10-14 三菱電機株式会社 学習装置、学習方法、および推論装置
JP7465446B2 (ja) * 2020-05-15 2024-04-11 オムロン株式会社 画像検査装置、画像検査方法、及び学習済みモデル生成装置
JP7437610B2 (ja) * 2020-05-15 2024-02-26 オムロン株式会社 画像検査装置、画像検査方法及び学習済みモデル生成装置
JP7505256B2 (ja) * 2020-05-15 2024-06-25 オムロン株式会社 画像検査装置、画像検査方法及び学習済みモデル生成装置
CN111768407B (zh) * 2020-09-01 2020-12-01 征图新视(江苏)科技股份有限公司 基于快速定位的缺陷检测算法
CN116194954A (zh) * 2020-09-25 2023-05-30 发那科株式会社 用于外观检查的模型生成装置以及外观检查装置
US12511544B1 (en) * 2020-09-29 2025-12-30 Amazon Technologies, Inc. Feature-map throughput during training process
KR102605692B1 (ko) * 2020-11-16 2023-11-27 한국전자통신연구원 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법
CN114648480B (zh) * 2020-12-17 2025-09-05 杭州海康威视数字技术股份有限公司 表面缺陷检测方法、装置及系统
JP7596803B2 (ja) * 2021-01-14 2024-12-10 オムロン株式会社 部品検査装置
WO2022162883A1 (ja) * 2021-01-29 2022-08-04 東京貿易テクノシステム株式会社 学習データ生成方法、学習データ生成プログラム、学習データ生成装置、および機械学習モデル生成方法
JP7608857B2 (ja) * 2021-02-17 2025-01-07 トヨタ自動車株式会社 異常検出方法および異常検出装置
JP7439785B2 (ja) * 2021-03-19 2024-02-28 株式会社デンソー 認証システム及び追跡システム
JP2022168944A (ja) 2021-04-27 2022-11-09 株式会社日立ハイテク 欠陥を検出するシステム、及びコンピュータ可読媒体
JP7633104B2 (ja) * 2021-06-23 2025-02-19 カナデビア株式会社 検査装置、学習装置、検査方法、生成モデルの生成方法、検査プログラム、および学習プログラム
KR102828774B1 (ko) * 2021-08-09 2025-07-04 한국전자통신연구원 제품 결함을 검출하기 위한 비전 검사 장치 및 방법
JP7724042B2 (ja) * 2021-11-09 2025-08-15 株式会社Eversteel 情報処理装置、情報処理方法、情報処理プログラム
KR102818095B1 (ko) * 2021-12-01 2025-06-11 고려대학교 산학협력단 오토인코더 및 합성곱 심층 신경망을 활용한 고해상도 영상 기반 제조품 결함 탐지 방법
KR102816734B1 (ko) * 2022-01-14 2025-06-04 주식회사 Lg 경영개발원 제품 이미지 패턴 군집화를 기반한 비전검사 인공지능 장치 및 그 방법
CN117274133B (zh) * 2022-06-09 2025-11-21 鸿海精密工业股份有限公司 瑕疵侦测方法、电子设备及存储介质
WO2023249973A1 (en) * 2022-06-20 2023-12-28 Lean Ai Technologies Ltd. Neural networks related to manufactured items
KR102644815B1 (ko) * 2023-07-27 2024-03-08 주식회사 인터엑스 사출공정에 적용 가능한 딥러닝 기반 품질검사 시스템 및 그 제어방법
JP2025072739A (ja) * 2023-10-25 2025-05-12 Ａｓｔｅｍｏ株式会社 学習モデルの構築方法および検査装置
KR102753305B1 (ko) * 2024-05-13 2025-01-14 주식회사 아이브 원본 이미지에서 추출된 이미지 패치에 기초한 이상 탐지 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02268380A (ja) * 1989-04-11 1990-11-02 Toyota Central Res & Dev Lab Inc 視覚認識装置
JPH10274626A (ja) * 1997-03-28 1998-10-13 Mitsubishi Electric Corp 画像処理装置
JP2000046749A (ja) * 1998-07-31 2000-02-18 Yamatake Corp 部品の接続良否検査方法
JP2004354251A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
US7440607B1 (en) * 2004-11-03 2008-10-21 Kla-Tencor Corporation Outlier substrate inspection
JP2011014152A (ja) * 2010-08-23 2011-01-20 National Institute Of Advanced Industrial Science & Technology 異常領域検出装置および異常領域検出方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5546317B2 (ja) 2010-03-31 2014-07-09 株式会社デンソーアイティーラボラトリ 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP6702064B2 (ja) 2016-06-07 2020-05-27 株式会社デンソー 外観異常検査装置、方法、及びプログラム
JP6792842B2 (ja) * 2017-06-06 2020-12-02 株式会社デンソー 外観検査装置、変換データ生成装置、及びプログラム
WO2019026104A1 (ja) * 2017-07-31 2019-02-07 富士通株式会社 情報処理装置、情報処理プログラム及び情報処理方法
US10621718B2 (en) * 2018-03-23 2020-04-14 Kla-Tencor Corp. Aided image reconstruction
JP6908019B2 (ja) * 2018-12-28 2021-07-21 Tdk株式会社 画像生成装置及び外観検査装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02268380A (ja) * 1989-04-11 1990-11-02 Toyota Central Res & Dev Lab Inc 視覚認識装置
JPH10274626A (ja) * 1997-03-28 1998-10-13 Mitsubishi Electric Corp 画像処理装置
JP2000046749A (ja) * 1998-07-31 2000-02-18 Yamatake Corp 部品の接続良否検査方法
JP2004354251A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
US7440607B1 (en) * 2004-11-03 2008-10-21 Kla-Tencor Corporation Outlier substrate inspection
JP2011014152A (ja) * 2010-08-23 2011-01-20 National Institute Of Advanced Industrial Science & Technology 異常領域検出装置および異常領域検出方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062458B2 (en) * 2017-06-06 2021-07-13 Denso Corporation Appearance inspection device, transformation data generation device, and program
WO2019194064A1 (ja) * 2018-04-02 2019-10-10 日本電産株式会社 画像処理装置、画像処理方法、外観検査システムおよび外観検査方法
CN110097010A (zh) * 2019-05-06 2019-08-06 北京达佳互联信息技术有限公司 图文检测方法、装置、服务器及存储介质
JP2021143884A (ja) * 2020-03-11 2021-09-24 株式会社Ｓｃｒｅｅｎホールディングス 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
JP7453813B2 (ja) 2020-03-11 2024-03-21 株式会社Ｓｃｒｅｅｎホールディングス 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
JPWO2022024245A1 (ja) * 2020-07-29 2022-02-03
JP7499337B2 (ja) 2020-07-29 2024-06-13 株式会社エビデント 検査システム、学習方法、検査方法、及び記憶媒体
US20240177297A1 (en) * 2022-11-24 2024-05-30 Pusan National University Industry-University Cooperation Foundation Apparatus and method for detecting defect using deep learning-based surface inspection
JP7424572B1 (ja) * 2023-01-18 2024-01-30 浜松ホトニクス株式会社 モデル生成方法、モデル生成システム、モデル生成プログラム、異物検出方法、異物検出システム、異物検出プログラム及び推論モデル
WO2024154379A1 (ja) * 2023-01-18 2024-07-25 浜松ホトニクス株式会社 モデル生成方法、モデル生成システム、モデル生成プログラム、異物検出方法、異物検出システム、異物検出プログラム及び推論モデル

Also Published As

Publication number Publication date
US11062458B2 (en) 2021-07-13
JP2018205163A (ja) 2018-12-27
JP6792842B2 (ja) 2020-12-02
US20200111217A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
JP6792842B2 (ja) 外観検査装置、変換データ生成装置、及びプログラム
Abdelhamed et al. A high-quality denoising dataset for smartphone cameras
JP6666046B2 (ja) 画像処理装置および画像処理方法
US10726539B2 (en) Image processing apparatus, image processing method and storage medium
TWI662358B (zh) 缺陷檢測方法與缺陷檢測系統
JP2012032370A (ja) 欠陥検出方法、欠陥検出装置、学習方法、プログラム、及び記録媒体
KR102301437B1 (ko) 비전 검사 장치 및 이의 얼룩 검출 방법
WO2019188040A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2013257304A (ja) 検査画像内の欠陥を検出するためのシステム、方法及びコンピュータプログラム製品
TW202201283A (zh) 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體
US10769478B2 (en) Convolutional neutral network identification efficiency increasing method and related convolutional neutral network identification efficiency increasing device
CN111476750A (zh) 对成像模组进行污点检测的方法、装置、系统及存储介质
CN119540134A (zh) 晶圆缺陷检测方法、装置、计算机设备和介质
CN112132774A (zh) 一种色调映射图像的质量评价方法
CN111669523B (zh) 像素校正
JP7258509B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN115984246A (zh) 基于机器视觉的缺陷快速检测方法及装置、设备、存储介质
CN111179245A (zh) 图像质量检测方法、装置、电子设备和存储介质
JP2008051617A (ja) 画像検査装置、その方法、及びその記録媒体
JP2023008416A (ja) 異常検知システムおよび異常検知方法
CN113362354B (zh) 色调映射图像的质量评价方法、系统、终端及存储介质
CN118247252A (zh) 一种基于多方法联合变异的数据质量噪声检测方法
JP2005537562A (ja) 皮膚紋イメージ処理方法
JP2022123217A (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置
JP7533263B2 (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18814379

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18814379

Country of ref document: EP

Kind code of ref document: A1