[go: up one dir, main page]

WO2010076882A1 - 画像分類基準更新方法、プログラムおよび画像分類装置 - Google Patents

画像分類基準更新方法、プログラムおよび画像分類装置 Download PDF

Info

Publication number
WO2010076882A1
WO2010076882A1 PCT/JP2009/071774 JP2009071774W WO2010076882A1 WO 2010076882 A1 WO2010076882 A1 WO 2010076882A1 JP 2009071774 W JP2009071774 W JP 2009071774W WO 2010076882 A1 WO2010076882 A1 WO 2010076882A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
classification
image
image data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2009/071774
Other languages
English (en)
French (fr)
Inventor
裕也 磯前
文昭 遠藤
知弘 船越
潤子 小西
恒弘 堺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp, Hitachi High Tech Corp filed Critical Hitachi High Technologies Corp
Priority to US13/142,812 priority Critical patent/US8625906B2/en
Publication of WO2010076882A1 publication Critical patent/WO2010076882A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2924/00—Indexing scheme for arrangements or methods for connecting or disconnecting semiconductor or solid-state bodies as covered by H01L24/00
    • H01L2924/0001—Technical content checked by a classifier
    • H01L2924/0002—Not covered by any one of groups H01L24/00, H01L24/00 and H01L2224/00
    • H10P74/203—

Definitions

  • the present invention relates to an image classification standard update method, a program, and the technology of an image classification device.
  • ADR Automatic Defect Review
  • ADC Automatic Defect Classification
  • a method using a neural network is disclosed as a method of extracting information included in an image to be inspected as a feature amount and performing automatic classification based thereon (see, for example, Patent Document 1).
  • Patent Document 1 A method of extracting information included in an image to be inspected as a feature amount and performing automatic classification based thereon (see, for example, Patent Document 1).
  • classification criteria for automatic classification when creating classification criteria for automatic classification, when learning (weighting each feature amount), feature amounts effective for classification are automatically reduced to reduce the influence of inappropriate feature amounts on classification performance.
  • the method of selecting is disclosed (for example, see Patent Document 2).
  • classification criteria of automatic defect classification using neural networks are learned based on visual classification, so misclassification of human causes contradiction in classification criteria, resulting in automatic defect classification Classification performance may be reduced. That is, since learning is performed by the neural network based on the classification criterion visually classified, there is a problem that an erroneous classification criterion is created, and the learning result also outputs an erroneous result. In addition, there are cases where defects to be classified in the same way have characteristics of defects different from those at the time of creation of classification criteria due to variations in semiconductor manufacturing processes, and desired classification can not be performed. That is, when a defect of a type not registered in the classification standard is detected, it is necessary to re-learn each time.
  • Patent Document 2 does not describe a technique for updating the classification criteria created once and improving the classification criteria.
  • the present invention was made in view of such background, and the present invention aims to improve classification criteria.
  • the present invention is an image classification standard updating method by an image classification device that classifies image data, and information of image data as a reference when classifying the image data is registered.
  • a storage unit stores classification reference data and classification data in which information of image data as a result of classifying newly input image data using the classification reference data is registered.
  • the classification device selects information of any image data among image data registered in the classification data via the input unit, and classifies the information on the selected image data via the input unit.
  • information of the selected image data is additionally registered to the classification reference data.
  • classification criteria can be improved.
  • FIG. 1 is a view showing a configuration example of a semiconductor wafer manufacturing system according to the present embodiment.
  • the manufacturing apparatus 4 for manufacturing a semiconductor wafer is usually in a clean room 7 in which a clean environment is maintained. Further, the semiconductor wafer manufactured in the line of the manufacturing apparatus 4 is subjected to a continuity inspection by the probe inspection apparatus 5.
  • the clean room 7 includes an appearance inspection apparatus 2 that detects appearance defects of product wafers, and a review apparatus 1 (image classification apparatus) that observes appearance defects based on data from the appearance inspection apparatus 2, that is, reviews. Further, outside the clean room 7, there are a visual inspection apparatus 2 and a data processing apparatus 3 for processing image data acquired by the review apparatus 1.
  • the appearance inspection device 2, the review device 1, the probe inspection device 5 and the data processing device 3 are connected to one another by a communication line 6.
  • FIG. 2 is a diagram showing the flow of data in the semiconductor wafer manufacturing system according to the present embodiment.
  • the review device 1 includes a plurality of optical review devices 1 a and a plurality of SEM review devices 1 b.
  • the optical review device 1a is a device that acquires and analyzes defect image data that is data of a defect image on a semiconductor wafer by a digital camera connected to an optical microscope.
  • the SEM type review device 1 b is a device that acquires and analyzes defect image data captured by an electron microscope.
  • a plurality of appearance inspection devices 2, an optical review device 1a and an SEM review device 1b are installed, and a plurality of defect image data can be obtained simultaneously.
  • Semiconductor wafers to be products flow through a plurality of manufacturing apparatuses 4 (FIG. 1) in lot units. After completion of the process in which the appearance inspection of the semiconductor wafer is determined in advance, it is carried to the appearance inspection apparatus 2 by the operator or the transport machine and the appearance inspection processing is performed.
  • the appearance inspection apparatus 2 picks up the appearance of the semiconductor wafer, detects an appearance defect, acquires coordinates of the detected appearance defect point as defect data, and sends the acquired defect data to the data processing apparatus 3 (S101).
  • the data processing device 3 transmits the defect data filtered by the filter function to the optical review device 1 a or the SEM review device 1 b through the communication line 6 Send (S102, S103).
  • the filtering is, for example, extracting a predetermined number of pieces of defect information at random.
  • the optical review device 1a and the SEM review device 1b capture the coordinates of the sent defect information with an optical microscope and an electron microscope, and acquire an image (defect image data) of a defect detection unit on the semiconductor wafer.
  • the optical review device 1 a and the SEM review device 1 b perform defect classification with the mounted ADC function.
  • the information on the result of the defect classification is sent to the data processor 3 through the communication line 6 as ADR / ADC information (S104, S105).
  • the present embodiment is a technology related to the review apparatus 1 (optical review apparatus 1a, SEM review apparatus 1b).
  • FIG. 3 is a diagram showing an example of the configuration of a review device according to the present embodiment.
  • the review apparatus 1 includes an input unit 13 such as a keyboard and a mouse, a display unit 14 such as a display, a transmission / reception unit 15 such as a communication interface card, a processing unit 11 processing information, and a storage unit 12 storing information. .
  • the processing unit 11 includes a display processing unit 111, an input processing unit 112, an automatic defect classification unit 113, a feature quantity extraction unit 114, and a data acquisition unit 115.
  • the display processing unit 111 has a function of processing information and displaying it on the display unit 14.
  • the input processing unit 112 has a function of processing information input from the input unit 13.
  • the automatic defect classification unit 113 has a function of classifying defect image data using an ADC.
  • the feature amount extraction unit 114 has a function of extracting a feature amount in each defect image data.
  • the data acquisition unit 115 has a function of acquiring data from the transmission / reception unit 15.
  • ROM Read Only Memory
  • HD Hard Disk
  • RAM Random Access Memory
  • the storage unit 12 stores classification reference data 121, classification data 122, defect image data group 123, reference feature amount data 124, and feature amount data 125.
  • the classification reference data 121, the classification data 122, the reference feature data 124, and the feature data 125 will be described later with reference to FIGS. 4 and 5.
  • the defect image data group 123 is defect image data captured by the review device 1.
  • FIG. 4 is a diagram showing an example of classification reference data and classification data.
  • the classification reference data 121 is data generated by the processing described later in FIG. 6, and the classification data 122 is data generated by the processing described later in FIG.
  • the classification reference data 121 and the classification data 122 are different in data to be stored, but the format is the same, so they will be collectively described in FIG.
  • the classification reference data 121 and the classification data 122 include fields of a category by the user, a category by the ADC, and a defect image data name.
  • the category by the user is a category classified by the user in S202 of FIG. 6 (or S403 of FIG. 11 described later).
  • the category by ADC is a category classified by the ADC process in S205 of FIG. 6 described later (or S401 of FIG. 11 described later).
  • the defect image data that is determined by the user as “C1: particle” and is determined as “C1: particle” even in the ADC process is “A1.jpg, A2. Jpg, A3. Jpg,. It shows that it is ".
  • C1”, “C2”, and the like are identification numbers assigned to categories.
  • “C1” indicates particles
  • “C2” indicates scratch
  • “C3” indicates pattern short
  • “C4” indicates pattern open
  • “C5” indicates no defect.
  • this identification number is appropriately used instead of the category name.
  • Other categories such as important foreign matter, non-important foreign matter and false alarm can be set freely without being aware of image processing or feature quantities. That is, the category name can be freely set by the user.
  • the classification reference data 121 and the classification data 122 may have data on the combination of all categories in the category by the user and the category by the ADC, or only the data on the combination of categories in which the corresponding defect image data is present You may That is, the record in which the corresponding defect image data does not exist as in the second line of FIG. 4 may be omitted. Further, each defect image data may be added with category information by the user and category information by ADC.
  • FIG. 5 is a diagram showing an example of reference feature data and feature data.
  • the reference feature data 124 is data created by the process described later in FIG. 6, and the feature data 125 is data created by the process described later in FIG. 11.
  • the reference feature amount data 124 and the feature amount data 125 are different in data to be stored, but the format is the same.
  • the reference feature amount data 124 and the feature amount data 125 are stored in association with various feature amounts (flatness, brightness, roundness, size, etc.) for each defect image data name. It is done.
  • FIG. 6 is a flowchart showing the procedure of the classification standard creation process according to the present embodiment.
  • the classification standard creation process shown in FIG. 6 is a process of creating classification standard data 121.
  • the processing unit 11 reads defect image data for creating classification criteria from the defect image data group 123 of the storage unit 12 (S201).
  • the user classifies defect image data acquired via the input unit 13 (S202). For example, the user visually classifies defect image data one by one into types such as particles and scratches.
  • the first classification reference data 121 is created.
  • the category by the user is filled, and the category by the ADC is blank.
  • the feature amount extraction unit 114 automatically adjusts defect recognition parameters (for example, detection sensitivity, noise removal threshold value, unevenness threshold value) for extracting a feature amount from defect image data (S203).
  • defect recognition parameters for example, detection sensitivity, noise removal threshold value, unevenness threshold value
  • the contents to be performed are as follows.
  • the feature amount extraction unit 114 compares the normal image data with the defect image data and extracts the defect portion.
  • the feature amount extraction unit 114 removes noise at a certain level or erroneously removes a portion that has become bright due to light adjustment so as not to extract noise on the image erroneously as a defective portion.
  • the detection sensitivity is adjusted so as not to be extracted as a defect.
  • the process of S203 is a technique described in Japanese Patent Laid-Open No. 2007-198968 and the like, and thus the detailed description is omitted.
  • the feature amount extraction unit 114 extracts the feature amount in the defect pattern, and determines the weighting when performing the ADC (S204).
  • the feature amount a quantified physical feature set in advance is calculated for each defect image data.
  • physical features, height, shape, color, texture, defects, background, etc. can be considered in addition to the above-mentioned flatness, brightness, roundness, size.
  • the feature amount extraction unit 114 stores the extracted feature amounts as the reference feature amount data 124 in the storage unit 12.
  • the automatic defect classification unit 113 After S204, the automatic defect classification unit 113 performs ADC processing according to the feature quantity extracted in S204 and the determined weighting (S205), and classifies defect image data by the ADC.
  • the ADC process is a technique described in Japanese Patent Laid-Open No. 9-101970 and the like, and thus detailed description will be omitted.
  • the automatic defect classification unit 113 reflects the result of the ADC process in the classification reference data 121 (FIG. 4) (S206).
  • the automatic defect classification unit 113 registers the result of the classification in S205 in the category by the ADC, which is blank at the stage of S202.
  • the automatic defect classification unit 113 classifies the classification in the stage of S202 in more detail by the result of S205. For example, although “A20.jpg”, “A21.jpg” and “A22.jpg” (not shown) are determined as “C3: pattern short” in S202 (classification by the user), S205 (classification by ADC) Then, it is assumed that "A20. Jpg" is determined as "C1: particle" and "A21.
  • Jpg and "A22. Jpg” are determined as “C3: pattern short”.
  • the category “A20.jpg” is classified as “C3: Pattern short” by the user
  • the category by ADC is “C1: particle”
  • "A21.jpg” and “A22.jpg” are categories by the user.
  • “C3: Pattern short” category by ADC is classified into “C3: Pattern short”.
  • the classification reference data 121 is not of the type as shown in FIG. 4 but a category name is given to each defect image data
  • the category name classified as a result of S205 is only added to each defect image data. May be.
  • the display processing unit 111 displays the self check screen 200 shown in FIG. 8 on the display unit 14 (S207), and the user performs a self check using the self check screen 200 (S208).
  • the self check will be described later with reference to FIGS. 8 to 10.
  • the user makes a good determination as to whether or not the classification of the classification reference data 121 is appropriate (S209).
  • S209 when it is determined that the classification is not good (the classification of the classification reference data 121 is not appropriate) (S209 ⁇ No), the change is reflected in the classification reference data 121, and then the process returns to S203 and the feature amount And the result of performing ADC processing again is displayed as a self check screen. If it is determined as a result of S209 that the classification is good (the classification of the classification reference data 121 is appropriate) (S209 ⁇ Yes), the processing is ended.
  • FIG. 7 is a view showing the procedure of the self check process according to the present embodiment.
  • the process of FIG. 7 is a process corresponding to S207 to S209 of FIG.
  • the display processing unit 111 generates a confusion matrix 211 (correspondence information by category), and displays a self check screen 200a (FIG. 8) including the generated confusion matrix 211 (S301).
  • FIG. 8 is a view showing an example of a self check screen (initial screen) according to the present embodiment.
  • the self-check screen 200a 200
  • the confusion matrix display area 201 the defect image list display area 202
  • the defect image confirmation area 203 are displayed in the same window.
  • a confusion matrix 211 is displayed in the confusion matrix display area 201.
  • the confusion matrix 211 is a table showing the number of images in each category in classification by the user (denoted as “Manual” in FIG. 8) and classification by ADC (denoted as “ADC” in FIG. 8).
  • C1 to C5 are the identification numbers of the categories as described above, "C1” indicates a particle, “C2” indicates a scratch, “C3” indicates a pattern short, and “C4" indicates a pattern. "C5" indicates no defect, indicating open.
  • the vertical axis indicates the category (“Manual”) of classification by the user
  • the horizontal axis indicates the category of classification by ADC.
  • the vertical axis indicates the category (“Manual”) of classification by the user
  • the horizontal axis indicates the category of classification by ADC.
  • the correct answer rate is the match rate of the classification result by the ADC to the classification result by the user.
  • the correct answer rate in the first line is 34/38 ⁇ 100 ⁇ 89 (%).
  • the ADC judges that 37 (34 + 1 + 2) pieces are C1 (particles), but one of them is C2 (scratched by the user). It is determined that two are determined as C5 (no defect) by the user.
  • the purity is the rate of agreement with the classification result by the user for the classification result of ADC, for example, the purity of the first row is 34/37 ⁇ 10010092 (%).
  • the element (line with a central oblique line) 212 in the confusion matrix 211 is the number of defect image data in which the classification by the user and the classification by the ADC in each category coincide. Further, reference numeral 213 is a ratio at which the classification by the user and the classification by the ADC correspond to the number of all defect image data.
  • the display processing unit 111 refers to the classification reference data 121 shown in FIG. 4, counts defect image data in each category, and enters the confusion matrix 211. indicate.
  • the display processing unit 111 monitors whether or not a cell of the confusion matrix 211 is selected (S302 in FIG. 7). If a cell is not selected (S302 ⁇ No), the display processing unit 111 proceeds to S304 in FIG.
  • FIG. 7 and FIG. 12 which will be described later, when the process of the step number Sn is No, to proceed to the process of the step number Sm, the process of Sm is performed in a state where the determination of Sn is not performed.
  • the processing unit 11 means to execute the process of Sm. This is because the processes of FIG. 7 and FIG. 12 are screen processes, and the execution of each step is actually executed when an instruction is input, regardless of the order of the processes.
  • a defect image corresponding to the category of the cell is displayed in the defect image list display area 202 (S303 in FIG. 7).
  • a cell 215 in which classification (“Manual”) by the user is C3 (pattern short) and classification by ADC (“ADC”) is also C3 (pattern short) via the input unit 13 is selected and input:
  • the display processing unit 111 acquires, from the classification reference data 121 of FIG. 4, the defect image data name stored in the record in which the category by the user and the category by the ADC are “C3: pattern short”.
  • the display processing unit 111 acquires image data corresponding to the defect image data name acquired from the defect image data group 123 (FIG. 3) of the storage unit 12 and displays the acquired image data in the defect image list display area 202 Do.
  • “12” is described in the cell 215, so there are also 12 images displayed in the defect image list display area 202.
  • the user can refer to twelve images.
  • FIG. 9 is a diagram showing an example of a self-check screen (image comparison) according to the present embodiment.
  • the cell 301 in which the classification ("Manual") by the user is "C1: particle” and the classification ("ADC") by ADC is "C3: pattern short” is selected and input. An example is shown.
  • the display processing unit 111 determines whether or not the defect image displayed in the defect image list display area 202 is selected (S304 in FIG. 7), and when the defect image is not selected (S304 ⁇ No), The display processing unit 111 advances the process to S307 of FIG.
  • the defect image 31a dragged and dropped onto the target image display area 330 of the image comparison area 320 of the defect image confirmation area 203 is copied and enlarged and displayed as a defect image 311b.
  • a defect image 342 belonging to the category selected by the category selection pull-down menu 341 is displayed.
  • the category selected in the category selection pull-down menu 341 is a classification by the user. When comparing with images of other categories, another category is selected in the category selection pull-down menu 341 via the input unit 13.
  • the display processing unit 111 determines whether or not the category is selected in the category selection pull-down menu 341 (S305 in FIG. 7), and when the category is not selected (S305 ⁇ No), the display processing unit 111. The process advances to step S307.
  • the display processing unit 111 refers to the classification reference data 121 in FIG. 4 using the selected category as a key, Acquire defect image data names stored in all the records corresponding to the selected category.
  • the display processing unit 111 acquires defect image data corresponding to the acquired defect image data name from the defect image data group 123 (FIG. 3) of the storage unit 12 and compares the acquired defect image data with corresponding categories.
  • the image is displayed in the comparison image display area 340 as an image (S306 in FIG. 7).
  • the feature amount display area 400 (FIG. 10) is hidden behind the image comparison area 320, and the “analysis tab” is selectively input through the input unit 13 to make a feature amount display area 400 (FIG. 10). Is displayed on the front. That is, the display processing unit 111 determines whether the “analysis tab” is selected and input (selected) (S307 in FIG. 7), and when the analysis tab is not selected (S307 ⁇ No), the display processing unit 111. The process proceeds to step S310 in FIG. When the analysis tab is selected (S307-> Yes), the display processing unit 111 displays the feature amount display area 400 shown in FIG.
  • FIG. 10 is a view showing an example of a self-check screen (feature amount comparison) according to the present embodiment.
  • the drag and drop defect image 401a is copied. And displayed in the feature amount display area 400 as a defect image 401 b.
  • the display processing unit 111 determines whether or not the category for which the feature amount is to be displayed is selected in the feature amount selection pull-down menu 402 and 403 (S308 in FIG. 7), and when not selected (S308 ⁇ No), The display processing unit 111 proceeds with the process to S310 in FIG.
  • the display processing unit 111 When a category for which the feature quantity is to be displayed is selected in the feature quantity selection pull-down menu 402 and 403 (S308 ⁇ Yes in FIG. 7), the display processing unit 111 generates a histogram indicating the distribution of each feature quantity in the selected category. Then, the generated histogram is displayed in the feature distribution display area 411 (S309 in FIG. 7).
  • the category selected by the feature amount selection pull-down menu 402, 403 is a category according to the classification by the user.
  • the horizontal axis indicates the value of each feature amount
  • the vertical axis is the number of defect image data indicating the value.
  • the feature amount distribution of the category selected in the feature amount selection pull-down menu 402 is indicated by a white histogram
  • the feature amount distribution of the category selected in the feature amount selection pull-down menu 403 is It is shown by the histogram of hatching.
  • a portion where the feature amount distribution of the category selected in the feature amount selection pull-down menu 402 and the feature amount distribution of the category selected in the feature amount selection pull-down menu 403 is shown by a black-filled histogram.
  • the feature amount distribution of “C1: particles” is indicated by an open histogram
  • the feature amount distribution of “C2: scratch” is indicated by a hatching histogram.
  • the percentage displayed at the upper right of the feature distribution display area 411 indicates the degree of separation, and indicates the ratio of the portion where the distributions do not overlap to the entire feature distribution of the two categories. That is, the ratio of the histogram not filled in black to the entire feature amount distribution is shown. As the degree of separation is larger, it is shown that the distributions of feature quantities in the two categories are significantly different.
  • the histogram indicating the feature amount distribution is created by the following procedure.
  • the display processing unit 111 searches the category by the user of the classification reference data 121 of FIG. 4 using the category name selected in the feature amount selection pull-down menu 402 as a key, and the defect image data included in all the corresponding records Get your first name.
  • the display processing unit 111 searches the reference feature amount data 124 of FIG. 5 using the acquired defect image data name as a key, and refers to the value of each feature amount corresponding to the corresponding defect image data name, and corresponds.
  • the number of defect image data of the feature amount is counted. For example, in the example of FIG.
  • the display processing unit 111 first refers to the record “A1.jpg” Flatness: 50 “is counted +1, and" brightness: 60 “is counted +1.
  • the display processing unit 111 similarly counts “roundness” and “size” in this record.
  • the display processing unit 111 counts “flatness: 40” by +1 and “brightness: 60” by +1 by referring to the record of “A2.jpg” (in this way, “brightness: : 60 “becomes” 2) ".
  • the display processing unit 111 similarly counts “roundness” and “size” in this record.
  • the display processing unit 111 performs the same process on the category selected in the feature quantity selection pull-down menu 403, and calculates a histogram for each feature quantity. .
  • a bar 412 in the feature distribution display area 411 indicates the value of the feature in the defect image 401 b.
  • the display processing unit 111 acquires feature value values from the reference feature amount data 124 of FIG. 4 using the defect image data name of the defect image 401 b as a key, and indicates the feature amounts corresponding to the values acquired by the display processing unit 111. Display a bar 412 in the place.
  • the separation degree list display area 431 is displayed in descending order of the separation degree.
  • the radio buttons 421 and 422 are feature quantities that are actually used when classification is performed by ADC processing.
  • “flatness”, “brightness”, and “roundness” in which the radio buttons 421 and 422 are “On” are feature quantities used in the ADC process.
  • the user can set valid / invalid of the feature amount used in the ADC process. For example, when the user determines that "brightness” and “roundness” are not effective feature amounts, use of these feature amounts in the ADC process by selectively inputting the corresponding radio button 421, 422. Can be disabled. Also, conversely, when the user determines that “size” is a valid feature amount, the use of these feature amounts in ADC processing is enabled by selectively inputting the corresponding radio button 421, 422. Can.
  • the display processing unit 111 determines whether or not to move the corresponding defect image data from the current category to another category by determining whether or not the move button 332 (FIG. 9) is selected and input (see FIG. When not moving (S310 ⁇ No), the processing unit 11 ends the processing.
  • the case where the user does not move may be, for example, a case where the user has closed the self-check screen 200 in a state where the delete button 206 is selected and input or the move button 332 is not selected and input.
  • S310 corresponds to the process of S209 in FIG.
  • the user selects the move destination category from the move destination category selection pull-down menu 331 and selects the move button 332 (FIG. 9). If it inputs (S310-> FIG. 7 Yes), the display processing part 111 will move the data name of the defect image 311b currently displayed on the object image display area 330 (FIG. 9) to the selected destination category. Specifically, the display processing unit 111 moves the defect image data name corresponding to the defect image 311 b to the record in which the category by the user in the classification reference data 121 is the selected destination category. The data 121 is updated (S311 in FIG. 7).
  • the input unit 13 is selected.
  • the display processing unit 111 can delete the defect image data name from the classification reference data 121 by selectively inputting the delete button 206 via the button.
  • the defect image data is classified as classification standard data 121
  • the classification reference data 121 at that time can be overwritten or saved as an alias by selecting and inputting a save button 205.
  • the classification reference data 121 created in this manner is used as a classification reference for ADC processing in the review apparatus 1, and the review apparatus 1 automatically classifies defects on a semiconductor wafer, and the data processing apparatus 3 Transfer the category identification number.
  • the defect image data group 123 determined to be a defect image by the ADC is stored in the storage unit 12 of the review device 1 for each wafer.
  • classification reference data 121 is created and corrected in order to classify a defect image by the ADC.
  • the processing when new defect image data is sent to the review device 1 after the classification reference data 121 is created will be described with reference to FIGS.
  • the sent new defect image data is stored in the defect image data group 123 of the storage unit 12.
  • FIG. 11 is a flowchart showing the procedure of processing when defect image data is newly obtained.
  • the feature amount extraction unit 114 automatically adjusts the defect recognition parameter, and then extracts the feature amount, and the automatic defect classification unit
  • An ADC process is performed on the defect image data obtained by imaging 113 (S401) to classify the defect image.
  • the result of the ADC process is registered in the classification data 122 shown in FIG.
  • the automatic adjustment of defect recognition parameters and the extraction of feature quantities are the same as the processes of S203 and S204 in FIG.
  • the input processing unit 112 newly inputs defect image data newly input from the defect image data group 123 of the storage unit 12 based on information on the update date and the like. Is read (S402).
  • the display processing unit 111 also reads the classification data 122 of FIG. 4 and displays on the display unit 14 the ADC classification result in which the result of the ADC processing is associated with the defect image.
  • the user refers to the displayed classification result, confirms whether the classification is correct in the ADC process, and reclassifies into an appropriate category if there is an error in classification (S403).
  • the input processing unit 112 reflects the result of the reclassification on the classification data 122 of FIG. 4 (S404).
  • the procedure of reflection is the same as S206 in FIG. 6 except that the order of classification by the user ⁇ classification of ADC changes from classification of ADC ⁇ classification by user, so detailed description will be omitted.
  • the display processing unit 111 generates a confusion matrix 211a (FIG. 13) based on the classification data 122, and displays a check screen 500 (FIG. 13) including the confusion matrix 211a (S405).
  • the procedure for generating the confusion matrix 211a based on the classification data 122 is the same as the procedure described with reference to FIG.
  • the user refers to the displayed check screen 500 (FIG. 13) and determines whether the current classification result is good (appropriate) (S406).
  • S406 ⁇ Yes when it is determined that the result is good (the classification result is appropriate) (S406 ⁇ Yes), the processing is ended.
  • S406 ⁇ No when it is determined that the result is not good (the classification result is not appropriate) (S406 ⁇ No), the display processing unit 111 copies the defect image data selected on the check screen 500 as the additional learning image data. (S407).
  • the display processing unit 111 updates the classification reference data 121 (S408), and after the feature amount extraction unit 114 automatically adjusts the defect recognition parameter and extracts the feature amount, the automatic defect classification unit 113 is updated.
  • the ADC processing is performed based on the classification reference data 121 (S409). Note that S407 and S408 will be described later. Thereafter, the processing unit 11 returns the process to S405.
  • FIG. 12 is a process corresponding to S405 to S408 of FIG.
  • FIG. 12 is a flowchart showing the procedure of the check process according to the present embodiment.
  • the display processing unit 111 displays the check screen 500a (500) shown in FIG. 13 and the check screen 500b (500) shown in FIG. 14 on the display unit 14, and performs image comparison processing / feature amount comparison processing (S501) .
  • S501 is a process using the classification data 122 instead of the classification reference data 121 in the process of FIG.
  • FIG. 13 is a view showing an example of a check screen (image comparison) according to the present embodiment.
  • the codes 201a, 202a, 203a, 205a, 206a, 211a, 214a, 320a, 330a, 331a, 332a, 340a, 341a, 342a are created based on the classification reference data 121.
  • the screen is created based on the classification data 122, it is the same as the reference numerals 201, 202, 203, 205, 206, 211, 214, 320, 330, 331, 332, 340, 341, 342 in FIG. So I omit the explanation.
  • the "analysis tab" of FIG. 9 is “analysis 1 tab", it is the same as a function.
  • the copy button 501 will be described later.
  • the display processing unit 111 selects a cell corresponding to the defect image list display area 202a by selecting the cell 502 in the confusion matrix 211a created based on the classification data 122 via the input unit 13.
  • the image 511 is displayed.
  • One defect image 512a of the defect images 511 is copied to the target image display area 330a by drag and drop and displayed as a defect image 512b.
  • the move button 332 a in FIG. 13 is a button for moving the data of the selected defect image 512 b to another category in the same classification data 122.
  • FIG. 14 is a diagram showing an example of a check screen (feature amount comparison) according to the present embodiment.
  • the check screen 500b 500
  • reference numerals 201a, 202a, 203a, 205a, 206a, 211a, 214a, 400a, 402a, 403a, 411a, 412a, 421a, 422a, 431a are created based on the classification reference data 121. 10 except that the screen is created based on the classification data 122, reference numerals 201, 202, 203, 205, 206, 211, 214, 400, 402, 403, 411, 412, 421, 422, 431 in FIG. Since it is the same as the above, the explanation is omitted.
  • one (reference numeral 601a) of the defect images displayed in the defect image list display area 202a is copied to the feature amount display area 400a by drag and drop, and is displayed as the defect image 601b. .
  • the display processing unit 111 determines whether the “analysis 2 tab” in FIG. 13 or 14 is selected and input (is selected or not) (S502). When the “analysis 2 tab” is not selected as a result of S502 (S502 ⁇ No), the display processing unit 111 advances the process to S505.
  • FIG. 15 is a view showing an example of a check screen (simulate) according to the present embodiment.
  • the same elements as in FIGS. 13 and 14 are assigned the same reference numerals and descriptions thereof will be omitted.
  • a simulation area 700 is displayed in the defect image confirmation area 203a.
  • the simulation area 700 includes a feature amount display area 710, a defect image display area 720, and a simulation execution area 730.
  • the display processing unit 111 determines whether or not a category is selected in the category selection pull-down menu 711 in the feature amount display area 710 (S503 in FIG. 12), and when it is not selected (S503 ⁇ No), The process advances to step S505.
  • the display processing unit 111 displays the classification reference data 121 and the classification data 122.
  • a histogram indicating the feature amount distribution is generated, and the generated histogram is displayed in the feature amount distribution display area 713 (S504).
  • the histogram displayed in the feature distribution display area 713 is different from the histogram displayed in FIG. 10 or FIG. 14, and the classification reference data 121 and the newly added defect image data group with the same category and feature amount type 7 shows a feature amount distribution of 123.
  • the histogram at the time of creating the classification reference (that is, the classification reference data 121) whose category is "C1: particle” and the feature amount type is "brightness” is displayed in white and additional images (that is, classification)
  • the histogram of data 122) is indicated by hatching. The portion where the two histograms overlap is filled in black.
  • the histogram creation procedure is as follows. First, the display processing unit 111 refers to the category by the user of the classification reference data 121 using the category name selected by the category selection pull-down menu 711 as a key, and acquires all the corresponding defect image data names.
  • the display processing unit 111 refers to the feature amount type selected in the feature amount type selection pull-down menu 712 in the reference feature amount data 124 using all the acquired defect image data names as a key, and the defect image for each value. Count the number of data. The display processing unit 111 performs the same process on the classification data 122 as well.
  • the user can visually recognize the difference between the feature amount distribution of the classification reference data 121 and the feature amount distribution of the classification data 122.
  • the category (category classified by the user) is “C1: particle” and the feature amount type is “brightness”, the feature amount distribution of the additional image group is classified It can be seen that the distribution is concentrated at a value (left side of the graph) lower than that at the time of reference creation (classification reference data 121). From this, it can be understood that a low value may be supplemented in the feature amount distribution of the classification reference data 121.
  • the display processing unit 111 acquires defect image data of a value at which the bar 714 is located, and displays the defect image data in the defect image display area 720.
  • the defect image data whose brightness is this value and whose category is “C1: particle” is displayed as the defect images 721 and 722 Do.
  • the display processing unit 111 is selected by the feature amount type selection pull-down menu 712 in the feature amount data 125 of FIG. The value of the present feature amount type is searched, and the defect image data name having this value is acquired.
  • the display processing unit 111 refers to the category by the user of the classification data 122 using the acquired defect image data name as a key, and sets the category selected in the category selection pull-down menu 711 among the acquired defect image data names. Acquire the corresponding defect image data name. Then, the display processing unit 111 acquires defect image data from the defect image data group 123 using the acquired defect image data name as a key, and displays the defect image data in the defect image display area 720. Note that even if the user does not move the bar 714, for example, the leftmost value of the histogram may be selected by default.
  • the feature amount selection pull-down menu 712 displays the feature amount distributions of the classification criteria (classification reference data 121) and the additional image group (classification data 122) in a superimposed manner, the matching rate is low (the degree of separation is high) ) It may be displayed in order from the feature amount type.
  • the display processing unit 111 selects the defect image by determining whether the defect image displayed in the defect image display area 720 via the input unit 13 is dragged and dropped to the simulation execution area 730. It is determined whether it has been done (S505 in FIG. 12). If no defect image is selected as a result of S505 (S505 ⁇ No), the display processing unit 111 advances the process to S508 of FIG.
  • the display processing unit 111 displays the drag and dropped defect image in the simulation execution area 730 of FIG.
  • the defect image 722 is dragged and dropped (selected) and displayed as the defect image 722a of the simulation execution area 730.
  • the user selects the category (the category by the user of the classification reference data 121) to move the defect image 722a displayed in the simulation execution area 730 by using the category selection pull-down menu 731 and then displays it.
  • the processing unit 111 determines whether or not to execute a simulation by determining whether or not the execution button 732 is selected and input (S506 in FIG. 12). As a result of S506, when simulation is not performed (S506-> No), display processing part 111 advances processing to S508.
  • the automatic defect classification unit 113 reclassifies the newly added defect image data group 123 using the temporary classification reference data 121 to which the defect image 722a is added, and the temporary classification data 122 Create Then, when the display processing unit 111 generates the confusion matrix 211 a from the temporary classified data 122 by the same method as the above-described procedure, the display processing unit 111 displays the confusion matrix 211 a in the confusion matrix display area 201 a to perform confusion. The matrix 211a is updated.
  • the display processing unit 111 may store the simulation results (additional defect image data, categories, confusion matrix 211a, temporary classification reference data 121, temporary classification data 122, etc.) in the storage unit 12 as a history. . In this case, when the user selects a history in the history selection pull-down menu 734, the display processing unit 111 displays the state at that time (defective image data to be added, category, confusion matrix 211a, temporary classification reference data 121, temporary classification data 122 etc. are displayed on the check screen 500.
  • the user sees the simulation result that the updated confusion matrix 211a is updated.
  • the display processing unit 111 copies the corresponding defect image 722a to the classification reference data 121 (S509 in FIG. 12).
  • the display processing unit 111 copies the defect image data name corresponding to the defect image 722 a displayed in the simulation execution area 730 into the classification reference data 121.
  • the process of S 509 corresponds to S 407 of FIG.
  • the display processing unit 111 determines whether or not to apply a copy by determining whether or not the apply button 733 is selected and input (S510 in FIG. 12).
  • the processing unit 11 ends the processing.
  • the case where the copy is not applied refers to the case where the application button 733 is not selected and input for a predetermined time after the copy button 701 is applied, the case where the delete button 206a is selected and input, or the check screen 500 is closed. Etc.
  • the display processing unit 111 When a copy is applied (S 510 ⁇ Yes), the display processing unit 111 additionally registers the data name of the defect image 722 a displayed in the simulation execution area 730 in the classification reference data 121, and updates the classification reference data 121 (
  • the classification reference data 121 is determined: S511 in FIG.
  • the state corresponding to the simulation history may be reflected and determined in the classification reference data 121 by calling the simulation history from the history selection pull-down menu 734 and selecting and inputting the application button 733.
  • the copy button 701 may be omitted, and the process of S508 may be omitted. In this case, when the apply button 733 is selected and input, the defect image data name is copied to the classification reference data 121, and the application process is also performed.
  • the present invention is displayed as a histogram when displaying the feature amount distribution, the present invention is not limited to this. For example, it is also possible to display it as a scatter chart.
  • each defect image is compared or feature amount distributions are compared, and as a result of these comparisons, the image data name is moved within the classification reference data 121
  • the classification reference data 121 can be updated by copying the defect image data name in the classification data 122 to the classification reference data 121.
  • the user can efficiently determine the appropriateness / inappropriateness of the classification of the defect image by displaying and improving the feature quantities between categories to be classified, such as displaying the feature quantity distribution together with the defect image.
  • the operability at the time of creating the classification standard can be improved as an apparatus for automatically classifying defects, the usability can be improved, and the classification standard can be created and corrected more quickly and more accurately. Therefore, it is possible to more accurately feed back the occurrence status of the type of defect of interest to the line and to improve the yield of the line.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　分類基準を改善することを目的とする。　画像データを分類する際の基準となる画像データの情報が登録されている分類基準データ（１２１）と、新規に入力された画像データを分類基準データ（１２１）を使用して分類した結果としての画像データの情報が登録されている分類データ（１２２）と、が記憶部（１２）に格納されており、画像分類装置（１）が、入力部（１３）を介して、分類データに登録されている画像データのうちの任意の画像データの情報が選択され、入力部（１３）を介して、選択された画像データの情報を分類基準データ（１２１）に追加登録する旨の指示が入力されると、選択された画像データの情報を分類基準データ（１２１）に追加登録することを特徴とする。

Description

画像分類基準更新方法、プログラムおよび画像分類装置
　本発明は、画像分類基準更新方法、プログラムおよび画像分類装置の技術に関する。
　半導体製品の製造工程中において、発生する異物などによる形成パターンのショートや、断線などの欠陥や、製造プロセスの条件の不具合によって生じる欠陥などが発生するおそれがある。そこで、これらの欠陥の発生原因を早期に特定し対策を施すことが、製品歩留りの向上に不可欠である。そのため、ウェハ表面に付着した異物やウェハ表面に形成されたパターン欠陥を半導体ウェハ異物検査装置や半導体ウェハ外観検査装置により検査することにより、これらの発生を常に監視し、その検査結果を基に、その欠陥の発生原因を早期に突き止め対策を行う必要がある。
　従来、このような観察作業は人間の目視により行われている。そのため、観察する人間により観察対象の欠陥の分類に偏りがあった。最近では、この問題点を解決するために、画像処理技術を用いて欠陥の大きさ、形状、種類などの判断を装置が自動的に行う自動欠陥レビュー（ＡＤＲ：Automatic Defect Review）や自動欠陥分類（ＡＤＣ:Automatic Defect Classification）の技術が導入され始めている。例えば、検査された部品（例えばウェハ上に形成されたパターン）をＳＥＭ（Scanning Electron Microscopy）式レビュー装置を用いて観察、すなわちレビューするにあたり、ユーザへの負荷を低減しながら効率的に作業を行うシステムが提案されている。
　被検査画像に含まれる情報を特徴量として抽出し、それに基づいて自動分類する方法としては、ニューラルネットワークを用いた方法が開示されている（例えば、特許文献１参照）。また、自動分類を行う分類基準を作成する上で学習（各特徴量に重み付け）をする際に不適切な特徴量が分類性能に及ぼす影響を低減するために分類に有効な特徴量を自動的に選択する方法が開示されている（例えば、特許文献２参照）。
特開平８－２１８０３号公報 特開２００５－３０９５３５号公報
　特許文献１に記載の技術において、ニューラルネットワークを用いた自動欠陥分類の分類基準は目視による分類に基づいて学習するため、人間の誤った分類により分類基準に矛盾が生じ、結果として自動欠陥分類の分類性能が低下することがある。つまり、目視で分類した分類基準に基づいて、ニューラルネットワークによる学習を行うため、誤った分類基準を作成してしまい、学習結果も誤った結果を出力してしまうという問題がある。
　また、半導体製造プロセスの変動により、同一に分類すべき欠陥が分類基準作成時とは異なる欠陥の特徴を有し、所望の分類ができない場合が存在する。つまり、分類基準に登録されていないタイプの欠陥が検出されると、その都度学習をやり直す必要がある。
　特許文献２に記載の技術では、１度作成した分類基準を更新し、分類基準を改善するための技術が記載されていない。
　このような背景に鑑みて本発明がなされたのであり、本発明は、分類基準を改善することを目的とする。
　前記課題を解決するため、本発明は、画像データの分類を行う画像分類装置による画像分類基準更新方法であって、前記画像データを分類する際の基準となる画像データの情報が登録されている分類基準データと、新規に入力された画像データを前記分類基準データを使用して分類した結果としての画像データの情報が登録されている分類データと、が記憶部に格納されており、前記画像分類装置は、入力部を介して、前記分類データに登録されている画像データのうちの任意の画像データの情報を選択し、前記入力部を介して、前記選択した画像データの情報を前記分類基準データに追加登録する旨の指示が入力されると、前記選択した画像データの情報を前記分類基準データに追加登録することを特徴とする。
　その他の解決手段については実施形態中にて後記する。
　本発明によれば、分類基準を改善することができる。
本実施形態に係る半導体ウェハ製造システムの構成例を示す図である。 本実施形態に係る半導体ウェハ製造システムにおけるデータの流れを示す図である。 本実施形態に係るレビュー装置の構成例を示す図である。 分類基準データおよび分類データの例を示す図である。 基準特徴量データおよび特徴量データの例を示す図である。 本実施形態に係る分類基準作成処理の手順を示すフローチャートである。 本実施形態に係るセルフチェック処理の手順を示すフローチャートである。 本実施形態に係るセルフチェック画面（初期画面）の例を示す図である。 本実施形態に係るセルフチェック画面（画像比較）の例を示す図である。 本実施形態に係るセルフチェック画面（特徴量比較）の例を示す図である。 新たに欠陥画像データを取得した際の処理の手順を示すフローチャートである。 本実施形態に係るチェック処理の手順を示すフローチャートである。 本実施形態に係るチェック画面（画像比較）の例を示す図である。 本実施形態に係るチェック画面（特徴量比較）の例を示す図である。 本実施形態に係るチェック画面（シミュレート）の例を示す図である。
　次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。なお、本実施形態では、半導体ウェハ製造システムＺに画像分類装置を適用した例を示すが、これに限らず、食品における画像検査など、画像を用いて欠陥検査を行うシステムに適用可能である。
　図１は、本実施形態に係る半導体ウェハ製造システムの構成例を示す図である。
　半導体ウェハを製造する製造装置４は、通常、清浄な環境が保たれたクリーンルーム７内にある。また、製造装置４のラインで製造された半導体ウェハは、プローブ検査装置５で導通検査される。
　クリーンルーム７内には、製品ウェハの外観不良の検出を行う外観検査装置２、外観検査装置２からのデータに基づき外観不良の観察、すなわちレビューを行うレビュー装置１（画像分類装置）を有する。また、クリーンルーム７外には、外観検査装置２や、レビュー装置１で取得された画像データに対する処理を行うデータ処理装置３を有する。外観検査装置２、レビュー装置１、プローブ検査装置５およびデータ処理装置３は通信回線６で互いに接続されている。
　図２は、本実施形態に係る半導体ウェハ製造システムにおけるデータの流れを示す図である。図２において、図１と同様の構成要素には同一の符号を付して説明を省略する。
　レビュー装置１は、複数の光学式レビュー装置１ａおよび複数のＳＥＭ式レビュー装置１ｂを有している。光学式レビュー装置１ａは、光学顕微鏡に接続されたデジタルカメラによって半導体ウェハ上の欠陥画像のデータである欠陥画像データを取得し、解析する装置である。ＳＥＭ式レビュー装置１ｂは、電子顕微鏡で撮像された欠陥画像データを取得し、解析する装置である。外観検査装置２、光学式レビュー装置１ａおよびＳＥＭ式レビュー装置１ｂは複数設置され、同時に複数の欠陥画像データを取得することができるようになっている。
　製品となる半導体ウェハはロット単位で複数の製造装置４（図１）を流れている。予め半導体ウェハの外観検査を行うことが決められている工程が終了した後に、作業者あるいは搬送機によって外観検査装置２まで運ばれて外観検査処理が行われる。外観検査装置２は半導体ウェハの外観を撮像し、外観不良を検出すると、検出した外観不良箇所の座標を欠陥データとして取得し、取得した欠陥データをデータ処理装置３へ送る（Ｓ１０１）。
　外観検査装置２が出力する欠陥データは膨大な量のデータであるため、データ処理装置３は、フィルター機能によりフィルタリングされた欠陥データが光学式レビュー装置１ａまたはＳＥＭ式レビュー装置１ｂに通信回線６を通して送る（Ｓ１０２，Ｓ１０３）。フィルタリングは、ランダムに所定数の欠陥情報を抽出するなどである。
　光学式レビュー装置１ａおよびＳＥＭ式レビュー装置１ｂは、送られた欠陥情報の座標箇所を光学顕微鏡および電子顕微鏡で撮像し、半導体ウェハにおける欠陥検出部の画像（欠陥画像データ）を取得する。光学式レビュー装置１ａおよびＳＥＭ式レビュー装置１ｂは、搭載しているＡＤＣ機能で欠陥分類を行う。それらの欠陥分類の結果の情報は、ＡＤＲ／ＡＤＣ情報として通信回線６を通してデータ処理装置３に送られる（Ｓ１０４，Ｓ１０５）。本実施形態は、レビュー装置１（光学式レビュー装置１ａ，ＳＥＭ式レビュー装置１ｂ）に係る技術である。
　図３は、本実施形態に係るレビュー装置の構成例を示す図である。本実施形態では、レビュー装置１としてＳＥＭ式レビュー装置１ｂを想定した例を示すが、これに限らず、光学式レビュー装置１ａに適用してもよい。
　レビュー装置１は、キーボードやマウスなどの入力部１３、ディスプレイなどの表示部１４、通信インタフェースカードなどの送受信部１５、情報を処理する処理部１１、情報を記憶する記憶部１２を有してなる。
　処理部１１は、表示処理部１１１、入力処理部１１２、自動欠陥分類部１１３、特徴量抽出部１１４およびデータ取得部１１５を有してなる。表示処理部１１１は、情報を加工して表示部１４に表示させる機能を有する。入力処理部１１２は、入力部１３から入力された情報を処理する機能を有する。自動欠陥分類部１１３は、ＡＤＣを用いて、欠陥画像データを分類する機能を有する。特徴量抽出部１１４は、各欠陥画像データにおける特徴量を抽出する機能を有する。データ取得部１１５は、送受信部１５からデータを取得する機能を有する。
　処理部１１および各部１１１～１１５は、図示しないＲＯＭ（Read Only Memory）や、図示しないＨＤ（Hard Disk）に格納されたプログラムが、図示しないＲＡＭ（Random Access Memory）に展開され、図示しないＣＰＵ（Central Processing Unit）によって実行されることによって具現化する。
　記憶部１２には、分類基準データ１２１、分類データ１２２、欠陥画像データ群１２３、基準特徴量データ１２４および特徴量データ１２５が記憶されている。分類基準データ１２１、分類データ１２２、基準特徴量データ１２４および特徴量データ１２５については、図４および図５を参照して後記する。欠陥画像データ群１２３は、レビュー装置１が、撮像した欠陥画像データである。
（各種データ）
　図４は、分類基準データおよび分類データの例を示す図である。ここで、分類基準データ１２１は、図６で後記する処理で作成されるデータであり、分類データ１２２は、図１１で後記する処理で作成されるデータである。分類基準データ１２１と、分類データ１２２とは、格納されるデータが異なるが、フォーマットは同様であるので、図４においてまとめて説明する。
　図４に示すように、分類基準データ１２１および分類データ１２２は、ユーザによるカテゴリ、ＡＤＣによるカテゴリおよび欠陥画像データ名の各フィールドを有してなる。
　ユーザによるカテゴリとは、図６のＳ２０２（または、後記する図１１のＳ４０３）でユーザによって分類されたカテゴリである。そして、ＡＤＣによるカテゴリとは、後記する図６のＳ２０５（または、後記する図１１のＳ４０１）におけるＡＤＣ処理で分類されたカテゴリである。図４の例では、ユーザによって「Ｃ１：パーティクル」と判定され、ＡＤＣ処理でも「Ｃ１：パーティクル」と判定された欠陥画像データは、「Ａ１．ｊｐｇ，Ａ２．ｊｐｇ，Ａ３．ｊｐｇ，・・・」であることを示している。また、ユーザによって「Ｃ１：パーティクル」と判定されたが、ＡＤＣ処理では、「Ｃ２：スクラッチ」と判定された欠陥画像データは存在しないことを示している。さらに、ユーザによって「Ｃ２：スクラッチ」と判定されたが、ＡＤＣ処理では、「Ｃ１：パーティクル」と判定された欠陥画像データは、「Ａ１０．ｊｐｇ」であることを示している。
　ここで、「Ｃ１」や、「Ｃ２」などは、カテゴリに付した識別番号である。本実施形態では「Ｃ１」がパーティクルを示し、「Ｃ２」がスクラッチを示し、「Ｃ３」がパターンショートを示し、「Ｃ４」がパターンオープンを示し、「Ｃ５」が欠陥なしを示している。本実施形態中では、カテゴリ名の代わりに、この識別番号を適宜使用する。カテゴリとしては、この他に、重要異物、非重要異物、虚報のように、画像処理または特徴量を意識せず自由に設定できる。つまり、カテゴリ名は、ユーザによって自由に設定できる。
　分類基準データ１２１および分類データ１２２は、ユーザによるカテゴリおよびＡＤＣによるカテゴリにおいて、すべてのカテゴリの組み合わせに関するデータを有してもよいし、該当する欠陥画像データが存在するカテゴリの組み合わせに関するデータのみを有してもよい。つまり、図４の２行目のように対応する欠陥画像データが存在しないレコードを省略してもよい。また、各欠陥画像データにユーザによるカテゴリの情報、およびＡＤＣによるカテゴリの情報を付した形でもよい。
　図５は、基準特徴量データおよび特徴量データの例を示す図である。ここで、基準特徴量データ１２４は、図６で後記する処理で作成されるデータであり、特徴量データ１２５は、図１１で後記する処理で作成されるデータである。基準特徴量データ１２４と、特徴量データ１２５とは、格納されるデータが異なるが、フォーマットは同様であるので、図５においてまとめて説明する。
　図５に示すように、基準特徴量データ１２４および特徴量データ１２５は、欠陥画像データ名ごとに、各種特徴量（平坦度、明るさ、真円度、大きさなど）が対応付けられて格納されている。
　次に、図３、図４および図５を参照しつつ、図６に沿って分類基準作成処理の手順を説明する。
　図６は、本実施形態に係る分類基準作成処理の手順を示すフローチャートである。ここで、図６に示す分類基準作成処理は、分類基準データ１２１を作成する処理である。
　まず、処理部１１は、記憶部１２の欠陥画像データ群１２３から分類基準作成用の欠陥画像データを読み込む（Ｓ２０１）。
　次に、ユーザは、入力部１３を介して取得した欠陥画像データを分類する（Ｓ２０２）。例えば、ユーザは、目視によって欠陥画像データの１つ１つをパーティクルや、スクラッチなどの種類に分類する。Ｓ２０２の処理により、最初の分類基準データ１２１が作成される。
　なお、Ｓ２０２の段階では、ユーザによるカテゴリのみが埋まっており、ＡＤＣによるカテゴリは空欄である。
　Ｓ２０２の後、特徴量抽出部１１４は、欠陥画像データから特徴量を抽出するための欠陥認識パラメータ（例えば検出感度、ノイズ除去閾値、凹凸閾値）を自動で調整する（Ｓ２０３）。ここで、行われる内容は以下の通りである。欠陥部を認識し、特徴量を抽出する際、特徴量抽出部１１４が、正常な画像データと、欠陥画像データとを比較した上で欠陥部を抽出する。このとき、特徴量抽出部１１４は、画像上のノイズを誤って欠陥部として抽出しないよう、ノイズをある一定のレベルで除去したり、光の加減で明るくなってしまっている箇所を、誤って欠陥部として抽出しないよう、検出感度を調節したりする。Ｓ２０３の処理は、特開２００７－１９８９６８号公報などに記載されている技術であるため、詳細な説明は省略する。
　次に、特徴量抽出部１１４は、欠陥部を抽出すると、この欠陥パターンにおける特徴量を抽出し、ＡＤＣを行う際の重み付けを決定する（Ｓ２０４）。特徴量は、欠陥画像データごとに、予め設定されている定量化された物理的特徴が算出される。物理的特徴としては、前記したような平坦度、明るさ、真円度、大きさの他に、高さ、形、色、テクスチャ、欠陥、背景などが考えられる。特徴量抽出部１１４は、抽出した特徴量を基準特徴量データ１２４として記憶部１２に格納する。
　Ｓ２０４の後、自動欠陥分類部１１３は、Ｓ２０４で抽出した特徴量および決定された重み付けに従って、ＡＤＣ処理を行い（Ｓ２０５）、ＡＤＣによる欠陥画像データの分類を行う。ＡＤＣ処理は、特開平９－１０１９７０号公報などに記載されている技術であるため、詳細な説明は省略する。
　そして、自動欠陥分類部１１３は、ＡＤＣ処理の結果を分類基準データ１２１（図４）に反映する（Ｓ２０６）。自動欠陥分類部１１３は、Ｓ２０２の段階では空欄となっていたＡＤＣによるカテゴリにＳ２０５における分類の結果を登録する。具体的には、自動欠陥分類部１１３は、Ｓ２０２の段階における分類を、Ｓ２０５による結果で、さらに、細かく分類する。例えば、図示していない「Ａ２０．ｊｐｇ」、「Ａ２１．ｊｐｇ」、「Ａ２２．ｊｐｇ」が、Ｓ２０２（ユーザによる分類）で「Ｃ３：パターンショート」と判定されたが、Ｓ２０５（ＡＤＣによる分類）で、「Ａ２０．ｊｐｇ」が「Ｃ１：パーティクル」と判定され、「Ａ２１．ｊｐｇ」、「Ａ２２．ｊｐｇ」が「Ｃ３：パターンショート」と判定されたとする。この場合、「Ａ２０．ｊｐｇ」は、ユーザによるカテゴリが「Ｃ３：パターンショート」、ＡＤＣによるカテゴリが「Ｃ１：パーティクル」に分類され、「Ａ２１．ｊｐｇ」、「Ａ２２．ｊｐｇ」がユーザによるカテゴリが「Ｃ３：パターンショート」、ＡＤＣによるカテゴリが「Ｃ３：パターンショート」に分類される。
　なお、分類基準データ１２１が図４のようなタイプではなく、欠陥画像データごとにカテゴリ名が付されるタイプの場合は、Ｓ２０５の結果、分類されたカテゴリ名を各欠陥画像データに付加するだけでもよい。
　次に、表示処理部１１１が、図８に示すセルフチェック画面２００を表示部１４に表示し（Ｓ２０７）、ユーザがセルフチェック画面２００を用いてセルフチェックを行う（Ｓ２０８）。セルフチェックに関しては、図８～図１０を参照して後記する。
　そして、ユーザがセルフチェックの結果から分類基準データ１２１の分類が適切か否かの良好判定を行う（Ｓ２０９）。
　Ｓ２０９の結果、良好ではない（分類基準データ１２１の分類が適切ではない）と判定された場合（Ｓ２０９→Ｎｏ）、変更を分類基準データ１２１に反映した後、Ｓ２０３の処理まで戻って、特徴量の抽出や、再度ＡＤＣ処理を行った結果をセルフチェック画面として表示する。
　Ｓ２０９の結果、良好である（分類基準データ１２１の分類が適切である）と判定された場合（Ｓ２０９→Ｙｅｓ）、処理を終了する。
　次に、図３，図８～図１０を適宜参照しつつ、図７に沿ってセルフチェック処理の手順を示す。
　図７は、本実施形態に係るセルフチェック処理の手順を示す図である。なお、図７の処理は、図６のＳ２０７からＳ２０９に相当する処理である。
　まず、表示処理部１１１はコンフュージョンマトリクス２１１（カテゴリ別対応情報）を生成し、生成したコンフュージョンマトリクス２１１を含むセルフチェック画面２００ａ（図８）を表示する（Ｓ３０１）。
　図８は、本実施形態にかかるセルフチェック画面（初期画面）の例を示す図である。
　セルフチェック画面２００ａ（２００）は、コンフュージョンマトリクス表示エリア２０１、欠陥画像リスト表示エリア２０２および欠陥画像確認エリア２０３が同じウィンドウ内に表示されてなる。
　コンフュージョンマトリクス表示エリア２０１には、コンフュージョンマトリクス２１１が表示されている。コンフュージョンマトリクス２１１は、ユーザによる分類（図８では「Ｍａｎｕａｌ」と表記）と、ＡＤＣによる分類（図８では、「ＡＤＣ」と表記）における各カテゴリにおける画像数を示す表である。
　なお、Ｃ１～Ｃ５の符号は、前記したようにカテゴリの識別番号であり、「Ｃ１」がパーティクルを示し、「Ｃ２」がスクラッチを示し、「Ｃ３」がパターンショートを示し、「Ｃ４」がパターンオープンを示し、「Ｃ５」が欠陥なしを示している。
　図８の例では、縦軸がユーザによる分類のカテゴリ（「Ｍａｎｕａｌ」）を示し、横軸がＡＤＣによる分類のカテゴリを示している。
　例えば、コンフュージョンマトリクス２１１の第１行目をみると、ユーザによる分類（「Ｍａｎｕａｌ」）では、Ｃ１（パーティクル）と判定された欠陥画像データは３８（３４＋４）個であるが、ＡＤＣではそれらのうち、３４個がＣ１（パーティクル）と判定され、４個がＣ３（パターンショート）と判定されている。正解率は、ユーザによる分類結果に対する、ＡＤＣによる分類結果との一致率である。例えば、第１行目における正解率は、３４／３８×１００≒８９（％）である。
　同様に、図８のコンフュージョンマトリクス２１１の第１列をみると、ＡＤＣは、３７（３４＋１＋２）個がＣ１（パーティクル）と判定しているが、このうち、１個は、ユーザによってＣ２（スクラッチ）と判定され、２個は、ユーザによってＣ５（欠陥なし）と判定されていることが分かる。純度は、ＡＤＣの分類結果に対するユーザによる分類結果との一致率であり、例えば、第１列目の純度は、３４／３７×１００≒９２（％）である。
　コンフュージョンマトリクス２１１における符号２１２の要素（中央斜めのライン）は、各カテゴリにおいてユーザによる分類と、ＡＤＣによる分類とが一致した欠陥画像データの数である。また、符号２１３は、全欠陥画像データの数に対するユーザによる分類とＡＤＣによる分類とが一致した割合である。
　入力部１３を介してマトリクスボタン２１４が選択入力されると、表示処理部１１１が、図４に示す分類基準データ１２１を参照し、各カテゴリにおける欠陥画像データを計数して、コンフュージョンマトリクス２１１に表示する。
　ここで、表示処理部１１１は、コンフュージョンマトリクス２１１のセルが選択されたか否かを監視している（図７のＳ３０２）。
　セルが選択されない場合（Ｓ３０２→Ｎｏ）、表示処理部１１１は図７のＳ３０４へ進む。以下、図７および後記する図１２において、ステップ番号Ｓｎの処理がＮｏである場合、ステップ番号Ｓｍの処理へ進むとは、Ｓｎの判定が行われていない状態で、Ｓｍの処理が実行されたとき、処理部１１はＳｍの処理を実行するという意味である。これは、図７および図１２の処理が画面処理であるため、各ステップの実行は実際には処理の順番に関係なく、指示が入力されると実行されるためである。
　そして、ユーザがコンフュージョンマトリクス２１１におけるセルの１つを選択すると（図７のＳ３０２→Ｙｅｓ）、そのセルのカテゴリに対応する欠陥画像が欠陥画像リスト表示エリア２０２に表示される（図７のＳ３０３）。
　例えば、入力部１３を介してユーザによる分類（「Ｍａｎｕａｌ」）がＣ３（パターンショート）であり、ＡＤＣによる分類（「ＡＤＣ」）もＣ３（パターンショート）であるセル２１５が選択入力されると、表示処理部１１１は、図４の分類基準データ１２１からユーザによるカテゴリおよびＡＤＣによるカテゴリが「Ｃ３：パターンショート」であるレコードに格納されている欠陥画像データ名を取得する。そして、表示処理部１１１は、記憶部１２の欠陥画像データ群１２３（図３）から取得した欠陥画像データ名に対応する画像データを取得し、取得した画像データを欠陥画像リスト表示エリア２０２に表示する。
　なお、図８において、セル２１５には「１２」と記載されているので、欠陥画像リスト表示エリア２０２に表示される画像も１２個である。図８では、欠陥画像リスト表示エリア２０２のスライドバーを動かすことによって、ユーザは１２個の画像を参照することができる。
　欠陥画像確認エリア２０３の中は、Ｓ３０３の段階では何も表示されていない。また、保存ボタン２０５および削除ボタン２０６については後記する。
　正確な分類基準データ１２１を作成し、ＡＤＣによる分類の精度を向上するには、コンフュージョンマトリクス２１１における純度と正解率を上げる必要がある。
　以下、図９および図１０を用いて、純度と正解率を上げるための分類基準データ１２１の更新方法を説明する。なお、図９および図１０において、図８と同様の要素については同一の符号を付して説明を省略する。
　図９は、本実施形態に係るセルフチェック画面（画像比較）の例を示す図である。
　図９では、コンフュージョンマトリクス２１１において、ユーザによる分類（「Ｍａｎｕａｌ」）が「Ｃ１：パーティクル」であり、ＡＤＣによる分類（「ＡＤＣ」）が「Ｃ３：パターンショート」であるセル３０１を選択入力した例を示す。
　表示処理部１１１は欠陥画像リスト表示エリア２０２に表示されている欠陥画像が選択されたか否かを判定しており（図７のＳ３０４）、欠陥画像が選択されていない場合（Ｓ３０４→Ｎｏ）、表示処理部１１１は図７のＳ３０７へ処理を進める。
　ユーザが、欠陥画像リスト表示エリア２０２に表示されている欠陥画像のうち、１個の欠陥画像３１１ａを欠陥画像確認エリア２０３にドラッグアンドドロップすることにより、欠陥画像を選択すると（図７のＳ３０４→Ｙｅｓ）と、欠陥画像確認エリア２０３の画像比較エリア３２０の対象画像表示エリア３３０にドラッグアンドドロップした欠陥画像３１ａがコピーされ、欠陥画像３１１ｂとして拡大表示される。
　また、比較画像表示エリア３４０には、カテゴリ選択プルダウンメニュー３４１で選択されたカテゴリに属する欠陥画像３４２が表示される。なお、カテゴリ選択プルダウンメニュー３４１で選択されるカテゴリは、ユーザによる分類である。他のカテゴリの画像と比較したい場合、入力部１３を介してカテゴリ選択プルダウンメニュー３４１で他のカテゴリを選択する。
　具体的には、表示処理部１１１はカテゴリ選択プルダウンメニュー３４１でカテゴリが選択されたか否かを判定しており（図７のＳ３０５）、カテゴリが選択されない場合（Ｓ３０５→Ｎｏ）、表示処理部１１１はＳ３０７へ処理を進める。
　カテゴリ選択プルダウンメニュー３４１でカテゴリが選択されると（図７のＳ３０５→Ｙｅｓ）、表示処理部１１１は、選択されたカテゴリをキーとして、図４の分類基準データ１２１を参照し、ユーザによる分類が選択されたカテゴリに該当するすべてのレコードに格納されている欠陥画像データ名を取得する。そして、表示処理部１１１は、取得した欠陥画像データ名に該当する欠陥画像データを記憶部１２の欠陥画像データ群１２３（図３）から取得し、取得した欠陥画像データを、該当するカテゴリの比較画像として比較画像表示エリア３４０に表示する（図７のＳ３０６）。
　画像比較エリア３２０の裏には、特徴量表示エリア４００（図１０）が隠れており、「分析タブ」が入力部１３を介して選択入力されることにより、特徴量表示エリア４００（図１０）が前面に表示される。
　つまり、表示処理部１１１は、「分析タブ」が選択入力（選択）されたか否かを判定しており（図７のＳ３０７）、分析タブが選択されない場合（Ｓ３０７→Ｎｏ）、表示処理部１１１は図７のＳ３１０へ処理を進める。
　分析タブが選択された場合（Ｓ３０７→Ｙｅｓ）、表示処理部１１１は図１０に示す特徴量表示エリア４００を表示する。
　図１０は本実施形態に係るセルフチェック画面（特徴量比較）の例を示す図である。
　ユーザが、セルフチェック画面２００ｃ（２００）における欠陥画像リスト表示エリア２０２に表示されている任意の欠陥画像４０１ａを、特徴量表示エリア４００にドラッグアンドドロップすると、ドラッグアンドドロップされた欠陥画像４０１ａがコピーされ、欠陥画像４０１ｂとして特徴量表示エリア４００に表示される。
　表示処理部１１１は特徴量選択プルダウンメニュー４０２，４０３で、特徴量を表示したいカテゴリが選択されたか否かを判定しており（図７のＳ３０８）、選択されていない場合（Ｓ３０８→Ｎｏ）、表示処理部１１１は図７のＳ３１０へ処理を進める。
　特徴量選択プルダウンメニュー４０２，４０３で、特徴量を表示したいカテゴリが選択されると（図７のＳ３０８→Ｙｅｓ）、表示処理部１１１は選択されたカテゴリにおける各特徴量の分布を示すヒストグラムを生成し、特徴量分布表示エリア４１１に生成したヒストグラムを表示する（図７のＳ３０９）。なお、特徴量選択プルダウンメニュー４０２，４０３で選択されるカテゴリは、ユーザによる分類に従ったカテゴリである。
　特徴量分布表示エリア４１１に表示されるグラフは、横軸が各特徴量の値を示し、縦軸がその値を示す欠陥画像データの数である。また、特徴量分布表示エリア４１１では、特徴量選択プルダウンメニュー４０２で選択されたカテゴリの特徴量分布が白抜きのヒストグラムで示され、特徴量選択プルダウンメニュー４０３で選択されたカテゴリの特徴量分布がハッチングのヒストグラムで示される。そして、特徴量選択プルダウンメニュー４０２で選択されたカテゴリの特徴量分布と、特徴量選択プルダウンメニュー４０３で選択されたカテゴリの特徴量分布とが重なっている部分は、黒く塗りつぶしたヒストグラムで示される。図１０の例では、「Ｃ１：パーティクル」の特徴量分布が白抜きのヒストグラムで示され、「Ｃ２：スクラッチ」の特徴量分布がハッチングのヒストグラムで示される。なお、特徴量分布表示エリア４１１の右上に表示されているパーセンテージは分離度を示し、２つのカテゴリの特徴量分布全体に対し分布が重なっていない部分の割合を示す。つまり、特徴量分布全体に対し、黒く塗りつぶしていないヒストグラムの割合を示している。分離度が大きいほど、２つのカテゴリにおける特徴量の分布が大きく異なっていることを示している。
　特徴量分布を示すヒストグラムは、以下の手順で作成される。
　まず、表示処理部１１１は、特徴量選択プルダウンメニュー４０２で選択されたカテゴリ名をキーとして、図４の分類基準データ１２１のユーザによるカテゴリを検索し、該当するすべてのレコードに含まれる欠陥画像データ名を取得する。
　そして、表示処理部１１１は、取得した欠陥画像データ名をキーとして、図５の基準特徴量データ１２４を検索し、該当する欠陥画像データ名に相当する各特徴量の値を参照し、該当する特徴量の欠陥画像データ数を計数する。例えば、図５の例で、「Ａ１．ｊｐｇ」および「Ａ２．ｊｐｇ」が処理の対象であるとすると、まず、表示処理部１１１は、「Ａ１．ｊｐｇ」のレコードを参照することによって、「平坦度：５０」を＋１カウントし、「明るさ：６０」を＋１カウントする。表示処理部１１１は、このレコードにおける「真円度」、「大きさ」についても同様にカウントする。
　次に、表示処理部１１１は、「Ａ２．ｊｐｇ」のレコードを参照することによって、「平坦度：４０」を＋１カウントし、「明るさ：６０」を＋１カウントする（これで、「明るさ：６０」は「２」となる）。表示処理部１１１は、このレコードにおける「真円度」、「大きさ」についても同様にカウントする。
　表示処理部１１１は、この処理を、取得した欠陥画像データ名すべてに対し行った後、特徴量選択プルダウンメニュー４０３で選択されたカテゴリについても同様の処理を行い、各特徴量におけるヒストグラムを算出する。
　また、特徴量分布表示エリア４１１中のバー４１２は、欠陥画像４０１ｂにおける特徴量の値を示している。表示処理部１１１は、欠陥画像４０１ｂの欠陥画像データ名をキーとして、図４の基準特徴量データ１２４から特徴量の値を取得し、表示処理部１１１が取得した値に該当する特徴量を示す箇所にバー４１２を表示する。
　分離度一覧表示エリア４３１には、前記した分離度が高い順に表示されている。
　ラジオボタン４２１，４２２は、ＡＤＣ処理で分類を行う際、実際に使用している特徴量である。図１０の例では、ラジオボタン４２１，４２２が「Ｏｎ」となっている「平坦度」、「明るさ」、「真円度」がＡＤＣ処理で使用されている特徴量である。ユーザが、ラジオボタン４２１，４２２の「Ｏｎ／Ｏｆｆ」を切り替えることにより、ＡＤＣ処理で使用される特徴量の有効／無効を設定することができる。例えば、ユーザが、「明るさ」と「真円度」は有効な特徴量ではないと判断したとき、該当するラジオボタン４２１，４２２を選択入力することによって、ＡＤＣ処理におけるこれらの特徴量の使用を無効にすることができる。また、逆にユーザが「大きさ」は有効な特徴量であると判断したとき、該当するラジオボタン４２１，４２２を選択入力することによって、ＡＤＣ処理におけるこれらの特徴量の使用を有効にすることができる。
　表示処理部１１１は移動ボタン３３２（図９）が選択入力されたか否かを判定することによって、該当する欠陥画像データを現在のカテゴリから他のカテゴリへ移動するか否かを判定しており（図７のＳ３１０）、移動しない場合（Ｓ３１０→Ｎｏ）、処理部１１は処理を終了する。ここで、移動しない場合とは削除ボタン２０６が選択入力されたり、移動ボタン３３２を選択入力していない状態でユーザがセルフチェック画面２００を閉じたりした場合などである。なお、Ｓ３１０は、図６のＳ２０９の処理に相当する。
　ユーザが、当該欠陥画像を、現在のカテゴリから他のカテゴリへ移動しようと思ったとき、ユーザは、移動先カテゴリ選択プルダウンメニュー３３１から移動先カテゴリを選択し、移動ボタン３３２（図９）を選択入力すると（図７のＳ３１０→Ｙｅｓ）、表示処理部１１１は対象画像表示エリア３３０（図９）に表示されている欠陥画像３１１ｂのデータ名を、選択された移動先カテゴリへ移動する。具体的には、表示処理部１１１は、欠陥画像３１１ｂに相当する欠陥画像データ名を、分類基準データ１２１において、ユーザによるカテゴリが、選択された移動先カテゴリであるレコードへ移動することによって分類基準データ１２１を更新する（図７のＳ３１１）。
　また、対象画像表示エリア３３０に表示されている欠陥画像が、分類基準データ１２１を作成する上では不適切な（例えば、欠陥が正しく撮像されていない場合など）画像であれば、入力部１３を介して削除ボタン２０６が選択入力されることにより、表示処理部１１１は、当該欠陥画像データ名を分類基準データ１２１から削除することができる。
　ユーザが、移動ボタン３３２（図９）を選択入力して学習に使用する欠陥画像データ名を他のカテゴリに移動した場合や、削除ボタン２０６を選択入力することで欠陥画像データを分類基準データ１２１から削除した場合や、ＡＤＣ処理に使用する特徴量の有効／無効を切り替えた際は、その都度マトリクスボタン２１４を選択入力ことでコンフュージョンマトリクス２１１を更新することが可能である。また、その際の分類基準データ１２１は保存ボタン２０５を選択入力することで上書き保存または別名保存することができる。
　このように作成された分類基準データ１２１はレビュー装置１におけるＡＤＣ処理の際の分類基準として利用され、レビュー装置１は、半導体ウェハ上の欠陥を自動で分類し、データ処理装置３に各結果におけるカテゴリの識別番号を転送する。一方、ＡＤＣで欠陥画像と判定された欠陥画像データ群１２３はウェハ毎にレビュー装置１の記憶部１２に保存される。
　ここまでの処理で、ＡＤＣで欠陥画像を分類するため分類基準データ１２１が作成・修正される。次に、図１０～図１４で、分類基準データ１２１が作成された後、新たな欠陥画像データがレビュー装置１に送られてきた際の処理を説明する。送られた新たな欠陥画像データは、記憶部１２の欠陥画像データ群１２３に格納される。
　図１１は、新たに欠陥画像データを取得した際の処理の手順を示すフローチャートである。
　まず、図６の処理後、レビュー装置１が新たな欠陥画像データを撮像すると、特徴量抽出部１１４が、欠陥認識パラメータの自動調整を行った後、特徴量の抽出を行い、自動欠陥分類部１１３が撮像された欠陥画像データに対しＡＤＣ処理を行い（Ｓ４０１）、欠陥画像の分類を行う。ＡＤＣ処理の結果は、図４に示す分類データ１２２に登録される。欠陥認識パラメータの自動調整、特徴量の抽出は、図６のＳ２０３，Ｓ２０４の処理と同様
であるため説明を省略する。
　次に、入力部１３を介してユーザによる分類が入力指示されると、更新日時の情報などを基に入力処理部１１２は記憶部１２の欠陥画像データ群１２３から新たに入力された欠陥画像データを読み込む（Ｓ４０２）。
　このとき、表示処理部１１１は、図４の分類データ１２２も読み込み、ＡＤＣ処理の結果と、欠陥画像を対応させたＡＤＣ分類結果を表示部１４に表示する。
　ユーザは、表示されている分類結果を参照し、ＡＤＣ処理で正しく分類されているかを確認し、分類に誤りがあれば適切なカテゴリに再分類する（Ｓ４０３）。入力処理部１１２は、再分類の結果を図４の分類データ１２２に反映する（Ｓ４０４）。反映の手順は、ユーザによる分類→ＡＤＣの分類の順番が、ＡＤＣの分類→ユーザによる分類へと変わったこと以外は図６のＳ２０６と同様であるので、詳細な説明を省略する。
　次に、表示処理部１１１は、分類データ１２２を基にコンフュージョンマトリクス２１１ａ（図１３）を生成し、このコンフュージョンマトリクス２１１ａを含むチェック画面５００（図１３）を表示する（Ｓ４０５）。分類データ１２２を基にコンフュージョンマトリクス２１１ａを生成する手順は、図８で説明した手順と同様であるため詳細な説明を省略する。
　そして、ユーザは表示されたチェック画面５００（図１３）を参照して、現在の分類結果が良好か否か（適切か否か）の判定を行う（Ｓ４０６）。
　Ｓ４０６の結果、良好である（分類結果が適切である）と判定された場合（Ｓ４０６→Ｙｅｓ）、処理を終了する。
　Ｓ４０６の結果、良好ではない（分類結果が適切ではない）と判定された場合（Ｓ４０６→Ｎｏ）、表示処理部１１１は、チェック画面５００において選択した欠陥画像データを追加学習用画像データとしてコピーする（Ｓ４０７）。
　そして、表示処理部１１１は、分類基準データ１２１を更新し（Ｓ４０８）、特徴量抽出部１１４が、欠陥認識パラメータの自動調整および特徴量の抽出を行った後、自動欠陥分類部１１３が更新された分類基準データ１２１を基にＡＤＣ処理を行う（Ｓ４０９）。なお、Ｓ４０７およびＳ４０８については、後記して説明する。
　その後、処理部１１は、Ｓ４０５へ処理を戻す。
　次に、図３，図１３～図１５を適宜参照しつつ、図１２に沿ってチェック処理の手順を示す。なお、図１２の処理は、図１１のＳ４０５からＳ４０８に相当する処理である。
　図１２は、本実施形態に係るチェック処理の手順を示すフローチャートである。
　まず、表示処理部１１１は、図１３に示すチェック画面５００ａ（５００）および図１４に示すチェック画面５００ｂ（５００）を表示部１４に表示し、画像比較処理・特徴量比較処理を行う（Ｓ５０１）。Ｓ５０１は、図６の処理において、分類基準データ１２１の代わりに分類データ１２２を用いた処理であるため詳細な説明を省略する。
　図１３は、本実施形態に係るチェック画面（画像比較）の例を示す図である。
　チェック画面５００ａ（５００）において、符号２０１ａ，２０２ａ，２０３ａ，２０５ａ，２０６ａ，２１１ａ，２１４ａ，３２０ａ，３３０ａ，３３１ａ，３３２ａ，３４０ａ，３４１ａ，３４２ａは、分類基準データ１２１を基に作成していたのが、分類データ１２２を基に画面を作成する以外は、図９における符号２０１，２０２，２０３，２０５，２０６，２１１，２１４，３２０，３３０，３３１，３３２，３４０，３４１，３４２と同様であるので説明を省略する。また、図９の「分析タブ」が「分析１タブ」となっているが、機能としては同様である。コピーボタン５０１については、後記して説明する。
　図１３の例では、入力部１３を介して分類データ１２２を基に作成されたコンフュージョンマトリクス２１１ａにおけるセル５０２を選択することによって、表示処理部１１１は、欠陥画像リスト表示エリア２０２ａに該当する欠陥画像５１１を表示する。欠陥画像５１１のうちの１個の欠陥画像５１２ａがドラッグアンドドロップによって、対象画像表示エリア３３０ａにコピーされ欠陥画像５１２ｂとして表示されている。
　なお、図１３における移動ボタン３３２ａは、選択された欠陥画像５１２ｂのデータを同じ分類データ１２２内の他のカテゴリへ移動するためのボタンである。
　図１４は、本実施形態に係るチェック画面（特徴量比較）の例を示す図である。
　チェック画面５００ｂ（５００）において、符号２０１ａ，２０２ａ，２０３ａ，２０５ａ，２０６ａ，２１１ａ，２１４ａ，４００ａ，４０２ａ，４０３ａ，４１１ａ，４１２ａ，４２１ａ，４２２ａ，４３１ａは、分類基準データ１２１を基に作成していたのが、分類データ１２２を基に画面を作成する以外は、図１０における符号２０１，２０２，２０３，２０５，２０６，２１１，２１４，４００，４０２，４０３，４１１，４１２，４２１，４２２，４３１と同様であるので説明を省略する。
　図１４の例では、欠陥画像リスト表示エリア２０２ａに表示されている欠陥画像のうちの１個（符号６０１ａ）がドラッグアンドドロップにより特徴量表示エリア４００ａにコピーされ、欠陥画像６０１ｂとして表示されている。
　図１２に戻り、Ｓ５０１の後、表示処理部１１１は、図１３や図１４における「分析２タブ」が選択入力されたか否か（選択されたか否か）を判定する（Ｓ５０２）。
　Ｓ５０２の結果、「分析２タブ」が選択されていない場合（Ｓ５０２→Ｎｏ），表示処理部１１１は、Ｓ５０５へ処理を進める。
　Ｓ５０２の結果、「分析２タブ」が選択された場合（Ｓ５０２→Ｙｅｓ）、表示処理部１１１は、図１５に示すチェック画面５００ｃ（５００）を表示する。
　図１５は、本実施形態に係るチェック画面（シミュレート）の例を示す図である。
　図１５において、図１３および図１４と同様の要素については、同一の符号を付して説明を省略する。
　チェック画面５００ｃ（５００）では、欠陥画像確認エリア２０３ａにシミュレートエリア７００が表示されている。シミュレートエリア７００は、特徴量表示エリア７１０と、欠陥画像表示エリア７２０と、シミュレート実行エリア７３０とを有してなる。
　表示処理部１１１は、特徴量表示エリア７１０におけるカテゴリ選択プルダウンメニュー７１１でカテゴリが選択されたか否かを判定し（図１２のＳ５０３）、選択されていない場合は（Ｓ５０３→Ｎｏ）、図１２のＳ５０５へ処理を進める。
　カテゴリ選択プルダウンメニュー７１１でカテゴリが選択され（Ｓ５０３→Ｙｅｓ）、さらに、特徴量種別選択プルダウンメニュー７１２で特徴量種別が選択されると、表示処理部１１１は、分類基準データ１２１および分類データ１２２を基に、特徴量分布を示すヒストグラムを生成し、特徴量分布表示エリア７１３に生成したヒストグラムを表示する（Ｓ５０４）。
　特徴量分布表示エリア７１３に表示されるヒストグラムは、図１０や図１４で表示されるヒストグラムとは異なり、同一のカテゴリおよび特徴量種別で分類基準データ１２１と、新たに追加された欠陥画像データ群１２３との特徴量分布を示す。
　図１５の例では、カテゴリが「Ｃ１：パーティクル」、特徴量種別が「明るさ」である分類基準作成時（つまり分類基準データ１２１）のヒストグラムを白抜きで表示し、追加画像群（つまり分類データ１２２）のヒストグラムをハッチングで表示している。２つのヒストグラムが重なっている部分は黒く塗りつぶされている。
　ヒストグラムの作成手順は以下の通りである。まず、表示処理部１１１は、カテゴリ選択プルダウンメニュー７１１で選択されたカテゴリ名をキーとして、分類基準データ１２１のユーザによるカテゴリを参照し、該当するすべての欠陥画像データ名を取得する。そして、表示処理部１１１は、取得したすべての欠陥画像データ名をキーとして、基準特徴量データ１２４における特徴量種別選択プルダウンメニュー７１２で選択された特徴量種別を参照し、その値毎に欠陥画像データ数をカウントする。表示処理部１１１は、同様の処理を分類データ１２２に対しても行う。
　このように作成したヒストグラムによれば、分類基準データ１２１の特徴量分布と、分類データ１２２の特徴量の分布の差を、ユーザが視認することが可能となる。例えば、図１５の特徴量分布表示エリア７１３から、カテゴリ（ユーザによって分類されたカテゴリ）が「Ｃ１：パーティクル」で、特徴量種別が「明るさ」において、追加画像群の特徴量分布が、分類基準作成時（分類基準データ１２１）より低い値（グラフの左側）に分布が集中していることが分かる。これより、分類基準データ１２１の特徴量分布において低い値を補充すればよいことが分かる。
　そこで、入力部１３を介してバー７１４を移動させると、表示処理部１１１は、このバー７１４が位置している値の欠陥画像データを取得して、欠陥画像表示エリア７２０に表示する。図１５の例では、バー７１４がヒストグラムにおける一番左側の値を示しているため、明るさがこの値であり、カテゴリが「Ｃ１：パーティクル」である欠陥画像データを欠陥画像７２１，７２２として表示する。
　具体的には、表示処理部１１１は、バー７１４が示している特徴量の値を読み込むと、読み込んだ値をキーとして図４の特徴量データ１２５における特徴量種別選択プルダウンメニュー７１２で選択されている特徴量種別の値を検索し、この値を有している欠陥画像データ名を取得する。そして、表示処理部１１１は、取得した欠陥画像データ名をキーとして、分類データ１２２のユーザによるカテゴリを参照し、取得した欠陥画像データ名のうち、カテゴリ選択プルダウンメニュー７１１で選択されているカテゴリに該当する欠陥画像データ名を取得する。そして、表示処理部１１１は、取得した欠陥画像データ名をキーとして、欠陥画像データ群１２３から欠陥画像データを取得し、欠陥画像表示エリア７２０に表示する。なお、ユーザがバー７１４を動かさなくても、例えばヒストグラムの一番左の値がデフォルトで選択された状態となっていてもよい。
　なお、特徴量種別選択プルダウンメニュー７１２は、分類基準作成時（分類基準データ１２１）と追加画像群（分類データ１２２）の特徴量分布を重ねて表示した際、一致率が低い（分離度が高い）特徴量種別から順に表示されるようにしてもよい。
　次に、表示処理部１１１は、入力部１３を介して欠陥画像表示エリア７２０に表示されている欠陥画像がシミュレート実行エリア７３０にドラッグアンドドロップされたか否かを判定することによって欠陥画像が選択されたか否かを判定する（図１２のＳ５０５）。
　Ｓ５０５の結果、欠陥画像が選択されていない場合（Ｓ５０５→Ｎｏ）、表示処理部１１１は、図１２のＳ５０８へ処理を進める。
　Ｓ５０５の結果、欠陥画像が選択された場合（Ｓ５０５→Ｙｅｓ）、表示処理部１１１は、ドラッグアンドドロップされた欠陥画像を図１５のシミュレート実行エリア７３０に表示する。
　図１５の例では、欠陥画像表示エリア７２０に表示されている欠陥画像７２１，７２２のうち、欠陥画像７２２がドラッグアンドドロップ（選択）され、シミュレート実行エリア７３０の欠陥画像７２２ａとして表示されているが、複数の欠陥画像を選択することも可能である。
　次に、ユーザは、シミュレート実行エリア７３０に表示されている欠陥画像７２２ａをどこのカテゴリ（分類基準データ１２１のユーザによるカテゴリ）に移動するかを、カテゴリ選択プルダウンメニュー７３１で選択した後、表示処理部１１１は、実行ボタン７３２が選択入力されたか否かを判定することによってシミュレーションを実行するか否かを判定する（図１２のＳ５０６）。
　Ｓ５０６の結果、シミュレーションを実行しない場合（Ｓ５０６→Ｎｏ）、表示処理部１１１は、Ｓ５０８へ処理を進める。
　Ｓ５０６の結果、シミュレーションを実行する場合（Ｓ５０６→Ｙｅｓ）、特徴量抽出部１１４が、シミュレート実行エリア７３０に表示されている欠陥画像７２２ａを分類基準データ１２１に加えた場合、どのようなコンフュージョンマトリクス２１１ａが生成されるかをシミュレーションし、その結果を表示部１４に表示する（図１２のＳ５０７）。具体的には、自動欠陥分類部１１３が、欠陥画像７２２ａが加えられた仮の分類基準データ１２１を用いて、新たに追加された欠陥画像データ群１２３の再分類を行い、仮の分類データ１２２を作成する。そして、表示処理部１１１は、前記した手順と同様の方法で仮の分類データ１２２からコンフュージョンマトリクス２１１ａを生成すると、このコンフュージョンマトリクス２１１ａをコンフュージョンマトリクス表示エリア２０１ａに表示することによって、コンフュージョンマトリクス２１１ａの更新を行う。
　なお、Ｓ５０７の時点において、実際には、欠陥画像７２２ａのデータは分類基準データ１２１に追加されておらず、あくまでも欠陥画像７２２ａのデータが分類基準データ１２１に追加されたらどのようなコンフュージョンマトリクス２１１ａが生成されるかをシミュレーションするものである。シミュレーションの結果（加える欠陥画像データ、カテゴリ、コンフュージョンマトリクス２１１ａ、仮の分類基準データ１２１、仮の分類データ１２２など）は、表示処理部１１１が履歴として記憶部１２に保持しておいてもよい。この場合、ユーザが履歴選択プルダウンメニュー７３４で履歴を選択すると、表示処理部１１１は、そのときの状態（加える欠陥画像データ、カテゴリ、コンフュージョンマトリクス２１１ａ、仮の分類基準データ１２１、仮の分類データ１２２など）をチェック画面５００に表示する。
　ユーザは、シミュレーションの結果、更新されたコンフュージョンマトリクス２１１ａ
を参照して、シミュレート実行エリア７３０に表示されている欠陥画像７２２ａを分類基準データ１２１に加えるのが妥当か否かを判断する。
　妥当であると判断した場合、入力部１３を介してコピーボタン７０１が選択入力される。つまり、表示処理部１１１は、コピーボタン７０１が選択入力されたか否かを判定することによって、欠陥画像７２２ａを分類基準データ１２１にコピーするか否かを判定する（図１２のＳ５０８）。なお、Ｓ５０８の処理は、図１１のＳ４０６に相当する。
　コピーしない場合（Ｓ５０８→Ｎｏ）、処理部１１は処理を終了する。
　コピーする場合（Ｓ５０８→Ｎｏ）、表示処理部１１１は該当する欠陥画像７２２ａを分類基準データ１２１にコピーする（図１２のＳ５０９）。実際には、表示処理部１１１がシミュレート実行エリア７３０に表示されている欠陥画像７２２ａに該当する欠陥画像データ名を分類基準データ１２１にコピーする。なお、Ｓ５０９の処理は、図１１のＳ４０７に相当する。
　その後、表示処理部１１１は適用ボタン７３３が選択入力されたか否かを判定することによって、コピーを適用するか否かを判定する（図１２のＳ５１０）。
　コピーを適用しない場合（Ｓ５１０→Ｎｏ）、処理部１１は処理を終了する。コピーを適用しない場合とは、コピーボタン７０１が適用された後、一定時間適用ボタン７３３が選択入力されなかった場合や、削除ボタン２０６ａが選択入力された場合や、チェック画面５００が閉じられた場合などである。
　コピーを適用する場合（Ｓ５１０→Ｙｅｓ）、表示処理部１１１はシミュレート実行エリア７３０に表示されている欠陥画像７２２ａのデータ名を分類基準データ１２１に追加登録し、分類基準データ１２１を更新する（分類基準データ１２１を確定する：図１２のＳ５１１）。
　なお、履歴選択プルダウンメニュー７３４よりシミュレーションの履歴を呼び出し、適用ボタン７３３を選択入力することによって、シミュレーションの履歴に該当する状態を分類基準データ１２１に反映・確定してもよい。なお、コピーボタン７０１を省略し、Ｓ５０８の処理を省略してもよい。この場合、適用ボタン７３３が選択入力されると、欠陥画像データ名が分類基準データ１２１にコピーされると同時に適用処理も行われる。
　なお、本発明は特徴量分布を表示する際にヒストグラムで表示しているが、これに限られるものではない。例えば散布図などで表示することも可能である。
　本発明によれば、ＡＤＣの分類基準データ１２１を作成するにあたり、各欠陥画像を比較したり、特徴量分布を比較し、これらの比較の結果、分類基準データ１２１の中で画像データ名を移動したり、分類データ１２２における欠陥画像データ名を分類基準データ１２１にコピーしたりすることで、分類基準データ１２１を更新することができる。この結果、不適切な学習による分類基準の分類性能低下を防止でき、ＡＤＣの分類精度を向上させることができる。さらに、欠陥画像とともに、特徴量分布を表示するなど、分類対象となるカテゴリ間の特徴量を効率良く表示・改良できることで、ユーザは、効率よく欠陥画像の分類の適切・不適切を判断することができる。つまり、欠陥を自動分類するための装置として分類基準作成時の操作性を改良して、使い勝手を向上し、分類基準をより早く、より正確に作成・修正できるようにすることができる。そのため、注目している欠陥種別の発生状況をラインへより正確にフィードバックし、ラインの歩留まりを向上させることができる。
　また、分類基準に登録されていないタイプの欠陥が検出されても柔軟に対応できる。
　１　　　レビュー装置（画像分類装置）
　１ａ　　光学式レビュー装置
　１ｂ　　ＳＥＭ式レビュー装置
　１１　　処理部
　１２　　記憶部
　１３　　入力部
　１４　　表示部
　１５　　送受信部
　１１１　表示処理部
　１１２　入力処理部
　１１３　自動欠陥分類部
　１１４　特徴量抽出部
　１１５　データ取得部
　１２１　分類基準データ
　１２２　分類データ
　１２３　欠陥画像データ群
　１２４　基準特徴量データ
　１２５　特徴量データ
　２００，２００ａ，２００ｂ，２００ｃ　セルフチェック画面
　２１１，２１１ａ　コンフュージョンマトリクス（カテゴリ別対応情報）
　Ｚ　　　半導体ウェハ製造システム

Claims (16)

  1. 　画像データの分類を行う画像分類装置による画像分類基準更新方法であって、
    　前記画像データを分類する際の基準となる画像データの情報が登録されている分類基準データと、新規に入力された画像データを前記分類基準データを使用して分類した結果としての画像データの情報が登録されている分類データと、
    　が記憶部に格納されており、
    　前記画像分類装置は、
    　入力部を介して、前記分類データに登録されている画像データのうちの任意の画像データの情報を選択し、
    　前記入力部を介して、前記選択した画像データの情報を前記分類基準データに追加登録する旨の指示が入力されると、
    　前記選択した画像データの情報を前記分類基準データに追加登録する
    　ことを特徴とする画像分類基準更新方法。
  2. 　前記画像分類装置は、
    　前記分類基準データに登録されている画像データの情報に対応する画像と、前記分類データに登録されている画像データの情報に対応する画像とを同じウィンドウ内に表示する
    　ことを特徴とする請求の範囲第１項に記載の画像分類基準更新方法。
  3. 　前記分類基準データに登録されている画像データの情報に関する特徴量のデータである基準特徴量データと、前記分類データに登録されている画像データの情報に関する特徴量のデータである特徴量データと、
    　が記憶部にさらに格納されており、
    　前記画像分類装置は、
    　前記基準特徴量データに登録されている特徴量の分布と、前記特徴量データに登録されている特徴量の分布とを同じウィンドウ内に表示する
    　ことを特徴とする請求の範囲第１項に記載の画像分類基準更新方法。
  4. 　前記画像分類装置は、
    　前記選択した画像データの情報を、前記分類基準データに追加登録し、前記追加登録した分類基準データを使用して、前記新規に入力された画像データの情報を再分類した結果をシミュレーションし、
    　前記シミュレーションの結果を表示部に表示する
    　ことを特徴とする請求の範囲第１項に記載の画像分類基準更新方法。
  5. 　前記分類データには、ユーザによって分類されたカテゴリと、前記分類基準データを使用して分類されたカテゴリとで、前記新規に入力された画像データの情報が分類されており、
    　前記画像分類装置は、
    　前記分類データにおける前記ユーザによって分類されたカテゴリに対応する画像データ数と、前記分類データにおける前記画像分類装置によって分類されたカテゴリに対応する画像データ数とが対応付けられているカテゴリ別対応情報を生成し、
    　前記生成したカテゴリ別対応情報を前記表示部に表示する
    　ことを特徴とする請求の範囲第１項に記載の画像分類基準更新方法。
  6. 　前記画像分類装置は、
    　前記カテゴリ別対応情報における画像データ数を選択すると、該当する画像データを前記表示部に表示する
    　ことを特徴とする請求の範囲第５項に記載の画像分類基準更新方法。
  7. 　前記画像データは、半導体ウェハにおける欠陥画像である
    　ことを特徴とする請求の範囲第１項に記載の画像分類基準更新方法。
  8. 　画像データの分類を行う画像分類装置による画像分類基準更新方法であって、
    　画像データを分類する際の基準となる画像データの情報が登録されている分類基準データ
    　が記憶部に格納されており、
    　前記分類基準データには、前記画像データがカテゴリ毎に分かれて格納されており、
    　前記画像分類装置は、
    　入力部を介して、前記分類基準データに登録されている画像データの情報のうちの任意の画像データの情報を選択し、
    　前記入力部を介して、前記分類基準データにおける前記選択した画像データの情報が格納されているカテゴリとは異なるカテゴリに前記選択した画像データの情報を移動する旨の指示が入力されると、
    　前記選択した画像データの情報を、前記分類基準データにおける前記他のカテゴリに移動する
    　ことを特徴とする画像分類基準更新方法。
  9. 　前記画像分類装置は、
    　前記分類基準データに登録されている画像データを表示部に表示する
    　ことを特徴とする請求の範囲第８項に記載の画像分類基準更新方法。
  10. 　前記分類基準データに登録されている画像データの特徴量のデータである基準特徴量データ
    　が記憶部にさらに格納されており、
    　前記基準特徴量データに登録されている特徴量の分布を表示部に表示する
    　ことを特徴とする請求の範囲第８項に記載の画像分類基準更新方法。
  11. 　前記画像分類装置は、
    　前記分類基準データにおける前記ユーザによって分類されたカテゴリに対応する画像データ数と、前記分類基準データにおける前記画像分類装置によって分類されたカテゴリに対応する画像データ数とが対応付けられているカテゴリ別対応情報を生成し、前記生成したカテゴリ別対応情報を前記表示部に表示する
    　ことを特徴とする請求の範囲第８項に記載の画像分類基準更新方法。
  12. 　前記画像分類装置は、
    　前記カテゴリ別対応情報における画像データ数を選択すると、該当する画像データを前記表示部に表示する
    　ことを特徴とする請求の範囲第１１項に記載の画像分類基準更新方法。
  13. 　前記画像データは、半導体ウェハにおける欠陥画像である
    　ことを特徴とする請求の範囲第８項に記載の画像分類基準更新方法。
  14. 　請求の範囲第１項から請求の範囲第１３項のいずれか一項に記載の画像分類基準更新方法をコンピュータに実行させるためのプログラム。
  15. 　画像データの分類を行う画像分類装置であって、
    　前記画像データを分類する際の基準となる画像データの情報が登録されている分類基準データと、新規に入力された画像データを前記分類基準データを使用して分類した結果としての画像データの情報が登録されている分類データと、
    　を格納している記憶部と、
    　入力部を介して、前記分類データに登録されている画像データのうちの任意の画像データの情報を選択し、
    　前記入力部を介して、前記選択した画像データの情報を前記分類基準データに追加登録する旨の指示が入力されると、
    　前記選択した画像データの情報を前記分類基準データに追加登録する表示処理部と
    　を有することを特徴とする画像分類装置。
  16. 　画像データの分類を行う画像分類装置であって、
    　前記画像データがカテゴリ毎に分かれて格納されており、画像データを分類する際の基準となる画像データの情報が登録されている分類基準データ
    　を格納している記憶部と、
    　前記分類基準データに登録されている画像データの情報のうちの任意の画像データの情報を選択し、前記分類基準データにおける前記選択した画像データの情報が格納されているカテゴリとは異なるカテゴリに前記選択した画像データの情報を移動する旨の指示が入力されると、前記選択した画像データの情報を、前記分類基準データにおける前記他のカテゴリに移動する表示処理部と
    　を有することを特徴とする画像分類装置。
PCT/JP2009/071774 2008-12-29 2009-12-28 画像分類基準更新方法、プログラムおよび画像分類装置 Ceased WO2010076882A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/142,812 US8625906B2 (en) 2008-12-29 2009-12-28 Image classification standard update method, program, and image classification device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-335779 2008-12-29
JP2008335779A JP5075111B2 (ja) 2008-12-29 2008-12-29 画像分類基準更新方法、プログラムおよび画像分類装置

Publications (1)

Publication Number Publication Date
WO2010076882A1 true WO2010076882A1 (ja) 2010-07-08

Family

ID=42309929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/071774 Ceased WO2010076882A1 (ja) 2008-12-29 2009-12-28 画像分類基準更新方法、プログラムおよび画像分類装置

Country Status (3)

Country Link
US (1) US8625906B2 (ja)
JP (1) JP5075111B2 (ja)
WO (1) WO2010076882A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194210A1 (ja) * 2015-06-04 2016-12-08 株式会社日立ハイテクノロジーズ 欠陥画像分類装置および欠陥画像分類方法
WO2020004101A1 (ja) * 2018-06-27 2020-01-02 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
US11177111B2 (en) 2019-04-19 2021-11-16 Hitachi High-Tech Corporation Defect observation device

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5214762B2 (ja) 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
JP5707291B2 (ja) * 2011-09-29 2015-04-30 株式会社日立ハイテクノロジーズ 画像分類支援を行う荷電粒子線装置
US9607233B2 (en) * 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
JP5947169B2 (ja) * 2012-09-14 2016-07-06 株式会社キーエンス 外観検査装置、外観検査法およびプログラム
TW201430336A (zh) * 2013-01-23 2014-08-01 Huang Tian Xing 缺陷檢測方法、裝置及系統
US20140241618A1 (en) * 2013-02-28 2014-08-28 Hewlett-Packard Development Company, L.P. Combining Region Based Image Classifiers
JP6201779B2 (ja) * 2014-01-20 2017-09-27 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6284791B2 (ja) * 2014-03-11 2018-02-28 株式会社神戸製鋼所 欠陥分類装置及びそのメンテナンス方法
KR102221684B1 (ko) * 2014-03-17 2021-03-02 에스케이플래닛 주식회사 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
US9535010B2 (en) * 2014-05-15 2017-01-03 Kla-Tencor Corp. Defect sampling for electron beam review based on defect attributes from optical inspection and optical review
US9959482B2 (en) 2014-11-28 2018-05-01 Canon Kabushiki Kaisha Classifying method, storage medium, inspection method, and inspection apparatus
US10248888B2 (en) 2014-11-28 2019-04-02 Canon Kabushiki Kaisha Classifying method, storage medium, inspection method, and inspection apparatus
JP6367736B2 (ja) * 2015-02-23 2018-08-01 シャープ株式会社 検査支援装置
CN104765173B (zh) * 2015-04-29 2018-01-16 京东方科技集团股份有限公司 一种检测装置及其检测方法
US10620131B2 (en) 2015-05-26 2020-04-14 Mitsubishi Electric Corporation Detection apparatus and detection method
JP6531036B2 (ja) * 2015-12-08 2019-06-12 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
EP3340106B1 (en) * 2016-12-23 2023-02-08 Hexagon Technology Center GmbH Method and system for assigning particular classes of interest within measurement data
WO2019065582A1 (ja) * 2017-09-29 2019-04-04 富士フイルム株式会社 画像データ判別システム、画像データ判別プログラム、画像データ判別方法、及び撮像システム
JP6936957B2 (ja) 2017-11-07 2021-09-22 オムロン株式会社 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
JP7004145B2 (ja) 2017-11-15 2022-01-21 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP7144244B2 (ja) 2018-08-31 2022-09-29 株式会社日立ハイテク パターン検査システム
JP7192720B2 (ja) * 2019-09-04 2022-12-20 信越化学工業株式会社 フォトマスクブランクの欠陥分類方法及び欠陥分類システム並びにフォトマスクブランクの選別方法及び製造方法
JP7532288B2 (ja) * 2021-03-04 2024-08-13 キオクシア株式会社 検査結果分析装置および検査結果分析プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235522A (en) * 1990-10-10 1993-08-10 Cell Analysis Systems, Inc. Method and apparatus for automated analysis of biological specimens
JP3476913B2 (ja) 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
JP2005033712A (ja) * 2003-07-11 2005-02-03 Sony Corp 情報処理装置および方法、並びにプログラム
JP4176041B2 (ja) * 2004-04-14 2008-11-05 オリンパス株式会社 分類装置及び分類方法
JP2005309535A (ja) 2004-04-16 2005-11-04 Hitachi High-Technologies Corp 画像自動分類方法
JP4429236B2 (ja) * 2005-08-19 2010-03-10 富士通株式会社 分類ルール作成支援方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016194210A1 (ja) * 2015-06-04 2016-12-08 株式会社日立ハイテクノロジーズ 欠陥画像分類装置および欠陥画像分類方法
KR20170141255A (ko) * 2015-06-04 2017-12-22 가부시키가이샤 히다치 하이테크놀로지즈 결함 화상 분류 장치 및 결함 화상 분류 방법
KR101978995B1 (ko) 2015-06-04 2019-05-16 가부시키가이샤 히다치 하이테크놀로지즈 결함 화상 분류 장치 및 결함 화상 분류 방법
WO2020004101A1 (ja) * 2018-06-27 2020-01-02 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
JPWO2020004101A1 (ja) * 2018-06-27 2020-07-02 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
US12136148B2 (en) 2018-06-27 2024-11-05 K.K. Cybo Method, system, device, and program for displaying probabilistic classification results
US11177111B2 (en) 2019-04-19 2021-11-16 Hitachi High-Tech Corporation Defect observation device

Also Published As

Publication number Publication date
US20110274362A1 (en) 2011-11-10
US8625906B2 (en) 2014-01-07
JP2010157154A (ja) 2010-07-15
JP5075111B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5075111B2 (ja) 画像分類基準更新方法、プログラムおよび画像分類装置
JP4220595B2 (ja) 欠陥の分類方法並びに教示用データ作成方法
KR102083706B1 (ko) 반도체 검사 레시피 생성, 결함 리뷰 및 계측을 위한 적응적 샘플링
JP4014379B2 (ja) 欠陥レビュー装置及び方法
EP4060607A1 (en) Information processing device, information processing method, and program
US7113628B1 (en) Defect image classifying method and apparatus and a semiconductor device manufacturing process based on the method and apparatus
CN100428277C (zh) 缺陷检查系统
US8428336B2 (en) Inspecting method, inspecting system, and method for manufacturing electronic devices
EP3785021A1 (en) System and method for performing automated analysis of air samples
CN115298539B (zh) 外观检查系统和计算机程序
JP2019212073A (ja) 画像判別装置および方法
JP2012083147A (ja) 欠陥分類システム及び欠陥分類装置及び画像撮像装置
JP2004294358A (ja) 欠陥検査方法および装置
CN109598698A (zh) 用于对多个项进行分类的系统、方法和计算机程序产品
CN106290375A (zh) 基于激光选区烧结技术的非接触式在线缺陷自动检测系统
JP2007134498A (ja) 欠陥データ処理及びレビュー装置
US20080226158A1 (en) Data Processor and Data Processing Method
KR102772124B1 (ko) 결함 검사 시스템 및 결함 검사 방법
JP5323457B2 (ja) 観察条件決定支援装置および観察条件決定支援方法
CN112213315A (zh) 外观检查管理系统、装置、方法以及存储介质
WO2016092614A1 (ja) 欠陥検査装置、表示装置、及び欠陥分類装置
JP7658119B2 (ja) 支援装置および方法
CN118302790A (zh) 示教数据作成辅助装置、示教数据作成辅助方法
JP4976112B2 (ja) 欠陥レビュー方法および装置
JP4652917B2 (ja) 欠陥データ処理方法、およびデータの処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09836219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13142812

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09836219

Country of ref document: EP

Kind code of ref document: A1