WO2017203572A1 - 欠陥画像分類装置および欠陥画像分類方法 - Google Patents
欠陥画像分類装置および欠陥画像分類方法 Download PDFInfo
- Publication number
- WO2017203572A1 WO2017203572A1 PCT/JP2016/065189 JP2016065189W WO2017203572A1 WO 2017203572 A1 WO2017203572 A1 WO 2017203572A1 JP 2016065189 W JP2016065189 W JP 2016065189W WO 2017203572 A1 WO2017203572 A1 WO 2017203572A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- defect
- image
- unit
- screen
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
- G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
Definitions
- the present invention relates to a method and an apparatus for classifying an image obtained by imaging a defect site generated during the manufacture of a semiconductor wafer according to the type and cause of the defect, and more specifically, an interface for displaying a defect image.
- the present invention relates to a defect image classification apparatus and a defect image classification method provided with a method and means for providing a defect type label by changing a designated coordinate input with a mouse cursor or a touch panel on an interface.
- an optical wafer inspection apparatus As a typical inspection apparatus, there is an optical wafer inspection apparatus. For example, an optical image of the wafer surface is picked up by bright field illumination, for example, and a defect is inspected by comparison with an image of a non-defective part (for example, an image of an adjacent chip).
- a non-defective part for example, an image of an adjacent chip.
- such an optical inspection apparatus is affected by the illumination wavelength, and the resolution limit of an acquired image is about several hundred nanometers. Therefore, it is only possible to detect the presence or absence of defects on the order of several tens of nanometers on the wafer, and when a detailed defect analysis is performed, a defect observation apparatus with a higher imaging resolution is required separately.
- the defect observation apparatus is an apparatus that images a defect position on a wafer with high resolution using the output of the inspection apparatus and outputs an image, and an observation apparatus (SEM: Scanning Electron Microscope) observation apparatus ( Hereinafter, the review SEM) is widely used.
- SEM Scanning Electron Microscope
- ADR Automatic Defect Review
- ADC Automatic Defect Classification
- Patent Document 1 Japanese Patent Application Laid-Open No. 2007-225531
- the classification parameters for example, the classification identification plane
- the classification parameters for example, the classification identification plane
- ⁇ Utilization of a teaching type classifier is effective for automatic defect classification, but learning of the teaching polymorphic classifier requires the user to teach the defect type to the image in advance.
- Japanese Patent Application Laid-Open No. 2004-228561 describes that a combination system between a rule classifier and a teaching classifier is automatically changed to automatically construct a classification system that matches a user's classification standard. No consideration is given to reducing effort and teaching the classification of cases that span multiple defect types.
- the teaching work is repeated by visually observing the image displayed on the screen, determining the defect type, and inputting the determined defect type.
- a method of inputting a defect type a method of selecting a corresponding defect type from items listed in Patent Document 3 is disclosed.
- Patent Document 3 a method of selecting a corresponding defect type from items listed in Patent Document 3.
- a method of specifying a defect type using a keyboard can be considered.
- a numerical code may be assigned for each defect type and input using a numeric keypad.
- This method requires an input device such as a numeric keypad in addition to a display as an image display device, and requires a desk or the like for stable input.
- a tablet terminal or the like having a touch panel in the image display unit is used as a classification device, portability is reduced when an input device such as a numeric keypad is connected.
- a software keyboard may be used, a software keyboard display area is required, and the display area for images and image supplementary information is limited accordingly.
- the present invention provides a defect image classification apparatus and a defect image classification method capable of solving the above-described problems of the prior art, reducing the burden of teaching a defect type by a user, and reducing labor and time. Is.
- the present invention provides a defect image classification device and a defect image classification method capable of providing a plurality of defect type labels to a defect image and corresponding to a boundary example of a defect type.
- the present application includes a plurality of means for solving the above-described problems.
- a defect type teaching unit for teaching a defect type for a defect image, a defect classification unit for classifying a defect image, and the like.
- the defect type teaching unit moves the indicator displayed on the screen of the display unit and a display unit having a screen displaying a list of defect images, a list of defect type labels, and an indicator.
- a coordinate value analysis unit that analyzes the coordinate value of the defect, and a defect that associates the defect displayed on the display unit with the defect type displayed on the defect label list based on the coordinate value information of the indicator analyzed by the coordinate value analysis unit
- the defect classification unit is configured to classify the defect image using information on the relationship between the defect image and the defect type associated by the defect type labeling unit.
- the defect type teaching unit teaches the type of defect for the defect image displayed on the screen, and the defect classification unit classifies the defect image acquired by the image pickup device based on the information taught the defect type.
- the defect image classification method when the defect type teaching unit teaches the type of defect, a list of defect images and defect type labels and indicators are displayed on the screen, and the indicator displayed on the screen is moved.
- the coordinate value analysis unit analyzed the coordinate value of the indicator, and based on the indicator coordinate value information analyzed by the coordinate value analysis unit, the defect type labeling unit displayed on the list of defects and defect labels Using the information on the relationship between the defect image and the defect type associated with the defect type labeling unit, the defect classification unit classifies the defect image acquired by the image capturing apparatus by associating with the defect type. Image Recessed was performed by classifying the.
- the user can teach the defect type by changing the indicated position on the image display interface (gesture on the interface). This eliminates the need to search for a corresponding defect type from a large number of items included in the defect type list, thereby reducing labor and time. Moreover, an external input device such as a mouse or a numeric keypad becomes unnecessary by combining with a touch panel or the like.
- a plurality of defect type labels can be assigned to a defect image.
- a defect type boundary case for example, a case where a defect is short-circuited
- a plurality of defect type labels in the above example
- the boundary case can be discriminated, so that the learning accuracy is improved.
- the present invention teaches a defect type teaching unit for a defect image displayed on a screen by a defect type teaching unit, and acquires a defect image acquired by an image pickup apparatus based on information taught for the defect type.
- the defect type teaching unit teaches the type of the defect, the defect image, the list of defect type labels, and the indicator are displayed on the screen and displayed on the screen.
- the coordinate value when the indicator is moved is analyzed by the coordinate value analysis unit, and the defect type and the label of the defect label displayed on the screen by the defect type labeling unit based on the information of the coordinate value of the indicator analyzed by the coordinate value analysis unit.
- the relationship between the defect type displayed in the list and the defect image acquired by the image pickup device is classified by the defect classification unit. It was performed by classifying the image of the defect by using the information. As a result, the burden of teaching the defect type by the user can be reduced, and labor and time can be reduced. In addition, a plurality of defect type labels can be assigned to the defect image, and it is possible to deal with a boundary example of defect types.
- an observation apparatus including a scanning electron microscope (SEM) will be described as an image imaging apparatus.
- the imaging apparatus according to the present invention may be other than the SEM, and charged particles such as an optical microscope and ions.
- An imaging device using the above may be used.
- photographed the defect on a semiconductor wafer is made into object as an image of classification
- FIG. 1 is a block diagram showing a configuration of a defect image classification apparatus according to the present invention.
- the defect image classification apparatus according to the present invention includes a defect type teaching apparatus 101 and a defect image automatic classification apparatus 110, and is connected to the image capturing apparatus 102.
- the defect type teaching apparatus 101, the image imaging apparatus 102, and the defect image automatic classification apparatus 110 are connected by the network 103, and the image captured by the image imaging apparatus 102 and its accompanying information, the defect type label given by the defect type teaching apparatus 101, etc. Can be transmitted and received via the network 103.
- the defect type teaching apparatus 101 includes a network interface unit 104 that controls the exchange of information via the network 103, a storage unit 105 that stores information such as image information in a magnetic disk or semiconductor memory, a user interface control unit 106, and a user interface.
- An input / output unit 107 including a screen 1071 and a mouse connected to the control unit 106, and a calculation unit 108 that performs various calculations according to a program are connected to each other.
- the storage unit 105 includes an image storage unit 1051 that stores an image and its accompanying information, and a label storage unit 1052 that stores an operation label and a defect type label in association with each other.
- the user interface control unit 106 includes an instruction coordinate value acquisition unit 1061 that acquires the coordinates of the position indicated by the user on the user interface displayed on the screen (display) 1071 of the input / output unit 107, and an image on the screen (display). ) 1071 is provided with an image display control unit 1062.
- the calculation unit 108 analyzes a continuous value of the designated coordinate value acquired by the designated coordinate value acquisition unit 1061, and determines a motion label to determine a motion label, and a defect type label corresponding to the motion label is attached to the image.
- a defect label applying unit 1082 provided as information, an automatic teaching parameter adjusting unit 1083 that automatically adjusts the correspondence between the action label and the defect type label, and an appearance feature amount calculating unit 1084 that quantifies the appearance characteristics of the captured image are provided.
- the defect image automatic classification device 110 includes an appearance feature amount calculation unit 1101 that quantifies appearance features from the captured image as feature amounts, and the calculated appearance feature amount and the defect type label assigned to the image by the defect type teaching device 101.
- a learning unit 1102 that adjusts the classifier by a machine learning method and a classification unit 1103 that classifies an image using the classifier adjusted by learning are provided.
- FIG. 2 shows a configuration of the image pickup apparatus 102 connected to the defect image classification apparatus according to the present invention.
- the image capturing apparatus 102 is connected to the inside via a network 214 to perform image capturing, an SEM 201 that captures an image, a control unit 202 that performs overall control, a storage unit 203 that stores information in a magnetic disk or a semiconductor memory, and an arithmetic operation according to a program.
- An operation unit 204 that performs input / output, an external storage medium input / output unit 205 that performs input / output of information with an external storage medium connected to the apparatus, a user interface control unit 206 that controls input / output of information with a user, and a network 103.
- a network interface unit 207 that communicates with the defect type teaching apparatus 101, the defect image automatic classification apparatus 110, and the like.
- the user interface control unit 206 is connected to an input / output terminal 213 including a keyboard, a mouse, a display, and the like.
- the SEM 201 includes a movable stage 2014 on which the sample wafer 220 is mounted, an electron source 2011 for irradiating the sample wafer 220 with an electron beam, a detector 2012 that detects secondary electrons 2016 and reflected electrons 2017 generated from the sample wafer 220, and the like.
- An electron lens (not shown) for converging the electron beam on the sample, a deflector (not shown) for scanning the electron beam on the sample wafer, and a signal from the detector 2012 are converted into digital data.
- the image forming unit 2013 includes an image generating unit 2013 that generates an image.
- a method for acquiring an image to be classified as a defect image that is, an image of a defective portion on a sample and automatically classifying the defect for each defect type will be described with reference to the flowchart of FIG.
- a sample wafer 220 to be observed is loaded onto the movable stage 2014 (wafer load: S301), and the control unit 202 captures image capturing conditions (acceleration voltage, probe current, number of added frames, etc.) according to the observation target from the storage unit 203. ) And a recipe in which image processing conditions are stored, and setting of an electron optical system such as an electron lens and a deflector (not shown in FIG. 2) of the SEM 201 is performed according to the read condition (recipe reading electron optical system setting: S302). ).
- defect coordinate reading S303
- the defect coordinates are obtained by inspecting the observation target sample in advance using an external optical defect inspection apparatus (not shown) or the like, and are stored in the storage unit 203.
- the subsequent processes S304 to S307 are performed for each of the read observation target coordinates.
- control unit 202 moves the movable stage 2014 so that the coordinates of the observation target are included in the imaging field of view of the SEM 201 (stage movement: S304), and the control unit 202 controls the electron beam 2015 to capture the imaging field of view.
- the secondary electrons 2016 and the reflected electrons 2017 emitted from the sample wafer 220 are detected by a plurality of detectors 2012. Signals detected by the plurality of detectors 2012 are respectively imaged by the imaging unit 2013 to obtain a plurality of detector images (image acquisition: S305).
- the plurality of imaged detector images are stored in the storage unit 203 as a set of images obtained by imaging the defective part (image storage: S306).
- image storage: S306 image storage: S306
- the defect type automatic classification process S307 may be executed without waiting for acquisition of all images, or may be executed after acquisition of each image.
- the defect type is taught using the defect type teaching apparatus 101 and the classification parameter is adjusted using the learning unit 1102 of the defect image automatic classification apparatus 110 (classification parameter adjustment: (S308), the process proceeds to an automatic defect type classification process (S307) to classify the captured images using the classification unit 1103 of the automatic defect image classification apparatus 110, and the defect type label as the classification result is attached to the image.
- classification parameter adjustment: (S308) the process proceeds to an automatic defect type classification process (S307) to classify the captured images using the classification unit 1103 of the automatic defect image classification apparatus 110, and the defect type label as the classification result is attached to the image.
- classification parameter adjustment process (S308) will be described with reference to FIG.
- the classification parameters are adjusted using a teaching machine learning technique. Therefore, a defect type label that is correct for each image is taught.
- parameters related to the teaching method are read from the label storage unit 1052 of the storage unit 105 and set (teaching parameter setting: S401).
- the parameters include a list of defect type labels stored in the label storage unit 1052, a method for giving defect type labels, and the like, and are set by a method described later.
- the defect type is taught for each acquired image (defect type teaching: S402). This teaching work is a work performed by the user using the user interface according to the present embodiment.
- the image with the defect type label is transmitted from the network interface unit 104 to the defect image automatic classification apparatus 110 via the network 103 and used for machine learning in the learning unit 1102 ( Machine learning: S404).
- the appearance feature quantity calculation unit 1101 is used to calculate the appearance feature quantity of the defective part or the circuit pattern from the image. After the appearance feature value is calculated by the appearance feature value calculation unit 1101, the learning unit 1102 adjusts the classification parameter by a machine learning method using the assigned defect type label as the correct answer label.
- a method such as SVM (Support Vector Machine) or a neural network may be used, or a rule-based classifier may be used in combination as described in Patent Document 1.
- defect type teaching interface (user interface) screen 500 displayed on the screen 1071 of the input / output unit 107 will be described with reference to FIG.
- the defect type teaching interface screen 500 includes an interface area 501 for displaying a list of defined defect type labels stored in the label storage unit 1052, an interface area 502 including buttons for switching display images, and the like.
- An interface area 503 for displaying the image stored in 1051 and an interface area 504 for displaying / editing the assigned defect type label are provided.
- a teaching parameter setting button 505 for calling up a screen for setting parameters relating to the teaching method a save button 506 for storing teaching defects, and a cancel button 507 for interrupting teaching work are provided.
- the user adds a defect type label to the defect image by changing the indication position of the indicator 508 on the interface screen 500.
- the designated position of the indicator 508 is that the user designates the position on the screen of the interface screen 500 for teaching the defect type by pressing the button of the mouse or touching on the touch panel.
- the change in the designated position is a continuous change in designated position on the defect type teaching interface screen 500 from the start to the end of the designated position.
- the screen In the case of a mouse operation, the screen from the button depression to the position where the button is released.
- This is a change in the position of the indicator 508, and in the case of an operation using the touch panel, it is a change from the position where the finger or pen is placed to the position where it is separated.
- This change in position is calculated by the coordinate value analysis unit 1081 of the calculation unit 108.
- 6A and 6B are examples of assignment of defect type labels to changes in the designated position.
- the user can change (move) the indication position of the indicator 508 from the bottom to the top along the arrow 510 to add a defect type label “Short” to the image.
- I mean. That is, in the case of an apparatus using a touch panel, it is possible to give a defect type label by tracing the screen with a finger or a pen from the bottom to the top.
- the labeling of the defect type is performed by the defect labeling unit 1082 of the calculation unit 108.
- FIG. 6A shows an example in which the direction of change of the designated position is divided into eight directions and a defect type label is assigned to each direction.
- the direction needs to be specified strictly. Therefore, as shown in FIG. 6B, after the indicator 508 is moved to the right along the line 520, a more complicated designated position change is assigned to the defect type label so as to move downward along the line 521. Also good.
- the change operation of the designated position for assigning the defect type label is referred to as a defect type label applying operation.
- an image in which an instruction position change and a defect type label as shown in FIG. 6A are associated with each other in the vicinity of the instruction start position may be displayed on the screen as a guide. Further, the display image may be dynamically switched according to the change of the designated position. As a result, the defect type label can be applied even if the defect type label applying operation is not remembered.
- a plurality of defect type labels can be given to the defect image.
- the defect type label “Short” is given by changing the indication position of the indicator 508 in the upward direction along the arrow 510 as described above, the indication position of the indicator 508 in the direction of the arrow 511, that is, in the right direction. It is possible to give a defect type label “Particle” by changing. As a result, when the target image is a boundary case, it is not necessary to make a detailed determination about the defect type label that is the correct answer, and the psychological load can be reduced.
- the boundary cases can be discriminated, so that the learning accuracy is improved.
- a special defect type label representing a boundary case may be set and added to the image.
- machine learning processing it is possible to suppress overlearning by reducing the weight of an image that is determined to be a boundary case, and an improvement in classification performance can be expected.
- the coordinate value of the designated position of the indicator 508 while the position is designated on the interface screen 500 is acquired as a continuous value (designated coordinate value storage: S701).
- the obtained coordinate value is analyzed by the coordinate value analysis unit 1081 of the calculation unit 108 to obtain an action label representing the action (coordinate value analysis: S702).
- coordinate value analysis S702
- a coordinate value analysis method process performed by the coordinate value analysis unit 1081 will be described with reference to FIG.
- FIG. 9A and FIG. 9B show examples of calculation of feature amounts.
- FIG. 9B shows a result of calculating the amount of change in the x direction and the y direction as the feature amount from the continuous coordinate values of the indication position of the indicator 508 in FIG. 9A.
- An action label is obtained by classifying the 2 ⁇ P-dimensional feature quantity using a classifier created in advance (action label determination: S802).
- action label determination: S802 By using a teaching type classifier as a discriminator, it is possible to learn an operation input by a user and assign an operation label.
- the defect label assigning unit 1082 determines a defect image to be assigned a defect type label (target image determination: S703).
- FIG. 5 shows an example in which only one image is displayed in the interface area 503 for displaying an image, but in the image display interface area 1001 like the defect type teaching interface screen 1000 shown in FIG. A plurality of images 10011 to 10014 may be displayed simultaneously. At this time, based on the start position 1002 of the instruction by the indicator 508 and the end position 1003 of the instruction, an image to be assigned with the defect type label is determined.
- the image displayed at the start position 1002 where the instruction is started (image 10014 in the example shown in FIG. 10) may be targeted.
- a plurality of images may be selected, and the selected images may be set as the defect type label application targets.
- the defect type label is assigned to the target image based on the action label (defect type label assignment: S704).
- the defect type label 1111 and the action label 1112 are associated as shown in FIG. 11 and stored in the label storage unit 1052 as teaching parameters.
- the defect type labeling process executed by the defect label assigning unit 1082: S704 is performed in association as shown in FIG. 11 based on the action label obtained from the coordinate value analyzing process: S702 in the coordinate value analyzing unit 1081.
- the defect type label is determined based on the image, and the target image determination process: the defect type label is assigned as the incidental information of the image for all the images determined as the target in S703.
- the correspondence between the defect type label and the action label can be adjusted as a teaching parameter.
- FIG. 12 is a diagram showing a teaching parameter adjustment screen 1200 executed by the teaching parameter automatic adjustment unit 1083.
- a list of defined defect type labels is displayed, and a defect type label display interface area 1201 that allows selection, and a list of registered operation labels is displayed as an icon for selection.
- Interface area 1202 a button 1203 for automatically adjusting a defect type label from a plurality of captured defect images, a button 1205 for newly adding a defect type label, a button 1204 for deleting a defect type label from the list, a defect Interface area 1206 for adjusting the arrangement order displayed in the list of seed labels, button 1207 for automatically assigning operation labels according to the order displayed in the list of defect type labels, button for newly registering operation labels 1208.
- a button 1209 for reading teaching parameters from the storage unit 105, a button 1210 for saving in the storage unit, and a button 1211 for interrupting setting are provided.
- the defect type label to be changed is selected from the defect type label display interface area 1201, and the interface area 1202 displays the list of operation labels as icons.
- a desired action label is selected from As a result, the action label corresponding to the defect type label stored in the label storage unit 1052 is changed to the selected action label.
- the label assignment unit 10832 included in the teaching parameter automatic adjustment unit 1083 causes the operation label with a low workload according to the order displayed in the defect type label display interface area 1201. Assign.
- the work load here may be based on, for example, the number of inflection points in the defect type labeling operation.
- the teaching parameter automatic adjustment unit 1083 has a function of automatically extracting defect type candidates.
- the teaching parameter automatic adjustment unit 1083 includes an image clustering unit 10831 that clusters captured images based on the feature amounts obtained by the appearance feature amount calculation unit 1084. Each cluster is a set of images having a similar appearance, and each cluster can be expected to correspond to some kind of defect.
- FIG. 13 shows an interface screen 1300 for using this function.
- This interface screen 1300 can be called through a button 1203 for automatically adjusting a defect type label from a plurality of captured defect images.
- the interface screen 1300 includes an interface area 1301 for adjusting and executing clustering processing parameters for a plurality of images, an interface area 1302 for displaying and selecting a clustering result, and an interface area for displaying a list of images in the cluster. 1303, an interface 1304 for changing the name of the cluster, and an interface 1305 for deleting the cluster. Further, an interface 1306 for saving the result and an interface 1307 for discarding the result are provided.
- k-Means or hierarchical clustering method may be used. It is possible to define a defect type label by naming each cluster through this interface screen 1300 and deleting unnecessary clusters. Further, by ordering according to the number of images in the cluster, it is possible to automatically assign an operation with a low workload to a defect type having a high occurrence frequency through the label assigning unit 10832.
- the meaning of the defect type may be added to the change axis of the indicated position of the indicator 508.
- a position where a defect exists due to a change in position in the x-axis direction is specified, and the type of defect (Particle) is determined by a change in position in the y-axis direction. 1403 or Void: 1404).
- the user includes the screen 1071 that displays the interface image and the designated coordinate value acquisition unit 1061 that acquires the position indicated by the user through the input / output unit 107 as the coordinate value on the screen 1071 that displays the interface image.
- An interface control unit 106, a calculation unit 108 including a coordinate value analysis unit 1081 that determines an operation label from the amount of change in each direction of consecutive designated coordinate values, and a defect type label as incidental information of an image according to the operation label By including the storage unit 105 including the image storage unit 1051 for storing, it is possible to reduce labor and time required to classify a plurality of defect images.
- an appearance feature amount calculation unit 1084 that calculates a feature amount from the captured defect image, an image clustering unit 10831 that divides the defect image into a plurality of clusters based on the calculated feature amount, and each cluster.
- an instruction coordinate value acquisition unit 1061 that acquires, as coordinate values on the image display interface, a position instructed by the user through the input device to the defect type teaching apparatus 101, and a change in each change direction of consecutive instruction coordinate values.
- the coordinate value analysis unit 1081 that determines the action label from the amount and the image storage unit 1051 that stores the defect type label as the incidental information of the image according to the action label reduce the labor and time required for defect classification. Said how to do.
- This method is a method in which a user visually recognizes an image to determine a defect type and assigns a defect type label by performing an operation corresponding to the defect type.
- Example 2 describes a method of assigning a defect type label to an image by selecting a defect type label and selecting an image corresponding to the defect type label from a list.
- the apparatus configuration according to the present embodiment is the same as that shown in FIG.
- the sample observation process flow and the classification parameter adjustment process flow are the same as those in FIGS. 3 and 4 shown in the first embodiment.
- the difference is the interface related to the defect type teaching process (S403).
- FIG. 15 shows a defect type teaching interface screen 1500 according to the present embodiment. It includes an interface area 1501 that allows a list of defined defect type labels to be displayed and selected, an interface area 1502 that switches display images, and an interface area 1503 that allows images to be displayed and selected.
- the interface area 1501 for displaying / selecting the defect label list can store the selected defect type label. After a defect type label to be assigned is selected from the defect label list, defect images corresponding to the selected defect type label can be sequentially specified from the displayed images. An image is designated and the selected defect type label is attached as supplementary information of the image.
- a touch panel capable of acquiring a plurality of designated positions may be used.
- the position 1504 designated in the interface area 1501 for displaying a list of defect labels and the position 1505 designated in the interface area 1503 for displaying a list of images are acquired, and the image displayed at the designated position 1505 is acquired.
- the instructed defect type label may be provided.
- DESCRIPTION OF SYMBOLS 101 ... Defect kind teaching device 102 ... Image pick-up device 105 ... Memory
- storage part 106 ... User interface control part 107 ... Input / output part 108 ... Operation part 1081 ... Coordinate value analysis part 1082: Defect label assignment unit 1083 ... Automatic teaching parameter adjustment unit 110 ... Automatic defect image classification device 1101 ... Appearance feature amount calculation unit 1102 ... Learning unit 1103 ... Classification unit 201 ... -Scanning electron microscope (SEM).
- SEM scanning electron microscope
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
欠陥の画像に対して欠陥の種類を教示する欠陥種教示部と、欠陥の画像を分類する欠陥分類部とを備えた欠陥画像分類装置において、欠陥種教示部は、欠陥の画像と欠陥種ラベルの一覧とインジケータを表示する画面を有する表示部と、この表示部の画面に表示されたインジケータを動かした時の座標値を解析する座標値解析部と、座標値解析部で解析したインジケータの座標値の情報に基づいて表示部に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付ける欠陥種ラベル付け部とを備え、欠陥分類部は、欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類するように構成して、ユーザによる欠陥種の教示の負担を軽減して、労力と時間を削減できるようにした。
Description
本発明は半導体ウェハの製造中において生じた欠陥部位を撮像した画像を、欠陥の種類や発生原因ごとに分類する方法およびその装置に関するものであって、より詳細には欠陥画像を表示するインターフェースを備え、インターフェース上において、マウスカーソルもしくはタッチパネルなどで入力した指示座標の変化により欠陥種類のラベルを付与する方法および手段を備えた欠陥画像分類装置および欠陥画像分類方法に関するものである。
半導体ウェハの製造では、製造プロセスを迅速に立ち上げ、高歩留まりの量産体制に早期に移行させることが、収益確保のため重要である。この目的のため、製造ラインには各種の検査・計測装置が導入されている。
代表的な検査装置としては、光学式のウェハ検査装置がある。これは、例えば明視野照明により、ウェハ表面の光学画像を撮像し、良品部位の画像(例えば隣接チップの画像)との比較により欠陥を検査する。ただし、このような光学検査装置は、その照明波長の影響を受け、取得画像の分解能限界は数百ナノメートル程度となる。よって、ウェハ上における数十ナノメートルオーダの欠陥に関しては、その有無を検出できるのみであり、詳細な欠陥解析を行う場合は、別途より撮像分解能の高い欠陥観察装置などが必要になる。
欠陥観察装置とは、検査装置の出力を用いてウェハ上の欠陥位置を高解像度に撮像し、画像を出力する装置であり、走査型電子顕微鏡(SEM:Scanning Eelectron Microscope)を用いた観察装置(以下、レビューSEMと記載)が広く使われている。半導体の量産ラインでは観察作業の自動化が望まれており、レビューSEMは試料内の欠陥位置における画像を自動収集する欠陥画像自動収集処理(ADR:Automatic Defect Review)と、収集した欠陥画像を自動で分類する欠陥画像自動分類処理(ADC:Automatic Defect Classification)を搭載している。
欠陥画像の自動分類の一方法として、画像処理により欠陥部位の外観特徴量を定量化し、ニューラルネットワークを用いて分類する方法がある。また、分類すべき欠陥の種類が多い場合においても容易に対応可能な方法として、ルールベース分類手法と教示分類手法を組み合わせて分類する方法が、特開2007-225531号公報(特許文献1)に記載されている。
なお、教示分類手法を用いる際にはユーザにより欠陥種を教示された画像を用いて識別器の分類パラメータ(例えば分類識別面)を自動調整すること(学習)が必要である。この欠陥種の教示に関する一方法として、欠陥画像と欠陥種リストを表示し、リストから選択された欠陥種を対象画像の欠陥種の情報とする方法が、特開2007-127578号公報(特許文献2)に記載されている。この方法では、指定位置の近傍に欠陥リストを表示することで作業負荷の低減を図っている。
欠陥自動分類のためには教示型分類器の活用が有効であるが、教示多型分類器の学習には事前にユーザが画像に対して欠陥種を教示する必要がある。
一般的に教示型分類器の分類正解率が高くなるように調整するためには欠陥種のもつバリエーションを分類器の学習処理に入力することが重要であり、一つの欠陥種において多数枚の画像を入力することが必要である。また、半導体製造プロセスが多様化するにつれ、発生する欠陥の種類も多様となり、分類すべき欠陥種も多岐に渡っている。そのため、教示型分類器を調整するために必要な教示対象の画像枚数が増大している。
一例をあげるとすれば欠陥種としては20種類程度あり、1種類あたり20~50枚の教示が必要となると、400~1、000枚の画像を教示する必要が生じる。また、半導体の製造工程(例えば、露光工程後や、エッチング工程後)ごとに生じる欠陥や、回路パターンの見え方が異なるため、教示作業は各工程において必要となることが多く、多大な労力を要する。
特許文献1には、ルール分類器と教示分類器との結合形態を自動変更してユーザの分類基準に合わせた分類システムを自動構築することが記載されているが、教示工程で発生する多大な労力を軽減することについて、また、複数の欠陥種にまたがるような事例の分類を教示することについては配慮されていない。
教示作業は画面上に表示された画像を目視し、欠陥種を判断し、判断した欠陥種を入力するといったことの繰り返しとなる。欠陥種を入力する方法としては特許文献3にリスト表示された項目の中から該当する欠陥種を選択する方法が開示されている。しかし、欠陥種が20種類程度になるとリスト内から該当する欠陥種を探し出して選択するのに労力と時間を要するという課題が存在することについて、また、複数の欠陥種にまたがるような事例の分類を教示することについて、特許文献2においては配慮されていない。
また、他の方法として、キーボードを用いて欠陥種を指定する方法も考えられる。例えば、欠陥種ごとに数値コードを割り当てておき、テンキーなどを用いて入力すれば良い。この方法は画像表示装置としてのディスプレイに加え、テンキーなどの入力装置が必要であり、安定した入力のためには机などを必要とする。
また、分類装置の形態として画像表示部にタッチパネルを備えたタブレット端末などを用いた場合、テンキーなどの入力装置を繋げると可搬性が低下する。なお、ソフトウェアキーボードを使用しても良いが、ソフトウェアキーボードの表示領域が必要となり、その分画像や画像付帯情報の表示領域が制限される。
本発明は、上記した従来技術の課題を解決して、ユーザによる欠陥種の教示の負担を軽減して、労力と時間を削減することが可能な欠陥画像分類装置および欠陥画像分類方法を提供するものである。また、欠陥画像に対して複数の欠陥種ラベルを付与可能にして、欠陥種の境界事例などに対応することが可能な欠陥画像分類装置および欠陥画像分類方法を提供するものである。
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、欠陥の画像に対して欠陥の種類を教示する欠陥種教示部と、欠陥の画像を分類する欠陥分類部とを備えた欠陥画像分類装置において、欠陥種教示部は、欠陥の画像と欠陥種ラベルの一覧とインジケータを表示する画面を有する表示部と、この表示部の画面に表示されたインジケータを動かした時の座標値を解析する座標値解析部と、座標値解析部で解析したインジケータの座標値の情報に基づいて表示部に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付ける欠陥種ラベル付け部とを備え、欠陥分類部は、欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類するように構成した。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、欠陥の画像に対して欠陥の種類を教示する欠陥種教示部と、欠陥の画像を分類する欠陥分類部とを備えた欠陥画像分類装置において、欠陥種教示部は、欠陥の画像と欠陥種ラベルの一覧とインジケータを表示する画面を有する表示部と、この表示部の画面に表示されたインジケータを動かした時の座標値を解析する座標値解析部と、座標値解析部で解析したインジケータの座標値の情報に基づいて表示部に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付ける欠陥種ラベル付け部とを備え、欠陥分類部は、欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類するように構成した。
また、画面上に表示した欠陥の画像に対して欠陥種教示部で欠陥の種類を教示し、欠陥の種類を教示した情報に基づいて画像撮像装置で取得した欠陥の画像を欠陥分類部で分類する欠陥画像分類方法において、欠陥種教示部で欠陥の種類を教示することを、欠陥の画像と欠陥種ラベルの一覧とインジケータを画面上に表示し、画面上に表示されたインジケータを動かした時の座標値を座標値解析部で解析し、座標値解析部で解析したインジケータの座標値の情報に基づいて欠陥種ラベル付け部で画面上に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付けることにより行い、画像撮像装置で取得した欠陥の画像を欠陥分類部で分類することを、欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類することにより行うようにした。
本発明によれば、ユーザは画像表示インターフェース上における指示位置の変化(インターフェース上でのジェスチャー)によって欠陥種の教示が可能となる。これにより、欠陥種リストに含まれる多数の項目から該当の欠陥種を探索する必要がなくなり、労力と時間を削減することが可能となる。また、タッチパネルなどと組み合わせることによりマウスやテンキーなどの外部入力装置が不要となる。
また、欠陥画像に対して複数の欠陥種ラベルを付与可能としており、欠陥種の境界事例(例えば、異物によりショートしている事例)などにおいては、複数の欠陥種ラベル(前記の例で言えば、異物とショート)を付与することで、分類すべき正解について詳細な判断を下す必要がなくなり、心理的な負荷も低減可能となる。さらには、教示型分類器の学習処理においては、境界事例を判別可能となるため、学習の精度が向上する。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明は、画面上に表示した欠陥の画像に対して欠陥種教示部で欠陥の種類を教示し、欠陥の種類を教示した情報に基づいて画像撮像装置で取得した欠陥の画像を欠陥分類部で分類する欠陥画像分類装置及びその方法において、欠陥種教示部で欠陥の種類を教示することを、欠陥の画像と欠陥種ラベルの一覧とインジケータを画面上に表示し、画面上に表示されたインジケータを動かした時の座標値を座標値解析部で解析し、座標値解析部で解析したインジケータの座標値の情報に基づいて欠陥種ラベル付け部で画面上に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付けることにより行い、画像撮像装置で取得した欠陥の画像を欠陥分類部で分類することを、欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類することにより行うようにした。これにより、ユーザによる欠陥種の教示の負担を軽減して、労力と時間を削減することを可能にした。また、欠陥画像に対して複数の欠陥種ラベルを付与可能にして、欠陥種の境界事例などに対応することを可能にしたものである。
以下に、本発明に関わる欠陥分類装置について図を用いて説明する。各実施例においては、画像の撮像装置として走査型電子顕微鏡(SEM)を備えた観察装置を対象に説明するが、本発明に関わる撮像装置はSEM以外でも良く、光学顕微鏡やイオンなどの荷電粒子を用いた撮像装置でも良い。また、分類対象の画像として半導体ウェハ上の欠陥を撮像した画像を対象に説明するが、フラットパネルディスプレイや生体試料など他の試料を撮像した画像でも良い。
図1は本発明に係る欠陥画像分類装置の構成を示すブロック図である。本発明に係る欠陥画像分類装置は、欠陥種教示装置101と欠陥画像自動分類装置110とを備え、画像撮像装置102と接続されている。欠陥種教示装置101と画像撮像装置102、欠陥画像自動分類装置110はネットワーク103で接続され、画像撮像装置102で撮像した画像とその付帯情報、欠陥種教示装置101によって付与された欠陥種ラベルなどの情報をネットワーク103を介して送受信可能である。
欠陥種教示装置101はネットワーク103を介した情報のやり取りを制御するネットワークインターフェース部104と、画像情報などを磁気ディスクや半導体メモリなどに情報を記憶する記憶部105、ユーザインターフェース制御部106、ユーザインターフェース制御部106に接続された画面1071やマウスなどを備えた入出力部107、プログラムに従い各種演算を行う演算部108を備え、相互に接続されている。
記憶部105は画像とその付帯情報を記憶する画像記憶部1051と、動作ラベルと欠陥種ラベルを結び付けて記憶するラベル記憶部1052を備える。
また、ユーザインターフェース制御部106は、入出力部107の画面(ディスプレイ)1071に表示されたユーザインターフェース上においてユーザが指示した位置の座標を取得する指示座標値取得部1061と、画像を画面(ディスプレイ)1071に表示する画像表示制御部1062を備える。
また、演算部108は指示座標値取得部1061で取得された指示座標値の連続値を解析し、動作ラベルを判定する座標値解析部1081と、動作ラベルに対応した欠陥種ラベルを画像の付帯情報として付与する欠陥ラベル付与部1082と、動作ラベルと欠陥種ラベルの対応関係を自動調整する教示パラメータ自動調整部1083、撮像画像の外観の特徴を定量化する外観特徴量算出部1084を備える。
欠陥画像自動分類装置110は、撮像画像から外観の特徴を特徴量として定量化する外観特徴量算出部1101と、算出した外観特徴量と欠陥種教示装置101により画像に付与された欠陥種ラベルをもとに識別器を機械学習の手法により調整する学習部1102、学習により調整した識別器を用いて画像を分類する分類部1103を備える。
図2は本発明にかかる欠陥画像分類装置と接続する画像撮像装置102の構成を表している。
画像撮像装置102は、内部をネットワーク214で接続されて、画像の撮像を行うSEM201と、全体の制御を行う制御部202、磁気ディスクや半導体メモリなどに情報を記憶する記憶部203、プログラムに従い演算を行う演算部204、装置に接続された外部の記憶媒体との情報の入出力を行う外部記憶媒体入出力部205、ユーザとの情報の入出力を制御するユーザインターフェース制御部206、ネットワーク103を介して欠陥種教示装置101や欠陥画像自動分類装置110などと通信を行うネットワークインターフェース部207を備えている。
また、ユーザインターフェース制御部206には、キーボードやマウス、ディスプレイなどから構成される入出力端末213が接続されている。
SEM201は、試料ウェハ220を搭載する可動ステージ2014、試料ウェハ220に電子ビームを照射するため電子源2011、試料ウェハ220から発生した二次電子2016や反射電子2017などを検出する検出器2012の他、電子ビームを試料上に収束させる電子レンズ(図示せず)や、電子ビームを試料ウェハ上で走査するための偏向器(図示せず)や、検出器2012からの信号をデジタル変換してデジタル画像を生成する画像化部2013等を備えて構成される。
欠陥画像の分類対象となる画像、つまり試料上の欠陥部位の画像を取得し、欠陥種ごとに自動分類するための方法について図3のフロー図を用いて説明する。
まず、観察対象の試料ウェハ220を可動ステージ2014上にロードし(ウェハロード:S301)、制御部202が記憶部203から観察対象に応じた画像撮像条件(加速電圧やプローブ電流、加算フレーム数など)や画像処理条件が記憶されたレシピを読み込み、読み込んだ条件に従ってSEM201の図2で図示を省略した電子レンズや偏向器などの電子光学系の設定などを行う(レシピ読み込み電子光学系設定:S302)。
次に、記憶部203に記憶された欠陥座標を読み込む(観察対象座標読み込み:S303)。なお、欠陥座標は外部の図示していない光学式欠陥検査装置などを用いて観察対象試料を事前に検査することにより得られるものであり、記憶部203に記憶されているものとする。以降の処理S304~S307は読み込んだ観察対象座標それぞれに対して行う。
まず、観察対象の座標がSEM201の撮像視野に含まれるように制御部202で制御して可動ステージ2014の移動を行い(ステージ移動:S304)、制御部202で制御して電子ビーム2015を撮像視野内において走査し、試料ウェハ220から放出された二次電子2016や反射電子2017を複数の検出器2012で検出する。複数の検出器2012で検出された信号を画像化部2013によりそれぞれ画像化し、複数枚の検出器画像を得る(画像取得:S305)。
以降、撮像された複数枚の検出器画像は欠陥部位を撮像した一組の画像として記憶部203に記憶される(画像保存:S306)。なお、以降の説明において、欠陥種の教示は一組の画像に対して行うものとする。
観察対象座標の画像が撮像された後、観察対象試料に対応した分類パラメータ(例えば分類識別面)が機械学習により調整済みの場合、欠陥画像自動分類装置110の分類部1103を用いて撮像した画像を分類し、分類結果である欠陥種ラベルが画像の付帯情報として記憶される(欠陥種自動分類:S307)。なお、分類パラメータが調整済みの場合、欠陥種自動分類処理(S307)は全ての画像取得を待たずに実行しても良く、各画像の取得後に実行するようにしても良い。
観察対象試料に対応した分類パラメータが未調整の場合、欠陥種教示装置101を用いて欠陥種を教示し、欠陥画像自動分類装置110の学習部1102を用いて分類パラメータを調整(分類パラメータ調整:S308)した後に、欠陥種自動分類処理(S307)に進んで、欠陥画像自動分類装置110の分類部1103を用いて撮像した画像を分類し、分類結果である欠陥種ラベルが画像の付帯情報として記憶される。
分類パラメータ調整処理(S308)の詳細フローについて図4を用いて説明する。分類パラメータの調整は教示型機械学習の手法を用いて行う。そのため、各画像に対して正解となる欠陥種ラベルを教示する。
まず、教示方法に係わるパラメータを記憶部105のラベル記憶部1052から読み出し設定する(教示パラメータ設定:S401)。ここでのパラメータとはラベル記憶部1052に記憶されている欠陥種ラベルの一覧や欠陥種ラベルの付与方法などであり、後述する方法により設定されるものである。パラメータ設定後、取得したそれぞれの画像に対して欠陥種の教示を行う(欠陥種教示:S402)。この教示作業は本実施例にかかるユーザインターフェースを用いてユーザが実施する作業である。
対象画像について欠陥種の教示が終了した後、欠陥種ラベルを付与した画像は欠陥画像自動分類装置110へネットワークインターフェース部104からネットワーク103を介して送信され、学習部1102における機械学習に用いられる(機械学習:S404)。
欠陥画像自動分類装置110では外観特徴量算出部1101を用いて画像から欠陥部位や回路パターンの外観特徴量を算出する。外観特徴量算出部1101で外観特徴量を算出後、学習部1102において、付与された欠陥種ラベルを正解ラベルとして機械学習の手法で分類パラメータを調整する。
教示型機械学習の手法としてはSVM(Support Vector Machine)や、ニューラルネットワークなどの手法を用いても良いし、特許文献1に記載されているようにルールベース分類器を組み合わせて用いても良い。
入出力部107の画面1071に表示される欠陥種教示用のインターフェース(ユーザインターフェース)画面500について図5を用いて説明する。
欠陥種教示用のインターフェース画面500には、ラベル記憶部1052に記憶されている定義済みの欠陥種ラベルの一覧を表示するインターフェース領域501、表示画像を切り替えるボタンなどを備えるインターフェース領域502、画像記憶部1051に記憶された画像を表示するインターフェース領域503、付与された欠陥種ラベルを表示・編集するインターフェース領域504を備える。
また、教示方法に係わるパラメータを設定する画面を呼び出す教示パラメータ設定ボタン505、教示欠陥を保存する保存ボタン506、教示作業を中断するキャンセルボタン507を備える。
ユーザは本インターフェース画面500上においてインジケータ508の指示位置に変化を加えることで欠陥種ラベルを欠陥の画像に付与する。ここでインジケータ508の指示位置とはマウスのボタン押し下げや、タッチパネル上におけるタッチ動作により、ユーザが欠陥種教示用のインターフェース画面500の画面上における位置を指示することである。
指示位置の変化とは、指示位置の開始から終了までの欠陥種教示用のインターフェース画面500における連続した指示位置の変化であり、マウス操作であればボタン押し下げからボタンが離された位置までの画面上でのインジケータ508の位置の変化であり、タッチパネルを用いた操作であれば、指やペンが設置した位置から離された位置までの変化である。この位置の変化を演算部108の座標値解析部1081で演算する。
図6A及び図6Bは指示位置の変化に対する欠陥種ラベルの割り当ての一例である。図6Aの例では、ユーザはインジケータ508の指示位置を画面下から上方向に矢印510に沿って変化(移動)させることで画像に「Short」という欠陥種ラベルを付与することが可能なことを意味している。つまりタッチパネルを用いた装置であれば、画面を下から上方向に指やペンなどでなぞることにより欠陥種ラベルの付与が可能である。この欠陥種のラベルの付与は、演算部108の欠陥ラベル付与部1082で行う。
図6Aは指示位置の変化方向を8方向に分割し、各方向に欠陥種ラベルを割り当てた例である。この方法では欠陥種ラベルが多くなると、方向を厳密に指定する必要が生じる。そこで、図6Bの様に、インジケータ508を線520に沿って右方向に移動させた後、線521に沿って下側に移動させるような、より複雑な指示位置変化を欠陥種ラベルに割り当てても良い。以降、欠陥種ラベルを割り当てるための指示位置の変化動作を欠陥種ラベル付与動作と呼ぶ。
なお、指示の開始位置の付近に図6Aの様な指示位置変化と欠陥種ラベルを対応付けた画像をガイドとして画面上に表示しても良い。また指示位置の変化に従って表示画像を動的に切りかえても良い。これにより、欠陥種ラベル付与動作を覚えていなくとも欠陥種ラベルの付与が可能となる。
本実施例にかかる欠陥教示用のインターフェース画面500では、欠陥画像に対して複数の欠陥種ラベルも付与可能である。例えば、前述の様に矢印510に沿って上方向にインジケータ508の指示位置を変化させることで「Short」という欠陥種ラベルを付与した後、矢印511の方向、すなわち右方向にインジケータ508の指示位置を変化させることで「Particle」という欠陥種ラベルを付与することが可能である。これにより対象画像が境界事例であった場合に、正解となる欠陥種ラベルについて詳細な判断を下す必要がなくなり、心理的な負荷も低減可能となる。
さらには、教示型分類器の学習処理においては、境界事例を判別可能となるため、学習の精度が向上する。また、境界事例を表す特殊な欠陥種ラベルを設定し、画像に付与するようにしても良い。機械学習処理においては、境界事例と判断される画像の重みを小さくすることで過学習の抑制が可能となり、分類性能の向上が期待できる。
欠陥種教示に係る処理の詳細について図7を用いて説明する。まず、インターフェース画面500上において位置が指示されている間のインジケータ508の指示位置の座標値を連続値として取得する(指示座標値記憶:S701)。次に得られた座標値を演算部108の座標値解析部1081で解析し、動作を表す動作ラベルを得る(座標値解析:S702)。ここで、座標値解析部1081で行う座標値の解析方法処理について図8を用いて説明する。
座標値解析処理では、S701で得られた指示座標値から座標の変化を特徴量として算出する(座標値変化特徴量算出:S801)。図9A及び図9Bは、特徴量の算出例を示したものである。図9Aは、位置i=0から位置i=kまで右方向への変化した後、位置i=Pまで下方向にインジケータ508の指示位置が変化した例を示している。
図9Bは、図9Aにおけるインジケータ508の指示位置の連続した座標値からx方向、y方向の変化量を特徴量として算出した結果を表している。この2×P次元の特徴量を事前に作成した識別器を用いて分類することで、動作ラベルを得る(動作ラベル判定:S802)。なお、識別器として教示型の分類器を用いることで、ユーザが入力した動作を学習し、動作ラベルを割り当てることが可能となる。
図7に戻り、教示処理の説明を続ける。S702で動作ラベルが得られた後、欠陥ラベル付与部1082において、欠陥種ラベルを付与する対象となる欠陥画像を判定する(対象画像判定:S703)。
図5では、画像を表示するインターフェース領域503に一枚の画像のみが表示されている例を示したが、図10に示す欠陥種教示用インターフェース画面1000の様に、画像表示インターフェース領域1001において、複数枚の画像10011~10014を同時に表示するようにしても良い。この際、インジケータ508による指示の開始位置1002と指示の終了位置1003をもとに欠陥種ラベルを付与する対象となる画像を判定する。
一例をあげるならば、指示を開始した開始位置1002に表示されている画像(図10に示した例では画像10014)を対象とすれば良い。また、複数の画像を選択できるように構成し、選択された画像を欠陥種ラベルの付与対象としても良い。
S703で欠陥種ラベルを付与する対象の画像が判定された後、動作ラベルをもとに対象画像に対して欠陥種ラベルを付与する(欠陥種ラベル付与:S704)。欠陥種ラベル1111と動作ラベル1112は図11に示す様に対応付けられ、教示パラメータとしてラベル記憶部1052に記憶されている。
欠陥ラベル付与部1082で実行する欠陥種ラベル付与処理:S704は、座標値解析部1081における座標値解析処理:S702より得られた動作ラベルをもとに、図11に示したような対応付けに基づいて欠陥種ラベルを判定し、対象画像判定処理:S703において対象と判定された画像すべてについて画像の付帯情報として欠陥種ラベルを付与する。
欠陥種ラベルと動作ラベルの対応関係は、教示パラメータとして調整可能である。
図12は、教示パラメータ自動調整部1083で実行する、教示パラメータの調整画面1200を表した図である。教示パラメータの調整画面1200には、定義済みの欠陥種ラベルの一覧を表示し選択を可能とする欠陥種ラベル表示インターフェース領域1201、登録された動作ラベルの一覧をアイコン的に表示し選択を可能とするインターフェース領域1202、撮像した複数枚の欠陥画像から欠陥種ラベルを自動調整するためのボタン1203、欠陥種ラベルを新規に追加するためのボタン1205、欠陥種ラベルを一覧から削除するボタン1204、欠陥種ラベルの一覧に表示されている並び順を調整するためのインターフェース領域1206、欠陥種ラベルの一覧に表示されている順に従って動作ラベルを自動的に割り当てるボタン1207、動作ラベルを新たに登録するボタン1208を備える。また、教示パラメータを記憶部105から読み込むボタン1209、記憶部に保存するボタン1210、設定を中断するボタン1211を備える。
図11に示したような欠陥種ラベルに対応した動作ラベルを変更するには、欠陥種ラベル表示インターフェース領域1201から変更対象の欠陥種ラベルを選択し、動作ラベルの一覧をアイコン表示するインターフェース領域1202から所望の動作ラベルを選択する。これにより、ラベル記憶部1052に記憶された欠陥種ラベルに対応した動作ラベルが選択した動作ラベルに変更される。
画像に欠陥種ラベルを付与するにあたり、発生頻度の高い欠陥種や重要度の高い欠陥種に対しては、より作業負荷の少ない動作(インジケータ508の指示位置を変化させる動作)を割り当てることが重要である。そこで、動作自動割り当てボタン1207が押されると、教示パラメータ自動調整部1083に含まれるラベル割り付け部10832は、欠陥種ラベル表示インターフェース領域1201に表示されている順番に応じて、作業負荷の低い動作ラベルを割り当てる。ここでの作業負荷とは、例えば、欠陥種ラベル付与動作における変曲点の数を基準とすれば良い。
新規の撮像対象試料において、画像を取得した段階では撮像対象にどのような欠陥種が含まれるか不明なことが多い。そこで、教示パラメータ自動調整部1083は欠陥種候補を自動抽出する機能を備える。そのために教示パラメータ自動調整部1083は、外観特徴量算出部1084により得られた特徴量をもとに、撮像画像をクラスタリングする画像クラスタリング部10831を備える。各クラスタは類似した外観をもつ画像の集合であって、各クラスタがそれぞれ何らかの欠陥種に対応することが期待できる。
図13に本機能を用いるためのインターフェース画面1300を示す。本インターフェース画面1300は、撮像した複数枚の欠陥画像から欠陥種ラベルを自動調整するためのボタン1203を通して呼び出すことが可能である。
本インターフェース画面1300は複数画像に対してクラスタリング処理のパラメータを調整・実行するためのインターフェース領域1301、クラスタリング結果を表示・選択するためのインターフェース領域1302、クラスタ内の画像一覧を表示するためのインターフェース領域1303、クラスタの名前を変更するためのインターフェース1304、クラスタを削除するためのインターフェース1305を備える。また、結果を保存するためのインターフェース1306、破棄するためのインターフェース1307を備える。
クラスタリングの手法としてはk-Meansや階層的クラスタリング手法を用いれば良い。本インターフェース画面1300を通して各クラスタに名前を付けたり、不要なクラスタを削除することにより欠陥種ラベルを定義することが可能となる。また、クラスタ内の画像数に応じて順序付けることにより、ラベル割り付け部10832を通して、発生頻度が高い欠陥種に作業負荷の低い動作を自動で割り当てることが可能となる。
また、インジケータ508の指示位置の変化軸に欠陥種の意味づけを付加させても良い。図14の例ではx軸方向の位置変化で欠陥が存在している位置(回路パターン上:1401か下層上:1402であるか)を指定し、y軸方向の位置変化で欠陥の種類(Particle:1403かVoid:1404であるか)を指定するように動作を割り当てている。
以上説明した様に、インターフェース画像を表示する画面1071と、ユーザが入出力部107を通じて指示した位置をインターフェース画像を表示した画面1071上の座標値として取得する指示座標値取得部1061を備えたユーザインターフェース制御部106と、連続した指示座標値の方向ごとの変化量から動作ラベルを判定する座標値解析部1081を備えた演算部108と、動作ラベルに応じて画像の付帯情報として欠陥種ラベルを記憶する画像記憶部1051を備えた記憶部105とを備えることで、複数枚の欠陥画像の分類にかかる労力と時間を削減することが可能となる。
また、画像の付帯情報として欠陥種ラベルを複数記憶可能とすることで、分類すべき正解について詳細な判断を下す必要がなくなり、心理的な負荷も低減可能となる。
さらには、学習部1102における教示型分類器の学習処理においては、境界事例を判別可能となるため、学習の精度が向上する。
さらには、撮像された欠陥画像から特徴量を算出する外観特徴量算出部1084と、算出された特徴量をもとに欠陥画像を複数のクラスタに分割する画像クラスタリング部10831と、各クラスタをもとに欠陥種ラベルを定義するラベル割り付け部10832と、このラベル割り付け部10832で欠陥種ラベルが割り付けられたクラスタに属する画像枚数もしくは重要度に応じて動作ラベルと欠陥種ラベルを関連付ける教示パラメータ自動調整部1083を備えることで教示パラメータの調整にかかる負荷を低減することが可能となる。
実施例1では、欠陥種教示装置101に、ユーザが入力機器を通じて指示した位置を画像表示インターフェース上の座標値として取得する指示座標値取得部1061と、連続した指示座標値の変化方向ごとの変化量から動作ラベルを判定する座標値解析部1081と、動作ラベルに応じて画像の付帯情報として欠陥種ラベルを記憶する画像記憶部1051とを備えることで、欠陥の分類にかかる労力と時間を削減する方法について述べた。
この方法はユーザが画像を目視した上で欠陥種を判定し、欠陥種に対応した動作を行うことで欠陥種ラベルを付与する方法である。
実施例2では欠陥種ラベルを指定した上で、欠陥種ラベルに該当する画像を一覧から選択することで、画像に欠陥種ラベルを付与する方法について述べる。
本実施例にかかる装置構成は実施例1で示した図1と同様である。また、試料の観察処理フロー、分類パラメータの調整処理フローも実施例1で示した図3、図4と同様である。異なるのは欠陥種教示処理(S403)に係わるインターフェースである。以降においては実施例1と異なる部分についてのみ説明する。
本実施例にかかる欠陥種教示用インターフェース画面1500を図15に示す。定義済みの欠陥種ラベルの一覧を表示・選択可能とするインターフェース領域1501と、表示画像を切り替えるインターフェース領域1502、画像を一覧表示・選択可能とするインターフェース領域1503を備える。
欠陥ラベル一覧を表示・選択するインターフェース領域1501は選択された欠陥種ラベルを記憶しておくことが可能である。欠陥ラベル一覧の中から付与する欠陥種ラベルが選択された後、選択した欠陥種ラベルに該当する欠陥画像を一覧表示された画像の中から順次指定可能とする。画像が指定されるとともに選択された欠陥種ラベルが画像の付帯情報として付与される。
この際、複数の指示位置を取得可能なタッチパネルを用いても良い。例えば、欠陥ラベルの一覧を表示するインターフェース領域1501において指示された位置1504と、画像の一覧を表示するインターフェース領域1503において指示された位置1505を取得し、指示された位置1505に表示されている画像に対して、指示された欠陥種ラベルを付与するようにしても良い。
これにより、例えば左手で欠陥種ラベルを指定しながら右手で欠陥画像を指定することが可能となり、迅速に欠陥種ラベルを付与することが可能となる。
以上説明した方法によれば、実施例1と同様に複数枚の欠陥画像の分類にかかる労力と時間を削減することが可能となる。
101・・・欠陥種教示装置 102・・・画像撮像装置 105・・・記憶部 106・・・ユーザインターフェース制御部 107・・・入出力部 108・・・演算部 1081・・・座標値解析部 1082・・・欠陥ラベル付与部 1083・・・教示パラメータ自動調整部 110・・・欠陥画像自動分類装置 1101・・・外観特徴量算出部 1102・・・学習部 1103・・・分類部 201・・・走査型電子顕微鏡(SEM)。
Claims (10)
- 欠陥の画像に対して欠陥の種類を教示する欠陥種教示部と、
欠陥の画像を分類する欠陥分類部と、
を備えた欠陥画像分類装置であって、
前記欠陥種教示部は、
欠陥の画像と欠陥種ラベルの一覧とインジケータを表示する画面を有する表示部と、
前記表示部の画面に表示されたインジケータを動かした時の座標値を解析する座標値解析部と、
前記座標値解析部で解析した前記インジケータの座標値の情報に基づいて前記表示部に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付ける欠陥種ラベル付け部と
を備え、
前記欠陥分類部は、前記欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類する
ことを特徴とする欠陥画像分類装置。 - 請求項1記載の欠陥画像分類装置であって、前記欠陥種ラベル付け部は、前記座標値解析部で解析した前記インジケータの前記表示部の画面上での動きの方向の情報に基づいて前記画面に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付けることを特徴とする欠陥画像分類装置。
- 請求項2記載の欠陥画像分類装置であって、前記欠陥種ラベル付け部は、前記座標値解析部で解析した前記インジケータの前記表示部の画面上での複数の方向の動きの情報に基づいて前記画面に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付けることを特徴とする欠陥画像分類装置。
- 請求項1記載の欠陥画像分類装置であって、前記欠陥種ラベル付け部は、前記座標値解析部で解析した前記インジケータの前記表示部の画面上での動きの方向の情報に基づいて、前記インジケータの動きの方向と関連付けて記憶された欠陥ラベルの一覧に表示された欠陥種の関係から前記画面に表示された欠陥と欠陥種とを関連付けることを特徴とする欠陥画像分類装置。
- 請求項4記載の欠陥画像分類装置であって、前記欠陥種ラベル付け部は、前記座標値解析部で解析した前記インジケータの前記表示部の画面上での複数の方向の動きの情報に基づいて、前記インジケータの動きの方向と関連付けて記憶された欠陥ラベルの一覧に表示された欠陥種の関係から前記画面に表示された欠陥と欠陥種とを関連付けることを特徴とする欠陥画像分類装置。
- 画面上に表示した欠陥の画像に対して欠陥種教示部で欠陥の種類を教示し、前記欠陥の種類を教示した情報に基づいて画像撮像装置で取得した欠陥の画像を欠陥分類部で分類する欠陥画像分類方法であって、
前記欠陥種教示部で欠陥の種類を教示することを、
欠陥の画像と欠陥種ラベルの一覧とインジケータを画面上に表示し、
前記画面上に表示されたインジケータを動かした時の座標値を座標値解析部で解析し、
前記座標値解析部で解析した前記インジケータの座標値の情報に基づいて欠陥種ラベル付け部で前記画面上に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付けることにより行い、
前記画像撮像装置で取得した欠陥の画像を欠陥分類部で分類することを、前記欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類することにより行う
ことを特徴とする欠陥画像分類方法。 - 請求項6記載の欠陥画像分類方法であって、前記欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類することを、前記座標値解析部で解析した前記インジケータの前記画面上での動きの方向の情報に基づいて前記画面上に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付けることにより行うことを特徴とする欠陥画像分類方法。
- 請求項7記載の欠陥画像分類方法であって、前記欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類することを、前記座標値解析部で解析した前記インジケータの前記画面上での複数の方向の動きの情報に基づいて前記画面上に表示された欠陥と欠陥ラベルの一覧に表示された欠陥種とを関連付けることにより行うことを特徴とする欠陥画像分類方法。
- 請求項6記載の欠陥画像分類方法であって、前記欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類することを、前記座標値解析部で解析した前記インジケータの前記画面上での動きの方向の情報に基づいて、前記インジケータの動きの方向と関連付けて記憶された欠陥ラベルの一覧に表示された欠陥種の関係から前記画面上に表示された欠陥と欠陥種とを関連付けることにより行うことを特徴とする欠陥画像分類方法。
- 請求項9記載の欠陥画像分類方法であって、前記欠陥種ラベル付け部で関連付けた欠陥の画像と欠陥種との関係の情報を用いて欠陥の画像を分類することを、前記座標値解析部で解析した前記インジケータの前記画面上での複数の方向の動きの情報に基づいて、前記インジケータの動きの方向と関連付けて記憶された欠陥ラベルの一覧に表示された欠陥種の関係から前記画面上に表示された欠陥と欠陥種とを関連付けることにより行うことを特徴とする欠陥画像分類方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/065189 WO2017203572A1 (ja) | 2016-05-23 | 2016-05-23 | 欠陥画像分類装置および欠陥画像分類方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/065189 WO2017203572A1 (ja) | 2016-05-23 | 2016-05-23 | 欠陥画像分類装置および欠陥画像分類方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017203572A1 true WO2017203572A1 (ja) | 2017-11-30 |
Family
ID=60411670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/065189 Ceased WO2017203572A1 (ja) | 2016-05-23 | 2016-05-23 | 欠陥画像分類装置および欠陥画像分類方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2017203572A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019197441A (ja) * | 2018-05-11 | 2019-11-14 | 株式会社 日立産業制御ソリューションズ | 学習装置、学習方法及び学習プログラム |
| CN111316089A (zh) * | 2018-10-19 | 2020-06-19 | 合刃科技(深圳)有限公司 | 微流控芯片管道的检测装置、方法及系统 |
| JP2021026505A (ja) * | 2019-08-05 | 2021-02-22 | ギリア株式会社 | 情報処理装置および情報処理用プログラム |
| JP2022040540A (ja) * | 2020-08-31 | 2022-03-11 | 株式会社Screenホールディングス | 画像処理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015038441A (ja) * | 2013-08-19 | 2015-02-26 | 株式会社Screenホールディングス | 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム |
| JP2015148981A (ja) * | 2014-02-07 | 2015-08-20 | 日本電気株式会社 | データ処理装置 |
-
2016
- 2016-05-23 WO PCT/JP2016/065189 patent/WO2017203572A1/ja not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015038441A (ja) * | 2013-08-19 | 2015-02-26 | 株式会社Screenホールディングス | 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム |
| JP2015148981A (ja) * | 2014-02-07 | 2015-08-20 | 日本電気株式会社 | データ処理装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019197441A (ja) * | 2018-05-11 | 2019-11-14 | 株式会社 日立産業制御ソリューションズ | 学習装置、学習方法及び学習プログラム |
| JP7025989B2 (ja) | 2018-05-11 | 2022-02-25 | 株式会社 日立産業制御ソリューションズ | 学習装置、学習方法及び学習プログラム |
| CN111316089A (zh) * | 2018-10-19 | 2020-06-19 | 合刃科技(深圳)有限公司 | 微流控芯片管道的检测装置、方法及系统 |
| JP2021026505A (ja) * | 2019-08-05 | 2021-02-22 | ギリア株式会社 | 情報処理装置および情報処理用プログラム |
| JP2022040540A (ja) * | 2020-08-31 | 2022-03-11 | 株式会社Screenホールディングス | 画像処理方法 |
| JP7617717B2 (ja) | 2020-08-31 | 2025-01-20 | 株式会社Screenホールディングス | 画像処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8209135B2 (en) | Wafer inspection data handling and defect review tool | |
| KR102195029B1 (ko) | 결함 분류 장치 및 결함 분류 방법 | |
| TWI512684B (zh) | Defect observation method and defect observation device | |
| JP5715873B2 (ja) | 欠陥分類方法及び欠陥分類システム | |
| JP5608575B2 (ja) | 画像分類方法および画像分類装置 | |
| JP5292043B2 (ja) | 欠陥観察装置及び欠陥観察方法 | |
| US9040937B2 (en) | Charged particle beam apparatus | |
| US20080298670A1 (en) | Method and its apparatus for reviewing defects | |
| US9311697B2 (en) | Inspection method and device therefor | |
| JP5719760B2 (ja) | 欠陥分類装置 | |
| JP2006098155A (ja) | 検査方法及びその装置 | |
| JP2000162135A (ja) | 検査方法、検査システムおよび電子デバイスの製造方法 | |
| WO2017203572A1 (ja) | 欠陥画像分類装置および欠陥画像分類方法 | |
| US20150170355A1 (en) | Wafer appearance inspection system and method of sensitivity threshold setting | |
| US10074511B2 (en) | Defect image classification apparatus | |
| JP5374225B2 (ja) | ウェハ検査条件決定方法、ウェハ検査条件決定システム及びウェハ検査システム | |
| JP4607157B2 (ja) | 観察装置、観察装置のレシピ設定方法 | |
| WO2012153456A1 (ja) | 欠陥レビュー装置 | |
| JP2003106829A (ja) | パターン検査方法及びその装置 | |
| JP5163731B2 (ja) | 欠陥候補の画像表示方法 | |
| TWI906004B (zh) | 檢查流程決定裝置,帶電粒子線裝置及檢查流程決定電腦程式 | |
| TW202407330A (zh) | 自動缺陷分類裝置 | |
| JP2015008059A (ja) | 荷電粒子線装置および画像蓄積方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16903054 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16903054 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |