[go: up one dir, main page]

WO2023112302A1 - 教師データ作成支援装置、教師データ作成支援方法 - Google Patents

教師データ作成支援装置、教師データ作成支援方法 Download PDF

Info

Publication number
WO2023112302A1
WO2023112302A1 PCT/JP2021/046717 JP2021046717W WO2023112302A1 WO 2023112302 A1 WO2023112302 A1 WO 2023112302A1 JP 2021046717 W JP2021046717 W JP 2021046717W WO 2023112302 A1 WO2023112302 A1 WO 2023112302A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data creation
feature amount
result
creation support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/046717
Other languages
English (en)
French (fr)
Inventor
俊典 山内
泰浩 吉田
昌義 石川
武史 柿沼
正樹 長谷川
健太郎 大平
康隆 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Tech Corp filed Critical Hitachi High Tech Corp
Priority to KR1020247015299A priority Critical patent/KR20240089449A/ko
Priority to CN202180104385.4A priority patent/CN118302790A/zh
Priority to PCT/JP2021/046717 priority patent/WO2023112302A1/ja
Priority to US18/718,670 priority patent/US20250054270A1/en
Publication of WO2023112302A1 publication Critical patent/WO2023112302A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present invention relates to a teacher data creation support device and method for assisting the creation of teacher data in machine learning, and is particularly applicable to inspection and measurement devices that perform automatic inspection or measurement using an image recognition model constructed by machine learning. and effective technology.
  • Patent Literature 1 discloses a “teaching data creation support device for assisting creation of teaching data used for learning of a classifier for classifying data”.
  • the teacher data in which any one of the multiple categories is taught is reduced in dimension by principal component analysis and mapped to a low-dimensional area.
  • the principal component axis and the area range are appropriately set, and the discretized distribution image obtained as a result is used to suitably support the understanding of the distribution state of the teacher data.
  • the accuracy of the image recognition model depends on the training images used for learning during the development stage.
  • Patent Document 1 humans can visually recognize the distribution of the teacher data by expressing the multidimensional feature values of the teacher data in a low-dimensional space. Therefore, by applying this technique to inspection images and mapping them into a low-dimensional space, it becomes possible to efficiently collect and select images from the distribution.
  • Patent Document 1 since the input is the entire image, it can be applied only when one defect appears in the image, but it cannot be applied when multiple defects appear in the image. In this case, it is necessary to specify the feature amount corresponding to each defect and map it in a low-dimensional space. However, since the technique maps the feature amount of the entire image, the feature amount of each defect cannot be accurately reflected. Moreover, when specifying the feature amount corresponding to each defect, it is important to specify the feature amount of the peripheral area in addition to the area where the defect exists. This is particularly important in creating training data for an image recognition model that has a plurality of defects in an image and detects these defects individually (details will be described in Examples).
  • the object of the present invention is to specify the feature amount corresponding to each defect in an image in which a plurality of defects appear in the image in consideration of the surrounding area and map it to a low-dimensional space, thereby enabling efficient learning.
  • An object of the present invention is to provide a teacher data creation support device and a teacher data creation support method using the same that enable collection and selection of images.
  • the present invention provides an image recognition unit that extracts a feature amount from an input image based on a learning result, performs image processing from the feature amount, and outputs a recognition result, and the image recognition unit.
  • a feature quantity specifying unit for inputting one or more prediction results or specified regions of and specifying the corresponding feature quantity for each of the prediction results or the specified regions; and a dimension reduction unit that performs dimensionality reduction and projects the feature amount stored in the inspection result feature amount database into a low-dimensional space
  • the feature amount specifying unit is an important area calculation unit that obtains an important area holding area information around the detection area of the prediction result or the specified area for each prediction result or each specified area; and a feature quantity extraction unit that extracts the feature quantity corresponding to each of the prediction results or each of the specified regions by weighting the feature quantity by the important region.
  • the present invention also provides a teaching data creation support method for assisting creation of teaching data in machine learning, comprising: (a) a step of individually detecting the types and positions of a plurality of defects appearing in an inspection image; b) a step of specifying a feature quantity for each defect for the result detected in step (a) and storing it in a database; projecting into space and displaying the result on a display; characterized by having
  • the feature quantity corresponding to each defect is specified in consideration of the peripheral area, and mapped onto a low-dimensional space, thereby efficiently producing a learning image. It is possible to realize a teacher data creation support device that enables collection and selection and a teacher data creation support method using the same.
  • FIG. 1 is a diagram showing a schematic configuration of a teaching data creation support device according to the present invention
  • FIG. 1 is a block diagram showing the configuration of a teacher data creation support device according to Example 1 of the present invention
  • FIG. 3 is a flow chart showing processing by the training data creation support device of FIG. 2
  • FIG. 3 is a flow chart showing processing by a feature quantity specifying unit 6 of FIG. 2
  • FIG. It is a figure which shows an example of the preservation
  • FIG. 3 is a block diagram showing a system configuration related to storage processing of a learning result feature amount DB 18 of FIG. 2
  • 7 is a flowchart showing processing by the system configuration of FIG.
  • FIG. 6 3 is a diagram showing an example of a dimension reduction result by the dimension reduction unit 8 of FIG. 2;
  • FIG. 3 is a diagram showing a display example of a display unit 20 of FIG. 2;
  • FIG. FIG. 3 is a diagram showing the effect of the important region calculation unit 15 of FIG. 2;
  • FIG. 3 is a diagram showing the effect of the important region calculation unit 15 of FIG. 2;
  • FIG. 5 is a block diagram showing the configuration of a teacher data creation support device according to Example 2 of the present invention; 13 is a flow chart showing processing by the training data creation support device of FIG. 12; 13 is a diagram showing an example of a storage form of an imaging result DB 29 of FIG. 12;
  • FIG. 13 is a diagram showing a display example of a display unit 34 of FIG. 12;
  • FIG. 1 is a diagram showing a schematic configuration of a teaching data creation support device according to the present invention.
  • the feature amount specifying unit 6 specifies the feature amount for each defect from the detection result 3 of the image recognition unit 2 for the inspection image 1 and stores it in the feature amount DB 7. Then, the dimension reduction unit 8 performs dimension reduction on the feature amount specified by the feature amount specifying unit 6 and is stored in the feature amount DB 7, and projects it onto a low-dimensional space, and the display unit 9 displays the result.
  • the image recognition unit 2 individually detects the types and positions of defects appearing in the inspection image 1 as detection results 4 and 5, respectively.
  • a feature quantity specifying unit 6 receives the results detected by the image recognition unit 2 and specifies a feature quantity for each detection result. Since the dimension reduction unit 8 dimensionally reduces the feature amount for each detection result and the display unit 9 displays the results, the display unit 9 displays data points after the dimension reduction corresponding to each defect. For example, if there are two defects in the image and the image recognition unit 2 detects them separately, the display unit 9 displays two data points corresponding to these defects separately.
  • FIG. 2 is a block diagram showing the configuration of the teaching data creation support device according to the first embodiment of the present invention.
  • the inspection device 11 captures an inspection image 12 for the sample 10 .
  • the sample 10 is, for example, a semiconductor wafer, and the inspection device 11 corresponds to, for example, a defect inspection device using a mirror electron microscope that forms an image of mirror electrons, an optical defect inspection device, or the like.
  • the image recognition unit 2 performs defect inspection on the acquired inspection image 12 .
  • the image recognition unit 2 extracts feature amounts from the inspection image 12, and detects defects appearing in the inspection image 12 from the extracted feature amounts. When a plurality of defects appear in the inspection image 12, the image recognition unit 2 detects the defects individually. Therefore, it is a model that can predict the type and position of the defect of the image recognition unit 2 .
  • an SSD Single Shot Multibox Detector
  • CNN Convolution Neural Network
  • RetinaNet RetinaNet
  • the feature quantity specifying unit 6 is composed of an important region calculation unit 15 and a feature quantity extraction unit 16 . The details of the processing contents of each component will be described later.
  • the important area calculation unit 15 receives the detection result 13 and obtains an important area for the detection result. This important area holds peripheral area information including the detection area, and indicates an area considered important when the image recognition unit 2 detects a defect.
  • the feature amount extraction unit 16 weights the feature amount extracted by the image recognition unit 2 using the important area calculated by the important area calculation unit 15, and extracts the feature amount that is the factor of the detection result. is output as a feature value corresponding to .
  • the feature amount corresponding to the detection result specified by the feature amount specifying unit 6 is stored in the inspection result feature amount DB 17 .
  • the learning result feature amount DB 18 stores the corresponding feature amount for each detection result obtained by the feature amount specifying unit 6 for the detection result of the image recognition unit 2 for the learning image used for the learning of the image recognition unit 2 .
  • the details of the saving process to the learning result feature value DB 18 will be described later.
  • the dimension reduction unit 8 performs dimension reduction on the results stored in the inspection result feature amount DB 17 and the learning result feature amount DB 18, and maps them into a two-dimensional or three-dimensional low-dimensional space.
  • t-Distributed Stochastic Neighbor Embedding t-SNE
  • other dimensionality reduction algorithms such as principal component analysis and independent component analysis may be used.
  • the display unit 20 displays the results of dimension reduction by the dimension reduction unit 8 and the results stored in the detection result DB 14 .
  • the teacher data creation unit 21 has a function that allows the user to perform operations such as selecting data from the results displayed by the display unit 20 and labeling the selected data. It is saved in the data DB 22 .
  • FIG. 3 is a flowchart showing processing by the teacher data creation support device of FIG.
  • step S ⁇ b>101 the inspection device 11 captures an inspection image 12 of the sample 10 .
  • step S102 the image recognition unit 2 predicts the types and positions of defects appearing in the inspection image 12 and outputs them as detection results 13. Also, the detection result 13 is stored in the detection result DB 14 .
  • step S103 the important area calculation unit 15 obtains an important area holding area information around the detection area for each detection result 13, including the detection area.
  • step S104 the feature amount extraction unit 16 weights the feature amount extracted by the image recognition unit 2 using the important area obtained by the important area calculation unit 15, thereby calculating the feature amount that is the factor of the detection result. are extracted and stored in the inspection result feature amount DB 17 for each detection result class and detection result.
  • step S105 the dimension reduction unit 8 performs dimension reduction on the feature values stored in the inspection result feature value DB 17 and the learning result feature value DB 18.
  • step S106 the display unit 20 displays the result of the dimension reduction unit 8.
  • step S107 the teacher data creation unit 21 stores the created teacher data in the teacher data DB 22.
  • FIG. 4 The details of the processing contents of the important region calculation unit 15 and the feature amount extraction unit 16 will be explained using FIGS. 4 and 5.
  • FIG. 4 The details of the processing contents of the important region calculation unit 15 and the feature amount extraction unit 16 will be explained using FIGS. 4 and 5.
  • FIG. 4 is a flow chart showing the processing of the feature quantity specifying unit 6 (the important region calculating unit 15 and the feature quantity extracting unit 16).
  • step S108 the important region calculation unit 15 calculates the differentiation of the feature map of the image recognition unit 2 with respect to the detection result by error backpropagation, and obtains Sk ,c,box_pre representing the important region for the detection result.
  • the feature quantity map holds the feature quantity extracted from the inspection image 12 by the image recognition unit 2 . This processing is shown in equation (1).
  • Equation (1) y c,box_pre is the score for class c (defect type) predicted by the image recognition unit 2, and box_pre represents the predicted position.
  • Ak represents a feature quantity map possessed by the image recognition unit 2, and k is a channel number.
  • Sk,c,box_pre obtained by equation (1) represents the spatial importance of the prediction result (class c, position box_pre) at each pixel of the feature map with channel number k.
  • Information around the detection area is also taken into consideration for the important area determined by Equation (1). Therefore, when the image recognition model attaches importance to the area around the detection area and detects a defect, that area is also output as a large value, as will be described later.
  • a mask that assigns 1 to the inside of the detection area and a preset area around the detection area and 0 to the rest of the area, or a preset template area is also used as the important area. be able to. If a plurality of defects appear in the inspection image 12 and there are a plurality of detection results, the processing of formula (1) is performed for each detection result. Therefore, an important area corresponding to each detection result is obtained.
  • step S109 the feature amount extraction unit 16 weights the feature amount map held by the image recognition unit 2 by the important area obtained by the important area calculation unit 15. This processing is shown in equation (2).
  • step S110 the feature amount extraction unit 16 averages and normalizes the weighted feature amounts G k, c, box_pre for each channel, and outputs the result as a feature amount corresponding to the detection result. Since G k, c, box_pre is a two-dimensional tensor, it is possible to obtain a feature amount as a scalar value for each channel by the above process. For example, if the number of channels is 512, 512 feature quantities are obtained.
  • Equation (2) information representing the degree of importance of each channel with respect to the detection result may be entered in the feature quantity map held by the image recognition unit 2 .
  • the processing represented by the following formula (3) is performed.
  • Equation (3) ⁇ k,c,box_pre represents the importance of the feature quantity held by the feature quantity map of channel number k with respect to the detection result, and is obtained by Equation (4) below.
  • FIG. 5 shows an example of a storage form of the feature amount corresponding to the detection result obtained by the important region calculation unit 15 and the feature amount extraction unit 16 in the inspection result feature amount DB 17.
  • FIG. 5 shows an example of a storage form of the feature amount corresponding to the detection result obtained by the important region calculation unit 15 and the feature amount extraction unit 16 in the inspection result feature amount DB 17.
  • the feature values corresponding to the detection results are stored for each detection target class and for each detection result.
  • there are classes of defects to be detected, defect A to defect N, and feature quantities corresponding to each detection result are stored for each class.
  • Fig. 6 shows the system configuration required for the saving process to the learning result feature value DB 18.
  • the learning image 23 is learning data used for learning by the image recognition unit 2 .
  • the image recognition unit 2 detects defects in the learning image 23 and outputs detection results 24 .
  • the feature quantity specifying unit 6 specifies the feature quantity corresponding to the detection result 24 and stores it in the learning result feature quantity DB 18 .
  • a part of the image used for learning may be used as the learning image 23.
  • FIG. 7 is a flowchart showing processing by the system configuration of FIG.
  • step S ⁇ b>111 the image recognition unit 2 detects defects in the learning image 23 and outputs them as detection results 24 .
  • the feature amount specifying unit 6 specifies feature amounts corresponding to the detection results, and stores them in the learning result feature amount DB 18 for each detection result class and each detection result.
  • the processing content of the feature quantity specifying unit 6 at this time is the same as the processing shown in the flowchart of FIG. Further, the feature amount specified by the feature amount specifying unit 6 is stored in the learning result feature amount DB 18 in the same form as the storage form in the inspection result feature amount DB 17 shown in FIG. 5 .
  • step S113 it is determined whether or not all the learning images 23 have been processed. If it is determined that all the learning images 23 have been processed (YES), the processing is terminated, If it is determined that the process has not been completed for the image 23 (NO), the process returns to step S111 and the processes after step S111 are executed again.
  • FIG. 8 shows an example of mapping the results stored in the inspection result feature amount DB 17 and the learning result feature amount DB 18 by the dimension reduction unit 8 to a low-dimensional space.
  • black circle points are data corresponding to feature amounts stored in the learning result feature amount DB 18
  • black triangle points are data corresponding to feature amounts stored in the inspection result feature amount DB 17. .
  • the inspection data in the lower left of Fig. 8 exists in almost the same area as the learning data, these inspection data are similar in features to the learning data.
  • the inspection data existing in the upper right of FIG. 8 exist in a region separate from the learning data, and have different characteristics from the learning data.
  • image recognition models cause performance degradation such as false detections and omissions for images that are not included in the training data. Therefore, the user can efficiently create teacher data capable of improving the performance of the image recognition model by preferentially labeling inspection images such as those shown in the upper right of FIG. 8 to create teacher data.
  • the dimension reduction unit 8 dimensionally reduces data corresponding to each defect class. For example, when dimension reduction is performed for defect A, the data corresponding to defect A stored in the inspection result feature value DB 17 and the data corresponding to defect A stored in the learning result feature value DB 18 are subjected to dimension reduction. I do. Also, the dimension reduction unit 8 may collectively reduce the dimensions of all data instead of each defect class.
  • FIG. 9 is a diagram showing a display example of the display unit 20.
  • the display unit 20 includes (1) an inspection data selection unit, (2) a defect class selection unit, (3) a dimension reduction result display unit, (4) a detection result display unit, and (5) a teacher Data creation part, etc. are displayed.
  • the inspection data selection unit selects inspection data
  • the defect class selection unit selects a defect class to be subjected to dimension reduction.
  • the dimension reduction result of the dimension reduction unit 8 is displayed in the dimension reduction result display unit.
  • the data points corresponding to the feature amounts stored in the inspection result feature amount DB 17 and the data points corresponding to the feature amounts stored in the learning result feature amount DB 18 are displayed in different colors or shapes.
  • the detection result of the image recognition unit 2 is displayed in the detection result display unit. For example, a prediction class, a prediction region (coordinates), a score representing the certainty of prediction, and the like are displayed. At this time, it is displayed in association with the data points displayed in the (3) dimension reduction result display section. For example, (3) when a data point displayed in the dimension reduction result display section is selected, the corresponding detection result is displayed.
  • the number of data points after dimensionality reduction is the same as the number of detection results. So, for example, if multiple defects exist in the image and are detected separately, the data points corresponding to those defects are displayed separately.
  • the teacher data creation unit has a function that allows the user to create teacher data using a pen tablet or the like for the results displayed in (3) the dimension reduction result display unit and (4) the detection result display unit. . For example, selection of a region in which a defect exists, selection of a class of the defect, and the like are performed.
  • the training data creation unit may have a function of using the detection results of the image recognition unit 2 as label candidates. For example, the classes and regions predicted by the image recognition unit 2 are used as class candidates and region candidates.
  • the important region calculator 15 determines the important area by considering the peripheral areas including the detection area.
  • the left diagram of FIG. 10 shows an example in which a defect in a circuit is detected with a score value of 0.9, which represents the certainty of prediction.
  • a circuit pattern exists around the defect. If such a circuit pattern exists in most of the training data used for learning the image recognition model, the circuit pattern that exists around the defect will also be learned, so when detecting the defect, the circuit pattern that exists around the defect will be learned. is detected with emphasis on In this case, an image recognition model that remembers the circuit pattern may detect the defect with a low score for an image in which the circuit pattern has been changed due to a change in the circuit manufacturing process and the circuit pattern has disappeared around the defect. This is shown in the right diagram of FIG.
  • the final output result of the image recognition model is determined by setting the score threshold. For example, if the score threshold is set to 0.6, only results with a score of 0.6 or higher are finally output. This makes it possible to exclude low-scoring detection results that are likely to be false positives.
  • defects detected with low scores shown in the right diagram of FIG. 10 may be excluded by the score threshold. Therefore, in order to detect defects as shown in the right figure of FIG. 10 with a high score, it is necessary to preferentially collect images without circuit patterns as shown in the right figure of FIG. There is
  • the present invention facilitates the discovery of images that are not included in the learning data by mapping the feature amount corresponding to the detection result to the low-dimensional space.
  • mapping the image after the pattern change as shown in the right diagram of FIG. 10 to a different area from the image before the pattern change as shown in the left diagram of FIG. It is necessary to perform dimensionality reduction on the feature amount including the surrounding area.
  • the left diagram of FIG. 11 shows an example of the result of dimensionality reduction of the feature amount of only the defect to be detected.
  • the feature amount to be subjected to dimensionality reduction is only the feature amount of the defect to be detected, it is mapped to the same area on the dimensional space before and after the pattern change.
  • the right figure of FIG. 11 shows an example of the result of dimensionality reduction of the feature amount including the surrounding area.
  • the important area calculation unit 15 obtains the defect to be detected and the area around it as shown in the black frame in the right diagram of FIG. . Therefore, as shown in the right diagram of FIG. 11, it is possible to map the images before and after the pattern change to different regions on the low-dimensional space.
  • FIG. 12 is a block diagram showing the configuration of the teaching data creation support device of this embodiment.
  • the imaging device 26 captures an inspection image of the sample 25 and saves it in the imaging result DB 29 .
  • the sample 25 is a semiconductor wafer, an electronic device, or the like, and the imaging device 26 is a scanning electron microscope (SEM) that generates an image by irradiating an electron beam, or a scanning electron microscope for length measurement (CD), which is a type of measuring device.
  • SEM scanning electron microscope
  • CD scanning electron microscope for length measurement
  • -SEM Critical Dimension-Scanning Electron Microscope
  • the imaging device 26 images the sample 25 according to the recipe created by the recipe creation unit 28 .
  • a recipe is a program for controlling the imaging device 26, and imaging conditions such as the imaging position and the number of times of imaging are controlled by the recipe.
  • the recipe creation unit 28 creates recipes according to the specified area list 27 .
  • the designated area list 27 is a list describing imaging positions obtained from design data describing design information of the sample 25 and/or data describing imaging conditions of the imaging device 26 or the like.
  • the design data is expressed, for example, in a GDS (Graphic Data System) format.
  • the designated area list 27 may be imaging position information preset by the user.
  • the captured image captured by the imaging device 26 is linked to the area information described in the designated area list 27 and stored in the imaging result DB 29 .
  • the image recognition unit 30 outputs an output result 31 by performing image recognition processing on the captured image stored in the imaging result DB 29 .
  • the image recognition unit 30, for example, uses an image recognition model that predicts a class that appears in a specified area, an image recognition model that predicts a class for each pixel of an image, and compresses an input image once and restores it to its original dimension.
  • Such an image recognition model, etc. are all built with CNN.
  • the feature amount specifying unit 6 specifies the feature amount corresponding to each specified area described in the specified area list 27 for the output result 31 and stores it in the feature amount DB 32 . At this time, the feature amount corresponding to each specified area is separately stored in the feature amount DB 32 . Therefore, if there are a plurality of specified areas for one inspection image, they are stored separately.
  • the dimension reduction unit 8 performs dimension reduction on the results stored in the feature DB 32 .
  • the clustering unit 33 clusters the result of the dimension reduction unit 8 into a plurality of groups based on the degree of similarity between the data after the dimension reduction.
  • the clustering unit 33 uses, for example, the k-means algorithm.
  • the display unit 34 displays the results of the dimension reduction unit 8 and the clustering unit 33 in association with information stored in the imaging result DB 29 .
  • the display unit 34 has a function that allows the user to manually cluster the result of the dimension reduction unit 8 and a function that allows the user to manually select data.
  • the small amount of data identification unit 35 identifies small amounts of data from the results of the clustering unit 33 and/or the display unit 34 . This is realized by processing such as counting the number of data contained in each region obtained by clustering processing.
  • the small amount of data corresponds to an image of a pattern having a smaller number of images than other patterns when the inspection image captured by the imaging device 26 is divided into a plurality of patterns.
  • the recipe creating unit 28 has a function of updating the imaging position and the number of times of imaging based on the results specified by the small amount data specifying unit 35 and reflecting them in the recipe. Specifically, the number of times of imaging is preferentially increased for an image specified as a small amount of data. As a result, the number of images for each pattern can be made uniform with respect to the entire captured image.
  • FIG. 13 is a flow chart showing processing by the training data creation support device of FIG.
  • step S114 the recipe creating unit 28 creates a recipe according to the specified area list 27.
  • step S115 the imaging device 26 images the sample 25 according to the recipe, associates it with the specified area described in the specified area list 27, and saves it in the imaging result DB 29.
  • step S ⁇ b>116 the image recognition unit 30 performs image recognition processing on the captured image stored in the imaging result DB 29 and outputs it as an output result 31 .
  • step S117 the feature amount specifying unit 6 specifies a feature amount for each specified area and stores it in the feature amount DB 32 for each specified area.
  • step S118 the dimension reduction unit 8 performs dimension reduction on the feature quantity stored in the feature quantity DB 32.
  • step S119 the clustering unit 33 clusters the dimension-reduced results.
  • step S ⁇ b>120 the display unit 34 displays the dimension reduction result and the clustering result together with the captured images stored in the imaging result DB 29 .
  • step S121 the small amount of data identification unit 35 identifies the small amount of data.
  • step S122 the recipe creating unit 28 updates the recipe based on the result of the small amount data specifying unit 35.
  • step S123 it is determined whether or not the imaging is finished. If it is determined that the imaging is finished (YES), the process is finished. If it is determined that the imaging is not finished (NO), the process returns to step S115. The processing after S115 is executed again.
  • FIG. 14 shows an example of storage in the imaging result DB 29. As shown in FIG. 14, the captured image and the specified area described in the specified area list 27 are linked and saved.
  • FIG. 15 is a display example of the display unit 34.
  • the display unit 34 includes (1) an imaged data selection unit, (2) a dimension reduction/clustering result display unit, (3) an imaged image display unit, (4) a manual clustering unit, and (5) A small amount data specification part, etc. are displayed.
  • the imaging data is selected by the imaging data selection unit.
  • the captured image stored in the captured image DB 29 is displayed in the captured image display section. At this time, it is displayed in association with the (2) dimension reduction/clustering result display section. For example, (2) when a data point displayed in the dimension reduction/clustering result display section is selected, an image and a specified region corresponding to the data are displayed.
  • the (4) manual clustering unit has a function that enables the user to manually cluster the data displayed in the (2) dimension reduction/clustering result display unit. For example, clustering is performed by selecting an area using a pen tablet or the like.
  • the small amount of data specification unit has a function that allows the user to manually specify the small amount of data. For example, it is designated by selecting the data displayed in the dimension reduction/clustering result display area (2) using a pen tablet or the like.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • it is possible to replace part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像内に複数の欠陥が映る画像に対し、欠陥毎の対応する特徴量をその周辺領域も考慮した形で特定し低次元空間に写像することで効率的な学習画像の収集・選択を可能とする教師データ作成支援装置を提供する。学習結果に基づいて、入力画像に対し特徴量を抽出し、前記特徴量から画像処理を行い認識結果を出力する画像認識部と、前記画像認識部の１つ以上の予測結果もしくは指定領域を入力とし、前記予測結果もしくは前記指定領域毎の該当する前記特徴量を特定する特徴量特定部と、前記予測結果毎もしくは前記指定領域毎の前記特徴量が保存された検査結果特徴量データベースと、前記検査結果特徴量データベースに保存された前記特徴量に対し、次元削減を行い低次元空間に射影する次元削減部と、を備え、前記特徴量特定部は、前記予測結果毎もしくは前記指定領域毎に、前記予測結果の検出領域もしくは前記指定領域を含む周辺の領域情報を保持した重要領域を求める重要領域算出部と、前記画像認識部が抽出した前記特徴量を前記重要領域で重みづけすることで前記予測結果毎もしくは前記指定領域毎の該当する前記特徴量を抽出する特徴量抽出部と、を有することを特徴とする。

Description

教師データ作成支援装置、教師データ作成支援方法
　本発明は、機械学習における教師データの作成を支援する教師データ作成支援装置とその方法に係り、特に、機械学習で構築した画像認識モデルを用いて自動検査又は計測を行う検査・計測装置に適用して有効な技術に関する。
　半導体や液晶パネル等の製造ラインにおいては、工程初期に不良が発生すると、その後の工程の作業は無駄になってしまうため、工程の要所毎に検査工程を設けて、一定の歩留まりを確認・維持しながら製造を進める。これらの検査工程には、例えば、走査型電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）を応用した測長ＳＥＭ（ＣＤ－ＳＥＭ：Critical Dimension-SEM）や欠陥レビューＳＥＭ（Defect Review-SEM）等が用いられている。
　検査工程では、上記のような検査装置が撮像する画像に対して欠陥や異常の有無を確認する。近年、機械学習で構築された画像認識モデルによって高精度な自動検査が可能となっている。
　本技術分野の背景技術として、例えば、特許文献１のような技術がある。特許文献１には「データを分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置」が開示されている。
　具体的には、まず、複数のカテゴリのいずれか１つが教示された教師データを主成分分析によって次元削減し、低次元領域に写像する。この際、主成分軸および領域範囲を適切に設定し、その結果得られる離散化分布画像から教師データの分布状況の把握を好適に支援する。
特開２０１９－６６９９３号公報
　ところで、画像認識モデルの精度は、開発段階で学習に用いた学習画像に依存する。
　そのため、製造現場での検査時に、回路製造工程の変更等で撮像画像の特徴が学習画像から変わると開発モデルの検出精度が低下するおそれがある。その場合、製造現場で再度、検査画像から学習画像を選定しモデルの再学習を行うことで、性能を維持する必要がある。しかし、大量の検査画像を個別に確認することはコストや時間等の観点から難しい。
　上記特許文献１によれば、教師データが持つ多次元特徴量を低次元空間上で表現することで教師データの分布状況を人間が視覚的に認識可能となる。そのため、当該技術を検査画像に適用し低次元空間に写像することで、その分布から効率的に画像の収集・選択が可能となる。
　しかしながら、特許文献１では、入力が画像全体であるため画像内に１つの欠陥が映る場合のみ適用可能であるが、画像内に複数の欠陥が映る場合は適用できない。この場合、欠陥毎に対応する特徴量を特定し低次元空間に写像する必要があるが、当該技術では画像全体の特徴量を写像するため欠陥毎の特徴量を正確に反映できない。また、欠陥毎の対応する特徴量を特定する場合、その欠陥が存在する領域に加え、周辺領域の特徴量も同時に特定することが重要である。これは、特に、画像内に複数の欠陥が映り、それら欠陥を個別に検出する画像認識モデルの教師データ作成において重要となる（詳細は実施例に記載）。
　そこで、本発明の目的は、画像内に複数の欠陥が映る画像に対し、欠陥毎の対応する特徴量をその周辺領域も考慮した形で特定し低次元空間に写像することで効率的な学習画像の収集・選択を可能とする教師データ作成支援装置及びそれを用いた教師データ作成支援方法を提供することにある。
　上記課題を解決するために、本発明は、学習結果に基づいて、入力画像に対し特徴量を抽出し、前記特徴量から画像処理を行い認識結果を出力する画像認識部と、前記画像認識部の１つ以上の予測結果もしくは指定領域を入力とし、前記予測結果もしくは前記指定領域毎の該当する前記特徴量を特定する特徴量特定部と、前記予測結果毎もしくは前記指定領域毎の前記特徴量が保存された検査結果特徴量データベースと、前記検査結果特徴量データベースに保存された前記特徴量に対し、次元削減を行い低次元空間に射影する次元削減部と、を備え、前記特徴量特定部は、前記予測結果毎もしくは前記指定領域毎に、前記予測結果の検出領域もしくは前記指定領域を含む周辺の領域情報を保持した重要領域を求める重要領域算出部と、前記画像認識部が抽出した前記特徴量を前記重要領域で重みづけすることで前記予測結果毎もしくは前記指定領域毎の該当する前記特徴量を抽出する特徴量抽出部と、を有することを特徴とする。
　また、本発明は、機械学習における教師データの作成を支援する教師データ作成支援方法であって、（ａ）検査画像に映る複数の欠陥の種類と位置を、それぞれ個別に検出するステップと、（ｂ）前記（ａ）ステップで検出した結果に対し、欠陥毎の特徴量を特定しデータベースに保存するステップと、（ｃ）前記データベースに保存されている特徴量に対し、次元削減を行い低次元空間に射影し、その結果を表示部に表示するステップと、
　を有することを特徴とする。
　本発明によれば、画像内に複数の欠陥が映る画像に対し、欠陥毎の対応する特徴量をその周辺領域も考慮した形で特定し低次元空間に写像することで効率的な学習画像の収集・選択を可能とする教師データ作成支援装置及びそれを用いた教師データ作成支援方法を実現できる。
　これにより、低次元空間でのデータ分布から教師データの候補となる画像をおおまかに絞ることができ、効率的に教師データを作成することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明に係る教師データ作成支援装置の概略構成を示す図である。 本発明の実施例１に係る教師データ作成支援装置の構成を示すブロック図である。 図２の教師データ作成支援装置による処理を示すフローチャートである。 図２の特徴量特定部６による処理を示すフローチャートである。 図２の検査結果特徴量ＤＢ１７の保存形態の一例を示す図である。 図２の学習結果特徴量ＤＢ１８の保存処理に係るシステム構成を示すブロック図である。 図６のシステム構成による処理を示すフローチャートである。 図２の次元削減部８による次元削減結果の一例を示す図である。 図２の表示部２０の表示例を示す図である。 図２の重要領域算出部１５による効果を示す図である。 図２の重要領域算出部１５による効果を示す図である。 本発明の実施例２に係る教師データ作成支援装置の構成を示すブロック図である。 図１２の教師データ作成支援装置による処理を示すフローチャートである。 図１２の撮像結果ＤＢ２９の保存形態の一例を示す図である。 図１２の表示部３４の表示例を示す図である。
　以下、図面を用いて本発明の実施例を説明する。なお、各図面において同一の構成については同一の符号を付し、重複する部分についてはその詳細な説明は省略する。
　先ず、図１を用いて、本発明による教師データ作成支援装置の概要を説明する。図１は、本発明に係る教師データ作成支援装置の概略構成を示す図である。
　図１に示すように、本発明では、検査画像１に対する画像認識部２の検出結果３に対し、特徴量特定部６が欠陥毎の特徴量を特定し特徴量ＤＢ７に保存する。そして次元削減部８は特徴量ＤＢ７に保存されている特徴量特定部６が特定した特徴量に対し、次元削減を行い低次元空間に射影し、表示部９はその結果を表示する。
　図１の検出結果３に図示するように、画像認識部２は検査画像１に映る欠陥の種類と位置を、検出結果４と検出結果５のようにそれぞれ個別に検出する。特徴量特定部６は画像認識部２によって検出された結果を入力とし、それら検出結果毎に特徴量を特定する。次元削減部８は検出結果毎の特徴量を次元削減し表示部９はその結果を表示するため、表示部９には欠陥毎に対応した次元削減後のデータ点が表示される。例えば、画像内に２つの欠陥が存在し、それらを画像認識部２が別々に検出した場合、表示部９にはそれら欠陥に対応する２つのデータ点が別々に表示される。
　以下では、図１で説明した教師データ作成支援装置の具体的な構成とそれを用いた教師データ作成支援方法について説明する。
　図２を用いて、図１で説明した機能を実現するための具体的な構成について説明する。図２は、本発明の実施例１に係る教師データ作成支援装置の構成を示すブロック図である。
　検査装置１１は試料１０に対し、検査画像１２を撮像する。試料１０は、例えば半導体ウエハ等であり、検査装置１１は、例えばミラー電子を結像するミラー電子顕微鏡による欠陥検査装置や光学式の欠陥検査装置等が該当する。
　画像認識部２は取得された検査画像１２に対して欠陥検査を行う。画像認識部２は検査画像１２から特徴量を抽出し、抽出した特徴量から検査画像１２に映る欠陥を検出する。画像認識部２は検査画像１２に複数の欠陥が映っている場合、それら欠陥を個別に検出する。そのため、画像認識部２の欠陥の種類と位置を予測可能なモデルである。画像認識部２での画像認識モデルには、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）で構成されたＳＳＤ（Ｓｉｎｇｌｅ　Ｓｈｏｔ　Ｍｕｌｔｉｂｏｘ　Ｄｅｔｅｃｔｏｒ）やＲｅｔｉｎａＮｅｔなどを用いる。画像認識部２は予測結果を検出結果１３として出力し、検出結果ＤＢ１４に保存する。
　特徴量特定部６は、重要領域算出部１５、特徴量抽出部１６で構成される。各構成部の処理内容の詳細は後述する。
　重要領域算出部１５は、検出結果１３を入力とし、その検出結果に対する重要領域を求める。この重要領域は、検出領域を含む周辺の領域情報を保持しており、画像認識部２が欠陥を検出するうえで重要視した領域を示す。
　特徴量抽出部１６は、重要領域算出部１５が算出した重要領域を用いて画像認識部２が抽出した特徴量を重みづけし検出結果の要因となった特徴量を抽出することで、検出結果に対応する特徴量として出力する。
　検査結果特徴量ＤＢ１７には特徴量特定部６が特定した検出結果に対応する特徴量が保存されている。
　学習結果特徴量ＤＢ１８には画像認識部２の学習に用いた学習画像に対する画像認識部２の検出結果に対し特徴量特定部６によって求めた検出結果毎の対応する特徴量が保存されている。学習結果特徴量ＤＢ１８への保存プロセスの詳細は後述する。
　次元削減部８は、検査結果特徴量ＤＢ１７および学習結果特徴量ＤＢ１８に保存されている結果に対し次元削減を行い、２次元もしくは３次元の低次元空間にマッピングする。本発明では、次元削減部８の次元削減手法にはｔ－Ｄｉｓｔｒｉｂｕｔｅｄ　Ｓｔｏｃｈａｓｔｉｃ　Ｎｅｉｇｈｂｏｒ　Ｅｍｂｅｄｄｉｎｇ（ｔ－ＳＮＥ）を用いるが、主成分分析や独立成分分析といった他の次元削減アルゴリズムでも良い。
　表示部２０は、次元削減部８が次元削減した結果と検出結果ＤＢ１４に保存されている結果を表示する。
　教師データ作成部２１は、表示部２０が表示している結果に対し、データ選択、選択したデータに対するラベル付け、といった操作をユーザーが可能な機能を有しており、作成された教師データは教師データＤＢ２２に保存される。
　図３は、図２の教師データ作成支援装置による処理を示すフローチャートである。
　先ず、ステップＳ１０１において、検査装置１１は試料１０に対して検査画像１２を撮像する。
　次に、ステップＳ１０２において、画像認識部２は検査画像１２に対し、検査画像１２に映っている欠陥の種類と位置を予測し、検出結果１３として出力する。また検出結果１３を検出結果ＤＢ１４に保存する。
　続いて、ステップＳ１０３において、重要領域算出部１５は検出結果１３に対し検出結果毎に、検出領域を含む周辺の領域情報を保持した重要領域を求める。
　次に、ステップＳ１０４において、特徴量抽出部１６は重要領域算出部１５が求めた重要領域を用いて画像認識部２が抽出した特徴量を重みづけすることで検出結果の要因となった特徴量を抽出し、検査結果特徴量ＤＢ１７へ検出結果のクラス別および検出結果毎に保存する。
　続いて、ステップＳ１０５において、次元削減部８は検査結果特徴量ＤＢ１７および学習結果特徴量ＤＢ１８に保存されている特徴量に対し次元削減を行う。
　次に、ステップＳ１０６において、表示部２０は次元削減部８の結果を表示する。
　続いて、ステップＳ１０７において、教師データ作成部２１は作成された教師データを教師データＤＢ２２に保存する。
　図４及び図５を用いて、重要領域算出部１５、特徴量抽出部１６の処理内容の詳細を説明する。
　図４は、特徴量特定部６（重要領域算出部１５および特徴量抽出部１６）の処理を示すフローチャートである。
　先ず、ステップＳ１０８において、重要領域算出部１５は誤差逆伝搬により検出結果に対する画像認識部２が持つ特徴量マップの微分を計算し、検出結果に対する重要領域を表すＳｋ，ｃ，ｂｏｘ＿ｐｒｅを求める。特徴量マップは画像認識部２が検査画像１２に対して抽出した特徴量を保持している。この処理を、式（１）に示す。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｙｃ，ｂｏｘ＿ｐｒｅは画像認識部２によって予測されたクラスｃ（欠陥の種類）に対するスコアであり、ｂｏｘ＿ｐｒｅは予測した位置を表す。Ａｋは画像認識部２が持つ特徴量マップを表し、ｋはチャンネル番号である。
　式（１）で求まるＳｋ，ｃ，ｂｏｘ＿ｐｒｅは、チャンネル番号ｋの特徴量マップの各ピクセルおける、予測結果（クラスがｃ，位置がbox_pre）に対する空間の重要度を表し、各ピクセル毎に見たときに数値が大きいほど予測結果ｙｃ，ｂｏｘ＿ｐｒｅを出力するうえでより重要視した領域を表す（１に近いほどより重要な領域、０に近いほど重要ではない領域を表す）。
　式（１）で求まる重要領域は、検出領域周辺の情報も考慮されている。そのため画像認識モデルが検出領域周辺の領域を重要視して欠陥を検出した場合は、後述するように、その領域も大きな値として出力される。重要領域としては他に、検出領域および予め設定しておいた検出領域周辺の領域において、領域内を１、それ以外を０とするようなマスクや、予め設定しておいたテンプレート領域なども用いることができる。検査画像１２に欠陥が複数映り検出結果が複数の場合は、検出結果毎に式（１）の処理を行う。そのため検出結果毎に対応した重要領域が求まる。
　次に、ステップＳ１０９において、特徴量抽出部１６は画像認識部２が持つ特徴量マップを重要領域算出部１５が求めた重要領域で重みづけする。この処理を式（２）に示す。
Figure JPOXMLDOC01-appb-M000002
　式（２）の処理によって特徴量マップが保持する特徴量から検出結果の要因となった特徴量を抽出できる。式（２）の処理も重要領域の算出と同様に、検出結果が複数の場合は検出結果毎に行われる。
　続いて、ステップＳ１１０において、特徴量抽出部１６は重みづけした特徴量Ｇｋ，ｃ，ｂｏｘ＿ｐｒｅに対し各チャンネル毎に平均および正規化することで検出結果に対応する特徴量として出力する。Ｇｋ，ｃ，ｂｏｘ＿ｐｒｅは２次元のテンソルであるため、上記処理によってチャンネル毎にスカラー値となる特徴量を求めることができる。例えば、チャンネル数が５１２の場合は、５１２通りの特徴量が求まる。
　式（２）に示す重みづけでは、画像認識部２が持つ特徴量マップにおいて、検出結果に対する各チャンネル毎の重要度を表す情報を入れても良い。この場合、以下の式（３）で表される処理を行う。
Figure JPOXMLDOC01-appb-M000003
　式（３）において、αｋ，ｃ，ｂｏｘ＿ｐｒｅは、検出結果に対するチャンネル番号ｋの特徴量マップが保持する特徴量の重要度を表しており、以下の式（４）で求まる。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、ｉ，ｊはそれぞれ特徴量マップの縦と横のピクセル番号を表し、ｕ，ｖはそれぞれ特徴量マップのピクセル数を表す。また、ｚ＝ｕ×ｖである。式（４）の処理も重要領域の算出と同様に、検出結果が複数の場合は検出結果毎に行われる。
　図５は、重要領域算出部１５および特徴量抽出部１６によって求めた検出結果に対応する特徴量の検査結果特徴量ＤＢ１７への保存形態の例を示している。
　図５に示すように、検出結果に対応する特徴量は検出対象となるクラス別に、また検出結果毎に保存される。図５の例では、検出対象となる欠陥のクラスが欠陥Ａ～欠陥Ｎ存在し、それらクラス別に検出結果毎に対応する特徴量が保存されている。
　図６及び図７を用いて、学習結果特徴量ＤＢ１８への保存処理について説明する。
　図６は、学習結果特徴量ＤＢ１８への保存処理で必要なシステム構成を表す。
　学習画像２３は、画像認識部２の学習に用いた学習データである。
　画像認識部２は、学習画像２３に対し欠陥を検出し検出結果２４を出力する。
　特徴量特定部６は、検出結果２４に対し検出結果に対応する特徴量を特定し学習結果特徴量ＤＢ１８に保存する。
　学習画像２３には、学習に用いた画像の一部を使っても良い。
　図７は、図６のシステム構成による処理を示すフローチャートである。
　先ず、ステップＳ１１１において、画像認識部２は学習画像２３に対して欠陥を検出し検出結果２４として出力する。
　次に、ステップＳ１１２において、特徴量特定部６は検出結果に対応する特徴量を特定し、学習結果特徴量ＤＢ１８へ検出結果のクラス別および検出結果毎に保存する。この際の特徴量特定部６の処理内容は、図４のフローチャートで示した処理と同様の処理を行う。また、特徴量特定部６によって特定された特徴量は、図５に示した検査結果特徴量ＤＢ１７への保存形態と同様の形態で学習結果特徴量ＤＢ１８へ保存される。
　続いて、ステップＳ１１３において、全ての学習画像２３に対し処理を行ったか否かを判断し、全ての学習画像２３に対し処理を行ったと判断した場合（ＹＥＳ）は処理を終了し、全ての学習画像２３に対しては処理が完了していないと判断した場合（ＮＯ）は、ステップＳ１１１に戻り、ステップＳ１１１以降の処理を再び実行する。
　図８は、次元削減部８によって検査結果特徴量ＤＢ１７および学習結果特徴量ＤＢ１８に保存された結果を低次元空間にマッピングした例を示している。図８において、黒丸の点は学習結果特徴量ＤＢ１８に保存されている特徴量に対応するデータであり、黒三角の点は検査結果特徴量ＤＢ１７に保存されている特徴量に対応するデータである。
　図８の左下に存在する検査データは学習データとほとんど同じ領域に存在するため、これらの検査データは学習データと特徴が類似する。一方、図８の右上に存在する検査データは学習データとは離れた領域に存在しており、これらは学習データとは異なる特徴を持つ。
　一般に画像認識モデルは、学習データに含まれない画像に対し誤検出や見逃しといった性能低下を引き起こす。そのためユーザーは、図８の右上に存在するような検査画像に対し優先的にラベル付けを行い教師データを作成することで、画像認識モデルの性能を向上可能な教師データを効率的に作成できる。
　次元削減部８は、欠陥クラス毎に対応するデータを次元削減する。例えば、欠陥Ａに対して次元削減する場合は、検査結果特徴量ＤＢ１７に保存されている欠陥Ａに対応するデータおよび学習結果特徴量ＤＢ１８に保存されている欠陥Ａに対応するデータに対し次元削減を行う。また、次元削減部８は、欠陥クラス毎ではなく、全てのデータに対しまとめて次元削減しても良い。
　図９は、表示部２０の表示例を表した図である。図９に示すように、表示部２０には、（１）検査データ選択部、（２）欠陥クラス選択部、（３）次元削減結果表示部、（４）検出結果表示部、（５）教師データ作成部、などが表示される。
　（１）検査データ選択部によって検査データの選択を行い、また（２）欠陥クラス選択部によって、次元削減対象となる欠陥クラスの選択を行う。
　（３）次元削減結果表示部には、次元削減部８の次元削減結果が表示される。この際、検査結果特徴量ＤＢ１７に保存されている特徴量に対応するデータ点と学習結果特徴量ＤＢ１８に保存されている特徴量に対応するデータ点とを、異なる色または形状で表示する。
　（４）検出結果表示部には、画像認識部２の検出結果が表示される。例えば、予測クラス、予測領域（座標）、予測の確信度を表すスコア等が表示される。この時、（３）次元削減結果表示部に表示されるデータ点と紐づけて表示される。例えば、（３）次元削減結果表示部に表示されるデータ点を選択するとそれに対応する検出結果が表示される。
　本発明では、画像に生じた欠陥が複数あり画像認識部２がそれらを別々に検出した場合、次元削減後のデータ点は検出結果と同等の数となる。そのため、例えば、画像内に複数の欠陥が存在し別々に検出されている場合、それら欠陥に対応するデータ点が別々に表示される。
　（５）教師データ作成部は、（３）次元削減結果表示部および（４）検出結果表示部に表示された結果に対し、ユーザーがペンタブレット等を用いて教師データを作成可能な機能を有する。例えば、欠陥の存在する領域の選択や、その欠陥のクラス選択等を行う。
　（５）教師データ作成部は、画像認識部２の検出結果をラベル候補として使用する機能を有しても良い。例えば、画像認識部２が予測したクラス、領域をクラス候補、領域候補とする。
　図１０及び図１１を用いて、重要領域算出部１５の作用について説明する。前述したように、重要領域算出部１５では、検出領域を含めた周辺の領域も考慮し重要領域を求める。
　図１０の左図は、回路に生じた欠陥を、予測の確信度を表すスコア値０．９で検出した例を示している。図１０の左図に示すように、欠陥の周辺には回路パターンが存在している。画像認識モデルの学習に用いた学習データのほとんどにこのような回路パターンが存在する場合、欠陥の周辺に存在する回路パターンも学習してしまうため、欠陥を検出する際は周辺に存在する回路パターンを重要視して検出する。この場合、回路の製造工程の変更等で回路パターンが変更され欠陥の周辺に回路パターンがなくなった画像に対し、回路パターンを覚えた画像認識モデルでは欠陥を低スコアで検出する可能性がある。これを図１０の右図に示す。
　一般に、画像認識モデルの最終的な出力結果はスコア閾値の設定によって決定される。例えば、スコア閾値を０．６と設定するとスコアが０．６以上の結果のみが最終的に出力される。これによって、誤検出である可能性が高い低スコアの検出結果を除外できる。
　そのため、図１０の右図に示す低スコアで検出された欠陥はスコア閾値によって除外される可能性がある。そこで、図１０の右図のような欠陥を高スコアで検出できるよう、図１０の右図のような回路パターンが無くなった画像を優先的に集めて教師データとし、画像認識モデルを学習する必要がある。
　上述したように、本発明では、検出結果に対応する特徴量を低次元空間に写像することで学習データに含まれない画像の発見を容易にする。図１０の右図に示すようなパターン変更後の画像を、低次元空間で図１０の左図に示すようなパターン変更前の画像と異なる領域に写像するためには、検出対象の欠陥およびその周辺の領域も含めた特徴量を対象に次元削減する必要がある。
　図１１の左図に、検出対象となった欠陥のみの特徴量を次元削減した結果例を示す。図１に示すように、次元削減の対象となる特徴量は検出対象の欠陥が持つ特徴量のみのため、パターン変更前とパターン変更後で次元空間上では同じ領域に写像される。
　図１１の右図に、周辺の領域も含めた特徴量を次元削減した結果例を示す。周辺の領域も考慮することで、パターン変更前では欠陥および周辺の回路パターンの特徴が次元削減の対象となるため、パターン変更前とパターン変更後で低次元空間上では異なる領域に写像される。これにより、パターン変更後の画像を容易に見つけることが可能となる。
　重要領域算出部１５は、図１１の右図の黒枠に示すような検出対象の欠陥とその周辺の領域を重要領域として求め、特徴量抽出部１６によってその重要領域内の特徴量が抽出される。そのため、図１１の右図に示すように、パターン変更前・後の画像を低次元空間上で異なる領域に写像することが可能である。
　本発明の実施例２に係る教師データ作成支援装置及びそれを用いた教師データ作成支援方法について説明する。
　図１２は、本実施例の教師データ作成支援装置の構成を示すブロック図である。
　撮像装置２６は、試料２５に対して検査画像を撮像し撮像結果ＤＢ２９に保存する。試料２５は、半導体ウエハや電子デバイス等であり、撮像装置２６は、電子ビームを照射することで画像を生成する走査電子顕微鏡（ＳＥＭ）や測定装置の一種である測長用走査電子顕微鏡（ＣＤ－ＳＥＭ：Ｃｒｉｔｉｃａｌ　Ｄｉｍｅｎｓｉｏｎ－Ｓｃａｎｎｉｎｇ　Ｅｌｅｃｔｒｏｎ　Ｍｉｃｒｏｓｃｏｐｅ）等である。
　撮像装置２６は、試料２５に対してレシピ作成部２８で作成されたレシピに従って撮像を行う。レシピは撮像装置２６を制御するプログラムであり、撮像位置や撮像回数といった撮像条件等がレシピによって制御される。
　レシピ作成部２８は、指定領域リスト２７に従ってレシピを作成する。指定領域リスト２７は、試料２５の設計情報が記載された設計データ及び／又は撮像装置２６の撮像条件が記載されたデータ等から求めた撮像位置が記載されたリストである。設計データは、例えば、ＧＤＳ（Graphic Data System）フォーマット等で表現されている。指定領域リスト２７はユーザーが予め設定した撮像位置情報でも良い。
　撮像結果ＤＢ２９には、撮像装置２６で撮像された撮像画像が指定領域リスト２７に記載されている領域情報と紐づけて保存されている。
　画像認識部３０は、撮像結果ＤＢ２９に保存されている撮像画像に対し、画像認識処理を行うことで出力結果３１を出力する。画像認識部３０は、例えば、指定領域内に映るクラスを予測する画像認識モデル、画像のピクセル毎にクラスを予測する画像認識モデル、入力された画像を一度圧縮し再度もとの次元に復元するような画像認識モデル等であり、全てＣＮＮで構築されている。
　特徴量特定部６は、出力結果３１に対し、指定領域リスト２７に記載されている指定領域毎の対応する特徴量を特定し、特徴量ＤＢ３２に保存する。この際、特徴量ＤＢ３２へは指定領域毎に対応する特徴量が別々に保存される。そのため、１枚の検査画像に対し指定領域が複数ある場合は、それぞれ別々に保存される。
　次元削減部８は、特徴量ＤＢ３２に保存されている結果に対し次元削減を行う。
　クラスタリング部３３は、次元削減部８の結果に対し、次元削減後のデータ間の類似度に基づいて複数のグループ分けであるクラスタリングを実施する。クラスタリング部３３は、例えば、ｋ－ｍｅａｎｓアルゴリズムなどを用いる。
　表示部３４は、次元削減部８およびクラスタリング部３３の結果を撮像結果ＤＢ２９に保存されている情報と紐づけて表示する。表示部３４は、次元削減部８の結果に対しユーザーが手動でクラスタリング可能な機能および手動でデータ選択等が可能な機能を有する。
　少量データ特定部３５は、クラスタリング部３３及び／又は表示部３４の結果から少量データを特定する。これはクラスタリング処理によって得られる各領域に対し、その領域内に含まれるデータ数をカウントするなどの処理によって実現される。少量データは、撮像装置２６が撮像した検査画像において複数のパターンに分けたとき、他パターンに比べて画像枚数が少ないパターンの画像に該当する。
　レシピ作成部２８は、少量データ特定部３５によって特定された結果に基づいて撮像位置や撮像回数を更新し、レシピに反映する機能を有する。具体的には、少量データと特定された画像に対し、優先的に撮像回数を増やす。これにより、撮像された画像全体に対し、パターン毎の画像枚数を均等にすることができる。
　図１３は、図１２の教師データ作成支援装置による処理を示すフローチャートである。
　先ず、ステップＳ１１４において、レシピ作成部２８は指定領域リスト２７に従ってレシピを作成する。
　続いて、ステップＳ１１５において、撮像装置２６はレシピに従って試料２５を撮像し、指定領域リスト２７に記載されている指定領域と紐づけて撮像結果ＤＢ２９に保存する。
　次に、ステップＳ１１６において、画像認識部３０は撮像結果ＤＢ２９に保存されている撮像画像に対し画像認識処理を行い、出力結果３１として出力する。
　続いて、ステップＳ１１７において、特徴量特定部６は指定領域毎に特徴量を特定し、指定領域毎に特徴量ＤＢ３２に保存する。
　次に、ステップＳ１１８において、次元削減部８は特徴量ＤＢ３２に保存されている特徴量に対し次元削減を行う。
　続いて、ステップＳ１１９において、クラスタリング部３３は次元削減された結果に対しクラスタリングを行う。
　次に、ステップＳ１２０において、表示部３４は次元削減結果およびクラスタリング結果を撮像結果ＤＢ２９に保存されている撮像画像と共に表示する。
　続いて、ステップＳ１２１において、少量データ特定部３５は少量データを特定する。
　次に、ステップＳ１２２において、レシピ作成部２８は少量データ特定部３５の結果に基づいてレシピを更新する。
　続いて、ステップＳ１２３において、撮像終了か否かを判断し、撮像終了と判断した場合（ＹＥＳ）は処理を終了し、撮像終了ではないと判断した場合（ＮＯ）は、ステップＳ１１５に戻り、ステップＳ１１５以降の処理を再び実行する。
　図１４は、撮像結果ＤＢ２９への保存例を表す。図１４に示すように、撮像画像と指定領域リスト２７に記載されている指定領域が紐づけて保存される。
　図１５は、表示部３４の表示例である。図１５に示すように、表示部３４には、（１）撮像データ選択部、（２）次元削減・クラスタリング結果表示部、（３）撮像画像表示部、（４）手動クラスタリング部、（５）少量データ指定部、などが表示される。
　（１）撮像データ選択部によって撮像データの選択を行う。
　（２）次元削減・クラスタリング結果表示部には、次元削減部８およびクラスタリング部３３の結果が表示される。
　（３）撮像画像表示部には、撮像結果ＤＢ２９に保存されている撮像画像が表示される。この際、（２）次元削減・クラスタリング結果表示部と紐づけて表示される。例えば、（２）次元削減・クラスタリング結果表示部に表示されているデータ点を選択するとそのデータに対応する画像および指定領域が表示される。
　（４）手動クラスタリング部は、（２）次元削減・クラスタリング結果表示部に表示されているデータに対しユーザーが手動でクラスタリングを可能とする機能を有する。例えばペンタブレット等によって領域を選択することでクラスタリングを行う。
　（５）少量データ指定部は、ユーザーが手動で少量データを指定できる機能を有する。例えば、ペンタブレット等によって（２）次元削減・クラスタリング結果表示部に表示されているデータを選択することで指定する。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１，１２…検査画像、２，３０…画像認識部、３，４，５，１３，２４…検出結果、６…特徴量特定部、７…特徴量ＤＢ、８…次元削減部、９，２０…表示部、１０，２５…試料、１１…検査装置、１４…検出結果ＤＢ、１５…重要領域算出部、１６…特徴量抽出部、１７…検査結果特徴量ＤＢ、１８…学習結果特徴量ＤＢ、２１…教師データ作成部、２２…教師データＤＢ、２３…学習画像、２６…撮像装置、２７…指定領域リスト、２８…レシピ作成部、２９…撮像結果ＤＢ、３１…出力結果、３２…特徴量ＤＢ、３３…クラスタリング部、３４…表示部、３５…少量データ特定部。

Claims (17)

  1. 　学習結果に基づいて、入力画像に対し特徴量を抽出し、前記特徴量から画像処理を行い認識結果を出力する画像認識部と、
    　前記画像認識部の１つ以上の予測結果もしくは指定領域を入力とし、前記予測結果もしくは前記指定領域毎の該当する前記特徴量を特定する特徴量特定部と、
    　前記予測結果毎もしくは前記指定領域毎の前記特徴量が保存された検査結果特徴量データベースと、
    　前記検査結果特徴量データベースに保存された前記特徴量に対し、次元削減を行い低次元空間に射影する次元削減部と、を備え、
    　前記特徴量特定部は、前記予測結果毎もしくは前記指定領域毎に、前記予測結果の検出領域もしくは前記指定領域を含む周辺の領域情報を保持した重要領域を求める重要領域算出部と、
    　前記画像認識部が抽出した前記特徴量を前記重要領域で重みづけすることで前記予測結果毎もしくは前記指定領域毎の該当する前記特徴量を抽出する特徴量抽出部と、を有することを特徴とする教師データ作成支援装置。
  2. 　請求項１に記載の教師データ作成支援装置であって、
    　前記重要領域算出部は、前記予測結果毎もしくは前記指定領域毎に、誤差逆伝搬と前記特徴量から前記重要領域を求めることを特徴とする教師データ作成支援装置。
  3. 　請求項１に記載の教師データ作成支援装置であって、
    　前記画像認識部の学習に用いた画像に対する前記画像認識部の１つ以上の予測結果もしくは指定領域に対し、前記特徴量特定部によって前記予測結果毎もしくは前記指定領域毎に求められた前記特徴量が前記予測結果毎もしくは前記指定領域毎に保存された学習結果特徴量データベースと、を備え、
    　前記次元削減部は、前記検査結果特徴量データベースおよび前記学習結果特徴量データベースに保存されている前記特徴量に対し、次元削減を行い低次元空間に射影することを特徴とする教師データ作成支援装置。
  4. 　請求項３に記載の教師データ作成支援装置であって、
    　前記次元削減部の処理結果を表示する表示部を備え、
    　前記表示部は、前記検査結果特徴量データベースに保存されている前記特徴量に対応する次元削減後のデータ点と、前記学習結果特徴量データベースに保存されている前記特徴量に対応する次元削減後のデータ点に対し、異なる色または形状で表示することを特徴とする教師データ作成支援装置。
  5. 　請求項４に記載の教師データ作成支援装置であって、
    　前記表示部は、前記次元削減部の処理結果と、前記画像認識部の予測結果もしくは指定領域とを紐づけて表示する機能と、
    　前記表示部の表示内容から、新たな教師データを作成可能な教師データ作成部と、を有することを特徴とする教師データ作成支援装置。
  6. 　請求項１に記載の教師データ作成支援装置であって、
    　前記次元削減部によって低次元空間内に射影された各データ点に対し、複数の領域集合に分割するクラスタリング部と、
    　前記次元削減部の処理結果および前記クラスタリング部の処理結果を表示する表示部と、
    　前記クラスタリング部の処理結果から、各領域毎のデータ数を算出することで少量データを特定する少量データ特定部と、を備えることを特徴とする教師データ作成支援装置。
  7. 　請求項６に記載の教師データ作成支援装置であって、
    　撮像位置または撮像回数を含む撮像条件が記載されたレシピを作成するレシピ作成部と、
    　前記レシピに基づいて試料に対し撮像を行う撮像装置と、を備え、
    　前記入力画像は、前記撮像装置によって撮像された画像であり、
    　前記レシピ作成部は、前記少量データ特定部が特定した少量データに基づき、前記レシピの内容を更新することを特徴とする教師データ作成支援装置。
  8. 　請求項６に記載の教師データ作成支援装置であって、
    　前記表示部は、前記次元削減部および前記クラスタリング部の処理結果に対し、各データ点に対する領域分割または少量データの指定をユーザーが手動で行える機能を有することを特徴とする教師データ作成支援装置。
  9. 　請求項５に記載の教師データ作成支援装置であって、
    　前記教師データ作成部は、前記画像認識部の予測結果もしくは指定領域を画像に付与するラベルの候補とすることを特徴とする教師データ作成支援装置。
  10. 　請求項１に記載の教師データ作成支援装置であって、
    　前記画像認識部は、CNN（Convolution Neural Network）を用いた機械学習により画像処理を行うことを特徴とする教師データ作成支援装置。
  11. 　請求項１に記載の教師データ作成支援装置であって、
    　前記次元削減部は、t-SNE（t-Distributed Stochastic Neighbor Embedding）を用いて次元削減を行うことを特徴とする教師データ作成支援装置。
  12. 　請求項１に記載の教師データ作成支援装置であって、
    　前記重要領域算出部は、前記重要領域に加え、前記予測結果毎もしくは前記指定領域毎に誤差逆伝搬と前記特徴量から前記特徴量の重要度を求め、
    　前記特徴量抽出部は、前記特徴量を前記重要領域および前記重要度で重みづけすることで前記予測結果毎もしくは前記指定領域毎の該当する前記特徴量を抽出することを特徴とする教師データ作成支援装置。
  13. 　請求項１に記載の教師データ作成支援装置であって、
    　前記重要領域算出部は、前記予測結果の検出領域もしくは前記指定領域に対し、予め設定された周辺範囲を重要領域として求めることを特徴とする教師データ作成支援装置。
  14. 　請求項１に記載の教師データ作成支援装置であって、
    　前記予測結果は、前記画像認識部が予測した前記入力画像に映る物体の種類と位置であることを特徴とする教師データ作成支援装置。
  15. 　請求項１に記載の教師データ作成支援装置であって、
    　前記指定領域は、検査対象となる試料を製造するために使用するパターンデータ及び／又は前記試料の撮像条件が記載されたデータに基づいて算出された領域であることを特徴とする教師データ作成支援装置。
  16. 　請求項１に記載の教師データ作成支援装置であって、
    　前記指定領域は、ユーザーが予め設定した領域であることを特徴とする教師データ作成支援装置。
  17. 　機械学習における教師データの作成を支援する教師データ作成支援方法であって、
    　（ａ）検査画像に映る複数の欠陥の種類と位置を、それぞれ個別に検出するステップと、
    　（ｂ）前記（ａ）ステップで検出した結果に対し、欠陥毎の特徴量を特定しデータベースに保存するステップと、
    　（ｃ）前記データベースに保存されている特徴量に対し、次元削減を行い低次元空間に射影し、その結果を表示部に表示するステップと、
    　を有することを特徴とする教師データ作成支援方法。
PCT/JP2021/046717 2021-12-17 2021-12-17 教師データ作成支援装置、教師データ作成支援方法 Ceased WO2023112302A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020247015299A KR20240089449A (ko) 2021-12-17 2021-12-17 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 방법
CN202180104385.4A CN118302790A (zh) 2021-12-17 2021-12-17 示教数据作成辅助装置、示教数据作成辅助方法
PCT/JP2021/046717 WO2023112302A1 (ja) 2021-12-17 2021-12-17 教師データ作成支援装置、教師データ作成支援方法
US18/718,670 US20250054270A1 (en) 2021-12-17 2021-12-17 Labeled training data creation assistance device and labeled training data creation assistance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/046717 WO2023112302A1 (ja) 2021-12-17 2021-12-17 教師データ作成支援装置、教師データ作成支援方法

Publications (1)

Publication Number Publication Date
WO2023112302A1 true WO2023112302A1 (ja) 2023-06-22

Family

ID=86773889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/046717 Ceased WO2023112302A1 (ja) 2021-12-17 2021-12-17 教師データ作成支援装置、教師データ作成支援方法

Country Status (4)

Country Link
US (1) US20250054270A1 (ja)
KR (1) KR20240089449A (ja)
CN (1) CN118302790A (ja)
WO (1) WO2023112302A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025238808A1 (ja) * 2024-05-16 2025-11-20 株式会社日立ハイテク 情報処理装置、および情報処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3222059A1 (en) * 2023-01-13 2025-07-02 Maya Heat Transfer Technologies Ltd. SYSTEM FOR GENERING AN IMAGE DATASET FOR TRAINING AN ARTIFICIAL INTELLIGENCE MODEL FOR OBJECT RECOGNITION, AND ITS METHOD OF USE

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11344450A (ja) * 1998-06-03 1999-12-14 Hitachi Ltd 教示用データ作成方法並びに欠陥分類方法およびその装置
WO2010023791A1 (ja) * 2008-08-28 2010-03-04 株式会社日立ハイテクノロジーズ 欠陥検査方法及び装置
JP2011089976A (ja) * 2009-09-28 2011-05-06 Hitachi High-Technologies Corp 欠陥検査装置および欠陥検査方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6971112B2 (ja) 2017-09-29 2021-11-24 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援装置、分類装置および教師データ作成支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11344450A (ja) * 1998-06-03 1999-12-14 Hitachi Ltd 教示用データ作成方法並びに欠陥分類方法およびその装置
WO2010023791A1 (ja) * 2008-08-28 2010-03-04 株式会社日立ハイテクノロジーズ 欠陥検査方法及び装置
JP2011089976A (ja) * 2009-09-28 2011-05-06 Hitachi High-Technologies Corp 欠陥検査装置および欠陥検査方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025238808A1 (ja) * 2024-05-16 2025-11-20 株式会社日立ハイテク 情報処理装置、および情報処理方法

Also Published As

Publication number Publication date
CN118302790A (zh) 2024-07-05
KR20240089449A (ko) 2024-06-20
US20250054270A1 (en) 2025-02-13

Similar Documents

Publication Publication Date Title
JP7399235B2 (ja) パターン検査システム
TWI722599B (zh) 圖像評價裝置及方法
JP7004826B2 (ja) 寸法計測装置、寸法計測方法及び半導体製造システム
TWI755613B (zh) 基於機器學習之圖案分組方法
TWI733425B (zh) 尺寸測量裝置、尺寸測量程式及半導體製造系統
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
KR102740973B1 (ko) 이미지 데이터 세트 처리
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
US11663713B2 (en) Image generation system
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
JP2014511530A (ja) ウェブベース材料内の不均一性の検出システム
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
KR20220012217A (ko) 반도체 시편에서의 결함들의 기계 학습 기반 분류
CN112308854B (zh) 一种芯片表面瑕疵的自动检测方法、系统及电子设备
KR102772124B1 (ko) 결함 검사 시스템 및 결함 검사 방법
WO2023112302A1 (ja) 教師データ作成支援装置、教師データ作成支援方法
CN116342474B (zh) 晶圆表面缺陷检测方法
CN115471494B (zh) 基于图像处理的沃柑质检方法、装置、装备及存储介质
CN113358042B (zh) 一种测量膜厚的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21968217

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20247015299

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180104385.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18718670

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21968217

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP