[go: up one dir, main page]

WO2025005099A1 - 欠陥検査装置、欠陥検査方法及び欠陥検査プログラム - Google Patents

欠陥検査装置、欠陥検査方法及び欠陥検査プログラム Download PDF

Info

Publication number
WO2025005099A1
WO2025005099A1 PCT/JP2024/023069 JP2024023069W WO2025005099A1 WO 2025005099 A1 WO2025005099 A1 WO 2025005099A1 JP 2024023069 W JP2024023069 W JP 2024023069W WO 2025005099 A1 WO2025005099 A1 WO 2025005099A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
defect
partial image
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/023069
Other languages
English (en)
French (fr)
Inventor
克樹 奥野
裕一 乃万
真菜 平原
真平 竹本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Resonac Corp
Original Assignee
Resonac Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Resonac Corp filed Critical Resonac Corp
Priority to CN202480034276.3A priority Critical patent/CN121263678A/zh
Publication of WO2025005099A1 publication Critical patent/WO2025005099A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to a defect inspection device, a defect inspection method, and a defect inspection program.
  • defect inspection device that performs object detection processing on image data of an object to be inspected, and detects defects contained in the object.
  • this defect inspection device for example, it is possible to detect finer defects by increasing the resolution of the captured image data.
  • the processing load on the defect inspection device increases.
  • minute defects can be detected with high accuracy by performing object detection processing, for example, by type of component, rather than performing it all at once on the entire captured image data.
  • the purpose of this disclosure is to reduce the processing load when detecting defects and improve detection accuracy.
  • a defect inspection apparatus an image recognition processing unit that performs image recognition processing on photographed image data obtained by photographing the inspection object and determines attributes of each area within the inspection object; a cut-out unit that cuts out partial image data including an area having a specific attribute from each area of the inspection object from the captured image data; a prediction unit that predicts a probability that the partial image data has a defect by inputting the partial image data into a learned defect detection model; The display control unit superimposes and displays a sign in a display mode according to the predicted probability at a position where the partial image data of the captured image data is cut out.
  • a second aspect of the present disclosure is a defect inspection apparatus according to the first aspect,
  • the region having the specific attribute is a region having an attribute in which the occurrence of a defect is predicted.
  • a third aspect of the present disclosure is a defect inspection apparatus according to the first or second aspect
  • the image recognition processing unit determines an area of the inspection object having a first attribute in which occurrence of a defect is predicted and an area of the inspection object having a second attribute in which occurrence of a defect is not predicted
  • the cutout section calculates a position for cutting out partial image data including the area having the first attribute based on an arrangement of the area having the second attribute.
  • a fourth aspect of the present disclosure is a defect inspection apparatus according to the third aspect, the regions having the second attribute are arranged in a lattice pattern in the inspection object;
  • the cut-out portion is generating a grid based on center points of regions having the second attribute; Calculating the vertical midpoint position of the lattice point, the horizontal midpoint position of the lattice point, and the diagonal midpoint position of the lattice point as the cut-out positions, A rectangular area having the calculated cut-out position as its center is cut out from the captured image data as the partial image data.
  • a fifth aspect of the present disclosure is a defect inspection apparatus according to the fourth aspect,
  • the cutout section cuts out a square area of the same size centered on the cutout position as the partial image data.
  • a sixth aspect of the present disclosure is a defect inspection apparatus according to the fourth or fifth aspect, the inspection object is a semiconductor package substrate, the region having the first attribute is a solder resist region, The area having the second attribute is a solder joint area.
  • a seventh aspect of the present disclosure is a defect inspection apparatus according to any one of the third to sixth aspects,
  • the image recognition processing unit determines the first attribute and the second attribute on a pixel-by-pixel basis using a semantic segmentation model.
  • An eighth aspect of the present disclosure is a defect inspection apparatus according to any one of the first to seventh aspects,
  • the display control unit superimposes and displays a rectangular frame indicating the presence of a defect, the rectangular frame corresponding to the size of the cut-out partial image data, at the position where the partial image data where the predicted probability is equal to or greater than a predetermined threshold is cut out.
  • a ninth aspect of the present disclosure is a defect inspection apparatus according to any one of the first to eighth aspects,
  • the display control unit displays the predicted probability and a rectangular frame according to a size of the corresponding partial image data, superimposed on a position where the corresponding partial image data is cut out.
  • a tenth aspect of the present disclosure is a defect inspection apparatus according to any one of the first to ninth aspects, a counting unit that judges the presence or absence of a defect based on the probability predicted for each of the partial image data and counts up the judgment results; a calculation unit that performs statistical processing using the determination result and calculates a statistical value; The display control unit displays the tallied result and the calculated statistical value by superimposing them on the captured image data.
  • An eleventh aspect of the present disclosure is a defect inspection apparatus according to any one of the first to tenth aspects,
  • the prediction unit predicts the probability that the partial image data contains a defect by inputting the partial image data into the learned defect detection model, which has been trained based on learning data including the partial image data and information indicating the type of defect.
  • a defect inspection method includes: an image recognition processing step of performing image recognition processing on photographed image data of the inspection object and determining attributes of each region within the inspection object; a cutting step of cutting out partial image data including an area having a specific attribute from each area of the inspection object from the photographed image data; a prediction step of predicting a probability that the partial image data has a defect by inputting the partial image data into a trained defect detection model; A display control step of superimposing and displaying a sign in a display mode according to the predicted probability at a position where the partial image data of the photographed image data has been cut out is executed by the computer.
  • a defect inspection program an image recognition processing step of performing image recognition processing on photographed image data of the inspection object and determining attributes of each region within the inspection object; a cutting step of cutting out partial image data including an area having a specific attribute from each area of the inspection object from the photographed image data; a prediction step of predicting a probability that the partial image data has a defect by inputting the partial image data into a trained defect detection model;
  • the computer is caused to execute a display control step of superimposing and displaying a sign having a display mode according to the predicted probability at a position where the partial image data of the photographed image data has been cut out.
  • This disclosure makes it possible to reduce the processing load when detecting defects and improve detection accuracy.
  • FIG. 1 is a diagram showing an example of a system configuration of a defect inspection system.
  • FIG. 2 is a diagram illustrating an example of an inspection target.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the learning device and the defect inspection device.
  • FIG. 4 is a diagram illustrating an example of a functional configuration of the learning device.
  • FIG. 5 is a diagram showing a specific example of the process performed by the image recognition processing unit.
  • FIG. 6 is a diagram showing a specific example of the process performed by the point coordinate calculation unit.
  • FIG. 7 is a diagram showing a specific example of the process performed by the partial image cutting unit.
  • FIG. 8 is a diagram showing a specific example of processing by the learning data generating unit.
  • FIG. 1 is a diagram showing an example of a system configuration of a defect inspection system.
  • FIG. 2 is a diagram illustrating an example of an inspection target.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of the learning device
  • FIG. 9 is a diagram showing a specific example of the process performed by the learning unit.
  • FIG. 10 is an example of a flowchart showing the flow of a learning process performed by the learning device.
  • FIG. 11 is a diagram illustrating an example of a functional configuration of a defect inspection apparatus.
  • FIG. 12 is a diagram showing a specific example of the process performed by the display control unit.
  • FIG. 13 is an example of a flowchart showing the flow of a defect inspection process performed by the defect inspection device.
  • a defect inspection system 100 includes an imaging device 110, a learning device 120, a defect inspection device 130, and a display device 140.
  • the imaging device 110 captures an image of the inspection object 160 placed on the inspection table 150, and transmits the captured image data to the learning device 120 or the defect inspection device 130.
  • the learning device 120 performs image recognition processing on the captured image data transmitted from the imaging device 110, and determines the attributes of each area in the inspection object 160 on a pixel-by-pixel basis.
  • the learning device 120 also extracts partial image data from the captured image data, including areas with specific attributes that predict the occurrence of defects, among the areas whose attributes have been determined.
  • the learning device 120 also acquires, from the display device 140, inspection result information when an inspector 170 performs a visual inspection of the captured image data displayed on the display device 140, and stores it as learning data in association with the partial image data.
  • the learning device 120 performs a learning process on the defect detection model using the learning data, and generates a learned defect detection model.
  • the defect inspection device 130 also extracts partial image data from the captured image data, including areas with specific attributes that predict the occurrence of defects, among the areas whose attributes have been determined.
  • the defect inspection device 130 also predicts the probability that the partial image data contains a defect by inputting the extracted partial image data into a trained defect detection model. Furthermore, the defect inspection device 130 superimposes a sign with a display mode according to the predicted probability at the position on the captured image data where the partial image data was extracted, and transmits it to the display device 140.
  • the display device 140 acquires the image data captured by the imaging device 110 via the defect inspection device 130 and displays it to the inspector 170. This allows the inspector 170 to perform a visual inspection and transmit the inspection result information to the learning device 120.
  • the display device 140 receives from the defect inspection device 130 the captured image data in which a marker with a display mode according to the predicted probability is superimposed at each position where the partial image data has been cut out, and displays it to the inspector 170. This allows the inspector 170 to perform a visual inspection, for example, by focusing on partial image data whose predicted probability is equal to or greater than a predetermined threshold value.
  • the defect inspection device 130 extracts partial image data from the captured image data, and predicts the probability that a defect exists for the extracted partial image data.
  • the processing load on the defect inspection device 130 can be reduced compared to when batch processing is performed on the entire captured image data.
  • the defect inspection device 130 performs image recognition processing to determine the attributes of each region, and extracts regions having specific attributes that predict the occurrence of defects as partial image data.
  • the inspection target is a structure formed from multiple components, it is possible to extract the region of a component in which the occurrence of a defect is predicted as partial image data.
  • Fig. 2 is a diagram showing an example of the inspection target.
  • the inspection target 160 is a structure formed by a base 210 and a plurality of members 220. More specifically, the inspection target 160 is a semiconductor package substrate, and the example in Fig. 2 shows the semiconductor package substrate as viewed from above. Therefore, the base 210 is a solder resist, and the plurality of members 220 are solder joints.
  • the imaging device 110 has a resolution sufficient to detect the minute defects when they occur. For this reason, the amount of captured image data capturing the entire inspection object 160 is large, and attempting to process the captured image data in a batch increases the processing load on the defect inspection device 130.
  • the defect inspection device 130 according to the first embodiment extracts partial image data from the captured image data.
  • the defect inspection device 130 according to the first embodiment extracts the areas of the base 210 located between adjacent members 220 as partial image data.
  • FIG. 3 is a diagram showing an example of the hardware configuration of the learning device and the defect inspection device.
  • the learning device 120 and the defect inspection device 130 have a processor 301, a memory 302, an auxiliary storage device 303, an input/output device 304, a communication device 305, and a drive device 306.
  • the hardware components of the learning device 120 and the defect inspection device 130 are connected to each other via a bus 307.
  • the processor 301 has various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 301 reads various programs onto the memory 302 and executes them.
  • the various programs referred to here include, for example, programs such as a learning program or a defect inspection program, which will be described later.
  • Memory 302 has a primary storage device such as a ROM (Read Only Memory) or a RAM (Random Access Memory).
  • the processor 301 and memory 302 form what is known as a computer.
  • the computer realizes various functions by the processor 301 executing various programs read onto memory 302.
  • the auxiliary storage device 303 stores various programs and various data used when the programs are executed by the processor 301.
  • the learning data storage unit 411, the trained model storage unit 412, and the trained model storage unit 1111 which will be described later, are realized in the auxiliary storage device 303.
  • the input/output device 304 is a connection device that connects to the operation device 311, which is an example of a user interface device, and the display device 312.
  • the communication device 305 is a communication device for communicating with the external device 320 via a network.
  • the external device 320 here includes the imaging device 110, the display device 140, etc.
  • the drive unit 306 is a device for setting the recording medium 330.
  • the recording medium 330 here includes media that record information optically, electrically, or magnetically, such as CD-ROMs, flexible disks, and magneto-optical disks.
  • the recording medium 330 may also include media such as semiconductor memory that records information electrically, such as ROM and flash memory.
  • the various programs to be installed in the auxiliary storage device 303 are installed, for example, by inserting the distributed recording medium 330 into the drive device 306 and reading out the various programs recorded on the recording medium 330.
  • the various programs to be installed in the auxiliary storage device 303 may be installed by downloading them from a network via the communication device 305.
  • Fig. 4 is a diagram showing an example of the functional configuration of the learning device.
  • a learning program is installed in the learning device 120.
  • the learning device 120 functions as an image data acquisition unit 401, an image recognition processing unit 402, a point coordinate calculation unit 403, a partial image clipping unit 404, an inspection result information acquisition unit 405, a learning data generation unit 406, and a learning unit 407.
  • the image data acquisition unit 401 acquires captured image data from the imaging device 110.
  • the image data acquisition unit 401 notifies the image recognition processing unit 402 and the partial image clipping unit 404 of the acquired captured image data.
  • the image recognition processing unit 402 performs image recognition processing on the captured image data to determine the attributes of each area contained in the captured image data on a pixel-by-pixel basis.
  • the image recognition processing unit 402 recognizes the area of the base 210 and the area of the member 220 on a pixel-by-pixel basis, for example, by inputting the captured image data into a semantic segmentation model.
  • the semantic segmentation model used by the image recognition processing unit 402 is, for example, "DeepLabV3" or the like.
  • the point coordinate calculation unit 403 calculates a lattice vector in the captured image data in which attributes are determined on a pixel-by-pixel basis.
  • the lattice vector is a vector for generating a lattice that specifies the position coordinates of the members 220 arranged in a lattice pattern.
  • the point coordinate calculation unit 403 determines the start position and direction of the lattice vector so that the sum of the distances between the lattice points and the center points of the members 220 is minimized. By determining the lattice vector in this way, even if any of the members 220 cannot be recognized during image recognition processing, a lattice can be generated as long as the other members 220 can be recognized. This allows the point coordinate calculation unit 403 to properly calculate the position coordinates of all of the members 220.
  • the point coordinate calculation unit 403 generates a grid based on the determined grid vector, and calculates the position coordinates of the midpoint between adjacent grid points in the generated grid.
  • the point coordinate calculation unit 403 also notifies the partial image cropping unit 404 of the calculated position coordinates of the midpoint.
  • the partial image data cut out by the partial image cutout unit 404 is sequentially notified to the learning data generation unit 406.
  • the test result information acquisition unit 405 acquires test result information from the display device 140 and notifies the learning data generation unit 406.
  • the learning data generation unit 406 generates learning data by associating the partial image data notified by the partial image clipping unit 404 with the inspection result information notified by the inspection result information acquisition unit 405, and stores the data in the learning data storage unit 411.
  • the inspection result information notified by the inspection result information acquisition unit 405 includes the type of defect and the position coordinates of the defect.
  • the learning data generation unit 406 generates learning data by associating the partial image data corresponding to the position coordinates of the defect with the type of defect.
  • the learning unit 407 performs a learning process on the defect detection model using the learning data stored in the learning data storage unit 411, and generates a trained defect detection model.
  • the learning unit 407 stores the generated trained defect detection model in the trained model storage unit 412.
  • FIG. 5 is a diagram showing a specific example of processing by the image recognition processing unit.
  • reference numeral 510 indicates captured image data.
  • the example in Fig. 5 shows only a partial area of the captured image data obtained by capturing an image of the inspection target 160.
  • the image recognition processing unit 402 performs image recognition processing on the captured image data indicated by the reference numeral 510, and determines the area of the base 210 and the area of the member 220 on a pixel-by-pixel basis.
  • reference numeral 520 indicates the image recognition processing result obtained by the image recognition processing unit 402 determining the area of the base 210 and the area of the member 220 on a pixel-by-pixel basis.
  • pixels determined by the image recognition processing unit 402 to be the area of the base 210 are shown in white.
  • pixels determined by the image recognition processing unit 402 to be the area of the member 220 are shown in black.
  • FIG. 6 is a diagram showing a specific example of processing by the point coordinate calculation unit. As shown in Fig. 6, when the image recognition processing result indicated by reference numeral 520 is input, the point coordinate calculation unit 403 determines a lattice vector 611 as indicated by reference numeral 610.
  • the point coordinate calculation unit 403 determines the starting position and direction of the lattice vector 611 so that the sum of the distances between the lattice points and the center points of the components 220 is minimized.
  • the solid lines shown within the reference numeral 610 indicate a lattice generated based on the determined lattice vector 611, etc. By generating a lattice in this way, even if some areas of the multiple components 220 are not recognized, the point coordinate calculation unit 403 can properly calculate the position coordinates of all of the components 220.
  • the point coordinate calculation unit 403 calculates the position coordinates of the midpoint between adjacent lattice points in the generated lattice. - The coordinates of the midpoint between adjacent grid points in the vertical direction, - The coordinates of the midpoint between horizontally adjacent grid points, - The coordinates of the midpoint between adjacent lattice points in the diagonal direction, is calculated.
  • Fig. 7 is a diagram showing a specific example of processing by the partial image cutout unit. As shown in Fig. 7, when the captured image data indicated by reference numeral 510 and the position coordinates of the midpoint indicated by reference numeral 620 are input, the partial image cutout unit 404 cuts out the partial image data as indicated by reference numeral 710.
  • partial image cutout unit 404 cuts out a rectangular area centered on the position coordinates of the midpoint from the captured image data as partial image data.
  • partial image data 711 shows a rectangular area centered on the position coordinates of the midpoint 621 cut out from the captured image data.
  • partial image data 712 shows a rectangular area centered on the position coordinates of the midpoint 622 cut out from the captured image data.
  • the shape of the rectangular area is a square, and the size of the cut-out rectangular areas is the same. This is to make the learning process easier when inputting the data into the defect detection model and performing the learning process. Also, by rotating the cut-out partial image data by 90 degrees or 180 degrees, it can be stored in the learning data as partial image data different from the partial image data before rotation, making it possible to increase the amount of learning data.
  • Fig. 8 is a diagram showing a specific example of processing by the learning data generator 406.
  • reference numeral 810 indicates an example of inspection result information transmitted from the display device 140.
  • the inspection result information includes the following information items: "defect identifier,” "defect position coordinates,” and "defect type.”
  • Defect identifier stores an identifier for identifying a defect detected by visual inspection by inspector 170.
  • Defect position coordinates stores information calculated when inspector 170 inputs a circumscribing rectangle of the defect, and stores information for identifying the position and size of the circumscribing rectangle. Specifically, the position coordinates of the upper left and lower right of the circumscribing rectangle are stored.
  • Defect type stores the type of defect determined by visual inspection by inspector 170.
  • the learning data generating unit 406 when the inspection result information indicated by reference numeral 810 and the partial image data 711, 712, etc. indicated by reference numeral 710 are input, the learning data generating unit 406 generates learning data 820.
  • the learning data 820 includes the following information items: "partial image identifier”, “partial image”, “defect identifier”, “defect position coordinates”, and "defect type”.
  • Partial image identifier stores an identifier that identifies partial image data.
  • Partial image stores partial image data.
  • Defect identifier "defect position coordinates”, and "defect type” each store the corresponding inspection result information.
  • the learning data generation unit 406 associates the partial image data with the inspection result information based on the relationship between the position coordinates of the cut-out partial image data and the position coordinates stored in the "defect position coordinates" of the inspection result information.
  • the learning data generation unit 406 stores the generated learning data 820 in the learning data storage unit 411.
  • Fig. 9 is a diagram showing a specific example of processing by the learning unit.
  • the learning unit 407 includes a defect detection model 901 and a comparison/change unit 902.
  • the learning unit 407 performs a learning process on the defect detection model 901 using the learning data 820 stored in the learning data storage unit 411.
  • the learning unit 407 inputs each partial image data stored in the "partial image” of the learning data 820 to the defect detection model 901. As a result, the defect detection model 901 outputs the probability that each partial image data has a defect as output data.
  • the learning unit 407 also inputs the type of defect stored in the "defect type" of the learning data 820 to the comparison and modification unit 902. As a result, the comparison and modification unit 902 compares the output data output from the defect detection model 901 with the type of defect stored in the "defect type".
  • the comparison modification unit 902 compares the output data output from the defect detection model 901 with "0%” indicating the type of defect stored in “defect type” and calculates an error.
  • the comparison modification unit 902 compares the output data output from the defect detection model 901 with "100%” indicating the type of defect stored in "defect type” and calculates an error.
  • the comparison modification unit 902 compares the output data output from the defect detection model 901 with "100%” indicating the type of defect stored in "defect type” and calculates an error.
  • the comparison and modification unit 902 updates the model parameters of the defect detection model 901 according to the calculated error.
  • the learning unit 407 can generate a learned defect detection model.
  • the learning unit 407 stores the generated trained defect detection model in the trained model storage unit 412.
  • Fig. 10 is an example of a flowchart showing the flow of the learning process by the learning device. The flowchart shown in Fig. 10 is executed in the learning phase.
  • step S1001 the learning device 120 acquires image data captured by the imaging device 110.
  • step S1002 the learning device 120 acquires the test result information from the display device 140.
  • step S1003 the learning device 120 performs image recognition processing on the captured image data and determines the attributes of each region on a pixel-by-pixel basis.
  • step S1004 the learning device 120 determines a lattice vector based on the position coordinates of the center point of the member 220.
  • step S1005 the learning device 120 generates a lattice based on the determined lattice vector and calculates the position coordinates of the midpoint between adjacent lattice points.
  • step S1006 the learning device 120 inputs "1" to counter i, which counts the midpoints whose position coordinates have been calculated.
  • step S1007 the learning device 120 cuts out a rectangular area centered on the position coordinates of the i-th midpoint as partial image data.
  • step S1008 the learning device 120 determines whether there is test result information that corresponds to the partial image data. If it is determined in step S1008 that there is corresponding test result information (YES in step S1008), the process proceeds to step S1009.
  • step S1009 the learning device 120 associates the partial image data with the test result information and stores it in the learning data.
  • step S1008 determines whether there is no corresponding test result information (NO in step S1008). If it is determined in step S1008 that there is no corresponding test result information (NO in step S1008), the process proceeds to step S1010.
  • step S1010 the learning device 120 associates the partial image data with "no defect” and stores it in the learning data.
  • step S1011 the learning device 120 determines whether or not the processing of steps S1007 to S1010 has been performed for all partial image data cut out from the captured image data. If it is determined in step S1011 that there is partial image data on which processing has not been performed (NO in step S1011), the process proceeds to step S1012.
  • step S1012 the learning device 120 increments the counter i and returns to step S1007.
  • step S1011 determines whether processing has been performed on all partial image data (YES in step S1011), the process proceeds to step S1013.
  • step S1013 the learning device 120 reads the learning data, performs a learning process on the defect detection model, and generates a trained defect detection model.
  • step S1014 the learning device 120 stores the generated trained defect detection model in the trained model storage unit 412.
  • Fig. 11 is a diagram showing an example of the functional configuration of the defect inspection device.
  • a defect inspection program is installed in the defect inspection device 130.
  • the defect inspection device 130 executes the defect inspection program to function as an image data acquisition unit 1101, an image recognition processing unit 1102, a point coordinate calculation unit 1103, a partial image clipping unit 1104, a prediction unit 1105, a counting unit 1106, and a display control unit 1107.
  • the image data acquisition unit 1101 acquires captured image data from the imaging device 110.
  • the image data acquisition unit 1101 notifies the image recognition processing unit 1102 and the partial image clipping unit 1104 of the acquired captured image data.
  • the image recognition processing unit 1102 performs image recognition processing on the captured image data to determine the attributes of each area included in the captured image data on a pixel-by-pixel basis.
  • the image recognition processing unit 1102 recognizes the area of the base 210 and the area of the member 220 on a pixel-by-pixel basis, for example, by inputting the captured image data into a semantic segmentation model.
  • the semantic segmentation model used by the image recognition processing unit 1102 is, for example, "DeepLabV3" or the like.
  • the point coordinate calculation unit 1103 calculates a lattice vector in the captured image data in which attributes are determined on a pixel-by-pixel basis.
  • the lattice vector is a vector for generating a lattice that specifies the position coordinates of the members 220 arranged in a lattice pattern.
  • the point coordinate calculation unit 1103 determines the start position and direction of the lattice vector so that the sum of the distances between the lattice points and the center points of the members 220 is minimized. By determining the lattice vector in this way, even if any of the members 220 cannot be recognized during image recognition processing, a lattice can be generated as long as the other members 220 can be recognized. This allows the point coordinate calculation unit 403 to properly calculate the position coordinates of all of the members 220.
  • the point coordinate calculation unit 1103 generates a grid based on the determined grid vector, and calculates the position coordinates of the midpoint between adjacent grid points in the generated grid.
  • the point coordinate calculation unit 1103 also notifies the partial image cropping unit 1104 of the calculated position coordinates of the midpoint.
  • the partial image cutout unit 1104 identifies a rectangular area centered on the position coordinates of the midpoint notified by the point coordinate calculation unit 1103 in the captured image data notified by the image data acquisition unit 1101, and cuts it out as partial image data.
  • the shape and size of the rectangular area cut out by the partial image cutout unit 1104 as partial image data are assumed to be determined in advance.
  • the partial image data cut out by the partial image cutout unit 1104 is input sequentially to the prediction unit 1105.
  • the prediction unit 1105 predicts the probability that the partial image data has a defect by inputting the partial image data into the trained defect detection model read from the trained model storage unit 1111. The prediction unit 1105 also notifies the counting unit 1106 and the display control unit 1107 of the predicted probability.
  • the counting unit 1106 obtains the probability that the partial image data has a defect from the prediction unit 1105, and determines whether the obtained probability is equal to or greater than a predetermined threshold. If the counting unit 1106 determines that the probability is equal to or greater than the predetermined threshold, it determines that the corresponding partial image data has a defect. On the other hand, if the counting unit 1106 determines that the probability is less than the predetermined threshold, it determines that the corresponding partial image data does not have a defect.
  • the counting unit 1106 judges the presence or absence of defects for all partial image data cut out from the captured image data, counts the judgment results, performs statistical processing, and calculates statistical values. The counting unit 1106 also notifies the display control unit 1107 of the counting results and statistical values.
  • the display control unit 1107 obtains the probability that the partial image data has a defect from the prediction unit 1105, and superimposes a sign with a display mode according to the obtained probability at the position of the corresponding partial image data in the captured image data.
  • the display control unit 1107 also superimposes the counting results and statistical values notified by the counting unit 1106 on the captured image data.
  • the display control unit 1107 controls the display device 140 to display the captured image data with the signs, the counting results, and the statistical values superimposed thereon.
  • FIG. 12 is a diagram showing a specific example of processing by the display control unit.
  • reference numeral 1210 indicates a state in which the display control unit 1107 displays a sign in a display mode according to the probability of a defect at the position of the corresponding partial image data within the captured image data.
  • the probability of a defect is equal to or greater than a predetermined threshold, and a thick solid rectangular frame is displayed as an indicator at the cut-out position of partial image data that has been determined to have a defect.
  • a thick solid rectangular frame is displayed as an indicator at the cut-out position of partial image data that has been determined to have a defect.
  • reference numeral 1220 shows a state in which the predicted probability for each piece of partial image data is displayed at the position where each piece of partial image data is cut out.
  • the example of reference numeral 1220 also shows a state in which a rectangular frame corresponding to the predicted probability for each piece of partial image data is displayed at the position where each piece of partial image data is cut out.
  • the example of reference numeral 1220 indicates that when the probability of a defect is equal to or less than the first threshold, a dotted rectangular frame and the probability of a defect are displayed at the position where the corresponding partial image data is cut out.
  • the example of reference numeral 1220 also indicates that when the probability of a defect is greater than the first threshold and equal to or less than the second threshold, a thin solid rectangular frame and the probability of a defect are displayed at the position where the corresponding partial image data is cut out.
  • the example of reference numeral 1220 also indicates that when the probability of a defect is greater than the second threshold, a thick solid rectangular frame and the probability of a defect are displayed at the position where the corresponding partial image data is cut out.
  • the display mode of the reference numeral 1220 by referring to each rectangular frame, it is possible to easily understand what predictions the trained defect detection model has made about the partial image data.
  • a rectangular frame is displayed for some of the cut-out partial image data in a display mode corresponding to the probability of a defect.
  • the other partial image data may also be configured to be similarly configured to display a rectangular frame in a display mode corresponding to the probability of a defect.
  • the display of the tally results and statistical values is omitted due to space limitations, but the tally results and statistical values may be displayed in any position.
  • Fig. 13 is an example of a flowchart showing the flow of defect inspection processing by the defect inspection device. The flowchart shown in Fig. 13 is executed in the inspection phase.
  • step S1301 the defect inspection device 130 acquires the image data captured by the imaging device 110.
  • step S1303 the defect inspection device 130 determines the lattice vector based on the position coordinates of the center point of the component.
  • step S1304 the defect inspection device 130 generates a lattice based on the determined lattice vector and calculates the position coordinates of the midpoint between adjacent lattice points.
  • step S1305 the defect inspection device 130 inputs "1" to counter i, which counts the midpoints whose position coordinates have been calculated.
  • step S1306 the defect inspection device 130 cuts out a rectangular area centered on the position coordinates of the i-th midpoint as partial image data.
  • step S1308 the defect inspection device 130 determines whether or not the probability of defects has been predicted for all partial image data.
  • step S1308 If it is determined in step S1308 that there is partial image data for which the probability of a defect has not been predicted (NO in step S1308), proceed to step S1309.
  • step S1309 the defect inspection device 130 increments counter i and returns to step S1306.
  • step S1308 determines whether the probability of defects has been predicted for all partial image data (YES in step S1308). If it is determined in step S1308 that the probability of defects has been predicted for all partial image data (YES in step S1308), the process proceeds to step S1310.
  • step S1310 the defect inspection device 130 determines whether or not there is a defect in the partial image data based on the predicted probability.
  • the defect inspection device 130 also tallys up the determination results and performs statistical processing to calculate statistical values.
  • step S1311 the defect inspection device 130 superimposes the markers, the counting results, and the statistical values according to the probabilities onto the captured image data.
  • step S1312 the defect inspection device 130 displays the captured image data on the display device 140, onto which are superimposed the markers, the counting results, and the statistical values according to the probabilities.
  • the defect inspection apparatus 130 has the following features: Image recognition processing is performed on the captured image data of the inspection object 160, and the attributes of each area within the inspection object 160 are determined on a pixel-by-pixel basis. Partial image data including the region of the base portion 210 where the occurrence of a defect is predicted among the regions within the inspection object 160 is extracted from the captured image data. - By inputting partial image data into a trained defect detection model, the probability that the partial image data contains a defect is predicted. In the photographed image data of the inspection target, a sign is superimposed in a display mode according to the predicted probability at a position where the partial image data is cut out.
  • the defect inspection device 130 extracts partial image data from the captured image data, and predicts the probability that a defect exists for the extracted partial image data.
  • the processing load on the defect inspection device 130 can be reduced compared to when batch processing is performed on the entire captured image data.
  • the defect inspection device 130 performs image recognition processing to determine the attributes of each region, and extracts regions having specific attributes in which defects are predicted to occur as partial image data.
  • the inspection target is a structure formed from multiple components, it is possible to extract the region of a component in which defects are predicted to occur as partial image data.
  • the processing load on the defect inspection device 130 can be further reduced compared to when all areas are extracted as partial image data.
  • the extracted partial image data contains a large proportion of specific attributes that are predicted to cause defects, the accuracy of detecting minute defects can be improved compared to when minute defects are detected from captured image data that includes areas of multiple types of components.
  • Second Embodiment In the above first embodiment, a case has been described in which the defect inspection device 130 performs defect inspection processing on captured image data obtained by capturing an image of a semiconductor package substrate to be inspected from above. For this reason, in the above first embodiment, it has been described that an area having a specific attribute (first attribute) in which a defect is predicted to occur is an area of solder resist, and an area having an attribute (second attribute) in which a defect is not predicted to occur is an area of solder joints.
  • the captured image data acquired by the defect inspection device 130 is not limited to this.
  • the method of extracting partial image data by the defect inspection device 130 is not limited to this.
  • defect inspection processing may be performed by acquiring photographed image data obtained by photographing the semiconductor package substrate from the side, which is the subject of inspection.
  • photographed image data obtained by photographing the semiconductor package substrate from the side multiple layers of glass fiber impregnated with resin are included.
  • the image recognition processing unit 402, 1102 determines the first layer area as an area having a first attribute, and determines the second layer area as another area having a first attribute.
  • the cut-out unit cuts out, for example, partial image data including the first layer area and partial image data including the second layer area. In this case, the areas other than the layer areas become areas having the second attribute.
  • an area having a specific attribute includes an area consisting of one specific type of component, and an area including multiple types of components, but consisting of one specific combination of component types and arrangements.
  • the second embodiment can achieve the same effects as the first embodiment.
  • the display control unit 1107 may be configured to display each type of defect in a different display mode.
  • the counting unit 1106 may be configured to count the determination results for each type of defect.
  • the counting unit 1106 may, for example, count the number of partial image data determined to be defective. Alternatively, when partial image data determined to be defective are consecutive, the counting unit 1106 may count the number of consecutive partial image data. Alternatively, the counting unit 1106 may calculate the proportion of partial image data determined to be defective by dividing the number of partial image data determined to be defective by the total number of partial image data cut out from the captured image data. Alternatively, the counting unit 1106 may generate a histogram based on the probability of defect.
  • a grid is generated by determining a grid vector, but the method of generating the grid is not limited to this.
  • a rectangular area centered on the position coordinates of the midpoint of the generated grid is cut out as partial image data, but the method of cutting out the partial image data is not limited to this.
  • both partial image data determined to have a defect and partial image data determined to have no defect are used as learning data, but it is also possible to use only one of the partial image data as learning data.
  • the learning device 120 and the defect inspection device 130 are configured as separate devices, but the learning device 120 and the defect inspection device 130 may be configured as an integrated device.
  • Defect inspection system 110 Imaging device 120: Learning device 130: Defect inspection device 140: Display device 210: Base 220: Member 401: Image data acquisition unit 402: Image recognition processing unit 403: Point coordinate calculation unit 404: Partial image clipping unit 405: Inspection result information acquisition unit 406: Learning data generation unit 407: Learning unit 611: Lattice vector 621, 622: Midpoint 711, 712: Partial image data 820: Learning data 901: Defect detection model 1101: Image data acquisition unit 1102: Image recognition processing unit 1103: Point coordinate calculation unit 1104: Partial image clipping unit 1105: Prediction unit 1106: Counting unit 1107: Display control unit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

欠陥を検出する際の処理負荷を削減するとともに、検出精度を向上させる。欠陥検査装置は、検査対象を撮影した撮影画像データに対して画像認識処理を行い、検査対象内の各領域の属性を判定する画像認識処理部と、前記検査対象内の各領域のうち、特定の属性を有する領域を含む部分画像データを、前記撮影画像データから切り出す切り出し部と、学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する予測部と、前記撮影画像データの前記部分画像データが切り出された位置に、前記予測された確率に応じた表示態様の標示物を重畳して表示する表示制御部とを有する。

Description

欠陥検査装置、欠陥検査方法及び欠陥検査プログラム
　本開示は、欠陥検査装置、欠陥検査方法及び欠陥検査プログラムに関する。
　従来より、検査対象を撮影した撮影画像データに対して物体検出処理を行い、検査対象に含まれる欠陥を検出する欠陥検査装置が知られている。当該欠陥検査装置によれば、例えば、撮影画像データの分解能を上げることによって、より微細な欠陥を検出することができる。
特許第７２７０３１４号
　一方で、分解能を上げることによって撮影画像データ１枚あたりのデータ量が増加すると、欠陥検査装置の処理負荷が大きくなる。これに対して、処理負荷削減の観点から、撮影画像データを、分割して処理することが考えられる。また、検査対象が複数種類の部材によって形成された構造体の場合にあっては、物体検出処理を撮影画像データ全体に対して一括して行うよりも、例えば、部材の種類ごとに分けて行う方が、微細な欠陥を高精度に検出できると考えられる。
　本開示は、欠陥を検出する際の処理負荷を削減するとともに、検出精度を向上させることを目的としている。
　本開示の第１の態様に係る欠陥検査装置は、
　検査対象を撮影した撮影画像データに対して画像認識処理を行い、検査対象内の各領域の属性を判定する画像認識処理部と、
　前記検査対象内の各領域のうち、特定の属性を有する領域を含む部分画像データを、前記撮影画像データから切り出す切り出し部と、
　学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する予測部と、
　前記撮影画像データの前記部分画像データが切り出された位置に、前記予測された確率に応じた表示態様の標示物を重畳して表示する表示制御部とを有する。
　本開示の第２の態様は、第１の態様に記載の欠陥検査装置であって、
　前記特定の属性を有する領域は、欠陥の発生が予見される属性を有する領域である。
　本開示の第３の態様は、第１または第２の態様に記載の欠陥検査装置であって、
　前記画像認識処理部は、前記検査対象において欠陥の発生が予見される第１の属性を有する領域と、前記検査対象において欠陥の発生が予見されない第２の属性を有する領域とを判定し、
　前記切り出し部は、前記第２の属性を有する領域の配列に基づいて、前記第１の属性を有する領域を含む部分画像データを切り出す位置を算出する。
　本開示の第４の態様は、第３の態様に記載の欠陥検査装置であって、
　前記第２の属性を有する領域は、前記検査対象において格子状に配列されており、
　前記切り出し部は、
　　前記第２の属性を有する領域の中心点に基づいて格子を生成し、
　　格子点の縦方向の中点の位置、格子点の横方向の中点の位置、格子点の斜め方向の中点の位置を、それぞれ、前記切り出す位置として算出し、
　　前記撮影画像データのうち、算出した前記切り出す位置を中心とする矩形領域を、前記部分画像データとして切り出す。
　本開示の第５の態様は、第４の態様に記載の欠陥検査装置であって、
　前記切り出し部は、前記切り出す位置を中心とする、同じサイズの正方形の領域を、前記部分画像データとして切り出す。
　本開示の第６の態様は、第４または第５の態様に記載の欠陥検査装置であって、
　前記検査対象は、半導体パッケージ基板であり、
　前記第１の属性を有する領域は、ソルダレジストの領域であり、
　前記第２の属性を有する領域は、はんだ接合部の領域である。
　本開示の第７の態様は、第３乃至第６のいずれかの態様に記載の欠陥検査装置であって、
　前記画像認識処理部は、セマンティックセグメンテーションモデルを用いて、前記第１の属性と、前記第２の属性とを、画素単位で判定する。
　本開示の第８の態様は、第１乃至第７のいずれかの態様に記載の欠陥検査装置であって、
　前記表示制御部は、前記予測された確率が所定の閾値以上となる部分画像データが切り出された位置に、切り出された部分画像データのサイズに応じた矩形枠であって、欠陥があることを示す矩形枠を重畳して表示する。
　本開示の第９の態様は、第１乃至第８のいずれかの態様に記載の欠陥検査装置であって、
　前記表示制御部は、前記予測された確率と、対応する部分画像データのサイズに応じた矩形枠とを、対応する部分画像データが切り出された位置に重畳して表示する。
　本開示の第１０の態様は、第１乃至第９のいずれかの態様に記載の欠陥検査装置であって、
　それぞれの前記部分画像データについて予測された確率に基づいて、欠陥の有無を判定し、判定結果を集計する集計部と、
　判定結果を用いて統計処理を行い、統計値を算出する算出部と、を有し、
　前記表示制御部は、集計された集計結果と、算出された前記統計値とを、前記撮影画像データに重畳して表示する。
　本開示の第１１の態様は、第１乃至第１０のいずれかの態様に記載の欠陥検査装置であって、
　前記予測部は、部分画像データと欠陥の種類を示す情報とを含む学習用データに基づいて学習された前記学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する。
　本開示の第１２の態様に係る欠陥検査方法は、
　検査対象を撮影した撮影画像データに対して画像認識処理を行い、検査対象内の各領域の属性を判定する画像認識処理工程と、
　前記検査対象内の各領域のうち、特定の属性を有する領域を含む部分画像データを、前記撮影画像データから切り出す切り出し工程と、
　学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する予測工程と、
　前記撮影画像データの前記部分画像データが切り出された位置に、前記予測された確率に応じた表示態様の標示物を重畳して表示する表示制御工程とをコンピュータが実行する。
　本開示の第１３の態様に係る欠陥検査プログラムは、
　検査対象を撮影した撮影画像データに対して画像認識処理を行い、検査対象内の各領域の属性を判定する画像認識処理工程と、
　前記検査対象内の各領域のうち、特定の属性を有する領域を含む部分画像データを、前記撮影画像データから切り出す切り出し工程と、
　学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する予測工程と、
　前記撮影画像データの前記部分画像データが切り出された位置に、前記予測された確率に応じた表示態様の標示物を重畳して表示する表示制御工程とをコンピュータに実行させる。
　本開示によれば、欠陥を検出する際の処理負荷を削減するとともに、検出精度を向上させることができる。
図１は、欠陥検査システムのシステム構成の一例を示す図である。 図２は、検査対象の一例を示す図である。 図３は、学習装置及び欠陥検査装置のハードウェア構成の一例を示す図である。 図４は、学習装置の機能構成の一例を示す図である。 図５は、画像認識処理部による処理の具体例を示す図である。 図６は、点座標算出部による処理の具体例を示す図である。 図７は、部分画像切り出し部による処理の具体例を示す図である。 図８は、学習用データ生成部による処理の具体例を示す図である。 図９は、学習部による処理の具体例を示す図である。 図１０は、学習装置による学習処理の流れを示すフローチャートの一例である。 図１１は、欠陥検査装置の機能構成の一例を示す図である。 図１２は、表示制御部による処理の具体例を示す図である。 図１３は、欠陥検査装置による欠陥検査処理の流れを示すフローチャートの一例である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同じの機能構成を有する構成要素については、同じの符号を付することにより重複した説明を省略する。
　［第１の実施形態］
　＜欠陥検査システムのシステム構成＞
　はじめに、第１の実施形態に係る欠陥検査装置を備える欠陥検査システムのシステム構成について説明する。図１は、欠陥検査システムのシステム構成の一例を示す図である。図１に示すように、欠陥検査システム１００は、撮像装置１１０と、学習装置１２０と、欠陥検査装置１３０と、表示装置１４０とを備える。
　撮像装置１１０は、検査台１５０に載置された検査対象１６０を撮影し、撮影画像データを学習装置１２０または欠陥検査装置１３０に送信する。
　学習装置１２０は、学習フェーズにおいて、撮像装置１１０から送信された撮影画像データに対して画像認識処理を行い、検査対象１６０内の各領域の属性を画素単位で判定する。また、学習装置１２０は、属性を判定した各領域のうち、欠陥の発生が予見される特定の属性を有する領域を含む部分画像データを、撮影画像データから切り出す。また、学習装置１２０は、表示装置１４０に表示された撮影画像データに対して、検査員１７０が目視検査を行った際の検査結果情報を、表示装置１４０より取得し、部分画像データと対応付けて、学習用データとして格納する。更に、学習装置１２０は、学習用データを用いて欠陥検出モデルに対して学習処理を行い、学習済み欠陥検出モデルを生成する。
　欠陥検査装置１３０は、検査フェーズにおいて、撮像装置１１０から送信された撮影画像データに対して画像認識処理を行い、検査対象１６０内の各領域の属性を画素単位で判定する。なお、第１の実施形態においては、検査対象１６０を形成する複数種類の部材のうち、同じ種類の部材の領域を、同じ属性を有する領域と判定する。
　また、欠陥検査装置１３０は、属性を判定した各領域のうち、欠陥の発生が予見される特定の属性を有する領域を含む部分画像データを、撮影画像データから切り出す。また、欠陥検査装置１３０は、切り出した部分画像データを、学習済み欠陥検出モデルに入力することで、部分画像データに欠陥がある確率を予測する。更に、欠陥検査装置１３０は、撮影画像データ上の部分画像データを切り出した位置に、予測した確率に応じた表示態様の標示物を重畳し、表示装置１４０に送信する。
　表示装置１４０は、学習フェーズにおいては、撮像装置１１０によって撮影された撮影画像データを、欠陥検査装置１３０を経由して取得し、検査員１７０に表示する。これにより、検査員１７０は目視検査を行い、検査結果情報を学習装置１２０に送信することができる。
　また、表示装置１４０は、検査フェーズにおいては、部分画像データが切り出されたそれぞれの位置に、予測された確率に応じた表示態様の標示物が重畳された撮影画像データを、欠陥検査装置１３０から受信し、検査員１７０に表示する。これにより、検査員１７０は、例えば、予測された確率が所定の閾値以上の部分画像データに着目して目視検査を行うことができる。
　このように、第１の実施形態に係る欠陥検査装置１３０は、撮影画像データから部分画像データを切り出し、切り出した部分画像データについて、欠陥がある確率を予測する。これにより、第１の実施形態によれば、撮影画像データ全体に対して一括処理を行う場合と比較して、欠陥検査装置１３０の処理負荷を削減することができる。
　また、第１の実施形態に係る欠陥検査装置１３０は、画像認識処理を行うことにより各領域の属性を判定し、欠陥の発生が予見される特定の属性を有する領域を部分画像データとして切り出す。これにより、第１の実施形態によれば、検査対象が複数の部材によって形成された構造体であったとしても、欠陥の発生が予見される部材の領域を部分画像データとして切り出すことができる。
　つまり、欠陥の発生が予見されない部材の領域については、予測対象外となるため、全ての領域を部分画像データとして切り出す場合と比較して、欠陥検査装置１３０の処理負荷を更に削減することができる。また、切り出した部分画像データは、欠陥の発生が予見される特定の属性が占める割合が大きいため、複数種類の部材の領域が含まれる撮影画像データから微細な欠陥を検出する場合と比較して、微細な欠陥の検出精度を向上させることができる。
　＜検査対象の一例＞
　次に、第１の実施形態に係る欠陥検査装置１３０によって検査される検査対象１６０の具体例について説明する。図２は、検査対象の一例を示す図である。図２に示すように、検査対象１６０は、基部２１０と複数の部材２２０とによって形成された構造体である。より具体的には、検査対象１６０は、半導体のパッケージ基板であり、図２の例は、半導体のパッケージ基板を、上方から見た様子を示している。したがって、基部２１０はソルダレジストであり、複数の部材２２０は、はんだ接合部である。
　図２に示すように、検査対象１６０が半導体のパッケージ基板である場合、複数の部材２２０であるはんだ接合部は、概ね同じサイズ及び同じ形状を有しており、基部２１０であるソルダレジスト上に、格子状に等間隔で配列される。
　第１の実施形態において、検査対象１６０は、基部２１０の領域において微細な欠陥が発生することが予見される。また、撮像装置１１０は、当該微細な欠陥が発生した場合に、発生した微細な欠陥を検出できる程度の分解能を有している。このため、検査対象１６０全体を撮影した撮影画像データのデータ量は大きく、撮影画像データを一括処理しようとすると、欠陥検査装置１３０の処理負荷が増大する。
　そこで、上述したように、第１の実施形態に係る欠陥検査装置１３０では、撮影画像データから、部分画像データを切り出す。その際、第１の実施形態に係る欠陥検査装置１３０では、隣接する部材２２０間に位置する基部２１０の領域を、それぞれ部分画像データとして切り出す。
　＜学習装置、欠陥検査装置のハードウェア構成＞
　次に、学習装置１２０及び欠陥検査装置１３０のハードウェア構成について説明する。なお、学習装置１２０のハードウェア構成と、欠陥検査装置１３０のハードウェア構成とは概ね同じであるため、ここでは、図３を用いてまとめて説明する。
　図３は、学習装置及び欠陥検査装置のハードウェア構成の一例を示す図である。図３に示すように、学習装置１２０及び欠陥検査装置１３０は、プロセッサ３０１、メモリ３０２、補助記憶装置３０３、入出力装置３０４、通信装置３０５、ドライブ装置３０６を有する。なお、学習装置１２０及び欠陥検査装置１３０の各ハードウェアは、バス３０７を経由して相互に接続される。
　プロセッサ３０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ３０１は、各種プログラムをメモリ３０２上に読み出して実行する。なお、ここでいう各種プログラムには、例えば、後述する学習プログラムまたは欠陥検査プログラム等のプログラムが含まれる。
　メモリ３０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ３０１とメモリ３０２とは、いわゆるコンピュータを形成する。当該コンピュータは、プロセッサ３０１が、メモリ３０２上に読み出した各種プログラムを実行することによって、各種機能を実現する。
　補助記憶装置３０３は、各種プログラム及び各種プログラムがプロセッサ３０１によって実行される際に用いられる各種データを格納する。例えば、後述する学習用データ格納部４１１、学習済みモデル格納部４１２、学習済みモデル格納部１１１１は、補助記憶装置３０３において実現される。
　入出力装置３０４は、ユーザインタフェース装置の一例である操作装置３１１、表示装置３１２と接続する接続デバイスである。通信装置３０５は、ネットワークを経由して外部装置３２０と通信するための通信デバイスである。ここでいう外部装置３２０には、撮像装置１１０、表示装置１４０等が含まれる。
　ドライブ装置３０６は記録媒体３３０をセットするためのデバイスである。ここでいう記録媒体３３０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。記録媒体３３０には、ＲＯＭ、フラッシュメモリ等の情報を電気的に記録する半導体メモリ等の媒体が含まれていてもよい。
　なお、補助記憶装置３０３にインストールされる各種プログラムは、例えば、配布された記録媒体３３０がドライブ装置３０６にセットされ、該記録媒体３３０に記録された各種プログラムが読み出されることによってインストールされる。あるいは、補助記憶装置３０３にインストールされる各種プログラムは、通信装置３０５を経由してネットワークからダウンロードされることによって、インストールされてもよい。
　＜学習装置の機能構成＞
　次に、学習装置１２０の機能構成について説明する。図４は、学習装置の機能構成の一例を示す図である。上述したように、学習装置１２０には、学習プログラムがインストールされている。学習装置１２０は、当該学習プログラムを実行することによって、画像データ取得部４０１、画像認識処理部４０２、点座標算出部４０３、部分画像切り出し部４０４、検査結果情報取得部４０５、学習用データ生成部４０６、学習部４０７として機能する。
　画像データ取得部４０１は、撮像装置１１０から撮影画像データを取得する。画像データ取得部４０１は、取得した撮影画像データを、画像認識処理部４０２及び部分画像切り出し部４０４に通知する。
　画像認識処理部４０２は、撮影画像データに対して画像認識処理を行うことにより、撮影画像データに含まれる各領域の属性を、画素単位で判定する。第１の実施形態において、画像認識処理部４０２は、例えば、セマンティックセグメンテーションモデルに、撮影画像データを入力することで、基部２１０の領域と部材２２０の領域とを、画素単位で認識する。なお、画像認識処理部４０２が用いるセマンティックセグメンテーションモデルは、例えば、"ＤｅｅｐＬａｂＶ３"等である。
　点座標算出部４０３は、画素単位で属性が判定される撮影画像データにおいて、格子ベクトルを算出する。格子ベクトルとは、格子状に配列される部材２２０の位置座標を特定する格子を生成するためのベクトルである。点座標算出部４０３は、格子点と、部材２２０の中心点との距離の合計が最小となるように、格子ベクトルの始点位置及び方向を決定する。このように、格子ベクトルを決定することによって、仮に、画像認識処理の際に、いずれかの部材２２０を認識することができなかったとしても、他の部材２２０を認識することができていれば、格子を生成することができる。これにより、点座標算出部４０３は、全ての部材２２０の位置座標を適切に算出することができる。
　点座標算出部４０３は、決定した格子ベクトルに基づいて格子を生成し、生成した格子において、隣接する格子点間の中点の位置座標を算出する。また、点座標算出部４０３は、算出した中点の位置座標を部分画像切り出し部４０４に通知する。
　部分画像切り出し部４０４は、画像データ取得部４０１から通知される撮影画像データにおいて、点座標算出部４０３から通知される中点の位置座標を中心とする矩形領域を特定し、部分画像データとして切り出す。部分画像切り出し部４０４が部分画像データとして切り出す矩形領域は、予め形状及びサイズが定められているものとする。
　部分画像切り出し部４０４によって切り出される部分画像データは、順次、学習用データ生成部４０６に通知される。
　検査結果情報取得部４０５は、表示装置１４０から検査結果情報を取得し、学習用データ生成部４０６に通知する。
　学習用データ生成部４０６は、部分画像切り出し部４０４から通知される部分画像データと、検査結果情報取得部４０５から通知される検査結果情報とを対応付けることによって学習用データを生成し、学習用データ格納部４１１に格納する。検査結果情報取得部４０５から通知される検査結果情報には、欠陥の種類と、欠陥の位置座標とが含まれている。学習用データ生成部４０６は、欠陥の位置座標に対応する部分画像データを、欠陥の種類と対応付けることによって、学習用データを生成する。
　学習部４０７は、学習用データ格納部４１１に格納される学習用データを用いて、欠陥検出モデルに対して学習処理を行い、学習済み欠陥検出モデルを生成する。学習部４０７は、生成した学習済み欠陥検出モデルを、学習済みモデル格納部４１２に格納する。
　＜学習装置の各部の処理の具体例＞
　次に、学習装置１２０の各部の処理の具体例について説明する。ここでは、学習装置１２０の各部の処理として、画像認識処理部４０２、点座標算出部４０３、部分画像切り出し部４０４、学習用データ生成部４０６、学習部４０７の処理の具体例について説明する。
　（１）画像認識処理部４０２の処理の具体例
　はじめに、画像認識処理部４０２の処理の具体例について説明する。図５は、画像認識処理部の処理の具体例を示す図である。図５において、符号５１０は、撮影画像データを示している。ただし、紙面の都合上、図５の例では、検査対象１６０を撮影した撮影画像データのうちの一部の領域を抜粋して示している。
　上述したように、符号５１０に示す撮影画像データに対しては、画像認識処理部４０２が画像認識処理を行い、基部２１０の領域と部材２２０の領域とを、画素単位で判定する。
　図５において、符号５２０は、画像認識処理部４０２が、基部２１０の領域と部材２２０の領域とを、画素単位で判定することで得られた画像認識処理結果を示している。符号５２０の例は、画像認識処理部４０２によって基部２１０の領域と判定された画素を、白色で示している。また、符号５２０の例は、画像認識処理部４０２によって部材２２０の領域と判定された画素を、黒色で示している。
　なお、符号５２０に示す画像認識処理結果の例は、複数の部材２２０の一部が認識されなかった様子を示している。
　（２）点座標算出部４０３の処理の具体例
　次に、点座標算出部４０３の処理の具体例について説明する。図６は、点座標算出部の処理の具体例を示す図である。図６に示すように、符号５２０に示す画像認識処理結果が入力されると、点座標算出部４０３では、符号６１０に示すように、格子ベクトル６１１を決定する。
　上述したように、点座標算出部４０３は、格子点と、部材２２０の中心点との距離の合計が最小となるように、格子ベクトル６１１の始点位置及び方向を決定する。符号６１０内に示した実線は、決定した格子ベクトル６１１等に基づいて生成された格子を示している。このように、格子を生成することによって、仮に、複数の部材２２０の一部の領域が認識されなかった場合でも、点座標算出部４０３は、全ての部材２２０の位置座標を適切に算出することができる。
　また、上述したように、点座標算出部４０３は、生成した格子において、隣接する格子点間の中点の位置座標を算出する。図６において、符号６２０内の黒丸は、点座標算出部４０３によって、
・縦方向に隣接する格子点間の中点の位置座標、
・横方向に隣接する格子点間の中点の位置座標、
・斜め方向に隣接する格子点間の中点の位置座標、
が算出された様子を示している。
　（３）部分画像切り出し部４０４の処理の具体例
　次に、部分画像切り出し部４０４の処理の具体例について説明する。図７は、部分画像切り出し部の処理の具体例を示す図である。図７に示すように、符号５１０に示す撮影画像データと、符号６２０に示す中点の位置座標とが入力されると、部分画像切り出し部４０４では、符号７１０に示すように、部分画像データを切り出す。
　上述したように、部分画像切り出し部４０４は、撮影画像データから、中点の位置座標を中心とする矩形領域を、部分画像データとして切り出す。符号７１０において、部分画像データ７１１は、撮影画像データから、中点６２１の位置座標を中心とする矩形領域を切り出した様子を示している。同様に、符号７１０において、部分画像データ７１２は、撮影画像データから、中点６２２の位置座標を中心とする矩形領域を切り出した様子を示している。
　なお、図７の例では、矩形領域の形状を正方形とし、切り出す矩形領域のサイズを、互いに同じサイズとしている。これは、欠陥検出モデルに入力して学習処理を行う際に学習処理がしやすくするためである。また、切り出した部分画像データを９０度または１８０度回転させることで、回転前の部分画像データとは異なる部分画像データとして、学習用データに格納することができるため、学習用データの数を増やすことが可能になるからである。
　（４）学習用データ生成部４０６の処理の具体例
　次に、学習用データ生成部４０６の処理の具体例について説明する。図８は、学習用データ生成部の処理の具体例を示す図である。
　図８において、符号８１０は、表示装置１４０から送信された検査結果情報の一例を示す。符号８１０に示すように、検査結果情報には、情報の項目として、"欠陥識別子"、"欠陥の位置座標"、"欠陥種類"が含まれる。
　"欠陥識別子"には、検査員１７０による目視検査によって検出された欠陥を識別するための識別子が格納される。"欠陥の位置座標"には、検査員１７０が欠陥の外接長方形を入力することによって算出される情報であって、当該外接長方形の位置及び大きさを特定するための情報が格納される。具体的には、当該外接長方形の左上の位置座標と、右下の位置座標とが格納される。"欠陥種類"には、検査員１７０による目視検査によって判断された欠陥の種類が格納される。
　図８に示すように、符号８１０に示す検査結果情報と、符号７１０に示す部分画像データ７１１、７１２等とが入力されると、学習用データ生成部４０６では、学習用データ８２０を生成する。学習用データ８２０には、情報の項目として、"部分画像識別子"、"部分画像"、"欠陥識別子"、"欠陥の位置座標"、"欠陥種類"が含まれる。
　"部分画像識別子"には、部分画像データを識別する識別子が格納される。"部分画像"には、部分画像データが格納される。"欠陥識別子"、"欠陥の位置座標"、"欠陥種類"には、それぞれ、対応する検査結果情報が格納される。
　図８の例では、"部分画像識別子"＝「ＩＭ１」の部分画像データには、欠陥がないため、対応する検査結果情報がない。このため、"欠陥識別子"、"欠陥の位置座標"は空欄となり、"欠陥種類"には、「欠陥なし」が格納される。
　一方、"部分画像識別子"＝「ＩＭ２０」の部分画像データには欠陥があり、対応する検査結果情報がある。このため、"欠陥識別子"、"欠陥の位置座標"、"欠陥種類"には、それぞれ、「ＩＤ１」、「（ｘ１１，ｙ１１）、（ｘ１２，ｙ１２）」、「欠陥ａ」が格納される。同様に、"部分画像識別子"＝「ＩＭ３２」の部分画像データには欠陥があり、対応する検査結果情報がある。このため、"欠陥識別子"、"欠陥の位置座標"、"欠陥種類"には、それぞれ、「ＩＤ２」、「（ｘ２１，ｙ２１）、（ｘ２２，ｙ２２）」、「欠陥ａ」が格納される。
　なお、学習用データ生成部４０６は、切り出された部分画像データの位置座標と、検査結果情報の"欠陥の位置座標"に格納された位置座標との関係に基づいて、部分画像データと検査結果情報とを対応付ける。学習用データ生成部４０６は、生成した学習用データ８２０を、学習用データ格納部４１１に格納する。
　（５）学習部４０７の処理の具体例
　次に、学習部４０７の処理の具体例について説明する。図９は、学習部の処理の具体例を示す図である。図９に示すように、学習部４０７には、欠陥検出モデル９０１と、比較変更部９０２とが含まれる。学習部４０７は、学習用データ格納部４１１に格納された学習用データ８２０を用いて、欠陥検出モデル９０１に対して学習処理を行う。
　具体的には、学習部４０７は、欠陥検出モデル９０１に対して、学習用データ８２０の"部分画像"に格納された各部分画像データを入力する。これにより、欠陥検出モデル９０１では、各部分画像データに欠陥がある確率を、出力データとして出力する。また、学習部４０７は、比較変更部９０２に対して、学習用データ８２０の"欠陥種類"に格納された欠陥の種類を入力する。これにより、比較変更部９０２では、欠陥検出モデル９０１より出力された出力データと、"欠陥種類"に格納された欠陥の種類とを比較する。
　例えば、比較変更部９０２は、"部分画像識別子"＝「ＩＭ１」の部分画像データの場合、欠陥検出モデル９０１から出力された出力データと、"欠陥種類" に格納された欠陥の種類である「欠陥なし」を示す「０％」とを比較し、誤差を算出する。同様に、比較変更部９０２は、"部分画像識別子"＝「ＩＭ２０」の部分画像データの場合、欠陥検出モデル９０１から出力された出力データと、"欠陥種類"に格納された欠陥の種類である「欠陥ａ」を示す「１００％」とを比較し、誤差を算出する。同様に、比較変更部９０２は、"部分画像識別子"＝「ＩＭ３２」の部分画像データの場合、欠陥検出モデル９０１から出力された出力データと、"欠陥種類" に格納された欠陥の種類である「欠陥ａ」を示す「１００％」とを比較し、誤差を算出する。
　更に、比較変更部９０２は、算出した誤差に応じて欠陥検出モデル９０１のモデルパラメータを更新する。この結果、学習部４０７では、学習済み欠陥検出モデルを生成することができる。
　なお、学習部４０７は、生成した学習済み欠陥検出モデルを、学習済みモデル格納部４１２に格納する。
　＜学習装置による学習処理の流れ＞
　次に、学習装置１２０による学習処理の流れについて説明する。図１０は、学習装置による学習処理の流れを示すフローチャートの一例である。図１０に示すフローチャートは、学習フェーズにおいて実行される。
　ステップＳ１００１において、学習装置１２０は、撮像装置１１０によって撮影された撮影画像データを取得する。
　ステップＳ１００２において、学習装置１２０は、表示装置１４０から、検査結果情報を取得する。
　ステップＳ１００３において、学習装置１２０は、撮影画像データに対して画像認識処理を行い、各領域の属性を画素単位で判定する。
　ステップＳ１００４において、学習装置１２０は、部材２２０の中心点の位置座標に基づいて、格子ベクトルを決定する。
　ステップＳ１００５において、学習装置１２０は、決定した格子ベクトルに基づいて格子を生成し、隣接する格子点間の中点の位置座標を算出する。
　ステップＳ１００６において、学習装置１２０は、位置座標を算出した中点をカウントするカウンタｉに"１"を入力する。
　ステップＳ１００７において、学習装置１２０は、ｉ番目の中点の位置座標を中心とする矩形領域を部分画像データとして切り出す。
　ステップＳ１００８において、学習装置１２０は、部分画像データに対応する検査結果情報があるか否かを判定する。ステップＳ１００８において、対応する検査結果情報があると判定した場合には（ステップＳ１００８においてＹＥＳの場合には）、ステップＳ１００９に進む。
　ステップＳ１００９において、学習装置１２０は、部分画像データと、検査結果情報とを対応付けて学習用データに格納する。
　一方、ステップＳ１００８において、対応する検査結果情報がないと判定した場合には（ステップＳ１００８においてＮＯの場合には）、ステップＳ１０１０に進む。
　ステップＳ１０１０において、学習装置１２０は、部分画像データに、"欠陥なし"を対応付けて、学習用データに格納する。
　ステップＳ１０１１において、学習装置１２０は、撮影画像データから切り出した全ての部分画像データについて、ステップＳ１００７からＳ１０１０の処理を実行したか否かを判定する。ステップＳ１０１１において、処理を実行していない部分画像データがあると判定した場合には（ステップＳ１０１１においてＮＯの場合には）、ステップＳ１０１２に進む。
　ステップＳ１０１２において、学習装置１２０は、カウンタｉをインクリメントし、ステップＳ１００７に戻る。
　一方、ステップＳ１０１１において、全ての部分画像データについて処理を実行したと判定した場合には（ステップＳ１０１１においてＹＥＳの場合には）、ステップＳ１０１３に進む。
　ステップＳ１０１３において、学習装置１２０は、学習用データを読み出し、欠陥検出モデルに対して学習処理を行い、学習済み欠陥検出モデルを生成する。
　ステップＳ１０１４において、学習装置１２０は、生成した学習済み欠陥検出モデルを、学習済みモデル格納部４１２に格納する。
　＜欠陥検査装置の機能構成＞
　次に、欠陥検査装置１３０の機能構成について説明する。図１１は、欠陥検査装置の機能構成の一例を示す図である。上述したように、欠陥検査装置１３０には、欠陥検査プログラムがインストールされている。欠陥検査装置１３０は、当該欠陥検査プログラムを実行することによって、画像データ取得部１１０１、画像認識処理部１１０２、点座標算出部１１０３、部分画像切り出し部１１０４、予測部１１０５、集計部１１０６、表示制御部１１０７として機能する。
　画像データ取得部１１０１は、撮像装置１１０から撮影画像データを取得する。画像データ取得部１１０１は、取得した撮影画像データを、画像認識処理部１１０２及び部分画像切り出し部１１０４に通知する。
　画像認識処理部１１０２は、撮影画像データに対して画像認識処理を行うことで、撮影画像データに含まれる各領域の属性を、画素単位で判定する。第１の実施形態において、画像認識処理部１１０２は、例えば、セマンティックセグメンテーションモデルに、撮影画像データを入力することで、基部２１０の領域と部材２２０の領域とを、画素単位で認識する。なお、画像認識処理部１１０２が用いるセマンティックセグメンテーションモデルは、例えば、"ＤｅｅｐＬａｂＶ３"等である。
　点座標算出部１１０３は、画素単位で属性が判定される撮影画像データにおいて、格子ベクトルを算出する。格子ベクトルとは、格子状に配列された部材２２０の位置座標を特定する格子を生成するためのベクトルである。点座標算出部１１０３は、格子点と、部材２２０の中心点との距離の合計が最小となるように、格子ベクトルの始点位置及び方向を決定する。このように、格子ベクトルを決定することで、仮に、画像認識処理の際に、いずれかの部材２２０を認識することができなかったとしても、他の部材２２０を認識することができていれば、格子を生成することができる。これにより、点座標算出部４０３は、全ての部材２２０の位置座標を適切に算出することができる。
　点座標算出部１１０３は、決定した格子ベクトルに基づいて格子を生成し、生成した格子において、隣接する格子点間の中点の位置座標を算出する。また、点座標算出部１１０３は、算出した中点の位置座標を部分画像切り出し部１１０４に通知する。
　部分画像切り出し部１１０４は、画像データ取得部１１０１から通知される撮影画像データにおいて、点座標算出部１１０３から通知される中点の位置座標を中心とする矩形領域を特定し、部分画像データとして切り出す。部分画像切り出し部１１０４が部分画像データとして切り出す矩形領域は、予め形状及びサイズが定められているものとする。
　部分画像切り出し部１１０４によって切り出される部分画像データは、順次、予測部１１０５に入力される。
　予測部１１０５は、学習済みモデル格納部１１１１より読み出した学習済み欠陥検出モデルに、部分画像データを入力することで、部分画像データに欠陥がある確率を予測する。また、予測部１１０５は、予測した確率を、集計部１１０６及び表示制御部１１０７に通知する。
　集計部１１０６は、予測部１１０５より、部分画像データに欠陥がある確率を取得し、取得した確率が所定の閾値以上であるか否かを判定する。集計部１１０６は、所定の閾値以上であると判定した場合、対応する部分画像データに、欠陥があると判定する。一方、集計部１１０６は、所定の閾値未満であると判定した場合、対応する部分画像データに、欠陥がないと判定する。
　集計部１１０６は、撮影画像データから切り出された全ての部分画像データについて、欠陥の有無を判定し、判定結果を集計するとともに統計処理し、統計値を算出する。また、集計部１１０６は、集計結果及び統計値を表示制御部１１０７に通知する。
　表示制御部１１０７は、予測部１１０５より、部分画像データに欠陥がある確率を取得し、取得した確率に応じた表示態様の標示物を、撮影画像データ内の、対応する部分画像データの位置に重畳する。また、表示制御部１１０７は、集計部１１０６によって通知された集計結果及び統計値を、撮影画像データに重畳する。
　更に、表示制御部１１０７は、標示物、集計結果及び統計値を重畳した撮影画像データを、表示装置１４０に表示するよう制御する。
　＜欠陥検査装置の各部の処理の具体例＞
　次に、欠陥検査装置１３０の各部の処理の具体例について説明する。なお、欠陥検査装置１３０の各部の処理のうち、画像データ取得部１１０１から部分画像切り出し部１１０４までの処理は、学習装置１２０の画像データ取得部４０１から部分画像切り出し部４０４までの処理と同様であるため、ここでは説明を省略する。ここでは、表示制御部１１０７の処理の具体例についてのみ説明する。
　図１２は、表示制御部の処理の具体例を示す図である。図１２において、符号１２１０は、表示制御部１１０７が、欠陥がある確率に応じた表示態様の標示物を、撮影画像データ内の、対応する部分画像データの位置に表示した様子を示している。
　符号１２１０の例では、欠陥がある確率が所定の閾値以上であり、欠陥ありと判定された部分画像データについて、切り出された位置に、標示物として、太実線の矩形枠を表示した様子を示している。符号１２１０に示した表示態様によれば、太実線の矩形枠１２１１から太実線の矩形枠１２１４を参照することで、検査員１７０は、撮影画像データ内において、欠陥ありと判定された位置を、容易に把握することができる。
　また、符号１２２０の例は、各部分画像データについて予測された確率を、各部分画像データが切り出された位置に表示した様子を示している。また、符号１２２０の例は、各部分画像データについて予測された確率に応じた矩形枠を、各部分画像データが切り出された位置に表示した様子を示している。
　なお、符号１２２０の例は、欠陥がある確率が第１の閾値以下の場合、対応する部分画像データが切り出された位置に、点線の矩形枠と欠陥がある確率とが表示されたことを示している。また、符号１２２０の例は、欠陥がある確率が第１の閾値より大きく、第２の閾値以下である場合、対応する部分画像データが切り出された位置に、細実線の矩形枠と欠陥がある確率とが表示されたことを示している。更に、符号１２２０の例は、欠陥がある確率が第２の閾値より大きい場合、対応する部分画像データが切り出された位置に、太実線の矩形枠と欠陥がある確率とが表示されたことを示している。
　符号１２２０の表示態様によれば、各矩形枠を参照することで、学習済み欠陥検出モデルが、部分画像データについてどのような予測を行ったのかを容易に把握することができる。
　なお、符号１２２０の例では、紙面の都合上、切り出された部分画像データのうちの一部の部分画像データについて、欠陥がある確率に応じた表示態様の矩形枠を表示する場合について示した。しかしながら、他の部分画像データについても、同様に、欠陥がある確率に応じた表示態様の矩形枠を表示するように構成してもよい。
　また、符号１２２０の例では、欠陥がある確率に応じた表示態様として、矩形枠の線種、矩形枠の線の太さを変えるケースについて示したが、欠陥がある確率に応じた表示態様は、これに限定されない。例えば、矩形枠の色、矩形枠の形、矩形枠の大きさを変える構成としてもよい。
　また、符号１２２０の例では、紙面の都合上、集計結果及び統計値の表示を省略したが、集計結果及び統計値は、任意の位置に表示されてもよい。
　＜欠陥検査装置による欠陥検査処理の流れ＞
　次に、欠陥検査装置１３０による欠陥検査処理の流れについて説明する。図１３は、欠陥検査装置による欠陥検査処理の流れを示すフローチャートの一例である。図１３に示すフローチャートは、検査フェーズにおいて実行される。
　ステップＳ１３０１において、欠陥検査装置１３０は、撮像装置１１０によって撮影された撮影画像データを取得する。
　ステップＳ１３０２において、欠陥検査装置１３０は、撮影画像データに対して画像認識処理を行い、各領域の属性を画素単位で判定する。
　ステップＳ１３０３において、欠陥検査装置１３０は、部材の中心点の位置座標に基づいて、格子ベクトルを決定する。
　ステップＳ１３０４において、欠陥検査装置１３０は、決定した格子ベクトルに基づいて格子を生成し、隣接する格子点間の中点の位置座標を算出する。
　ステップＳ１３０５において、欠陥検査装置１３０は、位置座標を算出した中点をカウントするカウンタｉに"１"を入力する。
　ステップＳ１３０６において、欠陥検査装置１３０は、ｉ番目の中点の位置座標を中心とする矩形領域を部分画像データとして切り出す。
　ステップＳ１３０７において、欠陥検査装置１３０は、部分画像データを学習済み欠陥検出モデルに入力し、当該部分画像データに欠陥がある確率を予測する。
　ステップＳ１３０８において、欠陥検査装置１３０は、全ての部分画像データについて欠陥がある確率を予測したか否かを判定する。
　ステップＳ１３０８において、欠陥がある確率を予測していない部分画像データがあると判定した場合には（ステップＳ１３０８においてＮＯの場合には）、ステップＳ１３０９に進む。
　ステップＳ１３０９において、欠陥検査装置１３０は、カウンタｉをインクリメントし、ステップＳ１３０６に戻る。
　一方、ステップＳ１３０８において、全ての部分画像データについて、欠陥がある確率を予測したと判定した場合には（ステップＳ１３０８においてＹＥＳの場合には）、ステップＳ１３１０に進む。
　ステップＳ１３１０において、欠陥検査装置１３０は、予測した確率に基づいて、部分画像データの欠陥の有無を判定する。また、欠陥検査装置１３０は、判定結果を集計するとともに統計処理し、統計値を算出する。
　ステップＳ１３１１において、欠陥検査装置１３０は、撮影画像データに、確率に応じた標示物、集計結果及び統計値を重畳する。
　ステップＳ１３１２において、欠陥検査装置１３０は、確率に応じた標示物、集計結果及び統計値が重畳された撮影画像データを、表示装置１４０に表示する。
　＜まとめ＞
　以上の説明から明らかなように、第１の実施形態に係る欠陥検査装置１３０は、
・検査対象１６０を撮影した撮影画像データに対して画像認識処理を行い、検査対象１６０内の各領域の属性を画素単位で判定する。
・検査対象１６０内の各領域のうち、欠陥の発生が予見される基部２１０の領域を含む部分画像データを、撮影画像データから切り出す。
・学習済み欠陥検出モデルに、部分画像データを入力することで、部分画像データに欠陥がある確率を予測する。
・検査対象の撮影画像データにおいて、部分画像データが切り出された位置に、予測された確率に応じた表示態様の標示物を重畳して表示する。
　このように、第１の実施形態に係る欠陥検査装置１３０は、撮影画像データから部分画像データを切り出し、切り出した部分画像データについて、欠陥がある確率を予測する。これにより、第１の実施形態によれば、撮影画像データ全体に対して一括処理を行う場合と比較して、欠陥検査装置１３０の処理負荷を削減することができる。
　また、第１の実施形態に係る欠陥検査装置１３０は、画像認識処理を行うことにより、各領域の属性を判定し、欠陥の発生が予見される特定の属性を有する領域を部分画像データとして切り出す。これにより、第１の実施形態によれば、検査対象が複数の部材によって形成された構造体であったとしても、欠陥の発生が予見される部材の領域を部分画像データとして切り出すことができる。
　つまり、欠陥の発生が予見されない部材の領域については、予測対象外となるため、全ての領域を部分画像データとして切り出す場合と比較して、欠陥検査装置１３０の処理負荷を更に削減することができる。また、切り出した部分画像データは、欠陥の発生が予見される特定の属性が占める割合が大きいため、複数種類の部材の領域が含まれる撮影画像データから微細な欠陥を検出する場合と比較して、微細な欠陥の検出精度を向上させることができる。
　［第２の実施形態］
　上記第１の実施形態では、欠陥検査装置１３０が、検査対象である半導体パッケージ基板を上方から撮影した撮影画像データについて欠陥検査処理を行う場合について説明した。このため、上記第１の実施形態では、欠陥の発生が予測される特定の属性（第１の属性）を有する領域が、ソルダレジストの領域であり、欠陥の発生が予測されない属性（第２の属性）を有する領域が、はんだ接合部の領域であるとして説明した。
　しかしながら、欠陥検査装置１３０が取得する撮影画像データはこれに限定されない。また、欠陥検査装置１３０による部分画像データの切り出し方法もこれに限定されない。
　例えば、検査対象である半導体パッケージ基板を側方から撮影した撮影画像データを取得して欠陥検査処理を行ってもよい。半導体パッケージ基板を側方から撮影した撮影画像データの場合、樹脂を含浸させたガラス繊維の層が複数層含まれる。このため、画像認識処理部４０２、１１０２では、例えば、第１の属性を有する領域として、第１層の領域を判定し、他の第１の属性を有する領域として、第２層の領域を判定する。また、切り出し部では、例えば、第１層の領域を含む部分画像データ、第２層の領域を含む部分画像データをそれぞれ切り出す。なお、この場合、層の領域以外の領域が第２の属性を有する領域となる。
　つまり、画像認識処理部４０２、１１０２により、欠陥の発生が予見される特定の属性を有すると判定される領域には、
・第１の実施形態のように、特定の種類の部材の領域のほか、
・第２の実施形態のように、複数種類の部材からなる特定のひとまとまりの部材群の領域、
が含まれる。具体的には、特定の属性を有する領域には、部材の種類が特定の１種類からなる領域を指す場合と、複数種類の部材を含むが、部材の種類と配置の組み合わせが特定の１種類からなる領域を指す場合とが含まれる。
　このように、複数種類の部材を含むが、部材の種類と配置の特定の組み合わせを有する領域ごとに、部分画像データを切り出す構成とすることで、第２の実施形態においても、上記第１の実施形態と同様の効果を享受することができる。
　［第３の実施形態］
　上記第１の実施形態では、欠陥の種類が１種類の場合について説明したが、欠陥の種類は複数種類であってもよい。欠陥の種類が複数種類の場合、表示制御部１１０７は、欠陥の種類ごとに、異なる表示態様で表示するように構成してもよい。また、集計部１１０６は、欠陥の種類ごとに判定結果を集計するように構成してもよい。
　また、上記第１の実施形態では、判定結果の集計の方法または統計処理の方法の詳細について言及しなかったが、集計部１１０６は、例えば、欠陥ありと判定された部分画像データの数を集計してもよい。あるいは、集計部１１０６は、欠陥ありと判定された部分画像データが連続していた場合、連続する部分画像データの数を集計してもよい。あるいは、集計部１１０６は、欠陥ありと判定された部分画像データの数を、撮影画像データから切り出された全ての部分画像データの数で除算することで、欠陥ありと判定された部分画像データの割合を算出してもよい。あるいは、集計部１１０６は、欠陥ありの確率に基づくヒストグラムを生成してもよい。
　また、上記第１の実施形態では、格子ベクトルを決定することで格子を生成する構成としたが、格子の生成方法はこれに限定されない。また、上記第１の実施形態では、生成した格子の中点の位置座標を中心とする矩形領域を、部分画像データとして切り出す構成としたが、部分画像データの切り出し方法はこれに限定されない。
　また、上記第１の実施形態では、欠陥ありと判定された部分画像データと、欠陥なしと判定された部分画像データの両方を学習用データとして用いる構成としたが、いずれか一方の部分画像データのみを学習用データとして用いる構成としてもよい。
　また、上記第１の実施形態では、学習装置１２０と欠陥検査装置１３０とが別体の装置として構成される場合について説明したが、学習装置１２０と欠陥検査装置１３０とは一体の装置によって構成されてもよい。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本開示が限定されるものではない。これらの点に関しては、本開示の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　本出願は、２０２３年６月３０日に出願された日本国特許出願第２０２３－１０８４３４号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
　１００　　　　　：欠陥検査システム
　１１０　　　　　：撮像装置
　１２０　　　　　：学習装置
　１３０　　　　　：欠陥検査装置
　１４０　　　　　：表示装置
　２１０　　　　　：基部
　２２０　　　　　：部材
　４０１　　　　　：画像データ取得部
　４０２　　　　　：画像認識処理部
　４０３　　　　　：点座標算出部
　４０４　　　　　：部分画像切り出し部
　４０５　　　　　：検査結果情報取得部
　４０６　　　　　：学習用データ生成部
　４０７　　　　　：学習部
　６１１　　　　　：格子ベクトル
　６２１、６２２　：中点
　７１１、７１２　：部分画像データ
　８２０　　　　　：学習用データ
　９０１　　　　　：欠陥検出モデル
　１１０１　　　　：画像データ取得部
　１１０２　　　　：画像認識処理部
　１１０３　　　　：点座標算出部
　１１０４　　　　：部分画像切り出し部
　１１０５　　　　：予測部
　１１０６　　　　：集計部
　１１０７　　　　：表示制御部

Claims (13)

  1. 　検査対象を撮影した撮影画像データに対して画像認識処理を行い、検査対象内の各領域の属性を判定する画像認識処理部と、
    　前記検査対象内の各領域のうち、特定の属性を有する領域を含む部分画像データを、前記撮影画像データから切り出す切り出し部と、
    　学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する予測部と、
    　前記撮影画像データの前記部分画像データが切り出された位置に、前記予測された確率に応じた表示態様の標示物を重畳して表示する表示制御部と
    　を有する欠陥検査装置。
  2. 　前記特定の属性を有する領域は、欠陥の発生が予見される属性を有する領域である、請求項１に記載の欠陥検査装置。
  3. 　前記画像認識処理部は、前記検査対象において欠陥の発生が予見される第１の属性を有する領域と、前記検査対象において欠陥の発生が予見されない第２の属性を有する領域とを判定し、
    　前記切り出し部は、前記第２の属性を有する領域の配列に基づいて、前記第１の属性を有する領域を含む部分画像データを切り出す位置を算出する、請求項１または２に記載の欠陥検査装置。
  4. 　前記第２の属性を有する領域は、前記検査対象において格子状に配列されており、
    　前記切り出し部は、
    　　前記第２の属性を有する領域の中心点に基づいて格子を生成し、
    　　格子点の縦方向の中点の位置、格子点の横方向の中点の位置、格子点の斜め方向の中点の位置を、それぞれ、前記切り出す位置として算出し、
    　　前記撮影画像データのうち、算出した前記切り出す位置を中心とする矩形領域を、前記部分画像データとして切り出す、
    　請求項３に記載の欠陥検査装置。
  5. 　前記切り出し部は、前記切り出す位置を中心とする、同じサイズの正方形の領域を、前記部分画像データとして切り出す、
    　請求項４に記載の欠陥検査装置。
  6. 　前記検査対象は、半導体パッケージ基板であり、
    　前記第１の属性を有する領域は、ソルダレジストの領域であり、
    　前記第２の属性を有する領域は、はんだ接合部の領域である、
    　請求項４または５に記載の欠陥検査装置。
  7. 　前記画像認識処理部は、セマンティックセグメンテーションモデルを用いて、前記第１の属性と、前記第２の属性とを、画素単位で判定する、
    　請求項３乃至６のいずれか１項に記載の欠陥検査装置。
  8. 　前記表示制御部は、前記予測された確率が所定の閾値以上となる部分画像データが切り出された位置に、切り出された部分画像データのサイズに応じた矩形枠であって、欠陥があることを示す矩形枠を重畳して表示する、
    　請求項１乃至７のいずれか１項に記載の欠陥検査装置。
  9. 　前記表示制御部は、前記予測された確率と、対応する部分画像データのサイズに応じた矩形枠とを、対応する部分画像データが切り出された位置に重畳して表示する、
    　請求項１乃至８のいずれか１項に記載の欠陥検査装置。
  10. 　それぞれの前記部分画像データについて予測された確率に基づいて、欠陥の有無を判定し、判定結果を集計する集計部と、
    　判定結果を用いて統計処理を行い、統計値を算出する算出部と、を有し、
    　前記表示制御部は、集計された集計結果と、算出された前記統計値とを、前記撮影画像データに重畳して表示する、
    　請求項１乃至９のいずれか１項に記載の欠陥検査装置。
  11. 　前記予測部は、部分画像データと欠陥の種類を示す情報とを含む学習用データに基づいて学習された前記学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する、
    　請求項１乃至１０のいずれか１項に記載の欠陥検査装置。
  12. 　検査対象を撮影した撮影画像データに対して画像認識処理を行い、検査対象内の各領域の属性を判定する画像認識処理工程と、
    　前記検査対象内の各領域のうち、特定の属性を有する領域を含む部分画像データを、前記撮影画像データから切り出す切り出し工程と、
    　学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する予測工程と、
    　前記撮影画像データの前記部分画像データが切り出された位置に、前記予測された確率に応じた表示態様の標示物を重畳して表示する表示制御工程と
    　をコンピュータが実行する欠陥検査方法。
  13. 　検査対象を撮影した撮影画像データに対して画像認識処理を行い、検査対象内の各領域の属性を判定する画像認識処理工程と、
    　前記検査対象内の各領域のうち、特定の属性を有する領域を含む部分画像データを、前記撮影画像データから切り出す切り出し工程と、
    　学習済み欠陥検出モデルに、前記部分画像データを入力することで、前記部分画像データに欠陥がある確率を予測する予測工程と、
    　前記撮影画像データの前記部分画像データが切り出された位置に、前記予測された確率に応じた表示態様の標示物を重畳して表示する表示制御工程と
    　をコンピュータに実行させるための欠陥検査プログラム。
PCT/JP2024/023069 2023-06-30 2024-06-25 欠陥検査装置、欠陥検査方法及び欠陥検査プログラム Pending WO2025005099A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202480034276.3A CN121263678A (zh) 2023-06-30 2024-06-25 缺陷检查装置、缺陷检查方法和缺陷检查程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-108434 2023-06-30
JP2023108434 2023-06-30

Publications (1)

Publication Number Publication Date
WO2025005099A1 true WO2025005099A1 (ja) 2025-01-02

Family

ID=93939280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/023069 Pending WO2025005099A1 (ja) 2023-06-30 2024-06-25 欠陥検査装置、欠陥検査方法及び欠陥検査プログラム

Country Status (3)

Country Link
CN (1) CN121263678A (ja)
TW (1) TW202509877A (ja)
WO (1) WO2025005099A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05272940A (ja) * 1992-03-11 1993-10-22 Nec Corp パターン検査方法及びその装置
JP2008004863A (ja) * 2006-06-26 2008-01-10 Hitachi High-Technologies Corp 外観検査方法及びその装置
WO2020245889A1 (ja) * 2019-06-03 2020-12-10 日本電気株式会社 点検装置、制御方法、及びプログラム
WO2022019018A1 (en) * 2020-07-20 2022-01-27 Omron Corporation Segmentation of continuous dynamic scans
WO2022125453A1 (en) * 2020-12-10 2022-06-16 Canon Virginia, Inc. Plant detection and display system
JP2022168944A (ja) * 2021-04-27 2022-11-09 株式会社日立ハイテク 欠陥を検出するシステム、及びコンピュータ可読媒体
WO2023008526A1 (ja) * 2021-07-29 2023-02-02 株式会社島津製作所 細胞画像解析方法
JP2023035620A (ja) * 2021-09-01 2023-03-13 ダイハツ工業株式会社 異常検知装置および表示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05272940A (ja) * 1992-03-11 1993-10-22 Nec Corp パターン検査方法及びその装置
JP2008004863A (ja) * 2006-06-26 2008-01-10 Hitachi High-Technologies Corp 外観検査方法及びその装置
WO2020245889A1 (ja) * 2019-06-03 2020-12-10 日本電気株式会社 点検装置、制御方法、及びプログラム
WO2022019018A1 (en) * 2020-07-20 2022-01-27 Omron Corporation Segmentation of continuous dynamic scans
WO2022125453A1 (en) * 2020-12-10 2022-06-16 Canon Virginia, Inc. Plant detection and display system
JP2022168944A (ja) * 2021-04-27 2022-11-09 株式会社日立ハイテク 欠陥を検出するシステム、及びコンピュータ可読媒体
WO2023008526A1 (ja) * 2021-07-29 2023-02-02 株式会社島津製作所 細胞画像解析方法
JP2023035620A (ja) * 2021-09-01 2023-03-13 ダイハツ工業株式会社 異常検知装置および表示方法

Also Published As

Publication number Publication date
CN121263678A (zh) 2026-01-02
TW202509877A (zh) 2025-03-01

Similar Documents

Publication Publication Date Title
US12051199B2 (en) Image processing method and apparatus, server, medical image processing device and storage medium
JP2004502250A (ja) 検査システムと共に用いるための画像処理システム
CN110147465A (zh) 图像处理方法、装置、设备和介质
JP4876056B2 (ja) 画像処理装置、画像処理方法
CN116168351B (zh) 电力设备巡检方法及装置
CN113782181B (zh) 一种基于ct图像的肺结节良恶性诊断方法及装置
CN110598715A (zh) 图像识别方法、装置、计算机设备及可读存储介质
JP2022139174A (ja) 欠陥分類装置、方法およびプログラム
CN118794965B (zh) 一种基于深度学习的电池负极外观检测方法及装置
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN108830198A (zh) 视频格式的识别方法、装置、设备及存储介质
WO2025005099A1 (ja) 欠陥検査装置、欠陥検査方法及び欠陥検査プログラム
JP2010271921A (ja) 皮膚領域抽出方法、皮膚領域抽出装置、および皮膚領域抽出プログラム
JP4796535B2 (ja) 画像処理による多導体電線の追跡方法、装置及びプログラム並びにこれを用いた多導体電線の異常検出方法、装置及びプログラム
CN113127349A (zh) 软件测试方法和系统
CN119295843A (zh) 新能源汽车pcb板的异常检测方法、装置、设备及存储介质
CN117953474A (zh) 一种驾驶员行为快速识别方法
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
CN116934657A (zh) 医用图像处理装置和医用图像处理方法
CN115193040A (zh) 一种游戏辅助方法、装置、设备及存储介质
CN113888663A (zh) 重建模型训练方法、异常检测方法、装置、设备及介质
CN120451153B (en) Circuit board detection method and system based on machine vision
KR102902017B1 (ko) 진단 지원 방법 및 진단 지원 장치
CN120808173B (zh) 基于遥感影像的土地资源监测方法、装置及电子设备
JP7227487B2 (ja) 画像処理プログラム、画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24831959

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025530152

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025530152

Country of ref document: JP