[go: up one dir, main page]

WO2018074622A1 - 검사 방법 및 장치 - Google Patents

검사 방법 및 장치 Download PDF

Info

Publication number
WO2018074622A1
WO2018074622A1 PCT/KR2016/011738 KR2016011738W WO2018074622A1 WO 2018074622 A1 WO2018074622 A1 WO 2018074622A1 KR 2016011738 W KR2016011738 W KR 2016011738W WO 2018074622 A1 WO2018074622 A1 WO 2018074622A1
Authority
WO
WIPO (PCT)
Prior art keywords
cap sealing
inspection
reliability
container
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/011738
Other languages
English (en)
French (fr)
Inventor
조성제
박재훈
이부한
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coglix Co Ltd
Original Assignee
Coglix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coglix Co Ltd filed Critical Coglix Co Ltd
Priority to US15/306,486 priority Critical patent/US10853933B2/en
Priority to PCT/KR2016/011738 priority patent/WO2018074622A1/ko
Priority to KR1020197007990A priority patent/KR102233906B1/ko
Priority to AU2016426891A priority patent/AU2016426891B2/en
Publication of WO2018074622A1 publication Critical patent/WO2018074622A1/ko
Anticipated expiration legal-status Critical
Priority to US17/074,139 priority patent/US11599989B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N25/00—Investigating or analyzing materials by the use of thermal means
    • G01N25/72—Investigating presence of flaws
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F3/00—Labels, tag tickets, or similar identification or indication means; Seals; Postage or like stamps
    • G09F3/02—Forms or constructions
    • G09F3/03—Forms or constructions of security seals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation

Definitions

  • Embodiments relate to an inspection method and apparatus, and more particularly, to a method and apparatus for inspecting a cap sealing of a container carried along a process line with an IR camera.
  • Induction sealing also known as cap sealing
  • cap sealing is a non-contact method of heating metallic disks to hermetically seal the tops of plastic containers and glass containers. This sealing process takes place after the container is filled with contents, for example a pill or the like, and covered with a cap.
  • the closure is supplied to a bottletler with an aluminum foil liner already inserted.
  • Typical induction liners are multilayered.
  • the top layer, distanced from the container opening, is generally paper pulp spot-glued to the cap.
  • the next layer is the wax used to bond the layer of aluminum foil to the pulp.
  • the bottom layer is a polymer film laminated to the foil.
  • the container passes under an induction coil that emits a vibrating electromagnetic field, and the conductive aluminum foil liner begins to heat.
  • the heat melts the wax so that the wax is absorbed into the pulp backing and the foil is released from the cap.
  • the polymer film is also heated and flows onto the lip of the container.
  • the polymer creates a bond with the container, resulting in a hermetically sealed product. All this takes place in seconds or faster, with neither courage nor its contents being affected.
  • the foil can overheat and cause damage to the sealing layer or any protective barriers. This can be a defective seal, which can occur several weeks after the initial sealing process.
  • thermography-based systems have been proposed to detect defects in sealing, and these systems are mostly based on the processing of thermal image data capturing cap sealing using an IR camera or an infrared image camera.
  • the first is that even if the same inspection algorithm is used, the performance of the inspection depends on the quality or uniformity of the sub-material. The worse the uniformity of the subsidiary materials, the more the number of cases of overkill and non-defective defects that are not defective when performing inspections, or the likelihood of increasing the probability, becomes higher. .
  • the second problem is that the accuracy or tendency of the test is not known until the test is actually performed. This can only be checked after the inspection is performed by the customer or the user when a new inspection object is introduced, which may cause dissatisfaction with the inspection result.
  • One embodiment is to solve the above-described problems of the prior art, and when analyzing the thermal image data for the cap sealing of a particular container, when the low reliability is shown, it is not judged as a good or defective product, separately separated
  • An object of the present invention is to provide an inspection method and an apparatus capable of performing a rejection process to classify a user examination object.
  • the cap sealing In the determining step, when the reliability score is greater than the maximum reliability value of the predefined reliability value range, the cap sealing is judged as good quality, and when the reliability score is less than the minimum reliability value of the predefined reliability value range.
  • the cap sealing may be determined to be a defective product, and when the reliability score is greater than or equal to the minimum reliability value and less than or equal to the maximum reliability value, the cap sealing may be determined as a user inspection target.
  • the checking method may be characterized in that the maximum confidence value and the minimum confidence value are determined according to user selection.
  • the inspection method may further include driving each sorting device to separate and collect the defective product and the container determined as the user inspection object.
  • the inspection method may include estimating inspection accuracy of an inspection target based on the pre-learned sample data; And displaying the predicted inspection accuracy.
  • the inspection method further comprises displaying the thermal image data, the calculated reliability score, and the type of defective product.
  • the defect type includes at least one of Overheat, Loosen, Damaged seal and Underheat
  • the pre-learned sample data includes at least one of a cap sealing of a container corresponding to the good and at least one of Overheat, Loosen, Damaged seal and Underheat. Characterized by learning based on the cap sealing of the container corresponding to the defective product containing one.
  • the pre-learned sample data may be learned using either learning-based or feature-based.
  • An apparatus for inspecting a cap sealing of a container transported along a process line comprising: an IR camera photographing a cap sealing of the container located within a field of view (FOV) of the IR camera; And calculating a reliability score based on thermal image data corresponding to the photographed cap sealing and pre-learned sample data, comparing the calculated reliability score with a predefined range of reliability values, and comparing the cap sealing according to a comparison result. It includes a control unit for determining as one of good or bad, and the user inspection target.
  • FOV field of view
  • the control unit may determine that the cap sealing is good quality when the reliability score is greater than the maximum reliability value of the predefined reliability value range, and when the reliability score is smaller than the minimum reliability value of the predefined reliability value range, The cap sealing may be determined to be a defective product, and when the reliability score is greater than or equal to the minimum reliability value and less than or equal to the maximum reliability value, the cap sealing may be determined as a user inspection target.
  • the inspection apparatus may be configured to determine the maximum reliability value and the minimum reliability value according to user selection.
  • the inspection apparatus is a first collecting box for collecting the defective goods; A second collector for collecting the user test object; And a first sorting mechanism provided in a sorting session following an inspection session of the process line, for pushing the defective article into the first collector, and a second sorting mechanism for pushing the user inspection object to the second collector; and,
  • the controller may drive the first sorting device or the second sorting device so that the defective product and the container determined as the user's inspection object are separated and collected in the first collection box or the second collection box.
  • the inspection apparatus further includes a display unit for displaying the thermal image data, the calculated reliability score and the type of the defective article,
  • the controller may estimate the inspection accuracy of the inspection object based on the previously learned sample data, and display the predicted inspection accuracy on the display unit.
  • the defect type includes at least one of Overheat, Loosen, Damaged seal and Underheat
  • the pre-learned sample data includes at least one of a cap sealing of a container corresponding to the good and at least one of Overheat, Loosen, Damaged seal and Underheat. Characterized by learning based on the cap sealing of the container corresponding to the defective product containing one.
  • According to another embodiment includes a recording medium recording a program for executing the test method on a computer.
  • One embodiment is to solve the above-described problems of the prior art, and when analyzing the thermal image data for the cap sealing of a particular container, when the low reliability is shown, it is not judged as a good or defective product, separately separated
  • the rejection process can be used to classify as a user inspection target.
  • the reliability of the inspection can be improved by providing information that can predict the quality uniformity and the inspection accuracy of the inspection object by using the data learned before the actual inspection.
  • FIG. 1 is a schematic diagram of an entire system 100 according to one embodiment.
  • FIG. 2 is a schematic diagram of a configuration for multiple rejection of the inspection apparatus 120 shown in FIG. 1.
  • FIG. 3 is a schematic diagram of the inspection apparatus 120 shown in FIG. 1.
  • 4 to 16 are exemplary diagrams for explaining the learning according to the type of good and defective goods.
  • 17 to 28 are exemplary diagrams for explaining determining by type of good and bad goods for the cap sealing of the container based on the learning data.
  • 29 is a flowchart illustrating a test method according to another exemplary embodiment.
  • 30 to 35 are exemplary diagrams for describing an inspection accuracy prediction, according to another embodiment.
  • 36 to 42 are exemplary diagrams for describing an inspection accuracy prediction, according to another embodiment.
  • expressions such as “have”, “may have”, “include”, or “may include” may refer to a feature (e.g., numerical, functional, operational, or component such as a component). Indicates presence and does not exclude the presence of additional features.
  • the expression "A or B”, “at least one of A or / and B”, or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B”, “at least one of A and B”, or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first, second, first, or “second” used in the present embodiment may modify various components regardless of order and / or importance, and may form a component. It is used to distinguish it from other components and does not limit the components.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be referred to as a second component, and similarly, the second component may be referred to as the first component.
  • One component (such as a first component) is "(functionally or communicatively) coupled with / to" to another component (such as a second component) or " When referred to as "connected to,” it is to be understood that any of the components described above may be directly connected to the other components described above, or may be connected through other components (e.g., a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • the expression “ configured to " used in this embodiment is, for example, “ suitable for “, “ having the capacity to ), “Designed to”, “adapted to”, “made to”, or “capable of” .
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general-purpose processor (eg, a CPU or an application processor) that can perform corresponding operations.
  • FIG. 1 is a schematic diagram of an entire system 100 according to one embodiment.
  • the entire system 100 includes a capping machine 105 for attaching a cap to a container 1 carried along a process line, a sealing machine 110 for sealing an attached or warmed cap, And an inspection device 120 for inspecting the cap sealing of the container being transported.
  • the inspection apparatus 120 includes a display or display unit 121 and an IR camera 122, and further, the container 1 identified as good quality is sent along the process line, and is determined as defective.
  • the container 1 is separated into a container corresponding to NG (Not Good), and the container 1 determined to be a user inspection object is separated into a container corresponding to UC (User Check). It may further include.
  • the multiple rejection configuration will be described later with reference to FIG. 2.
  • judging as a good, defective or user inspection object is a pre-learning of the cap sealing of the container for each good or defective type, and during the actual inspection, the thermal image data of the container 1 taken by the IR camera 122 and Compare the previously learned data and classify it as good or bad.
  • the calculation using the data learned by using machine learning it can be expressed as a reliability score, it is determined based on a range of predefined reliability value, good or bad, user inspection target.
  • the reliability value is larger than the maximum reliability value, it is judged as good quality, and when the reliability value is smaller than the minimum reliability value, it is judged as defective product, and the maximum reliability is If it is between the value and the minimum confidence value, it is determined as a user inspection target. That is, when the reliability value is ambiguous, it has a low reliability and does not judge it as a good or bad product, but classifies it separately and processes it through user confirmation.
  • the inspection apparatus 120 may predict the inspection accuracy of the cap sealing of the specific container through the setting process, before the actual inspection. For example, after learning in advance for each type of good and bad, the user can predict the inspection accuracy according to the learning result and notify the user in advance.
  • the capping machine 105 caps the vessel moved along the process line.
  • the sealing machine 110 may be a high frequency heat induction unit (HFHI).
  • the container 1 which has passed through the sealing machine 110 is conveyed to the inspection apparatus 120 and is located in the field of view (FOV) of the IR camera 122.
  • the cap sealing of the container is photographed by the IR camera 122 under the control of the inspection apparatus 120, and the captured cap sealing is image-processed to generate thermal image data and display the cap sealing on the display unit 121.
  • the inspection apparatus 120 determines whether the cap sealing corresponding to the thermal image data is a good product, a defective product, or a user inspection object by comparing with previously learned data.
  • the inspection apparatus 120 may display on the display unit 121 whether the type of defect, for example, overheat, loosen, damaged seal, or underheat.
  • the inspection apparatus 120 places the temperature sensor in the field of view (FOV) of the IR camera 122, in order to increase the reliability according to the temperature change of the IR camera 122, the value of the temperature sensor itself and the temperature sensor By comparing and calculating the temperature value calculated from the thermal image data obtained by photographing, it is possible to inform the user of the temperature calibration of the IR camera 122, a notification about the inspection environment, and the like.
  • FOV field of view
  • Cooled IR cameras are typically sensitive to wavelengths from 1um to 5um (micrometers), while uncooled IR cameras are typically sensitive to wavelengths from 7um to 13um.
  • IR cameras are factory calibrated by the manufacturer. In this process, you will have a calibration table or calibration file for the specific temperature range band.
  • FIG. 2 is a schematic diagram of a configuration for multiple rejection of the inspection apparatus 120 shown in FIG. 1.
  • the inspection apparatus 120 captures a cap sealing with an IR camera for a container transported along a process line, and measures a reliability score based on sample data previously learned based on the captured thermal image data. Calculate The inspection apparatus 120 compares the reliability score with a predefined range of reliability values, and determines the cap sealing as a good, defective or user inspection object based on the comparison result.
  • the inspection apparatus 120 drives the sorting apparatus 200 so that the container determined to be good is continuously moved along the process line, and the container determined to be defective NG is sent to the NG collector. Depart from the process line.
  • the container determined to be a user check object is driven out of the process line by driving the sorting device 210 to be sent to the UC collector.
  • the inspection apparatus 120 may calculate a reliability score for the cap sealing of the container to be inspected based on the learned sample data, and the reliability score has a certain reliability range, for example, a minimum reliability value and a maximum reliability. Set the value, and if the calculated reliability score is greater than the maximum confidence value, judge it as good, if less than the minimum confidence value, judge it as defective, and if it is between the minimum confidence value and the maximum confidence value, do not judge it as good or bad. Instead, it is determined as a user inspection target. That is, the inspection apparatus 120 may reduce the probability of misjudgment by implementing multiple rejections. Appropriate inspection processing can be performed when data of a different form from the data learned in advance from this configuration is input.
  • FIG. 3 is a schematic diagram of the inspection apparatus 120 shown in FIG. 1.
  • the inspection apparatus 120 includes a control unit 300, a user setting unit 310, a photographing control unit 320, a learning unit 330, an accuracy predicting unit 340, a reliability calculating unit 350,
  • the classifier driving unit 360 is included.
  • the inspection apparatus 120 may further include the display unit 121, the IR camera 122, and the classification devices 200 and 210 shown in FIGS. 1 and 2.
  • the internal components of the inspection apparatus 120 are separated and described.
  • the controller 300, the processor, or the CPU may be processed collectively.
  • the controller 300 controls the operation of the entire inspection apparatus 120.
  • the user setting unit 310 sets a necessary setting value and an environment of the inspection apparatus 120. For example, a user input may be set through the touch interface of the display unit 121 illustrated in FIG. 1. Through the user setting unit 310, an operation menu of the inspection apparatus 120, for example, capture for actual inspection, teaching for sample data learning, prediction for prediction of inspection accuracy, and the like. Can be selected. In addition, a range of reliability values may be set, and a range of reliability values may be set for each type of defective product. In addition, in the learning menu, deep learning and feature-based learning may be selected for learning, and a learning method having a high reliability value may be selected according to each learning result.
  • the photographing controller 320 controls the IR camera 122 to photograph the cap sealing of the container located in the angle of view.
  • Learning unit 330 learns the good of the cap sealing of the container, the defective by type.
  • Types of rejects may include, but are not limited to, Overheat, Loosen, Damaged Seal or Underheat.
  • the inspection apparatus 120 in the packaging container inspection system for sealing, learning by type or class based on supervised learning and provide information for process improvement based on the result. Can be.
  • the tag of the class class is stored in association with the file name or a separate list file in the files to be pre-selected and captured for each class class.
  • Supervised learning can use common machine learning techniques or algorithms. For example, an artificial neural network (ANN), a convolutional neural network (CNN), or a deep neural network (DNN) may be used, but is not limited thereto.
  • ANN artificial neural network
  • CNN convolutional neural network
  • DNN deep neural network
  • process improvement information may be provided for each type of defective product.
  • the setting of the capping machine 105 is abnormal
  • the OVERHEAT failure in the setting of the sealing machine 110
  • the UNDERHEAT failure in the setting of the sealing machine 110
  • the failure of the DAMAGED SEAL failure in this case, the user or operator may be informed that the quality of the sub-material such as a container, a seal, a cap, or the like is higher.
  • the method of providing such process improvement information starts with supervised learning with N sample classes and ends supervised learning.
  • the confidence scores for N sample classes are calculated and the confidence scores are displayed.
  • process response information for classes with high confidence scores are displayed.
  • 4 to 16 are exemplary diagrams for explaining the learning according to the type of good and defective goods.
  • FIG. 4 a result of learning by deep learning about 79 samples of good products is shown, and the horizontal axis represents the number of samples and the vertical axis represents the reliability value.
  • the average quality uniformity was 99.6, the standard deviation was 0.7, and 163 of the 163 inspections were considered good, and the predicted inspection accuracy was 100%.
  • FIG. 5 the result of the feature-based learning on the same sample 79 is shown.
  • the average quality uniformity was 97.6, the standard deviation was 1.2, and the inspection accuracy predicted as good quality out of 163 inspections was 98.8%.
  • FIGS. 6 and 7 show the results of deep learning and feature-based learning of 20 OverHeat samples among defective items
  • FIGS. 8 and 9 show deep learning and feature-based learning of 27 Loosen samples of defective items.
  • 10 and 11 show the results of deep learning and feature-based learning on 10 damaged seal samples among the defective types
  • FIGS. 12 and 13 show the deep learning and features of 21 underheat samples among defective types.
  • 14 and 15 show the results of learning based on deep learning and features on six etc samples among defective products types.
  • a total of 148 inspections resulted in 106 good products and 42 defective goods, each showing the number of defective products NG1 to NG 5.
  • the accuracy predicting unit 340 predicts the inspection accuracy of the inspection object based on the learned sample data.
  • the inspection apparatus 120 may predict the quality uniformity and the inspection accuracy of the inspection object by using the data learned before starting the actual inspection.
  • the quantitative method of checking the uniformity index and the accuracy of inspection is as follows.
  • thermal image data A001_OK to A020_OK, A021_NG1 to A30_NG1, A031_NG2 to A40_NG2, and A041_NG3 to A50_NG3 are called thermal image data.
  • the tag after the thermal image data number is set in advance through user input at the time of image capture, and is tagged in the data file name when the image is captured.
  • Machine learning based learning is performed on the entire set of captured images.
  • the machine learning algorithm may be an ANN, a DNN, or the like. After the training is performed, a training result data file is generated.
  • the files tagged _OK are examined among the captured images. Examination yields a confidence score or probability value for each data. 1) Average these probability values. 2) Find the standard deviation of these probability values. 3) Examine the samples that are OK, and find the ratio of the number of samples with OK / Ground truth is OK.
  • the values of 1) to 3 are indices of quality uniformity of the subsidiary materials.
  • Ground Truth is the actual result known to the worker, that is, what kind of good or bad.
  • the tag attached to the file name is ground truth. In this case, however, it is not assumed that a difference between the actual sample state and the tag name occurs due to an operator error.
  • the inspection accuracy index is calculated as follows.
  • the number of samples judged as OK / the number of samples whose ground truth is OK is expressed as a value between 0 and 1, or%.
  • the number determined as NG1 / the number of samples with ground truth NG1 is expressed as a value between 0 and 1, or%.
  • the number determined as NG2 / the number of samples whose ground truth is NG2 is expressed as a value between 0 and 1, or%.
  • the number of samples whose ground truth is NG3 and the number of samples whose ground truth is NG3 is displayed as a value of 0 to 1 or as a percentage.
  • the graph of the number of class classes is plotted. That is, four graphs with notes of OK, NG1, NG2, and NG3 can be displayed.
  • the vertical axis shows inspection accuracy (%).
  • the horizontal axis represents the learned number ratio, in this case, the number of samples used in the range of 10 to 100%. This change in ratio is exemplary and may be given a change in rate to compute and show the user a trend accordingly.
  • This graph shows the test accuracy by type of each class (OK, NG1 to NG3), and can also show the trend of test accuracy as the number of training data and the number of samples to be examined change.
  • the total number of samples may be at least 50 samples, preferably 200-400. This number should be increased as the quality of the subsidiary material is uneven and the performance of the sealing machine is low, and vice versa.
  • the OK and three types of defective products have been described as an example, but the present invention is not limited thereto, and various types of defective products may be applied in the above-described manner.
  • the reliability calculator 350 calculates a reliability score based on thermal image data corresponding to the captured cap sealing and sample data learned in advance.
  • the controller 300 compares the calculated reliability score with a predefined range of reliability values, and determines the cap sealing as one of good, defective, and user inspection objects based on a comparison result.
  • the classification apparatus driver 360 drives the first classification apparatus 200 or the second classification apparatus 210 illustrated in FIG. 2 when it is determined that the defective article or the user inspection object is under the control of the controller 300.
  • Confidence scores are generally normalized and can be expressed as 0-1 or 0-100%.
  • the reliability score is a value within this range, the bad rejection, that is, the defect illustrated in FIG. It is not collected in the collection box (NG), but collected in a user inspection target collection box (UC).
  • NG collection box
  • UC user inspection target collection box
  • the reliability scores for good and defective products were trained to be normalized, if the reliability score for good quality is 55% when the test is performed, the confidence score for defective quality is 45%. Determination of good quality with this reliability score increases the probability of misjudgment. In this case, it is possible to reduce the probability of misjudgment by classifying as a user test target or low reliability.
  • S_max may be 55 to 80%
  • S_min may be 20 to 45%
  • S_min can be 20%
  • S_max can be 80%
  • the confidence scores of 21% to 79% are all treated as user test subjects or ambiguous results.
  • S_min can be 40% and S_max can be 60%.
  • the confidence scores of 41% to 59% are all treated as user inspection targets or ambiguous results.
  • 17 to 28 are exemplary diagrams for explaining determining by type of good and bad goods for the cap sealing of the container based on the learning data.
  • 29 is a flowchart illustrating a test method according to another exemplary embodiment.
  • step 2900 an inspection is started for the cap sealing of the container.
  • step 2902 the reliability score for the cap sealing of the container taken is calculated based on the previously learned sample data.
  • step 2906 If the confidence score is greater than the confidence maximum in step 2904, then in step 2906, a good decision is made.
  • step 2904 if the confidence score is less than the confidence maximum value, in step 2908, it is determined whether the confidence score is less than the confidence minimum value.
  • step 2908 if the confidence score is not smaller than the confidence minimum value, in step 2912, it is determined as a user test object.
  • 30 to 35 are exemplary diagrams for describing an inspection accuracy prediction, according to another embodiment.
  • the diameter of the cap is approximately 38 mm
  • the cap type is CRC
  • the container has a size of approximately 103 mm * 51 mm.
  • the defect type 1 is 28 Loosen
  • the defective type 2 is 30 overheat
  • the defective type 3 is underheated. 30 pieces.
  • the subsidiary material uniformity is 100% and the predicted inspection accuracy is 99.4%.
  • 32 to 35 show thermal image data for cap sealing for good or bad type, an indication of the bad type, and a reliability score.
  • the inspection apparatus may provide inspection accuracy and predicted inspection accuracy for each type of sample container.
  • 36 to 42 are exemplary diagrams for describing an inspection accuracy prediction, according to another embodiment.
  • the diameter of the cap is approximately 47mm
  • the cap type is Normal
  • the container has a size of approximately 83mm * 150mm * 115mm.
  • the subsidiary uniformity is 85.7% and the predicted inspection accuracy is 94.7%.
  • 38 to 42 show thermal image data for cap sealing for good or bad type, an indication of the bad type, and a reliability score.
  • the inspection apparatus may provide inspection accuracy and predicted inspection accuracy for each type of sample container.
  • a device may include a processor, a memory for storing and executing program data, a persistent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, a key, a button, and the like. Interface devices and the like.
  • Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor.
  • the computer-readable recording medium may be a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optical reading medium (eg, CD-ROM). ) And DVD (Digital Versatile Disc).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • the medium may be read by a computer, stored in a memory, and executed by a processor.
  • An embodiment may be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions.
  • an embodiment may include an integrated circuit configuration such as memory, processing, logic, look-up table, etc. that may execute various functions by the control of one or more microprocessors or other control devices. You can employ them.
  • Similar to the components in the present invention may be implemented in software programming or software elements, embodiments include C, C ++, including various algorithms implemented in combinations of data structures, processes, routines or other programming constructs. It may be implemented in a programming or scripting language such as Java, an assembler, or the like.
  • the functional aspects may be implemented with an algorithm running on one or more processors.
  • the embodiment may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • Terms such as “mechanism”, “element”, “means” and “configuration” can be used widely and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections.
  • such as "essential”, “important” may not be a necessary component for the application of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Signal Processing (AREA)

Abstract

본 발명은 검사 방법 및 장치에 관한 것으로, IR 카메라를 이용하여 상기 IR 카메라의 화각(FOV) 내에 위치한 용기의 캡 실링을 촬영하는 단계, 상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하는 단계, 상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 단계를 포함한다. 일 실시 예는, 특정 용기의 캡 실링에 대한 열 화상 데이터를 분석하는 데 있어서, 낮은 신뢰도를 보이는 경우, 양품 또는 불량품으로 판단하지 않고, 별도로 분리하는 리젝션 처리를 하여 사용자 검사 대상으로 분류할 수 있다.

Description

검사 방법 및 장치
실시 예는 검사 방법 및 장치에 관한 것으로, 더 상세하게는 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 방법 및 장치에 관한 것이다.
캡 밀봉(cap sealing)으로 알려진 유도 밀봉(induction sealing)은 플라스틱 용기 및 유리 용기의 상부를 기밀식으로 밀봉하도록 금속성 원반(metallic disk)을 가열하는 비접촉 방법이다. 이 밀봉 프로세스는 용기에 내용물, 예를 들면 알약 등이 채워지고 캡으로 덮인 후에 이루어진다. 알루미늄 포일 라이너가 이미 삽입된 보틀러(bottler)에 폐쇄부(closure)가 공급된다. 전형적인 유도 라이너(induction liner)는 다층으로 되어 있다. 용기 개구로부터 거리를 둔 상부 층은 일반적으로 상기 캡에 점-점착(spot-glued)된 종이 펄프이다. 그 다음 층은 알루미늄 포일의 층을 상기 펄프에 접합시키는 데 이용되는 왁스이다. 하부 층은 상기 포일에 라미네이트 입혀진(laminated) 중합체 필름이다. 종래의 캡 덮음(capping) 기술들에서 용기의 개구 위에 캡이 적용된 후에 용기는 진동하는 전자기장을 방출하는 유도 코일 아래를 지나가고, 전도성인 알루미늄 포일 라이너가 가열되기 시작한다. 그 열은 왁스를 용융시켜 왁스는 펄프 뒤판(pulp backing) 안으로 흡수되고, 포일은 캡으로부터 풀려나온다. 중합체 필름 또한 가열되어 용기의 순부(lip) 상으로 드리워진다(flow). 냉각된 때에 중합체는 용기와의 접합을 생성하여, 기밀식으로 밀봉된 제품으로 만들어진다. 용기도 그 내용물도 영향을 받지 않은 채, 이 모든 것이 몇 초만에 또는 그보다 빠른 시간 내에 이루어진다. 때로는 포일이 과열되어 밀봉 층 또는 임의의 보호 장벽들에 손상이 초래될 수 있다. 이는 결함 있는 밀봉이 될 수 있으며, 이러한 결함은 초기 밀봉 프로세스 후 몇 주가 지난 때에도 생길 수 있다.
종래에, 밀봉의 결함을 검출하기 위해 다양한 서모그래피 기반의 시스템들이 제시되고 있으며, 이러한 시스템들은 대부분 IR 카메라 또는 적외선 영상 카메라를 이용하여 캡 실링을 촬영한 열 화상 데이터의 처리에 기반을 두고 있다.
기존의 캡 실링 검사 시스템은 양품(Good)과 불량(Not Good)만을 분류한다. 그러나 실제의 검사에 있어서, 머신 러닝 기법을 사용한 검사일 경우 신뢰도 점수가 발생하고, 낮은 신뢰도 점수를 가지는 애매한 결과가 발생함에도 불구하고, 낮은 신뢰도를 가지고 억지로 양품 또는 불량을 판별하는 문제점이 있었다. 또한, 단순히 불량만을 판정할 뿐, 불량의 유형에 대해서는 어떠한 정보도 제공하지 못하였다.
또한, 머신 비전(machine vision), 머신 러닝(machine learning)을 사용하는 검사 시스템에서는 두 가지 전통적인 문제가 있다. 첫 번째는, 동일한 검사알고리즘을 사용하더라도 부자재(sub-material)의 품질도(quality) 또는 균일도 (uniformity)에 따라서 검사의 성능이 달라진다는 것이다. 부자재의 균일도가 좋지 않을수록 검사를 수행할 때 불량이 아닌데 불량으로 인식하는 경우(overkill)와, 불량을 불량으로 인식하지 못하는 경우(underkill)의 경우의 수가 많아지거나, 확률이 높아진다는 문제점이 있다. 두 번째 문제는, 실제로 검사를 수행하기 전에는 검사의 정확도 또는 정확도 경향을 알 수 없다는 것이다. 이것은 고객 또는 사용자가 새로운 검사 대상을 투입할 때 본 검사를 진행하고 나서야 검사 정확도를 확인할 수 있으며, 이것은 검사 결과에 대한 불만을 야기할 수 있다.
일 실시 예는, 전술한 종래기술의 문제점을 해결하기 위한 것으로, 특정 용기의 캡 실링에 대한 열 화상 데이터를 분석하는 데 있어서, 낮은 신뢰도를 보이는 경우, 양품 또는 불량품으로 판단하지 않고, 별도로 분리하는 리젝션 처리를 하여 사용자 검사 대상으로 분류할 수 있는 검사 방법 및 장치를 제공하는 것이다.
또한, 불량품의 유형을 미리 학습하여, 프로세스 라인에서 어떤 단계에서 불량이 발생한 것인지에 대한 정확한 정보를 제공함으로써, 공정 개선을 위한 정확한 정보를 제공할 수 있는 검사 방법 및 장치를 제공하는 것이다.
또한, 실제 검사를 시작하기 전에 학습한 데이터를 사용하여, 검사대상의 품질 균일도와 검사 정확도를 예측할 수 있는 정보를 제공함으로써, 검사의 신뢰성을 높일 수 있는 검사 방법 및 장치를 제공하는 것이다.
일 실시 예에 따른 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 방법에 있어서, 상기 IR 카메라를 이용하여 상기 IR 카메라의 화각(FOV) 내에 위치한 상기 용기의 캡 실링을 촬영하는 단계; 상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하는 단계; 및 상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 단계를 포함한다.
상기 판단 단계는, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최대 신뢰도 값보다 큰 경우, 캡 실링을 양품으로 판단하고, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최소 신뢰도 값보다 작은 경우, 상기 캡 실링을 불량품으로 판단하고, 상기 신뢰도 점수가 상기 최소 신뢰도 값 이상이고 상기 최대 신뢰도 값 이하인 경우, 상기 캡 실링을 사용자 검사 대상으로 판단하는 것을 특징으로 한다.
상기 검사 방법은 상기 최대 신뢰도 값 및 상기 최소 신뢰도 값은 사용자 선택에 따라 결정되는 것을 특징으로 한다.
상기 검사 방법은 상기 불량품 및 사용자 검사 대상으로 판단된 용기가 분리되어 수집되도록 각각의 분류기구를 구동시키는 단계는 더 포함하는 것을 특징으로 한다.
상기 검사 방법은 상기 미리 학습한 샘플 데이터를 기초로 검사 대상의 검사 정확도를 예측하는 단계; 및 상기 예측된 검사 정확도를 표시하는 단계를 더 포함하는 것을 특징으로 한다.
상기 검사 방법은 상기 열 화상 데이터, 상기 계산된 신뢰도 점수 및 상기 불량품의 유형을 표시하는 단계를 더 포함하는 것을 특징으로 한다.
상기 불량품의 유형은, Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하고, 상기 미리 학습한 샘플 데이터는, 상기 양품에 해당하는 용기의 캡 실링, 및 Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하는 불량품에 해당하는 용기의 캡 실링을 기초로 학습한 것을 특징으로 한다.
상기 미리 학습한 샘플 데이터는, Learning 기반 또는 특징(Feature) 기반 중 어느 하나를 이용하여 학습한 것을 특징으로 한다.
다른 실시 예에 따른 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 장치에 있어서, 상기 IR 카메라의 화각(FOV) 내에 위치한 상기 용기의 캡 실링을 촬영하는 IR 카메라; 및 상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하고, 상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 제어부를 포함한다.
상기 제어부는, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최대 신뢰도 값보다 큰 경우, 캡 실링을 양품으로 판단하고, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최소 신뢰도 값보다 작은 경우, 상기 캡 실링을 불량품으로 판단하고, 상기 신뢰도 점수가 상기 최소 신뢰도 값 이상이고 상기 최대 신뢰도 값 이하인 경우, 상기 캡 실링을 사용자 검사 대상으로 판단하는 것을 특징으로 한다.
상기 검사 장치는 상기 최대 신뢰도 값 및 상기 최소 신뢰도 값은 사용자 선택에 따라 결정되는 것을 특징으로 한다.
상기 검사 장치는 상기 불량품을 수집하는 제1 수집함; 상기 사용자 검사 대상을 수집하는 제2 수집함; 및 상기 프로세스 라인의 검사 세션 다음의 분류 세션에 구비되어, 상기 불량품을 상기 제1 수집함으로 밀어내는 제1 분류기구와, 상기 사용자 검사 대상을 상기 제2 수집함으로 밀어내는 제2 분류기구를 더 포함하고,
상기 제어부는, 상기 불량품 및 사용자 검사 대상으로 판단된 용기가 상기 제1 수집함 또는 상기 제2 수집함으로 분리되어 수집되도록 상기 제1 분류기구 또는 상기 제2 분류기구를 구동시키는 것을 특징으로 한다.
상기 검사 장치는 상기 열 화상 데이터, 상기 계산된 신뢰도 점수 및 상기 불량품의 유형을 표시하는 표시부를 더 포함하고,
상기 제어부는, 상기 미리 학습한 샘플 데이터를 기초로 검사 대상의 검사 정확도를 예측하고, 상기 예측된 검사 정확도를 상기 표시부에 표시하는 것을 특징으로 한다.
상기 불량품의 유형은, Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하고, 상기 미리 학습한 샘플 데이터는, 상기 양품에 해당하는 용기의 캡 실링, 및 Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하는 불량품에 해당하는 용기의 캡 실링을 기초로 학습한 것을 특징으로 한다.
또 다른 실시 예에 따른 상기 검사 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체를 포함한다.
일 실시 예는, 전술한 종래기술의 문제점을 해결하기 위한 것으로, 특정 용기의 캡 실링에 대한 열 화상 데이터를 분석하는 데 있어서, 낮은 신뢰도를 보이는 경우, 양품 또는 불량품으로 판단하지 않고, 별도로 분리하는 리젝션 처리를 하여 사용자 검사 대상으로 분류할 수 있다.
또한, 불량품의 유형을 미리 학습하여, 프로세스 라인에서 어떤 단계에서 불량이 발생한 것인지에 대한 정확한 정보를 제공함으로써, 공정 개선을 위한 정확한 정보를 제공할 수 있다.
또한, 실제 검사를 시작하기 전에 학습한 데이터를 사용하여, 검사대상의 품질 균일도와 검사 정확도를 예측할 수 있는 정보를 제공함으로써, 검사의 신뢰성을 높일 수 있다.
도 1은 일 실시 예에 따른 전체 시스템(100)의 개략도이다.
도 2는 도 1에 도시된 검사 장치(120)의 다중 리젝션을 위한 구성의 개략 도이다.
도 3은 도 1에 도시된 검사 장치(120)의 개략 도이다.
도 4 내지 16은 양품과 불량품의 유형별도 학습하는 것을 설명하기 위한 예시 도들이다.
도 17 내지 28은 학습 데이터를 기반으로 용기의 캡 실링에 대해 양품 및 불량품의 유형별로 판단하는 것을 설명하기 위한 예시 도들이다.
도 29는 다른 실시 예에 따른 검사 방법을 설명하기 위한 흐름 도이다.
도 30 내지 35는 또 다른 실시 예에 따른 검사 정확도 예측을 설명하기 위한 예시 도들이다.
도 36 내지 42는 또 다른 실시 예에 따른 검사 정확도 예측을 설명하기 위한 예시 도들이다.
이하, 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 실시 예에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 실시 예에서, "가진다", "가질 수 있다", "포함한다", 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 실시 예에서, "A 또는 B", "A 또는/및 B 중 적어도 하나", 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나", 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 실시 예에서 사용된 "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 실시 예에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상술한 어떤 구성요소가 상술한 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 실시 예에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)", 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 AP(application processor))를 의미할 수 있다.
본 실시 예에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 실시 예에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 실시 예에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 실시 예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 실시 예에서 정의된 용어일지라도 본 실시 예의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 일 실시 예에 따른 전체 시스템(100)의 개략도이다.
도 1을 참조하면, 전체 시스템(100)은 프로세스 라인을 따라 운반되는 용기(1)에 캡을 부착시키는 캡핑 머신(105)과, 부착된 또는 덥혀진 캡을 밀봉시키는 실링 머신(110)과, 운반되는 용기의 캡 실링을 검사하는 검사 장치(120)를 포함한다. 일 실시 예에 따른 검사 장치(120)는 디스플레이 또는 표시부(121), IR카메라(122)를 포함하여 구성되며, 추가로 양품으로 확인된 용기(1)는 프로세스 라인을 따라 지나 보내고, 불량품으로 판단된 용기(1)는 NG(Not Good)에 해당하는 수거함으로 분리하고, 사용자 검사 대상으로 판단된 용기(1)는 UC(User Check)에 해당하는 수거함으로 분리하는 다중 리젝션(multi rejection) 구성을 더 포함할 수 있다. 다중 리젝션 구성은 도 2를 참조하여 후술한다.
여기서, 양품, 불량품, 사용자 검사 대상으로 판단하는 것은 용기의 캡 실링을 양품 또는 불량품 유형별로 미리 학습한 후, 실제 검사 시에, IR 카메라(122)로 촬영한 용기(1)의 열 화상 데이터와 미리 학습한 데이터를 비교하여 양품, 불량품으로 분류한다. 또한, 머신 러닝(Machine Learning)을 이용하여 학습한 데이터를 이용하여 연산을 하는 경우, 신뢰도 점수로 표현 가능하며, 미리 정의된 신뢰도 값 범위를 기준으로 양품, 불량품, 사용자 검사 대상으로 판단한다. 즉, 현재 검사 대상의 열 화상 데이터를 분석한 결과, 그 신뢰도 값이 최대 신뢰도 값보다 큰 경우에, 양품으로 판단하고, 그 신뢰도 값이 최소 신뢰도 값보다 작은 경우에는, 불량품으로 판단하고, 최대 신뢰도 값과 최소 신뢰도 값의 사이인 경우에는 사용자 검사 대상으로 판단한다. 즉, 신뢰도 값이 애매한(ambiguous) 경우에는 낮은 신뢰도를 가지고, 억지로 양품 또는 불량품으로 판단하지 않고, 별도로 분류하여 사용자 확인을 통해 처리하는 것이다.
또한, 실시 예에 따른 검사 장치(120)는 실제 검사를 하기 전에, 설정 과정을 통해 특정 용기의 캡 실링의 검사 정확도를 예측할 수 있다. 예를 들면 양품과 불량의 유형별로 미리 학습한 후 학습 결과에 따라 검사 정확도를 예측하여 사용자에게 미리 알려줄 수 있다.
캡핑 머신(105)은 프로세스 라인을 따라 이동된 용기에 캡을 덮는다. 실링 머신(110)은 고주파 열 유도 유닛(HFHI)일 수 있다.
실링 머신(110)을 통과한 용기(1)는 검사 장치(120)로 운반되어, IR 카메라(122)의 화각(FOV)내에 위치한다. 검사 장치(120)의 제어에 따라 IR 카메라(122)로 용기의 캡 실링을 촬영하고, 촬영된 캡 실링을 영상 처리하여 열 화상 데이터를 생성하여 표시부(121)에 표시한다. 또한, 검사 장치(120)는 미리 학습한 데이터와 비교하여 해당 열 화상 데이터에 해당하는 캡 실링이 양품인지, 불량품인지, 또는 사용자 검사 대상인지를 판단한다. 또한, 검사 장치(120)는 불량품인 경우에도, 불량의 유형, 예를 들면 Overheat, Loosen, Damaged seal 또는 Underheat인지를 표시부(121)에 표시할 수 있다. 따라서, 용기의 캡 실링의 전체 프로세스에서, 어느 프로세스 라인, 예를 들면 캡핑 머신(105), 또는 실링 머신(110)에서 오류가 발생하였는지를 확인할 수 있다.
실시 예에 따른 검사 장치(120)는 IR 카메라(122)의 온도 변화에 따른 신뢰도를 높이기 위해, 온도 센서를 IR 카메라(122)의 화각(FOV) 내에 위치시키고, 온도 센서 자체의 값과 온도 센서를 촬영하여 얻어지는 열 화상 데이터로부터 산출한 온도 값을 비교 연산하여, IR 카메라(122)의 온도 캘리브레이션, 검사 환경에 대한 알림 등을 사용자에게 알려줄 수 있다.
IR 카메라의 방식은 냉각식(cooled)과 비냉각식(uncooled)이 있다. 냉각식 IR 카메라는 일반적으로 1um 내지 5um(micrometer)파장대에 민감하고, 비냉각식 IR 카메라는 일반적으로 7um 내지 13um 파장대에 민감하다. IR 카메라는 제조사에 의해 공장 캘리브레이션(factory calibration)을 수행하게 된다. 이 과정에서 특정 온도 범위 대역에 적합한 캘리브레이션 테이블 또는 캘리브레이션 파일을 가지게 된다.
도 2는 도 1에 도시된 검사 장치(120)의 다중 리젝션을 위한 구성의 개략 도이다.
도 2를 참조하면, 검사 장치(120)는 프로세스 라인을 따라 운반되는 용기에 대해, 캡 실링을 IR 카메라로 촬영하여, 촬영된 열 화상 데이터를 기초로 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산한다. 검사 장치(120)는 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하고, 비교 결과에 따라 캡 실링을 양품, 불량품 또는 사용자 검사 대상으로 판단한다.
도 2에 도시된 것처럼, 검사 장치(120)는 양품으로 판단된 용기는 프로세스 라인을 따라 계속 이동되고, 불량품(NG)으로 판단된 용기는 NG 수집함으로 보내기 위해, 분류기구(200)를 구동시켜 프로세스 라인에서 이탈시킨다. 또한, 사용자 검사 대상(User Check)으로 판단된 용기는 UC 수집함으로 보내기 위해, 분류기구(210)를 구동시켜 프로세스 라인에서 이탈시킨다.
실시 예에 따른 검사 장치(120)는 학습한 샘플 데이터를 기반으로 하여 검사 대상인 용기의 캡 실링에 대해 신뢰도 점수를 계산할 수 있고, 이러한 신뢰도 점수가 일정한 신뢰도 범위, 예를 들면 최소 신뢰도 값과 최대 신뢰도 값을 설정하고, 계산된 신뢰도 점수가 최대 신뢰도 값보다 큰 경우, 양품으로 판단하고, 최소 신뢰도 값보다 작은 경우 불량품으로 판단하고, 최소 신뢰도 값과 최대 신뢰도 값 사이인 경우에 양품 또는 불량으로 판단하지 않고, 사용자 검사 대상으로 판단한다. 즉, 검사 장치(120)는 다중 리젝션을 구현함으로써, 오판정의 확률을 줄일 수 있다. 이러한 구성으로부터 미리 학습한 데이터와 상이한 형태의 데이터가 입력되는 경우에 적절한 검사 처리를 수행할 수 있다.
도 3은 도 1에 도시된 검사 장치(120)의 개략 도이다.
도 3을 참조하면, 검사 장치(120)는 제어부(300), 사용자 설정부(310), 촬영 제어부(320), 학습부(330), 정확도 예측부(340), 신뢰도 계산부(350), 분류기구 구동부(360)를 포함한다.
또한, 검사 장치(120)는 도 1 및 2에 도시된, 표시부(121), IR 카메라(122), 분류기구들(200,210)을 더 포함할 수 있음은 물론이다. 또한, 도 3을 참조하여, 검사 장치(120)의 내부 구성들을 분리하여 기재하였으나, 이에 한정되지 않고, 제어부(300), 프로세서 또는 CPU에서 일괄 처리할 수 있음은 물론이다.
제어부(300)는 전체 검사 장치(120)의 동작을 제어한다.
사용자 설정부(310)는 검사 장치(120)의 필요성 설정 값과 환경을 설정한다. 예를 들면 도 1에 도시된 표시부(121)의 터치 인터페이스를 통해, 사용자 입력을 설정할 수 있다. 사용자 설정부(310)를 통해, 검사 장치(120)의 동작 메뉴, 예를 들면 실제 검사를 위한 촬영(capture), 샘플 데이터 러닝을 위한 학습(Teaching), 검사 정확도 예측을 위한 예측(Prediction) 등을 선택할 수 있다. 또한, 일 실시 예에 따른 신뢰도 값의 범위를 설정할 수 있으며, 각각의 불량품의 유형별로도 신뢰도 값의 범위를 설정할 수 있다. 또한, 학습 메뉴에서, 딥 러닝과 특징 기반의 학습을 선택하여 학습할 수 있으며, 각각의 학습 결과에 따라 신뢰도 값이 높은 학습 방법을 선택할 수도 있다.
촬영 제어부(320)는 IR 카메라(122)를 제어하여 화각 내에 위치한 용기의 캡 실링을 촬영한다.
학습부(330)는 용기의 캡 실링의 양품, 유형별 불량품들을 학습한다. 불량품의 유형은 Overheat, Loosen, Damaged seal 또는 Underheat를 포함할 수 있으며, 이에 한정되지 않는다. 실시 예에 따른 검사 장치(120)는 실링을 하는 포장용기 검사 시스템에서, 지도 학습(supervised learning)을 기반으로 하여 유형 또는 부류 클래스 별로 학습을 하고 그 결과를 바탕으로 공정 개선을 위한 정보를 제공할 수 있다.
구체적으로, 샘플들의 영상을 캡쳐하고, 캡쳐할 때 각 부류 클래스별로 미리 선택하여 캡쳐하는 파일들에 그 부류 클래스의 태그가 파일명 또는 별도의 목록 파일에 연동하여 저장한다. 부류에 대한 태그가 달린 파일들을 사용해서 지도 학습을 수행한다. 지도 학습은 일반적인 머신 러닝 기법 또는 알고리즘을 사용할 수 있다. 예를 들면 ANN(Artificial Neural Network), CNN(Convolutional Neural Network), DNN(deep neural network) 등을 사용할 수 있으나, 이에 한정되는 것은 아니다.
이렇게 불량품의 유형별로 학습한 후 실제 검사시에, 불량의 유형별로 공정 개선 정보를 제공할 수 있다. 예를 들면, LOOSEN 불량의 경우 캡핑 머신(105)의 설정 이상으로, OVERHEAT 불량의 경우 실링 머신(110)의 설정 이상으로, UNDERHEAT 불량의 경우 실링 머신(110)의 설정 이상으로, DAMAGED SEAL 불량의 경우 용기나, 실(seal), 캡(cap)등의 부자재(sub-material) 품질이상임을 사용자 또는 운용자에게 알려줄 수 있다.
이러한 공정 개선 정보를 제공하는 방법은 샘플 부류 N개로 지도 학습을 시작하고, 지도 학습을 종료한다. 실제 검사를 시작한 경우, 샘플 부류 N개에 대한 신뢰도 점수를 연산하고, 신뢰도 점수를 표시한다. 그리고 신뢰도 점수가 높은 부류에 대한 공정 대응 정보를 표시한다.
도 4 내지 16은 양품과 불량품의 유형별도 학습하는 것을 설명하기 위한 예시 도들이다.
도 4를 참조하면, 양품에 대한 샘플 79개에 대해 딥 러닝(Deep learning)으로 학습한 결과를 나타내며, 가로축은 샘플 수, 세로축은 신뢰도 값을 표시한다. 품질 균일도의 평균은 99.6이고, 표준편차는 0.7이고, 163번의 검사 중 163번을 양품으로 판단하여, 예측한 검사 정확도를 100%이다. 도 5를 참조하면, 동일한 샘플 79에 대해 특징 기반으로 학습한 결과를 나타낸다. 품질 균일도의 평균은 97. 6이고, 표준편차는 1.2이고, 163번의 검사 중 161번을 양품으로 판단하여 예측한 검사 정확도는 98.8%이다.
도 6 및 7을 참조하면, 불량품 유형 중 OverHeat 샘플 20개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타내며, 도 8 및 9는 불량품 유형 중 Loosen 샘플 27개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타내며, 도 10 및 11은 불량품 유형 중 Damaged seal 샘플 10개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타내며, 도 12 및 13은 불량품 유형 중 Underheat 샘플 21개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타내며, 도 14 및 15는 불량품 유형 중 etc 샘플 6개에 대해 딥 러닝과 특징 기반으로 학습한 결과를 나타낸다.
도 16을 참조하면, 도 6 내지 15에 따라 학습한 샘플 데이터를 기반으로 실제 148개의 용기의 캡 실링에 대해 검사한 결과에 대한 통계 자료가 도시된다.
전체 148개에 대해 검사를 한 결과, 양품이 106개, 불량품이 42개로 구성되며, 불량품의 NG1 내지 NG 5에 대한 각각의 개수가 도시된다.
정확도 예측부(340)는 학습한 샘플 데이터를 기반으로 검사 대상의 검사 정확도를 예측한다. 실시 예에 따른 검사 장치(120)는 실제 검사를 시작하기 전에 학습한 데이터를 사용하여, 검사대상의 품질 균일도와 검사 정확도를 예측할 수 있다.
검사 대상의 균일도 지표와 검사 정확도에 대한 지표를 확인하는 정량적인 방법은 다음과 같다.
A001_OK 내지 A020_OK, A021_NG1 내지 A30_NG1, A031_NG2 내지 A40_NG2, A041_NG3 내지 A50_NG3를 캡쳐한 열 화상 데이터라 한다. 열 화상 데이터 번호 뒤에 태그는 영상 캡쳐시에 사용자 입력을 통해 미리 설정하고 영상을 캡쳐하면 데이터 파일명에 태깅이 된다. 이들 캡쳐한 영상 세트 전체에 대해서 머신 러닝 기반을 학습을 수행한다. 머신 러닝 알고리즘은 ANN, DNN 등일 수 있다. 학습을 수행하고 나면 학습 결과 데이터 파일이 생성된다.
학습한 결과를 바탕으로, 캡쳐한 영상들 중에서 _OK 라는 태그가 있는 파일들을 검사한다. 검사하면 각각의 데이터에 대해서, 신뢰도 점수 또는 확률 값이 산출된다. 1) 이 확률 값들의 평균을 구한다. 2) 이 확률 값들의 표준편차를 구한다. 3) OK 인 샘플들을 검사한 결과 OK로 판정한 개수/Ground truth 가 OK 인 샘플의 개수의 비율을 구한다. 여기서, 1) 내지 3의 값들이 부자재의 품질 균일도 지표이다. 여기서, Ground Truth는, 작업자가 알고 있는 실제 결과, 즉 양품인지 불량의 어떤 종류인지를 말한다. 학습용으로 캡쳐한 데이터에 대해서는, 파일명에 붙어있는 태그가 ground truth 이다. 단, 이 경우 작업자의 실수로 인한 실제 샘플의 상태와 태그 명의 차이가 발생하는 경우는 가정하지 않는다.
검사 정확도 지표는 다음과 같이 산출한다.
캡쳐한 샘플들 중에서 다음과 같은 비율로 샘플 개수를 나누어 학습한다.
OK, NG1, NG2, NG3 각각의 종류에 대해서 5:5로 나눈다. 각 종류에 대한 50%의 데이터를 집합 TDS teaching data set 이라 하고, 나머지 50%의 데이터를 집합 VDS validation data set 이라 한다. TDS 데이터의 10% 해당하는 샘플 수만으로 학습한다. VDS 샘플 수에 대해서 검사 연산한다. 그 검사 결과에 대해서, 다음과 같이 계산한다.
Ground truth 가 OK 인 샘플들을 검사한 결과, OK로 판정한 개수/Ground truth 가 OK 인 샘플의 개수를 0 내지 1 사이의 값, 또는 %로 표시한다.
Ground truth 가 NG1인 샘플들을 검사한 결과, NG1로 판정한 개수/ Ground truth 가 NG1 인 샘플의 개수를 0 내지 1 사이의 값, 또는 %로 표시한다.
Ground truth 가 NG2인 샘플들을 검사한 결과, NG2로 판정한 개수/Ground truth가 NG2인 샘플의 개수를 0 내지 1 사이의 값, 또는 %로 표시한다.
Ground truth 가 NG3인 샘플들을 검사한 결과 NG3로 판정한 개수/Ground truth가 NG3인 샘플의 개수를 0 내지 1 상의 값 또는 %로 표시한다.
상기와 같은 과정의 연산을 TDS 데이터의 비율을 20% 내지 100%까지 연산하여 그 결과를 그래프로 플로팅하면, 부류 클래스 개수만큼의 그래프가 플로팅된다. 즉 OK, NG1, NG2, NG3의 노트가 있는 4개의 그래프를 표시할 수 있다. 세로축은 검사정확도(%). 가로축은 학습한 개수 비율, 이 경우는 사용 샘플 수를 10 내지 100%로 표시한다. 이 비율의 변화는 예시적이며, 비율의 변화를 주어 연산하고 그것에 따른 경향을 사용자에게 보여줄 수도 있다.
이 그래프는 검사 정확도를, 각 부류의 유형(OK, NG1 내지 NG3)별로 보여주며, 학습데이터의 수의 변화와 검사할 샘플수의 변화에 따라 검사정확도의 변화 추이를 보여줄 수도 있다. 전체 샘플 수는 50 샘플 이상일 수 있으며, 바람직하게는 200~400개가 적절하다. 이 수치는 부자재의 품질도가 불균일할수록, 실링 머신의 성능이 낮을수록 개수를 늘려야 하며, 반대의 경우는 줄일 수 있다.
실시 예에 따라, OK와 3가지 유형의 불량품을 예시적으로 설명하였지만, 이에 한정되지 않고, 다양한 유형의 불량품을 상기와 같은 방법으로 적용할 수 있음은 물론이다.
신뢰도 계산부(350)는 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산한다.
제어부(300)는 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단한다.
분류기구 구동부(360)는 제어부(300)의 제어에 따라, 불량품 또는 사용자 검사 대상으로 판단한 경우, 도 2에 도시된 제1 분류기구(200) 또는 제2 분류기구(210)를 구동시킨다.
신뢰도 점수는 일반적으로 정규화되어 0 내지 1 또는, 0 내지 100%로 표시될 수 있다. 이 경우 미리 설정한 기준 범위 값 신뢰도 최소값(S_min) 내지 신뢰도 최대값(S_max)에 따라, 검사 연산 수행을 한 후, 신뢰도 점수가 이 범위 안의 값이라면, 불량 리젝션, 즉 도 2에 도시된 불량 수집함(NG)에 수집하는 것이 아니라, 사용자 검사 대상 수집함(UC)에 수집한다. 예를 들면, 양품과 불량품에 대한 신뢰도 점수가 정규화되게 학습을 시켰다면, 검사를 수행했을 때 양품에 대한 신뢰도 점수가 55%이면 불량에 대한 신뢰도 점수는 45%이다. 이러한 신뢰도 점수를 가지고 양품이라고 판정하게 되면 오판정을 하게 되는 확률이 커진다. 이 경우, 사용자 검사 대상 또는 신뢰도 낮음으로 분류하여 오판정의 확률을 줄일 수 있다.
예시적으로, S_max 는 55 내지 80%일 수 있으며, S_min은 20 내지 45%가 될 수 있다. 엄밀한 검사 결과를 위해서는 S_min는 20%, S_max는 80% 가 될 수 있다. 이 경우, 신뢰도 점수가 21% 내지 79%는 모두 사용자 검사 대상 또는 모호한(ambiguous) 결과로 처리된다. 느슨한 검사 결과를 위해서는 S_min는 40%, S_max는 60% 가 될 수 있다. 이 경우, 신뢰도 점수가 41% 내지 59% 는 모두 사용자 검사 대상 또는 모호한 결과로 처리된다.
도 17 내지 28은 학습 데이터를 기반으로 용기의 캡 실링에 대해 양품 및 불량품의 유형별로 판단하는 것을 설명하기 위한 예시 도들이다.
도 29는 다른 실시 예에 따른 검사 방법을 설명하기 위한 흐름 도이다.
도 29를 참조하면, 단계 2900에서, 용기의 캡 실링에 대해 검사를 시작한다.
단계 2902에서, 미리 학습한 샘플 데이터를 기초로 촬영된 용기의 캡 실링에 대한 신뢰도 점수를 연산한다.
단계 2904에서, 신뢰도 점수가 신뢰도 최대값보다 큰 경우, 단계 2906에서, 양품으로 판단한다.
단계 2904에서, 신뢰도 점수가 신뢰도 최대값보다 작은 경우, 단계 2908에서, 신뢰도 점수가 신뢰도 최소값보다 작은지 판단한다.
신뢰도 점수가 신뢰도 최소값보다 작은 경우 단계 2910에서 불량품으로 판단한다.
단계 2908에서, 신뢰도 점수가 신뢰도 최소값보다 작지 않은 경우, 단계 2912에서, 사용자 검사 대상으로 판단한다.
실시 예에 따른 검사 방법은 특정 용기의 캡 실링에 대한 열 화상 데이터를 분석하는 데 있어서, 낮은 신뢰도를 보이는 경우, 양품 또는 불량품으로 판단하지 않고, 별도로 분리하는 리젝션 처리를 하여 사용자 검사 대상으로 분류할 수 있다.
도 30 내지 35는 또 다른 실시 예에 따른 검사 정확도 예측을 설명하기 위한 예시 도들이다.
도 30을 참조하면, 다음의 용기와 캡 샘플이 도시되어 있으며, 캡의 직경은 대략 38mm이고, 캡 타입은 CRC이고, 용기는 대략 103mm*51mm의 크기를 갖는다.
테스트에 사용된 샘플은 158개이고, 그 중 양품은 70개, 임의로 만든 불량품은 88개이며, 불량 타입(Fault Type) 1은 Loosen인 28개, 불량 타입 2는 Overheat 30개이고, 불량 타입 3은 Underheat 30개이다.
도 31을 참조하면, 부자재 균일도는 100%이고, 예측된 검사 정확도는 99.4%를 나타낸다. 도 32 내지 35는 양품 내지 불량 유형에 대한 캡 실링에 대한 열화상데이터와 불량 유형의 표시, 신뢰도 점수가 도시되어 있다.
실시 예에 따른 검사 장치는 샘플 용기에 따른 각각의 유형별 검사 정확도와 예측된 검사 정확도를 제공할 수 있다.
도 36 내지 42는 또 다른 실시 예에 따른 검사 정확도 예측을 설명하기 위한 예시 도들이다.
도 36을 참조하면, 다음의 용기와 캡 샘플이 도시되어 있으며, 캡의 직경은 대략 47mm이고, 캡 타입은 Normal이고, 용기는 대략 83mm*150mm*115mm의 크기를 갖는다.
테스트에 사용된 샘플은 38개이고, 그 중 양품은 14개, 임의로 만든 불량품은 24개이며, 불량 타입(Fault Type) 1은 Loosen인 6개, 불량 타입 2는 Overheat 5개이고, 불량 타입 3은 Underheat 6개이고, 불량 타입 4는 Reversed Seal 7개이다.
도 37을 참조하면, 부자재 균일도는 85.7%이고, 예측된 검사 정확도는 94.7%를 나타낸다. 도 38 내지 42는 양품 내지 불량 유형에 대한 캡 실링에 대한 열화상데이터와 불량 유형의 표시, 신뢰도 점수가 도시되어 있다.
실시 예에 따른 검사 장치는 샘플 용기에 따른 각각의 유형별 검사 정확도와 예측된 검사 정확도를 제공할 수 있다.
일 실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독 가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
도면에 도시된 실시 예들에서 참조 부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
실시 예의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (15)

  1. 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 방법에 있어서,
    상기 IR 카메라를 이용하여 상기 IR 카메라의 화각(FOV) 내에 위치한 상기 용기의 캡 실링을 촬영하는 단계;
    상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하는 단계; 및
    상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 단계를 포함하는 검사 방법.
  2. 제 1 항에 있어서,
    상기 판단 단계는,
    상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최대 신뢰도 값보다 큰 경우, 캡 실링을 양품으로 판단하고, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최소 신뢰도 값보다 작은 경우, 상기 캡 실링을 불량품으로 판단하고, 상기 신뢰도 점수가 상기 최소 신뢰도 값 이상이고 상기 최대 신뢰도 값 이하인 경우, 상기 캡 실링을 사용자 검사 대상으로 판단하는 것을 특징으로 하는 검사 방법.
  3. 제 2 항에 있어서,
    상기 최대 신뢰도 값 및 상기 최소 신뢰도 값은 사용자 선택에 따라 결정되는 것을 특징으로 하는 검사 방법.
  4. 제 1 항에 있어서,
    상기 불량품 및 사용자 검사 대상으로 판단된 용기가 분리되어 수집되도록 각각의 분류기구를 구동시키는 단계를 더 포함하는 것을 특징으로 하는 검사 방법.
  5. 제 1 항에 있어서,
    상기 미리 학습한 샘플 데이터를 기초로 검사 대상의 검사 정확도를 예측하는 단계; 및
    상기 예측된 검사 정확도를 표시하는 단계를 더 포함하는 것을 특징으로 하는 검사 방법.
  6. 제 1 항에 있어서,
    상기 열 화상 데이터, 상기 계산된 신뢰도 점수 및 상기 불량품의 유형을 표시하는 단계를 더 포함하는 것을 특징으로 하는 검사 방법.
  7. 제 1 항에 있어서,
    상기 불량품의 유형은,
    Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하고,
    상기 미리 학습한 샘플 데이터는,
    상기 양품에 해당하는 용기의 캡 실링, 및 Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하는 불량품에 해당하는 용기의 캡 실링을 기초로 학습한 것을 특징으로 하는 검사 방법.
  8. 제 7 항에 있어서,
    상기 미리 학습한 샘플 데이터는,
    딥 러닝(Deep Learning) 기반 또는 특징(Feature) 기반 중 어느 하나를 이용하여 학습한 것을 특징으로 하는 검사 방법.
  9. 제 1 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
  10. 프로세스 라인을 따라 운반되는 용기의 캡 실링을 IR 카메라로 검사하는 장치에 있어서,
    상기 IR 카메라의 화각(FOV) 내에 위치한 상기 용기의 캡 실링을 촬영하는 IR 카메라; 및
    상기 촬영된 캡 실링에 대응하는 열 화상 데이터와 미리 학습한 샘플 데이터를 기초로 신뢰도 점수를 계산하고, 상기 계산된 신뢰도 점수와 미리 정의된 신뢰도 값 범위를 비교하여, 비교결과에 따라 상기 캡 실링을 양품, 불량품 및 사용자 검사 대상 중 하나로 판단하는 제어부를 포함하는 검사 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최대 신뢰도 값보다 큰 경우, 캡 실링을 양품으로 판단하고, 상기 신뢰도 점수가 상기 미리 정의된 신뢰도 값 범위의 최소 신뢰도 값보다 작은 경우, 상기 캡 실링을 불량품으로 판단하고, 상기 신뢰도 점수가 상기 최소 신뢰도 값 이상이고 상기 최대 신뢰도 값 이하인 경우, 상기 캡 실링을 사용자 검사 대상으로 판단하는 것을 특징으로 하는 검사 장치.
  12. 제 11 항에 있어서,
    상기 최대 신뢰도 값 및 상기 최소 신뢰도 값은 사용자 선택에 따라 결정되는 것을 특징으로 하는 검사 장치.
  13. 제 10 항에 있어서,
    상기 불량품을 수집하는 제1 수집함;
    상기 사용자 검사 대상을 수집하는 제2 수집함; 및
    상기 프로세스 라인의 검사 세션 다음의 분류 세션에 구비되어, 상기 불량품을 상기 제1 수집함으로 밀어내는 제1 분류기구와, 상기 사용자 검사 대상을 상기 제2 수집함으로 밀어내는 제2 분류기구를 더 포함하고,
    상기 제어부는,
    상기 불량품 및 사용자 검사 대상으로 판단된 용기가 상기 제1 수집함 또는 상기 제2 수집함으로 분리되어 수집되도록 상기 제1 분류기구 또는 상기 제2 분류기구를 구동시키는 것을 특징으로 하는 검사 장치.
  14. 제 10 항에 있어서,
    상기 열 화상 데이터, 상기 계산된 신뢰도 점수 및 상기 불량품의 유형을 표시하는 표시부를 더 포함하고,
    상기 제어부는,
    상기 미리 학습한 샘플 데이터를 기초로 검사 대상의 검사 정확도를 예측하고, 상기 예측된 검사 정확도를 상기 표시부에 표시하는 것을 특징으로 하는 검사 장치.
  15. 제 10 항에 있어서,
    상기 불량품의 유형은,
    Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하고,
    상기 미리 학습한 샘플 데이터는,
    상기 양품에 해당하는 용기의 캡 실링, 및 Overheat, Loosen, Damaged seal 및 Underheat 중 적어도 하나를 포함하는 불량품에 해당하는 용기의 캡 실링을 기초로 학습한 것을 특징으로 하는 검사 장치.
PCT/KR2016/011738 2016-10-19 2016-10-19 검사 방법 및 장치 Ceased WO2018074622A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/306,486 US10853933B2 (en) 2016-10-19 2016-10-19 Inspection method and apparatus
PCT/KR2016/011738 WO2018074622A1 (ko) 2016-10-19 2016-10-19 검사 방법 및 장치
KR1020197007990A KR102233906B1 (ko) 2016-10-19 2016-10-19 검사 방법 및 장치
AU2016426891A AU2016426891B2 (en) 2016-10-19 2016-10-19 Inspection method and apparatus
US17/074,139 US11599989B2 (en) 2016-10-19 2020-10-19 Inspection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/011738 WO2018074622A1 (ko) 2016-10-19 2016-10-19 검사 방법 및 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/306,486 A-371-Of-International US10853933B2 (en) 2016-10-19 2016-10-19 Inspection method and apparatus
US17/074,139 Continuation US11599989B2 (en) 2016-10-19 2020-10-19 Inspection method and apparatus

Publications (1)

Publication Number Publication Date
WO2018074622A1 true WO2018074622A1 (ko) 2018-04-26

Family

ID=62018602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/011738 Ceased WO2018074622A1 (ko) 2016-10-19 2016-10-19 검사 방법 및 장치

Country Status (4)

Country Link
US (2) US10853933B2 (ko)
KR (1) KR102233906B1 (ko)
AU (1) AU2016426891B2 (ko)
WO (1) WO2018074622A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263433B2 (en) 2016-10-28 2022-03-01 Beckman Coulter, Inc. Substance preparation evaluation system

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652252B2 (en) * 2016-09-30 2020-05-12 Cylance Inc. Machine learning classification using Markov modeling
WO2018074622A1 (ko) * 2016-10-19 2018-04-26 (주)코글릭스 검사 방법 및 장치
US10714364B2 (en) * 2017-08-31 2020-07-14 Taiwan Semiconductor Manufacturing Co., Ltd. Apparatus and method for inspecting wafer carriers
US10551297B2 (en) * 2017-09-22 2020-02-04 Saudi Arabian Oil Company Thermography image processing with neural networks to identify corrosion under insulation (CUI)
US10997717B2 (en) * 2019-01-31 2021-05-04 Siemens Healthcare Gmbh Method and system for generating a confidence score using deep learning model
EP3745298B1 (en) 2019-05-28 2022-05-25 SCHOTT Schweiz AG Classification method and system for high-throughput transparent articles
SG11202111848PA (en) * 2019-06-07 2021-12-30 Alcon Inc Method for determining whether a sealing area of a primary packaging container for an ophthalmic lens is unacceptable for properly sealing a foil thereto
DE112020004812T5 (de) * 2019-10-07 2022-07-21 Inspekto A.M.V. Ltd Bewegung in bildern, die in einem visuellen prüfprozess verwendet werden
KR102207019B1 (ko) * 2020-02-03 2021-01-25 (주)세창실업 포장용 실링기의 용기 인식 모듈 및 방법
KR102883039B1 (ko) * 2020-12-15 2025-11-06 현대모비스 주식회사 딥러닝 기반 제품 불량 검출방법 및 시스템
KR102302341B1 (ko) * 2021-02-19 2021-09-16 주식회사 트윔 자기지도 학습에 기반한 제품 검사 방법 및 장치
US12390837B1 (en) 2023-02-10 2025-08-19 Aaron Thomas Bacon Machine-assisted inspection of sealable bags
CN119793816B (zh) * 2025-03-12 2025-08-12 格润智能装备(深圳)有限公司 一种基于视觉反馈的智能点胶机及点胶路径优化系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000031313A (ko) * 1998-11-05 2000-06-05 윤종용 병 검사장치 및 그 방법
KR20020015517A (ko) * 2000-08-22 2002-02-28 박원재 용기의 캡핑 검사방법
US20140311256A1 (en) * 2013-04-22 2014-10-23 Pressco Technology Inc. Cap analysis technique
KR20150022249A (ko) * 2013-08-22 2015-03-04 김용민 불량 검사 장치 및 방법
KR101643713B1 (ko) * 2015-08-06 2016-08-11 주식회사 이오비스 학습형 스마트 카메라를 이용한 검사 대상 물품의 검사방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082426B2 (en) * 1993-06-18 2006-07-25 Cnet Networks, Inc. Content aggregation method and apparatus for an on-line product catalog
US6714933B2 (en) * 2000-05-09 2004-03-30 Cnet Networks, Inc. Content aggregation method and apparatus for on-line purchasing system
US8092224B2 (en) * 1995-11-22 2012-01-10 James A. Jorasch Systems and methods for improved health care compliance
JP2003307505A (ja) 2002-04-15 2003-10-31 Nec San-Ei Instruments Ltd サーモグラフィによる非接触検査装置及びその非接触検査方法
KR20050009060A (ko) 2003-07-15 2005-01-24 삼성탈레스 주식회사 절대온도 측정 가능 열상장치
EP1716515B1 (en) * 2004-01-23 2010-05-19 Genesis Machinery Products, Inc. Seal force monitor apparatus, system, and method for in-process determination of integrity of sealed containers
KR100661794B1 (ko) 2006-05-24 2006-12-28 주훈 적외선 흑체가 내장된 적외선 열상 현미경
US20100231692A1 (en) * 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US8818978B2 (en) * 2008-08-15 2014-08-26 Ebay Inc. Sharing item images using a similarity score
US8494909B2 (en) * 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
EP2425400B1 (en) * 2009-04-29 2013-03-13 Koninklijke Philips Electronics N.V. Method of selecting an optimal viewing angle position for a camera
US20110153564A1 (en) * 2009-12-23 2011-06-23 Telcordia Technologies, Inc. Error-sensitive electronic directory synchronization system and methods
US8515137B2 (en) * 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
TWI421488B (zh) * 2011-03-28 2014-01-01 久元電子股份有限公司 用於檢測多個電子元件外觀的多軌式檢測系統
JP5781822B2 (ja) 2011-04-19 2015-09-24 昭北ラミネート工業株式会社 接着剤の塗布状態検査方法
JP2013118547A (ja) 2011-12-05 2013-06-13 Tamron Co Ltd 赤外線カメラ
US9336456B2 (en) * 2012-01-25 2016-05-10 Bruno Delean Systems, methods and computer program products for identifying objects in video data
WO2013186625A1 (en) * 2012-06-11 2013-12-19 Hi-Tech Solutions Ltd. System and method for detection cargo container seals
CN105144238B (zh) 2013-02-25 2018-11-02 联邦科学和工业研究组织 3d成像方法和系统
GB201303707D0 (en) * 2013-03-01 2013-04-17 Tosas Bautista Martin System and method of interaction for mobile devices
US9245015B2 (en) * 2013-03-08 2016-01-26 Accenture Global Services Limited Entity disambiguation in natural language text
US9536139B2 (en) * 2013-03-15 2017-01-03 Mitek Systems, Inc. Systems and methods for assessing standards for mobile image quality
IL226111A (en) * 2013-05-02 2015-11-30 D I R Technologies Detection Ir Ltd Thermography-based method, device and product to identify defects in sealing that includes a conductive internal gasket
GB2528934B (en) * 2014-08-05 2017-08-02 Colton William Preform Optical Inspection
US9824298B1 (en) * 2014-12-15 2017-11-21 Amazon Technologies, Inc. Prediction and detection of produce quality
US10007863B1 (en) * 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
WO2018074622A1 (ko) * 2016-10-19 2018-04-26 (주)코글릭스 검사 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000031313A (ko) * 1998-11-05 2000-06-05 윤종용 병 검사장치 및 그 방법
KR20020015517A (ko) * 2000-08-22 2002-02-28 박원재 용기의 캡핑 검사방법
US20140311256A1 (en) * 2013-04-22 2014-10-23 Pressco Technology Inc. Cap analysis technique
KR20150022249A (ko) * 2013-08-22 2015-03-04 김용민 불량 검사 장치 및 방법
KR101643713B1 (ko) * 2015-08-06 2016-08-11 주식회사 이오비스 학습형 스마트 카메라를 이용한 검사 대상 물품의 검사방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11263433B2 (en) 2016-10-28 2022-03-01 Beckman Coulter, Inc. Substance preparation evaluation system

Also Published As

Publication number Publication date
KR102233906B1 (ko) 2021-03-30
US11599989B2 (en) 2023-03-07
US20210035278A1 (en) 2021-02-04
KR20190039297A (ko) 2019-04-10
US20180232870A1 (en) 2018-08-16
AU2016426891B2 (en) 2020-10-22
US10853933B2 (en) 2020-12-01
AU2016426891A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
WO2018074622A1 (ko) 검사 방법 및 장치
WO2018074621A1 (ko) 검사 방법 및 장치
EP3259578B1 (en) Model-based methods and testing apparatus for classifying an interferent in specimens
JP6809250B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN110127479B (zh) 一种基于视频分析的电梯门开关异常检测方法
JP5243335B2 (ja) 欠陥検査方法、欠陥検査装置、欠陥検査プログラム、及びそのプログラムを記録した記録媒体
CN203164132U (zh) 生产线的食品检查信息存储系统
CN115423785A (zh) 一种缺陷检测系统、方法、装置、电子设备及存储介质
CN110589647A (zh) 一种通过监控对电梯门进行实时故障检测及预测的方法
WO2020256407A1 (ko) 제품 검사를 위한 자동 학습 방법 및 시스템
US11961284B2 (en) Task appropriateness determination apparatus
CN108805145A (zh) 一种地铁施工轨道车信号灯及环境亮度检测装置
CN113553976A (zh) 一种基于智能图像识别及射频识别的封样送检方法
WO2020222555A1 (ko) 영상 분석 장치 및 방법
CN114485947B (zh) 用于户外用电设备的安防监控方法
CN115797692B (zh) 一种密闭有限空间电缆异常分析方法、系统、设备以及存储介质
CN109132315A (zh) 一种自动化立体冷库货物变质智能监控系统
Abukhait Automated Machine Vision Inspection System for Applying Plastic Lids on Wet Wipes Packs
CN118691205B (zh) 金融透明仓库监管管理系统
KR20240020507A (ko) 펄프몰드 제품의 불량 판정 및 그 방법
CN121266842A (zh) 一种快递分拣错分异常识别方法、装置、设备及介质
WO2024232680A1 (ko) 저밀도 이물질을 검사하기 위한 검사시스템 및 검사방법
WO2021196002A1 (en) Apparatus and method of determining status of circuit breaker in switchgear
WO2024241551A1 (ja) 検査プログラム及び検査装置
CN119832486A (zh) 一种生鲜食品运输监测系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15306486

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16919180

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197007990

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016426891

Country of ref document: AU

Date of ref document: 20161019

Kind code of ref document: A

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 08.08.2019)

122 Ep: pct application non-entry in european phase

Ref document number: 16919180

Country of ref document: EP

Kind code of ref document: A1