CN110021005B - 电路板瑕疵筛选方法及其装置与计算机可读取记录介质 - Google Patents
电路板瑕疵筛选方法及其装置与计算机可读取记录介质 Download PDFInfo
- Publication number
- CN110021005B CN110021005B CN201810995037.0A CN201810995037A CN110021005B CN 110021005 B CN110021005 B CN 110021005B CN 201810995037 A CN201810995037 A CN 201810995037A CN 110021005 B CN110021005 B CN 110021005B
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- circuit board
- circuit layout
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19173—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30141—Printed circuit board [PCB]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种电路板瑕疵筛选方法及其装置与计算机可读取记录介质,该方法包括:接收瑕疵列表;获取瑕疵列表的多个瑕疵记录的多个瑕疵图像;接收线路布局图;依据线路布局图,分析瑕疵图像之中的第一瑕疵图像的瑕疵位置;依据第一瑕疵图像的瑕疵位置,对第一瑕疵图像进行裁切,以获得第一裁切瑕疵图像;将第一裁切瑕疵图像输入至瑕疵分类模型;以及依据瑕疵分类模型的输出结果,判断第一瑕疵图像为良品图像或非良品图像。
Description
技术领域
本发明涉及一种检测技术,且特别涉及一种电路板瑕疵筛选方法及其装置与计算机可读取记录介质。
背景技术
在工业工艺中,电路板成品会进一步经过自动光学检测(Automated OpticalInspection,AOI)的程序,进而筛选出可能存在瑕疵的电路板。
为了确保印刷电路板的良率,瑕疵检测所设定的标准很严格。如此一来,虽然自动光学检测机台可以有效的检测出瑕疵电路板,却也导致瑕疵误判的机率很高。因此,在制作过程中需导入作业人员,以进一步对于自动光学检测机台所判定的瑕疵电路板进行复检。而在此过程中,如何能够维持印刷电路板的良率,同时缩减瑕疵列表中的误判案例,以降低人工复检的负荷,此为本领域技术人员所需解决的问题。
发明内容
本公开提供一种电路板瑕疵筛选方法及其装置与计算机可读取记录介质,以缩减瑕疵列表中的误判案例,降低人工复检的负荷。
本公开提供的电路板瑕疵筛选方法包括:接收瑕疵列表;获取瑕疵列表的多个瑕疵记录的多个瑕疵图像;接收线路布局图;依据线路布局图,分析瑕疵图像之中的第一瑕疵图像的瑕疵位置;依据第一瑕疵图像的瑕疵位置,对第一瑕疵图像进行裁切,以获得第一裁切瑕疵图像;将第一裁切瑕疵图像输入至一瑕疵分类模型;以及依据瑕疵分类模型的输出结果,判断第一瑕疵图像为良品图像或非良品图像。
本公开提供的电路板瑕疵筛选装置包括输入单元、存储单元以及处理单元。输入单元接收瑕疵列表以及线路布局图。瑕疵列表具有多个瑕疵记录。输入单元还获取瑕疵记录的多个瑕疵图像。存储单元存储多个模块。处理单元连接于输入单元及存储单元。处理单元执行线路比对模块以及瑕疵分类模块。线路比对模块依据线路布局图,分析瑕疵图像之中的第一瑕疵图像的瑕疵位置,并依据第一瑕疵图像的瑕疵位置,对第一瑕疵图像进行裁切,以获得第一裁切瑕疵图像。瑕疵分类模块,将第一裁切瑕疵图像输入至瑕疵分类模型,依据瑕疵分类模型的输出结果,判断第一瑕疵图像为良品图像或非良品图像。
本公开提供的计算机可读取记录介质存储至少一程序代码,当电子装置载入并执行此程序代码后,可完成上述电路板瑕疵筛选方法。
基于上述,本公开提供的电路板瑕疵筛选装置与电路板瑕疵筛选方法能够通过线路布局图及瑕疵列表的相互比对判断瑕疵图像所属的瑕疵类别,进而判断瑕疵图像属于良品图像或非良品图像。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1是根据本公开一范例实施例所绘示的电路板瑕疵筛选装置的示意图。
图2是根据本公开一范例实施例所绘示的电路板瑕疵筛选装置的示意图。
图3是根据本公开一范例实施例所绘示的电路板瑕疵筛选方法的流程图。
【符号说明】
5:电路板
10:自动光学检查装置
20:验证修复机台
100:电路板瑕疵筛选装置
110:输入单元
120:存储单元
122:线路比对模块
124:瑕疵分类模块
130:处理单元
S310~S370:步骤
具体实施方式
图1是根据本公开一范例实施例所绘示的电路板瑕疵筛选装置的示意图。
请参照图1,在工业工艺的流程中,完成的电路板5会被送入自动光学检查装置10(Automated Optical Inspection,AOI),以进行初步的瑕疵筛检。存在瑕疵的电路板主要是因工艺过程的失误导致电路板发生短路、断路等情形,使得电路板通电后没办法执行预期的功能。藉由通过光学元件扫描电路板5,自动光学检查装置10会通过扫描图像判断线路的完整性,进而找出疑似存在瑕疵的电路板。
自动光学检查装置10所检测出来的瑕疵电路板以及瑕疵位置会被汇整成瑕疵列表并输入至验证修复机台20(Verified repaired system,VRS),以筛选被误报的瑕疵。验证修复机台20会将光学元件移动至瑕疵位置获取图像,并通过人工对图像判读,以确认瑕疵是否为真。
然而,由于自动光学检查装置10所设置的瑕疵标准很容易被满足,因此被误报的瑕疵相当多。举例来说,当电路板5上发生沾黏皮屑、脏污、残胶等缺陷,自动光学检查装置10会因图像上的阴影判定此为电路板5的瑕疵。然而,这些缺陷多半在电路板经过清洁过程或经过封装后被克服,此即属于被误报的瑕疵。在实际的生产中,误报瑕疵的比例可以高达瑕疵列表的97%,特别是沾黏皮屑、脏污、残胶等缺陷可以高达瑕疵列表中的60%。为了要降低瑕疵列表的长度以减少人工复检的工作量,本公开进一步提供了电路板瑕疵筛选装置100。自动光学检查装置10所检测出的瑕疵列表会先被输入至电路板瑕疵筛选装置100筛选,减少瑕疵列表的误判案例,再将缩减后的瑕疵列表送往验证修复机台20进行人工校验。
图2是根据本公开一范例实施例所绘示的电路板瑕疵筛选装置的示意图。
请参照图2,电路板瑕疵筛选装置100包括输入单元110、存储单元120以及处理单元130。
输入单元110用以接收瑕疵列表、瑕疵图像以及线路布局图。在本公开的一范例实施例中,输入单元110会以通信芯片来实作。举例来说,电路板瑕疵筛选装置100会通过通信芯片通信连接于自动光学检查装置10以及使用者的终端装置,基此,当自动光学检查装置10检查完电路板后,会将瑕疵列表及瑕疵图像直接传送而输入至电路板瑕疵筛选装置100之中。此外,使用者也可以在终端装置中点选线路布局图,并通过通信芯片传送而输入至电路板瑕疵筛选装置100中。在本公开的另一范例实施例中,电路板瑕疵筛选装置输入单元110也可以采用各类输入端口,例如:通用串行总线(Universal Serial Bus,USB)、串行端口(Serial Port)、火线(FireWire,采用IEEE 1394标准)、VME总线等,并同时采用键盘、鼠标、触控面板等实体元件结合,以接收使用者的操作。
存储单元120用以存储各类模块以及运行电路板瑕疵筛选装置100时的各类必要数据与程序代码。特别是,在本公开的实施例中,存储单元120中具有线路比对模块122以及瑕疵分类模块124。
线路比对模块122会依据线路布局图,分析瑕疵图像之中的第一瑕疵图像的瑕疵位置,并依据第一瑕疵图像的瑕疵位置,对第一瑕疵图像进行裁切,以获得第一裁切瑕疵图像。
瑕疵分类模块124会将第一裁切瑕疵图像输入至瑕疵分类模型,依据瑕疵分类模型的输出结果,判断第一瑕疵图像为良品图像或非良品图像。如何通过线路比对模块122与瑕疵分类模块124完成电路板瑕疵筛选装置100的操作将于后方说明。
处理单元130连接于输入单元110以及存储单元120。处理单元130用以执行电路板瑕疵筛选装置100所需的各类运算,特别是,处理单元130会运行线路比对模块122与瑕疵分类模块124,以执行本公开的电路板瑕疵筛选方法。在本公开的实施例中,处理单元130可以中央处理单元(Central Processing Unit,CPU),或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、可编程控制器、特殊应用集成电路(Application Specific Integrated Circuit,ASIC)或其他类似元件或上述元件的组合,本公开不限于此。
值得一提的是,在本公开的一范例实施例中,电路板瑕疵筛选装置100是以独立的装置运行。或者是,在本公开另一范例实施例中,电路板瑕疵筛选装置100会与自动光学检查装置10结合,以做为自动光学检查系统中的子装置。在本公开的其他实施例中,电路板瑕疵筛选装置100也可以与验证修复机台20结合,以做为验证修复系统中的子装置,本公开并不限于此。
图3是根据本公开一范例实施例所绘示的电路板瑕疵筛选方法的流程图。
以下同时参照图1至图3来说明本公开电路板瑕疵筛选装置运行电路板瑕疵筛选方法的细节。
首先,自动光学检查装置10会通过光学元件(例如摄影机)扫描电路板,并产生相对应被扫描区域的图像。自动光学检查装置10会判断被扫描区域的图像判断是否存在瑕疵时。若存在瑕疵时,自动光学检查装置10会将此瑕疵以及瑕疵位置记录在瑕疵列表中,以形成一笔瑕疵记录。由于电路板的尺寸可能会大于光学元件所能扫描的大小,因此自动光学检查装置10会逐区检视电路板是否存在瑕疵。当有多个区域中存在瑕疵时,瑕疵列表会存储多笔瑕疵记录。此外,自动光学检查装置10并存储对应瑕疵记录的瑕疵图像。当自动光学检查装置10检查完电路板之后,会将瑕疵列表传送至电路板瑕疵筛选装置100。
在步骤S310,输入单元110会接收来自自动光学检查装置10所输入的瑕疵列表。
在步骤S320,输入单元110获取瑕疵列表的多个瑕疵记录的多个瑕疵图像。在本公开的一范例实施例中,输入单元110会接收来自自动光学检查装置10所输入的瑕疵图像。然而,在本公开的其他实施例中,自动光学检查装置10会将瑕疵图像存储在远端的存储装置中,输入单元110会依据处理单元130的指示,而依据瑕疵列表、瑕疵记录而于远端的存储装置中获取相对应的瑕疵图像。然必须了解的是,本公开并不以上述实施例为限。
在步骤S330,输入单元110会接收线路布局图。线路布局图为对应被检查电路板的电路设计图,举例来说,线路布局图与被检查的电路板可能对应同一个料号。在本公开的一范例实施例中,线路布局图例如是以计算机辅助制造图档(.CAM格式)所实现,然本公开不以此为限。并且在本公开的一范例实施例中,线路布局图会被存储在远端的存储装置中,并经由使用者的各式指令而将线路布局图通过输入单元110传送到电路板瑕疵筛选装置。
藉由瑕疵列表、瑕疵图像以及线路布局图,处理单元130会运行线路比对模块122以及瑕疵分类模块124,进而判断被检查的电路板是否为良品。
具体来说,在步骤S340,线路比对模块122依据线路布局图,分析瑕疵图像之中的第一瑕疵图像的瑕疵位置。详细来说,在自动光学检查装置10检查出瑕疵时,会将瑕疵位置记录在瑕疵列表的瑕疵记录中。然而,自动光学检查装置10在拍摄瑕疵图像时,会因为光学元件与电路板的位置偏差,或者是光学元件所拍摄的图像范围导致拍摄出来的图像有所偏移。因此,在本公开的实施例中,线路比对模块122会依据线路布局图分析瑕疵图像之中的第一瑕疵图像的瑕疵位置,以对线路布局图进行抗偏移转换。执行抗偏移转换的详细过程将于后方说明。
在步骤S350,线路比对模块122依据第一瑕疵图像的瑕疵位置,对第一瑕疵图像进行裁切,以获得第一裁切瑕疵图像。详细来说,由于在自动光学检查装置10在拍摄第一瑕疵图像时,会以光学元件所捕捉到的范围作为第一瑕疵图像。然而,在实际的情形中,被自动光学检测装置10所检测出来的瑕疵可以例如为皮屑、脏污、脱膜不净等情形,这些瑕疵的尺寸都非常小。在第一瑕疵图像中绝大部分都为正常线路的情形下,瑕疵的漏检、误判的情形都会增加。因此,线路比对模块122会依据瑕疵位置而使用感兴趣区域(Region ofInterest,ROI)裁切技术,以将第一瑕疵图像裁切成第一裁切瑕疵图像。
需说明的是,在本公开的一范例实施例中,第一裁切瑕疵图像必须符合最小图像标准,例如,32像素乘以32像素的大小。也就是说,若瑕疵的范围小于32像素乘以32像素的大小,线路比对模块122仍裁切32像素乘以32像素的图像,或者是将瑕疵的范围裁切下来后,将此瑕疵放大至32像素乘以32像素。然而,若瑕疵的范围大于32像素乘以32像素,线路比对模块122会以瑕疵范围的大小作为基准而进行裁切,例如,以瑕疵轮廓往外推进10个像素进行裁切。本公开并不以上述实施例为限,裁切方法与裁切尺寸可依据实际应用情形进行设计。在本公开的一个实验中,相较于未经裁切的瑕疵图像,瑕疵图像在经过裁切后,瑕疵分类的正确率可以从50.3%提升到99.7%。
在步骤S360,瑕疵分类模块124会将第一裁切瑕疵图像输入至瑕疵分类模型,以进行分类。瑕疵分类例如为皮屑、脏污、脱膜不净、正常、断路、短路等,瑕疵分类的类别会依据实际需求而增减,本公开不限于此。
在本公开的一范例实施例中,瑕疵分类模型为卷积式类神经网络模型。也就是说,当瑕疵分类模块124将第一裁切瑕疵图像输入至卷积式类神经网络模型时,第一裁切图像会经过卷积层(Convolutional layer)提取特征、线性整流层(Rectified Linear UnitsLayer,ReLU layer)增强函数特性、池化层(Pooling Layer)减小数据的空间大小等,藉此以获取瑕疵的瑕疵特征(例如:瑕疵的轮廓)。须说明的是,在本公开的一个实施例中,池化层会采用最大池化(Max Pooling)函数而输出特征的最大值,卷积层、线性整流层以及池化层的细节为本领域技术人员可以依据现有技术而容易理解的,在此即不赘述。此外,卷积层、线性整流层以及池化层会依据不同设计而被周期性的采用于卷积式类神经网络模型之中。在一个实际的例子中,卷积式类神经网络模型是采用AlexNet 8Layer的架构进行运算,然本公开不限于此。
在第一裁切瑕疵图像通过卷积类神经网络模型而获取瑕疵特征后,瑕疵分类模块124会进一步将瑕疵特征输入至分类器。分类器依据瑕疵特征判断此瑕疵属于哪一种瑕疵类型,并据此产生输出结果。
在本公开的另一范例实施例中,瑕疵分类模型也可为对偶传播神经网络(CounterPropagation Network,CPN)模型。详细来说,对偶传播神经网络具有特征量化层以及瑕疵分类层。在特征量化层中,使用者可以自行定义欲量化的特征类型,并经过多次输入瑕疵图像、分析瑕疵图像、使用者给予瑕疵标签等训练过程,对偶传播神经网络模型会自行学习以建立参考量化特征组(Sample features)。量化的特征类型例如是中心点位置、区域面积、周长长度、特征完整性、伸长度、特征形状、特征颜色、颜色直方图等,其中周长长度、特征完整性、伸长度与颜色直方图最为重要。因此,当瑕疵分类模块124将第一裁切瑕疵图像输入为对偶传播神经网络模型时,第一裁切瑕疵图像中的瑕疵轮廓会被提取,并依据瑕疵轮廓分析第一裁切瑕疵图像以产生瑕疵量化特征。接着,在瑕疵分类层会依据参考量化特征组分类瑕疵量化特征,以产生输出结果。在本公开的一范例实施例中,对偶传播神经网络模型是采用Kohonen Layer以及Grossberg Layer的架构实作,然本公开并不限于此。
在步骤S370,瑕疵分类模块124会依据瑕疵分类模型的输出结果,判断第一瑕疵图像为良品图像或非良品图像。判断第一瑕疵图像为良品图像或非良品图像的标准为,此瑕疵是否能够在后续的工业工艺中而被克服。若可以在后续的工业工艺中被克服,此瑕疵属于良品,反之则属于不良品。
举例来说,承上所述,在经过瑕疵分类模型后,第一裁切图像会被分类为皮屑、脏污、脱膜不净、正常、断路、短路等不同的瑕疵分类。由于皮屑、脏污、脱膜不净等瑕疵会经清洁过程或封装后而被克服,因此若属于上述类型的瑕疵,瑕疵分类模块124会判断第一瑕疵图像为良品图像。然而,若瑕疵是断路、短路,瑕疵分类模块124会判断第一瑕疵图像为非良品图像。
藉由执行步骤S310至S370所述的电路板瑕疵筛选方法,电路板瑕疵筛选装置100会将第一瑕疵图像分为良品图像以及非良品图像。并且电路板瑕疵筛选装置100的处理单元130会将非良品图像分别或批次的传送至验证修复机台20进行人工校验。
以下将说明在步骤S340中,如何对线路布局图进行抗偏移转换的细节。详细来说,线路比对模块122在对线路布局图执行抗偏移转换时,会经过数字成像放大率推导、线路布局图瑕疵定位算法以及线路布局图瑕疵比对算法。以下将依序进行说明。
数字成像放大率推导是用以依据线路布局图的比例调整第一瑕疵图像的比例。在数字成像放大率推导的过程中,首先,线路比对模块122会寻找线路布局图中对应瑕疵图像的位置。寻找的方法,例如,通过量长度而找到具有缺陷的地方,然本公开不限于此。
接着,线路比对模块122会测量线路布局图中对应缺陷或缺陷附近的特征。并且,线路比对模块122也会测量缺陷图像中对应此圆的直径。藉此,线路比对模块122可以依据线路布局图以及缺陷图像中的圆推知两者的比例。举例来说,在10000每英吋点数(DotsPer Inch,DPI)的线路布局图中,线路比对模块122选取的圆的直径为37像素,而在缺陷图像中对应的圆的直径为120像素。藉此,线路比对模块122可以依据线路布局图中圆的直径为37像素、缺陷图像中的圆的直径120像素,推知线路布局图与缺陷图像的比例为1:3.2432,并进而推知缺陷图像为32432每英吋点数。
线路布局图瑕疵定位算法是用以比对线路布局图及第一瑕疵图像,以获取第一瑕疵图像于线路布局图中的位置。在线路布局图瑕疵定位算法的过程中,线路比对模块122会选取多个图样,每一个图样都是在其所属的小区(Cell)中仅出现一次的图样。接着,线路比对模块122可以接收来自使用者对图样的位置手动校正偏差,以修改预定的公式。线路比对模块122再进一步以线路布局图验证坐标,并进行局部成像测试。
线路布局图瑕疵比对算法是用以校正第一瑕疵图像与线路布局图中的位置,以获取瑕疵位置。在线路布局图瑕疵比对算法的过程中采用了抗偏移算法。在抗偏移算法中,首先,线路比对模块122会将瑕疵图像转换成二值化的瑕疵图像,并将线路布局图产生二值化的样版图像。接着,线路比对模块122会依据最大化增强相关系数(Enhanced CorrelationCoefficient,ECC)进行图像校准,以获取转换矩阵(Transform matrix)。最后,线路比对模块122会依据转换矩阵,输出调整后的图像。
值得一提的是,在本公开的一范例实施例中,本公开所采用的线路布局图为彩色的线路布局图。并且在步骤S340中,线路比对模块122还会分析第一瑕疵图像的瑕疵色阶。线路比对模块122会判断瑕疵色阶是否与线路布局图的版材颜色或线材颜色相同。当瑕疵色阶相同于版材颜色或线材颜色时,线路比对模块122会判断第一瑕疵图像为非良品图像。
具体来说,当瑕疵的颜色相同于版材颜色时,极有可能是因为应涂布线材的位置没有被涂布,因而导致断路的情形。而当瑕疵的颜色相同于线材颜色时,则有可能是不该被涂布线材的位置被涂布,因而导致短路的情形。因此,在这两种状况之中,线路比对模块122会直接判断第一瑕疵图像为非良品图像,以减少对图像进行分类判断所需的时间。
综上所述,本公开提供的电路板瑕疵筛选装置与电路板瑕疵筛选方法能够通过线路布局图及瑕疵列表的相互比对判断瑕疵图像所属的瑕疵类别,进而判断瑕疵图像属于良品图像或非良品图像。特别是,在本公开的电路板瑕疵筛选装置及电路板瑕疵筛选方法中更进一步对瑕疵图像进行裁切,以保留真正属于瑕疵的图像。相较于未裁切的瑕疵图像,通过对裁切瑕疵图像进行分类提升分类的准确度,进而提高了判断瑕疵图像属于良品图像或非良品图像的正确率,藉此缩减瑕疵列表中的误判案例,有效的降低人工复检的负荷。
虽然本发明已以实施例公开如上,然其并非用以限定本发明,本领域技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视所附权利要求书界定范围为准。
Claims (11)
1.一种电路板瑕疵筛选方法,包括:
接收瑕疵列表;
获取该瑕疵列表的多个瑕疵记录的多个瑕疵图像;
接收线路布局图;
依据该线路布局图,分析这些瑕疵图像之中的第一瑕疵图像的瑕疵位置;
依据该第一瑕疵图像的瑕疵位置,对该第一瑕疵图像进行裁切,以获得第一裁切瑕疵图像;
将该第一裁切瑕疵图像输入至瑕疵分类模型;
依据该瑕疵分类模型的输出结果,判断该第一瑕疵图像为良品图像或非良品图像,并将该瑕疵列表中属于该非良品图像的纪录传送至验证修复机台,
其中,若该第一瑕疵图像相应的该输出结果属于在后续的工业工艺中能被克服的瑕疵类型,则该第一瑕疵图像被标记为该良品图像且不传送至该验证修复机台,以缩短该瑕疵列表的长度。
2.如权利要求1所述的电路板瑕疵筛选方法,其中将该第一裁切瑕疵图像输入至瑕疵分类模型的步骤包括:
将该第一瑕疵图像输入至卷积类神经网络模型,以提取该第一瑕疵图像的瑕疵特征;以及
依据参考图像组特征分类该瑕疵特征,以产生该输出结果。
3.如权利要求1所述的电路板瑕疵筛选方法,其中将该第一裁切瑕疵图像输入至瑕疵分类模型的步骤包括:
提取该第一裁切瑕疵图像的瑕疵轮廓;
依据该瑕疵轮廓分析该第一裁切瑕疵图像,以产生瑕疵量化特征;以及
依据参考量化特征组分类该瑕疵量化特征,以产生该输出结果。
4.如权利要求1所述的电路板瑕疵筛选方法,还包括:
分析该第一瑕疵图像的瑕疵色阶;
判断该瑕疵色阶是否与该线路布局图的版材颜色或线材颜色相同;以及
当该瑕疵色阶相同于该版材颜色或该线材颜色,判断该第一瑕疵图像为该非良品图像。
5.如权利要求1所述的电路板瑕疵筛选方法,依据该线路布局图,分析这些瑕疵图像之中的该第一瑕疵图像的瑕疵位置的步骤包括:
依据该线路布局图的比例调整该第一瑕疵图像的比例;
比对该线路布局图及该第一瑕疵图像,以获取该第一瑕疵图像在该线路布局图中的位置;以及
校正该第一瑕疵图像与该线路布局图中的位置,以获取该瑕疵位置。
6.一种电路板瑕疵筛选装置,包括:
输入单元,接收瑕疵列表以及线路布局图,其中该瑕疵列表包括多个瑕疵记录,该输入单元还获取这些瑕疵记录的多个瑕疵图像;
存储单元,存储多个模块;以及
处理单元,连接于该输入单元及该存储单元,该处理单元被配置为:
依据该线路布局图,分析这些瑕疵图像之中的第一瑕疵图像的瑕疵位置,并依据该第一瑕疵图像的瑕疵位置,对该第一瑕疵图像进行裁切,以获得第一裁切瑕疵图像;
将该第一裁切瑕疵图像输入至瑕疵分类模型,依据该瑕疵分类模型的输出结果,判断该第一瑕疵图像为良品图像或非良品图像,并将该瑕疵列表中属于该非良品图像的纪录传送至验证修复机台,
其中,若该第一瑕疵图像相应的该输出结果属于在后续的工业工艺中能被克服的瑕疵类型,则该第一瑕疵图像被标记为该良品图像且不传送至该验证修复机台,以缩短该瑕疵列表的长度。
7.如权利要求6所述的电路板瑕疵筛选装置,其中,该处理单元还被配置为:
将该第一瑕疵图像输入至卷积类神经网络模型,以提取该第一瑕疵图像的瑕疵特征,
依据参考图像组特征分类该瑕疵特征,以产生该输出结果。
8.如权利要求6所述的电路板瑕疵筛选装置,其中,该处理单元还被配置为:
提取该第一裁切瑕疵图像的瑕疵轮廓,
依据该瑕疵轮廓分析该第一裁切瑕疵图像,以产生瑕疵量化特征,
依据参考量化特征组分类该瑕疵量化特征,以产生该输出结果。
9.如权利要求6所述的电路板瑕疵筛选装置,其中,该处理单元还被配置为:
分析该第一瑕疵图像的瑕疵色阶,
判断该瑕疵色阶是否与该线路布局图的版材颜色或线材颜色相同,
于该瑕疵色阶相同于该版材颜色或该线材颜色时,判断该第一瑕疵图像为该非良品图像。
10.如权利要求6所述的电路板瑕疵筛选装置,其中,该处理单元还被配置为:
依据该线路布局图的比例调整该第一瑕疵图像的比例,
比对该线路布局图及该第一瑕疵图像,以获取该第一瑕疵图像于该线路布局图中的位置,
校正该第一瑕疵图像与该线路布局图中的位置,以获取该瑕疵位置。
11.一种计算机可读取记录介质,存储至少一程序代码,当电子装置载入并执行所述程序代码后,可完成权利要求1所述的电路板瑕疵筛选方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862613778P | 2018-01-05 | 2018-01-05 | |
| US62/613,778 | 2018-01-05 | ||
| TW107122979A TWI669519B (zh) | 2018-01-05 | 2018-07-03 | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 |
| TW107122979 | 2018-07-03 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110021005A CN110021005A (zh) | 2019-07-16 |
| CN110021005B true CN110021005B (zh) | 2022-03-15 |
Family
ID=67140900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810995037.0A Active CN110021005B (zh) | 2018-01-05 | 2018-08-29 | 电路板瑕疵筛选方法及其装置与计算机可读取记录介质 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11132786B2 (zh) |
| CN (1) | CN110021005B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108921840A (zh) * | 2018-07-02 | 2018-11-30 | 北京百度网讯科技有限公司 | 显示屏外围电路检测方法、装置、电子设备及存储介质 |
| KR20200039047A (ko) * | 2018-10-01 | 2020-04-16 | 에스케이씨 주식회사 | 필름 결함 검출 방법 및 시스템 |
| CN111223077A (zh) * | 2019-12-30 | 2020-06-02 | 浙江力创自动化科技有限公司 | 一种电路板的测试方法及测试系统 |
| FR3105861B1 (fr) * | 2019-12-31 | 2022-09-02 | Vit | Système et procédé pour réduire les altérations dans des données de capteurs |
| CN113837209A (zh) * | 2020-06-23 | 2021-12-24 | 乐达创意科技股份有限公司 | 改良机器学习使用数据进行训练的方法及系统 |
| KR102861371B1 (ko) | 2020-06-29 | 2025-09-18 | 삼성전자주식회사 | 반도체 공정의 근접 보정 방법 |
| CN114078109B (zh) * | 2020-08-13 | 2024-12-27 | 富联精密电子(天津)有限公司 | 图像处理方法、电子装置和存储介质 |
| CN114331944B (zh) * | 2020-09-29 | 2025-07-01 | 财团法人工业技术研究院 | 人工智能瑕疵图像分类方法及其系统 |
| CN114441554B (zh) * | 2020-11-06 | 2023-09-29 | 李明苍 | 检测方法 |
| CN112561866B (zh) * | 2020-12-04 | 2022-03-01 | 重庆忽米网络科技有限公司 | 基于ai与云计算技术的半导体基板光刻胶层缺陷检测系统 |
| CN113409308A (zh) * | 2021-07-16 | 2021-09-17 | 李华洲 | 一种电路板故障缺陷检测方法、装置、检测设备及系统 |
| CN113466261B (zh) * | 2021-07-26 | 2023-04-07 | 鸿安(福建)机械有限公司 | 一种pcb板自动检测装置 |
| CN113554626A (zh) * | 2021-07-26 | 2021-10-26 | 朗华全能自控设备(上海)股份有限公司 | 一种软性电路板瑕疵检测方法及装置 |
| DE112021007362T5 (de) * | 2021-07-30 | 2024-02-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Einrichtung zur automatischen optischen Prüfung |
| CN114004819B (zh) * | 2021-11-04 | 2025-05-30 | 中国联合网络通信集团有限公司 | 验布处理方法、装置、设备、系统及介质 |
| CN114782286A (zh) * | 2022-06-21 | 2022-07-22 | 奥蒂玛光学科技(深圳)有限公司 | 缺陷修复方法、光学修复设备、电子设备及存储介质 |
| DE102022208868A1 (de) * | 2022-08-26 | 2024-02-29 | Robert Bosch Gesellschaft mit beschränkter Haftung | Maschinelles Lernsystem zur optischen Inspektion |
| US20250117915A1 (en) * | 2023-10-06 | 2025-04-10 | Applied Materials, Inc. | Optical inspection-based automatic defect classification |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
| CN201173397Y (zh) * | 2008-03-14 | 2008-12-31 | 东莞康视达自动化科技有限公司 | 一种用于印制线路板的自动光学检测设备光源 |
| CN101852741A (zh) * | 2009-04-03 | 2010-10-06 | 吕一云 | 缺陷诊断及管理的方法 |
| CN103187343A (zh) * | 2011-12-28 | 2013-07-03 | 敖翔科技股份有限公司 | 智能型缺陷诊断方法 |
| CN106093050A (zh) * | 2016-05-27 | 2016-11-09 | 国网天津市电力公司 | 一种用于智能电能表pcb封装、元器件的自动检测系统 |
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN106952250A (zh) * | 2017-02-28 | 2017-07-14 | 北京科技大学 | 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置 |
| CN107389701A (zh) * | 2017-08-22 | 2017-11-24 | 西北工业大学 | 一种基于图像的pcb表观缺陷自动检测系统及方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09318554A (ja) * | 1996-05-30 | 1997-12-12 | Nec Toyama Ltd | プリント配線板の欠陥箇所解析装置および解析方法 |
| IL131282A (en) * | 1999-08-05 | 2009-02-11 | Orbotech Ltd | Apparatus and methods for inspection of objects |
| TW479917U (en) | 2000-10-21 | 2002-03-11 | Utechzone Co Ltd | Quality maintenance and feedback system for printed circuit board process |
| US7110591B2 (en) | 2001-03-28 | 2006-09-19 | Siemens Corporate Research, Inc. | System and method for recognizing markers on printed circuit boards |
| TWI244359B (en) | 2002-10-09 | 2005-11-21 | Wei Kuang Mechanical Eng Co Lt | Automatic optical detecting system for defect components on printed circuit board |
| CN1318839C (zh) * | 2002-11-28 | 2007-05-30 | 威光机械工程股份有限公司 | 印刷电路板上瑕疵组件的自动光学检测方法 |
| US6927003B2 (en) * | 2003-02-11 | 2005-08-09 | Synopsys, Inc. | Simulation based PSM clear defect repair method and system |
| WO2005084133A2 (en) | 2004-03-05 | 2005-09-15 | Orbotech Ltd. | Verification of non-recurring defects in pattern inspection |
| JP4518835B2 (ja) * | 2004-05-13 | 2010-08-04 | 大日本スクリーン製造株式会社 | 欠陥検出装置、配線領域抽出装置、欠陥検出方法および配線領域抽出方法 |
| CN101263499B (zh) | 2005-07-11 | 2013-03-27 | 布鲁克斯自动化公司 | 智能状态监测和故障诊断系统 |
| US7676077B2 (en) | 2005-11-18 | 2010-03-09 | Kla-Tencor Technologies Corp. | Methods and systems for utilizing design data in combination with inspection data |
| TWI372433B (en) * | 2007-12-31 | 2012-09-11 | Cheng Mei Instr Co Ltd | System for inspecting chip surface in a tray and method thereof |
| CN201909763U (zh) * | 2010-12-23 | 2011-07-27 | 东莞市升力智能科技有限公司 | 一种双工作台挠性印制电路表面缺陷自动检测机 |
| JP5727322B2 (ja) * | 2011-07-27 | 2015-06-03 | 株式会社日立ハイテクノロジーズ | 半導体検査システム |
| US8908957B2 (en) * | 2011-12-28 | 2014-12-09 | Elitetech Technology Co.,Ltd. | Method for building rule of thumb of defect classification, and methods for classifying defect and judging killer defect based on rule of thumb and critical area analysis |
| US9524543B2 (en) * | 2012-09-28 | 2016-12-20 | Skyworks Solutions, Inc. | Automated detection of potentially defective packaged radio-frequency modules |
| TWI585398B (zh) | 2016-06-08 | 2017-06-01 | 皓琪科技股份有限公司 | Projection-type printed circuit board re-inspection system and methods, and marking the location of the defect |
| CN106596580A (zh) * | 2016-06-14 | 2017-04-26 | 艾悌亚信息技术(上海)有限公司 | 可提高触摸屏玻屏aoi检测良品率的aoi算法/工艺方法 |
| JP6897042B2 (ja) * | 2016-09-27 | 2021-06-30 | 日本電気株式会社 | 画像検査装置、画像検査方法および画像検査プログラム |
| CN106290384B (zh) * | 2016-10-21 | 2018-11-23 | 江苏理工学院 | 无刷直流电机控制线路板在线检测识别方法 |
| CN107093174B (zh) | 2017-04-05 | 2018-03-27 | 湖北工业大学 | 一种pcb设计缺陷检测方法 |
| US10809635B2 (en) * | 2017-11-20 | 2020-10-20 | Taiwan Semiconductor Manufacturing Company, Ltd. | Defect inspection method and defect inspection system |
| US11158072B2 (en) * | 2018-02-02 | 2021-10-26 | Dishcraft Robotics, Inc. | Intelligent dishwashing systems and methods |
| CA3009685C (en) * | 2018-06-27 | 2023-08-08 | The Toronto-Dominion Bank | Automatic generation and population of digital interfaces based on adaptively processed image data |
-
2018
- 2018-08-29 CN CN201810995037.0A patent/CN110021005B/zh active Active
- 2018-09-19 US US16/134,986 patent/US11132786B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101017573A (zh) * | 2007-02-09 | 2007-08-15 | 南京大学 | 一种基于视频监控的运动目标检测与识别方法 |
| CN201173397Y (zh) * | 2008-03-14 | 2008-12-31 | 东莞康视达自动化科技有限公司 | 一种用于印制线路板的自动光学检测设备光源 |
| CN101852741A (zh) * | 2009-04-03 | 2010-10-06 | 吕一云 | 缺陷诊断及管理的方法 |
| CN103187343A (zh) * | 2011-12-28 | 2013-07-03 | 敖翔科技股份有限公司 | 智能型缺陷诊断方法 |
| CN106093050A (zh) * | 2016-05-27 | 2016-11-09 | 国网天津市电力公司 | 一种用于智能电能表pcb封装、元器件的自动检测系统 |
| CN106875381A (zh) * | 2017-01-17 | 2017-06-20 | 同济大学 | 一种基于深度学习的手机外壳缺陷检测方法 |
| CN106952250A (zh) * | 2017-02-28 | 2017-07-14 | 北京科技大学 | 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置 |
| CN107389701A (zh) * | 2017-08-22 | 2017-11-24 | 西北工业大学 | 一种基于图像的pcb表观缺陷自动检测系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于数字图像处理的印刷电路板缺陷检测;李正明等;《仪表技术与传感器》;20121231(第8期);第87-89页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190213725A1 (en) | 2019-07-11 |
| US11132786B2 (en) | 2021-09-28 |
| CN110021005A (zh) | 2019-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110021005B (zh) | 电路板瑕疵筛选方法及其装置与计算机可读取记录介质 | |
| TWI669519B (zh) | 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體 | |
| WO2024208102A1 (zh) | 基于深度学习的换向器内侧图像缺陷目标检测方法 | |
| CN113111903B (zh) | 智能产线监测系统及监测方法 | |
| CN113850749B (zh) | 训练缺陷侦测器的方法 | |
| CN113095438A (zh) | 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质 | |
| CN106056597B (zh) | 物体视觉检测方法及装置 | |
| CN110097542A (zh) | 芯片气泡的检测方法、装置及存储介质 | |
| US20140119638A1 (en) | System, method and computer program product to evaluate a semiconductor wafer fabrication process | |
| TW202242390A (zh) | 缺陷檢查裝置、缺陷檢查方法以及製造方法 | |
| CN111753794B (zh) | 水果品质分类方法、装置、电子设备及可读存储介质 | |
| CN115170501A (zh) | 缺陷检测方法、系统、电子设备及存储介质 | |
| CN113506290B (zh) | 一种线路绝缘子缺陷检测方法及装置 | |
| JP2014020926A (ja) | 表面欠陥検査装置及び表面欠陥検査方法 | |
| CN115808434B (zh) | 缺陷检查系统以及缺陷检查方法 | |
| CN112461839A (zh) | 外观检查方法及外观检查装置 | |
| WO2014103617A1 (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
| JP6696323B2 (ja) | パターン検査装置およびパターン検査方法 | |
| CN114078109A (zh) | 图像处理方法、电子装置和存储介质 | |
| CN113469944A (zh) | 一种产品质检方法、装置和电子设备 | |
| CN120747061B (zh) | 外观缺陷检测方法、装置及其应用 | |
| Nevliudov et al. | Automated System Development for the Printed Circuit Boards Optical Inspection Using Machine Learning Methods | |
| CN118731063A (zh) | 一种柔性电路板的质量检测方法 | |
| CN118961755B (zh) | 一种基于机器学习的led线路板自动缺陷识别方法 | |
| CN120031870B (zh) | 一种电子电路板的ai图像检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |