CN107992898B - 一种电子元件焊点缺陷检测方法 - Google Patents

Abstract

本发明提供一种电子元件焊点缺陷方法，结合基于混合高斯模型密度估计和极限学习机方法，利用不平衡的小样本可以精确地建模为混合高斯模型的原理，用混合高斯模型替代普通的高斯模型，并且利用密度估计方法计算和补偿不平衡数据带来的分类界限偏差，从而解决极限学习机应用于电子元件焊点缺陷检测时存在的不平衡数据分类问题，获得优于其他机器学习方法的更高的检测准确率。本发明可以广泛应用于工业生产中电子元件焊点的检测。

Description

一种电子元件焊点缺陷检测方法

技术领域

本发明涉及一种电子元件焊点缺陷检测方法。

背景技术

电子元件广泛应用于移动电话、数码相机、传感器和机器人等电子设备中，随着现代科技向着数字化方向的发展，电子产品的可靠性和生产效率得到了很大的提高。在电子产品的生产过程中，电子元件是通过焊接连接的，焊点的质量将直接影响电子产品的质量。不合格的缺陷焊点类型包括：漏焊、虚焊、连焊等。由于现代社会对于电子产品的一致性、稳定性和可靠性的要求越来越高，而焊点缺陷会引发潜在的电子产品质量问题，因此实现焊点缺陷的自动检测也变得越来越重要。为了确保电子元件连接的可靠性，在生产过程中需要对焊点进行质量检测。

电子产品焊点质量检测最早主要依靠人工完成，之后逐渐出现自动化检测方法，包括射线检测、电气检测等。射线检测可以检测到焊点内部的缺陷；电气检测使用各种电气测量仪器可以检测出不良导通和元器件的热损坏，是一种离线检测。光电检测用于识别印刷电路板中缺失或错位的元件；使用X射线检查粘合剂或元件是否正常。近年来机器视觉方法逐渐进入焊点生产检测环节，通过采集图像进行焊点检测，具有精确定位、非接触式检测的特点。

如果把缺陷焊点和无缺陷焊点看作两类焊点，缺陷焊点的检测就是一个分类问题，可以采用机器学习的方法完成。但是对于焊点缺陷检测来说，一方面由于焊点发生缺陷的位置、形状、颜色等特征具有较大的差别，另一方面缺陷焊点的数量很有限，因此无法得到足够多的缺陷样本进行学习训练，而正常焊点的样本数量可以十分巨大，因此焊点缺陷检测问题就是一个具有严重的不平衡数据集的机器学习问题。

极限学习机(ELM)是一种参数优化简单、速度快、泛化性能好的机器学习算法[1-2]，在图像处理和机器视觉等领域有着广泛的应用。与其他的学习方法相比，例如支持向量机，极限学习机算法实现简单，优化工作量小，并且具有良好的泛化能力。对于一般的不平衡的分类问题，通常使用加权极限学习机算法或基于极限学习机的密度估计解决。加权极限学习机方法在严重的不平衡数据分类中会失效，而在密度估计方法中，高斯分布是基于一个非常严格的单峰和凸形数据模型的，这一假设在焊点缺陷检测应用中无法满足。因此，对于焊点缺陷检测这种严重的不平衡分类问题，已有的学习方法都无法得到准确的分类结果。

发明内容

针对现有技术存在的从严重不平衡的焊点图像数据无法准确得到缺陷检测结果的问题，本发明提供一种基于混合高斯模型(GMM)密度估计和极限学习机的电子元件焊点缺陷检测方法，该方法利用不平衡的小样本可以精确地建模为混合高斯模型的原理，用混合高斯模型替代普通的高斯模型，并且利用密度估计方法计算和补偿不平衡数据带来的分类界限偏差，从而解决极限学习机应用于电子元件焊点缺陷检测时存在的不平衡数据分类问题。

目前使用机器视觉方法应用图像检测不同缺陷焊点的检测方法是不同的，例如，漏焊可以通过图像分割和识别的方法完成，电子元件和焊点移位问题可以通过对图像进行阈值分割和重心位置判断等方法精确地实现检测处理。而虚焊、少锡、多锡、拉尖、连焊等这些表面缺陷的检测并没有完善的解决方案，本发明针对这些焊点缺陷进行检测。

下面先介绍极限学习机和混合高斯模型密度估计方法，然后对本发明的步骤进行说明。

极限学习机是典型的单隐层前馈神经网络，由输入层、隐含层和输出层组成，输入层与隐含层、隐含层与输出层神经元间全连接。其中，输入层有n个神经元，对应n个输入变量；隐含层有l个神经元；输出层有m个神经元，对应m个输入变量。设输入层与隐含层的连接权值W为

其中，ω_ji表示输入层第i个神经元与隐含层第j个神经元间的连接权值。设隐含层与输出层的连接权值β为

其中，β_jk表示隐含层第j个神经元与输出层第k个神经元间的连接权值。设隐含层神经元的阈值b为

设具有Q个样本的训练集输入矩阵X和输出矩阵Y分别为

其中，j＝1,2,3,…,Q,记ω_i＝[ω_i1,ω_i2,…,ω_in]，x_i＝[x_1j,x_2j,…,x_nj]'，则可以计算得到输出结果Y＝Hβ。其中，H称为神经网络的隐含层输出矩阵，具体形式为

极限学习机方法的目标是最小化两个误差，他们是训练误差||Y-Hβ||²以及输出权重 ||β||。该问题可以转化为一个如下的优化问题来求解：

式中ξ为实际输出和期望输出的误差，C是正则化因子用来提高训练的泛化性能，同时控制训练数据的接近程度与决策函数光滑性的折衷。上述优化问题可以利用拉格朗日乘子法求解，当矩阵(I/C)+H^TH非奇异时，解β可由下式计算得出

当矩阵(I/C)+HH^T非奇异时，解β可由下式计算得出

其中I是单位阵。当样本的训练特征数大于隐层神经元数量时，使用(8)获得输出权重，否则使用(9)获得输出权重。为了提高极限学习机在计算输出权重时的稳定性，一个有效的解决方案是在输入和隐藏层之间找到高质量的映射。RBF函数是最有效的映射函数之一，式(8) 中的H^TH或式(9)中的HH^T被称为ELM核矩阵，h(x_i)·h(x_j)为极限学习机的核。本发明采用以下高斯函数作为核函数

设F是数据集中的概率密度函数集合，F中的函数f是各向同性的混合高斯函数：

式中，p_k≥0，且θ＝((p₁,m₁,σ₁),..,(p_k,m_k,σ_k))是一个包含了混合概率为p_k、均值为m_k、方差为σ_k的K个混合高斯函数的矢量，记第k个混合高斯函数为f_k,其中1≤k≤K。

上面这个估算可以采用期望最大化EM算法解决[3]。混合高斯函数的数量K根据在数据集上能提供最佳性能确定，初始参数由在数据集上执行K-means方法确定。在极限学习机训练之后，极限学习机的输出可以近似贝叶斯分类器的后验概率[3]。因此，在极限学习机训练后，可以从合格类和缺陷类的预测输出中估计概率密度函数。a和b分别对应着混合高斯模型的电子元器件合格类101和缺陷类102，例如，a由3个混合高斯函数组成，b由2个混合高斯函数组成。然后用两类估计的混合高斯模型求交点位置。当两类的混合高斯模型没有交叉点时，两类的混合高斯模型中间的间隔区的中点就是最优的分类界面s；当两类的混合高斯模型仅有1个交叉点时，该交叉点就是最优的分类界面s；当交叉点数目多于一个时，选择使得a曲线101和b曲线102下面积之和最大的交叉点作为最优的分类界面s。由于缺陷类102 的样本数量严重不足，因此应该把该分类界面向合格类101一侧移动作为对严重不平衡分类的补偿，移动后得到的缺陷类103才是正确的分类位置。本发明采用下面的方法进行分类界面移动，和文献[3]中的方法相比，本发明的下述方法针对极不平衡的数据集分类问题而设计，可操作性更强，准确度更高：

记合格类101和缺陷类102中最接近s的高斯模型均值分别为m_p和m_f,不失一般性，设 m_p<s<m_f,令L＝m_f-m_p,s₀＝(m_f+m_p)/2,则s₀移动后的新位置s₁计算如下：

s₁＝m_p+(s₀-m_p)(1-e^-λlog(n)), (13)

Δs＝s₁-s₀, (14)

这里n是在训练过程中缺陷样本的数量，λ是一个取值在0到1之间的调节常数，n越大，新的分类位置s₁离m_p越远，且离s₀越近；λ越大，则s₁离s₀越近。对于m_f<s<m_p等情况，也可以按照类似的方法进行处理。

本发明中对于焊点图像提取以下特征，但是不限于应用以下特征进行极限学习机的缺陷检测分类学习：图像的灰度值、圆度、粗糙度、熵、对比度和方向梯度直方图特征[4]。

圆度特征计算如下：

式中p为感兴趣区域边缘的周长，A为感兴趣区域面积。

粗糙度特征计算如下：

式中的N_E是边缘点的数量，d(m)是第m个边缘点的第m个标准化半径。

熵特征计算如下：

f_entropy＝∑p(i,j)×[-lnp(i,j)]， (17)

式中的p(i,j)是灰度共生矩阵中坐标为(i,j)处的像素灰度值。

对比度特征计算如下

f_contrast＝(i-j)²×p(i,j), (18)

一种电子元件焊点缺陷检测方法，其特征在于：本发明方法包括以下步骤：

第一步,采集焊点图像，通过预处理获得感兴趣区域样本集，对感兴趣区域进行特征提取, 感兴趣区域提取出来的特征构成样本的输入向量，感兴趣区域是否有缺陷构成样本的输出向量，全体样本集的输入向量和输出向量组成样本的训练集；

前述特征提取得到的特征，包含以下特征中的一种或者几种，但是并不限于以下特征：图像的灰度值、圆度、粗糙度、熵、对比度和方向梯度直方图；

第二步，应用第一步中得到的样本的训练集进行极限学习机的学习训练；所述极限学习机，其输入层与前述的样本集的输入向量相连接，其输出层有一个用于标记是否有缺陷的节点；所述极限学习机的输入权值ω_i和偏差参数b_i随机选取；

应用前述完成学习训练的极限学习机为每个样本计算出一个预测的输出，之后分别计算出焊点合格类与焊点缺陷类的各自的混合高斯模型，按照下面的方法确定焊点合格类与焊点缺陷类两类之间最优的分类界面s：

当两类混合高斯模型没有交叉点时，两类的混合高斯模型中间的间隔区的中点就是最优的分类界面s；当两类混合高斯模型仅有1个交叉点时，该交叉点就是最优的分类界面s；当两类混合高斯模型的交叉点数目多于一个时，选择使得焊点合格类a曲线101和焊点缺陷类 b曲线102下面积之和最大的交叉点作为最优的分类界面s；

设样本的训练集输入矩阵为X，K为混合高斯函数的总数，第k个混合高斯函数为f_k,合格类混合高斯模型和缺陷类混合高斯模型中最接近s的高斯模型均值分别为m_p和m_f,令 L＝m_f-m_p,令s₀＝(m_f+m_p)/2,计算

s₁＝m_p+(s₀-m_p)(1-e^-λlog(n)),

Δs＝s₁-s₀,

n是在训练过程中缺陷样本的数量，λ是一个取值在0到1之间的调节常数，按照如下规则分别修改焊点合格类与焊点缺陷类的预测结果f_k(X)：

f_k(X)←f_k(X)-Δs, (19)其中1≤k≤K,得到修改后的训练样本集；应用该修改后的训练样本集在前述完成学习训练的极限学习机中再次进行学习训练，得到最终的极限学习机；

第三步，对于要检测的焊点进行第一步中所述的图像采集、图像预处理和特征提取操作，感兴趣区域提取出来的特征构成测试样本的输入向量，通过把测试样本的输入向量输入到第二步中所述的最终的极限学习机中，就得到该感兴趣区域是否有缺陷的判断结果，完成对于焊点的缺陷检测。

本发明利用混合高斯模型密度估计和极限学习机的机器学习技术，能够克服缺陷类样本数量少、数据训练样本严重不平衡的困难，得到更准确的检测结果。下面结合附图，对具体实施实例及其有益效果作进一步的说明。

附图说明

图1合格类和缺陷类的混合高斯模型

图2不同方法缺陷检测准确性的比较

图1中：

101焊点合格类的混合高斯模型

102焊点缺陷类的混合高斯模型

103移动位置后的焊点缺陷类的混合高斯模型

具体实施方式

下面结合附图，对本发明提供的基于混合高斯模型密度估计和极限学习机的电子元件焊点缺陷检测方法的具体实施方式说明如下：

检测焊点缺陷图像的数据集来自实际焊接的电路板，预处理包括滤波降噪和图像分割步骤，预处理得到的感兴趣区域统一到64x128的大小。本发明中的极限学习机核心算法采用[5] 中提供的C语言代码实现，隐含层节点数都设置为400，参数λ设为0.5。提取的特征包括：图像的灰度值、圆度、粗糙度、熵、对比度和方向梯度直方图特征。方向梯度直方图特征提取采用OpenCV 3.1版本的HOG检测算子[6]实现，采用默认参数：窗口大小64x128，块大小 16x16，块步长8x8。

为了说明本发明提供的基于混合高斯模型密度和极限学习机方法gELM的有益效果，和其他的机器学习方法进行了检测准确性比较，比较的方法包括：极限学习机方法ELM[1]、加权极限学习机方法wELM[7]、一般的混合高斯模型极限学习机方法nELM[3]、支持向量机方法 SVM[8]和支持Tucker机方法STM[9]。

下面说明本发明的准确性有益效果。对不同样本数的分类性能进行了比较，训练的样本数是从300到420，增量为40，测试的样本数是420，和训练样本不重复。测试和训练样本中正常的焊点与有缺陷的焊点之比均为4：1，每个固定样本数量的实验进行8次，取平均检测准确率，实验结果在图2中给出，从图中可以看出，本发明方法的检测准确率介于98.4％和100％之间，随着训练样本数的增加，检测准确率也逐渐提高，无论训练样本较少还是较多时，其检测准确率都优于其他方法。可见本发明方法具有优于其他学习方法的检测准确性。

参考文献

[1]G-B Huang,Q-Y Zhu,and C-K Siew.Extreme learning machine:Theory andapplications. neurocomputing.Neurocomputing,70(1-3)(2006)489–501

[2]G Huang,G-B Huang,S Song,and K You.Trends in extreme learningmachines:A review. Neural Netw,61(1)(2015)32–48.

[3]Y He,R Ashfaq,JZ Huang,and X Wang.Imbalanced ELM based on normaldensity estimation for binary-class classification.Lect Notes Comput Sci,9794(2016)48–60.

[4]N Dalal and B Triggs.Histograms of oriented gradients for humandetection.In Proc IEEE Comput Soc Conf Comput Vision Pattern Recognition,(2005)pp.886-893.

[5]http://www.ntu.edu.sg/home/egbhuang/elm_codes.html(2017.5.10)

[6]https://opencv.org/opencv-3-1.html

[7]W Zong,G-B Huang,and Y Chen.Weighted extreme learning machine forimbalance learning.Neurocomputing,101(2013)229–242.

[8]W Mu,J Gao,H Jiang,ZWang,MChen,and C Dang.Automatic classificationapproach to weld defects based on PCA and SVM.Insight Non Destr Test CondMonit,55(10)(2013)535–539.

[9]L Ma,Y Hu,and Y Zhang.Support Tucker machines based bubble defectdetection of lithium-ion polymer cell sheets.Eng Lett,25(1)(2017)46–51。

Claims (1)

1.一种电子元件焊点缺陷检测方法，其特征在于：本发明方法包括以下步骤：

第一步,采集焊点图像，通过预处理获得感兴趣区域样本集，对感兴趣区域进行特征提取,感兴趣区域提取出来的特征构成样本的输入向量，感兴趣区域是否有缺陷构成样本的输出向量，全体样本集的输入向量和输出向量组成样本的训练集；

前述特征提取得到的特征，包含以下特征中的一种或者几种：图像的灰度值、圆度、粗糙度、熵、对比度和方向梯度直方图；

第二步，应用第一步中得到的样本的训练集进行极限学习机的学习训练；所述极限学习机，其输入层与前述的样本集的输入向量相连接，其输出层有一个用于标记是否有缺陷的节点；所述极限学习机的输入权值ω_i和偏差参数b_i随机选取；

应用前述完成学习训练的极限学习机为每个样本计算出一个预测的输出，之后分别计算出焊点合格类与焊点缺陷类的各自的混合高斯模型，按照下面的方法确定焊点合格类与焊点缺陷类两类之间最优的分类界面s：

当两类混合高斯模型没有交叉点时，两类的混合高斯模型中间的间隔区的中点就是最优的分类界面s；当两类混合高斯模型仅有1个交叉点时，该交叉点就是最优的分类界面s；当两类混合高斯模型的交叉点数目多于一个时，选择使得焊点合格类a曲线101和焊点缺陷类b曲线102下面积之和最大的交叉点作为最优的分类界面s；

设样本的训练集输入矩阵为X，K为混合高斯函数的总数，第k个混合高斯函数为f_k,合格类混合高斯模型和缺陷类混合高斯模型中最接近s的高斯模型均值分别为m_p和m_f,令L＝m_f-m_p,令s₀＝(m_f+m_p)/2,计算

s₁＝m_p+(s₀-m_p)(1-e^-λlog(n)), (13)

Δs＝s₁-s₀, (14)

n是在训练过程中缺陷样本的数量，λ是一个取值在0到1之间的调节常数，按照如下规则分别修改焊点合格类与焊点缺陷类的预测结果f_k(X)：

f_k(X)←f_k(X)-Δs, (19)

其中1≤k≤K,得到修改后的训练样本集；应用该修改后的训练样本集在前述完成学习训练的极限学习机中再次进行学习训练，得到最终的极限学习机；

第三步，对于要检测的焊点进行第一步中所述的图像采集、图像预处理和特征提取操作，感兴趣区域提取出来的特征构成测试样本的输入向量，通过把测试样本的输入向量输入到第二步中所述的最终的极限学习机中，就得到该感兴趣区域是否有缺陷的判断结果，完成对于焊点的缺陷检测。