CN112308832B - 一种基于机器视觉的轴承质量检测方法 - Google Patents

Abstract

本发明提供一种基于机器视觉的轴承质量检测方法，包括对第一样本集二维图像采样获取第一轴承图像信息，得到第二样本集；对第二样本集中的轴承进行三维测量及三维重建得到第二轴承图像信息；根据第二轴承图像信息获取轴承表面缺陷类型。本发明先基于二维的检测方法检测，针对有二维缺陷特征的轴承进行三维检测及重建，得到轴承表面缺陷类别，不必对全部轴承采用三维检测，提高了检测效率，节省了检测成本。且本发明中的二维检测和三维检测均采用单一相机，可在二维图像检测系统的基础上增加照明光源，得到二维图像和三维信息。且先用二维检测方法检测出特定像素下是否存在缺陷后采用三维检测局部细节特征，检测出具体为何种缺陷。

Description

一种基于机器视觉的轴承质量检测方法

技术领域

本发明涉及轴承检测的技术领域，具体涉及一种基于机器视觉的轴承质量检测方法。

背景技术

轴承作为机械传动系统的重要装置在各个领域中都有着十分重要的应用。轴承在生产制备过程中由于生产设备、加工工艺、生产环境和人员操作的原因会导致轴承表面产生凹坑、裂纹、划痕等缺陷。这些缺陷可引起设备震动、噪音，降低设备的工作效率，严重的甚至会使得设备发生故障，带来严重的后果。

现有技术中的轴承缺陷检测主要依靠人工检测，通过肉眼的观察以及测量仪器的测量来检测轴承是否达到合格标准，人工检测的方法效率低下，不适用于大批量的检测，且人工检测的不稳定因素很多，不适于进行精确检测。

发明内容

针对现有技术的不足之处，本发明的目的在于提供一种基于机器视觉的轴承质量检测方法。

本发明的技术方案概述如下：

本发明提供一种基于机器视觉的轴承质量检测方法，包括：对第一样本集中的轴承进行二维图像采样，获取第一分辨率下的第一轴承图像信息；判断所述第一分辨率下的第一轴承图像信息是否满足第一预设条件；当所述第一分辨率下的第一轴承图像信息满足第一预设条件时，根据所述第一轴承图像信息得到第二样本集；对所述第二样本集中的轴承进行三维测量及三维重建，得到第二轴承图像信息；根据所述第二轴承图像信息获取轴承表面缺陷类型。

进一步地，所述第一预设条件为所述第一分辨率下所述第一轴承图像信息中出现二维缺陷特征。

进一步地，所述判断所述第一分辨率下的第一轴承图像信息是否满足第一预设条件，包括：对第一分辨率下的第一轴承图像信息进行预处理得到预处理图像，并提取灰度参数；对预处理图像进行滤波及二值化处理，得到二值图像；对二值图像进行感兴趣轮廓与背景分离处理，得到处理后图像；对处理后图像进行轮廓提取，获取图像中包含的轮廓特征，并根据轮廓特征判断第一分辨率下的第一轴承图像信息是否出现二维缺陷特征。

进一步地，所述对预处理图像进行滤波及二值化处理，得到二值图像，包括：调整灰度直方图的灰度值，并将图像清晰时的灰度值作为灰度阈值，根据灰度阈值对滤波后图像进行二值化处理，实现图像分割，得到二值图像。

进一步地，所述对二值图像进行感兴趣轮廓与背景分离处理，得到处理后图像，包括：对二值图像采用形态学闭操作和背景差分方法将感兴趣轮廓与背景分离，得到处理后图像。

进一步地，所述对处理后图像进行轮廓提取，包括：基于边界跟踪的数字化二值图像拓扑结构分析的方法对处理后图像进行轮廓提取，获取图像中包含的全部轮廓特征。

进一步地，所述根据轮廓特征判断第一分辨率下的第一轴承图像信息是否出现二维缺陷特征，包括：计算每个轮廓特征的面积，并根据预定的面积阈值筛选轮廓特征；或计算每个轮廓特征的最小外接矩形的长，并根据预定的长度阈值筛选轮廓特征。

进一步地，所述第二轴承图像信息包括灰度通道、梯度通道、深度通道的信息。

进一步地，所述根据所述第二轴承图像信息获取确定轴承表面缺陷分类信息，包括：对所述灰度通道、梯度通道、深度通道进行特征提取；采用多类别SVM分类方法，使用灰度通道、梯度通道及深度通道的特征信息建立缺陷识别算法，根据所述灰度通道、梯度通道及深度通道的特征信息进行缺陷识别，以区分缺陷和非缺陷；所述对所述灰度通道、梯度通道、深度通道进行特征提取，包括：对所述灰度通道进行多尺度分解，选择均值、标准差、熵及投影特征的至少之一并降维，得到灰度通道特征；对所述梯度通道采用传统多尺度小波对梯度通道进行二层小波分解，提取子通道的均值、标准差、绝对差、熵的至少之一作为梯度通道特征；对所述深度通道提取深度投影特征。

进一步地，所述三维测量包括：采用至少两个方向的光源依次照明，根据第一函数模型获取方向梯度，所述方向梯度构成梯度通道，以反映轴承表面的三维形态分布；其中，方向梯度包括x方向的梯度矩阵P和y方向的梯度矩阵Q；根据第二函数模型获取灰度通道，以反映轴承表面的二维反射率的分布；所述三维重建包括：以所述方向梯度作为输入，用梯度矩阵分解与梯度矩阵递推算法，根据梯度矩阵P、梯度矩阵Q获取深度矩阵Z，得到深度通道。

相比现有技术，本发明的有益效果在于：

本发明提供的一种基于机器视觉的轴承质量检测方法，先基于二维的检测方法，对第一样本集中的轴承进行初步的二维图像采样，得到有缺陷特征的轴承组成第二样本集，针对出现二维缺陷特征的轴承进行三维检测及三维重建，得到具体的轴承表面缺陷类别，而不必对原始样本集中的全部轴承采用三维检测，提高了检测效率，节省了检测成本。且本发明中的二维检测和三维检测均采用单一相机，三维检测中并没有直接采用三维相机进行三维采样，采用单台相机多个光源实现三维测量，空间允许的情况下，可在现有二维图像检测系统的基础上，增加照明光源，并同时得到二维图像和三维信息，兼容传统的二维缺陷检测方法。且本发明先采用二维检测方法对大量样本进行初步检测，大致检测出特定像素下是否存在缺陷，然后采用三维检测和三维重建的方法检测三维局部细节特征，有助于微小缺陷检测，并可检测出具体为何种缺陷，同时弥补二维检测造成的误判断率高的问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种基于机器视觉的轴承质量检测方法的流程示意图；

图2为本发明的一种基于机器视觉的轴承质量检测方法的部分流程示意图；

图3为本发明的一种基于机器视觉的轴承质量检测方法的另一部分流程示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，本发明的前述和其它目的、特征、方面和优点将变得更加明显，以令本领域技术人员参照说明书文字能够据以实施。在附图中，为清晰起见，可对形状和尺寸进行放大，并将在所有图中使用相同的附图标记来指示相同或相似的部件。在下列描述中，诸如中心、厚度、高度、长度、前部、背部、后部、左边、右边、顶部、底部、上部、下部等用词为基于附图所示的方位或位置关系。特别地，“高度”相当于从顶部到底部的尺寸，“宽度”相当于从左边到右边的尺寸，“深度”相当于从前到后的尺寸。这些相对术语是为了说明方便起见并且通常并不旨在需要具体取向。涉及附接、联接等的术语(例如，“连接”和“附接”)是指这些结构通过中间结构彼此直接或间接固定或附接的关系、以及可动或刚性附接或关系，除非以其他方式明确地说明。

接下来，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。

如图1-3所示，本发明的一种基于机器视觉的轴承质量检测方法，包括：

S1、对第一样本集中的轴承进行二维图像采样，获取第一分辨率下的第一轴承图像信息。

第一样本集为原始样本集，对原始样本集中的轴承采用普通CCD相机进行二维图像的采样，获取到第一分辨率下的第一轴承图像信息。其中，第一分辨率可根据客户需求，生产定位设置。

S2、判断所述第一分辨率下的第一轴承图像信息是否满足第一预设条件；

S31、当所述第一分辨率下的第一轴承图像信息满足第一预设条件时，根据所述第一轴承图像信息得到第二样本集。

其中，第一预设条件，可以是该第一分辨率下该第一轴承图像信息中出现二维缺陷特征，以用于采用二维图像对原始样本集中的轴承进行初步采样检测筛选。二维缺陷特征可以是二维图像中的颜色不均的特征、轮廓特征等。

例如，设定在第一分辨率下采样到的第一轴承图像信息满足该第一轴承图像信息出现二维缺陷特征，将具备该该第一轴承图像信息的轴承，作为集合得到第二样本集。即第二样本集为二维图像初步检测筛选后的轴承样本集合。

S32、当第一分辨率下的第一轴承图像信息不满足第一预设条件时，对第一样本集中的轴承进行二维图像采样，获取第二分辨率下的第一轴承图像信息。其中，第二分辨率大于第一分辨率,例如，第一分辨率为640*480，第二分辨率为768*576，第二分辨率下采集的轴承图像更加清晰，该分辨率不代表实际分辨率。

即当第一分辨率下的第一轴承图像信息未出现二维缺陷特征，初步判断该第一样本集中的轴承在第一分辨率下为合格轴承，根据用户需要进一步改变二维相机的分辨率，对第一样本集中的轴承进行二维图像采样，获取第二分辨率下的第一轴承图像信息。若用户只需得到第一分辨率下的缺陷类型，则无需S32步骤。

该过程的实现方法可以采用同一个工业相机，同一相机具有不同的像素精度，当第一分辨率下的第一轴承图像信息不满足第一预设条件时，说明当前以第一分辨率拍摄的图像中无出现二维缺陷特征，则提高相机的像素精度，对第一样本集中的轴承进行二维图像采样，获取更高分辨率的第二分辨率下的第一轴承信息。

或者，该过程的实现采用多个像素精度的工业相机，通过多个不同像素精度的工业相机拍摄同一个位置，通过第一个工业相机进行采样，当第一分辨率下的第一轴承图像信息不满足第一预设条件时，说明当前以第一分辨率拍摄的图像中无出现二维缺陷特征，则使用像素精度更好，具备更高分辨率的第二个工业相机对第一样本集中的轴承进行二维图像采样，获取更高分辨率的第二分辨率下的第一轴承信息。

本发明通过对第一样本集中的轴承进行初步的二维图像采样，得到满足第一预设条件的第二样本样本集，接下来只需要对第二样本集中的轴承进行三维检测即可，而不必对原始样本集中全部轴承采用三维检测。

在上述步骤中，可以初步获知第一分辨率下的出现二维缺陷特征的轴承，然后再针对出现二维缺陷特征的轴承进行三维测量及三维重建，得出具体的轴承表面缺陷类别。进而对该像素要求下的轴承进行生产指导。

具体地，二维缺陷特征以轮廓特征为例，步骤S2包括：

S21、对第一分辨率下的第一轴承图像信息进行预处理得到预处理图像，并提取灰度参数。

S22、对预处理图像进行滤波及二值化处理，得到二值图像；对二值图像进行感兴趣轮廓与背景分离处理，得到处理后图像。

具体地，对预处理图像进行滤波及二值化处理，得到二值图像，包括：调整灰度直方图的灰度值，并将图像清晰时的灰度值作为灰度阈值，根据灰度阈值对滤波后图像进行二值化处理，实现图像分割，得到二值图像。

对二值图像进行感兴趣轮廓与背景分离处理，得到处理后图像，包括：对二值图像采用形态学闭操作和背景差分方法将感兴趣轮廓与背景分离，得到处理后图像。

形态学闭操作，在图像处理技术中，有一些的操作会对图像的形态发生改变，这些操作一般称之为形态学操作，图像处理中的形态学操作用于图像与处理操作(去噪，形状简化)图像增强(骨架提取，细化，凸包及物体标记)、物体背景分割及物体形态量化等场景中，形态学操作的对象是二值化图像。

闭操作：排除小型黑洞，突触了比原图轮廓区域更暗的区域，将两个区域连接起来，形成连通域。闭操作就是对图像先膨胀，再腐蚀。闭操作的结果一般是可以将许多靠近的图块相连称为一个无突起的连通域。

背景差分方法是采用图像序列中的当前帧和背景参考模型比较来检测运动物体的一种方法,其性能依赖于所使用的背景建模技术。

S23、对处理后图像进行轮廓提取，获取图像中包含的轮廓特征，并根据轮廓特征判断第一分辨率下的第一轴承图像信息是否出现二维缺陷特征。

具体地，对处理后图像进行轮廓提取，包括：基于边界跟踪的数字化二值图像拓扑结构分析的方法对处理后图像进行轮廓提取，获取图像中包含的全部轮廓特征。

根据轮廓特征判断第一分辨率下的第一轴承图像信息是否出现二维缺陷特征，包括：计算每个轮廓特征的面积，并根据预定的面积阈值筛选轮廓特征；或计算每个轮廓特征的最小外接矩形的长，并根据预定的长度阈值筛选轮廓特征。

具体地，计算每个轮廓特征的面积，如果该轮廓特征的面积大于预定的面积阈值，则初步判断该轮廓为疑似缺陷轮廓，则判断出第一分辨率下的第一轴承图像信息出现了二维缺陷特征。

计算每个轮廓特征的最小外接矩形，如果该最小外接矩形的长大于预定的长度阈值，则初步判断该轮廓为疑似缺陷轮廓，则判断出第一分辨率下的第一轴承图像信息出现了二维缺陷特征。

上述步骤仅仅为采用二维检测方法初步判断轴承表面出现了疑似缺陷。然而类似油污、水渍、氧化物等非缺陷，也会造成轴承表面出现二维上的疑似缺陷轮廓。因此，可以才用上述方法对原始样本集中的轴承进行初步筛选，得到一定像素下，存在疑似缺陷的轴承，缩小检测范围，进而再根据三维测量及三维重建的方法进一步检测该疑似缺陷轮廓为缺陷或非缺陷，并确定为具体何种缺陷。

S4、对所述第二样本集中的轴承进行三维测量及三维重建，得到第二轴承图像信息。

其中，所述第二轴承信息为轴承图像的灰度通道、梯度通道、深度通道的信息。

S5、根据所述第二轴承图像信息获取轴承表面缺陷类型。

具体地，第二轴承图像信息包括灰度通道、梯度通道、深度通道的信息。

步骤S4中的，三维测量包括：

基于光度推立体三维测量方法，采用至少两个方向的光源依次照明，根据第一函数模型获取方向梯度，方向梯度构成梯度通道，以反映轴承表面的三维形态分布；其中，方向梯度包括x方向的梯度矩阵P和y方向的梯度矩阵Q。

光度立体法是通过单台摄像机拍摄物体在不同方向光源单独照明下的一组图像，根据表面反射模型可计算出表面法向量和梯度分布。

根据第二函数模型获取灰度通道，以反映轴承表面的二维反射率的分布；

步骤S4中的，三维测量包括：

以方向梯度信息作为输入，用梯度矩阵分解与梯度矩阵递推算法，根据梯度矩阵P、梯度矩阵Q获取深度矩阵Z，得到深度通道。

步骤S5包括：

S51、对灰度通道、梯度通道、深度通道进行特征提取，

S52、采用多类别SVM分类方法，使用灰度通道、梯度通道及深度通道的特征信息建立缺陷识别算法，根据灰度通道、梯度通道及深度通道的特征信息进行缺陷识别，以区分缺陷和非缺陷。

S51包括：

S511、对灰度通道进行多尺度分解，选择均值、标准差、熵及投影特征的至少之一并降维，得到灰度通道特征；

S512、对梯度通道采用传统多尺度小波对梯度通道进行二层小波分解，提取子通道的均值、标准差、绝对差、熵的至少之一作为梯度通道特征。

S513、对深度通道提取深度投影特征。

三维测量的过程具体如下：

采用至少两个方向的光源依次照明，获取不同照明条件下的多幅图像，以光源颜色的R、B通道为例，从原始RGB图像中提取与光源颜色对应的R通道图像I₁和G通道图像I₂，采用公式(1)计算出相对灰度

其中，e＝E₁/E₂为光源功率系数；I_1、I₂为通道图像亮度。

本发明采用线性光源，由于光源的对称特点，因此将反射模型的函数简化为单自由度函数f_bd(λ),λ为被测表面沿光源长轴方向的倾斜角度。

测量时，将反射模型测量系统水平放置，工作用的台面平行于CCD相机的光轴，被测样本放在转台上，控制转台产生偏转角λ的旋转，光源入射方向与相机光轴夹角为a。获取图像中心区域的平均灰度与偏转角λ的函数关系I＝f_bd(λ)。

本发明在三维测量时，采用至少两个方向的光源依次照明，采用线阵相机成像，线形光源进行照明，线性光源入射的光线存在于入射平面内的等腰三角形扇面内，利用其对称性有助于模型和计算的简化。

本发明了根据多次试验定义了相对灰度与曲面倾角的第一函数模型

利用该函数在中点附近的单调对称性实现了任意材质的曲线倾角测量。具体地，相对灰度

与表面倾角λ具有中心对称的函数关系，利用该函数的性质，通过标定建立表面倾角与相对灰度的函数关系

利用其反函数求解单调区间内的表面倾角λ和方向梯度q。

相对灰度

与表面倾角λ为对应关系，定义平均灰度I与表面倾角λ的第二函数模型为：

其中，

在微小形变下近似等于1，E以及lz为常数，因此，平均灰度I与反射率kd相关。

本发明根据上述预定义的第一函数模型，根据表面倾角λ在扫描图像中逐像素计算方向梯度,构成方向梯度通道，以反映轴承表面的三维形态分布，同时，根据表面倾角λ在扫描图像中逐像素计算x方向的方向梯度p，构成x方向的梯度矩阵P，根据表面倾角λ在扫描图像中逐像素计算y方向的方向梯度q，构成y方向的梯度矩阵Q；根据上述定义的第二函数模型，根据表面倾角λ逐像素计算平均灰度I，构成灰度通道A，以反映轴承表面的二维反射率的分布并用于后续计算。

同时，在对称光学系统中，对相对光学函数进行标定，采用相对光学函数中心对称性和局部单调性拟合相对光度的经验函数，支持对方向梯度的准确测量，通过对单自由度反射模型的标定，优化了光学入射角度a的设计参数。对轴承表面采用±(15-20)度入射角照明，在中间场范围内可以突出微小缺陷与背景间的对比度，有利于对微小缺陷的检测；采用±(25-30)度入射角，对于存在氧化的轴承表面，可避免大面积过曝光，获得良好的成像质量。

三维重建的过程具体如下：

通过改进的Haar小波变换重建三维表面深度，利用Haar小波重构与二维积分在运算上的相似性，即梯度矩阵P、Q近似于Haar小波子带实现三维重建。

通过光度立体法得到表面梯度，本发明采用红、绿、蓝三个单色光源沿不同角度同时照明钢板表面同一区域，通过垂直于钢板表面的摄像机拍摄光源照射的钢板表面区域，分离其彩色图像的R、G、B通道，得到近似于红、绿、蓝光源单独照明下获得的三幅图像I_R,I_G,I_B。IR,IG,IB的高h＝2n,宽w＝2n，图像坐标系(x,y)中某点的相对深度为Z(x,y)，梯度矩阵P为深度矩阵Z沿x方向的差分，Q为深度矩阵Z沿y方向的差分，P、Q由IR,IG,IB和光源方向矩阵L得到，P(x,y),Q(x,y)的初始值用P1,Q1表示，深度矩阵Z当作小波分解的初始矩阵LL⁰，则Z可以通过式(4)所示的小波分解算法，式(5)所示的递推关系公式和式(6)所示的小波重构算法得到：

LL^k-1＝U(LL^k)*L_R ^T*L_R+U(LH^k)*H_R ^T*L_R+U(HL^k)*L_R ^T*H_R+U(HH^k)*H_R ^T*H_R

(6)

式(4)、式(5)、式(6)中：

“*”——二维卷积运算；

D(M)——二维下采样，抽取矩阵奇数行、列，D(M)(x,y)＝M(2x-1,2y-1)；

U(M)——二维上采样，矩阵扩充为(2h+1)×(2w+1)，其中偶数行列：U(M)(2x,2y)＝M(x,y)，其余项填充0；

LL⁰——小波分解的初始矩阵，Z＝LL⁰；

LL^k、LH^k、HL^k、HH^k——第k层分解的低频及高频子带(1≤k≤n)，设LLⁿ中元素的值为0；

P^k,Q^k——k层梯度矩阵(1≤k≤n)，其中P¹,Q¹为梯度矩阵P,Q，其余通过递推求得；

L_D＝(1,1),H_D＝(1,-1)—Haar小波分解低通、高通滤波器；

L_R＝(0.5,0.5),H_R＝(-0.5,0.5)—Haar小波重构低通、高通滤波器。

本发明将深度矩阵Z当作小波分解的初始矩阵LL⁰，用LL^k、LH^k、HL^k、HH^k(0＜k≤n)表示Z经第k层二维Haar小波分解后的尺度分量、垂直分量、水平分量和对角分量。根据小波重构算法，只要知道最末层LLⁿ的值以及LH^k、HL^k、HH^k(0＜k≤n)的值，就可以依次重构得到LL^k(0≤k＜n)，LL⁰即为深度矩阵Z。因此本发明根据P、Q与二维Haar小波分解之间的关系，通过小波分解、递推算法和小波重构等步骤，得到通过P、Q求深度矩阵Z的快速算法。

由于P、Q分别为深度矩阵Z沿x、y方向的差分，将P、Q代入二维Haar小波分解，可得LH¹、HL¹、HH¹。根据P、Q的递推公式得到P²,P³,…,Pⁿ和Q¹,Q³,…,Qⁿ，并依次求出LH^k、HL^k、HH^k(1＜k≤n)。设LLⁿ的值为0，由于LH^k、HL^k、HH^k(0＜k≤n)已知，因此根据二维Haar小波重构算法可依次重构得到LL^k(0≤k＜n)，LL⁰即为深度矩阵Z。

在重构LL^k(0≤k＜n)时会产生局部误差，可以用传统的全局优化算法对LL^k进行迭代优化，以减少误差。

本发明采用与常规多尺度二维小波重构算法相似的流程结构，以方向梯度信息作为输入，用梯度矩阵分解与梯度矩阵递推算法替代常规小波分解和多尺度递推。具体采用式(4)的小波分解算法，式(5)所示的递推关系公式和式(6)所示的小波重构算法得到根据方向梯度矩阵获取深度矩阵Z，得到深度通道及三维深度图，三维深度通道中提高了微小形变缺陷的显著性。基于Haar小波的快速三维重建算法的复杂度与图像像素数量呈线性关系，而全局优化算法则呈平方关系，因此耗时大大减少，且误差要略小于全局优化算法。同时，根据三维深度图，可以截取深度图对应的缺陷中心部位的窄带，得到缺陷截面曲线，进而计算凹凸缺陷的变形深度，作为缺陷形变量的测量值。

通过上述三维测量过程得到方向梯度矩阵，通过上述三维重建过程得到深度矩阵，然后根据方向梯度矩阵和深度矩阵提取缺陷特征，缺陷特征包括深度投影特征和梯度特征。

提取梯度通道的局部标准差和局部绝对差，以及提取深度通道的深度投影特征建立特征图。对特征图进行滤波和阈值分割提取缺陷区域，以实现快速有效的缺陷检测。

具体地，将曲面深度图沿运动方向分割后，计算纵条内深度投影特征Z_PR；表面方向梯度体现了微小尺寸缺陷在图像中的纵向局部突变，在一定的像素矩阵区域内计算局部标准差Q_SD和局部绝对差Q_RA。

局部标准差Q_SD、局部绝对差Q_RA及深度投影特征Z_PR通道特征图含有大量噪音，经过均值滤波，采用自适应阈值进行初步的缺陷区域分割。之后，采用形态学闭运算连通区域，实现缺陷的准确检出和定位。

对第二样本中的轴承采用上述三维算法求解方向梯度通道，并分离出灰度通道用于后续计算。对灰度通道、梯度通道进行感兴趣区域提取算法，具体地，对灰度通道、梯度通道的图像块提取图像均值、标准差、熵和Hu矩作为特征，训练三层BP神经网络进行感兴趣区域与背景之间的分类。经过整体图像处理和感兴趣区域提取后，对感兴趣区域进行缺陷识别。采用改进的Haar小波变换重建三维表面深度的算法对局部的梯度通道图像进行三维重建，获取局部深度通道，对灰度通道、梯度通道、深度通道进行不同方法的特征提取。

对灰度通道采用三层分解的Tetrolet变换多尺度集合分析方法对局部图像进行多尺度分解，选择均值、标准差、熵及投影特征组合，并通过KLPP方法进行降维。

对梯度通道采用传统多尺度小波对梯度通道进行二层小波分解，提取子通道的均值、标准差、绝对差、熵作为图像特征。

对深度通道提取深度投影特征，用于缺陷识别。

采用MulticlassSVM(多类别SVM分类)方法，使用灰度通道、梯度通道及深度通道的特征信息建立缺陷识别算法，对非均衡测试集进行缺陷识别。

裂纹缺陷的梯度通道的特征较明显，深度通道图像也具有与裂纹走向相同的凹凸形状特征，灰度通道上的图像则被削弱。而非缺陷水迹在深度通道和梯度通道均无明显变化，灰度通道上具有明显的图像特征。本发明从灰度、梯度、深度三个通道上进行缺陷识别，以区分缺陷和非缺陷。

本发明提供的一种基于机器视觉的轴承质量检测方法，先基于二维的检测方法，对第一样本集中的轴承进行初步的二维图像采样，得到有缺陷特征的轴承组成第二样本集，针对出现二维缺陷特征的轴承进行三维检测及三维重建，得到具体的轴承表面缺陷类别，而不必对原始样本集中的全部轴承采用三维检测，提高了检测效率，节省了检测成本。且本发明中的二维检测和三维检测均采用单一相机，三维检测中并没有直接采用三维相机进行三维采样，采用单台相机多个光源实现三维测量，空间允许的情况下，可在现有二维图像检测系统的基础上，增加照明光源，并同时得到二维图像和三维信息，兼容传统的二维缺陷检测方法。且本发明先采用二维检测方法对大量样本进行初步检测，大致检测出特定像素下是否存在缺陷，然后采用三维检测和三维重建的方法检测三维局部细节特征，有助于微小缺陷检测，并可检测出具体为何种缺陷，进而能够知晓在特定像素下轴承表面存在较多的缺陷类别，指导轴承生产，同时弥补二维检测造成的误判断率高的问题。

此外，装置实施例中的装置与方法实施例基于同样地发明构思。

一种基于机器视觉的轴承质量检测装置，包括：

二维采用模块，用于对第一样本集中的轴承进行二维图像采样，获取第一分辨率下的第一轴承图像信息。

判断模块，用于判断所述第一分辨率下的第一轴承图像信息是否满足第一预设条件。

获取模块，用于当所述第一分辨率下的第一轴承图像信息满足第一预设条件时，根据所述第一轴承图像信息得到第二样本集。

三维检测模块，用于对所述第二样本集中的轴承进行三维测量及三维重建，得到第二轴承图像信息；还用于根据所述第二轴承图像信息获取确定轴承表面缺陷分类信息。

本发明实施例还提供了一种计算机存储介质，该计算机存储介质包括存储器和处理器，该存储器中存储有至少一条指令和至少一段程序，该至少一条指令和至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种基于机器视觉的轴承质量检测方法。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (7)

1.一种基于机器视觉的轴承质量检测方法，其特征在于，包括：

对第一样本集中的轴承进行二维图像采样，获取第一分辨率下的第一轴承图像信息；

判断所述第一分辨率下的第一轴承图像信息是否满足第一预设条件；

当所述第一分辨率下的第一轴承图像信息满足第一预设条件时，根据所述第一轴承图像信息得到第二样本集；

对所述第二样本集中的轴承进行三维测量及三维重建，得到第二轴承图像信息；

根据所述第二轴承图像信息获取轴承表面缺陷类型；

所述第二轴承图像信息包括灰度通道、梯度通道、深度通道的信息；

所述根据所述第二轴承图像信息获取确定轴承表面缺陷分类信息，包括：

对所述灰度通道、梯度通道、深度通道进行特征提取；

采用多类别SVM分类方法，使用灰度通道、梯度通道及深度通道的特征信息建立缺陷识别算法，根据所述灰度通道、梯度通道及深度通道的特征信息进行缺陷识别，以区分缺陷和非缺陷；

所述对所述灰度通道、梯度通道、深度通道进行特征提取，包括：

对所述灰度通道进行多尺度分解，选择均值、标准差、熵及投影特征的至少之一并降维，得到灰度通道特征；

对所述梯度通道采用传统多尺度小波对梯度通道进行二层小波分解，提取子通道的均值、标准差、绝对差、熵的至少之一作为梯度通道特征；

对所述深度通道提取深度投影特征；

所述三维测量的过程具体如下：

采用至少两个方向的光源依次照明，获取不同照明条件下的多幅图像，以光源颜色的R、B通道为例，从原始RGB图像中提取与光源颜色对应的R通道图像I₁和G通道图像I₂，采用公式(1)计算出相对灰度

其中，e＝E₁/E₂为光源功率系数；I_1、I₂为通道图像亮度；

采用线性光源，由于光源的对称特点，因此将反射模型的函数简化为单自由度函数f_bd(λ),λ为被测表面沿光源长轴方向的倾斜角度；

测量时，将反射模型测量系统水平放置，工作用的台面平行于CCD相机的光轴，被测样本放在转台上，控制转台产生偏转角λ的旋转，光源入射方向与相机光轴夹角为a，获取图像中心区域的平均灰度与偏转角λ的函数关系I＝f_bd(λ)；

在三维测量时，采用至少两个方向的光源依次照明，采用线阵相机成像，线形光源进行照明，线性光源入射的光线存在于入射平面内的等腰三角形扇面内，

相对灰度

与表面倾角λ具有中心对称的函数关系，利用该函数的性质，通过标定建立表面倾角与相对灰度的函数关系

作为第一函数模型，利用其反函数求解单调区间内的表面倾角λ和方向梯度q，

相对灰度

与表面倾角λ为对应关系，定义平均灰度I与表面倾角λ的第二函数模型为：

其中，

在微小形变下近似等于1，E以及lz为常数，

根据上述预定义的第一函数模型，根据表面倾角λ在扫描图像中逐像素计算方向梯度,构成方向梯度通道，以反映轴承表面的三维形态分布，同时，根据表面倾角λ在扫描图像中逐像素计算x方向的方向梯度p，构成x方向的梯度矩阵P，根据表面倾角λ在扫描图像中逐像素计算y方向的方向梯度q，构成y方向的梯度矩阵Q；根据上述定义的第二函数模型，根据表面倾角λ逐像素计算平均灰度I，构成灰度通道A，以反映轴承表面的二维反射率的分布并用于后续计算；

同时，在对称光学系统中，对相对光学函数进行标定，采用相对光学函数中心对称性和局部单调性拟合相对光度的经验函数，支持对方向梯度的准确测量，通过对单自由度反射模型的标定，优化光学入射角度a的设计参数；

三维重建的过程具体如下：

通过改进的Haar小波变换重建三维表面深度，利用Haar小波重构与二维积分在运算上的相似性，即梯度矩阵P、Q近似于Haar小波子带实现三维重建，

通过光度立体法得到表面梯度，采用红、绿、蓝三个单色光源沿不同角度同时照明钢板表面同一区域，通过垂直于钢板表面的摄像机拍摄光源照射的钢板表面区域，分离其彩色图像的R、G、B通道，得到近似于红、绿、蓝光源单独照明下获得的三幅图像I_R,I_G,I_B，IR,IG,IB的高h＝2n,宽w＝2n，图像坐标系(x,y)中某点的相对深度为Z(x,y)，梯度矩阵P为深度矩阵Z沿x方向的差分，Q为深度矩阵Z沿y方向的差分，P、Q由IR,IG,IB和光源方向矩阵L得到，P(x,y),Q(x,y)的初始值用P1,Q1表示，深度矩阵Z当作小波分解的初始矩阵LL⁰，则Z可以通过式(4)所示的小波分解算法，式(5)所示的递推关系公式和式(6)所示的小波重构算法得到：

LL^k-1＝U(LL^k)*L_R ^T*L_R+U(LH^k)*H_R ^T*L_R+U(HL^k)*L_R ^T*H_R+U(HH^k)*H_R ^T*H_R (6)

式(4)、式(5)、式(6)中：

“*”——二维卷积运算；

D(M)——二维下采样，抽取矩阵奇数行、列，D(M)(x,y)＝M(2x-1,2y-1)；

U(M)——二维上采样，矩阵扩充为(2h+1)×(2w+1)，其中偶数行列：U(M)(2x,2y)＝M(x,y)，其余项填充0；

LL⁰——小波分解的初始矩阵，Z＝LL⁰；

LL^k、LH^k、HL^k、HH^k——第k层分解的低频及高频子带，1≤k≤n，设LLⁿ中元素的值为0；

P^k,Q^k——k层梯度矩阵，1≤k≤n，其中P¹,Q¹为梯度矩阵P,Q，其余通过递推求得；

L_D＝(1,1),H_D＝(1,-1)—Haar小波分解低通、高通滤波器；

L_R＝(0.5,0.5),H_R＝(-0.5,0.5)—Haar小波重构低通、高通滤波器；

将深度矩阵Z当作小波分解的初始矩阵LL⁰，用LL^k、LH^k、HL^k、HH^k，表示Z经第k层二维Haar小波分解后的尺度分量、垂直分量、水平分量和对角分量，根据小波重构算法，只要知道最末层LLⁿ的值以及LH^k、HL^k、HH^k的值，就能够依次重构得到LL^k，LL⁰即为深度矩阵Z，因此根据P、Q与二维Haar小波分解之间的关系，通过小波分解、递推算法和小波重构等步骤，得到通过P、Q求深度矩阵Z的快速算法；

由于P、Q分别为深度矩阵Z沿x、y方向的差分，将P、Q代入二维Haar小波分解，得LH¹、HL¹、HH¹，根据P、Q的递推公式得到P²,P³,…,Pⁿ和Q¹,Q³,…,Qⁿ，并依次求出LH^k、HL^k、HH^k，设LLⁿ的值为0，由于LH^k、HL^k、HH^k已知，因此根据二维Haar小波重构算法依次重构得到LL^k，LL⁰即为深度矩阵Z；

在重构LL^k时会产生局部误差，用传统的全局优化算法对LL^k进行迭代优化，以减少误差。

2.如权利要求1所述的基于机器视觉的轴承质量检测方法，其特征在于，所述第一预设条件为所述第一分辨率下所述第一轴承图像信息中出现二维缺陷特征。

3.如权利要求1所述的基于机器视觉的轴承质量检测方法，其特征在于，所述判断所述第一分辨率下的第一轴承图像信息是否满足第一预设条件，包括：

对第一分辨率下的第一轴承图像信息进行预处理得到预处理图像，并提取灰度参数；

对预处理图像进行滤波及二值化处理，得到二值图像；对二值图像进行感兴趣轮廓与背景分离处理，得到处理后图像；

对处理后图像进行轮廓提取，获取图像中包含的轮廓特征，并根据轮廓特征判断第一分辨率下的第一轴承图像信息是否出现二维缺陷特征。

4.如权利要求3所述的基于机器视觉的轴承质量检测方法，其特征在于，所述对预处理图像进行滤波及二值化处理，得到二值图像，包括：

调整灰度直方图的灰度值，并将图像清晰时的灰度值作为灰度阈值，根据灰度阈值对滤波后图像进行二值化处理，实现图像分割，得到二值图像。

5.如权利要求3所述的基于机器视觉的轴承质量检测方法，其特征在于，所述对二值图像进行感兴趣轮廓与背景分离处理，得到处理后图像，包括：

对二值图像采用形态学闭操作和背景差分方法将感兴趣轮廓与背景分离，得到处理后图像。

6.如权利要求3所述的基于机器视觉的轴承质量检测方法，其特征在于，所述对处理后图像进行轮廓提取，包括：基于边界跟踪的数字化二值图像拓扑结构分析的方法对处理后图像进行轮廓提取，获取图像中包含的全部轮廓特征。

7.如权利要求3所述的基于机器视觉的轴承质量检测方法，其特征在于，所述根据轮廓特征判断第一分辨率下的第一轴承图像信息是否出现二维缺陷特征，包括：计算每个轮廓特征的面积，并根据预定的面积阈值筛选轮廓特征；或计算每个轮廓特征的最小外接矩形的长，并根据预定的长度阈值筛选轮廓特征。

Images