CN115201202B - 用于检测和测量产品表面缺陷的装置及方法 - Google Patents

Abstract

本发明公开了一种用于检测和测量产品表面缺陷的装置及方法，该装置包括向产线上实时通过的待检产品表面投射结构光的投影仪，实时抓拍被投射结构光的待检产品表面成像的相机，和总线连接投影仪及相机的计算机，该计算机接收来自于相机的采集图像，通过计算机所预设的图像处理算法，检测与测量物体的表面缺陷并量化尺寸规格。通过装置标定、学习参数、设定参数、图像校正、实时检测和分析缺陷的机器视觉检测方法，提升了对物体表面三维缺陷的检测能力，尤其相对传统检测方法具有准确性、实时性、灵活性等多方面的提升效果，且降低了对计算机的硬件需求，性价比突出。

Description

用于检测和测量产品表面缺陷的装置及方法

技术领域

本发明涉及一种机器视觉的工业应用，尤其涉及一种用于检测和测量产品表面缺陷的装置及方法。

背景技术

机器视觉是通过对图像进行分析，使工业装备具有了基本的识别和分析能力。随着工业数字化、智能化转型逐渐深入、智能制造的逐步推进，工业机器视觉逐渐形成规模化的产业，并随着人工智能技术在工业领域落地而逐渐深入到工业生产的各种场景之中。表面缺陷检测任务作为机器视觉领域的一个基础性研究课题，它的目标是自动区分不同的物体表面情况，在很多实际任务中得到应用，例如3C产品表面缺陷检测、手机盖板玻璃检测、晶圆表面检测等。

在工业转型升级的过程中，正从过度依赖低廉劳动成本的粗加工和制造模式向全面自动化、高附加值和高生产率转型。在旧工业体系的生产线中，产品表面的缺陷主要依靠人眼观察，这种人工检测的方式会出现较大的主观意愿差异，而且随着工作时间的加长导致检测效率低下，无法适应于高速智能的社会生产节奏。基于机器视觉的表面缺陷检测方法则通过摄像机拍摄物体表面的图像，通过视觉分析算法计算出缺陷的种类和位置，代替了人眼观察的过程。基于机器视觉的表面缺陷检测方法具有非接触测量、长时间稳定工作、不受恶劣的工作环境影响等优势，受到众多企业的青睐。

当前工业界和学术界对基于结构光表面缺陷检测的研究仍停留在使用传统的二维机器视觉算法检测无纹理物体表面的缺陷这一简单任务层次中。例如，Caulier等（2007）提出具有一定普适性的光栅图案特征算法，但该方法对光照的鲁棒性较低并且需要较大的计算量。Kemao等（2006）提出基于模板匹配和窗口傅里叶变换的方法检测异常缺陷，该方法虽然在实时性上有所提升，但对光照变化较敏感，算法的普适性和鲁棒性较低。除此之外，还有一些研究工作应用Gabor滤波器、小波变换、注意力机制等异常特征提取方法。基于结构光缺陷检测的公告方案包括：合肥铜冠信息科技有限责任公司（2021）申请的基于结构光金属板缺陷检测方，该专利中将待检测条纹图片分别与标准条纹图片中对应像素点做乘法，以此求解相位，并基于金属板的高度信息定位缺陷；北京市新技术应用研究所（2020）提供一种产品反光表面缺陷检测方法，基于边缘检测和形态学滤波的方法定位表面缺陷；另有湖南讯目科技有限公司（2020）通过对待测玻璃透射出光栅条纹，采用虚拟莫尔条纹技术可以对玻筋等微小变形进行检测计算，得到常规缺陷的大小、位置等信息。

纵观国内外的表面缺陷检测研究现状，可以发现存在如下问题：首先，现有的机器视觉检测装置缺乏普适性。大多数缺陷检测方法是使用在漫射照明、定向照明等传统的光照方式获取物体表面的图像，摄像机可以获取到纹理缺陷但难以有效地捕捉到结构缺陷。尽管目前的深度学习神经网络可以提取到较深层次的特征，仍无法从摄像机捕捉不到缺陷的图像中检测到缺陷。因此，对物体表面低效的照明方式，直接导致了现有机器视觉装置对缺陷的检测效果不佳。

其次，现有机器视觉检测装置的鲁棒性不够。大多数检测装置在理想工作环境下可以有效检测，当环境发生改变时，例如，相机工作距离、图像清晰图、光照强度、材料反光、上料过程中的硬件抖动等，将导致检测算法失效。因此，为确保在不同环境下的有效性，需要设计更稳定的缺陷检测算法以及更稳定的系统。

再次，现有机器视觉检测装置的实时性不高。对于检测要求较高的工业应用场景，现有的装置在检测缺陷的过程中需要较大的计算量，导致检测所需时间较长，例如深度学习算法，既需要大量的卷积计算，同时也需要昂贵的计算设备。

最后，现有的机器视觉检测装置缺乏对缺陷的定级与评判。现有的机器视觉检测装置难以在不同的工作环境中定义一套统一的缺陷标准。

发明内容

针对现有技术的上述不足，本发明提出了一种用于检测和测量产品表面缺陷的装置及方法，通过装置设备的调整和检测方法的重构，解决工业生产领域进行产品表面缺陷检测缺乏普适性、鲁棒性、实时性以及缺陷的定级等问题。

本发明实现上述一个目的的技术解决方案为，用于检测和测量产品表面缺陷的装置，其特征在于包括：

投影仪，用于向产线上实时通过的待检产品表面投射结构光；

相机，用于实时抓拍被投射结构光的待检产品表面成像；

计算机，总线连接投影仪及相机，用于对投影仪输出结构光，并接收来自于相机的采集图像，通过计算机所预设的图像处理算法，检测与测量物体的表面缺陷并量化尺寸规格。

进一步地，所述投影仪设为以蓝光作为结构光投射的光线，且所述结构光设为光栅条纹。

本发明实现上述另一个目的的技术解决方案为，用于检测和测量产品表面缺陷的方法，基于权利要求1至3中任一项所述装置实现，并以光栅为结构光，其特征在于包括：

S1、装置标定，通过计算投影仪成像区域与理想坐标的映射关系，将倾斜的光栅图像区域映射到理想坐标系中，得到与Y轴平行的光栅图像；

S2、学习参数，使用不同材质表面的样品通过投射及取景范围，并通过投影仪对场景投射正弦光栅条纹，学习包括模板特征、噪声阈值、缺陷阈值、背景亮度阈值、测量参数的图案特征；

S3、设定参数，根据检测需求，通过计算机设定至少包含错位长度、大小的缺陷参数；

S4、图像校正，在工作阶段利用装置标定步骤所得映射关系，将相机输入的倾斜光栅图像校正为相对光栅的条纹方向垂直的理想光栅图像；

S5、实时检测，向计算机输入图像校正后的理想光栅图像，并由计算机基于学习参数和设定参数对输入图像分割目标并检测缺陷，输出包含符合用户需求的全部缺陷信息的图像，

S6、分析缺陷，采用连通域分析算法提取缺陷信息的连通域特征，并基于测量参数将连通域特征转换至真实世界的缺陷量化表征，基于预设的缺陷参数，过滤并输出待检产品表面符合用户定义的缺陷量化表征或图像表征。

应用本发明该产品表面缺陷检测和测量的技术解决方案，与传统人工检测或其它机器视觉检测方法相比较，其显著的进步性概括为：提升了对物体表面三维缺陷的检测能力，尤其相对传统检测方法具有准确性、实时性、灵活性等多方面的提升效果，且降低了对计算机的硬件需求，性价比突出。

附图说明

图1为本发明检测和测量产品表面缺陷的装置结构示意图。

图2为本发明检测和测量产品表面缺陷的方法流程示意图。

图3为本发明检测方法中一张投射光栅图案。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明所述“以上”、“以下”均含本数。若未特别指明，实施举例中所用的技术手段为本领域技术人员所熟知的常规手段。需要说明的是：全文所述“计算”均指录入本发明提供算法/方法后利用硬件或软件自动运行的计算，并非指人为计算；在使用本发明提供算法/方法进行相机标定时，最终获得的标定结果也不以人的意志为转移。

如图1所示的装置硬件结构示意图可见，该装置主要包括投影仪、相机及计算机三部分。从功能限定来看，其中投影仪用于向产线上实时通过的待检产品表面投射结构光；而相机则用于实时抓拍被投射结构光的待检产品表面成像；两者集合成为一体，并固接于产线从中穿过的龙门架上，投影仪的投射角度和相机的拍摄距离、角度可调。另有未图示的计算机总线连接投影仪及相机，用于对投影仪输出结构光，并接收来自于相机的采集图像，通过计算机所预设的图像处理算法，检测与测量物体的表面包括划痕、污损、擦伤、碰伤等缺陷并量化尺寸规格。

本装置从数据获取的角度解决了缺乏普适性的问题。使用投影仪对检测物体表面投影光栅图像，并基于光栅在缺陷处产生畸变的原理，增强了物体表面缺陷的显著性，使摄像机可以有效获取到二维纹理缺陷与三维结构缺陷。

本装置设计了一套有效的缺陷检测方法解决了鲁棒性的问题。选择自然界中存在较少的蓝光作为结构光投射的光线，对环境光具有一定的鲁棒性。

基于上述检测和测量装置的结构描述，以下通过结合设备的技术路线描述，进一步理解其检测方法的可实现性。而该装置的技术路线如图2所示，该装置在使用前需进行学习，包括装置标定、学习参数、设定参数三个步骤。概括描述为：S1、装置标定，通过计算投影仪成像区域与理想坐标的映射关系，将倾斜的光栅图像区域映射到理想坐标系中，得到与Y轴平行的光栅图像；S2、学习参数，使用不同材质表面的样品通过投射及取景范围，并通过投影仪对场景投射正弦光栅条纹，学习包括模板特征、噪声阈值、缺陷阈值、背景亮度阈值、测量参数的图案特征；S3、设定参数，根据检测需求，通过计算机设定至少包含错位长度、大小的缺陷参数。而在结束学习过程后，在系统工作时会输出物体表面的缺陷信息，主要包括有图像校正、实时检测和缺陷分析的步骤。概括描述为：S4、图像校正，在工作阶段利用装置标定步骤所得映射关系，将相机输入的倾斜光栅图像校正为相对光栅的条纹方向垂直的理想光栅图像；S5、实时检测，向计算机输入图像校正后的理想光栅图像，并由计算机基于学习参数和设定参数对输入图像分割目标并检测缺陷，输出包含符合用户需求的全部缺陷信息的图像，S6、分析缺陷，采用连通域分析算法提取缺陷信息的连通域特征，并基于测量参数将连通域特征转换至真实世界的缺陷量化表征，基于预设的缺陷参数，过滤并输出待检产品表面符合用户定义的缺陷量化表征或图像表征。

从更具体的细节描述来看：首先装置标定，采用投影仪在物体投射条纹图案、相机拍摄的方式，获取物体表面信息。在实际环境中很难保持光栅条纹的方向与摄像机成像的垂直方向一致，因而实际获取的图像中光栅投影图案的方向多变，给后期的特征提取算法加大了难度。因此本装置通过计算投影仪成像区域与理想坐标的映射关系，将倾斜的光栅图像区域映射到理想坐标系中，得到与Y轴平行的光栅图像。这里理想坐标系具有本领域技术人员所习惯的认知及定义，结合产线而言，即传送带所在平面为XY平面，待检产品传送方向平行于Y轴，而待检产品高度即为Z轴。

装置的标定过程如下，首先对物体表面投影棋盘格图案；然后提取棋盘格图像中的最外侧角点的位置，并建立角点位置到理想坐标的透视变换关系；最终，利用这一透视变换关系将条纹倾斜的光栅图像校正为理想的光栅图像。

再者学习参数，在工作时，投影仪对场景投射正弦光栅条纹，在不同的工作环境和工作距离中，相机采集到的正弦波形有不同的周期、相位、幅度等特征；除此之外。投影光线经过材质表面吸收、折射、反射等过程，相机获取的正弦图案存在变形。本装置在工作前，通过学习不同材质表面的正弦图案特征，使其灵活应用在不同的环境中。需要学习的特征有：模板特征、噪声阈值、缺陷阈值、背景亮度阈值、测量相关参数等。

（1）、模板特征由一系列不同相位和周期的正弦数据构成。本装置获取无缺陷的待检测物体表面图案，通过图像处理算法，提取出不同相位、不同周期的归一化正选波形、并组成模板库。模板库中每一模板为一个周期的正弦数据，如图3所示。

（2）、噪声阈值用于实时检测阶段，判断某一数据段是否匹配到模板。本装置使用模板匹配算法，取无缺陷的表面图像中每一段数据，与模板库的模板进行匹配，找到最佳匹配的模板。在模板匹配之前，对无缺陷的表面图像进行归一化处理。计算无缺陷的表面图像中每一段数据与模板库中全部模板的平均绝对误差（MAE），将其作为噪声阈值，计算公式为，其中，为模板向量，为图像向量。而其中误差最小的模板即匹配的模板，该误差即为匹配误差。

（3）、缺陷阈值用于实时检测阶段，判断某一数据段是否包含缺陷。本装置使用模板匹配算法，将带有缺陷的表面图像与模板库的模板进行匹配，计算图像中所有数据段的匹配误差，并将其从小到到排序。缺陷阈值取全部匹配误差中，第k个值，其中k值由缺陷占图像中的比例决定，为自定义设置的取值个数。

（4）、背景亮度阈值用于实时检测阶段，用于分割图像中的目标区域和背景区域。由于不同材质的表面对投影仪光的反射系数不同，例如表面光滑的材质，常见的有玻璃、显示屏等，当图案投影仪到其表面将发生镜面反射，相机捕获的图像其亮度往往较低；对表面粗糙的材质投影图案，在其表面产生漫反射，相机捕获的图像其亮度往往较高。本装置基于目标材质与背景的表面反射系数不同，对背景材质投影全亮的图案，并取背景材质图像的亮度平均值为背景亮度阈值，用于分割出图像中的目标区域和背景区域。

（5）、测量参数（或与测量相关的参数）用于实时检测阶段，表示图像坐标与真实世界的映射关系。本装置既可以检测出缺陷的形状、图像中的位置，也可以测量出其实际大小、周长、面积等真实世界中的参数。

继而设定参数，可根据用户的需求，通过参数设定，可检测出符合要求的缺陷，主要参数有错位长度、缺陷大小等。

（1）缺陷大小，在实际工业应用中，不同的产品对缺陷的容忍度不同。例如在某些玻璃检测项目中，允许玻璃表面出现最长边在0.2mm的缺陷，当某一块玻璃表面存在最长边为0.1mm的缺陷仍然是良品。因此，本装置可以通过设定缺陷大小的参数，满足实际应用中不同的要求。

（2）缺陷定义，在实际工业应用中，不同的光照强度、不同的工作距离等成像因素导致缺陷在不同的设备中很难有一套统一的评判标准。本装置提出一种缺陷定义标准为错位判断法。错位是指数据段中某一处向左或右偏移一定的长度，当图像某一数据段存在缺陷，归一化的图像数据段与其匹配模板在缺陷处存在较大误差。假设存在误差的位置为x，如果数据段x位置处值与向左或右错位len个像素后的模板的值相等，则错位长度为len。错位判断法中设置一个错位阈值，当该错位长度大于阈值，则判定该像素为缺陷，否则为噪声。

完成检测前准备后，接着图像校正，由于实际环境中很难保持光栅条纹的方向与摄像机成像的垂直方向一致，因而实际获取的图像中光栅投影图案的方向多变，给实时检测过程加大了难度。本装置基于装置标定步骤得到的透视变换关系，在工作阶段将输入的倾斜光栅图像校正为条纹方向垂直的理想光栅图像。

而后实时检测，该阶段基于学习参数和设定参数，输出符合用户需求的全部缺陷。该阶段的输入图像是理想光栅图像，输出为图像中的缺陷信息，包括缺陷在图像中的位置、宽度和高度，缺陷在真实世界的参数，例如周长、面积与最长边等。该阶段主要由分割目标、检测缺陷。

在实际工业应用中，当待检测的物体形状不规则或相机的视野较大是，光栅图像夹杂一部分背景区域，将影响缺陷检测算法的有效性。本装置基于不同材质对投影不同的图案反射能力，使用学习得到的背景亮度阈值，基于阈值化的方法分割出目标区域与背景区域。除此之外，物体的边缘也存在一部分缺陷，例如破边缺陷。本装置通过对目标区域的边缘进行拟合，拟合的方法有圆形、椭圆、多边形等方法，对目标区域进行填补。

在检测缺陷阶段基于用户对缺陷的定义，在图像中检测出满足错位判断法条件的全部缺陷。检测方法主要由基于模板匹配的异常检测、缺陷区域计算两部分构成。

具体地，通过模板匹配检测出图像中全部异常区域，异常区域包括缺陷区域、图像中的噪声。对图像数据进行归一化处理；基于目标区域图像和模板库，对归一化的光栅图像进行模板匹配，生成模板图像；计算模板图像与归一化光栅图像的误差，生成误差图像，误差计算方法为绝对误差；基于模板图像生成错位阈值图像，并对误差图像进行阈值化操作，标记误差图像中大于对应阈值的区域为异常区域。而后对异常图像进行填充，得到理想的匹配光栅图像；并与归一化的光栅图像计算误差，生成误差图像；然后，基于错位阈值图像对误差图像阈值化，生成缺陷区域图像。其中，异常图像的填充方法采用异常区域周边的值进行补充，例如取周边像素的平均值。

最后分析缺陷，基于缺陷区域图像提取所有缺陷的信息，例如缺陷在图像中的位置、宽度和高度，缺陷在真实世界的参数，例如周长、面积与最长边等。采用连通域分析算法提取缺陷的连通域，并基于学习阶段获取的测量相关参数，将连通域特征转换到真实世界中，测量缺陷的大小、周长、面积等信息。除此之外，本装置基于用户对缺陷的容忍度要求，过滤不符合要求的缺陷，输出产品表面上用户定义的缺陷信息。

本发明针对各种场景的工业环境设计了一套有效的缺陷检测算法，在相机工作距离不固定、图像清晰度改变、光照强度不均、材料反光、上料过程中的硬件抖动等环境中，具有准确、稳定的检测能力。而本方法的计算量小于现有各类检测方法计算量的万分之一，在确保检测性能的基础上、显著提高了检测速度。同时由于计算量的小型化改善，也降低了对计算机的硬件要求，仅需要普通的计算机，不需要昂贵的显卡、FPGA等并行计算设备辅助也可以达到工业的实时性要求，可满足大多数工业应用的要求。

综上关于本发明产品表面缺陷检测和测量装置及方法的实施例详述，较之于传统人工检测或其它机器视觉检测方法相比较，其显著的进步性逐条描述如下。

（1）普适性高：本装置通过对物体表面投射光栅图案，使用相机捕捉到缺陷，最终通过机器视觉算法检测出缺陷。不仅可以检测出划痕、磨损等平面二维缺陷，对于物体表面三维的缺陷也有很好的检测能力，例如凸起、凹陷、碰伤等。

（2）准确性高：本装置基于机器视觉技术，克服了外界环境对缺陷检测功能的影响，本装置对亮暗不均等复杂的应用环境具有较高的鲁棒性。在实际应用场景中测试，本装置克服了物体在传输过程中的抖动影响，并且漏检率低于0.05%，错检率低于0.5%，最小可检测出一个像素大小的缺陷。

（3）实时性高：本装置机器视觉技术，提出快速有效的缺陷检测算法。在普通台式机上计算，对一张500万像素图像的检测速度为20毫秒。

（4）灵活性高：本项装置体积小，安装过程中不需要复杂的标定，只需要在特定区域放置标定板即可完成标定过程，应用场景灵活。

（5）性价比高：本装置对硬件的要求较低，仅需要普通的计算机，不需要昂贵的显卡、FPGA等并行计算设备辅助也可以达到工业的实时性要求，同时满足大多数工业应用的准确性要求。

（6）本装置设计了一套对缺陷的定级与评判的方法，在不同的工作环境中按照客户的需求，有效定义了需检测的缺陷标准。

尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以作出很多形式的具体变换，这些均属于本发明的保护范围内。

Claims (2)

1.用于检测和测量产品表面缺陷的方法，所用装置包括用于向产线上实时通过的待检产品表面投射结构光的投影仪，用于实时抓拍被投射结构光的待检产品表面成像的相机和总线连接投影仪及相机的计算机，所述计算机用于对投影仪输出结构光，并接收来自于相机的采集图像，通过所预设的图像处理算法，检测与测量物体的表面缺陷并量化尺寸规格，所述投影仪设为投射蓝光的光栅条纹，其特征在于包括：

S1、装置标定，通过计算投影仪成像区域与理想坐标的映射关系，将倾斜的光栅图像区域映射到理想坐标系中，得到与Y轴平行的光栅图像；

S2、学习参数，使用不同材质表面的样品通过投射及取景范围，并通过投影仪对场景投射正弦光栅条纹，学习包括模板特征、噪声阈值、缺陷阈值、背景亮度阈值、测量参数的图案特征，其中所述模板特征为获取无缺陷的待检物体表面图案，通过图像处理算法提取出不同相位、不同周期的归一化正弦波形、并组成模板库；所述噪声阈值为计算无缺陷的表面图像中每一段数据于模板库中全部模板的平均绝对误差，其中为模板向量，为图像向量；所述缺陷阈值得自于将带有缺陷的表面图像与模板库的模板进行匹配，并计算图像中所有数据段的匹配误差、从小到大排序后自定义设置的取值个数；所述背景亮度阈值为对待检产品的背景材质投影全亮的图案，并取背景材质图像的亮度平均值所得；所述测量参数表示图像坐标与真实世界的对应关系；

S3、设定参数，根据检测需求，通过计算机设定至少包含错位长度、大小的缺陷参数；

S4、图像校正，在工作阶段利用装置标定步骤所得映射关系，将相机输入的倾斜光栅图像校正为相对光栅的条纹方向垂直的理想光栅图像；

S5、实时检测，向计算机输入图像校正后的理想光栅图像，并由计算机基于学习参数和设定参数对输入图像分割目标并检测缺陷，输出包含符合用户需求的全部缺陷信息的图像，其中所述分割目标为基于背景亮度阈值提取目标区域，并对目标区域作边缘拟合，对图像数据进行归一化处理，所述检测缺陷为基于目标区域图像和模板库，对归一化的光栅图像进行模板匹配，生成模板图像；计算模板图像与归一化光栅图像的误差，生成误差图像，误差计算方法为绝对误差；基于模板图像生成错位阈值图像，并对误差图像进行阈值化操作，标记误差图像中大于对应阈值的区域为异常区域，而后对异常图像进行填充，得到理想的匹配光栅图像；并与归一化的光栅图像计算误差，生成误差图像；然后基于错位阈值图像对误差图像阈值化，生成缺陷区域图像；

S6、分析缺陷，采用连通域分析算法提取缺陷信息的连通域特征，并基于测量参数将连通域特征转换至真实世界的缺陷量化表征，基于预设的缺陷参数，过滤并输出待检产品表面符合用户定义的缺陷量化表征或图像表征。

2.根据权利要求1所述用于检测和测量产品表面缺陷的方法，其特征在于：设定参数中定义错位判断法，根据数据段中某一处存在相位偏移，并在归一化图像数据段后与匹配模板在对应处存在误差超限与否作出评判。