[go: up one dir, main page]

CN116152166A - 基于特征相关性的缺陷检测方法及相关装置 - Google Patents

基于特征相关性的缺陷检测方法及相关装置 Download PDF

Info

Publication number
CN116152166A
CN116152166A CN202211592462.8A CN202211592462A CN116152166A CN 116152166 A CN116152166 A CN 116152166A CN 202211592462 A CN202211592462 A CN 202211592462A CN 116152166 A CN116152166 A CN 116152166A
Authority
CN
China
Prior art keywords
circuit board
image
board image
feature
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211592462.8A
Other languages
English (en)
Inventor
蔡淳昊
田倬韬
易振彧
徐佳锋
刘枢
吕江波
沈小勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Smartmore Technology Co Ltd
Original Assignee
Shenzhen Smartmore Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Smartmore Technology Co Ltd filed Critical Shenzhen Smartmore Technology Co Ltd
Priority to CN202211592462.8A priority Critical patent/CN116152166A/zh
Publication of CN116152166A publication Critical patent/CN116152166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请提供一种基于特征相关性的缺陷检测方法及相关装置。方法包括:获取待测电路板图像和样本电路板图像;提取待测电路板图像的第一特征信息和样本电路板图像的第二特征信息;基于第一特征信息与第二特征信息之间的相关性特征,对待测电路板图像进行缺陷检测,得到缺陷检测结果;其中,相关性特征用于表征待测电路板图像与样本电路板图像之间对应相同区域的相同程度。采用本申请,有助于提高PCB缺陷检测的准确率。

Description

基于特征相关性的缺陷检测方法及相关装置
技术领域
本申请涉及图像处理技术领域,特别是涉及一种基于特征相关性的缺陷检测方法及相关装置。
背景技术
随着汽车电子、通讯设备、变压器、电感装置和电源模块等产品在生活中的广泛应用以及电子信息技术、通讯技术的快速发展,市场对高传输、高电压的电子产品提出了更高的要求。而作为电子产品的基础承载部件-印制电路板(Printed circuit board,简称PCB),其性能的优劣直接影响对应电子产品的性能。
由于PCB在生产过程中无法避免地存在大量的缺陷,并且存在的缺陷主要位于PCB的电路元件处。因此,需要对存在缺陷的电路元件进行检测,以进行后续的PCB修复工作。目前对PCB进行缺陷检测主要是通过自动光学检测(Automated Optical Inspection,AOI)设备利用光学相机采集PCB的图像,并使用图像处理、机器学习等方法,检测和定位出PCB上的缺陷。
然而,由于AOI检测PCB的检测精度以及PCB上缺陷的形状、数量和类型等影响因素,导致一些相似的区域中的缺陷或者未知类型的缺陷不能被检测出,以使得PCB缺陷检测的准确率不高。
发明内容
基于此,有必要针对上述技术问题,提供一种基于特征相关性的缺陷检测方法及相关装置,能够实现提高对PCB进行缺陷检测的准确率。
第一方面,本申请提供了一种基于特征相关性的缺陷检测方法,包括:
获取待测电路板图像和样本电路板图像;
提取待测电路板图像的第一特征信息和样本电路板图像的第二特征信息;
基于第一特征信息与第二特征信息之间的相关性特征,对待测电路板图像进行缺陷检测,得到缺陷检测结果;其中,相关性特征用于表征待测电路板图像与样本电路板图像之间对应相同区域的相同程度。
第二方面,本申请还提供了一种基于特征相关性的缺陷检测装置,包括:
获取单元,用于获取待测电路板图像和样本电路板图像;
提取单元,用于提取待测电路板图像的第一特征信息和样本电路板图像的第二特征信息;
检测单元,用于基于第一特征信息与第二特征信息之间的相关性特征,对待测电路板图像进行缺陷检测,得到缺陷检测结果;其中,相关性特征用于表征待测电路板图像与样本电路板图像之间对应相同区域的相同程度。
第三方面,本申请还提供了一种电子设备,该电子设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现如上述的基于特征相关性的缺陷检测方法。
第四方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的基于特征相关性的缺陷检测方法。
第五方面,本申请还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,计算机程序被处理器执行时实现如上述的基于特征相关性的缺陷检测方法。
上述基于特征相关性的缺陷检测方法及相关装置,一方面,仅利用待测电路板图像和样本电路板图像的特征信息,确定出两者之间对应区域的相同程度,从而能够易于进行后续PCB的缺陷检测流程,以提升缺陷检测的效率和保证检测的实时性;另一方面,利用待测电路板图像和样本电路板图像之间对应区域的相同程度,来检测待测电路板图像中的缺陷,能够提升PCB缺陷检测的准确率和保证电路板较高的召回率。
附图说明
图1是本申请实施例提供的一种基于特征相关性的缺陷检测方法的应用环境图;
图2是本申请实施例提供的第一种基于特征相关性的缺陷检测方法的流程示意图;
图3是本申请实施例提供的对待测电路板图像进行缺陷检测的流程示意图;
图4是本申请实施例提供的确定第一特征信息与第二特征信息之间相关性特征的流程示意图;
图5是本申请实施例提供的对缩放后的待测电路板图像进行缺陷检测的流程示意图;
图6是本申请实施例提供的对缩放后的待测电路板图像进行缺陷识别和缺陷标注的流程示意图;
图7是本申请实施例提供的第二种基于特征相关性的缺陷检测方法的流程示意图;
图8是本申请实施例提供的对缺陷电路板进行更新的流程示意图;
图9是本申请实施例提供的第三种基于特征相关性的缺陷检测方法的流程示意图;
图10是本申请实施例提供的一种基于特征相关性的缺陷检测装置框图;
图11是本申请实施例提供的一种电子设备的框图;
图12是本申请实施例提供的一种计算机可读存储介质的框图;
图13是本申请实施例提供的一种计算机程序产品的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是:当用在本说明书中时,“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在,但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本申请中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外,本申请中尽管多次采用术语“第一”、“第二”等来描述各种操作(或各种元件或各种应用或各种指令或各种数据)等,不过这些操作(或元件或应用或指令或数据)不应受这些术语的限制。这些术语只是用于区分一个操作(或元件或应用或指令或数据)和另一个操作(或元件或应用或指令或数据)。例如,第一数量的像素特征可以被称为第二数量的像素特征,第二数量的像素特征也可以被称为第一数量的像素特征,仅仅是其两者所包括的范围不同,而不脱离本申请的范围,第一数量的像素特征和第二数量的像素特征都是各种电路板上的相应数量的像素特征集合,只是二者并不是相同的电路板上相应数量的像素特征的集合而已。
本申请实施例提供的基于特征相关性的缺陷检测方法,可以应用于如图1所示的应用环境中。其中,电子设备102通过通信网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。
在一些实施例中,参考图1,服务器104首先获取待测电路板图像和样本电路板图像;然后,再提取待测电路板图像的第一特征信息和样本电路板图像的第二特征信息;最后,再基于第一特征信息与第二特征信息之间的相关性特征,对待测电路板图像进行缺陷检测,得到缺陷检测结果;其中,相关性特征用于表征待测电路板图像与样本电路板图像之间对应相同区域的相同程度。
在一些实施例中,电子设备102(如移动终端、固定终端)可以以各种形式来实施。其中,电子设备102可为包括诸如移动电话、智能电话、笔记本电脑、便携式手持式设备、个人数字助理(PDA,Personal Digital Assistant)、平板电脑(PAD)等等的可以基于至少两种图像的特征信息之间对应的相关性特征,对电路板图像进行缺陷检测的移动终端,电子设备102也可以是自动柜员机(Automated Teller Machine,ATM)、门禁一体机、数字TV、台式计算机、固式计算机等等的可以基于至少两种图像的特征信息之间对应的相关性特征,对电路板图像进行缺陷检测的固定终端。下面,假设电子设备102是固定终端。然而,本领域技术人员将理解的是,若有特别用于移动目的的操作或者元件,根据本申请公开的实施方式的构造也能够应用于移动类型的电子设备102。
在一些实施例中,服务器104运行的图像处理组件和数据处理组件可以加载正在被执行的可以包括各种附加服务器应用和/或中间层应用中的任何一种,如包括HTTP(超文本传输协议)、FTP(文件传输协议)、CGI(通用网关界面)、RDBMS(关系型数据库管理系统)等。
在一些实施例中,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器104可以适于运行提供前述公开中描述的电子设备102的一个或多个应用服务或软件组件。
在一些实施例中,应用服务可以包括例如用于对待测电路板图像的特征信息和样本电路板图像的特征信息进行提取服务,以及在提取图像的特征信息之后,为用户提供后续对电路板图像进行缺陷检测的服务等等。软件组件可以包括例如具有对电路板图像进行缺陷检测功能的APP或者客户端。
在一些实施例中,具有对电路板图像进行缺陷检测功能的APP或者客户端包括一个在前台向用户提供一对一应用服务的门户端口和多个位于后台进行数据处理的业务系统,以将缺陷检测功能的应用扩展到APP或者客户端,从而用户能够在任何时间任何地点进行缺陷检测功能的使用和访问。
在一些实施例中,APP或者客户端的缺陷检测功能可为运行在用户模式以完成某项或多项特定工作的计算机程序,其可以与用户进行交互,且具有可视的用户界面。其中,APP或者客户端可以包括两部分:图形用户接口(GUI)和引擎(engine),利用这两者能够以用户界面的形式向用户提供多种应用服务的数字化客户系统。
在一些实施例中,用户可以通过输入装置向APP或者客户端输入相应的代码数据或者控制参数,以执行计算机程序的应用服务,以及显示用户界面中的应用服务。例如,需要对待测电路板图像的特征信息和样本电路板图像的特征信息进行提取时,则用户通过输入装置进行操作以及通过用户界面进行显示。可选地,输入装置可为触屏输入、按键输入、语音输入或瞳孔聚焦输入等等。
在一些实施例中,APP或者客户端运行的操作系统可以包括各种版本的Microsoft
Figure BDA0003995231300000061
Apple
Figure BDA0003995231300000062
和/或Linux操作系统、各种商用或类
Figure BDA0003995231300000063
操作系统(包括但不限于各种GNU/Linux操作系统、Google
Figure BDA0003995231300000064
OS等)和/或移动操作系统,诸如
Figure BDA0003995231300000065
Phone、
Figure BDA0003995231300000066
OS、
Figure BDA0003995231300000067
OS、
Figure BDA0003995231300000068
OS操作系统,以及其它在线操作系统或者离线操作系统。
在一些实施例中,如图2所示,提供了第一种基于特征相关性的缺陷检测方法,以该方法应用于图1中的服务器104为例进行说明,该方法包括以下步骤:
步骤S11,获取待测电路板图像和样本电路板图像。
在一些实施例中,用户通过电子设备中的摄像装置实时采集待测电路板的拍摄图像和样本电路板的拍摄图像,然后,电子设备再将采集的拍摄图像发送至服务器进行后续数据处理。
在一些实施例中,待测电路板的拍摄图像和样本电路板的拍摄图像已经被电子设备中的摄像装置或者其他装置预先拍摄完成且存储在一第三方机构(如,图像数据库、云存储平台等)中,在服务器响应于接收到用户选择的启动获取拍摄图像的指令时,服务器从对应的第三方机构中获取待测电路板图像和样本电路板图像。
在一些实施例中,电子设备中的摄像装置为自动光学检测设备(AutomatedOptical Inspection,AOI)或者为自动视觉检测(automated vision inspection,AVI),其中,AOI或者AVI是集成了图像传感技术、数据处理技术、运动控制技术,其是基于光学原理来对PCB电路板焊接生产中遇到的常见缺陷进行检测的设备。当自动检测时,AOI机器或者AVI机器通过摄像头自动扫描PCB,采集待测电路板的拍摄图像和样本电路板的拍摄图像。
在一些实施例中,AOI机器或者AVI机器自身可搭载有深度相机、3D相机、单目相机或者双目相机等中的一个的图像采集装置,并根据用户的输入,而产生对应的控制信息,以采集待测电路板的拍摄图像和样本电路板的拍摄图像。
在一些实施例中,采集待测电路板的拍摄图像和样本电路板的拍摄图像为PCB(Printed circuit boards,印制电路板)图像。其中,PCB板面分为电路板区域和非电路板区域。
在一些实施例中,在PCB的电路板区域上具有通过药剂蚀刻的PCB线路,在PCB线路上为细小且密集的电路元件及其尖角(即尖角区域自方形区域的四个直角部位向外凸起,并使方形区域相邻两直线在相互靠近的端部形成相互交叉的倾斜线,两条相邻的倾斜线相互交叉形成尖角;倾斜线称为尖角线段)。由于药剂张力的原因,因此PCB在生产过程中无法避免地存在大量的缺陷(由于制造工艺的原因,在电路板的生产过程中,难免会出现例如:缺孔、鼠式侵蚀、开路、短路、毛刺、铜渣等缺陷),并且PCB线路上的尖角往往为假点尖角(由于尖角的孔口发亮、基材反光、局部被氧化及脏点等原因,在电路元件上会出现较多假点)。因此,AOI机器或者AVI机器采集的待测电路板图像就是为具有各种各样缺陷和尖角的PCB图像。
其中,样本电路板图像即为PCB对应的原理设计图,其相较于PCB图像,其板面上没有缺陷和尖角位置处也没有假点尖角,其为最理想状态的PCB板。
步骤S12,提取待测电路板图像的第一特征信息和样本电路板图像的第二特征信息。
在一些实施例中,服务器通过预设的神经网络从采集的待测电路板图像中提取出图像的特征信息,以及从样本电路板图像中提取出图像的特征信息。
在一些实施例中,待测电路板图像的第一特征信息和样本电路板图像的第二特征信息包括图像的颜色特征、纹理特征、形状特征、空间关系特征等信息。
在一些实施例中,服务器首先分别对待测电路板图像和样本电路板图像进行裁剪,然后再使用Harris角点检测方法提取待测电路板图像和样本电路板图像中所有的角点,最后,服务器通过预设的神经网络(如,卷积神经网络、语义分割网络等)对提取的角点进行特征分析,以提取出特征信息。
在一些实施例中,服务器可以将待测电路板图像和样本电路板图像输入一预先训练的卷积神经网络模型中(例如,UNet网络模型、CNN网络模型、RNN网络模型等),以从该卷积神经网络模型中直接得到待测电路板图像和样本电路板图像的特征信息。
作为一示例,预先训练的卷积神经网络模型为UNet卷积神经网络。其中,UNet卷积神经网络可以分成两部分,一是特征提取部分,其和其他卷积神经网络一样,都是通过堆叠卷积提取图像特征,通过池化来压缩特征图。另一部分为图像还原部分,通过上采样和卷积来将压缩的图像进行还原。其中,特征提取部分可以使用残差网络结构,例如:Resnet50,VGG等。其中,也可以使用样本平衡损失函数(即focal loss)作为神经网络的损失函数来平衡正负例,最终得到能够输出特征信息的损失函数不再降低的稳定语义分割模型。
步骤S13,基于第一特征信息与第二特征信息之间的相关性特征,对待测电路板图像进行缺陷检测,得到缺陷检测结果。
在一些实施例中,相关性特征用于表征待测电路板图像与样本电路板图像之间对应相同区域的相同程度。
在一些实施例中,服务器首先基于待测电路板图像的第一特征信息和样本电路板图像的第二特征信息,确定出待测电路板图像和样本电路板图像之间对应各个相同区域的相关性特征(包括相同区域的相同程度),然后,服务器再根据各个相同区域的相关性特征确定出待测电路板图像上的缺陷信息,以完成对待测电路板图像的缺陷检测。
在一些实施例中,相关性特征可以为待测电路板图像和样本电路板图像之间对应各个相同区域的特征相似度。例如,纹理特征的相似度、颜色特征的相似度、形状特征的相似度等等。
在一些实施例中,服务器根据待测电路板图像和样本电路板图像之间对应各个相同区域的特征相似度与预设的相似度阈值进行比较,若特征相似度小于相似度阈值,则表明该对应区域的待测电路板图像中包括有缺陷,若特征相似度大于或等于相似度阈值,则表明该对应区域的待测电路板图像中没有缺陷。
上述基于特征相关性的缺陷检测方法中,一方面,仅利用待测电路板图像和样本电路板图像的特征信息,确定出两者之间对应区域的相同程度,从而能够易于进行后续的缺陷检测流程,以提升缺陷检测的效率和保证检测的实时性;另一方面,利用待测电路板图像和样本电路板图像之间对应区域的相同程度,来检测待测电路板图像中的缺陷,能够提升缺陷检测的准确率和保证电路板较高的召回率。
本领域技术人员可以理解地,在具体实施方式的上述方法中,所揭露的方法可以通过更为具体的方式以实现。例如,上述的基于特征相关性的缺陷检测方法的实施方式仅仅是一种示意性的描述。
示例性地,对待测电路板图像的特征信息和样本电路板图像的特征信息进行提取的过程等等,其仅仅为一种集合的方式,实际实现时可以有另外的划分方式,例如待测电路板图像的特征信息和样本电路板图像的特征信息可以结合或者可以集合到另一个系统中,或一些特征可以忽略,或不执行。
在更具体的实施方式中,在服务器实现对待测电路板图像的特征信息和样本电路板图像的特征信息进行提取的过程中,还可以包括需要利用各种插值算法先对待测电路板图像和样本电路板图像进行缩放。随后,再基于缩放后的待测电路板图像和样本电路板图像进行缺陷检测的过程。
在一些实施例中,服务器在获取待测电路板图像和样本电路板图像之后,还可以包括:
对待测电路板图像和样本电路板图像进行缩放,得到像素尺寸相同的缩放后的待测电路板图像和样本电路板图像。
在一些实施例中,服务器可以通过插值法来对待测电路板图像和样本电路板图像进行缩放。
在一些实施例中,插值算法可以包括自适应插值算法和非自适应插值算法。自适应的方法可以根据插值的内容来改变(例如,图像中包括的尖锐的边缘或者是平滑的纹理),非自适应的方法需要对特征图中所有的像素点都进行同样的缩放处理。其中,非自适应算法包括:最近邻,双线性,双三次,样条,sinc,lanczos等。
在一些实施例中,由于待测电路板图像和样本电路板图像中对应包括的特征的复杂度不相同,服务器通过插值算法对待测电路板图像和样本电路板图像中的特征使用从0至256(或者更多)的邻近像素进行插值缩放(包括插值扭曲),以得到像素尺寸相同的缩放后的待测电路板图像和样本电路板图像。
在一些实施例中,服务器对待测电路板图像和样本电路板图像中的特征进行插值缩放包含的邻近像素越多,则扭曲或者缩放后的图像越精确,但其消耗的时间也越长。
在一些实施例中,服务器提取待测电路板图像的第一特征信息和样本电路板图像的第二特征信息,具体可以包括:
提取缩放后的待测电路板图像的第一特征信息和缩放后的样本电路板图像的第二特征信息。
在一些实施例中,服务器通过预设的神经网络从采集的待测电路板图像中提取出图像的特征信息,以及从样本电路板图像中提取出图像的特征信息。
在一些实施例中,缩放后的待测电路板图像的第一特征信息和缩放后的样本电路板图像的第二特征信息均包括在图像对应像素点位置的颜色特征、纹理特征、形状特征、空间关系特征中的至少一种。
在一些实施例中,图像对应像素点位置的空间关系特征用于表征图像的特征信息中对应的一个特征所在像素点位置与邻近特征所在像素点位置的距离和方向关系。
在一些实施例中,图像对应像素点位置的颜色特征包括图像的特征信息中对应的一个特征的外观颜色的像素占比和颜色随距离变换的空间关系。
在一些实施例中,图像对应像素点位置的形状特征包括轮廓特征和区域特征。其中,轮廓特征主要针对图像的特征信息中对应的一个特征的外边界,区域特征主要针对图像的特征信息中对应的整个形状区域。
在一些实施例中,参阅图3,图3为本申请中对待测电路板图像进行缺陷检测一实施例的流程示意图。在步骤S13中,服务器基于第一特征信息与第二特征信息之间的相关性特征,对待测电路板图像进行缺陷检测,得到缺陷检测结果,具体可以通过以下方式实现:
步骤S131,确定第一特征信息与第二特征信息之间的相关性特征。
在一些实施例中,参阅图4,图4为本申请中确定第一特征信息与第二特征信息之间相关性特征一实施例的流程示意图。在步骤S131中,服务器第一特征信息与第二特征信息之间的相关性特征,具体可以通过以下方式实现:
步骤a1,确定缩放后的待测电路板图像与缩放后的样本电路板图像之间对应相同像素点位置的每一对像素点。
在一些实施例中,服务器首先在相同像素尺寸的待测电路板图像和样本电路板图像中,确定出两种图像的像素点位置对应相同的每一对像素点。
步骤a2,基于第一特征信息和第二特征信息,计算每一对像素点对应至少一种特征信息的相似度。
在一些实施例中,服务器可通过欧斯距离或余旋距离计算相同像素点位置的每一对像素点对应至少一种特征信息的相似度。
其中,在计算出待测电路板图像的像素点A的特征向量和样本电路板图像的像素点B的特征向量之间的欧斯距离或余旋距离之后,再基于欧斯距离或余旋距离确定待测电路板图像的像素点A和样本电路板图像的像素点B对应至少一种特征信息的相似度。
步骤S132,根据相关性特征,对缩放后的待测电路板图像进行缺陷检测,得到缺陷检测结果。
在一些实施例中,参阅图5,图5为本申请中对缩放后的待测电路板图像进行缺陷检测一实施例的流程示意图。在步骤S132中,服务器根据相关性特征,对缩放后的待测电路板图像进行缺陷检测,得到缺陷检测结果,具体可以通过以下方式实现:
步骤a3,确定缩放后的待测电路板图像对应第一数量的像素特征和缩放后的样本电路板图像对应第二数量的像素特征。
在一些实施例中,在服务器对待测电路板图像和样本电路板图像进行缩放之后,服务器再确定待测电路板图像的特征信息对应在图像上通道数量为第一通道数量的像素点特征,和样本电路板图像的特征信息对应在图像上通道数量为第二通道数量的像素点特征。
作为示例,待测电路板图像的特征信息对应在缩放后的待测电路板图像上具有A1个特征,该A1个特征分布在缩放后的待测电路板图像上占据有A2个像素点,则该A2个像素点即为在图像上通道数量为第一通道数量的像素点特征。样本电路板图像的特征信息对应在缩放后的样本电路板图像上具有B1个特征,该B1个特征分布在缩放后的样本电路板图像上占据有B2个像素点,则该B2个像素点即为在图像上通道数量为第二通道数量的像素点特征。
步骤a4,基于第一数量的像素特征、第二数量的像素特征和每一对像素点对应至少一种特征信息的相似度,对缩放后的待测电路板图像进行缺陷识别和缺陷标注,得到缺陷检测结果。
在一些实施例中,参阅图6,图6为本申请中对缩放后的待测电路板图像进行缺陷识别和缺陷标注一实施例的流程示意图。在步骤a4中,服务器基于第一数量的像素特征、第二数量的像素特征和每一对像素点对应至少一种特征信息的相似度,对缩放后的待测电路板图像进行缺陷识别和缺陷标注,得到缺陷检测结果,具体可以通过以下方式实现:
步骤b1,基于第一数量的像素特征、第二数量的像素特征和每一对像素点对应至少一种特征信息的相似度,遍历识别缩放后的待测电路板图像中的每一像素点,得到缺陷识别结果。
在一些实施例中,服务器将待测电路板图像的第一通道数量的像素特征、样本电路板图像的第二通道数量的像素特征和图像对应的至少一种特征信息的相似度输入到一已训练的卷积神经网络模型中对缩放后的待测电路板图像中的每一像素点进行遍历识别是否属于缺陷特征对应的像素点。
步骤b2:基于缺陷识别结果,标注对应的像素点区域,得到缺陷检测结果。
在一些实施例中,卷积神经网络模型若遍历识别出缩放后的待测电路板图像中对应的一部分像素点是属于缺陷特征对应的像素点,则卷积神经网络模型对该部分的像素点区域进行标注,最后卷积神经网络模型向服务器输出已标注完成的缩放后的待测电路板图像,以作为缺陷检测结果。
在一些实施例中,标注完成的缩放后的待测电路板图像中包括卷积神经网络模型通过框选或者添加特定颜色的方式,对属于缺陷特征对应的像素点区域进行的标注,并且在标注区域的邻近区域还标注有属于缺陷特征对应的像素点区域的位置信息。
在一些实施例中,如图7所示,提供了第二种基于特征相关性的缺陷检测方法,以该方法应用于图1中的服务器104为例进行说明,该方法包括以下步骤:
步骤S21,利用样本电路板图像,遍历缩放后的待测电路板图像和样本电路板图像之间对应相同区域的相似度是否满足预设阈值。
在一些实施例中,样本电路板图像为预设的无缺陷电路板的采集图像和待测电路板的设计图像中的任意一种。其中,待测电路板的设计图像中为设计的无缺陷电路板的图像。
在一些实施例中,服务器将设计为无缺陷的样本电路板图像去遍历匹配相同像素尺寸的待测电路板图像的每一个相同的区域。其中,匹配的过程包括确定其每一个相同的区域的相似度是否满足预设阈值。
步骤S22,若不满足预设阈值,则在缩放后的待测电路板图像中,标注对应于不满足预设阈值的图像区域,作为缩放后的待测电路板图像中的缺陷区域。
在一些实施例中,服务器若确定出在待测电路板图像的至少一部分的区域中与样本电路板图像对应相同的区域的相似度不满足预设阈值要求,则服务器在缩放后的待测电路板图像中对该至少一部分的区域进行标注,并将标注后的区域作为待测电路板图像中的缺陷区域。
在一些实施例中,样本电路板图像可以为预设的缺陷电路板的采集图像。其中,缺陷电路板为设计工程师预先在电路板上制作有多种已知缺陷的电路板,即该样本电路板可以视为一个缺陷样本模板。
在一些实施例中,服务器可以利用缺陷电路板的采集图像,遍历缩放后的待测电路板图像中的每一像素点区域,标注缩放后的待测电路板图像中与采集图像相匹配的图像区域,作为缩放后的待测电路板图像中的缺陷区域。
具体地,服务器将设计为缺陷样本模板的样本电路板图像去遍历匹配相同像素尺寸的缩放后的待测电路板图像的每一个相同的区域。其中,匹配的过程包括确定其每一个相同的区域的相似度是否满足预设阈值。
进一步地,服务器若确定出在缩放后的待测电路板图像的至少一部分的区域中与样本电路板图像对应相同的区域的相似度满足预设阈值要求,则服务器在缩放后的待测电路板图像中对该至少一部分的区域进行标注,并将标注后的区域作为待测电路板图像中的缺陷区域。
在一些实施例中,参阅图8,图8为本申请中对缺陷电路板进行更新一实施例的流程示意图。在服务器标注缩放后的待测电路板图像中与采集图像相匹配的图像区域之后,具体还可以进行以下的实现过程:
步骤c1,提取与采集图像相匹配的图像区域。
在一些实施例中,服务器在缩放后的待测电路板图像中将标注的与采集图像相匹配的图像区域提取出来。
步骤c2,对提取的图像区域进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理,得到多个扩展图像区域。
在一些实施例中,服务器可以通过自身设备搭载的图像处理程序,或者光学检测设备将提取出的多个图像区域生成为对应的多个待训练图像,并发送至第三方机构(如,图像处理平台、云端服务器等),以对该多个待训练图像进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理,以得到多个扩展图像区域。
步骤c3,利用多个扩展图像区域对预设的缺陷电路板进行更新。
在一些实施例中,服务器将得到的多个扩展图像区域添加到设计为缺陷样本模板的样本电路板图像中,以更新该样本电路板图像。其中,该样本电路板图像可以有一张也可以有多张,即得到的多个扩展图像区域可以部分添加到一张样本电路板图像中,另一部分添加到其他的多张样本电路板图像中。这里对预设的缺陷电路板进行更新的具体方式步骤具体限定。
为了更清晰阐明本公开实施例提供的基于特征相关性的缺陷检测方法,以下以一个具体的实施例对该基于特征相关性的缺陷检测方法进行具体说明。在一示例性实施例中,参考图9,图9为本申请实施例提供的第二种基于特征相关性的缺陷检测方法的流程图,该基于特征相关性的缺陷检测方法用于服务器104中,具体包括如下内容:
步骤S31:服务器提取缺陷图的特征信息和标准图的特征信息。
其中,服务器通过AOI对PCB板进行拍照取像,得到缺陷图的AOI图像。或者通过AVI对PCB板进行拍照取像,得到缺陷图的AVI图像。待检测的缺陷图图像可以是黑白的,也可以是彩色的。
其中,服务器通过神经网络分别提取出缺陷图和标准图的特征信息,示例性地,服务器可以利用卷积神经网络对缺陷图和标准图进行特征提取,得到缺陷图和标准图对应的特征图,以作为缺陷图和标准图对应的特征信息。
其中,标准图指的是该缺陷图对应的没有缺陷的母图,可以是设计图或者是CAM图。
其中,特征提取指的是使用计算机提取图像信息,决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集,这些子集往往属于孤立的点、连续的曲线或者连续的区域。常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。
本申请实施例对待检测的AOI图像、黑白AVI图像和彩色AVI图像进行特征提取,其中,可以用不同的网络来提取不同的特征。
示例性地,提取出的特征包括图像的颜色特征和形状特征。可以用颜色相关图来对颜色特征进行表示,颜色相关图是图像颜色分布的另一种表达方式,不但刻画了某种颜色的像素占比,还表达了颜色随距离变换的空间关系,反映了颜色之间的空间关系。形状特征有两类表示方法,一类是轮廓特征,另一类是区域特征。图像的轮廓特征主要针对物体的外边界,而图像的区域特征则关系到整个形状区域。本申请对具体的特征表示方法不做限定。
步骤S32:服务器将缺陷图和标准图的特征信息对应的特征图缩放到相同尺寸。
其中,服务器将缺陷图和标准图对应的特征图作为缺陷图和标准图的特征信息。
在一些实施例中,服务器可以通过插值法来对二者的特征图进行缩放。其中,插值算法可以包括两类:自适应类和非自适应类。自适应的方法可以根据插值的内容来改变(例如,特征图中包括的尖锐的边缘或者是平滑的纹理),非自适应的方法需要对特征图中所有的像素点都进行同样的缩放处理。
其中,非自适应算法包括:最近邻,双线性,双三次,样条,sinc,lanczos等。
其中,由于缺陷图和标准图对应的特征图的复杂度不相同,服务器通过插值算法对特征图中的特征使用从0至256(或者更多)邻近像素,即对特征进行插值包含的邻近像素越多,则扭曲或者缩放后的图像越精确,但是花费的时间也越长。
步骤S33:服务器根据缩放尺寸后的特征图,计算缺陷图和标准图对应特征图中每个像素上的相关性特征。
其中,每个像素上的相关性特征包括缺陷图和标准图对应相同像素上的余弦相似度。
其中,余弦相似度通过测量两个向量内积空间的余弦值来度量它们之间的相似性,适用于任何维度的向量比较中,因此属于高维空间应用较多的机器学习算法。其中,数字图像包含的特征码较多,这些特征组属于高维空间,服务器将每个图像的特征组转化为高维空间的向量,两个向量之间的角度的余弦值可用于确定两个向量是否大致指向相同的方向。
本申请实施例中通过计算代表每个像素特征的向量的内积空间的夹角余弦值,从而确定每个像素上的相关性特征。
步骤S34:服务器将包含每个像素的相关性特征输入到训练好的神经网络中进行缺陷检测,以输出缺陷检测的结果。
其中,缺陷检测的结果包括缺陷图中缺陷的类型、大小、位置等检测结果信息。
其中,服务器将经过缩放处理后(缩放后,图像的尺寸为原图的四分一或者八分之一)的缺陷图和标准图对应相同像素上的相关性特征,和对应图像的特征通道数(256个、512个)共同输入神经网络中进行缺陷检测,以输出尺寸相同的且带有检测标注的一张新的缺陷图的特征图,该新的缺陷图的特征图即为缺陷检测的结果。
作为一示例,服务器对缺陷图提取出A个(通道)特征,标准图提取出B个(通道)特征,像素的相似度特征作为1个(通道)特征,最后,服务器将这A+B+1个(通道)特征输入到神经网络中进行对比、判断的计算过程,以得出得出缺陷结果。
应该理解的是,虽然图2-图9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-图9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是,本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见,每个实施例重点说明的是与其他实施例的不同之处,相关之处参见其他方法实施例的说明即可。
图10是本申请实施例提供的一种基于特征相关性的缺陷检测装置框图。参照图10,该基于特征相关性的缺陷检测装置10包括:
获取单元11,用于获取待测电路板图像和样本电路板图像;
提取单元12,用于提取待测电路板图像的第一特征信息和样本电路板图像的第二特征信息;
检测单元13,用于基于第一特征信息与第二特征信息之间的相关性特征,对待测电路板图像进行缺陷检测,得到缺陷检测结果;其中,相关性特征用于表征待测电路板图像与样本电路板图像之间对应相同区域的相同程度。
在一些实施例中,在获取待测电路板图像和样本电路板图像之后,该基于特征相关性的缺陷检测装置10还具体用于:
对待测电路板图像和样本电路板图像进行缩放,得到像素尺寸相同的缩放后的待测电路板图像和样本电路板图像。
在一些实施例中,在提取待测电路板图像的第一特征信息和样本电路板图像的第二特征信息方面,该提取单元12具体用于:
提取缩放后的待测电路板图像的第一特征信息和缩放后的样本电路板图像的第二特征信息。
在一些实施例中,在基于第一特征信息与第二特征信息之间的相关性特征,对待测电路板图像进行缺陷检测,得到缺陷检测结果方面,该检测单元13具体用于:
确定第一特征信息与第二特征信息之间的相关性特征;
根据相关性特征,对缩放后的待测电路板图像进行缺陷检测,得到缺陷检测结果。
在一些实施例中,在确定第一特征信息与第二特征信息之间的相关性特征方面,该检测单元13具体用于:
确定缩放后的待测电路板图像与缩放后的样本电路板图像之间对应相同像素点位置的每一对像素点;
基于第一特征信息和第二特征信息,计算每一对像素点对应至少一种特征信息的相似度。
其中,第一特征信息和第二特征信息均包括在图像对应像素点位置的颜色特征、纹理特征、形状特征、空间关系特征中的至少一种。
在一些实施例中,在根据相关性特征,对缩放后的待测电路板图像进行缺陷检测,得到缺陷检测结果方面,该检测单元13具体用于:
确定缩放后的待测电路板图像对应第一数量的像素特征和缩放后的样本电路板图像对应第二数量的像素特征;
基于第一数量的像素特征、第二数量的像素特征和每一对像素点对应至少一种特征信息的相似度,对缩放后的待测电路板图像进行缺陷识别和缺陷标注,得到缺陷检测结果。
在一些实施例中,在基于第一数量的像素特征、第二数量的像素特征和每一对像素点对应至少一种特征信息的相似度,对缩放后的待测电路板图像进行缺陷识别和缺陷标注,得到缺陷检测结果方面,该检测单元13具体用于:
基于第一数量的像素特征、第二数量的像素特征和每一对像素点对应至少一种特征信息的相似度,遍历识别缩放后的待测电路板图像中的每一像素点,得到缺陷识别结果;
基于缺陷识别结果,标注对应的像素点区域,得到缺陷检测结果。
在一些实施例中,该基于特征相关性的缺陷检测装置10具体还用于:
利用样本电路板图像,遍历缩放后的待测电路板图像和样本电路板图像之间对应相同区域的相似度是否满足预设阈值;
若不满足预设阈值,则在缩放后待测电路板图像中,标注对应于不满足预设阈值的图像区域,作为缩放后待测电路板图像中的缺陷区域。
其中,样本电路板图像为预设的无缺陷电路板的采集图像和待测电路板的设计图像中的任意一种。
在一些实施例中,该基于特征相关性的缺陷检测装置10具体还用于:
利用缺陷电路板的采集图像,遍历缩放后待测电路板图像中的每一像素点区域,标注缩放后待测电路板图像中与采集图像相匹配的图像区域,作为缩放后待测电路板图像中的缺陷区域。
其中,样本电路板图像为预设的缺陷电路板的采集图像。
在一些实施例中,该基于特征相关性的缺陷检测装置10具体还用于:
在标注缩放后待测电路板图像中与采集图像相匹配的图像区域之后,提取与采集图像相匹配的图像区域;
对提取的图像区域进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理,得到多个扩展图像区域;
利用多个扩展图像区域对预设的缺陷电路板进行更新。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图11是本申请实施例提供的一种电子设备20的框图。例如,电子设备20可以为服务器。参照图11,电子设备20包括处理器21,其进一步处理器21可以为处理器集合,其可以包括一个或多个处理器,以及电子设备20包括由存储器22所代表的存储器资源,其中,存储器22上存储有计算机程序,例如应用程序。在存储器22中存储的计算机程序可以包括一个或一个以上的每一个对应于一组可执行指令的模块。此外,处理组件21被配置为执行计算机程序时实现如上述的基于特征相关性的缺陷检测方法。
在一些实施例中,电子设备20为服务器,该服务器中的计算系统可以运行一个或多个操作系统,包括以上讨论的任何操作系统以及任何商用的服务器操作系统。该服务器还可以运行各种附加服务器应用和/或中间层应用中的任何一种,包括HTTP(超文本传输协议)服务器、FTP(文件传输协议)服务器、CGI(通用网关界面)服务器、服务器、数据库服务器等。示例性数据库服务器包括但不限于可从(国际商业机器)等商购获得的数据库服务器。
在一些实施例中,处理组件21通常控制电子设备20的整体操作,诸如与显示、数据处理、数据通信和记录操作相关联的操作。处理组件21可以包括一个或多个处理器来执行计算机程序,以完成上述的方法的全部或部分步骤。此外,处理组件21可以包括一个或多个模块,便于处理组件21和其他组件之间的交互。例如,处理组件21可以包括多媒体模块,以方便利用多媒体组件控制用户电子设备和处理组件21之间的交互。
在一些实施例中,处理组件21中的处理器还可以称为CPU(Central ProcessingUnit,中央处理单元)。处理器可能是一种电子芯片,具有信号的处理能力。处理器还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器可以由集成电路芯片共同实现。
在一些实施例中,存储器22被配置为存储各种类型的数据以支持在电子设备20的操作。这些数据的示例包括用于在电子设备20上操作的任何应用程序或方法的指令、采集数据、消息、图片、视频等。存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
在一些实施例中,存储器22可以为内存条、TF卡等,可以存储电子设备20中的全部信息,包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在在一实施例中,存储器22中。它根据处理器指定的位置存入和取出信息。有了在一实施例中,存储器22,电子设备20才有记忆功能,才能保证正常工作。电子设备20的在一实施例中,存储器22按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等,能长期保存信息。内存指主板上的存储部件,用来存放当前正在执行的数据和程序,但仅用于暂时存放程序和数据,关闭电源或断电,数据会丢失。
在一些实施例中,电子设备20还可以包括:电源组件23被配置为执行电子设备20的电源管理,有线或无线网络接口24被配置为将电子设备20连接到网络,和输入输出(I/O)接口25。电子设备20可以操作基于存储在存储器22的操作系统,例如Windows Server,MacOS X,Unix,Linux,FreeBSD或类似。
在一些实施例中,电源组件23为电子设备20的各种组件提供电力。电源组件23可以包括电源管理系统,一个或多个电源,及其他与为电子设备20生成、管理和分配电力相关联的组件。
在一些实施例中,有线或无线网络接口24被配置为便于电子设备20和其他设备之间有线或无线方式的通信。电子设备20可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。
在一些实施例中,有线或无线网络接口24经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,有线或无线网络接口24还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在一些实施例中,输入输出(I/O)接口25为处理组件21和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
图12是本申请实施例提供的一种计算机可读存储介质30的框图。该计算机可读存储介质30上存储有计算机程序31,其中,计算机程序31被处理器执行时实现如上述的基于特征相关性的缺陷检测方法。
在本申请各个实施例中的各功能单元集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在计算机可读存储介质30中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机可读存储介质30在一个计算机程序31中,包括若干指令用以使得一台计算机设备(可以是个人计算机,系统服务器,或者网络设备等)、电子设备(例如MP3、MP4等,也可以是手机、平板电脑、可穿戴设备等智能终端,也可以是台式电脑等)或者处理器(processor)以执行本申请各个实施方式方法的全部或部分步骤。
图13是本申请实施例提供的一种计算机程序产品40的框图。该计算机程序产品40中包括程序指令41,该程序指令41可由电子设备20的处理器执行以实现如上述的基于特征相关性的缺陷检测方法。
本领域内的技术人员应明白,本申请的实施例可提供有基于特征相关性的缺陷检测方法、基于特征相关性的缺陷检测装置10、电子设备20、计算机可读存储介质30或计算机程序产品40。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机程序指令41(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品40的形式。
本申请是参照根据本申请实施例中基于特征相关性的缺陷检测方法、基于特征相关性的缺陷检测装置10、电子设备20、计算机可读存储介质30或计算机程序产品40的流程图和/或方框图来描述的。应理解可由计算机程序产品40实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序产品40到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的程序指令41产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序产品40也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机程序产品40中的程序指令41产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些程序指令41也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的程序指令41提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要说明的,上述的各种方法、装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种基于特征相关性的缺陷检测方法,其特征在于,包括:
获取待测电路板图像和样本电路板图像;
提取所述待测电路板图像的第一特征信息和所述样本电路板图像的第二特征信息;
基于所述第一特征信息与所述第二特征信息之间的相关性特征,对所述待测电路板图像进行缺陷检测,得到缺陷检测结果;其中,所述相关性特征用于表征所述待测电路板图像与所述样本电路板图像之间对应相同区域的相同程度。
2.根据权利要求1所述的方法,其特征在于,所述获取待测电路板图像和样本电路板图像之后,所述方法还包括:
对所述待测电路板图像和所述样本电路板图像进行缩放,得到像素尺寸相同的缩放后的待测电路板图像和样本电路板图像;
所述提取所述待测电路板图像的第一特征信息和所述样本电路板图像的第二特征信息,包括:
提取所述缩放后的待测电路板图像的第一特征信息和所述缩放后的样本电路板图像的第二特征信息;
所述基于所述第一特征信息与所述第二特征信息之间的相关性特征,对所述待测电路板图像进行缺陷检测,得到缺陷检测结果,包括:
确定所述第一特征信息与所述第二特征信息之间的相关性特征;
根据所述相关性特征,对所述缩放后的待测电路板图像进行缺陷检测,得到缺陷检测结果。
3.根据权利要求2所述的方法,其特征在于,所述第一特征信息和所述第二特征信息均包括在图像对应像素点位置的颜色特征、纹理特征、形状特征、空间关系特征中的至少一种;
所述确定所述第一特征信息与所述第二特征信息之间的相关性特征,包括:
确定所述缩放后的待测电路板图像与所述缩放后的样本电路板图像之间对应相同像素点位置的每一对像素点;
基于所述第一特征信息和所述第二特征信息,计算所述每一对像素点对应至少一种特征信息的相似度。
4.根据权利要求3所述的方法,其特征在于,所述根据所述相关性特征,对所述缩放后的待测电路板图像进行缺陷检测,得到缺陷检测结果,包括:
确定所述缩放后的待测电路板图像对应第一数量的像素特征和所述缩放后的样本电路板图像对应第二数量的像素特征;
基于所述第一数量的像素特征、所述第二数量的像素特征和所述每一对像素点对应至少一种特征信息的相似度,对所述缩放后的待测电路板图像进行缺陷识别和缺陷标注,得到缺陷检测结果。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一数量的像素特征、所述第二数量的像素特征和所述每一对像素点对应至少一种特征信息的相似度,对所述缩放后的待测电路板图像进行缺陷识别和缺陷标注,得到缺陷检测结果,包括:
基于所述第一数量的像素特征、所述第二数量的像素特征和所述每一对像素点对应至少一种特征信息的相似度,遍历识别所述缩放后的待测电路板图像中的每一像素点,得到缺陷识别结果;
基于所述缺陷识别结果,标注对应的像素点区域,得到缺陷检测结果。
6.根据权利要求2所述的方法,其特征在于,所述样本电路板图像为预设的无缺陷电路板的采集图像和所述待测电路板的设计图像中的任意一种;
所述方法还包括:
利用所述样本电路板图像,遍历所述缩放后的待测电路板图像和样本电路板图像之间对应相同区域的相似度是否满足预设阈值;
若不满足所述预设阈值,则在所述缩放后的待测电路板图像中,标注对应于不满足所述预设阈值的图像区域,作为所述缩放后的待测电路板图像中的缺陷区域。
7.根据权利要求2所述的方法,其特征在于,所述样本电路板图像为预设的缺陷电路板的采集图像;
所述方法还包括:
利用所述缺陷电路板的采集图像,遍历所述缩放后的待测电路板图像中的每一像素点区域,标注所述缩放后的待测电路板图像中与所述采集图像相匹配的图像区域,作为所述缩放后的待测电路板图像中的缺陷区域。
8.根据权利要求7所述的方法,其特征在于,在所述标注所述缩放后的待测电路板图像中与所述采集图像相匹配的图像区域之后,所述方法还包括:
提取与所述采集图像相匹配的图像区域;
对提取的所述图像区域进行翻转、旋转、放大、缩小、色度调整中的一种或多种图像处理,得到多个扩展图像区域;
利用所述多个扩展图像区域对所述预设的缺陷电路板进行更新。
9.一种基于特征相关性的缺陷检测装置,其特征在于,包括:
获取单元,用于获取待测电路板图像和样本电路板图像;
提取单元,用于提取所述待测电路板图像的第一特征信息和所述样本电路板图像的第二特征信息;
检测单元,用于基于所述第一特征信息与所述第二特征信息之间的相关性特征,对所述待测电路板图像进行缺陷检测,得到缺陷检测结果;其中,所述相关性特征用于表征所述待测电路板图像与所述样本电路板图像之间对应相同区域的相同程度。
10.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至8任意一项中所述的基于特征相关性的缺陷检测方法。
11.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8任意一项中所述的基于特征相关性的缺陷检测方法。
CN202211592462.8A 2022-12-13 2022-12-13 基于特征相关性的缺陷检测方法及相关装置 Pending CN116152166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211592462.8A CN116152166A (zh) 2022-12-13 2022-12-13 基于特征相关性的缺陷检测方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211592462.8A CN116152166A (zh) 2022-12-13 2022-12-13 基于特征相关性的缺陷检测方法及相关装置

Publications (1)

Publication Number Publication Date
CN116152166A true CN116152166A (zh) 2023-05-23

Family

ID=86357425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211592462.8A Pending CN116152166A (zh) 2022-12-13 2022-12-13 基于特征相关性的缺陷检测方法及相关装置

Country Status (1)

Country Link
CN (1) CN116152166A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758030A (zh) * 2023-06-15 2023-09-15 博感科技(江苏)有限公司 印刷电源的高频nfc标签的检测方法及系统
CN117011304A (zh) * 2023-10-08 2023-11-07 深圳思谋信息科技有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN117474908A (zh) * 2023-12-26 2024-01-30 宁德时代新能源科技股份有限公司 标注方法、装置、设备及计算机可读存储介质
CN119180784A (zh) * 2024-08-26 2024-12-24 江西红森科技有限公司 一种ic载板生产坏板缺陷追溯方法
CN119537633A (zh) * 2024-11-15 2025-02-28 华中师范大学 一种电路板的客户信息识别方法和系统
CN120369744A (zh) * 2025-05-20 2025-07-25 佛山市塔孚汽车照明有限公司 基于aoi的电路板视觉质检系统及方法
CN120563901A (zh) * 2025-05-19 2025-08-29 佛山市塔孚汽车照明有限公司 一种应用于aoi视觉检测的特征提取训练系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897994A (zh) * 2017-01-20 2017-06-27 北京京仪仪器仪表研究总院有限公司 一种基于分层图像的pcb板缺陷检测系统和方法
US20200380899A1 (en) * 2018-07-02 2020-12-03 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for detecting peripheral circuit of display screen, electronic device, and storage medium
CN112669267A (zh) * 2020-12-18 2021-04-16 平安科技(深圳)有限公司 一种电路板缺陷检测方法、装置、电子设备和存储介质
US20210304389A1 (en) * 2020-03-31 2021-09-30 International Business Machines Corporation Object defect correction
US20220198228A1 (en) * 2020-12-22 2022-06-23 Hon Hai Precision Industry Co., Ltd. Method for detecting defects in multi-scale images and computing device utilizing method
CN114882039A (zh) * 2022-07-12 2022-08-09 南通透灵信息科技有限公司 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897994A (zh) * 2017-01-20 2017-06-27 北京京仪仪器仪表研究总院有限公司 一种基于分层图像的pcb板缺陷检测系统和方法
US20200380899A1 (en) * 2018-07-02 2020-12-03 Beijing Baidu Netcom Science Technology Co., Ltd. Method and apparatus for detecting peripheral circuit of display screen, electronic device, and storage medium
US20210304389A1 (en) * 2020-03-31 2021-09-30 International Business Machines Corporation Object defect correction
CN112669267A (zh) * 2020-12-18 2021-04-16 平安科技(深圳)有限公司 一种电路板缺陷检测方法、装置、电子设备和存储介质
US20220198228A1 (en) * 2020-12-22 2022-06-23 Hon Hai Precision Industry Co., Ltd. Method for detecting defects in multi-scale images and computing device utilizing method
CN114882039A (zh) * 2022-07-12 2022-08-09 南通透灵信息科技有限公司 一种应用于pcb板自动分拣过程中的pcb板缺陷识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李正明;黎宏;孙俊;: "基于数字图像处理的印刷电路板缺陷检测", 仪表技术与传感器, no. 08, 15 August 2012 (2012-08-15), pages 91 - 93 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758030A (zh) * 2023-06-15 2023-09-15 博感科技(江苏)有限公司 印刷电源的高频nfc标签的检测方法及系统
CN117011304A (zh) * 2023-10-08 2023-11-07 深圳思谋信息科技有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN117011304B (zh) * 2023-10-08 2024-03-26 深圳思谋信息科技有限公司 缺陷检测方法、装置、计算机设备及计算机可读存储介质
CN117474908A (zh) * 2023-12-26 2024-01-30 宁德时代新能源科技股份有限公司 标注方法、装置、设备及计算机可读存储介质
CN117474908B (zh) * 2023-12-26 2024-05-28 宁德时代新能源科技股份有限公司 标注方法、装置、设备及计算机可读存储介质
WO2025139065A1 (zh) * 2023-12-26 2025-07-03 宁德时代新能源科技股份有限公司 标注方法、装置、设备及计算机可读存储介质
CN119180784A (zh) * 2024-08-26 2024-12-24 江西红森科技有限公司 一种ic载板生产坏板缺陷追溯方法
CN119180784B (zh) * 2024-08-26 2025-03-07 江西红森科技有限公司 一种ic载板生产坏板缺陷检测方法
CN119537633A (zh) * 2024-11-15 2025-02-28 华中师范大学 一种电路板的客户信息识别方法和系统
CN120563901A (zh) * 2025-05-19 2025-08-29 佛山市塔孚汽车照明有限公司 一种应用于aoi视觉检测的特征提取训练系统及方法
CN120369744A (zh) * 2025-05-20 2025-07-25 佛山市塔孚汽车照明有限公司 基于aoi的电路板视觉质检系统及方法

Similar Documents

Publication Publication Date Title
CN116152166A (zh) 基于特征相关性的缺陷检测方法及相关装置
CN113947613B (zh) 目标区域检测方法、装置、设备及存储介质
US9727775B2 (en) Method and system of curved object recognition using image matching for image processing
CN114298902B (zh) 一种图像对齐方法、装置、电子设备和存储介质
CN111091590A (zh) 图像处理方法、装置、存储介质及电子设备
US20140270362A1 (en) Fast edge-based object relocalization and detection using contextual filtering
CN106560840B (zh) 一种图像信息识别处理方法及装置
CN118275449B (zh) 铜带表面缺陷检测方法、装置及设备
CN114399502A (zh) 一种适用于led芯片的外观缺陷检测方法、系统及存储介质
US12411909B2 (en) Configurable keypoint descriptor generation
CN112435223B (zh) 目标检测方法、装置及存储介质
CN116188960A (zh) 基于关键点识别的仪表智能读数方法、装置、设备和介质
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN110717060A (zh) 图像mask的过滤方法、装置及存储介质
CN116977341B (zh) 一种尺寸测量方法及相关装置
CN117934399A (zh) 工件加工检测方法、装置、设备、介质和计算机程序产品
CN116091419A (zh) 基于相似度的缺陷识别方法、装置、电子设备及存储介质
CN113066088A (zh) 工业检测中的检测方法、检测装置和存储介质
CN117974576A (zh) 图像质量检测方法、装置、计算机设备及存储介质
CN117392079A (zh) 外观缺陷检测方法、装置、视觉检测系统和电子设备
CN113780269A (zh) 图像识别方法、装置、计算机系统及可读存储介质
CN118135179B (zh) 切割板件的级联识别方法、装置、计算机设备和存储介质
CN116152586A (zh) 模型训练方法、装置、电子设备及存储介质
CN112579810B (zh) 印刷电路板分类方法、装置、计算机设备和存储介质
CN108682021A (zh) 快速手部跟踪方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination