[go: up one dir, main page]

CN120235820A - 图像的检测方法、电子设备及存储介质 - Google Patents

图像的检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN120235820A
CN120235820A CN202510186467.8A CN202510186467A CN120235820A CN 120235820 A CN120235820 A CN 120235820A CN 202510186467 A CN202510186467 A CN 202510186467A CN 120235820 A CN120235820 A CN 120235820A
Authority
CN
China
Prior art keywords
difference
gray
defect
scale
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202510186467.8A
Other languages
English (en)
Inventor
王乾坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Guangxin Packaging Substrate Co ltd
Original Assignee
Guangzhou Guangxin Packaging Substrate Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Guangxin Packaging Substrate Co ltd filed Critical Guangzhou Guangxin Packaging Substrate Co ltd
Priority to CN202510186467.8A priority Critical patent/CN120235820A/zh
Publication of CN120235820A publication Critical patent/CN120235820A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像的检测方法、电子设备及存储介质。其中，方法包括：获取到产品灰阶图像，其中产品灰阶图像标记有差异区域；计算得到差异区域相对于差异区域所在区域的灰阶距离，或，计算得到灰阶距离以及差异区域相对于正常范围的灰阶差均值、灰阶差方差；利用灰阶距离，或灰阶距离、灰阶差均值以及灰阶差方差，确定差异区域是否为缺陷区域。在标记出差异区域之后，利用差异区域相对于所在区域的灰阶距离，或利用灰阶距离、差异区域相对于正常范围的灰阶差均值和灰阶差方差，判断这个差异区域是否为真实缺陷，可以提升封装基板的差异区域的检测效率。

Description

图像的检测方法、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种图像的检测方法、电子设备及存储介质。
背景技术
目前，在封装基板制造过程中，通常采用自动光学检测(Automatic OpticalInspection，AOI)来识别和标记封装基板可能存在的制造缺陷的差异区域，并将这些差异区域对应的区域图像发送至视觉检查站(Visual Review Station，VRS)或视觉验证系统(Visual Verification System，VVS)。随后，需要人工点击这些差异区域，进而来判定这些差异是否构成实际的制造缺陷。
但是，人工判定效率低下，尤其是在面对大批量生产需求时。
发明内容
本申请主要解决的技术问题是提供一种图像的检测方法、电子设备及存储介质，能够解决人工检测封装基板的差异区域的效率低下的技术问题。
为解决上述技术问题，本申请采用的一个技术方案是：所述方法包括：
获取到产品灰阶图像，其中所述产品灰阶图像标记有差异区域；
计算得到所述差异区域相对于所述差异区域所在区域的灰阶距离，或计算得到所述灰阶距离以及所述差异区域相对于正常范围的灰阶差均值、灰阶差方差；
利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
可选地，所述计算得到所述差异区域相对于所述差异区域所在区域的灰阶距离，或计算得到所述灰阶距离以及所述差异区域相对于正常范围的灰阶差均值、灰阶差方差，包括：
将所述产品灰阶图像输入到缺陷识别模型中，通过所述缺陷识别模型，基于所述差异区域，计算得到所述灰阶距离，或计算得到所述灰阶距离以及所述灰阶差均值和所述灰阶差方差；
所述利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域，包括：
通过所述缺陷识别模型，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
可选地，所述通过所述缺陷识别模型，基于所述差异区域，计算得到所述灰阶距离，或计算得到所述灰阶距离以及所述灰阶差均值和所述灰阶差方差，包括：
通过所述缺陷识别模型，基于所述差异区域的中心点建立坐标系，并根据所述坐标系，计算得到所述灰阶距离；或
通过所述缺陷识别模型，计算得到所述灰阶距离；以及，获取所述差异区域相对于所述正常范围的多个灰阶差值，对各所述灰阶差值进行均值计算，得到所述灰阶差均值，对各所述灰阶差值进行方差计算，得到所述灰阶差方差。
可选地，所述通过所述缺陷识别模型，基于所述差异区域的中心点建立坐标系，并根据所述坐标系，计算得到所述灰阶距离，包括：
通过所述缺陷识别模型，将所述差异区域的中心点作为所述坐标系的原点，并在所述差异区域所在区域建立多个方向的坐标轴；
计算各所述坐标轴在所述差异区域的第一长度，以及各所述坐标轴在所述差异区域所在区域的第二长度；
将各所述坐标轴的所述第一长度与所述第二长度的比例作为各所述坐标轴的方向距离，并从各所述坐标轴的方向距离中选择至少一个作为所述灰阶距离。
可选地，所述缺陷识别模型设有存在交集的放行区间和缺陷区间；所述放行区间的下限与所述缺陷区间的上限的距离满足预设距离阈值；
所述通过所述缺陷识别模型，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域的步骤，包括：
若所述灰阶距离属于或超过所述放行区间，则确定所述差异区域为正常区域；
反之，则结合所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
可选地，所述结合所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域，包括：
若所述灰阶距离、所述灰阶差均值以及灰阶差方差中的至少两个属于或超过所述放行区间，则确定所述差异区域为正常区域；
若所述灰阶距离、所述灰阶差均值以及灰阶差方差中的至少两个属于或低于所述缺陷区间，则确定所述差异区域为缺陷。
可选地，所述放行区间与所述缺陷区间之间的交集区间为误判区间；
所述将所述产品灰阶图像输入到缺陷识别模型中，以供所述缺陷识别模型，基于所述差异区域，计算得到所述灰阶距离，或计算得到所述灰阶距离以及所述灰阶差均值和所述灰阶差方差之前，还包括：
获取包含同一缺陷类型下不同形态数据的放行库和缺陷库；
将所放行库和所述缺陷库输入到所述缺陷识别模型中，通过所述缺陷识别模型学习所述不同形态数据，得到学习结果；其中，若所述学习结果属于所述误判区间，则对所述学习结果执行人工判定；
响应于所述学习结果执行人工判定达到第一阈值，通过所述缺陷识别模型，结合预设的工艺能力指标，对所述放行库进行上下限进行计算，得到更新后的所述放行区间，以及，对所述缺陷库进行上下限计算，得到更新后的所述缺陷区间；并返回执行所述获取包含同一缺陷类型下不同形态数据的放行库和缺陷库；
以此类推，依次循环，直到所述放行区间的下限与所述缺陷区间的上限的距离满足预设距离阈值，或循环到第二阈值时，使所述缺陷识别模型停止学习。
可选地，通过所述缺陷识别模型，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域之后，还包括：
若所述差异区域为正常，则将所述产品灰阶图像添加到所述放行库中，以更新所述放行库；
若所述差异区域为缺陷，则将所述产品灰阶图像添加到所述缺陷库中，以更新所述缺陷库；
执行所述获取包含同一缺陷类型下不同形态数据的放行库和缺陷库，以及之后的步骤。
为解决上述技术问题，本申请采用的另一个技术方案是：一种电子设备，所述电子设备包括：
存储器，用于存储可执行程序代码；
处理器，用于从所述存储器中调用并运行所述可执行程序代码，使得所述电子设备执行如上任意一项所述的图像的检测方法。
为解决上述技术问题，本申请采用的另一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上任意一项所述的图像的检测方法。
区别于现有技术的情况，本申请实施例提供了一种图像的检测方法，所述方法包括：获取到产品灰阶图像，其中所述产品灰阶图像标记有差异区域；计算得到所述差异区域相对于所述差异区域所在区域的灰阶距离，或计算得到所述灰阶距离以及所述差异区域相对于正常范围的灰阶差均值、灰阶差方差；利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。在标记出差异区域之后，利用差异区域相对于所在区域的灰阶距离，或利用灰阶距离、差异区域相对于正常范围的灰阶差均值和灰阶差方差，判断这个差异区域是否为真实缺陷，可以提升封装基板的差异区域的检测效率。
附图说明
图1是本申请图像的检测方法第一实施例的流程示意图；
图2是本申请图像的检测方法第二实施例的流程示意图；
图3a是本申请图像的检测方法的产品灰阶图像的一示例性示意图；
图3b是本申请图像的检测方法的差异区域所在区域的一示例性示意图；
图3c是本申请图像的检测方法的坐标系的一示例性示意图；
图3d是本申请图像的检测方法基于差异区域构建坐标系的一示例性示意图；
图3e是本申请图像的检测方法的正常范围的一示例性示意图；
图3f是本申请图像的检测方法的放行区间的下限与缺陷区间的上限接近相等的一示例性示意图；
图4是本申请图像的检测方法第三实施例的流程示意图；
图5是本申请图像的检测方法的放行区间与缺陷区间之间的交集区间为误判区间的一示例性示意图；
图6是本申请图像的检测方法的电子设备的示例性结构框图；
图7是本申请图像的检测方法的计算机可读存储介质的示例性结构框图。
具体实施方式
下面结合附图和实施方式对本申请进行详细说明。
请参阅图1，图1是本申请图像的检测方法第一实施例的流程示意图。需注意的是，若有实质上相同的结果，本申请的方法并不以图1所示的流程顺序为限。如图1所示，所述方法包括：
步骤S110，获取到产品灰阶图像，其中所述产品灰阶图像标记有差异区域；
由于AOI系统可能会检测到由于非缺陷因素，如光照变化、反射、轻微的生产误差或杂质等非缺陷因素引起的差异。这些因素造成的差异在检测的产品灰阶图像中表现为灰阶变化，即差异区域，但这些差异区域并不代表实际的功能性制造缺陷。因此，本实施例在AOI系统对待测产品进行扫描并在产品灰阶图像中标记出差异区域之后，通过计算差异区域相对于其所在区域的灰阶距离，或灰阶距离和差异区域的灰阶差均值和灰阶差方差，可以进而确定差异区域是否为缺陷。
步骤S120，计算得到所述差异区域相对于所述差异区域所在区域的灰阶距离，或计算得到所述灰阶距离以及所述差异区域相对于正常范围的灰阶差均值、灰阶差方差；
其中，由于封装基板包括线路区域和非线路区域，且线路区域或非线路都有可能存在差异区域。其中，线路区域可能会出现断线、短路、焊点不良等缺陷类型；非线路区域可能会出现阻焊层出现裂纹、缺失或不均匀分布、丝印层的文字或标识模糊不清或缺失、绝缘层破损或厚度不均、孔径不合适、孔壁粗糙或孔内有异物等缺陷类型。因此，本实施例中差异区域所在区域可以是线路区域，也可以是非线路区域。
灰阶差均值可以表征差异区域中，各灰阶值相对于正常范围的差值的平均灰度信息。灰阶差方差可以表征差异区域中，灰阶值相对于正常范围的差值的分布情况。灰阶距离可以表征差异区域中最有可能存在缺陷的尺寸大小。
步骤S130，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
具体地，如果灰阶距离满足非缺陷条件，则可以确定差异区域为正常；如果灰阶距离未满足非缺陷条件，则可以结合灰阶距离、灰阶差均值、灰阶差方差中的至少两个的判定结果，根据至少两个判定结果，确定差异区域是否为缺陷。通过利用计算得到的灰阶信息，可以有效区分由实际缺陷引起的差异和由其他无关因素，如光照变化或表面杂质引起的差异，进而提高产品灰阶图像的检测精度和效率，降低时间成本。
本实施例，在标记出差异区域之后，利用差异区域相对于所在区域的灰阶距离，或利用灰阶距离、差异区域相对于正常范围的灰阶差均值和灰阶差方差，判断这个差异区域是否为真实缺陷，可以提升封装基板的差异区域的检测效率。
请参阅图2，图2是本申请图像的检测方法第二实施例的流程示意图。本实施例中，该方法包括以下步骤：
步骤S210，获取到产品灰阶图像，其中所述产品灰阶图像标记有差异区域；
可如上述步骤S110，在此不再赘述。
步骤S220，将所述产品灰阶图像输入到缺陷识别模型中，通过所述缺陷识别模型，基于所述差异区域，计算得到所述灰阶距离，或计算得到所述灰阶距离以及所述灰阶差均值和所述灰阶差方差；
本实施例考虑到，传统的人工判定依赖于人员的经验，容易受主观因素影响且效率较低，而基于模型的检测可以提供更高的精确度和一致性。因此，利用缺陷识别模型能够实现自动化的差异区域分析和缺陷判定，相比于人工检测更快，有效降低误判率和漏检率。
其中，对于每一种缺陷类型，对应创建了一个缺陷识别模型。这些缺陷识别模型通过大量的标注数据进行学习，这些标注数据可以包括该缺陷类型的各种形态。在缺陷识别模型学习的过程中，模型学习到了如何区分该缺陷类型的不同形态，并能够在实际检测中准确识别。因此，在实际缺陷识别模型的应用中，当AOI系统检测到差异区域时，缺陷识别模型可以根据产品灰阶图像的特征将其归类到相应的缺陷类型。
其中，步骤S220，包括：
通过所述缺陷识别模型，基于所述差异区域的中心点建立坐标系，并根据所述坐标系，计算得到所述灰阶距离；
具体地，为了对差异区域进行更加准确的量化分析，可以通过缺陷识别模型在差异区域的中心点建立坐标系。坐标系可以作为标准化的坐标基准，进而可以确定差异区域在不同方向上的灰度大小变化，使得缺陷分析可以更加聚焦于这些灰度变化的尺寸大小。
进一步地，通过所述缺陷识别模型，基于所述差异区域的中心点建立坐标系，并根据所述坐标系，计算得到所述灰阶距离，可以包括：
通过所述缺陷识别模型，将所述差异区域的中心点作为所述坐标系的原点，并在所述差异区域所在区域建立多个方向的坐标轴；
计算各所述坐标轴在所述差异区域的第一长度，以及各所述坐标轴在所述差异区域所在区域的第二长度；
将各所述坐标轴的所述第一长度与所述第二长度的比例作为各所述坐标轴的方向距离，并从各所述坐标轴的方向距离中选择至少一个作为所述灰阶距离。
具体地，第一长度表示差异区域中心点到该差异区域边界的物理距离总和；第二长度表示差异区域中心点到差异区域所在区域边界的物理距离总和。方向距离用于表征各方向的有可能存在缺陷的尺寸大小。其中，坐标轴的方向数量可以为缺陷识别模型的识别精度，将坐标轴的方向数量作为缺陷识别模型的精度设置值，可以通过增加坐标轴的方向数量来提升缺陷识别模型的精度。
在一示例性的实施方式中，请参阅图3a示出的产品灰阶图像，图3b示出的差异区域所在区域。首先，基于差异区域的中心点，定义如图3c示出四个方向坐标轴的正方向，并在差异区域所在区域中构建四个方向的坐标轴，得到如图3d示出。
然后，沿着各方向的坐标轴，计算坐标轴原点距离差异区域的像素边界的距离总和，分别得到lx＝3，ly＝4，lz1＝3，lz2＝2；同时，记录坐标轴原点距离差异区域所在区域的像素边界的距离总和，分别得到Lx＝4，Ly＝8，Lz1＝4，Lz2＝4；则各方向坐标轴对应的方向距离为lx/Lx＝0.75，ly/Ly＝0.5，lz1/Lz1＝0.75，lz2/Lz2＝0.5。比较lx/Lx＝0.75，ly/Ly＝0.5，lz1/Lz1＝0.75，lz2/Lz2＝0.5这四个值的大小，选择最大值所在的缺陷方向为主方向，即x轴和z1轴为缺陷发生主方向，并作为灰阶距离。
或步骤S220，包括：
通过所述缺陷识别模型，计算得到所述灰阶距离；以及，获取所述差异区域相对于所述正常范围的多个灰阶差值，对各所述灰阶差值进行均值计算，得到所述灰阶差均值，对各所述灰阶差值进行方差计算，得到所述灰阶差方差。
其中，灰阶距离的计算过程如上所述，在此不再赘述。
在一示例性的实施方式中，请参阅图3e示出的正常范围。具体而言，将差异区域中的每一个像素点对应的灰阶值分别与对应正常范围做上下限运算，得到差异区域中像素点对应的灰阶差An：
An＝min(|Anq-Anh|，|Anq-Anl|)
其中，n表示第n个像素点，或表示第n个像素点对应的灰阶值；An为第n个像素点的灰阶差；Anq为第n个像素点的灰阶值；Anh为第n个像素点对应的正常范围的灰阶上限；An l为第n个像素点对应的正常范围的灰阶下限。
然后，对差异区域中的每一像素点做如上计算，得到差异区域对应的灰阶差数组B＝{A1、A2、A3…An}。
然后，对灰阶差数组B计算均值，得到灰阶差均值；同时，对灰阶差数组B计算方差，得到灰阶差方差。
步骤S230，通过所述缺陷识别模型，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
进一步地，请参照图3f，所述缺陷识别模型设有存在交集的放行区间和缺陷区间；所述放行区间的下限与所述缺陷区间的上限的距离满足预设距离阈值。
具体地，在缺陷识别模型中，为了确保判定结果的准确性和可靠性，针对AOI系统初步判定产品灰阶图像存在差异区域，但人工判定结果为正常的情况，设置放行区间；针对AOI系统初步判定产品灰阶图像存在差异区域，且人工判定结果也为缺陷的情况，设置缺陷区间。
其中，距离阈值的具体数值可以根据人工进行设定，用于表征放行区间的下限与缺陷区间上限之间无限接近。放行区间和缺陷区间均设有上限(Upper Control Limit，UCL)和下限(Lower Control Limit，LCL)；放行区间包括LCL放行和UCL放行；缺陷区间包括LCL缺陷和UCL缺陷。
UCL放行和LCL放行分别是判断差异区域是否通过检测并被认为是正常区域的上限和下限。UCL缺陷和LCL缺陷分别是判断差异区域是否为缺陷区域的上限和下限。
请参阅图3f，通过缺陷识别模型不断进行学习，在得到学习好的缺陷识别模型后，LCL放行和UCL缺陷可以无限接近理论判断界限，也即放行区间的下限与缺陷区间的上限接近相等，可以保证在临界区域的判定更为精确，不会轻易将正常情况误判为缺陷，或将缺陷误判为正常。同时，UCL放行可以无限接近大数据的上限，LCL缺陷无限接近大数据的下限。
进一步地，步骤S230，包括：
若所述灰阶距离属于或超过所述放行区间，则确定所述差异区域为正常区域；反之，则结合所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
具体地，灰阶距离可以表示差异区域相对于正常区域的尺寸大小。如果灰阶距离在预先设定的放行区间内，表明该差异区域的尺寸变化在正常范围内，不需要再对灰阶差均值和灰阶差方差进行计算。在快速过滤掉因正常制造变化而引起的差异区域，减少不必要的进一步检测，同时，提升检测的效率。
当灰阶距离不在放行区间内时，说明差异区域有可能是一个真实的缺陷。因此，还可以结合灰阶距离、灰阶差均值和灰阶差方差来更全面地判断缺陷。结合灰阶差均值和灰阶差方差，可以分析灰度变化的集中度和分布的情况，避免漏检和误判。
在一示例性的实施方式中，结合所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域，可以包括：
若所述灰阶距离、所述灰阶差均值以及灰阶差方差中的至少两个属于或超过所述放行区间，则确定所述差异区域为正常区域；若所述灰阶距离、所述灰阶差均值以及灰阶差方差中的至少两个属于或低于所述缺陷区间，则确定所述差异区域为缺陷。
具体地，如果计算得到的灰阶距离、灰阶差均值和灰阶差方差中的至少两个特征落在放行区间内，则可以判定该差异区域为正常。这说明该区域的特征变化在正常范围内；如果灰阶距离、灰阶差均值和灰阶差方差中的至少两个特征落在缺陷区间内，则判定该差异区域为缺陷，存在实际的缺陷。
本实施例，通过缺陷识别模型，可以准确地分析差异区域的灰度变化，量化灰度特征，从而判断该区域是否为真实缺陷；通过对灰阶距离、灰阶差均值和灰阶差方差进行多指标的综合判断，可以更加准确地区分正常区域和缺陷区域，也即，利用多维特征的优势，减少了误判和漏检的概率，确保在检测过程中既可以有效地排除非缺陷因素的干扰，又可以及时准确地检测出真正的缺陷。
请参阅图4，图4是本申请图像的检测方法第三实施例的流程示意图。本实施例中，所述放行区间与所述缺陷区间之间的交集区间为误判区间；步骤S220之前，包括：
步骤S410，获取包含同一缺陷类型下不同形态数据的放行库和缺陷库；
具体地，放行库可以包括放行灰阶距离库、放行灰阶差均值库、放行灰阶差方差库；缺陷库可以包括缺陷灰阶距离库、缺陷灰阶差均值库、缺陷灰阶差方差库。这些放行库和缺陷库都可以用于模型训练的数据。
在一示例性的实施方式中，以放行库的建立过程进行举例。通过AOI系统，对同一缺陷类型下的不同形态的产品图像进行检测；对AOI系统判定包含差异区域的多张产品图像进一步地进行人工判定，得到人工判定差异区域为正常区域的多张放行图像；然后，对这些放行图像做灰阶距离计算，得到放行灰阶距离库，对这些放行图像做灰阶差方差计算，得到放行灰阶差方差库，以及，对这些放行图像做灰阶差均值计算，得到放行灰阶差均值库；其中，计算过程可参照上述第二实施例中的步骤，在此不再赘述。
同样地，缺陷库的建立过程与上述放行库不同的地方在于，对AOI系统判定包含差异区域的多张产品图像进一步地执行人工判定，得到人工判定差异区域为缺陷区域的多张缺陷图像。
由此，通过建立放行库和缺陷库，可以为缺陷识别模型提供了丰富的样本学习数据，使其能够学习到同一缺陷类型下更全面的缺陷特征和正常样本特征，从而提高对实际生产中不同情况的判定能力。
步骤S420，将所放行库和所述缺陷库输入到所述缺陷识别模型中，通过所述缺陷识别模型学习所述不同形态数据，得到学习结果；其中，若所述学习结果属于所述误判区间，则对所述学习结果执行人工判定；
具体地，通过缺陷识别模型对放行库和缺陷库进行学习，识别同一缺陷类型下的不同形态和特征。
其中，由于在实际的缺陷检测过程中，同一类型的缺陷可能有相似的特征值，或者某些正常样本的特征值可能会非常接近缺陷样本的特征值。这种情况下，放行区间和缺陷区间就会有重叠部分，形成误判区间。这个误判区间的存在，会导致缺陷识别模型将正常样本误判为缺陷，或者将缺陷样本误判为正常。如果缺陷识别模型的输出落入误判区间，说明缺陷识别模型不够准确，需要进一步的人工干预。
步骤S430，响应于所述学习结果执行人工判定达到第一阈值，通过所述缺陷识别模型，结合预设的工艺能力指标，对所述放行库进行上下限进行计算，得到更新后的所述放行区间，以及，对所述缺陷库进行上下限计算，得到更新后的所述缺陷区间；并返回执行所述获取包含同一缺陷类型下不同形态数据的放行库和缺陷库；
其中，工艺能力指标(工艺能力指标(Process Capability Index，Cpk)可以用于衡量工艺过程在实际生产中的稳定性和一致性的指标。第一阈值为缺陷识别模型的学习频率，数值越小学习频率越高数据，数值越大学习频率越低，可作为模型设置值依据实际情况确定。
具体地，在缺陷识别模型误判的情况下，可以通过人工判定来修正缺陷识别模型的学习结果，使其落在正确的区间，进而用于调整模型的判定标准和训练参数。如果模型的误判次数达到一个预设的第一阈值，则缺陷识别模型可以结合预设的工艺能力指标，计算放行库和缺陷库的上下限，得到更新后的放行区间和缺陷区间。
在一示例性的实施方式中，人工每判定1000张图像，分别对放行库和缺陷库做统计过程控制(Statistical Process Control，SPC)，以CPK均值卡控1.33举例，分别对放行库和缺陷库进行上下限计算，得到更新后的放行区间和缺陷区间，更新后的放行区间和缺陷区间可以作为下一次缺陷识别模型对差异区域进行缺陷判定的阈值。
请参阅图5，针对落点在误判区域的图像，发往人工进行判定，得到人工判定结果，并对应加入各数据库中，以供缺陷识别模型可以重新计算放行库与缺陷库上下限。其中，针对在判断放行区的落点，缺陷识别模型自动对其放行；针对在判断缺陷区的落点，缺陷识别模型对其判废，并每固定张数图像加入数据库中缺陷识别模型进行学习。其中，注意因灰阶距离放行的缺陷不做灰阶差均值和灰阶差方差计算，不列入放行灰阶差均值库和放行灰阶差方差库中，只列入放行灰阶距离库中。具体请参阅下表1：
表1
步骤S440，以此类推，依次循环，直到所述放行区间的下限与所述缺陷区间的上限的距离满足预设距离阈值，或循环到第二阈值时，使所述缺陷识别模型停止学习。
其中，第二阈值可以根据实际情况设定；还可以表示最大循环次数或学习次数，以防止过度训练。
具体地，通过反复循环和优化，使放行区间的下限和缺陷区间的上限逐渐接近相等，确保模型能准确地区分正常和缺陷区域。可以提升缺陷识别模型的精准度，减少人工干预的必要性，并优化整个检测过程的效率。
作为一种实施方式，在放行区间的下限和缺陷区间的上限接近相等时，表示缺陷识别模型对差异区域的正常与缺陷的判定标准非常明确，因此可以停止缺陷识别模型的学习；作为另一种实施方式，可以在缺陷识别模型循环学习达到预设的第二阈值时，停止缺陷识别模型的学习。
进一步地，通过所述缺陷识别模型，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域之后，还包括：
若所述差异区域为正常，则将所述产品灰阶图像添加到所述放行库中，以更新所述放行库；若所述差异区域为缺陷，则将所述产品灰阶图像添加到所述缺陷库中，以更新所述缺陷库；执行所述获取包含同一缺陷类型下不同形态数据的放行库和缺陷库，以及之后的步骤。
具体地，通过持续更新放行库和缺陷库，使得缺陷识别模型可以获取最新的样本学习数据；其中，样本学习数据可以代表实际生产的最新情况，使得缺陷识别模型可以不断调整和优化其判定标准；同时，可以学习到更广泛的数据分布，提高缺陷识别模型的泛化能力和鲁棒性。
本实施例，通过缺陷识别模型学习大量的样本学习数据，以进行优化和自我学习，随着时间推移，模型的精度和鲁棒性会不断提升。模型可以根据新的缺陷模式和类型进行调整，增强对复杂和不规则缺陷的检测能力。
本实施例，通过缺陷识别模型不断学习和优化放行区间和缺陷区间，也即，不断迭代的学习过程不仅使模型越判越准确，逐渐减少了对人工判定的依赖，从而优化了检测过程，提高了生产效率和产品质量。
请参阅图6，图6是本申请图像的检测方法的电子设备的示例性结构框图。如图6示出，本申请的电子设备600可以包括处理器601和存储器602，其中处理器601和存储器602之间通过总线进行通信。存储器602存储有用于图像的检测的程序指令，当所述程序指令由所述处理器601执行时，使得电子设备执行上述相关方法步骤实现上述实施例中的一种图像的检测方法。
请参阅图7，图7是本申请图像的检测方法的计算机可读存储介质的示例性结构框图。如图7示出，该计算机可读存储介质700中存储有计算机程序701，当该计算机程序701在计算机上被处理器运行时，使得计算机执行上述相关方法步骤实现上述实施例中的一种图像的检测方法。
以上方案，获取到产品灰阶图像，其中所述产品灰阶图像标记有差异区域；计算得到所述差异区域相对于所述差异区域所在区域的灰阶距离，或计算得到所述灰阶距离以及所述差异区域相对于正常范围的灰阶差均值、灰阶差方差；利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。在标记出差异区域之后，利用差异区域相对于所在区域的灰阶距离，或利用灰阶距离、差异区域相对于正常范围的灰阶差均值和灰阶差方差，判断这个差异区域是否为真实缺陷，可以提升封装基板的差异区域的检测效率。
在本申请所提供的几个实施方式中，应该理解到，所揭露方法，电子设备和存储介质，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像的检测方法，其特征在于，所述检测方法包括：
获取到产品灰阶图像，其中所述产品灰阶图像标记有差异区域；
计算得到所述差异区域相对于所述差异区域所在区域的灰阶距离，或计算得到所述灰阶距离以及所述差异区域相对于正常范围的灰阶差均值、灰阶差方差；
利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
2.根据权利要求1所述的检测方法，其特征在于，所述计算得到所述差异区域相对于所述差异区域所在区域的灰阶距离，或计算得到所述灰阶距离以及所述差异区域相对于正常范围的灰阶差均值、灰阶差方差，包括：
将所述产品灰阶图像输入到缺陷识别模型中，通过所述缺陷识别模型，基于所述差异区域，计算得到所述灰阶距离，或计算得到所述灰阶距离以及所述灰阶差均值和所述灰阶差方差；
所述利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域，包括：
通过所述缺陷识别模型，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
3.根据权利要求2所述的检测方法，其特征在于，所述通过所述缺陷识别模型，基于所述差异区域，计算得到所述灰阶距离，或计算得到所述灰阶距离以及所述灰阶差均值和所述灰阶差方差，包括：
通过所述缺陷识别模型，基于所述差异区域的中心点建立坐标系，并根据所述坐标系，计算得到所述灰阶距离；或
通过所述缺陷识别模型，计算得到所述灰阶距离；以及，获取所述差异区域相对于所述正常范围的多个灰阶差值，对各所述灰阶差值进行均值计算，得到所述灰阶差均值，对各所述灰阶差值进行方差计算，得到所述灰阶差方差。
4.根据权利要求3所述的检测方法，其特征在于，所述通过所述缺陷识别模型，基于所述差异区域的中心点建立坐标系，并根据所述坐标系，计算得到所述灰阶距离，包括：
通过所述缺陷识别模型，将所述差异区域的中心点作为所述坐标系的原点，并在所述差异区域所在区域建立多个方向的坐标轴；
计算各所述坐标轴在所述差异区域的第一长度，以及各所述坐标轴在所述差异区域所在区域的第二长度；
将各所述坐标轴的所述第一长度与所述第二长度的比例作为各所述坐标轴的方向距离，并从各所述坐标轴的方向距离中选择至少一个作为所述灰阶距离。
5.根据权利要求2所述的检测方法，其特征在于，所述缺陷识别模型设有存在交集的放行区间和缺陷区间；所述放行区间的下限与所述缺陷区间的上限的距离满足预设距离阈值；
所述通过所述缺陷识别模型，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域的步骤，包括：
若所述灰阶距离属于或超过所述放行区间，则确定所述差异区域为正常区域；
反之，则结合所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域。
6.根据权利要求5所述的检测方法，其特征在于，所述结合所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域，包括：
若所述灰阶距离、所述灰阶差均值以及灰阶差方差中的至少两个属于或超过所述放行区间，则确定所述差异区域为正常区域；
若所述灰阶距离、所述灰阶差均值以及灰阶差方差中的至少两个属于或低于所述缺陷区间，则确定所述差异区域为缺陷。
7.根据权利要求2～6任一项所述的检测方法，其特征在于，所述放行区间与所述缺陷区间之间的交集区间为误判区间；所述将所述产品灰阶图像输入到缺陷识别模型中，以供所述缺陷识别模型，基于所述差异区域，计算得到所述灰阶距离，或计算得到所述灰阶距离以及所述灰阶差均值和所述灰阶差方差之前，还包括：
获取包含同一缺陷类型下不同形态数据的放行库和缺陷库；
将所放行库和所述缺陷库输入到所述缺陷识别模型中，通过所述缺陷识别模型学习所述不同形态数据，得到学习结果；其中，若所述学习结果属于所述误判区间，则对所述学习结果执行人工判定；
响应于所述学习结果执行人工判定达到第一阈值，通过所述缺陷识别模型，结合预设的工艺能力指标，对所述放行库进行上下限进行计算，得到更新后的所述放行区间，以及，对所述缺陷库进行上下限计算，得到更新后的所述缺陷区间；并返回执行所述获取包含同一缺陷类型下不同形态数据的放行库和缺陷库；
以此类推，依次循环，直到所述放行区间的下限与所述缺陷区间的上限的距离满足预设距离阈值，或循环到第二阈值时，使所述缺陷识别模型停止学习。
8.根据权利要求7所述的检测方法，其特征在于，所述通过所述缺陷识别模型，利用所述灰阶距离，或所述灰阶距离、所述灰阶差均值以及灰阶差方差，确定所述差异区域是否为缺陷区域之后，还包括：
若所述差异区域为正常，则将所述产品灰阶图像添加到所述放行库中，以更新所述放行库；
若所述差异区域为缺陷，则将所述产品灰阶图像添加到所述缺陷库中，以更新所述缺陷库；
执行所述获取包含同一缺陷类型下不同形态数据的放行库和缺陷库，以及之后的步骤。
9.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行程序代码；
处理器，用于从所述存储器中调用并运行所述可执行程序代码，使得所述电子设备执行如权利要求1至8中任意一项所述的图像的检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至8中任意一项所述的图像的检测方法。
CN202510186467.8A 2025-02-19 2025-02-19 图像的检测方法、电子设备及存储介质 Pending CN120235820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202510186467.8A CN120235820A (zh) 2025-02-19 2025-02-19 图像的检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202510186467.8A CN120235820A (zh) 2025-02-19 2025-02-19 图像的检测方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN120235820A true CN120235820A (zh) 2025-07-01

Family

ID=96161069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202510186467.8A Pending CN120235820A (zh) 2025-02-19 2025-02-19 图像的检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN120235820A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121280449A (zh) * 2025-12-11 2026-01-06 苏州华兴源创科技股份有限公司 晶圆侧面缺陷的检测方法、系统、及其基准模板组的生成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121280449A (zh) * 2025-12-11 2026-01-06 苏州华兴源创科技股份有限公司 晶圆侧面缺陷的检测方法、系统、及其基准模板组的生成方法

Similar Documents

Publication Publication Date Title
CN115082444B (zh) 一种基于图像处理的铜管焊缝缺陷检测方法及系统
CN119379701B (zh) 一种基于图像识别的刨花板质量检测方法及系统
CN109285791B (zh) 设计布局为主的快速在线缺陷诊断、分类及取样方法及系统
CN115360116B (zh) 一种晶圆的缺陷检测方法及系统
CN120182258B (zh) 基于图像识别的线路板微孔镀铜品质检验方法
CN120235820A (zh) 图像的检测方法、电子设备及存储介质
CN118898600B (zh) 基于ai视觉检测的全自动分析仪样本状态评估方法
KR101782364B1 (ko) 케이평균군집화를 통한 학습기반의 비전검사 방법
CN112308816B (zh) 影像辨识装置、影像辨识方法及其存储介质
CN118761997A (zh) 一种基于数据分析的印刷电路板质量评估方法
TWI722861B (zh) 分類方法及分類系統
CN118096767A (zh) 一种晶圆切割不良缺陷检测方法、系统、设备及存储介质
CN116128829A (zh) 异形孔检测方法、装置、电子设备及存储介质
CN120374541B (zh) 一种基于gpu图像处理的树脂塞孔特征提取方法和树脂塞孔品质评价方法
WO2000028309A1 (en) Method for inspecting inferiority in shape
WO2022109949A1 (zh) 不良图片缺陷等级识别的方法、装置及存储介质
CN119399115A (zh) 一种基于改进Yolov8模型的PCB缺陷检测方法、系统和存储介质
CN118469967A (zh) 一种pcb实时质量监测与自动纠错的方法及系统
TWI808595B (zh) 分析缺陷的方法
CN117788412A (zh) 一种基于aoi的pcb板缺陷检测方法
CN112702905B (zh) 印刷电路板良率和生产设备错误率之回溯方法及其系统
CN117529803A (zh) 用于主动良率管理的制造指纹
CN117636257B (zh) 一种基于物联网的图像数据智能识别检测系统及方法
CN119068505B (zh) 一种基于视觉识别的pcb分类方法、系统和存储介质
CN115541586B (zh) 晶锭评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination