[go: up one dir, main page]

CN112816408B - 一种光学镜片的瑕疵检测方法 - Google Patents

一种光学镜片的瑕疵检测方法 Download PDF

Info

Publication number
CN112816408B
CN112816408B CN202011598180.XA CN202011598180A CN112816408B CN 112816408 B CN112816408 B CN 112816408B CN 202011598180 A CN202011598180 A CN 202011598180A CN 112816408 B CN112816408 B CN 112816408B
Authority
CN
China
Prior art keywords
data
optical lens
flaw
training
flaw detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011598180.XA
Other languages
English (en)
Other versions
CN112816408A (zh
Inventor
陶春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Simite Optical Instruments Co ltd
Original Assignee
Nanjing Simite Optical Instruments Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Simite Optical Instruments Co ltd filed Critical Nanjing Simite Optical Instruments Co ltd
Priority to CN202011598180.XA priority Critical patent/CN112816408B/zh
Publication of CN112816408A publication Critical patent/CN112816408A/zh
Application granted granted Critical
Publication of CN112816408B publication Critical patent/CN112816408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/958Inspecting transparent materials or objects, e.g. windscreens
    • G01N2021/9583Lenses

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种光学镜片的瑕疵检测方法,本发明通过深度学习与计算机视觉技术检测光学镜片划痕,毛边,气泡,缺口,螺纹等瑕疵。本发明提供了一种高鲁棒性的光学镜片瑕疵检测技术,创新点在于瑕疵检测的高鲁棒性,准确性,并能够应用于不同场景下的瑕疵检测。该方法包括:通过输入单元及数据库采集光学镜片瑕疵数据;分析处理数据:根据已知数据,对数据集进行数据预处理;设计深度学习模型:通过输入训练集,建立端到端的卷积神经网络模型;设计训练策略,增加模型准确率,鲁棒性;将测试集输入训练模型,得到预测结果。

Description

一种光学镜片的瑕疵检测方法
技术领域
本发明涉及一种计算机视觉深度学习领域的瑕疵检测方法,尤其是一种针对光学镜片瑕疵检测的方法。
背景技术
光学玻璃的制作必须经过光学仪器测量,检验纯度、透明度、均匀度、折射率和色散率是否合规格。在加工的过程中,极易形成划痕,毛边,气泡,缺口,螺纹等瑕疵,目前国内大部分企业仍然使用人工检测方法,不仅效率低下,而且检测质量不高,已经不能满足日益增长的工业需求。因此,国内大多数企业需要一种高鲁棒性的瑕疵检测方法。
虽然先前的研究已经在光学镜片瑕疵检测这一问题提出了许多的解决方案,但是仍没有一个解决方案能够很好地解决该类问题。现有技术中公开了若干解决方案,包括:
公开日为2015年09月23日,公开号CN204666534U公开了光学镜片检测系统,提供一种自动检测光学镜片瑕疵装置,采用新型的光学镜片检测系统藉由稳定待测镜片位置以及避免过度聚光,达成了提高检测准确性的目的。
公开日为2018年08月24日,公开号CN207764138U公开了一种自动检测光学镜片瑕疵装置,解决了现有技术的光学镜片瑕疵检测装置容易漏检瑕疵特征不明显的镜片,检测的品质质量不稳定,而且在瑕疵检测过程中不能根据光学镜片的厚度和大小自由调节成像辅助光屏,导致成像不清晰不彻底,间接地影响瑕疵点的检测准确率的技术问题。
目前基本从检测装置设备结构的创新和改进方面角度进行镜片瑕疵检测,没有通过分析光学镜片瑕疵数据,对瑕疵数据进行数据增广,建立高鲁棒性的油门误踩模型,提高镜片瑕疵检测的准确度。
发明内容
为了克服上述现有技术的不足,本发明通过分析处理海量光学镜片图片,对图片进行数据增广,提取瑕疵特征点,学习到高鲁棒性的瑕疵特征表示。具体的技术方法如下:
一种光学镜片的瑕疵检测方法,包括以下步骤:
步骤1:采集训练数据:通过设备及系统采集光学镜片瑕疵数据;
步骤2:分析处理数据:根据已知数据,对数据集进行数据预处理;
步骤3:设计深度学习模型:通过输入训练集,建立端到端的最优训练模型;
步骤4:设计训练策略:增加模型准确率,鲁棒性;
步骤5:结果检测:将测试集输入训练模型,得到预测结果。
进一步,所述步骤1的设备包括:
(1)输入单元,其被配置成一个或多个源收集实时数据;
(2)数据库,其被配置成存储实时和离线数据。
进一步,所述步骤1中的设备为光学传感器。
进一步,所述步骤2中对数据进行预处理,构造特征向量,具体为:
a)使用平均值填充方法对缺失值进行处理;
b)对数据局进行特征编码,将特征向量归一化至0到1之间;
c)构造特征向量[d,x1,x2,...,xn,y],其中d表示数据的维数,x1,x2...,xn为数据的特征点信息。
进一步,所述步骤2中使用数据增广方法对光学镜片图像数据随机的应用各种变换,扩大训练数据。
进一步,所述步骤3中构造卷积神经网络模型,提取图片瑕疵特征点进行聚类分析,使相同瑕疵特征点的之间的距离减小,不同瑕疵特征点之间的距离加大。
进一步,所述步骤4中具体包括:
a)设置Warmup学习率优化方法;
b)设置Label Smoothing图像标签平滑算法;
c)设置最后一个卷积层步长为1。
发明有益效果
有益效果:本发明所采用的技术方案是:
(1)对光学镜片数据进行数据增广,使训练模型具有良好的鲁棒性。
(2)采用深度学习技术,对光学镜片瑕疵数据提取瑕疵特征点,对提取后的特征点进行聚类,分类。与现有技术相比,本发明具有能够提高光学镜片瑕疵检测的准确性,鲁棒性,能适应工业界不同种类的需求。
附图说明
图1是本申请实施例提供的方法框架流程图;
图2是本申请实施例提供的深度神经网络结构图;
图3是本申请实施例提供的光学镜片数据增广对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明:
一种光学镜片的瑕疵检测方法,其具体的检测步骤如下:
步骤S1:采集训练数据,通过光学相机和显微镜采集光学镜片瑕疵图像训练数据。
步骤S2:分析处理数据,对图像进行实例检测、分割,对分割后的图像,使用数据增广方法对光学镜片图像数据随机的应用各种变换,扩大训练数据,具体的实施方式包括以下步骤:
在本实施例中,将原始图像统一重新调整为256x256像素;
在本实施例中,在每个图像外层设置空白层(padding),大小为2px;
在本实施例中,通过图像增广方法对光学镜片图像进行数据增广,如说明书附图3所示;
在本实施例中,设置均衡样采样器提取每一类数据,使每一训练批次中每一类的数据数目相同。
由于本申请实施例涉及大量卷积神经网络的应用,为了便于理解,下面先对本申请实施例涉及的相关术语及卷积神经网络等相关概念进行介绍。
卷积神经网络是一种带有卷积结构的深度卷积神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。该特征抽取器可以看作是滤波器,卷积过程可以看作是使用一个可训练的滤波器对一个输入的图像或者卷积特征平面(feature map)做卷积,输出一个卷积特征平面,卷积特征平面还可以称为特征图。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中,一个神经元可以只与部分邻层神经元连接。一个卷积层中,通常包含若干个特征平面,每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重,这里共享的权重对应的权重矩阵就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。这其中隐含的原理是:图像的某一部分的统计信息与其他部分是一样的,即意味着在某一部分学习的图像信息也能用在另一部分上。所以对于图像上的所有位置,都能使用同样的学习得到的图像信息。在同一卷积层中,可以使用多个卷积核来提取不同的图像信息,一般地,卷积核数量越多,卷积操作反映的图像信息越丰富。卷积核可以以随机大小的矩阵的形式初始化,在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外,共享权重带来的直接好处是减少卷积神经网络各层之间的连接,同时又降低了过拟合的风险。
损失函数
在训练卷积神经网络的过程中,因为希望卷积神经网络的输出尽可能的接近真正想要预测的值,所以可以通过比较当前网络的预测值和真正想要的目标值,再根据两者之间的差异情况来更新每一层卷积神经网络的权重向量(当然,在第一次更新之前通常会有初始化的过程,即为卷积神经网络中的各层预先配置参数),比如,如果网络的预测值高了,就调整权重向量让它预测低一些,不断的调整,直到卷积神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此,就需要预先定义“如何比较预测值和目标值之间的差异”,这便是损失函数(loss function)或目标函数(objective function),它们是用于衡量预测值和目标值的差异的重要方程。其中,以损失函数举例,损失函数的输出值(loss)越高表示差异越大,那么卷积神经网络的训练就变成了尽可能缩小这个loss过程。
(3)反向传播算法
卷积神经网络可以采用误差反向传播(back propagation,BP)算法在训练过程中修正卷积神经网络中参数的大小,使得卷积神经网络输出的预测值与真正想要的目标值之间的误差损失越来越小。具体地,前向传递输入信号直至输出会产生误差损失,通过反向传播误差损失信息来更新初始的卷积神经网络中参数,从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动,旨在得到最优的卷积神经网络的参数,例如权重矩阵,也就卷积层的卷积核。
步骤S3:设计深度学习模型,对光学镜片图像提取特征点,对瑕疵特征点进行聚类分析,使相同类的特征点之间的距离减小,不同瑕疵特征点之间的距离加大,使用深度神经网络算法来对光学镜片瑕疵数据进行训练,神经网络由一系列卷积神经网络和池化层组成,包括输入层,卷积层和输出层,算法包括前向传播和反向传播两个过程,如说明书附图2所示。
步骤S4:设计训练策略模块,设计训练策略提高模型的准确性,包含以下子模块:
在本实施例中,设置Warmup学习率优化方法,在模型训练之初选用较小的学习率,设置为0.000035,训练十个epoch之后,使用0.00035学习率进行训练;
在本实施例中,设置Label Smoothing图像标签平滑算法,得到当前输入图片对应于各个类别的置信度分数,再使用SoftMax进行归一化处理,最终得到当前输入图片属于每个类别的概率;
在本实施例中,设置最后一个卷积层步长为1,移除最后一个将采样的操作丰富特征的细粒度。
在本实施例中,设置损失函数,使用梯度下降法和三元组法来训练神经网络,三元组使得同类样本的正样本更靠近ground truth,而不同类的负样本则远离ground truth,具体包括以下步骤:
(a)计算交叉熵和SoftMax作为刻画预测值和真实值之间差距的损失函数(loss_cross):
(b)计算三元组损失特征图之间差距的损失函数(loss_tri):
步骤S5:结果检测:将测试集输入到训练模型中,得到预测结果,形式为one-hot编码类型。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (3)

1.一种光学镜片的瑕疵检测方法,其特征在于,包括以下步骤:
步骤1:采集训练数据:通过输入单元及数据库采集光学镜片瑕疵数据,输入单元配置成一个或多个源收集实时数据,为光学传感器;数据库配置成存储实时和离线数据;
步骤2:分析处理数据:根据已知数据,对数据集进行数据预处理,具体为:
a)使用平均值填充方法对缺失值进行处理;
b)对数据局进行特征编码,将特征向量归一化至0到1之间;
c)构造特征向量[d,x1,x2,...,xn,y],其中d表示数据的维数x1,x2,...,xn为数据的特征点信息;
步骤3:设计深度学习模型:通过输入训练集,建立端到端的卷积神经网络模型;
步骤4:设计训练策略,增加模型准确率,鲁棒性,具体包括:
a)设置Warmup学习率优化方法;
b)设置LabelSmoothing图像标签平滑算法;
c)设置最后一个卷积层步长为1;
步骤5:结果检测:将测试集输入训练模型,得到预测结果。
2.根据权利要求1所述光学镜片的瑕疵检测方法,其特征在于:步骤2中使用数据增广方法对光学镜片图像数据随机的应用各种变换,扩大训练数据。
3.根据权利要求1所述光学镜片的瑕疵检测方法,其特征在于:步骤3中构造卷积神经网络模型,提取图片瑕疵特征点进行聚类分析,使相同瑕疵特征点的之间的距离减小,不同瑕疵特征点之间的距离加大。
CN202011598180.XA 2020-12-29 2020-12-29 一种光学镜片的瑕疵检测方法 Active CN112816408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011598180.XA CN112816408B (zh) 2020-12-29 2020-12-29 一种光学镜片的瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011598180.XA CN112816408B (zh) 2020-12-29 2020-12-29 一种光学镜片的瑕疵检测方法

Publications (2)

Publication Number Publication Date
CN112816408A CN112816408A (zh) 2021-05-18
CN112816408B true CN112816408B (zh) 2024-03-26

Family

ID=75856125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011598180.XA Active CN112816408B (zh) 2020-12-29 2020-12-29 一种光学镜片的瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN112816408B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115096912A (zh) * 2022-07-11 2022-09-23 心鉴智控(深圳)科技有限公司 一种镜片瑕疵检测成像方法及系统
CN115082416A (zh) * 2022-07-11 2022-09-20 心鉴智控(深圳)科技有限公司 镜片瑕疵检测方法、装置、设备及存储介质
WO2024225804A1 (ko) * 2023-04-28 2024-10-31 엘지이노텍 주식회사 렌즈의 결함을 예측하는 방법 및 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1980843A1 (en) * 2007-04-13 2008-10-15 Essilor International (Compagnie Generale D'optique) Method and apparatus for detecting defects in optical components.
CN109064459A (zh) * 2018-07-27 2018-12-21 江苏理工学院 一种基于深度学习的布匹瑕疵检测方法
CN111220544A (zh) * 2020-01-19 2020-06-02 河海大学 一种镜片质量检测装置及检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1980843A1 (en) * 2007-04-13 2008-10-15 Essilor International (Compagnie Generale D'optique) Method and apparatus for detecting defects in optical components.
CN109064459A (zh) * 2018-07-27 2018-12-21 江苏理工学院 一种基于深度学习的布匹瑕疵检测方法
CN111220544A (zh) * 2020-01-19 2020-06-02 河海大学 一种镜片质量检测装置及检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
光学镜片外观瑕疵视觉检测方法;朱宇栋;陈於学;;应用光学;20200515(03);全文 *

Also Published As

Publication number Publication date
CN112816408A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN119006469B (zh) 基于机器视觉的基板玻璃表面缺陷自动检测方法及系统
CN113393461B (zh) 基于深度学习的分裂中期染色体图像质量筛选方法和系统
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN112816408B (zh) 一种光学镜片的瑕疵检测方法
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN116721343B (zh) 一种基于深度卷积神经网络的跨域田间棉铃识别方法
CN113642498A (zh) 一种基于多层次时空特征融合的视频目标检测系统及方法
CN115393944A (zh) 一种基于多维特征融合的微表情识别方法
CN114092441A (zh) 一种基于双重神经网络的产品表面缺陷检测方法及系统
CN119515792A (zh) 一种基于多维注意力机制的航天器热控薄膜镀膜缺陷识别方法
CN119205668A (zh) 一种工业电缆缺陷图像数据处理方法
Gao et al. No-reference image quality assessment: Obtain mos from image quality score distribution
CN110992301A (zh) 一种气体轮廓识别方法
CN116309270B (zh) 一种基于双目图像的输电线路典型缺陷识别方法
CN117953343A (zh) 一种基于支持样本特征融合和注意力机制的小样本目标检测方法
CN117237599A (zh) 图像目标检测方法及装置
CN116958662A (zh) 一种基于卷积神经网络的钢带缺陷分类方法
CN115457323A (zh) 基于视觉检测系统的手机玻璃屏非均衡表面缺陷分类方法
CN119360439B (zh) 一种基于轻量化lmbw-yolo的跌倒检测方法
CN114445875A (zh) 基于深度学习的身份识别与人脸比对系统及训练方法
CN118072115B (zh) 一种医学细胞检测方法及系统
CN119723643A (zh) 一种人脸表情识别方法及装置
CN116434087A (zh) 基于goa-svm协同算法与无人机的混凝土裂缝识别方法及装置
CN117058023B (zh) Isp参数预测方法及装置
CN120997198B (zh) 基于改进YOLOv8n的内窥镜弹簧管缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant