[go: up one dir, main page]

CN111179251A - 基于孪生神经网络利用模板比对的缺陷检测系统及方法 - Google Patents

基于孪生神经网络利用模板比对的缺陷检测系统及方法 Download PDF

Info

Publication number
CN111179251A
CN111179251A CN201911394231.4A CN201911394231A CN111179251A CN 111179251 A CN111179251 A CN 111179251A CN 201911394231 A CN201911394231 A CN 201911394231A CN 111179251 A CN111179251 A CN 111179251A
Authority
CN
China
Prior art keywords
defect
image
template
image sample
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911394231.4A
Other languages
English (en)
Other versions
CN111179251B (zh
Inventor
乐心怡
张昊东
余一宽
徐嘉文
孔泽隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenjue Technology Shanghai Co ltd
Original Assignee
Shanghai Jiao Tong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiao Tong University filed Critical Shanghai Jiao Tong University
Priority to CN201911394231.4A priority Critical patent/CN111179251B/zh
Publication of CN111179251A publication Critical patent/CN111179251A/zh
Application granted granted Critical
Publication of CN111179251B publication Critical patent/CN111179251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于孪生神经网络利用模板比对的缺陷检测系统及方法，采用深度学习的检测方案，利用孪生神经网络，通过少量数据与先验知识在短时间内训练出优于人工检测漏检率的神经网络模型，所述模型为已训练完成基于孪生神经网络的深度学习模型，通过将待检产品图像与模板图像输入已训练网络得到缺陷的检测结果。本发明能够解决工业中有模板图像、少数据集、多目标类别的检测任务，同时网络亦可实现传统分类网络的功能，实现高精度的质量检测，有效满足带有模板图像的产品生产中对于视检缺陷的自动化检测的要求。

Description

基于孪生神经网络利用模板比对的缺陷检测系统及方法
技术领域
本发明涉及计算机视觉、深度学习技术领域，具体地，涉及一种基于孪生神经网络利用模板比对的缺陷检测系统及方法。
背景技术
工业生产中，几乎所有产品都需要进行质检，其中一大部分的质检过程是由质检员用肉眼视觉完成对产品缺陷的检测(以下称为视检)，尤其是一些表面缺陷，比如装饰板材、金属表面、键盘表面等，这种情况在实际工业中十分常见。由于产品的多样性、缺陷的多样性，比如装饰板材的缺陷即有划痕、污点、斑块、磨损、碎屑等，大大增加了质检员的工作量和工作难度，导致人工视检效率下降且容易由于质检员的疲劳和失误导致漏检、错检等情况，提高生产线的时间成本并可能影响到上市产品的质量。企业往往需要培养专门的质检员，检测环节也大大提高了企业的人力成本。故对于采取人工视检的产品，应用计算机视觉技术和深度学习技术进行图像的采集与处理，采用自动化检测系统及方法进行检测是行之有效，降本增效、控制漏检率的方法。
早期的自动化检测方法倾向于根据缺陷的类型提取特定的手工图像特征，采用数字图像处理方法如阈值分割、椭圆Gabor滤波器、RGB直方图等选择特定的图像特征。如专利文献CN106248686A，公开一种基于机器视觉的玻璃表面缺陷检测装置及方法，提出采用CCD相机对玻璃图像进行采集，在采用数字图像处理方法，如图像标定，二值化，去噪声，边缘检测等方法对缺陷进行识别。数字图像处理方法的识别率对于各种因素，如光照、对比度等影响因素十分敏感，且其过于依赖提取的特定图像特征，无法应对复杂背景，多种缺陷的识别任务，不具备通用性。
在实际生产过程中，大量的产品均有标准的合格产品样本，这类无缺陷样本可以给质检员一个良件的参考，能够为检测提供更多指导性信息，提高工作效率和准确度。同时，缺陷往往具有相当的多样性，逐类检测缺陷在一些具体问题中会大大降低效率，且对应于多种缺陷类型的情况，需要提前进行大量的先验性工作，且对于特定缺陷的检测将有可能遗漏一些分类较为模糊的缺陷。在很多情况中，缺陷所在的背景可能也包含大量信息，比如键盘键帽的各类缺陷就在上百种不同的键帽之上，这些键帽本身带有不同的图像信息，在传统的图像处理中，这些信息将成为检测缺陷的干扰信息，提高了自动化检测缺陷的难度。而传统的模板匹配方法，如专利文献CN108982508A公开一种基于特征模板匹配和深度学习的塑封体IC芯片缺陷检测方法，基于传统图像处理技术的模板匹配只能用于定位待测图像，后续的缺陷检测依然是使用基础的CNN进行分类，本质上未利用到良件的信息。
近年来，借助机器学习领域深度学习研究的发展，将深度学习方法引入各类产品缺陷图像的检测，可以极大的提高识别的准确性，降低漏检率，提高鲁棒性。其中孪生神经网络在人脸识别等方面展现了强大的能力，为利用模板进行缺陷检测提供了技术基础。专利文献CN110222792A公开了一种基于孪生网络的标签缺陷检测算法，提出了将孪生网络用于文字商标的检测，但其所述的方法实际是一种二分类网络而非孪生网络，在其所述的训练和检测过程中，均未将与待测图像相匹配的模板图片绑定输入，训练集分为有无缺陷的两大类，而检测时输入的所谓“模板”，只是一张随机的无缺陷图像，其功能与传统的分类网络无二，只是将卷积层替换为了权值共享的分离卷积层。且该专利文献中的方法只能进行“有缺陷”、“无缺陷”的二分类工作，且数据集未进行匹配，其网络的功能在背景含有不同语义信息的情况下，有极大可能只能检出大尺度下的缺陷，而对于相对细小的缺陷的识别能力有极大的待验证空间，应用场景十分受限。真正的孪生神经网络仍未在实际工业中有所应用。
深度学习的实质是通过构建具有多隐层的机器学习模型和海量的训练数据，对特征进行学习，从而最终提升分类或预测的准确性和通用性。然而训练一个有效的深度学习模型，需要大量的带标注数据，海量的显卡资源，以及漫长的训练时间，而在很多工业情景中，缺陷图像的获取成本非常高，导致样本数量十分有限，难以直接用来训练深度学习模型。目前的专利鲜有方法设计出一套完成的检测系统，同时解决大量工业生产中样本难以获得这个问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于孪生神经网络利用模板比对的缺陷检测系统及方法。
根据本发明提供的一种基于孪生神经网络利用模板比对的缺陷检测方法，包括：
步骤A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
步骤B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
步骤C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
步骤D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
步骤E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果。
优选地，所述步骤D包括：
步骤S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
步骤S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
步骤S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
步骤S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
步骤S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练。
优选地，所述数据集中人工标注后，同一类真实图像样本的文件名中具有相同且唯一的字符串序列，通过检索可匹配到待测图像的模板文件。
优选地，所述基于交叉熵是用以衡量两个输入图像即真实图像与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure BDA0002345855020000031
Figure BDA0002345855020000032
其中，yi为第i个特征向量中语义信息的差别；
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；
Hy′(y)为交叉熵；
yi＇为理想结果，即正确标签向量。
优选地，检测过程中输入待测图片，即可得出缺陷类别，所述缺陷类别根据n类缺陷标签以及“无缺陷”，共n+1类标签进行分类。
根据本发明提供的一种基于孪生神经网络利用模板比对的缺陷检测系统，包括：
模块A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
模块B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
模块C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
模块D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
模块E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果。
优选地，所述模块D包括：
模块S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
模块S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
模块S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
模块S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
模块S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练。
与现有技术相比，本发明具有如下的有益效果：
1、基于孪生神经网络，利用模板信息进行缺陷检测的深度学习算法，能够解决工业中有模板图像、少数据集、多目标类别的检测任务，同时网络亦可实现传统分类网络的功能。
2、通过有效利用合格产品图像的信息，能解决传统图像方法、传统深度学习分类网络难以处理的小缺陷、弱语义信息、复杂背景等诸多工业中的实际情景，具有极强的产业价值。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的一个具体实施方式中ResNet18预训练网络的网络结构图；
图2为本发明的一个具体实施例的神经网络模型的训练流程图；
图3为本发明的一个具体实施方式中已训练网络做缺陷检测的流程图；
图4为本发明的一个具体实施方式中对于污点类缺陷的基于图像处理的数据增强技术示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明尤其针对构建带模板的缺陷检测的深度学习模型这一问题，提供一种基于孪生神经网络利用模板比对的缺陷检测识别系统及方法并提高检测方法的鲁棒性，降低漏检率，并提供了解决检测系统设计于数据集增强的方案。基于孪生神经网络的以下的逐步操作：
步骤A.采集真实的待测产品加工缺陷图像样本与实际的合格产品图像样本。
步骤B.有需要时，利用数据增强技术生成不足的缺陷图像样本，对真实的加工缺陷图像样本与生成的加工缺陷图像样本进行人工标注。
步骤C.利用图像处理算法，完成每张缺陷图片与标准模板的匹配，找出每张缺陷图片所对应的模板，形成“缺陷——模板”为一组的数据集。
步骤D.将基于孪生神经网络的模型，在标注后的数据上进行训练，生成已训练的预测模型，根据验证集的准确率选取最合适的模型。
步骤E.实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别。
其中，针对于需要大体量数据集的情况，所述基于图像处理的数据增强技术大批量生成带有加工缺陷的待测产品的图像样本，包括利用图像处理技术，将加工缺陷的图像人为添加在所述实际的合格产品图像样本上，生成与所述真实的产品缺陷相似的缺陷图像样本，以获取足够的神经网络训练样本。对于缺陷图片与相应模板的匹配，即所述的用于完成缺陷图片与标准模板匹配的图像处理算法，使用图像特征点提取与匹配的方法，在模板数据集中搜索与缺陷图片最相近的作为其模板，亦有基于python的文件名检索的方法进行匹配的算法。检测过程输入待测图片，网络即可返回缺陷的种类，所述孪生神经网络所区分的缺陷包括，根据所述的缺陷标签(n类)以及“无缺陷”共n+1类标签进行分类，亦可基于实际情况，分为“无缺陷”、“有缺陷”两类进行训练，实现传统二分类网络的功效。
具体实施中，该发明所用的特征提取神经网络包括并不限于Resnet、Densenet等典型神经网络。基于孪生神经网络利用模板比对的缺陷检测识别方法，使用了两个共享权重的残差网络进行特征提取，其中图1为ResNet18的网络结构图，其中由四个残差块构成，每个残差块含有两层卷积层，均使用3*3的卷积核，通过前向的恒等映射，ResNet解决了诸多神经网络在往深度发展时会遇到的梯度消失问题，为实现更深的网络结构提供了技术基础。在本发明中，以ResNet18为例介绍ResNet的网络结构，在实际的实施中，已成功使用了ResNet34、ResNet50、ResNet101、ResNet152等这些更深的残差神经网络。特征提取通过以下步骤：
步骤S1.对已有数据集进行划分，以80％-15％-5％左右的比例分为训练集(training)，验证集(validating)和测试集(testing)，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能。
步骤S2.每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet共享权重，预训练网络的使用可以大大减少训练时间，实现整体系统的实时性。ResNet相较于其他网络如VGG在ImageNet上进行分类任务结果可达到最高的准确率，并由于引入了残差，使得训练过程更加稳定，是一种性能优越的神经网络。所使用的ResNet网络可以方便地进行更换，比如ResNet18、ResNet34、ResNet50、ResNet101、ResNet152等，从而选择最适合当前任务的预训练网络。ResNet的结构以ResNet18为例，ResNeT18的具体网络结构图见附图1，包括17个卷积层、1个全连接层、1个最大池化层、1个平均池化层，分为4个block，每个block内有2个卷积层，每个block运行2次，卷积层卷积核均为3x3。以上列举的ResNet在网络结构上总体一致但在block内各有不同，ResNet18最为简单，ResNet152结构最为复杂。最终每个ResNet18会输出1000x1000x1的特征向量。
步骤S3.得到两个特征向量后，使用concat函数完成特征向量的拼接，作为单输入进入后方的全连接层。特征向量的拼接通过提升向量的维度而减少了向量的数量，在降低了算力需求的同时保留了所有的语义信息。
步骤S4.拼接后的特征向量进入3层全连接层，3层全连接层的神经元数量依次为256，128，label number，即最后一层全连接层的输出通道数为需要进行分类的标签的数量，这一步体现了该方法对于多分类的问题的针对能力。
步骤S5.训练中的loss函数的定义基于交叉熵，用以衡量两个输入图像即待测图像(训练时的各类缺陷图像)与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure BDA0002345855020000071
Figure BDA0002345855020000072
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵。交叉熵越小，预测结果越准确，以该loss指导网络的训练过程。
如图2所示，本发明实现的基于孪生神经网络利用模板比对的缺陷检测识别方法，具体包括以下步骤：
(1)采集真实的键盘缺陷图像样本与合格的键盘图像样本。
采集系统包括固定键盘的专用夹具，固定于夹具之上的光源、相机。在这一实例中，键盘由夹具被固定于同一位置，键盘在采集到的图片中的位置具有极高的一致性，可以精确截取到每一个待检的键帽，在保存时通过文件名将各类键帽区分开，用于匹配模板。
(2)对真实的键盘缺陷图像样本与利用数据增强技术生成的键盘缺陷图像样本进行人工标注，标注的缺陷类别为：污点、重影、盲键、反键。
(3)利用孪生神经网络的结构，通过ResNet提取图像特征，对特征向量进行拼接后，输入全连接层，在基于交叉熵的Loss函数指导下，完成对整个网络的训练。
如图3所示，对网络完成训练后，缺陷检测推断过程只需要将待测图像与匹配到的模板图像输入已训练的网络，即可得到缺陷的推断结果。在完成标定的数据集中，同一类键帽在文件名中具有相同且唯一的字符串序列，通过检索算法可匹配到待测图像的模板文件。
如图4所示，对于需要进行数据扩充的情况下，利用基于图像处理的数据增强技术大批量生成带有各类缺陷的键帽图像样本。
通过观察，发现键盘缺陷的每种类型都有一些相似的特征，例如，“污点”可以看作带有特定灰度的圆点在一定范围内随机分布形成等，于是，通过图像处理，我们可以通过在正常的键帽图像上添加这些缺陷来人为生成更多同种类型的缺陷图像，以此增加训练数据。如图4所示，利用基于图像处理的数据增强技术生成“污点”缺陷图像具体实施例，以此为例，首先选取步骤1中采集的实际键帽图像，在图像上随机选取一个特定点，以该点为中心，在其周围的特定范围内随机绘制多个随机的圆点，由于真实的加工缺陷“污点”颜色与形状通常更为复杂，所以对最后生成随机形状的区域内与其周围进行高斯模糊，由于算法中选取的位置、生成的形状，以及其颜色均为随机，所以生成的加工缺陷图像具有足够的多样性，其余缺陷生成方式类似。
本发明的系统在实施中通过检测台、图像采集、算法推理三部分实现，其中，检测台包括部分生产线，为人工拾取产品进行拍摄或可嵌入自动化生产线的用于安装图像采集模块的平台，其上设置有相机安装支架以及必要的定位紧定装置。图像采集包括相机、光源以及相关配件，安装在平台的支架上。算法推理包括上位计算机以及相应神经网络模型与算法。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，包括：
步骤A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
步骤B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
步骤C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
步骤D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
步骤E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果。
2.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，所述步骤D包括：
步骤S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
步骤S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
步骤S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
步骤S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
步骤S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练。
3.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，所述数据集中人工标注后，同一类真实图像样本的文件名中具有相同且唯一的字符串序列，通过检索可匹配到待测图像的模板文件。
4.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，所述基于交叉熵是用以衡量两个输入图像即真实图像与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure FDA0002345855010000021
Figure FDA0002345855010000022
其中，yi为第i个特征向量中语义信息的差别；
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；
Hy′(y)为交叉熵；
yi＇为理想结果，即正确标签向量。
5.根据权利要求1所述的基于孪生神经网络利用模板比对的缺陷检测方法，其特征在于，检测过程中输入待测图片，即可得出缺陷类别，所述缺陷类别根据n类缺陷标签以及“无缺陷”，共n+1类标签进行分类。
6.一种基于孪生神经网络利用模板比对的缺陷检测系统，其特征在于，包括：
模块A：采集真实的待测产品，形成真实图像样本，采集实际的合格产品，形成合格图像样本；
模块B：判定真实图像样本是否需要数据增强，对需要进行数据增强的真实图像样本，利用数据增强技术生成第一图像样本，对不需要进行数据增强的真实图像样本记为第二图像样本，对第一图像样本与第二图像样本分别进行人工标注后记为缺陷图像样本；
模块C：利用图像处理，对每张缺陷图像样本与合格图像样本形成的标准模板进行匹配，找出每张缺陷图片所对应的标准模板，形成“缺陷—模板”为一组的数据集；
模块D：将基于孪生神经网络的模型，在标注后的缺陷图像样本上进行训练，生成已训练的预测模型，根据验证集的准确率的高低选取最合适的模型；
模块E：实时获取待测产品的图像，在上位计算机内的，利用已训练的预测模型检测图像，分析出待测产品是否存在加工缺陷，判断缺陷类别，得到缺陷的推断结果。
7.根据权利要求6所述的基于孪生神经网络利用模板比对的缺陷检测系统，其特征在于，所述模块D包括：
模块S1：对已有数据集进行划分，分为训练集、验证集和测试集，其中训练集用以训练网络，验证集用以调整选择网络参数，测试集用以确定模型的性能；
模块S2：每一张数据集中的缺陷图像样本均有一个合格样本的模板图像，将该两个图像作为一组输入，分别输入到两个预训练的ResNet神经网络，提取图像的特征信息，其中两个ResNet神经网络共享权重；
模块S3：得到两个特征向量后，使用拼接函数完成特征向量的拼接，作为单输入进入后方的全连接层；
模块S4：拼接后的特征向量进入3层全连接层，所述全连接层的最后一层的输出通道数为需要进行分类的标签的数量；
模块S5：训练中的loss函数的定义是基于交叉熵，进行整个网络的训练。
8.根据权利要求6所述的基于孪生神经网络利用模板比对的缺陷检测系统，其特征在于，所述数据集中人工标注后，同一类真实图像样本的文件名中具有相同且唯一的字符串序列，通过检索可匹配到待测图像的模板文件。
9.根据权利要求6所述的基于孪生神经网络利用模板比对的缺陷检测系统，其特征在于，所述基于交叉熵是用以衡量两个输入图像即真实图像与模板图像的特征向量中语义信息的差别，其计算过程如下：
Figure FDA0002345855010000031
Figure FDA0002345855010000032
其中，yi为第i个特征向量中语义信息的差别；
xi为特征向量第i个值，先通过softmax函数进行归一化，将特征向量各维度的值转化为概率形式，再求得其交叉熵；
xj为为特征向量第j个值；
Hy′(y)为交叉熵；
yi＇为为理想结果，即正确标签向量。
10.根据权利要求6所述的基于孪生神经网络利用模板比对的缺陷检测系统，其特征在于，检测过程中输入待测图片，即可得出缺陷类别，所述缺陷类别根据n类缺陷标签以及“无缺陷”，共n+1类标签进行分类。
CN201911394231.4A 2019-12-30 2019-12-30 基于孪生神经网络利用模板比对的缺陷检测系统及方法 Active CN111179251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394231.4A CN111179251B (zh) 2019-12-30 2019-12-30 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394231.4A CN111179251B (zh) 2019-12-30 2019-12-30 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Publications (2)

Publication Number Publication Date
CN111179251A true CN111179251A (zh) 2020-05-19
CN111179251B CN111179251B (zh) 2021-04-02

Family

ID=70652207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394231.4A Active CN111179251B (zh) 2019-12-30 2019-12-30 基于孪生神经网络利用模板比对的缺陷检测系统及方法

Country Status (1)

Country Link
CN (1) CN111179251B (zh)

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111652883A (zh) * 2020-07-14 2020-09-11 征图新视(江苏)科技股份有限公司 基于深度学习的玻璃表面缺陷检测方法
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111798480A (zh) * 2020-07-23 2020-10-20 北京思图场景数据科技服务有限公司 基于单字符及文字间连接关系预测的文字检测方法及装置
CN111899241A (zh) * 2020-07-28 2020-11-06 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN111950548A (zh) * 2020-08-10 2020-11-17 河南大学 一种引入字库文字图像进行深度模板匹配的汉字识别方法
CN112001396A (zh) * 2020-08-12 2020-11-27 浙江大学 一种轴承表面形变及文字混合缺陷图像检测方法
CN112308148A (zh) * 2020-11-02 2021-02-02 创新奇智(青岛)科技有限公司 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN112381104A (zh) * 2020-11-16 2021-02-19 腾讯科技（深圳）有限公司 一种图像识别方法、装置、计算机设备及存储介质
CN112598631A (zh) * 2020-12-16 2021-04-02 佛山市南海区广工大数控装备协同创新研究院 一种基于多分区匹配和差异模型学习的印刷品表面缺陷检测方法
CN112884744A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113030108A (zh) * 2021-03-08 2021-06-25 哈尔滨工程大学 一种基于机器视觉的涂层缺陷检测系统与方法
CN113112483A (zh) * 2021-04-16 2021-07-13 合肥科大智能机器人技术有限公司 一种基于相似度度量的刚性接触网缺陷检测方法及系统
CN113324993A (zh) * 2021-05-19 2021-08-31 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113379675A (zh) * 2021-04-29 2021-09-10 杭州电子科技大学 一种基于选择分割网络的表面缺陷检测方法
CN113436184A (zh) * 2021-07-15 2021-09-24 南瑞集团有限公司 基于改进孪生网络的电力设备图像缺陷判别方法及系统
CN113469223A (zh) * 2021-06-15 2021-10-01 上海电力大学 一种基于孪生网络和稠密网络的服装检索方法
CN113610795A (zh) * 2021-08-02 2021-11-05 沈阳航空航天大学 一种可燃药筒表面缺陷检测方法及系统
CN113610252A (zh) * 2021-08-17 2021-11-05 浙江捷瑞电力科技有限公司 一种元学习小样本输电线缺陷目标检测和告警系统及方法
CN113610155A (zh) * 2021-08-06 2021-11-05 上海众壹云计算科技有限公司 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN113643268A (zh) * 2021-08-23 2021-11-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN113902939A (zh) * 2021-07-22 2022-01-07 深圳市深视创新科技有限公司 基于孪生网络的工业产品大缺陷检测方法
CN114022479A (zh) * 2022-01-05 2022-02-08 高视科技(苏州)有限公司 电池极耳外观缺陷检测方法
CN114115152A (zh) * 2021-11-25 2022-03-01 武汉智能装备工业技术研究院有限公司 基于嵌入式和深度学习的制造边缘实时事件洞察方法
CN114241271A (zh) * 2021-11-16 2022-03-25 电子科技大学 一种多孪生迁移学习融合多信息的机械故障智能诊断方法
CN114399678A (zh) * 2021-12-27 2022-04-26 上海利淘豪斯机器人有限公司 一种差分孪生网络变电站图像异同检测方法
CN114399691A (zh) * 2021-12-29 2022-04-26 上海利淘豪斯机器人有限公司 一种孪生差分网络的场景变化轮廓检测
CN114418980A (zh) * 2022-01-10 2022-04-29 惠州中科先进制造有限公司 印刷线路板缺陷识别的深度学习方法、系统、设备及介质
CN114549414A (zh) * 2022-01-19 2022-05-27 深圳市比一比网络科技有限公司 一种针对轨道数据的异常变化检测方法及系统
CN114581722A (zh) * 2022-03-22 2022-06-03 聚时科技(上海)有限公司 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法
CN114742811A (zh) * 2022-04-27 2022-07-12 桂林电子科技大学 一种基于改进Yolox的SMT产线焊点缺陷快速检测方法及系统
CN114820541A (zh) * 2022-05-07 2022-07-29 武汉象点科技有限公司 基于重构网络的缺陷检测方法
CN114841915A (zh) * 2022-03-14 2022-08-02 阿里巴巴（中国）有限公司 基于人工智能的瓷砖瑕疵检测方法、系统及存储介质
CN114913110A (zh) * 2021-02-08 2022-08-16 深圳中科飞测科技股份有限公司 检测方法及系统、设备和存储介质
CN114937002A (zh) * 2022-04-11 2022-08-23 五邑大学 基于少样本学习的混凝土缺陷分类方法、装置和介质
CN114945817A (zh) * 2020-10-30 2022-08-26 京东方科技集团股份有限公司 基于缺陷检测的任务处理方法、装置及设备及存储介质
CN115128079A (zh) * 2021-03-10 2022-09-30 英业达科技有限公司 自动光学与类神经网络整合的二次检测系统及其方法
CN115830701A (zh) * 2022-10-12 2023-03-21 中用科技有限公司 一种基于小样本学习的人员违规行为预测方法
CN115830004A (zh) * 2022-12-27 2023-03-21 凌云光技术股份有限公司 表面缺陷检测方法、装置、计算机设备和存储介质
CN115861284A (zh) * 2022-12-29 2023-03-28 凌云光技术股份有限公司 印刷制品线状缺陷检测方法、装置、电子设备和存储介质
CN115861259A (zh) * 2022-12-16 2023-03-28 上海工程技术大学 一种基于模板匹配的引线框架表面缺陷检测方法及装置
CN115953628A (zh) * 2022-12-29 2023-04-11 西安理工大学 小样本白光图像下声带白斑类型的分类方法
CN116091416A (zh) * 2022-12-12 2023-05-09 北京百度网讯科技有限公司 印制电路板组装缺陷检测、变化检测模型训练方法及装置
CN116188376A (zh) * 2022-12-26 2023-05-30 苏州联视泰电子信息技术有限公司 一种基于孪生神经网络的数码印花步进道检测方法
CN116385353A (zh) * 2023-02-10 2023-07-04 南通大学 一种摄像头模组异常检测方法
CN116630262A (zh) * 2023-05-17 2023-08-22 江苏正力新能电池技术有限公司 基于神经网络的电芯检测方法和系统
CN116664494A (zh) * 2023-05-06 2023-08-29 华中科技大学 一种基于模板对比的表面缺陷检测方法
CN116703905A (zh) * 2023-08-04 2023-09-05 聚时科技(深圳)有限公司 空料检测方法、装置、电子设备和计算机可读存储介质
CN117074419A (zh) * 2023-08-25 2023-11-17 江苏广兴丰茂科技有限公司 一种发动机齿圈型钢的缺陷检测方法及系统
CN117218056A (zh) * 2023-07-28 2023-12-12 北京兆维智能装备有限公司 一种电子玻璃面板缺陷检测方法、装置及可读存储介质
CN117314895A (zh) * 2023-11-27 2023-12-29 北京阿丘科技有限公司 缺陷检测方法、设备及计算机可读存储介质
CN117314818A (zh) * 2022-06-21 2023-12-29 株式会社理光 神经网络训练方法及缺陷检测方法、装置和存储介质
CN117541563A (zh) * 2023-11-22 2024-02-09 泸州老窖股份有限公司 一种图像缺陷检测方法、装置、计算机设备及介质
CN117853826A (zh) * 2024-03-07 2024-04-09 誊展精密科技（深圳）有限公司 基于机器视觉的物体表面精度识别方法及相关设备
CN117952972A (zh) * 2024-03-26 2024-04-30 中建国际工程有限公司 一种基于目标检测算法的墙体缺陷检测方法及系统
CN118628988A (zh) * 2024-08-13 2024-09-10 广东鑫光智能系统有限公司 一种智能板材加工工厂的数据治理方法以及系统
CN119048416A (zh) * 2024-07-04 2024-11-29 山东中亚轮胎试验场有限公司 一种轮胎检测方法、装置、电子设备和系统
CN119395040A (zh) * 2025-01-03 2025-02-07 陕西鼎益科技有限公司 一种钛合金在线检测传感器标定的图像识别方法
WO2025060766A1 (zh) * 2023-09-22 2025-03-27 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961236A (zh) * 2018-06-29 2018-12-07 国信优易数据有限公司 电路板缺陷检测模型的训练方法及装置、检测方法及装置
CN109559301A (zh) * 2018-11-20 2019-04-02 江苏第二师范学院（江苏省教育科学研究院） 一种端到端的动车组入所缺陷检测的孪生网络方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961236A (zh) * 2018-06-29 2018-12-07 国信优易数据有限公司 电路板缺陷检测模型的训练方法及装置、检测方法及装置
CN109559301A (zh) * 2018-11-20 2019-04-02 江苏第二师范学院（江苏省教育科学研究院） 一种端到端的动车组入所缺陷检测的孪生网络方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法

Cited By (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612763A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111612763B (zh) * 2020-05-20 2022-06-03 重庆邮电大学 手机屏幕缺陷检测方法、装置及系统、计算机设备及介质
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN111652883A (zh) * 2020-07-14 2020-09-11 征图新视(江苏)科技股份有限公司 基于深度学习的玻璃表面缺陷检测方法
CN111652883B (zh) * 2020-07-14 2024-02-13 征图新视(江苏)科技股份有限公司 基于深度学习的玻璃表面缺陷检测方法
CN111798480A (zh) * 2020-07-23 2020-10-20 北京思图场景数据科技服务有限公司 基于单字符及文字间连接关系预测的文字检测方法及装置
CN111798480B (zh) * 2020-07-23 2024-07-26 北京思图场景数据科技服务有限公司 基于单字符及文字间连接关系预测的文字检测方法及装置
CN111899241A (zh) * 2020-07-28 2020-11-06 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN111899241B (zh) * 2020-07-28 2022-03-18 华中科技大学 一种定量化的炉前pcb贴片缺陷在线检测方法及系统
CN111754513A (zh) * 2020-08-07 2020-10-09 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111754513B (zh) * 2020-08-07 2024-03-22 腾讯科技（深圳）有限公司 产品表面缺陷分割方法、缺陷分割模型学习方法及装置
CN111950548A (zh) * 2020-08-10 2020-11-17 河南大学 一种引入字库文字图像进行深度模板匹配的汉字识别方法
CN111950548B (zh) * 2020-08-10 2023-07-28 河南大学 一种引入字库文字图像进行深度模板匹配的汉字识别方法
CN112001396A (zh) * 2020-08-12 2020-11-27 浙江大学 一种轴承表面形变及文字混合缺陷图像检测方法
CN112001396B (zh) * 2020-08-12 2022-08-23 浙江大学 一种轴承表面形变及文字混合缺陷图像检测方法
CN114945817A (zh) * 2020-10-30 2022-08-26 京东方科技集团股份有限公司 基于缺陷检测的任务处理方法、装置及设备及存储介质
CN112308148A (zh) * 2020-11-02 2021-02-02 创新奇智(青岛)科技有限公司 缺陷类别识别、孪生神经网络训练方法、装置及存储介质
CN112381104A (zh) * 2020-11-16 2021-02-19 腾讯科技（深圳）有限公司 一种图像识别方法、装置、计算机设备及存储介质
CN112598631A (zh) * 2020-12-16 2021-04-02 佛山市南海区广工大数控装备协同创新研究院 一种基于多分区匹配和差异模型学习的印刷品表面缺陷检测方法
CN114913110A (zh) * 2021-02-08 2022-08-16 深圳中科飞测科技股份有限公司 检测方法及系统、设备和存储介质
CN112884744A (zh) * 2021-02-22 2021-06-01 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113030108A (zh) * 2021-03-08 2021-06-25 哈尔滨工程大学 一种基于机器视觉的涂层缺陷检测系统与方法
CN115128079A (zh) * 2021-03-10 2022-09-30 英业达科技有限公司 自动光学与类神经网络整合的二次检测系统及其方法
CN113112483B (zh) * 2021-04-16 2023-04-18 合肥科大智能机器人技术有限公司 一种基于相似度度量的刚性接触网缺陷检测方法及系统
CN113112483A (zh) * 2021-04-16 2021-07-13 合肥科大智能机器人技术有限公司 一种基于相似度度量的刚性接触网缺陷检测方法及系统
CN113379675A (zh) * 2021-04-29 2021-09-10 杭州电子科技大学 一种基于选择分割网络的表面缺陷检测方法
CN113324993B (zh) * 2021-05-19 2022-09-27 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113324993A (zh) * 2021-05-19 2021-08-31 吉林大学 一种全方位的药瓶外观缺陷检测方法
CN113469223A (zh) * 2021-06-15 2021-10-01 上海电力大学 一种基于孪生网络和稠密网络的服装检索方法
CN113436184A (zh) * 2021-07-15 2021-09-24 南瑞集团有限公司 基于改进孪生网络的电力设备图像缺陷判别方法及系统
CN113436184B (zh) * 2021-07-15 2024-05-24 南瑞集团有限公司 基于改进孪生网络的电力设备图像缺陷判别方法及系统
CN113902939A (zh) * 2021-07-22 2022-01-07 深圳市深视创新科技有限公司 基于孪生网络的工业产品大缺陷检测方法
CN113610795A (zh) * 2021-08-02 2021-11-05 沈阳航空航天大学 一种可燃药筒表面缺陷检测方法及系统
CN113610795B (zh) * 2021-08-02 2023-09-29 沈阳航空航天大学 一种可燃药筒表面缺陷检测方法及系统
CN113610155B (zh) * 2021-08-06 2024-05-31 上海众壹云计算科技有限公司 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN113610155A (zh) * 2021-08-06 2021-11-05 上海众壹云计算科技有限公司 基于相似性比对模型的晶圆缺陷分类方法及装置、电子设备和存储介质
CN113610252B (zh) * 2021-08-17 2023-09-19 浙江捷瑞电力科技有限公司 一种元学习小样本输电线缺陷目标检测和告警系统及方法
CN113610252A (zh) * 2021-08-17 2021-11-05 浙江捷瑞电力科技有限公司 一种元学习小样本输电线缺陷目标检测和告警系统及方法
CN113643268B (zh) * 2021-08-23 2023-05-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN113643268A (zh) * 2021-08-23 2021-11-12 四川大学 基于深度学习的工业制品缺陷质检方法、装置及存储介质
CN114241271B (zh) * 2021-11-16 2023-04-25 电子科技大学 一种多孪生迁移学习融合多信息的机械故障智能诊断方法
CN114241271A (zh) * 2021-11-16 2022-03-25 电子科技大学 一种多孪生迁移学习融合多信息的机械故障智能诊断方法
CN114115152A (zh) * 2021-11-25 2022-03-01 武汉智能装备工业技术研究院有限公司 基于嵌入式和深度学习的制造边缘实时事件洞察方法
CN114399678A (zh) * 2021-12-27 2022-04-26 上海利淘豪斯机器人有限公司 一种差分孪生网络变电站图像异同检测方法
CN114399691A (zh) * 2021-12-29 2022-04-26 上海利淘豪斯机器人有限公司 一种孪生差分网络的场景变化轮廓检测
CN114022479A (zh) * 2022-01-05 2022-02-08 高视科技(苏州)有限公司 电池极耳外观缺陷检测方法
CN114418980A (zh) * 2022-01-10 2022-04-29 惠州中科先进制造有限公司 印刷线路板缺陷识别的深度学习方法、系统、设备及介质
CN114549414A (zh) * 2022-01-19 2022-05-27 深圳市比一比网络科技有限公司 一种针对轨道数据的异常变化检测方法及系统
CN114841915A (zh) * 2022-03-14 2022-08-02 阿里巴巴（中国）有限公司 基于人工智能的瓷砖瑕疵检测方法、系统及存储介质
CN114581722A (zh) * 2022-03-22 2022-06-03 聚时科技(上海)有限公司 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法
CN114937002A (zh) * 2022-04-11 2022-08-23 五邑大学 基于少样本学习的混凝土缺陷分类方法、装置和介质
CN114742811A (zh) * 2022-04-27 2022-07-12 桂林电子科技大学 一种基于改进Yolox的SMT产线焊点缺陷快速检测方法及系统
CN114742811B (zh) * 2022-04-27 2024-03-29 桂林电子科技大学 一种基于改进Yolox的SMT产线焊点缺陷快速检测方法及系统
CN114820541A (zh) * 2022-05-07 2022-07-29 武汉象点科技有限公司 基于重构网络的缺陷检测方法
CN117314818A (zh) * 2022-06-21 2023-12-29 株式会社理光 神经网络训练方法及缺陷检测方法、装置和存储介质
CN115830701A (zh) * 2022-10-12 2023-03-21 中用科技有限公司 一种基于小样本学习的人员违规行为预测方法
CN116091416A (zh) * 2022-12-12 2023-05-09 北京百度网讯科技有限公司 印制电路板组装缺陷检测、变化检测模型训练方法及装置
CN115861259A (zh) * 2022-12-16 2023-03-28 上海工程技术大学 一种基于模板匹配的引线框架表面缺陷检测方法及装置
CN116188376A (zh) * 2022-12-26 2023-05-30 苏州联视泰电子信息技术有限公司 一种基于孪生神经网络的数码印花步进道检测方法
CN115830004A (zh) * 2022-12-27 2023-03-21 凌云光技术股份有限公司 表面缺陷检测方法、装置、计算机设备和存储介质
CN115861284A (zh) * 2022-12-29 2023-03-28 凌云光技术股份有限公司 印刷制品线状缺陷检测方法、装置、电子设备和存储介质
CN115953628A (zh) * 2022-12-29 2023-04-11 西安理工大学 小样本白光图像下声带白斑类型的分类方法
CN116385353A (zh) * 2023-02-10 2023-07-04 南通大学 一种摄像头模组异常检测方法
CN116385353B (zh) * 2023-02-10 2024-01-30 南通大学 一种摄像头模组异常检测方法
CN116664494A (zh) * 2023-05-06 2023-08-29 华中科技大学 一种基于模板对比的表面缺陷检测方法
CN116630262A (zh) * 2023-05-17 2023-08-22 江苏正力新能电池技术有限公司 基于神经网络的电芯检测方法和系统
CN116630262B (zh) * 2023-05-17 2025-02-07 江苏正力新能电池技术股份有限公司 基于神经网络的电芯检测方法和系统
CN117218056A (zh) * 2023-07-28 2023-12-12 北京兆维智能装备有限公司 一种电子玻璃面板缺陷检测方法、装置及可读存储介质
CN116703905B (zh) * 2023-08-04 2023-11-24 聚时科技(深圳)有限公司 空料检测方法、装置、电子设备和计算机可读存储介质
CN116703905A (zh) * 2023-08-04 2023-09-05 聚时科技(深圳)有限公司 空料检测方法、装置、电子设备和计算机可读存储介质
CN117074419B (zh) * 2023-08-25 2024-04-09 江苏广兴丰茂科技有限公司 一种发动机齿圈型钢的缺陷检测方法及系统
CN117074419A (zh) * 2023-08-25 2023-11-17 江苏广兴丰茂科技有限公司 一种发动机齿圈型钢的缺陷检测方法及系统
WO2025060766A1 (zh) * 2023-09-22 2025-03-27 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备
CN117541563A (zh) * 2023-11-22 2024-02-09 泸州老窖股份有限公司 一种图像缺陷检测方法、装置、计算机设备及介质
CN117314895B (zh) * 2023-11-27 2024-03-12 北京阿丘科技有限公司 缺陷检测方法、设备及计算机可读存储介质
CN117314895A (zh) * 2023-11-27 2023-12-29 北京阿丘科技有限公司 缺陷检测方法、设备及计算机可读存储介质
CN117853826B (zh) * 2024-03-07 2024-05-10 誊展精密科技（深圳）有限公司 基于机器视觉的物体表面精度识别方法及相关设备
CN117853826A (zh) * 2024-03-07 2024-04-09 誊展精密科技（深圳）有限公司 基于机器视觉的物体表面精度识别方法及相关设备
CN117952972B (zh) * 2024-03-26 2024-05-31 中建国际工程有限公司 一种基于目标检测算法的墙体缺陷检测方法及系统
CN117952972A (zh) * 2024-03-26 2024-04-30 中建国际工程有限公司 一种基于目标检测算法的墙体缺陷检测方法及系统
CN119048416A (zh) * 2024-07-04 2024-11-29 山东中亚轮胎试验场有限公司 一种轮胎检测方法、装置、电子设备和系统
CN119048416B (zh) * 2024-07-04 2025-04-25 山东中亚轮胎试验场有限公司 一种轮胎检测方法、装置、电子设备和系统
CN118628988A (zh) * 2024-08-13 2024-09-10 广东鑫光智能系统有限公司 一种智能板材加工工厂的数据治理方法以及系统
CN119395040A (zh) * 2025-01-03 2025-02-07 陕西鼎益科技有限公司 一种钛合金在线检测传感器标定的图像识别方法
CN119395040B (zh) * 2025-01-03 2025-04-15 陕西鼎益科技有限公司 一种钛合金在线检测传感器标定的图像识别方法

Also Published As

Publication number Publication date
CN111179251B (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN114494780B (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN114663346B (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN111292305B (zh) 一种改进型yolo-v3的金属加工表面缺陷检测方法
CN113239930B (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
Ma et al. A hierarchical attention detector for bearing surface defect detection
CN111814850A (zh) 缺陷检测模型训练方法、缺陷检测方法及相关装置
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN114372955A (zh) 一种基于改进神经网络的铸件缺陷x射线图自动识别法
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
Zhao et al. YOLOv8-QR: An improved YOLOv8 model via attention mechanism for object detection of QR code defects
Wang et al. A multiple-stage defect detection model by convolutional neural network
CN112070727A (zh) 一种基于机器学习的金属表面缺陷检测方法
CN119091236B (zh) 基于视觉检测和元学习的陶瓷封装基板检测方法及系统
KR101782364B1 (ko) 케이평균군집화를 통한 학습기반의 비전검사 방법
CN116843677A (zh) 钣金件的外观质量检测系统及其方法
CN113516619A (zh) 一种基于图像处理技术的产品表面瑕疵识别方法
CN120102589A (zh) 触摸屏的表面缺陷检测方法及相关设备
Ma et al. Stamping part surface crack detection based on machine vision
CN117455836A (zh) SF-YOLONet的金属齿轮端面缺陷检测方法及系统
CN116309509A (zh) 焊点缺陷检测方法、装置、电子设备和可读存储介质
Ruengrote et al. Design of deep learning techniques for PCBs defect detecting system based on YOLOv10
Sauter et al. Defect detection of metal nuts applying convolutional neural networks
CN120298321A (zh) 一种图像缺陷检测系统、训练方法、缺陷检测方法及电子设备
CN120356041A (zh) 一种基于多模态大模型的围串标检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20250624

Address after: 200060 No. 699 Changshou Road Room 1004 Putuo District Shanghai City

Patentee after: Yue Xinyi

Country or region after: China

Address before: 200240 Dongchuan Road, Shanghai, No. 800, No.

Patentee before: SHANGHAI JIAO TONG University

Country or region before: China

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20251022

Address after: 200241 room 1001, 1st floor, building B, 555 Dongchuan Road, Minhang District, Shanghai

Patentee after: Zhenjue Technology (Shanghai) Co.,Ltd.

Country or region after: China

Address before: 200060 No. 699 Changshou Road Room 1004 Putuo District Shanghai City

Patentee before: Yue Xinyi

Country or region before: China

TR01 Transfer of patent right