[go: up one dir, main page]

CN108776808A - 一种用于检测钢包溶蚀缺陷的方法和装置 - Google Patents

一种用于检测钢包溶蚀缺陷的方法和装置 Download PDF

Info

Publication number
CN108776808A
CN108776808A CN201810532052.1A CN201810532052A CN108776808A CN 108776808 A CN108776808 A CN 108776808A CN 201810532052 A CN201810532052 A CN 201810532052A CN 108776808 A CN108776808 A CN 108776808A
Authority
CN
China
Prior art keywords
image
defect
label
ladle
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810532052.1A
Other languages
English (en)
Inventor
文亚伟
冷家冰
刘明浩
徐玉林
张发恩
郭江亮
李旭
唐进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810532052.1A priority Critical patent/CN108776808A/zh
Publication of CN108776808A publication Critical patent/CN108776808A/zh
Priority to US16/351,291 priority patent/US11276158B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种用于检测钢包溶蚀缺陷的方法和装置。方法的一个具体实施方式包括：采用图像采集装置从待检测钢包内部采集各个角度的图像；将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签，其中，缺陷检测系统包括：基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络。该方法检测钢包状态的安全性高、准确率高、实时性高。

Description

一种用于检测钢包溶蚀缺陷的方法和装置
技术领域
本申请涉及计算机技术领域，具体涉及计算机网络技术领域，尤其涉及一种用于检测钢包溶蚀缺陷的方法和装置。
背景技术
在钢铁制造业中，钢包是炼钢的重要设备，其状态不仅关系到钢铁生产的质量，而且关系到生产环境的安全。因此对于钢包状态的质检是钢铁生产流程中的关键环节。传统钢铁企业生产环境中，对钢包状态进行监控的一种重要手段是对钢包内壁表面的状态进行检测，以判断钢包是否缺陷，并根据检测结果对钢包做相应的处理。
在传统钢铁企业中，这种基于钢包内壁表面状态的质检多为人工巡检或半自动化光学仪器辅助质检。现有的质检系统在缺陷分类应用中主要有两种方式。第一为纯人工质检方式，即依赖于行业专家肉眼观察生产环境中的图像给出判断；第二为机器辅助的人工质检方式，主要由具有一定判断能力的质检系统过滤掉没有缺陷的图像，由行业专家对疑似存在缺陷的图像进行检测判断。其中，第二种方式多为专家系统和特征工程系统发展而来，专家将经验固化在质检系统中，具有一定的自动化能力。
发明内容
本申请实施例提出一种用于检测钢包溶蚀缺陷的方法和装置。
第一方面，本申请实施例提供了一种用于检测钢包溶蚀缺陷的方法，包括：采用图像采集装置从待检测钢包内部采集各个角度的图像；将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签，其中，缺陷检测系统包括：基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络。
在一些实施例中，缺陷检测系统包括：预测引擎和一个以上采用深度卷积神经网络的多标签分类模型；以及将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签包括：采用预测引擎将所采集的图像转化为分类请求，基于一个以上多标签分类模型的负载，确定用于处理分类请求的多标签分类模型，将分类请求输入所确定的多标签分类模型中；经由所确定的多标签分类模型进行多标签分类计算，得到代表缺陷类别的标签。
在一些实施例中，多标签分类模型包括：卷积层、池化层、全连接层和分类网络；将分类请求输入所确定的多标签分类模型中进行多标签分类计算，得到代表缺陷类别的标签包括：将分类请求中的所采集的图像输入卷积层，得到图像特征；将图像特征输入池化层，得到降维后的特征；将降维后的特征输入全连接层，得到全局特征；将全局特征输入分类网络，得到输出的代表缺陷类别的标签。
在一些实施例中，多标签分类模型基于以下步骤确定：获取已标注缺陷类别的标签的钢包内部图像；采用已标注缺陷类别的标签的钢包内部图像训练预先架构的初始模型，得到多标签分类模型。
在一些实施例中，多标签分类模型的损失函数为各个输出的标签与已标注的标签之差的和；以及采用已标注缺陷类别的标签的钢包内部图像训练预先架构的初始模型，得到多标签分类模型包括：当损失函数小于预先设定的阈值时，停止训练多标签分类模型。
在一些实施例中，方法还包括：将所采集的图像和缺陷检测系统输出的代表缺陷类别的标签更新至生产数据库；基于更新后的生产数据库，确定更新后的训练数据库；基于更新后的训练数据库优化深度卷积神经网络。
在一些实施例中，方法还包括：响应于代表缺陷类别的标签符合预先设置的报警条件，触发报警装置报警。
在一些实施例中，方法还包括：将用户对报警的响应操作存储为线上生产日志；将线上生产日志存储至生产数据库中。
第二方面，本申请实施例提供了一种用于检测钢包溶蚀缺陷的装置，包括：图像采集单元，被配置成采用图像采集装置从待检测钢包内部采集各个角度的图像；图像检测单元，被配置成将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签，其中，缺陷检测系统包括：基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络。
在一些实施例中，图像检测单元中的缺陷检测系统包括：预测引擎和一个以上采用深度卷积神经网络的多标签分类模型；以及图像检测单元包括：转化输入单元，被配置成采用预测引擎将所采集的图像转化为分类请求，基于一个以上多标签分类模型的负载，确定用于处理分类请求的多标签分类模型，将分类请求输入所确定的多标签分类模型中；分类计算单元，被配置成经由所确定的多标签分类模型进行多标签分类计算，得到代表缺陷类别的标签。
在一些实施例中，图像检测单元中的多标签分类模型包括：卷积层、池化层、全连接层和分类网络；分类计算单元包括：请求输入子单元，被配置成将分类请求中的所采集的图像输入卷积层，得到图像特征；特征降维子单元，被配置成将图像特征输入池化层，得到降维后的特征；特征连接子单元，被配置成将降维后的特征输入全连接层，得到全局特征；特征分类子单元，被配置成将全局特征输入分类网络，得到输出的代表缺陷类别的标签。
在一些实施例中，图像检测单元中的多标签分类模型基于以下步骤确定：获取已标注缺陷类别的标签的钢包内部图像；采用已标注缺陷类别的标签的钢包内部图像训练预先架构的初始模型，得到多标签分类模型。
在一些实施例中，图像检测单元中的多标签分类模型的损失函数为各个输出的标签与已标注的标签之差的和；以及图像检测单元中的多标签分类模型进一步基于以下步骤确定：当损失函数小于预先设定的阈值时，停止训练多标签分类模型。
在一些实施例中，装置还包括：数据更新单元，被配置成将所采集的图像和缺陷检测系统输出的代表缺陷类别的标签更新至生产数据库；数据确定单元，被配置成基于更新后的生产数据库，确定更新后的训练数据库；模型优化单元，被配置成基于更新后的训练数据库优化深度卷积神经网络。
在一些实施例中，装置还包括：报警触发单元，被配置成响应于代表缺陷类别的标签符合预先设置的报警条件，触发报警装置报警。
在一些实施例中，装置还包括：日志存储单元，被配置成将用户对报警的响应操作存储为线上生产日志；数据存储单元，被配置成将线上生产日志存储至生产数据库中。
第三方面，本申请实施例提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上任一所述的一种用于检测钢包溶蚀缺陷的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一所述的一种用于检测钢包溶蚀缺陷的方法。
本申请实施例提供的一种用于检测钢包溶蚀缺陷的方法和装置，首先采用图像采集装置从待检测钢包内部采集各个角度的图像；之后将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签，其中，所述缺陷检测系统包括：基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络。在这一过程中，由于缺陷检测系统包括深度卷积神经网络模型，可以基于输入的图像预测该图像中所包括的钢包溶蚀缺陷，因此，该用于检测钢包溶蚀缺陷的方法检测钢包状态的安全性高、准确率高、实时性高。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了本申请实施例可以应用于其中的示例性系统架构；
图2是根据本申请实施例的一种用于检测钢包溶蚀缺陷的方法的一个实施例的示意性流程图；
图3是根据本申请实施例的一种多标签分类模型的一个示例性架构；
图4是根据本申请实施例的一种用于检测钢包溶蚀缺陷的方法的实施例的示例性应用场景；
图5是根据本申请实施例的一种用于检测钢包溶蚀缺陷的装置的一个实施例的示例性结构图；
图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，图1示出了可以应用本申请的一种用于检测钢包溶蚀缺陷的方法或一种用于检测钢包溶蚀缺陷的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105、106。网络104用以在终端设备101、102、103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端设备101、102、103通过网络104与服务器105、106交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如拍摄类应用、搜索引擎类应用、购物类应用、即时通信工具、邮箱客户端、社交平台软件、视频播放类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以为专用的图像采集装置或是其它与服务器进行交互的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105、106可以是提供各种服务的服务器。例如服务器105、106可以是对终端设备101、102、103提供支持的后台服务器。后台服务器可以对终端提交的数据进行分析、存储或计算等处理，并将获得的数据处理结果推送给终端设备。
通常情况下，本申请实施例所提供的一种用于检测钢包溶蚀缺陷的方法一般由服务器105、106执行，相应地，一种用于检测钢包溶蚀缺陷的装置一般设置于服务器105、106中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
进一步参考图2，图2示出了根据本申请实施例的一种用于检测钢包溶蚀缺陷的方法的一个实施例的示意性流程图。
如图2所示，一种用于检测钢包溶蚀缺陷的方法200包括：
在步骤210中，采用图像采集装置从待检测钢包内部采集各个角度的图像。
在本实施例中，一种用于检测钢包溶蚀缺陷的方法的执行主体(例如图1所示的服务器105、106)可以接收从图像采集装置提交的原始采集图像，例如不同位置、各个角度的静态图像或动态图像等。这些各个角度的图像，可以无死角覆盖钢包内壁的所有区域。
这里的图像采集装置采集的各个角度的图像，可以包括生产环境数据、历史累计数据、通用摄像头采集数据、专用摄像头采集数据、人工拍照样本、第三方数据以及其它数据等。
这里的图像采集装置，可以包括专业高温镜头以及镜头防护罩等。在采用图像采集装置进行图像采集时，可以采用一组镜头拍摄，也可以采用两组或多组镜头同时拍摄，以缩短拍摄时间。这里的图像采集装置，还可以为录像机，通过网络或4G进行单张或多张图片的采集。
在一个具体的示例中，可以在钢包该上设置两组镜头，每组镜头分别可以进行侧面拍摄和底面拍摄，以便采集钢包内部各个角度的图像。
在步骤220中，将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签。
在本实施例中，缺陷检测系统包括深度卷积神经网络，该深度卷积神经网络可以基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别(例如红色铁皮、褶皱、孔洞等)。该深度卷积神经网络的结构，至少包括一个以上的卷积层、一个以上的池化层、一个全连接层和一个分类网络。
由于一张图像中可能包含多种缺陷，因此一张图像往往对应着多个标签，该深度卷积神经网络所要解决的问题为一个多标签分类问题。网络的结构主要包括卷积层、池化层和全连层等。生产线上的原始图片作为深度卷积神经网络的输入，而深度卷积神经网络的输出则是代表缺陷类别的标签，例如输出标签0-n，分别代表n+1类缺陷。其中卷积操作利用权值不同的卷积核对原始图像或特征图(feature map)进行扫描卷积，从中提取各种维度的特征，并输出至特征图中。池化操作则对特征图进行降维操作，保留特征图中的主要特征。利用这种具有卷积、池化操作的深度神经网络模型，可以对生产线上照片的变形、模糊、光照变化等具有较高的鲁棒性，对于分类任务具有更高的可泛化性。
本领域技术人员应当理解，上述深度卷积神经网络模型，可以为现有技术或未来发展的技术中可以基于输入的图像预测标签的模型，本申请对此并不限定。
在一个具体地示例中，上述的缺陷检测系统可以包括：预测引擎和一个以上采用深度卷积神经网络的多标签分类模型；将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签包括：采用预测引擎将所采集的图像转化为分类请求，基于一个以上多标签分类模型的负载，确定用于处理分类请求的多标签分类模型，将分类请求输入所确定的多标签分类模型中；再经由所确定的多标签分类模型进行多标签分类计算，得到代表缺陷类别的标签。
在该示例中，预测引擎将生产线上实时产生的图片转化为检测请求(query)，并根据在线的多标签分类模型的部署情况，实时进行负载均衡和调度，将检测请求发送至最佳的(例如负载最小)搭载着多标签分类模型的服务器上。该服务器上运行着多标签分类模型，该模型已经由训练引擎训练完成。模型对于到来的分类请求中的图像数据进行预设的预处理后，进行多标签分类计算，并给出代表缺陷类别的预测结果。
这里的多标签分类模型，可以基于以下步骤确定：获取已标注缺陷类别的标签的钢包内部图片；采用已标注缺陷类别的标签的钢包内部图片训练预先架构的初始模型，得到多标签分类模型。也即，多标签分类模型是根据历史标注数据(已标注缺陷类别的标签的钢包内部图片)训练得到的。
在该示例中，缺陷检测系统通过设置预测引擎来实现负载均衡服务，可以隔离提供多标签分类模型的内网与提交请求的外网，以及对于提交的请求进行健康检查，从而可以提高缺陷检测系统的安全性和可用性。
可选地，在步骤230至步骤250中，可以在上述多标签分类模型的使用过程中，根据新生成的数据来持续优化深度卷积神经网络。
在步骤230中，将所采集的图像和缺陷检测系统输出的代表缺陷类别的标签更新至生产数据库。
在步骤240中，基于更新后的生产数据库，确定更新后的训练数据库。
在步骤250中，基于更新后的训练数据库优化缺陷检测系统中的深度卷积神经网络。
通过基于使用过程中更新的生产数据更新训练数据，并基于更新后的训练数据优化深度卷积神经网络，可以进一步提高深度卷积神经网络预测钢包溶蚀缺陷的类别的准确度。
在多标签分类模型识别出代表缺陷类别的标签后，还可以针对这些标签进行进一步的数据处理和分析。例如，上述的检测钢包溶蚀缺陷的方法还可以包括可选步骤260：
在可选步骤260中，响应于代表缺陷类别的标签符合预先设置的报警条件，触发报警装置报警。
又例如，上述的检测钢包溶蚀缺陷的方法还可以包括可选步骤270和可选步骤280：
在可选步骤270中，可以将用户对报警的响应操作存储为线上生产日志。
在可选步骤280中，可以并将线上生产日志存储至生产数据库中，以备后续基于生产数据库中的数据进一步优化深度卷积神经网络。
本申请上述实施例提供的一种用于检测钢包溶蚀缺陷的方法，可以采用图像采集装置从待检测钢包内部采集各个角度的图像，之后将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签。由于该缺陷检测系统包括基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络，因此，该方法可以提高检测钢包状态的安全性、准确率和实时性。
进一步地，请参考图3，图3示出了根据本申请实施例的一种多标签分类模型的一个示例性架构。
如图3所示，多标签分类模型可以包括：卷积层301、池化层302、全连接层303和分类网络304。
采用该多标签分类模型，可以通过以下步骤将分类请求输入所确定的多标签分类模型中进行多标签分类计算，得到代表缺陷类别的标签：
首先，将将分类请求中的所采集的图像输入卷积层301，得到图像特征。
之后，将图像特征输入池化层302，得到降维后的特征；
之后，将降维后的特征输入全连接层303，得到全局特征；
最后，将全局特征输入分类网络304，得到输出的代表缺陷类别的标签。
在本实施例的一些可选实现方式中，多标签分类模型可以基于以下步骤确定：首先获取已标注缺陷类别的标签的钢包内部图片；之后采用已标注缺陷类别的标签的钢包内部图片训练预先架构的初始模型，得到多标签分类模型。
多标签分类模型的初始模型，可以基于不同的生产场景和数据的特点，设计不同深度、不同数量神经元、不同的卷积池化组织方式构成的深度神经网络模型，然后采用标注好的历史数据，采用信号前向传播、误差反向传播的方式对模型进行训练。当模型的输出与标签之间的误差值小于预先设定的符合业务要求的阈值时，停止训练。
在一个具体地示例中，多标签分类模型的损失函数可以为各个输出的标签与已标注的标签之差的和，并且当损失函数小于预先设定的阈值时，停止训练。
在该示例中，可以先计算输出的标签与其对应的已标注的标签之差，再将各个差的和作为损失函数。也即可以将多标签分类模型的输出与真实标签进行对比，采用多标签交叉熵作为损失函数，量化预测多标签分类模型输出的标签和真实标注的标签之间的差距。
应当理解，上述图3中所示出的一种多标签分类模型，仅为多标签分类模型的示例，并不代表对多标签分类模型的限定。通过采用本实施例中的多标签分类模型，可以提高该多标签分类模型的准确度和对输入图像的检测效率，进而提高检测钢包状态的准确率和实时性。
进一步地，请参考图4，图4示出了根据本申请实施例的一种用于检测钢包溶蚀缺陷的方法的一个示例性应用场景。
如图4所示，一种用于检测钢包溶蚀缺陷的方法基于缺陷检测系统实现，该缺陷检测系统包括预测引擎401、多标签分类模型402、控制模块403和训练引擎404。
在该用于检测钢包溶蚀缺陷的方法中，包括以下步骤：
首先，图像采集装置410从钢包内部采集各个角度的图像，存储至待检测数据421；
之后，将待检测数据421输入预测引擎401，由预测引擎将所采集的图像转化为分类请求，并确定用于处理分类请求的多标签分类模型，将分类请求输入所确定的多标签分类模型402中；
之后，由所确定的多标签分类模型402进行多标签分类计算，得到代表缺陷类别的标签，并将检测结果(也即图片类别)发送至控制模块403；
之后，控制模块403响应于所述代表缺陷类别的标签符合预先设置的报警条件，触发警报装置420，将用户对所述报警的响应操作存储为线上生产日志，将所述线上生产日志存储至生产数据库中。同时，控制模块还可以基于预设的触发更新规则(例如间隔预定时间或响应于检测结果达到预定数量等预设设定的用于触发更新模型的规则)，触发训练引擎404基于更新后的训练数据库431更新多标签分类模型402。
其中，训练数据库中的训练数据来自于生产数据库430，生产数据库430中的生产数据包括原始待检测数据以及对应待检测数据的生产数据，对应待检测数据的生产数据可以包括：控制模块存储至生产数据库中的检测结果，还可以包括与检测结果对应的报警信息、用户操作等。
应当理解，上述图4中所示出的一种用于检测钢包溶蚀缺陷的方法，仅为一种用于检测钢包溶蚀缺陷的方法的示例性实施例，并不代表对本申请的限定，例如，本方法中的图像采集装置和报警装置，可以为用户生产现场的设备，这两个设备可以用用户方的客户端进行通信连接，再通过客户端经由公网连接云端服务器提供的缺陷检测系统。又例如，本方法中还可以包括多标签分类模型的训练方法。该方法可以用于进行钢包溶蚀缺陷检测的场景，并且提高了检测结果的准确率和效率。
进一步参考图5，作为对上述方法的实现，本申请实施例提供了一种用于检测钢包溶蚀缺陷的装置的一个实施例，该一种用于检测钢包溶蚀缺陷的装置的实施例与图1至图4所示的一种用于检测钢包溶蚀缺陷的方法的实施例相对应，由此，上文针对图1至图4中一种用于检测钢包溶蚀缺陷的方法描述的操作和特征同样适用于一种用于检测钢包溶蚀缺陷的装置500及其中包含的单元，在此不再赘述。
如图5所示，该一种用于检测钢包溶蚀缺陷的装置500可以包括：图像采集单元510，被配置成采用图像采集装置从待检测钢包内部采集各个角度的图像；图像检测单元520，被配置成将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签，其中，缺陷检测系统包括：基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络。
在本实施例的一些可选实现方式中，图像检测单元520中的缺陷检测系统包括：预测引擎和一个以上采用深度卷积神经网络的多标签分类模型；以及图像检测单元520包括(图中未示出)：转化输入单元，被配置成采用预测引擎将所采集的图像转化为分类请求，基于一个以上多标签分类模型的负载，确定用于处理分类请求的多标签分类模型，将分类请求输入所确定的多标签分类模型中；分类计算单元，被配置成经由所确定的多标签分类模型进行多标签分类计算，得到代表缺陷类别的标签。
在本实施例的一些可选实现方式中，图像检测单元520中的多标签分类模型包括：卷积层、池化层、全连接层和分类网络；分类计算单元(图中未示出)包括：请求输入子单元，被配置成将分类请求中的所采集的图像输入卷积层，得到图像特征；特征降维子单元，被配置成将图像特征输入池化层，得到降维后的特征；特征连接子单元，被配置成将降维后的特征输入全连接层，得到全局特征；特征分类子单元，被配置成将全局特征输入分类网络，得到输出的代表缺陷类别的标签。
在本实施例的一些可选实现方式中，图像检测单元中的多标签分类模型基于以下步骤确定：获取已标注缺陷类别的标签的钢包内部图像；采用已标注缺陷类别的标签的钢包内部图像训练预先架构的初始模型，得到多标签分类模型。
在本实施例的一些可选实现方式中，图像检测单元中的多标签分类模型的损失函数为各个输出的标签与已标注的标签之差的和；以及图像检测单元中的多标签分类模型进一步基于以下步骤确定：当损失函数小于预先设定的阈值时，停止训练多标签分类模型。
在本实施例的一些可选实现方式中，装置还包括：数据更新单元530，被配置成将所采集的图像和缺陷检测系统输出的代表缺陷类别的标签更新至生产数据库；数据确定单元540，被配置成基于更新后的生产数据库，确定更新后的训练数据库；模型优化单元550，被配置成基于更新后的训练数据库优化深度卷积神经网络。
在本实施例的一些可选实现方式中，装置还包括：报警触发单元560，被配置成响应于代表缺陷类别的标签符合预先设置的报警条件，触发报警装置报警。
在本实施例的一些可选实现方式中，装置还包括：日志存储单元570，被配置成将用户对报警的响应操作存储为线上生产日志；数据存储单元580，被配置成将线上生产日志存储至生产数据库中。
本申请还提供了一种设备的实施例，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上任意一项所述的一种用于检测钢包溶蚀缺陷的方法。
本申请还提供了一种计算机可读介质的实施例，其上存储有计算机程序，该程序被处理器执行时实现如上任意一项所述的一种用于检测钢包溶蚀缺陷的方法。
下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分606加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读信号介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分，所述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像采集单元和图像检测单元。这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像采集单元还可以被描述为“采用图像采集装置从待检测钢包内部采集各个角度的图像的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：采用图像采集装置从待检测钢包内部采集各个角度的图像；将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签，其中，缺陷检测系统包括：基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种用于检测钢包溶蚀缺陷的方法，包括：
采用图像采集装置从待检测钢包内部采集各个角度的图像；
将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签，其中，所述缺陷检测系统包括：基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络。
2.根据权利要求1所述的方法，其中，所述缺陷检测系统包括：预测引擎和一个以上采用所述深度卷积神经网络的多标签分类模型；以及
所述将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签包括：
采用所述预测引擎将所采集的图像转化为分类请求，基于一个以上所述多标签分类模型的负载，确定用于处理所述分类请求的多标签分类模型，将所述分类请求输入所确定的多标签分类模型中；
经由所述所确定的多标签分类模型进行多标签分类计算，得到代表缺陷类别的标签。
3.根据权利要求2所述的方法，其中，所述多标签分类模型包括：卷积层、池化层、全连接层和分类网络；
所述将所述分类请求输入所确定的多标签分类模型中进行多标签分类计算，得到代表缺陷类别的标签包括：
将所述分类请求中的所述所采集的图像输入卷积层，得到图像特征；
将所述图像特征输入池化层，得到降维后的特征；
将所述降维后的特征输入全连接层，得到全局特征；
将所述全局特征输入分类网络，得到输出的代表缺陷类别的标签。
4.根据权利要求2或3任意一项所述的方法，其中，所述多标签分类模型基于以下步骤确定：
获取已标注缺陷类别的标签的钢包内部图像；
采用已标注缺陷类别的标签的钢包内部图像训练预先架构的初始模型，得到所述多标签分类模型。
5.根据权利要求4所述的方法，其中，所述多标签分类模型的损失函数为各个输出的标签与已标注的标签之差的和；以及
所述采用已标注缺陷类别的标签的钢包内部图像训练预先架构的初始模型，得到所述多标签分类模型包括：当所述损失函数小于预先设定的阈值时，停止训练所述多标签分类模型。
6.根据权利要求1所述的方法，其中，所述方法还包括：
将所述所采集的图像和所述缺陷检测系统输出的代表缺陷类别的标签更新至生产数据库；
基于更新后的生产数据库，确定更新后的训练数据库；
基于更新后的训练数据库优化所述深度卷积神经网络。
7.根据权利要求1所述的方法，其中，所述方法还包括：
响应于所述代表缺陷类别的标签符合预先设置的报警条件，触发报警装置报警。
8.根据权利要求7所述的方法，其中，所述方法还包括：
将用户对所述报警的响应操作存储为线上生产日志；
将所述线上生产日志存储至生产数据库中。
9.一种用于检测钢包溶蚀缺陷的装置，包括：
图像采集单元，被配置成采用图像采集装置从待检测钢包内部采集各个角度的图像；
图像检测单元，被配置成将所采集的图像输入缺陷检测系统，得到代表缺陷类别的标签，其中，所述缺陷检测系统包括：基于输入的图像预测该图像中所包括的钢包溶蚀缺陷的类别的深度卷积神经网络。
10.根据权利要求9所述的装置，其中，所述图像检测单元中的所述缺陷检测系统包括：预测引擎和一个以上采用所述深度卷积神经网络的多标签分类模型；以及
所述图像检测单元包括：
转化输入单元，被配置成采用所述预测引擎将所采集的图像转化为分类请求，基于一个以上所述多标签分类模型的负载，确定用于处理所述分类请求的多标签分类模型，将所述分类请求输入所确定的多标签分类模型中；
分类计算单元，被配置成经由所述所确定的多标签分类模型进行多标签分类计算，得到代表缺陷类别的标签。
11.根据权利要求10所述的装置，其中，所述图像检测单元中的所述多标签分类模型包括：卷积层、池化层、全连接层和分类网络；
所述分类计算单元包括：
请求输入子单元，被配置成将所述分类请求中的所述所采集的图像输入卷积层，得到图像特征；
特征降维子单元，被配置成将所述图像特征输入池化层，得到降维后的特征；
特征连接子单元，被配置成将所述降维后的特征输入全连接层，得到全局特征；
特征分类子单元，被配置成将所述全局特征输入分类网络，得到输出的代表缺陷类别的标签。
12.根据权利要求10或11任意一项所述的装置，其中，所述图像检测单元中的所述多标签分类模型基于以下步骤确定：
获取已标注缺陷类别的标签的钢包内部图像；
采用已标注缺陷类别的标签的钢包内部图像训练预先架构的初始模型，得到所述多标签分类模型。
13.根据权利要求12所述的装置，其中，所述图像检测单元中的所述多标签分类模型的损失函数为各个输出的标签与已标注的标签之差的和；以及
所述图像检测单元中的所述多标签分类模型进一步基于以下步骤确定：当所述损失函数小于预先设定的阈值时，停止训练所述多标签分类模型。
14.根据权利要求9所述的装置，其中，所述装置还包括：
数据更新单元，被配置成将所述所采集的图像和所述缺陷检测系统输出的代表缺陷类别的标签更新至生产数据库；
数据确定单元，被配置成基于更新后的生产数据库，确定更新后的训练数据库；
模型优化单元，被配置成基于更新后的训练数据库优化所述深度卷积神经网络。
15.根据权利要求9所述的装置，其中，所述装置还包括：
报警触发单元，被配置成响应于所述代表缺陷类别的标签符合预先设置的报警条件，触发报警装置报警。
16.根据权利要求15述的装置，其中，所述装置还包括：
日志存储单元，被配置成将用户对所述报警的响应操作存储为线上生产日志；
数据存储单元，被配置成将所述线上生产日志存储至生产数据库中。
17.一种设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的一种用于检测钢包溶蚀缺陷的方法。
18.一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-8中任一所述的一种用于检测钢包溶蚀缺陷的方法。
CN201810532052.1A 2018-05-25 2018-05-25 一种用于检测钢包溶蚀缺陷的方法和装置 Pending CN108776808A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810532052.1A CN108776808A (zh) 2018-05-25 2018-05-25 一种用于检测钢包溶蚀缺陷的方法和装置
US16/351,291 US11276158B2 (en) 2018-05-25 2019-03-12 Method and apparatus for inspecting corrosion defect of ladle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810532052.1A CN108776808A (zh) 2018-05-25 2018-05-25 一种用于检测钢包溶蚀缺陷的方法和装置

Publications (1)

Publication Number Publication Date
CN108776808A true CN108776808A (zh) 2018-11-09

Family

ID=64028092

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810532052.1A Pending CN108776808A (zh) 2018-05-25 2018-05-25 一种用于检测钢包溶蚀缺陷的方法和装置

Country Status (2)

Country Link
US (1) US11276158B2 (zh)
CN (1) CN108776808A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711285A (zh) * 2018-12-11 2019-05-03 百度在线网络技术（北京）有限公司 识别模型的训练、测试方法和装置
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109886335A (zh) * 2019-02-21 2019-06-14 厦门美图之家科技有限公司 分类模型训练方法及装置
CN110148130A (zh) * 2019-05-27 2019-08-20 北京百度网讯科技有限公司 用于检测零件缺陷的方法和装置
CN110487812A (zh) * 2019-07-23 2019-11-22 北京首钢股份有限公司 一种对钢包的洁净度进行评判的方法及装置
CN111696095A (zh) * 2020-06-12 2020-09-22 北京百度网讯科技有限公司 用于检测物体表面缺陷的方法及装置
CN111815576A (zh) * 2020-06-23 2020-10-23 深圳供电局有限公司 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN112070134A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像分类方法、装置、电力设备及存储介质
CN113963216A (zh) * 2021-11-10 2022-01-21 广东电网能源发展有限公司 钢丝绳缺陷识别方法、装置、设备和介质
US20220147773A1 (en) * 2020-11-06 2022-05-12 Electronics And Telecommunications Research Institute System for local optimization of object detector based on deep neural network and method of creating local database therefor
CN116481461A (zh) * 2022-11-24 2023-07-25 广州帕卡汽车零部件有限公司 一种汽车隔音隔热零配件成孔切口毛糙度检测方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING MACHINE LEARNING ALGORITHMS
TWI653605B (zh) * 2017-12-25 2019-03-11 Utechzone Co., Ltd. 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
CN109949286A (zh) * 2019-03-12 2019-06-28 北京百度网讯科技有限公司 用于输出信息的方法和装置
JP7391625B2 (ja) * 2019-11-21 2023-12-05 ファナック株式会社 制御装置及びプログラム
CN113632099B (zh) * 2019-12-20 2024-06-28 京东方科技集团股份有限公司 分布式产品缺陷分析系统、方法及计算机可读存储介质
CN111178446B (zh) * 2019-12-31 2023-08-04 歌尔股份有限公司 一种基于神经网络的目标分类模型的优化方法、装置
CN111462043B (zh) * 2020-03-05 2023-10-24 维库（厦门）信息技术有限公司 一种基于Internet网络的缺陷检测方法、装置、设备和介质
CN111402241A (zh) * 2020-03-19 2020-07-10 中铁电气化局集团有限公司 接触网数据的处理方法、装置、计算机设备和存储介质
CN111681220B (zh) * 2020-06-04 2024-02-13 阿丘机器人科技(苏州)有限公司 缺陷检测模型的构建方法、装置、系统及存储介质
CN112487207A (zh) * 2020-12-09 2021-03-12 Oppo广东移动通信有限公司 图像的多标签分类方法、装置、计算机设备及存储介质
CN113506239B (zh) * 2021-05-21 2024-06-04 冶金自动化研究设计院 一种基于跨阶段局部网络的带钢表面缺陷检测方法
CN113408631A (zh) * 2021-06-23 2021-09-17 佛山缔乐视觉科技有限公司 一种陶瓷洁具的款式识别方法、装置及存储介质
CN113298190B (zh) * 2021-07-05 2023-04-07 四川大学 一种基于大尺寸的不平衡样本的焊缝图像识别分类算法
CN113610801B (zh) * 2021-08-05 2023-06-20 上海众壹云计算科技有限公司 基于最小单元的缺陷分类方法、装置、设备和存储介质
US20230065532A1 (en) * 2021-08-09 2023-03-02 Baker Hughes Holdings Llc Machine learning based techniques for predicting component corrosion likelihood
CN114299012B (zh) * 2021-12-28 2025-02-28 以萨技术股份有限公司 一种基于卷积神经网络的物体表面缺陷检测方法及系统
CN115908313A (zh) * 2022-11-17 2023-04-04 首钢智新迁安电磁材料有限公司 一种钢卷外观缺陷的诊断方法、装置、介质和电子设备
CN120147685A (zh) * 2025-01-24 2025-06-13 郑州轻工业大学 管道缺陷检测方法和装置、系统、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3065086A1 (en) * 2015-03-02 2016-09-07 Medizinische Universität Wien Computerized device and method for processing image data
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统
CN107403173A (zh) * 2017-08-21 2017-11-28 合肥麟图信息科技有限公司 一种人脸识别系统及方法
CN107742107A (zh) * 2017-10-20 2018-02-27 北京达佳互联信息技术有限公司 人脸图像分类方法、装置及服务器
CN108061735A (zh) * 2017-12-01 2018-05-22 工业互联网创新中心（上海）有限公司 零部件表面缺陷的识别方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4154156B2 (ja) * 2002-02-08 2008-09-24 ソニーマニュファクチュアリングシステムズ株式会社 欠陥分類検査装置
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
SE0203906D0 (sv) * 2002-12-31 2002-12-31 Abb Ab Container character recognition system
US7463765B2 (en) * 2003-02-25 2008-12-09 Lamda-Lite Enterprises Incorporated System and method for detecting and reporting fabrication defects using a multi-variant image analysis
US9524542B1 (en) * 2005-04-15 2016-12-20 Custom Industrial Automation Inc. Delayed petroleum coking vessel inspection device and method
US7816639B2 (en) * 2006-10-23 2010-10-19 Emhart Glass S.A. Machine for inspecting glass containers at an inspection station using an addition of a plurality of illuminations of reflected light
US7684034B2 (en) * 2007-05-24 2010-03-23 Applied Vision Company, Llc Apparatus and methods for container inspection
US8107726B2 (en) * 2008-06-18 2012-01-31 Samsung Electronics Co., Ltd. System and method for class-specific object segmentation of image data
FR2965344B1 (fr) * 2010-09-28 2013-04-05 Tiama Dispositif d'inspection pour les bagues et cols de recipients
FR2971847B1 (fr) * 2011-02-18 2013-07-19 Tiama Procede et dispositif pour detecter des defauts de repartition de matiere dans des recipients transparents
US9715723B2 (en) * 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US10043264B2 (en) * 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
CN104021264B (zh) * 2013-02-28 2017-06-20 华为技术有限公司 一种缺陷预测方法及装置
FR3008795B1 (fr) * 2013-07-18 2015-08-28 Msc & Sgcc Dispositif de controle dimensionnel de recipients a detection optique de contact
US9440759B2 (en) * 2014-02-10 2016-09-13 Lorin Reed Container labeling systems and methods of use
US9665802B2 (en) * 2014-11-13 2017-05-30 Nec Corporation Object-centric fine-grained image classification
JP6455681B2 (ja) * 2016-01-12 2019-01-23 株式会社ダイフク 段積みコンテナの異常検出装置
US10147176B1 (en) * 2016-09-07 2018-12-04 Applied Vision Corporation Automated container inspection system
US9928448B1 (en) * 2016-09-23 2018-03-27 International Business Machines Corporation Image classification utilizing semantic relationships in a classification hierarchy
US10309908B2 (en) * 2017-01-11 2019-06-04 Applied Vision Corporation Light field illumination container inspection system
US20180322623A1 (en) * 2017-05-08 2018-11-08 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
EP3503024A1 (en) * 2017-12-19 2019-06-26 Tetra Laval Holdings & Finance S.A. Method of defect detection in packaging containers
JP6979900B2 (ja) * 2018-02-13 2021-12-15 株式会社荏原製作所 基板保持部材、基板処理装置、基板処理装置の制御方法、プログラムを格納した記憶媒体
US10769770B2 (en) * 2018-05-07 2020-09-08 Cummins Enterprise Llc Quality monitoring system and quality monitoring method for fuel cell manufacturing line and quality monitoring system for manufacturing line
EP3593722A1 (en) * 2018-07-13 2020-01-15 Neuroanalytics Pty. Ltd. Method and system for identification of cerebrovascular abnormalities

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3065086A1 (en) * 2015-03-02 2016-09-07 Medizinische Universität Wien Computerized device and method for processing image data
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统
CN107403173A (zh) * 2017-08-21 2017-11-28 合肥麟图信息科技有限公司 一种人脸识别系统及方法
CN107742107A (zh) * 2017-10-20 2018-02-27 北京达佳互联信息技术有限公司 人脸图像分类方法、装置及服务器
CN108061735A (zh) * 2017-12-01 2018-05-22 工业互联网创新中心（上海）有限公司 零部件表面缺陷的识别方法和装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711285A (zh) * 2018-12-11 2019-05-03 百度在线网络技术（北京）有限公司 识别模型的训练、测试方法和装置
CN109711474B (zh) * 2018-12-24 2023-01-17 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109886335A (zh) * 2019-02-21 2019-06-14 厦门美图之家科技有限公司 分类模型训练方法及装置
CN110148130A (zh) * 2019-05-27 2019-08-20 北京百度网讯科技有限公司 用于检测零件缺陷的方法和装置
CN110487812A (zh) * 2019-07-23 2019-11-22 北京首钢股份有限公司 一种对钢包的洁净度进行评判的方法及装置
CN111696095B (zh) * 2020-06-12 2023-08-08 北京百度网讯科技有限公司 用于检测物体表面缺陷的方法及装置
CN111696095A (zh) * 2020-06-12 2020-09-22 北京百度网讯科技有限公司 用于检测物体表面缺陷的方法及装置
CN111815576A (zh) * 2020-06-23 2020-10-23 深圳供电局有限公司 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN111815576B (zh) * 2020-06-23 2024-01-19 深圳供电局有限公司 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN112070134A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像分类方法、装置、电力设备及存储介质
US20220147773A1 (en) * 2020-11-06 2022-05-12 Electronics And Telecommunications Research Institute System for local optimization of object detector based on deep neural network and method of creating local database therefor
US12026231B2 (en) * 2020-11-06 2024-07-02 Electronics And Telecommunications Research Institute System for local optimization of object detector based on deep neural network and method of creating local database therefor
CN113963216A (zh) * 2021-11-10 2022-01-21 广东电网能源发展有限公司 钢丝绳缺陷识别方法、装置、设备和介质
CN116481461A (zh) * 2022-11-24 2023-07-25 广州帕卡汽车零部件有限公司 一种汽车隔音隔热零配件成孔切口毛糙度检测方法
CN116481461B (zh) * 2022-11-24 2023-09-22 广州帕卡汽车零部件有限公司 一种汽车隔音隔热零配件成孔切口毛糙度检测方法

Also Published As

Publication number Publication date
US20190362490A1 (en) 2019-11-28
US11276158B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
CN108776808A (zh) 一种用于检测钢包溶蚀缺陷的方法和装置
CN108830837A (zh) 一种用于检测钢包溶蚀缺陷的方法和装置
CN112581463B (zh) 图像缺陷的检测方法、装置、电子设备、存储介质及产品
US11341626B2 (en) Method and apparatus for outputting information
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
CN110866471A (zh) 人脸图像质量评价方法及装置、计算机可读介质、通信终端
CN109447156B (zh) 用于生成模型的方法和装置
CN109993734A (zh) 用于输出信息的方法和装置
WO2020087974A1 (zh) 生成模型的方法和装置
CN111915086B (zh) 异常用户预测方法和设备
CN110009614A (zh) 用于输出信息的方法和装置
CN116823793A (zh) 设备缺陷检测方法、装置、电子设备和可读存储介质
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
CN111402220B (zh) 用于获取信息的方法及装置
CN114708518A (zh) 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法
CN111815576A (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN114663871A (zh) 图像识别方法、训练方法、装置、系统及存储介质
CN118521586A (zh) 基于机器视觉的产品视觉检测装置及方法
CN118034343A (zh) 一种远程无人机房设备的巡视方法及系统
WO2022147003A1 (en) An adaptive machine learning system for image-based biological sample constituent analysis
CN117993709B (zh) 价值风险信息生成方法、装置、设备和计算机可读介质
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN116886322A (zh) 异常域名检测方法、装置、电子设备及可读存储介质
CN117011537A (zh) 难样本筛选方法、装置、计算机可读介质及电子设备
CN119205712B (zh) 一种水电站大坝风险评估方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181109

RJ01 Rejection of invention patent application after publication