[go: up one dir, main page]

CN109387511A - 检查装置和检查方法 - Google Patents

检查装置和检查方法 Download PDF

Info

Publication number
CN109387511A
CN109387511A CN201810859394.4A CN201810859394A CN109387511A CN 109387511 A CN109387511 A CN 109387511A CN 201810859394 A CN201810859394 A CN 201810859394A CN 109387511 A CN109387511 A CN 109387511A
Authority
CN
China
Prior art keywords
image
program
image inspection
inspection
inspection program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810859394.4A
Other languages
English (en)
Other versions
CN109387511B (zh
Inventor
芳贺进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN109387511A publication Critical patent/CN109387511A/zh
Application granted granted Critical
Publication of CN109387511B publication Critical patent/CN109387511B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N2021/8411Application to online plant, process monitoring
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Evolutionary Computation (AREA)
  • Immunology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

检查装置和检查方法。一种检查装置,该检查装置包括:测试部,该测试部通过图像检查程序组中的第一图像检查程序来对检查图像进行接受/拒绝测试,该图像检查程序组包括不同世代的多个学习型图像检查程序,多个学习型图像检查程序中的每个对于学习图像的适合度满足预定的标准;以及替换部,该替换部当操作员对已经通过所述第一图像检查程序进行了接受/拒绝测试的所述检查图像进行接受/拒绝测试并发现了被误识别的检查图像时,利用所述图像检查程序组中的第二图像检查程序替换所述第一图像检查程序,该第二图像检查程序对于被误识别的检查图像表现出最佳适合度。

Description

检查装置和检查方法
技术领域
本文讨论的实施方式涉及检查装置和检查方法。
背景技术
为了在生产线中自动执行产品外观检查的接受/拒绝测试,近年来已经提出了一种通过利用相机获得检查目标的图像来自动执行接受/拒绝测试的方法。
例如,存在一种根据生产环境的变化,通过从经由图像处理算法(规则)定义的多个逻辑中再次选择主检查逻辑来改进检查精度的方法(例如,参见日本特开专利申请No.2007-327848)。
同时,已经开发了一种用于使用预先收集的图像和有关这些图像的接受/拒绝测试的教导数据来自动生成图像处理算法(机器学习)的方法。
例如,存在这样一种方法,即,该方法用于针对输入在生产线操作期间无法利用正在进行的图像处理算法来处理的图像的情况,通过基于所获得的图像新生成与正在进行的图像处理算法不同的另一图像处理算法来切换新算法(例如,参见日本特开专利申请No.2007-293732)。
发明内容
根据该实施方式的方面,一种检查装置,该检查装置包括:
测试部,该测试部通过图像检查程序组中的第一图像检查程序来对检查图像进行接受/拒绝测试,该图像检查程序组包括不同世代的多个学习型图像检查程序,所述多个学习型图像检查程序中的每个对于学习图像的适合度满足预定的标准;以及
替换部,该替换部当操作员对已经通过所述第一图像检查程序进行了所述接受/拒绝测试的所述检查图像进行所述接受/拒绝测试并发现了被误识别的所述检查图像时,利用所述图像检查程序组中的第二图像检查程序替换所述第一图像检查程序,该第二图像检查程序对于被误识别的所述检查图像表现出最佳适合度(fitness)。
附图说明
图1是例示包括检查装置的学习型检查系统的配置的一个示例的图;
图2是例示用于生成图像检查程序的过程的一个示例的图;
图3是例示图像检查程序的一个示例的图;
图4是例示在生成图像处理程序时的交叉处理的一个示例的图;
图5是例示在生成图像处理程序时的突变处理的一个示例的图;
图6是例示在生成图像处理程序时所使用的一组滤波器的一个示例的图;
图7是例示确定最大余裕(margin)的SVM(支持矢量机)的一个示例的图;
图8是例示在学习型检查系统中生成图像检查程序的一个示例的流程图;
图9是例示检查装置的硬件配置的一个示例的框图;
图10是例示在选择与替换图像检查程序之间的过程的一个示例的图;
图11是例示学习型检查系统中的在选择与替换图像检查程序之间的流程的一个示例的顺序图;
图12是例示存储在检查结果DB中的检查图像的测试结果的数据配置的一个示例的说明图;
图13是例示在操作员测试输入部中输入操作员的测试结果的用户界面的一个示例的图;
图14是例示存储在误识别DB中的、包括关于被误识别的检查图像的信息的数据配置的一个示例的说明图;
图15是例示用于在选择第二图像检查程序时判定适合度的数据配置的一个示例的图;
图16是例示通过SVM的接受/拒绝测试的一个示例的图;
图17是例示在误识别数据出现时通过SVM的错误判定的一个示例的图;
图18是例示在利用所选择图像检查程序替换后通过SVM的接受/拒绝测试的一个示例的图;
图19是例示检查装置的检查部对检查图像进行接受/拒绝测试的流程的一个示例的流程图;
图20是例示检查装置的通知部基于从误识别DB获得的信息向选择装置发送通知的流程的一个示例的流程图;
图21是例示检查装置的替换部利用第二图像检查程序替换第一图像检查程序的流程的一个示例的流程图;
图22是例示用于发送关于被误识别的检查图像的检查装置信息的流程的一个示例的流程图,该检查装置信息根据通过输入在操作员测试装置中的、操作员进行的接受/拒绝测试的结果而获得;
图23是例示选择装置的选择部选择第二图像检查程序的流程的一个示例的流程图;
图24是例示包括检查装置的学习型检查系统的配置的另一示例的图;
图25是例示包括检查选择装置的学习型检查系统的配置的另一示例的图;以及
图26是例示包括学习型检查装置的学习型检查系统的配置的另一示例的图。
具体实施方式
在日本特开专利申请No.2007-327848所描述的上述方法中,由于根据规则定义了多个逻辑,因此,很难提供各种且充分的逻辑。因此,当获得已在接受/拒绝方面被误识别的图像时,该方法不足以选择能够以更高精度对该图像进行接受/拒绝测试的图像处理算法。
另外,在日本特开专利申请No.2007-293732所描述的上述方法中,当获得已在接受/拒绝方面被误识别的图像时,必需准备要重新学习的新学习图像。因此,通过再学习来生成图像处理算法需要很长一段时间,并且该图像处理算法不能被立即应用于生产线,这是有问题的。
在一个方面,本公开的目的是提供一种检查装置、检查方法、以及检查程序,其中每一个都可以使用图像检查程序来检查图像,其中,该程序可以对已在接受/拒绝方面被误识别的图像进行正确的接受/拒绝测试,并且可以在比以前更短的时间内增加接受/拒绝测试的精度。
在一个方面,可以提供一种检查装置、检查方法、以及检查程序,其中每一个都可以使用图像检查程序来检查图像,其中,该程序可以对已在接受/拒绝方面被误识别的图像进行正确的接受/拒绝测试,并且可以在比以前更短的时间内增加接受/拒绝测试的精度。
本公开的检查装置使用图像检查程序来检查图像,其中,该程序可以对已在接受/拒绝方面被误识别的图像进行正确的接受/拒绝测试,并且可以选自包括多个不同世代的学习型图像检查程序的图像检查程序组。
这使得可以提供这样一种检查装置,即,该检查装置能够在比以前更短的时间内增加接受/拒绝测试的精度。
具体地,该检查装置包括测试部,其中,该测试部使用图像检查程序组中的第一图像检查程序对检查图像进行接受/拒绝测试,其中,该组包括不同世代的多个学习型图像检查程序,所述多个学习型图像检查程序中的每个对于学习图像的适合度满足预定的标准。
“对检查图像进行接受/拒绝测试”意指基于检查目标的图像确定是接受还是拒绝检查目标的外观。
“图像检查程序”是用于基于检查图像来检查是接受还是拒绝检查目标的程序。
该图像检查程序的适合度是用于评估目标程序是否是能够进行正确的接受/拒绝测试的程序的指示符。例如,可以基于图像检查程序的接受/拒绝测试的准确度和根据分离接受和拒绝的边界的余裕大小来确定图像检查程序的适合度。
可以例如通过包括遗传编程或遗传算法的进化算法来实现不同世代的学习型图像检查程序的生成。
该图像检查程序组包括满足适合度的预定标准的图像检查程序。当该适合度等于或高于该预定标准时,所生成的任何和所有世代的图像检查程序将被存储在该图像检查程序组中。
接下来,检查装置包括替换部。当操作员对已经通过第一图像检查程序进行接受/拒绝测试的检查图像进行接受/拒绝测试并发现了被误识别的检查图像时,替换部将利用图像检查程序组中的第二图像检查程序替换第一图像检查程序,该第二图像检查程序对于被误识别的检查图像表现出最佳适合度。
“被误识别”意指通过图像检查程序对检查图像进行的图像接受/拒绝测试的结果与操作员对该检查图像的图像接受/拒绝测试的结果不匹配的情况。例如,“被误识别”包括“误判(misjudgment)”和“虚报(false report)”。误判是图像检查程序将图像判定为接受图像,而操作员将图像判定为拒绝图像的情况。虚报是图像检查程序将图像判定为拒绝图像,而操作员将图像判定为接受图像的情况。
第二图像检查程序是否可以对误识别图像进行正确的接受/拒绝测试使用适合度来评估。如上所述,该适合度可以基于图像检查程序的接受/拒绝测试的准确度和根据分离接受和拒绝的边界的余裕大小来测量。
当操作员对已经通过第一图像检查程序进行接受/拒绝测试的检查图像进行接受/拒绝测试并发现了被误识别的检查图像时,检查装置利用第二图像检查程序替换第一图像检查程序。这使得检查装置可以使用第二图像检查程序继续检查图像。
第二图像检查程序是选自包括不同世代的多个学习型图像检查程序的图像检查程序组的程序,并且是能够对误识别图像进行正确的接受/拒绝测试的程序。
因此,检查装置可以使用图像检查程序检查图像,该图像检查程序可以在比以前更短的时间内增加接受/拒绝测试的精度,而无需执行耗时的重新学习。
因此,可以提供一种能够在比以前更短的时间内增加接受/拒绝测试的精度的检查装置,并且提供一种用于连续运作生产线的有效检查装置。
由检查装置执行的这些流程由包括构成检查装置的控制部的计算机来执行。
该检查程序可以被存储在记录介质中。例如,这使得检查程序能够被安装在计算机中。存储有检查程序的记录介质可以是非暂时性记录介质。非暂时性记录介质没有特别限制,并且可以根据希望目的而被恰当选择。非暂时性记录介质的示例包括CD-ROM(光盘-只读存储器)和DVD-ROM(数字万用盘-ROM)。
(第一实施方式)
下面,将对本公开的实施方式进行描述。然而,本公开不应被视为受限于这些实施方式。
(学习型检查系统)
图1是例示根据本公开一个实施方式的、包括检查装置200的学习型检查系统500的配置的图。
学习型检查系统500例如是能够以高精度通过使用图像对生产线中的检查目标进行接受/拒绝测试的系统。学习型检查系统500包括:学习装置100、检查装置200、操作员测试装置300、以及选择装置400。
学习装置100是生成用于检查的图像检查程序的装置,并且包括控制部120和存储部130。
控制部120包括程序生成部140。存储器部130包括学习数据库150和图像检查程序数据库160。下面,“数据库”可以被称为“DB”。
检查装置200是使用图像对检查目标的外观进行接受/拒绝测试的装置,并且包括控制部220和存储部230。
控制部220包括:测试部240、替换部250、以及通知部260。存储部230包括:检查图像数据库(检查图像DB)270、测试结果数据库(测试结果DB)280,以及误识别数据库(误识别DB)290。
操作员测试装置300是输入由操作员对已经使用图像检查程序进行了接受/拒绝测试的检查图像进行接受/拒绝测试的结果的装置。操作员测试装置300包括操作员测试输入部320。
选择装置400是选择对误识别图像进行正确的接受/拒绝测试的图像检查程序的装置,并且包括控制部420。
接下来,将对学习装置100进行详细描述。
<学习装置>
学习装置100生成要被用于测试的图像检查程序。
学习装置100包括:控制部120和存储部130。控制部120控制整个学习装置100。
控制部120通过使用存储在存储部130的学习DB 150中的学习数据,在程序生成部140中生成图像检查程序。存储部130的图像检查程序DB 160存储所生成的图像检查程序,作为图像检查程序组。
学习DB 150存储要学习的图像,和链接至该图像的、关于由操作员进行接受/拒绝测试的结果的信息。
图2是例示用于生成在学习装置100中生成并用于检查的图像检查程序的过程的框图。
图像检查程序通过诸如遗传编程或遗传算法的进化算法生成。下面,将通过举例说明通过遗传编程的生成来描述用于生成图像检查程序的过程。
首先,将描述图像检查程序,以便描述用于生成图2所示的图像检查程序的过程。
如图3所示,该图像检查程序例如包括图像处理程序11和判定器12。图像处理程序11包括一个或更多个部分程序。例如,如图3所示,图像处理程序通过树结构来定义。在图3中,“F”表示图像滤波器,“I”表示输入端子,以及“O”表示输出端子。
如图3所示,图像检查程序14利用图像处理程序11,将图像10的图像特征值判定为检查图像。判定器12基于图像10的图像特征值进行接受/拒绝测试13。
返回参照图2,在下文中,将通过聚焦于经由遗传编程的图像处理程序的生成,来描述用于在学习装置100的程序生成部140中生成图像检查程序的过程。这里,将参照例示了图8所示的图像检查程序的生成的一个示例的流程图来进行描述。
首先,程序生成部140设定包括多个图像处理程序的初始图像处理程序组(步骤S111)。
接下来,程序生成部140从已被设定成包括多个图像处理程序122的图像处理程序组121中恰当地选择图像处理程序(步骤S112)。从预先制备的多个图像滤波器中随机选择图像滤波器,并将其并入每个图像处理程序的节点中。程序生成部140从所设定的图像处理程序组121中随机提取两个父级图像处理程序。
然后,程序生成部140通过遗传编程对两个父级图像处理程序进行进化过程处理。程序生成部140生成两个或更多个子级图像处理程序(步骤S113)。在进化过程中,程序生成部140对两个父级图像处理程序进行交叉处理和突变处理,这将在下文中进行描述。在程序生成部140中,可以通过对两个父级图像处理程序进行不同的交叉处理或不同的突变处理来生成三个或更多个子级图像处理程序。如上所述,程序生成部140生成图像处理程序组123。
接下来,程序生成部140针对关于学习数据124的每个输入图像的图像特征值,判定图像处理程序组123中通过进化过程生成的每个图像处理程序。然后,生成用于进行接受/拒绝测试的判定器125。
学习数据124包括学习图像,和链接至该图像的、关于操作员对学习图像进行接受/拒绝测试的结果的信息。
判定器125的示例包括SVM(支持矢量机)、Bayes识别、以及神经网络。在本公开的实施方式中,使用SVM。
程序生成部140基于图像检查程序的接受/拒绝测试的准确度和根据分离接受和拒绝的边界的余裕大小,来确定学习数据124的每个输入图像的适合度(步骤S114)。
如果通过图像检查程序对学习图像进行的接受/拒绝测试的结果与由操作员提供的接受/拒绝测试的并且与学习图像链接的结果匹配(即,图2中的126a),则图像检查程序是能够正确进行接受/拒绝测试的程序。此时,如果通过图像检查程序对学习图像进行接受/拒绝测试的结果与操作员的接受/拒绝测试结果不匹配(即,图2中的126b),则该图像检查程序是无法正确进行接受/拒绝测试的程序。
在这里,当图像检查程序可以正确地对所有学习数据进行接受/拒绝测试时,图像检查程序的准确度为100%。
在程序生成部140中,当没有生成具有高适合度的图像检查程序时,将图像检查程序的图像处理程序的一部分替换为下一代遗传编程的父级程序(步骤S116)。结果,生成下一代的图像处理程序组。
在程序生成部140中,当生成具有高适合度的图像检查程序时,将前述图像检查程序存储在图像检查程序DB中,作为图像检查程序组(步骤S117)。存储在图像检查程序DB中的图像检查程序存储任何和所有世代的所生成的图像检查程序,只要它们具有高适合度即可。例如,该图像检查程序组包括任何和所有世代的图像检查程序,如前一代的图像检查程序和后几代的图像检查程序。
在生成满足预定高标准适合度的图像检查程序之前,程序生成部140将图像检查程序的图像处理程序的一部分替换为下一代遗传编程的父级程序(步骤S116)。
在程序生成部140中,在生成满足预定高标准适合度的图像检查程序之前,基于前述遗传编程方法,重复图像检查程序的生成。
程序生成部140从图像检查程序组中选择表现出最佳适合度的图像检查程序(步骤S119)。这里,表现出最佳适合度的图像检查程序是指具有最大准确度和最大余裕的图像检查程序。
具体地,程序生成部140根据下面1)至3)中描述的过程选择表现出最佳适合度的图像检查程序。
1)选择可以对已经被操作员判定为拒绝的所有学习图像进行正确拒绝判定的图像检查程序。
2)从1)中的图像检查程序中选择具有最大准确度的图像检查程序。
3)从2)中的图像检查程序中选择具有最大余裕的程序。
另外,程序生成部140可以根据例如4)和5)中描述的过程来选择表现出最佳适合度的图像检查程序。
4)选择具有100%准确度的图像检查程序,其中,具有100%准确度的图像检查程序可以对所有学习图像进行与操作员进行的接受/拒绝测试相同的接受/拒绝测试结果。
5)从4)中的程序选择具有最大余裕的程序。
程序生成部140选择表现出最佳适合度的图像检查程序和图像检查程序组中的另一图像检查程序。然后,图像检查程序的生成终止(步骤S120)。将表现出最佳适合度的所选图像检查程序用作检查装置200中的第一图像检查程序。此外,图像检查程序组中的另一图像检查程序被用作用于选择的候选程序,作为选择装置400中的第二图像检查程序。
接下来,将在下文中对要在通过遗传编程的进化过程的处理中执行的交叉处理和突变处理(步骤S113)进行描述。
图4是例示交叉处理的一个示例的图。图4表示了在父级图像处理程序21a与父级图像处理程序22a之间执行交叉,以基于父级图像处理程序21a和基于父级图像处理程序22a的子级图像处理程序22b生成子级图像处理程序21b的情况。
父级图像处理程序21a包括:图像滤波器F1、F2、F3、以及F4。父级图像处理程序22a包括:图像滤波器F2、F3、F5、以及F6。这里,选择父级图像处理程序21a中的图像滤波器F2的节点和父级图像处理程序22a中的图像滤波器F5的节点作为执行交叉的部分。
例如,在交叉处理中,不仅使用所选择节点而且使用在层级上比所选择节点低的节点。因此,在图4的示例中,父级图像处理程序21a中的“图像滤波器F2和F1、连接至图像滤波器F2的一侧的输入端子的节点,以及连接至图像滤波器F1的输入端子的节点”和父级图像处理程序22a中的“图像滤波器F5和连接至图像滤波器F5的输入端子的节点”彼此交换。通过这种交叉,生成包括图像滤波器F3、F4、以及F5的子级图像处理程序21b以及包括图像滤波器F1、图像滤镜F2、图像滤波器F4、以及两个图像滤波器F3的子级图像处理程序22b。
图5是例示突变处理的一个示例的图。在图5中,图像处理程序23a包括:图像滤波器F3、F4、以及F5。例如,图像处理程序23a可以是从图像处理程序组121提取的父级图像处理程序,或者可以是通过从图像处理程序组121提取父级图像处理程序并对该父级图像处理程序进行交叉处理而获得的图像处理程序。
这里,选择图像处理程序23a中的图像滤波器F3的节点作为执行突变的部分,并且在通过突变的替换之后选择图像滤波器F7作为图像滤波器。应注意,从已经预先制备的多个图像滤波器随机选择通过突变的替换之后的图像滤波器。通过这种突变处理,生成包括图像滤波器F4、F5、以及F7的子级图像处理程序23b。
接下来,对构成图3所示的图像检查程序14的图像处理程序11的滤波器进行描述。
图6例示了这种滤波器的示例。该滤波器的示例包括:执行频率处理的滤波器、执行阈值处理的滤波器、以及执行微分处理的滤波器。
执行频率处理的滤波器的示例包括:低通滤波器和高通滤波器。执行阈值处理的滤波器的示例包括处理预设参数中不同的多个阈值的滤波器。执行微分处理的滤波器的示例包括:Sobel滤波器、Laplacian滤波器、以及Prewitt滤波器。
在图6中,具有相同名称但具有不同数字的滤波器意指该滤波器在参数设定方面不同。例如,低通滤波器#1和低通滤波器#2在截止频率参数方面不同。图6中所述参数不同的多个滤波器的组合使得程序生成部140可以生成各种图像处理程序。
对本实施方式中使用的SVM作为图3中的图像检查程序14的判定器12进行描述。
SVM对通过图像处理程序11获得的输入图像10的图像特征值进行分类。如图7的左侧图40中所述,如由实线和虚线所示,可以在布置在空间中(在一平面上)的一组图像特征值40a与一组图像特征值40b之间绘制(分类)各种线。当可以绘制各种线时,SVM绘制线条(分类)以便提供最大余裕(边界线与该边界线附近的图像特征值之间的距离),如图7的右侧图41所述。
接下来,对图像检查程序的生成进行详细描述。图8是例示在学习装置100的程序生成部140中生成图像检查程序的一个示例例的流程图。下面,参照图1对其进行描述。
在步骤S110中,学习装置100的控制部120的程序生成部140获得存储在存储部130的学习DB 150中的学习数据(图像·接受/拒绝信息)150。然后,流程移至S111。
在步骤S111中,程序生成部140设定初始图像处理程序组。然后,流程移至S112。
在步骤S112中,程序生成部140从所设定的图像处理程序组选择图像处理程序。然后,流程移至S113。
在步骤S113中,程序生成部140通过遗传编程生成图像处理程序。然后,流程移至S114。
在步骤S114中,程序生成部140通过所生成的图像处理程序生成SVM,然后确定适合度。然后,流程移至S115。
在步骤S115中,程序生成部140判定是否生成了具有高适合度的图像检查程序。当程序生成部140判定生成具有高适合度的图像检查程序时,流程移至S117。同时,当程序生成部140判定未生成具有高适合度的图像检查程序时,流程移至S116。
在步骤S116中,程序生成部140替换图像处理程序。然后,流程移回至S112。
在步骤S117中,程序生成部140将具有高适合度的图像检查程序作为图像检查程序组存储在图像检查程序DB 160中。然后,流程移至S118。
在步骤S118中,程序生成部140判定是否生成满足预定高标准适合度的图像检查程序。当程序生成部140判定生成满足预定高标准适合度的图像检查程序时,流程移至S119。同时,当程序生成部140判定未生成满足预定高标准适合度的图像检查程序时,流程移至S116。如上所述,在步骤S116中,程序生成部140交换图像处理程序。然后,流程移回至S112。由此,在基于在步骤116中交换的下一代的父级程序生成满足预定高标准适合度的图像检查程序之前,继续通过遗传编程的图像检查程序的生成。
在步骤S119中,程序生成部140从图像检查程序组中选择表现出最佳适合度的第一图像检查程序。然后,流程移至S120。应注意,用于选择表现出最佳适合度的第一图像检查程序的具体方法如上所述。
在步骤S120中,程序生成部140选择具有最高适合度的第一图像检查程序和图像检查程序组中的另一图像检查程序。然后,本流程终止。
学习装置100的硬件配置包括CPU(中央处理单元)、主存储装置、辅助存储装置、输入装置、输出装置、以及通信I/F的相应部分。这些相应部分经由总线彼此连接。
CPU是执行各种控制和操作的处理装置。CPU通过执行OS(操作系统)或存储在例如主存储装置中的程序来实现各种功能。即,CPU通过执行本实施方式中的学习程序而充当学习装置100的控制部120。
主存储装置例如存储各种程序和用于执行各种程序所需的数据。
主存储装置包括:ROM(只读存储器)和RAM(随机存取存储器),它们中的每个都未例示。
ROM例如存储各种程序,诸如BIOS(基本输入/输出系统)。
RAM在存储在ROM中的各种程序被CPU执行时,充当要开发的工作区。RAM没有特别限制,并且可以根据希望目的而被恰当地选择。RAM的示例包括DRAM(动态随机存取存储器)和SRAM(静态随机存取存储器)。
辅助存储装置没有特别限制,并且可以根据希望目的而被恰当地选择,只要其可以存储各种信息片段即可。辅助存储装置的示例包括固态驱动器和硬盘驱动器。此外,辅助存储装置可以是便携式存储装置,诸如,CD(光盘)驱动器、DVD(数字万用盘)驱动器,或BD(Blu-ray(注册商标)盘)驱动器。
输入装置没有特别限制,并且可以从已知装置中恰当地选择,只要输入装置可以接收针对学习装置100的各种要求即可。输入装置的示例包括:键盘、鼠标器、以及触摸板。
作为输出装置,可以使用显示器或扬声器。显示器没有特别限制,并且可以从已知装置中恰当地选择。显示器的示例包括液晶显示器和有机EL显示器。
通信接口(通信I/F)没有特别限制,并且可以从已知装置中恰当地选择。通信接口的示例包括无线通信装置和有线通信装置。
通过前述硬件配置,可以实现学习装置100的处理功能。
应注意,学习装置100可以是作为网络上的一组计算机的云的一部分。
接下来,对检查装置200进行详细描述。
<检查装置>
检查装置200是使用图像检查程序来判定是接受还是拒绝检查图像的装置。
当所使用的图像检查程序未对检查图像进行正确的接受/拒绝测试时,检查装置200利用另一图像检查程序替换该图像检查程序,该另一图像检查程序可以正确地对误识别图像进行接受/拒绝测试。
对检查装置200的硬件配置和功能配置进行描述。
<<检查装置的硬件配置>>
图9是例示检查装置200的硬件配置的一个示例的框图。
如图9所述,检查装置200包括下面相应部分。所述相应部分经由总线210彼此连接。
CPU 201是执行各种控制和操作的处理装置。CPU 201通过执行OS或存储在例如主存储装置203中的程序来实现各种功能。即,CPU 201通过执行本实施方式中的检查程序而充当检查装置的控制部220。在本实施方式中,检查装置200包括GPU(图形处理单元)202,以便执行图像处理。
CPU 201控制整个检查装置200的操作。在本实施方式中,用于控制整个检查装置200的操作的装置是CPU 201。然而,该装置不限于上述装置,并且例如可以是FPGA(现场可编程门阵列)。
检查程序和各种数据库不一定被存储在例如主存储装置203或辅助存储装置204中。检查程序和各种数据库可以被存储在例如经由因特网、LAN(局域网),或WAN(广域网)连接至检查装置200的其它信息处理装置中。检查装置200可以通过从这些其它信息处理装置获得检查程序和各种数据库来执行该程序。
主存储器装置203存储各种程序并且例如存储用于执行各种程序所需的数据。
主存储器装置203包括ROM和RAM,它们中的每个都未被例示。
ROM存储各种程序,诸如BIOS。
RAM在存储在ROM中的各种程序由CPU 201执行时,充当要开发的工作区。RAM没有特别限制,并且可以根据希望目的而被恰当地选择。RAM的示例可以包括DRAM和SRAM。
辅助存储装置204没有特别限制,并且可以根据希望目的而被恰当地选择,只要其可以存储各种信息片段即可。辅助存储装置的示例包括固态驱动器和硬盘驱动器。此外,辅助存储装置204可以是便携式存储器装置,诸如CD驱动器、DVD驱动器、或BD驱动器。
作为输出装置205,可以使用显示器、扬声器等。显示器没有特别限制,并且可以从已知装置中被恰当地选择。显示器的示例包括液晶显示器和有机EL显示器。
VRAM 206是保持用于在诸如监视器的显示器上显示图像所需的数据的存储区域。
输入装置207没有特别限制,并且可以从已知装置中被恰当地选择,只要输入装置可以接收针对检查装置200的各种要求即可。输入装置207的示例包括:键盘、鼠标器、以及触摸板。
输入接口(输入I/F)208在输入I/F 208与和其连接的外部装置之间发送和接收数据。在本实施方式中,作为外部装置的相机208a连接至输入I/F 208,并且输入I/F 208将从相机208a发送来的图像数据发送给处理器。
通信接口(通信I/F)209没有特别限制,并且可以从已知装置中被恰当地选择。通信接口I/F 209的示例包括无线通信装置和有线通信装置。
利用前述硬件配置,可以实现检查装置200的处理功能。
<<检查装置的功能配置>>
返回参照图1,检查装置200包括控制部220和存储部230。控制部220控制整个检查装置200。
控制部220包括:测试部240、替换部250、以及通知部260。
检查装置200的测试部240使用在学习装置100中生成的表现出最佳适合度的第一图像检查程序对存储在存储器部230的检查图像DB 270中的检查数据图像进行接受/拒绝测试。
测试部240将通过第一图像检查程序获得的检查图像的接受/拒绝测试的结果存储在存储部230的测试结果DB 280中。
当误识别图像超过基于存储在存储部230中的误识别DB 290中的信息的预定标准值时,检查装置200的通知部260向选择装置400(其将在下文中进行描述)通知该误识别图像超过预定标准值。
“被误识别”意指通过图像检查程序对检查图像进行图像接受/拒绝测试的结果与操作员对该检查图像的图像接受/拒绝测试的结果不匹配的情况。例如,操作员对已经通过第一图像检查程序进行了接受/拒绝测试的检查图像进行接受/拒绝测试。作为操作员进行的接受/拒绝测试的结果,当操作员对图像进行与通过该程序的接受/拒绝测试结果不同的接受/拒绝测试时,该图像被视为“误识别图像”。该误识别图像包括“误判图像”和“虚报图像”。“误判图像”是通过图像检查程序被判定为“接受图像”但被操作员判定为“拒绝图像”的图像。“虚报图像”是通过图像检查程序被判定为“拒绝图像”但被操作员判定为“接受图像”的图像。
下面将对用于由操作员确定误识别图像的过程和误识别DB 290的构造进行详细描述。
关于误识别图像是否超过用于向选择装置400通知的预定标准值的标准没有特别限制,并且可以通过数或量来定义。例如,可以定义误识别图像的数量、误识别图像的速率、以及误识别的程度。例如,当误识别图像的数量超过预定数量时,通知选择装置400误识别图像的数量超过预定数量。
检查装置200的替换部250利用在选择装置400的选择部430中选择的第二图像检查程序替换第一图像检查程序。这里,第二图像检查程序是对被误识别的检查图像表现出最佳适合度的图像检查程序,其从图像检查程序组中被选择。
应注意,下面将对用于第二图像检查程序的选择过程进行详细描述。
下面,在检查装置200中,参照图10,将对使用第一图像检查程序对检查图像进行接受/拒绝测试与利用第二图像检查程序替换第一图像检查程序之间的一系列过程进行描述。
图10是例示在第二图像检查程序的选择与利用第二图像检查程序对第一图像检查程序的替换之间,在使用第一图像检查程序对检查图像进行接受/拒绝测试之后的过程的框图。图11的顺序图例示了下面还将引用的在选择与利用图像检查程序的替换之间的过程的一个示例。
首先,在检查装置200的测试部240中,第一图像检查程序A(其是学习装置100选择的最佳图像检查程序)对检查图像221进行接受/拒绝测试222(步骤S212)。在测试部240中,测试结果DB 280存储通过第一图像检查程序A对检查图像进行接受/拒绝测试的结果223(步骤S213)。
操作员对已经通过第一图像检查程序A进行了接受/拒绝测试的检查图像进行接受/拒绝测试224。操作员在操作员测试装置300的操作员测试输入部320(下面将对其进行描述)中,输入已经由操作员执行的接受/拒绝测试的结果(步骤S215)。作为操作员进行的接受/拒绝测试的结果,当通过图像检查程序A对检查图像进行接受/拒绝测试的结果与操作员对该检查图像进行接受/拒绝测试的结果相匹配时,该图像被视为“正确识别的检查图像”。同时,当通过图像检查程序A对检查图像进行接受/拒绝测试的结果与操作员对该检查图像进行接受/拒绝测试的结果不匹配时,该图像被视为“检查误识别图像”。该误识别图像包括“误判图像”223a和“虚报图像”223b。“误判图像”223a是图像检查程序将图像判定为接受图像,而操作员将图像判定为拒绝图像的情况。“虚报图像”223b是图像检查程序将图像判定为拒绝图像,而操作员将图像判定为接受图像的情况。
操作员测试装置300的操作员测试输入部320接收操作员进行接受/拒绝测试的结果,并向检查装置200发送关于误识别图像的信息,其根据操作员进行接受/拒绝测试的结果而获得。下面,将对操作员测试装置300进行详细描述。
在检查装置200中,将有关误识别图像的信息(从操作员测试装置300接收的)作为误识别图像组225存储在误识别DB 290中(步骤S216)。
在检查装置200的通知部260基于误识别DB 290中的信息,判定误识别图像超过预定标准(在本实施方式中,该预定标准例如是预定数量)时,通知选择装置400误识别图像超过预定标准(步骤S218和步骤S219)。
选择装置400根据来自选择部430中的通知部的通知来选择第二图像检查程序(步骤S223)。将对选择装置400和要选择的第二图像检查程序进行详细描述。
检查装置200从选择装置400接收在选择部430中选择的第二图像检查程序。然后,检查装置200的替换部250利用第二图像检查程序替换第一图像检查程序(步骤S225)。
在图10中,图像检查程序B的选择228根据图像检查程序组226来进行。图像检查程序B是表现出最佳适合度的图像检查程序227。
然后,在图10中,利用第二图像检查程序B进行的229第一图像检查程序A的替换由替换部250进行(步骤S225)。
在利用第二图像检查程序B替换在测试部240中使用的图像检查程序之后,测试部240使用替换的图像检查程序B作为第一图像检查程序,以对检查图像221执行接受/拒绝测试222。此后,在已经通过图像检查程序B误识别的图像超过预定数量时,选择部430从图像检查程序组226重新选择除图像检查程序B之外的其它第二图像检查程序。检查装置200的替换部250使用通过选择部430重新选择的第二图像检查程序,利用新选择的第二图像检查程序替换第一图像检查程序B。
接下来,将对操作员测试装置300进行详细描述。
<操作员测试装置>
返回参照图1,操作员测试装置300包括操作员测试输入部320。
操作员测试输入部300接收由操作员对已经通过第一图像检查程序进行了接受/拒绝测试的检查图像进行的接受/拒绝测试。
操作员测试输入部320向检查装置200发送根据操作员进行接受/拒绝测试的结果所获得的关于误识别图像的信息。在检查装置200中,存储部230的误识别DB 290存储关于所接收的误识别图像的信息。
下文中,参照图10和图11,将对用于在操作员测试装置300的操作员测试输入部320中输入操作员进行的接受/拒绝测试的过程进行描述。
操作员测试输入部320获得检查图像和来自测试结果DB 280的、通过第一图像检查程序A对该检查图像进行接受/拒绝测试的结果223(步骤S214)。
操作员对已经通过第一图像检查程序进行了接受/拒绝测试的检查图像进行接受/拒绝测试224。操作员向测试输入部320输入由操作员进行的接受/拒绝测试的结果(步骤S215)。
当通过第一图像检查程序A对检查图像进行接受/拒绝测试的结果与操作员对该检查图像进行第一接受/拒绝测试的结果相匹配时,该图像被视为“正确识别的检查图像”。同时,当通过第一图像检查程序A对检查图像进行接受/拒绝测试的结果与操作员对该检查图像进行接受/拒绝测试的结果不匹配时,该图像被视为“检查误识别图像”。该误识别图像包括“误判图像”223a和“虚报图像”223b。“误判图像”223a是图像检查程序将图像判定为接受图像,而操作员将图像判定为拒绝图像的情况。“虚报图像”223b是其中图像检查程序将图像判定为拒绝图像,而操作员将图像判定为接受图像的情况。
操作员测试输入部320接收操作员进行接受/拒绝测试的结果,并根据通过第一图像检查程序A的接受/拒绝测试的结果和操作员进行接受/拒绝测试的结果取出误识别图像(步骤S215)。
操作员测试输入部320将关于所取出的误识别图像的信息(包括误判和虚报的测试结果)发送给检查装置200(步骤S216)。
图12例示了存储在测试结果DB中的、通过第一图像检查程序对检查图像测试的结果(数据配置)的信息的一个示例。如图12所示,在本实施方式中,该信息包括诸如“测试日期和时间”、“种类(variety)信息”、“图像ID”、以及“程序测试结果”的数据项。这里,“测试日期和时间”是检查图像被判定有关该检查图像是通过第一图像检查程序被接受还是被拒绝的日期和时间。“种类信息”不受特别限制,只要可以标识检查目标即可。“种类信息”的示例包括:名称、符号、以及可以用其来标识检查目标物品的批号。“图像ID”是标识检查图像的标识符。“程序测试结果”是通过第一图像检查程序进行接受/拒绝测试的结果。在图12的表中,“OK”意指接受判定,而“NG”表示拒绝判定(类似于其它图,“OK”意指接受判定,而“NG”意指拒绝判定)。
图13是例示在操作员测试输入部中输入操作员针对已经通过第一图像检查程序进行了接受/拒绝测试的检查图像的测试结果的用户接口的一个示例的图。图13例示了这样的示例;即,可视接受/拒绝测试是NG,其中,第一图像检查程序对检查图像IMG0003进行接受判定(OK),而操作员对所显示检查图像进行拒绝判定(NG)。
图14是例示存储在误识别DB中的、包括关于被误识别的检查图像的信息的数据配置的一个示例的图。如图14所示,在本实施方式中,除了图12中描述的信息之外,还包括诸如“操作员测试日期和时间”、“可视接受/拒绝测试结果”、“接受/拒绝测试标志”、“误判标志”,以及“虚报标志”的数据项。这里,“操作员测试日期和时间”是操作员对检查图像进行接受/拒绝测试的日期和时间。“可视接受/拒绝测试结果”是操作员进行接受/拒绝测试的结果。
接受/拒绝测试标志基于由第一图像检查程序和操作员进行的接受/拒绝测试的结果来设定。如图14所述,当通过第一图像检查程序进行接受/拒绝测试的结果与通过操作员进行接受/拒绝测试的结果匹配时,操作员测试输入部给出接受/拒绝测试标志“1”。同时,通过第一图像检查程序进行接受/拒绝测试的结果与通过操作员进行接受/拒绝测试的结果不匹配,操作员测试输入部给出接受/拒绝测试标志“0”。
操作员测试输入部可以为接受/拒绝测试标志为“0”的误识别图像设定误判标志或虚报标志。
如图14所示,关于接受/拒绝测试标志为“0”的误识别图像,当第一图像检查程序将图像判定为“OK”而操作员将图像判定为“NG”时,操作员测试输入部给出误判标志“1”。操作员测试输入部向除了呈现误判标志“1”的图像之外的其它图像给出误判标志“0”。关于接受/拒绝测试标志为“0”的误识别图像,当第一图像检查程序将图像判定为“NG”而操作员将图像判定为“OK”时,操作员测试输入部给出虚报标志“1”。操作员测试输入部向除了呈现虚报标志“1”的图像之外的其它图像给出虚报标志“0”。
如上所述,在设定诸如误判标志和虚报标志的数据项时,选择装置400可以随着对误判标志和虚报标志的区分而容易地获得关于误判图像和虚报图像的信息。这使得可以容易地获得关于误判图像的信息(例如,在将误判图像而不是虚报图像优先化的情况下),并且选择装置400尝试选择可以对误判图像进行正确的接受/拒绝测试的第二图像检查程序。
在本实施方式中,误识别DB具有这样的数据配置,即,其包括通过第一图像检查程序进行接受/拒绝测试的结果与通过操作员进行接受/拒绝测试的结果匹配的情况,和通过第一图像检查程序进行接受/拒绝测试的结果与通过操作员进行接受/拒绝测试的结果不匹配的情况(误识别)。应注意,误识别DB至少包括关于误识别图像的信息。例如,图14中的数据配置可以是通过仅提取关于呈现接受/拒绝测试标志“0”的误识别图像的信息而获得的误识别DB的数据配置。
操作员测试装置300工作的定时;即,操作员确认通过图像检查程序对检查目标的图像进行接受/拒绝测试结果的定时例如是如下列情况i、ii)、或iii)中所述的每种情况。
i)操作员定期进行确认。在这种情况下,操作员确认落入设定期限内的检查图像。
ii)当生产目标的后续过程中出现任何问题时,操作员确认检查图像。在这种情况下,操作员确认在问题发生之前和之后的期限内生成的检查图像。
iii)在生产线操作期间,操作员确认通过图像检查程序的接受/拒绝测试(例如,操作员通过随机提取图像来进行确认)。当操作员发现误识别的数量增加时,操作员进行确认。在这种情况下,例如,操作员确认在引起误识别的时间点之前的预定期限期间获得的检查图像。
操作员测试装置300的硬件配置包括CPU、主存储装置、辅助存储装置、输入装置、输出装置、以及通信I/F的相应部分。这些相应部分经由总线彼此连接。所述相应部分的描述与学习装置100和检查装置200中的相应部分的描述相同。因此,这里省略了描述。
接下来,将对选择装置400进行详细描述。
<选择装置>
当选择装置400从检查装置200的通知部260接收到误识别图像的数量超过预定数量的通知时,选择装置400从存储在图像检查程序DB 160中的图像检查程序组中选择第二图像检查程序。选择装置400将在选择部430中选择的图像检查程序发送给检查装置200。
返回参照图1,选择装置400包括控制部420。控制部420包括选择部430并控制整个选择装置400。
选择部430使用存储在检查装置200的存储部230中的误识别DB 290和存储在学习装置100的存储部130中的图像检查程序DB 160,来选择对误识别图像进行正确的接受/拒绝测试的图像检查程序。
参照图10和图11,将对用于在选择装置400的选择部430中选择图像检查程序的过程进行描述。
图10中的图像检查程序组226例如包括图像检查程序A、B、C、D、以及E,作为通过学习装置100选择的具有高适合度的图像检查程序。选择部430使用图像检查程序组中的每个图像检查程序(例如,图像检查程序B、C、D、以及E),判定每个图像检查程序针对误识别图像225的适合度(步骤S222)。
选择部430从图像检查程序组中选择表现出最佳适合度的图像检查程序(步骤S223)。
这里,表现出最佳适合度的图像检查程序例如是具有最大准确度和最大余裕的图像检查程序。
具体地,选择部430例如根据下面1)至3)中描述的过程选择表现出最佳适合度的图像检查程序。
1)选择可以对被误识别的检查图像中的所有误判图像(误判比率:0%)进行正确的拒绝判定的图像检查程序。
2)从1)中的图像检查程序中选择具有最大准确度的图像检查程序。
3)从2)中的图像检查程序中选择具有最大余裕的程序。
例如,选择部430可以根据例如4)和5)中描述的过程来选择表现出最佳适合度的图像检查程序。
4)选择具有100%准确度的图像检查程序,其中,该程序可以对被误识别的检查图像中的所有误判图像和虚报图像正确地进行接受/拒绝测试。
5)从4)中的程序中选择具有最大余裕的程序。
将对用于选择具有最大准确度和最大余裕的图像检查程序的方法进行详细描述。
这里,如上面具体选择方法所述,在选择可以对被误识别的检查图像中的所有误判图像进行正确的拒绝判定的第二图像检查程序时,可以提供一种能够有效防止被拒绝货品流出的检查装置。
在图10中,图像检查程序B被选择为表现出最佳适合度的图像检查程序228。
第二图像检查程序选自包括在图像检查程序组中的所有图像检查程序。选择具有高适合度的图像检查程序是重要的。另外,选择被包括在图像检查程序组中的任何和所有世代的图像检查程序(诸如,前一代的图像检查程序和后几代的图像检查程序)。
选择部430将所选择的表现出最佳适合度的第二图像检查程序发送给检查装置200。然后,检查装置200的替换部250利用所接收的第二图像检查程序替换第一图像检查程序(步骤S225)。
当选择部430判定图像检查程序组不包括超过预定准确度值的任何图像检查程序时,选择部430中第二图像检查程序的选择终止。当无法选择第二图像检查程序时,操作员将通过在学习装置100中重新学习来制成新的图像检查程序。
图15是例示当使用已经通过第一图像检查程序误识别的检查图像选择第二图像检查程序时,用于确定第二图像检查程序的适合度的数据配置的一个示例的图。
例如,图像检查程序组226中的图像检查程序B、C、D、以及E被用于对已经通过作为第一图像检查程序222的图像检查程序A误识别的检查图像进行接受/拒绝测试。图15中呈现了结果。
图15呈现了:已经通过图像检查程序A误识别的检查图像的图像ID;有关操作员对上述检查图像进行可视接受/拒绝测试的信息;有关通过图像检查程序B、C、D、以及E对上述检查图像的测试结果;以及用于确定适合度的信息。在本实施方式中,用于确定适合度的信息的示例包括:“测试值”、“误判”、“虚报”、以及“余裕值”。
作为“测试值”,基于操作员和图像检查程序组中的图像检查程序进行的接受/拒绝测试的结果,给出值“1”或“0”。例如,在选择部430中,当操作员的测试结果与通过图像检查程序(诸如,图像检查程序B、C、D、或E)的测试结果匹配时,给出测试值“1”。同时,在选择部430中,当操作员的测试结果与通过图像检查程序(诸如,图像检查程序B、C、D、或E)的测试结果不匹配时,给出测试值“0”。
作为“误判”,针对被给出测试值“0”的误识别图像中的误判图像,给出值“1”。例如,当操作员的测试结果为“NG”而通过图像检查程序的测试结果为“OK”时,选择部430向误判图像给出“1”。选择部430向除上述图像之外的其它图像给出“0”。
作为“虚报”,在已被误识别并且给出测试值“0”的图像中的虚报图像被给出值“1”。例如,当操作员的测试结果为“OK”而通过图像检查程序的测试结果为“NG”时,选择部430向虚报图像给出“1”。选择部430向除上述图像之外的其它图像给出“0”。
“余裕值”是SVM的边界与已经通过诸如图像检查程序B、C、D、以及E的每个图像检查程序误识别的检查图像之间的距离。
在图15的表中,每个图像检查程序的准确度通过下面的公式(1)使用测试值来确定。
准确度=测试值的总和/检查图像总数 公式(1)
图像检查程序B和C不会误识别检查图像。因此,图像检查程序B和C是具有100%准确度的图像检查程序,其中,所有测试值为“1”。
在图15的表中,通过下面的公式(2)使用该表中的“误判”值,确定每个图像检查程序的误判率。
误判率=误判值的总和/检查图像总数 公式(2)
图像检查程序E是误判检查图像IMG0003的图像检查程序。图像检查程序B、C、以及D是不会误判检查图像并且误判率为0%的图像检查程序。
在图15的表中,通过下面的公式(3)使用该表中的“虚报”值,确定每个图像检查程序的虚报率。
虚报率=虚报值的总和/检查图像总数 公式(3)
图像检查程序D和E是虚报检查图像IMG1532的图像检查程序。图像检查程序B和C是不会虚报检查图像并且虚报率为0%的图像检查程序。
余裕评估(余裕评估值)通过下面的公式(4)使用该表中的余裕值来确定。
余裕评估值=min(|在测试值为1时的余裕值|) 公式(4)
通过选择具有各个程序的余裕评估值中的最大余裕评估值的图像检查程序,可以选择具有最大的最大余裕的图像检查程序。
在图像检查程序B和C中,所有测试值均为“1”。因此,确定作为每个程序的余裕值中的绝对值中的最小值的余裕评估值。图像检查程序B具有0.8的余裕评估值,并且图像检查程序C具有0.5的余裕评估值。
根据图15中的图像检查程序B、C、D、以及E的结果,下面,将对选择部430选择关于被误识别的检查图像表现出最佳适合度的第二图像检查程序的具体过程进行描述。
(a)选择具有误判率0%的图像检查程序。根据图15中呈现的结果,选择图像检查程序B、C、以及D。
(b)接下来,选择具有最高准确度的程序。根据图15中呈现的结果,选择图像检查程序B和C。图像检查程序B和C呈现误判率0%、虚报率0%、以及准确度100%。
(c)此外,从具有最高准确度的图像检查程序B和C中选择具有最大余裕评估值的图像检查程序。根据图15中呈现的结果,从都具有准确度100%的图像检查程序B和C中选择具有较大余裕评估值的图像检查程序B。
根据图15中呈现的结果,选择部430选择图像检查程序B作为具有最高准确度和最大余裕的第二图像检查程序。
接下来,使用图16、图17、以及图18描述通过利用第二图像检查程序替换第一图像检查程序来正确地判定关于已经通过第一图像检查程序误识别的图像是被接受还是被拒绝。
图16是例示通过SVM的接受/拒绝测试的一个示例的图。图16例示了第一检查程序正确地对学习图像进行接受/拒绝测试的状态。
图17是例示了在误识别数据出现时通过SVM的错误确定的一个示例的图。图17例示了无法通过第一图像检查程序正确确定的误识别图像随着检查的进行而出现的状态。52a例示了误识别图像(虚报图像),其中,第一图像检查程序将该图像确定为拒绝图像,而操作员将该图像确定为接受图像。52b例示了误识别图像(误判图像),其中,第一图像检查程序将该图像确定为接受图像,而操作员将该图像确定为拒绝图像。
图18是例示在利用可以对误识别图像进行正确的接受/拒绝测试的图像检查程序替换之后,通过SVM的接受/拒绝测试的一个示例的图。图18例示了当使用关于误识别图像表现出最佳适合度的第二图像检查程序来对检查图像进行接受/拒绝测试时,其可以正确地对检查图像进行接受/拒绝测试的情况。
选择装置400的硬件配置包括CPU、主存储装置、辅助存储装置、输入装置、输出装置、以及通信I/F的相应部分。这些相应部分经由总线彼此连接。所述相应部分的描述与学习装置100和检查装置200中的相应部分的描述相同。因此,这里省略了描述。
应注意,选择装置400可以是作为网络上的一组计算机的云的一部分。
讲对用于在选择图像检查程序之后理用该图像检查程序进行替换的过程进行详细描述。
图11是例示学习型检查系统中的在选择与替换图像检查程序之间的流程的一个示例的顺序图。下面,参照图1和图10,对其进行描述。
在步骤S210中,检查装置200的控制部220的测试部240获得存储在图像检查程序DB 160中的最佳图像检查程序(第一图像检查程序)。流程移至S211。
在步骤S211中,测试部240获得存储在检查图像DB 270中的检查图像。流程移至S212。
在步骤S212中,测试部240使用第一图像检查程序对检查图像进行接受/拒绝测试。流程移至S213。
在步骤S213中,测试部240在测试结果DB 280中存储检查图像和通过第一图像检查程序对该检查图像进行接受/拒绝测试的结果。流程移至S214。
在步骤S214中,操作员测试装置300的测试输入部320获得存储在测试结果DB 280中的检查图像和通过第一图像检查程序对该检查图像进行接受/拒绝测试的结果。流程移至S215。
在步骤S215中,操作员测试输入部320接收操作员对已经通过第一图像检查程序进行了接受/拒绝测试的检查图像的接受/拒绝测试。然后,操作员测试输入部320基于通过第一图像检查程序进行接受/拒绝测试和操作员进行接受/拒绝测试的结果来选择误识别图像。流程移至S216。
在步骤S216中,操作员测试输入部320向检查装置200发送从操作员的接受/拒绝测试获得的关于被误识别的检查图像的信息。流程移至S217。已经接收到关于被误识别的检查图像的信息的检查装置200将该信息存储在存储部230的误识别DB 290中。应注意,关于被误识别的检查图像的信息包括关于“误判图像”的信息和关于“虚报图像”的信息。“误判图像”是通过第一图像检查程序被判定为“接受图像”但被操作员判定为“拒绝图像”的图像。“虚报图像”是通过第一图像检查程序被判定为“拒绝图像”但被操作员确定为“接受图像”的图像。
在步骤S217中,检查装置200的通知部260获得存储在误识别DB 290中的、关于被误识别的检查图像的信息。流程移至S218。
在步骤S218中,通知部260判定被误识别的检查图像的数量是否超过预定数量。当通知部260判定被误识别的检查图像的数量超过预定数量时,流程移至S219。同时,当通知部260判定被误识别的检查图像的数量未超过预定数量时,流程移回至S211。然后,测试部240继续检查检查图像。
在步骤S219中,通知部260通知选择装置400误识别图像的数量超过预定数量。然后,流程移至S220。
在步骤S220中,当接收到来自通知部260的通知时,选择装置400的选择部430从存储在图像检查程序DB 160中的图像检查程序组中获得图像检查程序。然后,流程移至S221。
在步骤S221中,选择部430获得存储在误识别DB 290中的关于被误识别的检查图像的信息。然后,流程移至S222。
在步骤S222中,选择部430通过所获得的图像检查程序对被误识别的检查图像进行接受/拒绝测试,从而判定该图像检查程序的适合度。然后,流程移至S223。
为存储在图像检查程序DB 160中的图像检查程序组中的所有图像检查程序确定适合度。
在步骤S223中,选择部430基于所获得的适合度选择第二图像检查程序。然后,流程移至S224。
将从超过预定准确度值的图像检查程序中选择表现出最佳适合度的图像检查程序选择为第二图像检查程序。这里,用于选择表现出最佳适合度的图像检查程序的方法如上所述。
在步骤S224中,选择装置400将在选择部430中选择的第二图像检查程序发送给检查装置200。然后,流程移至S225。
在步骤S225中,检查装置200的替换部250利用第二图像检查程序替换第一图像检查程序。然后,该流程终止。
参照图19所示流程图,将对检查装置的测试部对检查图像进行接受/拒绝测试的流程进行描述。
在步骤S310中,检查装置200的控制部220的测试部240获得存储在图像检查程序DB 160中的最佳图像检查程序(第一图像检查程序)。流程移至S311。
在步骤S311中,测试部240获得存储在检查图像DB 270中的检查图像。流程移至S312。
在步骤S312中,测试部240使用第一图像检查程序对检查图像进行接受/拒绝测试。流程移至S313。
在步骤S313中,测试部240在测试结果DB 280中存储检查图像和通过第一图像检查程序对该检查图像进行接受/拒绝测试的结果。流程移至S314。
在步骤S314中,当检查装置200的通知部260判定被误识别的检查图像的数量超过预定数量时,测试部240终止用于使用第一图像检查程序对检查图像进行接受/拒绝测试的过程。同时,当通知部260未判定被误识别的检查图像的数量超过预定数量时,测试部240继续使用第一图像检查程序对检查图像进行接受/拒绝测试。
参照图20所示的流程图,将对检查装置的通知部基于从误识别DB获得的信息来向选择装置发送通知的流程进行描述。
在步骤S410中,检查装置200的通知部260获得存储在误识别DB 290中的、关于被误识别的检查图像的信息。流程移至S411。
在步骤S411中,通知部260判定被误识别的检查图像的数量是否超过预定数量。当通知部260判定被误识别的检查图像的数量超过预定数量时,流程移至S412。同时,当通知部260判定被误识别的检查图像的数量未超过预定数量时,流程移回至S410。结果,测试部240继续用于判定检查图像是被接受还是被拒绝的检查过程。
在步骤S412中,通知部260通知选择装置400误识别图像的数量超过预定数量。然后,本流程终止。
参照图21所示的流程图,将对检查装置的替换部利用第二图像检查程序替换第一图像检查程序的流程进行描述。
在步骤S510中,检查装置200等待从选择装置400接收第二图像检查程序。流程移至S511。
在步骤S511中,当检查装置200从选择装置400接收到第二图像检查程序时,流程移至S512。同时,当检查装置200未从选择装置400接收到第二图像检查程序时,流程移回至S510。然后,检查装置200等待从选择装置400的接收。
在步骤S512中,检查装置200的替换部250利用第二图像检查程序替换第一图像检查程序。然后,本流程终止。
参照图22所示的流程图,将对用于在误识别DB中存储关于被误识别的检查图像的信息的流程进行描述,该信息根据通过输入在操作员测试装置中的、操作员进行接受/拒绝测试的结果获得。
在步骤S610中,操作员测试装置300的操作员测试输入部320获得存储在测试结果DB 280中的检查图像和通过第一图像检查程序对该检查图像进行接受/拒绝测试的结果。然后,流程移至S611。
在步骤S611中,操作员测试输入部320显示检查图像和通过第一图像检查程序对该检查图像进行接受/拒绝测试的结果。然后,流程移至S612。
在步骤S612中,操作员测试输入部320接收操作员对已经通过第一图像检查程序进行了接受/拒绝测试的检查图像的接受/拒绝测试。然后,流程移至S613。
在步骤S613中,操作员测试输入部320根据操作员进行接受/拒绝测试的结果和通过第一图像检查程序进行接受/拒绝测试的结果选择被误识别的检查图像。然后,流程移至S614。
在步骤S614中,操作员测试输入部320将根据操作员进行接受/拒绝测试的结果所获得的关于被误识别的检查图像的信息(包括关于误判图像和虚报图像的信息)发送给检查装置200。然后,本流程终止。已经接收到关于被误识别的检查图像的信息的检查装置200将上述信息存储在存储部230的误识别DB 290中。
参照图23所示的流程图,将对选择装置的选择部选择第二图像检查程序的流程进行描述。
在步骤S710中,当接收到来自通知部260的通知时,选择装置400的选择部430从存储在图像检查程序DB 160中的图像检查程序组中获得图像检查程序。流程移至S711。
在步骤S711中,选择部430获得存储在误识别DB 290中的关于被误识别的检查图像的信息。然后,流程移至S712。这里,关于被误识别的检查图像的信息包括关于“误判图像”的信息和关于“虚报图像”的信息。“误判图像”是通过第一图像检查程序被判定为“接受图像”但被操作员判定为“拒绝图像”的图像。“虚报图像”是通过第一图像检查程序被判定为“拒绝图像”但被操作员判定为“接受图像”的图像。
在步骤S712中,选择部430通过所获得的图像检查程序对被误识别的检查图像进行接受/拒绝测试,从而确定该图像检查程序的适合度。流程移至S713。
在步骤S713中,选择部430判定存储在图像检查程序DB 160中的图像检查程序组中的所有图像检查程序的适合度是否被确定。当确定了所有图像检查程序的适合度时,选择部430将流程移至S714。当未确定所有图像检查程序的适合度时,选择部430将流程移回至S710,并且继续用于确定适合度的流程。
在步骤S714中,选择部430判定在满足预定适合度的图像检查程序中是否存在具有超过预定值的准确度的任何图像检查程序。当存在具有超过该预定值的准确度的任何图像检查程序时,选择部430将流程移至S715。当不存在具有超过该预定值的准确度的任何图像检查程序时,选择部430终止本流程。在选择部430中,当无法选择第二图像检查程序时,操作员将制成通过在学习装置100中重新学习而获得的新图像检查程序。
在步骤S715中,选择部430从满足预定适合度和超过预定值的准确度的图像检查程序中选择表现出最佳适合度的第二图像检查程序。然后,流程移至S716。这里,用于选择表现出最佳适合度的图像检查程序的方法如在步骤S223的描述中所述。
在步骤S716中,选择装置400将在选择部430中选择的第二图像检查程序发送给检查装置200。然后,本流程终止。
图1所示的学习型检查系统500以学习装置100、检查装置200、操作员测试装置300、以及选择装置400这四个装置构成。然而,如下所述,这些装置可以被适当地组合以形成具有一到两个装置的配置。
(第二实施方式)
图24所示的学习型检查系统500中的学习·选择装置600是通过将图1所示的学习型检查系统500中的学习装置100与选择装置400组合而获得的一个装置。此外,图24所示的学习型检查系统500中的检查装置700是通过将图1所示的学习型检查系统500中的检查装置200与操作员测试装置300组合而获得的一个装置。除上述情况外,图24所示的每个构成部分都具有与图1所示的每个构成部分相同的功能。为此,针对已经描述的相同配置给出相同标号,并且将省略其描述。
学习·选择装置600包括控制部620和存储部630。控制部620控制整个学习·选择装置600。
控制部620包括程序生成部140和选择部430。存储部630包括学习DB 150和图像检查程序DB 160。
检查装置700包括:控制部720、存储部730、以及输入部740。控制部720控制整个检查装置700。
控制部720包括:测试部240、替换部250、以及通知部260。存储部730包括:检查图像DB 270、测试结果DB 280,以及误识别DB 290。
输入部740包括操作员测试输入部320。
图1所示的操作员测试装置300可以是独立于图1所示的检查装置200的装置。另选地,如图24所示,通过将操作员测试输入部320的功能添加到检查装置200,可以将操作员测试装置300并入检查装置。
(第三实施方式)
图25所示的学习型检查系统500中的检查·选择装置800是通过将图1所示的学习型检查系统500中的检查装置200、操作员测试装置300以及选择装置400组合而获得的一个装置。除上述情况外,图25所示的每个构成部分都具有与图1所示的每个构成部分相同的功能。为此,针对已经描述的相同配置给出相同标号,并且将省略其描述。
检查·选择装置800包括:控制部820、存储部830、,以及输入部840。控制部820控制整个检查·选择装置800。
控制部820包括:测试部240、替换部250、通知部260、以及选择部430。存储部830包括:检查图像DB 270、测试结果DB 280、以及误识别DB 290。
输入部840包括操作员测试输入部320。
(第四实施方式)
图26所示的学习型检查系统500中的学习型检查装置900是通过将图1所示的学习型检查系统500中的学习装置100、检查装置200、操作员测试装置300、以及选择装置400组合而获得的一个装置。除上述情况外,图26所示的每个构成部分都具有与图1所示的每个构成部分相同的功能。为此,针对已经描述的相同配置给出相同标号,并且将省略其描述。
学习型检查装置900包括:控制部920、存储部930、以及输入部940。控制部930控制整个学习型检查装置900。
控制部920包括:程序生成部140、测试部240、替换部250、通知部260、以及选择部430。存储部930包括:学习DB 150、图像检查程序DB 160、检查图像DB 270、测试结果DB280,以及误识别DB 290。
输入部940包括操作员测试输入部320。
如上所述,在检查装置中,当第一图像检查程序被用于对检查图像进行接受/拒绝测试并且误识别图像超过预定标准时,利用第二图像检查程序替换第一图像检查程序。
这使得可以使用第二图像检查程序检查图像,该第二图像检查程序可以在比以前更短的时间内增加接受/拒绝测试的精度,而无需执行耗时的重新学习,并且使得可以连续运作生产线。

Claims (12)

1.一种检查装置,该检查装置包括:
测试部,该测试部通过图像检查程序组中的第一图像检查程序来对检查图像进行接受/拒绝测试,该图像检查程序组包括不同世代的多个学习型图像检查程序,所述多个学习型图像检查程序中的每个对于学习图像的适合度满足预定的标准;以及
替换部,该替换部当操作员对已经通过所述第一图像检查程序进行了所述接受/拒绝测试的所述检查图像进行所述接受/拒绝测试并发现了被误识别的所述检查图像时,利用所述图像检查程序组中的第二图像检查程序替换所述第一图像检查程序,该第二图像检查程序对于所述被误识别的所述检查图像表现出最佳适合度。
2.根据权利要求1所述的检查装置,其中,所述第二图像检查程序选自所述图像检查程序组中的、包括过去世代的所述图像检查程序在内的所有所述图像检查程序。
3.根据权利要求1或2所述的检查装置,其中,所述第二图像检查程序是基于根据所述图像检查程序的所述接受/拒绝测试的准确度以及分离接受和拒绝的边界的余裕大小而确定的适合度来选择的。
4.根据权利要求3所述的检查装置,其中,所述第二图像检查程序是能够将所述被误识别的所述检查图像中的所有误判图像正确地判定为拒绝图像的程序。
5.一种使用利用图像检查程序来对检查图像进行接受/拒绝测试的检查方法,该检查方法包括以下步骤:
通过图像检查程序组中的第一图像检查程序来对所述检查图像进行接受/拒绝测试,该图像检查程序组包括不同世代的多个学习型图像检查程序,所述多个学习型图像检查程序中的每个对于学习图像的适合度满足预定的标准;以及
当操作员对已经通过所述第一图像检查程序进行了所述接受/拒绝测试的所述检查图像进行所述接受/拒绝测试并发现了被误识别的所述检查图像时,利用所述图像检查程序组中的第二图像检查程序替换所述第一图像检查程序,该第二图像检查程序对于所述被误识别的所述检查图像表现出最佳适合度。
6.根据权利要求5所述的检查方法,其中,所述第二图像检查程序选自所述图像检查程序组中的、包括过去世代的所述图像检查程序在内的所有所述图像检查程序。
7.根据权利要求5或6所述的检查方法,其中,所述第二图像检查程序是基于根据所述图像检查程序的所述接受/拒绝测试的准确度以及分离接受和拒绝的边界的余裕大小而确定的适合度来选择的。
8.根据权利要求7所述的检查方法,其中,所述第二图像检查程序是能够将所述被误识别的所述检查图像中的所有误判图像正确地判定为拒绝图像的程序。
9.一种存储有计算机程序的计算机可读记录介质,该计算机程序在由处理器执行时执行下面的步骤:
步骤A:通过图像检查程序组中的第一图像检查程序来对检查图像进行接受/拒绝测试,该图像检查程序组包括不同世代的多个学习型图像检查程序,所述多个学习型图像检查程序中的每个对于学习图像的适合度满足预定的标准;以及
步骤B:在操作员对已经通过所述第一图像检查程序进行了所述接受/拒绝测试的所述检查图像进行所述接受/拒绝测试并发现了被误识别的所述检查图像时,利用所述图像检查程序组中的第二图像检查程序替换所述第一图像检查程序,该第二图像检查程序对于所述被误识别的所述检查图像表现出最佳适合度。
10.根据权利要求9所述的计算机可读记录介质,其中,所述第二图像检查程序还执行从所述图像检查程序组中的、包括过去世代的所述图像检查程序在内的所有所述图像检查程序中选择的步骤C。
11.根据权利要求9或10所述的计算机可读记录介质,其中,所述第二图像检查程序还执行基于根据所述图像检查程序的所述接受/拒绝测试的准确度以及分离接受和拒绝的边界的余裕大小而确定的适合度选择的步骤D。
12.根据权利要求11所述的计算机可读记录介质,其中,所述第二图像检查程序是能够将所述被误识别的所述检查图像中的所有误判图像正确地判定为拒绝图像的程序。
CN201810859394.4A 2017-08-04 2018-07-31 检查装置和检查方法 Expired - Fee Related CN109387511B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-151894 2017-08-04
JP2017151894A JP6923794B2 (ja) 2017-08-04 2017-08-04 検査装置、検査プログラム、及び検査方法

Publications (2)

Publication Number Publication Date
CN109387511A true CN109387511A (zh) 2019-02-26
CN109387511B CN109387511B (zh) 2021-07-13

Family

ID=65229143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810859394.4A Expired - Fee Related CN109387511B (zh) 2017-08-04 2018-07-31 检查装置和检查方法

Country Status (3)

Country Link
US (1) US10769777B2 (zh)
JP (1) JP6923794B2 (zh)
CN (1) CN109387511B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906471A (zh) * 2019-09-10 2022-01-07 乐人株式会社 用于对多个图像执行机器学习和测试的方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI707137B (zh) * 2020-01-13 2020-10-11 憶象有限公司 智能產線監測系統及監測方法
DE112020007436T5 (de) * 2020-07-16 2023-04-27 Jgc Corporation Prüfsystem, bestimmungsverarbeitungsvorrichtung und prüfverfahren
JP7648491B2 (ja) * 2021-09-21 2025-03-18 株式会社東芝 判定装置、判定システム、判定方法、プログラム、及び記憶媒体
JP7684198B2 (ja) * 2021-11-24 2025-05-27 株式会社キーエンス 外観検査装置及び外観検査方法
JP2023149953A (ja) * 2022-03-31 2023-10-16 セイコーエプソン株式会社 画像処理方法、画像処理装置、および、コンピュータープログラム
JP2024011303A (ja) * 2022-07-14 2024-01-25 ピノベーション株式会社 製品検査支援装置、製品検査支援方法、およびプログラム
JP2024056561A (ja) * 2022-10-11 2024-04-23 株式会社日立製作所 検査条件決定システム
WO2025224897A1 (ja) * 2024-04-24 2025-10-30 ヤマハ発動機株式会社 検査システム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044835A (ja) * 2001-07-27 2003-02-14 Akita Shindengen:Kk 外観検査装置と該装置のマスタデータ作成方法及び該マスタデータ作成プログラム
JP3756507B1 (ja) * 2004-09-17 2006-03-15 シャープ株式会社 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
US20070258640A1 (en) * 2006-04-27 2007-11-08 Yuichi Abe Inspection apparatus
CN101644683A (zh) * 2008-08-05 2010-02-10 株式会社东芝 污损判定装置、纸张类处理装置以及污损判定方法
JP2011122985A (ja) * 2009-12-11 2011-06-23 Ricoh Co Ltd 印刷物検査装置、印刷物検査方法、プログラムおよび記憶媒体
CN103106077A (zh) * 2011-11-15 2013-05-15 株式会社三丰 机器视觉检测系统
CN103176793A (zh) * 2011-11-15 2013-06-26 株式会社三丰 包含同步用户界面特征的机器视觉系统程序编辑环境
CN103196914A (zh) * 2012-01-06 2013-07-10 株式会社其恩斯 外观检查装置和外观检查方法
WO2016092783A1 (en) * 2014-12-12 2016-06-16 Canon Kabushiki Kaisha Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program
US20160328837A1 (en) * 2015-05-08 2016-11-10 Kla-Tencor Corporation Method and System for Defect Classification

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230814A1 (en) * 2004-05-24 2007-10-04 Miki Haseyama Image Reconstructing Method
JP2007200246A (ja) 2006-01-30 2007-08-09 Sharp Corp 画像処理アルゴリズムの評価方法、生成方法、装置、プログラムおよび記録媒体
JP4747955B2 (ja) * 2006-06-07 2011-08-17 オムロン株式会社 検査制御装置、検査制御方法、検査システム、制御プログラム、および、記録媒体
JP2010112766A (ja) * 2008-11-04 2010-05-20 Nuflare Technology Inc マスク検査システム及びマスク検査方法
EP2806374B1 (en) 2013-05-24 2022-07-06 Tata Consultancy Services Limited Method and system for automatic selection of one or more image processing algorithm
JP2016115331A (ja) * 2014-12-12 2016-06-23 キヤノン株式会社 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044835A (ja) * 2001-07-27 2003-02-14 Akita Shindengen:Kk 外観検査装置と該装置のマスタデータ作成方法及び該マスタデータ作成プログラム
JP3756507B1 (ja) * 2004-09-17 2006-03-15 シャープ株式会社 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
US20070258640A1 (en) * 2006-04-27 2007-11-08 Yuichi Abe Inspection apparatus
CN101644683A (zh) * 2008-08-05 2010-02-10 株式会社东芝 污损判定装置、纸张类处理装置以及污损判定方法
JP2011122985A (ja) * 2009-12-11 2011-06-23 Ricoh Co Ltd 印刷物検査装置、印刷物検査方法、プログラムおよび記憶媒体
CN103106077A (zh) * 2011-11-15 2013-05-15 株式会社三丰 机器视觉检测系统
CN103176793A (zh) * 2011-11-15 2013-06-26 株式会社三丰 包含同步用户界面特征的机器视觉系统程序编辑环境
CN103196914A (zh) * 2012-01-06 2013-07-10 株式会社其恩斯 外观检查装置和外观检查方法
WO2016092783A1 (en) * 2014-12-12 2016-06-16 Canon Kabushiki Kaisha Information processing apparatus, method for processing information, discriminator generating apparatus, method for generating discriminator, and program
US20160328837A1 (en) * 2015-05-08 2016-11-10 Kla-Tencor Corporation Method and System for Defect Classification

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906471A (zh) * 2019-09-10 2022-01-07 乐人株式会社 用于对多个图像执行机器学习和测试的方法及装置

Also Published As

Publication number Publication date
CN109387511B (zh) 2021-07-13
US10769777B2 (en) 2020-09-08
JP6923794B2 (ja) 2021-08-25
JP2019032605A (ja) 2019-02-28
US20190043181A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
CN109387511A (zh) 检查装置和检查方法
JP6992475B2 (ja) 情報処理装置、識別システム、設定方法及びプログラム
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP6632193B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109741292A (zh) 用对抗自编码器检测第一图像数据集当中异常图像的方法
JP6844564B2 (ja) 検査システム、識別システム、及び学習データ生成装置
Costa Filho et al. Automatic identification of tuberculosis mycobacterium
CN117597579A (zh) 检查方法、分类方法、管理方法、钢材的制造方法、学习模型的生成方法、学习模型、检查装置以及钢材的制造设备
US20230021099A1 (en) Method and assistance system for checking samples for defects
WO2021090601A1 (ja) 分類装置および画像分類システム
JPWO2020174689A1 (ja) 判断差異表示装置、判断差異表示方法、及び、判断際表示プログラム
JP2020101900A (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム
KR102686135B1 (ko) 인공지능을 활용한 결함 검사 방법 및 인공지능을 활용한 결함 검사 장치
JP7609061B2 (ja) データ分類装置、データ分類方法およびデータ分類プログラム
TWI823261B (zh) 支援裝置以及支援方法
JP7028317B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7498890B2 (ja) 画像検査装置
KR20250092504A (ko) 설명가능한 인공지능(eXplainable Artificial Intelligence, XAI)을 이용한 슬라브 결함 예측 시스템 및 방법
JP7581811B2 (ja) 画像処理システム、及び画像処理プログラム
Ponse et al. Using machine learning to detect rotational symmetries from reflectional symmetries in 2D images
Vicentin et al. Selecting Clusters and Protoclusters via Stellar Mass Density. I. Method and Tests on Mock HSC-SSP Catalogs
Jestin et al. Genetic algorithm for retinal image analysis
Stolpmann et al. Genetic algorithms for automized feature selection in a texture classification system
US12554800B2 (en) Data classification device, data classification method, and data classification program
Wójcik et al. An evaluation of the capabilities of image-based metal component defect recognition with deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210713