[go: up one dir, main page]

JP7491274B2 - 検査装置および検査方法 - Google Patents

検査装置および検査方法 Download PDF

Info

Publication number
JP7491274B2
JP7491274B2 JP2021123933A JP2021123933A JP7491274B2 JP 7491274 B2 JP7491274 B2 JP 7491274B2 JP 2021123933 A JP2021123933 A JP 2021123933A JP 2021123933 A JP2021123933 A JP 2021123933A JP 7491274 B2 JP7491274 B2 JP 7491274B2
Authority
JP
Japan
Prior art keywords
inspection
defect probability
defect
model
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021123933A
Other languages
English (en)
Other versions
JP2023019306A (ja
Inventor
智裕 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021123933A priority Critical patent/JP7491274B2/ja
Priority to US17/829,524 priority patent/US12313564B2/en
Priority to CN202210880554.XA priority patent/CN115685888B/zh
Publication of JP2023019306A publication Critical patent/JP2023019306A/ja
Application granted granted Critical
Publication of JP7491274B2 publication Critical patent/JP7491274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Factory Administration (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本開示は、検査装置および検査方法に関する。
ワークの加工を行う加工機械および加工後のワークを検査する検査装置を含む加工セルと、加工セルとネットワークを介して接続される機械学習装置と、を備える加工機械システムが知られている(例えば、特許文献1)。この加工機械システムでは、検査装置によるワークの不良率の判定結果は、検査結果データとして機械学習装置に送信される。機械学習装置は、検査結果データを用いて学習を行い、ワークの不良率が最小となるように加工条件を変更する。
特開2019-025561号公報
検査装置による検査精度の向上が求められている。
本開示は、以下の形態として実現することが可能である。
(1)本開示の一形態によれば、検査装置が提供される。この検査装置は、第一製造工程で処理された検査対象に関するデータに対して第一学習モデルを用いて算出された第一不良確率を取得する第一取得部と、前記第一製造工程よりも後の第二製造工程で処理された前記検査対象に関するデータに対して第二学習モデルを用いて算出された第二不良確率を取得する第二取得部と、取得した前記第二不良確率が、第二閾値以上である場合に前記検査対象に不良ありと判定する判定部であって、取得した前記第一不良確率が予め定められた第一閾値よりも大きい場合に、前記第二学習モデルと、前記第二閾値とのうち少なくともいずれかを、前記第一不良確率が前記第一閾値以下である場合よりも検査精度を高くする条件に変更する判定部と、を備える。
この形態の検査装置によれば、第一不良確率が第一閾値よりも大きい場合に、検査精度を高くする条件に変更する。したがって、第二製造工程による処理後の製品の検査精度を向上させることができる。
(2)上記形態の検査装置において、取得した前記第一不良確率が前記第一閾値よりも大きい場合に、前記判定部は、前記第二学習モデルを変更せず、前記第二閾値を、前記第一不良確率が前記第一閾値以下である場合に用いられる第一の値よりも小さい第二の値に変更してもよい。取得した前記第一不良確率が前記第一閾値以下である場合に、前記判定部は、前記第二学習モデルおよび前記第二閾値を変更しなくもよい。
この形態の検査装置によれば、判定部における不良の判定条件を厳しくすることにより、第二検査装置の検査精度を向上することができる。
(3)上記形態の検査装置において、取得した前記第一不良確率が前記第一閾値よりも大きい場合に、前記判定部は、前記第二閾値を変更せず、前記第二学習モデルを、前記第一不良確率が前記第一閾値以下である場合に用いられる第一のモデルとは異なる第二のモデルに変更してもよい。取得した前記第一不良確率が前記第一閾値以下である場合に、前記判定部は、前記第二学習モデルおよび前記第二閾値を変更しなくてもよい。
この形態の検査装置によれば、検査条件としての学習モデルを、高い検査精度を有する学習モデルに変更することにより、第二不良確率の算出精度を向上し、第二検査装置による検査精度を向上することができる。
(4)上記形態の検査装置であって、取得した前記第一不良確率が前記第一閾値よりも大きい場合に、前記判定部は、前記第二不良確率を用いて前記検査対象の不良の有無を判定した後に、さらに、前記第二学習モデルを、前記第一不良確率が前記第一閾値以下である場合に用いられる第一のモデルとは異なる第二のモデルに変更し、前記第二取得部は、さらに、前記第二のモデルに変更された前記第二学習モデルを用いて算出された前記第二不良確率を取得し、前記判定部は、さらに、前記第二のモデルに変更された前記第二学習モデルを用いて算出された前記第二不良確率を用いて前記検査対象の不良の有無を判定してもよい。取得した前記第一不良確率が前記第一閾値以下である場合に、前記判定部は、前記第二学習モデルおよび前記第二閾値を変更しなくてもよい。
この形態の検査装置によれば、検査が2回行われるとともに、検査条件としての学習モデルを、高い検査精度を有する学習モデルに変更することにより、第二不良確率の算出精度を向上し、第二検査装置による検査精度を向上することができる。
(5)上記形態の検査装置であって、前記第一のモデルは、CNNであり、前記第二のモデルは、R-CNNであってよい。
この形態の検査装置によれば、既知の学習モデルを用いた簡易な方法により、第二検査装置による検査精度を向上することができる。
本開示は、検査装置以外の種々の形態で実現することも可能である。例えば、検査方法、検査装置の製造方法、検査装置の制御方法、その制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
本実施形態の検査装置を含む検査システムを示す説明図。 第一検査装置の内部機能構成を示すブロック図。 第二検査装置の内部機能構成を示すブロック図。 製造ラインの各工程を示す工程図。 第一検査装置による第一検査工程の詳細を示す工程図。 第二検査装置による第二検査工程の詳細を示す工程図。 第2実施形態としての第二検査装置の内部機能構成を示すブロック図。 第2実施形態の第二検査装置による第二検査工程の詳細を示す工程図。
A.第1実施形態:
図1は、本実施形態の検査装置を含む検査システム100を示す説明図である。検査システム100は、製造ラインLPに含まれる工程で処理された検査対象に対して、不良の有無を検査する。検査対象とは、製造ラインLPを流動する製品を意味する。本開示において、「処理」とは、製品に特定の作業を施すことを意味し、製品の性状に影響を与え得る行為が含まれる。例えば、製品の搬送などの製品の加工以外の行為であっても、製品の性状に影響を与え得る場合には、「処理」に含まれ得る。
本実施形態では、検査システム100は、機械学習を利用する2つの検査装置を含んでいる。具体的には、検査システム100は、第一検査装置60と、本実施形態の検査装置としての第二検査装置70と、を含んでいる。第一検査装置60は、第一製造工程による処理後の製品の検査を行い、第二検査装置70は、第二製造工程による処理後の製品の検査を行う。本実施形態では、第二検査装置70は、第一検査装置60による検査結果を取得し、取得した検査結果に基づいて不良の判定条件を変更する。
製造ラインLPは、例えば、第一製造装置31および第二製造装置32と、第一搬送装置41および第二搬送装置42と、第一修正工程51および第二修正工程52とを含んでいる。図1の例では、製品は、製造ラインLPにおいて、第一製造装置31、第一搬送装置41、第二製造装置32、第二搬送装置42の順に処理される。
第一製造装置31は、製品に対して、第一製造工程としての処理を行う装置である。第一製造装置31は、例えば、シリンダヘッドやエンジンブロックなどの車両用部品を成形するダイカストマシンである。第二製造装置32は、製品に対して、第一製造工程よりも後工程となる第二製造工程としての処理を行う装置である。第二製造装置32は、例えば、鋳造後の製品の後加工や後処理を行う装置である。第二製造装置32の具体例としては、機械加工を行う装置であり、NC旋盤(numerically-controlled lathe)、マシニングセンタ等である。第二製造装置32は、第一製造装置31によって製造された成形品の切削加工、穴あけ加工、ネジ・タップ加工などを行う。第二製造装置32は、切削や穴開けなどを含む機械加工には限らず、成形後の後加工や後処理を行う種々の装置であってよい。第二製造装置32は、例えば、鋳バリの除去やバレル研磨などを含む鋳仕上げ、ショットブラストやバフ研磨などを含む仕上げ、ねじ締結や溶接などを含む接合処理、塗装やめっきを含む表面処理、熱処理、含浸処理などの処理を行う種々の装置であってよい。第一製造工程と、第二製造工程とは、それぞれ装置による処理には限定されず、人間による手作業による処理が含まれてよい。
本実施形態では、第二製造工程は、第一製造工程と連関がある工程である。「第一製造工程と連関がある」とは、第一製造工程による処理後の製品の性状の変化が、第二製造工程による処理後の製品の性状に影響を与え得る関係を意味し、第一製造工程と、第二製造工程とが互いに独立する関係を除く。第二製造工程が第一製造工程と連関がある場合の具体例としては、第二製造工程の処理の内容が第一製造工程の処理の内容と同様である場合、第二製造工程で処理が行われる製品の位置が、第一製造工程で処理が行われた位置と同様な位置である場合、第二製造工程の処理が第一製造工程の処理に対して重畳して行われる場合などが挙げられる。これらの場合には、例えば、第一製造工程による処理後の製品の性状が変化した場合に、第一製造工程による処理後では検査装置により良品と判定されても、第一製造工程による製品の性状の変化の影響を受けて、第二製造工程による処理後の製品が潜在的な不具合を有している可能性がある。そのため、第一製造工程による処理後の製品の性状に不具合が発生していると予想される場合には、第二製造工程による処理後の検査では、検査条件や不良の判定条件をなんら変更しなければ、この潜在的な不具合を検知できないおそれがある。例えば、機械学習を利用した検査装置を用いて、第二製造工程による処理後の製品を検査する場合には、検査装置にこの潜在的な不具合を充分に学習させる必要がある。しかしながら、潜在的な不具合を有する製品を選別することは難しく、検査装置に充分な機械学習をさせることは難しい。本開示において、検査精度の向上には、検査対象に関するデータを用いて算出された不良確率の算出精度の向上と、潜在的な不具合の検出精度の向上とが含まれる。
第一搬送装置41および第二搬送装置42は、第一製造装置31および第二製造装置32による処理の対象となる製品、部品、ワークなどを搬送する。第一搬送装置41および第二搬送装置42としては、例えば、ベルトコンベア、軌道上を移動する搬送機などが含まれ得る。第一搬送装置41は、第一製造装置31による処理後の製品を搬送する。本実施形態では、第一搬送装置41による搬送経路の初期設定は、第一製造工程から第二製造工程への経路である。第一搬送装置41は、第一製造工程による処理後の製品に不良があるか否かを示す第一検査装置60の検査結果に基づいて、製品の搬送経路を、第一製造工程から第一修正工程51への経路に切り換える。第二搬送装置42は、第二製造装置32による処理後の製品を搬送する。本実施形態では、第二搬送装置42による搬送経路の初期設定は、第二製造工程から後工程への経路である。これに対して、第二搬送装置42は、第二製造工程による処理後の製品に不良があるか否かを示す第二検査装置70の検査結果に基づいて、製品の搬送経路を、第二製造工程から第二修正工程52への経路に切り換える。
第一修正工程51は、第一製造装置31による処理後の製品に不良があると判定された場合に行われる。第一修正工程51は、第一製造工程による処理後の製品から不良を除去し、正常な製品として第二製造装置32へと払い出す。第二修正工程52は、第二製造装置32による処理後の製品に不良があると判定された場合に行われる。第二修正工程52は、第二製造工程による処理後の製品から不良を除去し、正常な製品として後工程へと払い出す。第一修正工程51および第二修正工程52による不良の除去は、専用の装置が行ってもよく、作業者による手作業によって行われてもよい。
図2は、第一検査装置60の内部機能構成を示すブロック図である。第一検査装置60は、検査対象の画像データを用いて、検査対象の不良の有無を判定する。第一検査装置60は、中央演算処理装置(CPU)62、記憶装置64、第一検査データ取得部66、ならびに第一通信部68を備えている。CPU62、記憶装置64、第一検査データ取得部66、ならびに第一通信部68は、バス61を介して互いに接続されており、双方向に通信可能である。CPU62は、記憶装置64に格納されている各種プログラムを実行することによって第一検査部624、第一判定部626として機能する。
記憶装置64は、たとえば、RAM、ROM、ハードディスクドライブ(HDD)である。HDD(またはROM)には本実施形態において提供される機能を実現するための各種プログラムが格納されており、HDDから読み出された各種プログラムはRAM上に展開されて、CPU62によって実行される。記憶装置64は、検査対象に不良があるか否かを判定するために用いられる第一基準値642と、第一学習モデル644とを格納している。なお、記憶装置64には、第一検査部624によって算出された第一不良確率が一時的に格納される。
第一検査データ取得部66は、検査に用いるための検査対象に関するデータを取得する。本実施形態では、第一検査データ取得部66は、第一製造装置31による処理後の製品を撮像するためのカメラである。第一検査データ取得部66は、第一製造装置31による処理後の検査対象を搬送するための搬送経路に設置されており、搬送中の検査対象を撮像して検査対象の画像を取得する。本実施形態では、第一検査データ取得部66が取得する画像は、R(赤)、G(緑)、B(青)で表される各画像信号成分によって構成されるRGB入力画像信号で構成されている。入力画像信号は、例えば、Y(輝度信号)、U(第1色差信号)、V(第2色差信号)からなるYUV画像信号であってもよく、YCbCr画像信号、或いはYPbPr画像信号であってもよい。画像は、カラー画像のほか、1ビットや8ビットなど任意の色深度の輝度値を有するグレースケール画像であってもよい。
第一検査部624は、機械学習を利用して検査対象の不良確率を算出する。不良確率とは、検査対象が不良を有する確率を意味する。機械学習は、教師有り学習、教師なし学習、強化学習などのいずれのカテゴリの機械学習が用いられてもよい。本実施形態では、第一検査部624は、統計的機械学習を利用しており、第一学習モデル644を用いて検査対象を検査する。第一学習モデル644は、ニューラルネットワークにおける識別モデルである。第一学習モデル644は、畳み込みニューラルネットワーク(CNN:Convolutional neural network)である。第一学習モデル644は、CNNには限定されず、敵対的生成ネットワーク(GAN:Generative Adversarial Network)、変分自己符号化器(VAE:Variational Autoencoder)、自己回帰型生成ネットなどの種々のニューラルネットワークにおける識別モデルならびに生成モデルが用いられてもよい。第一学習モデル644は、第一製造装置31による処理後における正常な製品の画像および不良を有する製品の画像を用いて予め学習が完了されている。本実施形態では、第一検査部624は、第一検査データ取得部66によって取得された検査対象のデータを第一学習モデル644に入力し、例えば、シグモイド関数(sigmoid function)やソフトマックス関数(Softmax function)を用いることにより、第一不良確率を算出する。第一不良確率とは、第一製造工程による処理後の検査対象が不良を有する確率を意味する。算出された第一不良確率は、後述するように、第一通信部68により第二検査装置70に送信される。
第一判定部626は、第一検査部624によって算出された第一不良確率を用いて、検査対象に不良があるか否かを判定する。本実施形態では、第一判定部626は、第一不良確率と、任意の値で予め定められた第一基準値642との比較によって、検査対象に不良があるか否かを判定する。第一基準値642は、検査対象の不良有無を判定するために用いられる判定条件であり、任意の値により予め設定されている。本実施形態では、第一基準値642は、2.0%で設定されている。
第一通信部68は、無線通信を介して、第一検査部624によって算出された検査対象の第一不良確率を第二検査装置70に送信する。第一通信部68は、さらに、製造ラインLPの第一搬送装置41に対して搬送経路を切り換えるための実行命令を送信する。無線通信としては、例えば、IEEE802.11aの規格に準拠した2.4GHz帯域もしくは5GHz帯域を用いた無線ローカルネットワーク(LAN)を通じた無線通信や、1GHz未満の周波数帯域(916.5MHzから927.5MHz)であるサブギガ帯域を用いた無線通信や、Bluetooth(登録商標)を用いた無線通信を用いることができる。第一通信部68は、第一搬送装置41、第二検査装置70に対して、イーサネット(登録商標)などの有線LANにより有線接続されてもよい。
図3は、第二検査装置70の内部機能構成を示すブロック図である。第二検査装置70は、検査対象の画像データを用いて、検査対象の不良の有無を判定する。第二検査装置70は、中央演算処理装置(CPU)72、記憶装置74、第二検査データ取得部76、第一取得部77、ならびに第二通信部78を備えている。CPU72、記憶装置74、第二検査データ取得部76、第一取得部77、ならびに第二通信部78は、バス71を介して互いに接続されており、双方向に通信可能である。第一取得部77は、第一検査装置60から第一通信部68を介して送信される第一不良確率を取得する。
CPU72は、記憶装置74に格納されている各種プログラムを実行することによって、第二検査部724、第二判定部726として機能する。記憶装置74は、たとえば、RAM、ROM、ハードディスクドライブ(HDD)である。HDD(またはROM)には本実施形態において提供される機能を実現するための各種プログラムが格納されており、HDDから読み出された各種プログラムはRAM上に展開されて、CPU72によって実行される。記憶装置74は、第二検査部724の検査条件もしくは第二判定部726の判定条件を変更するか否かを判定するために用いられる第一閾値741と、検査対象に不良があるか否かを判定するために用いられる第二閾値742と、第二学習モデル744とを格納している。なお、記憶装置74には、第二検査部724によって算出された第二不良確率と、第一取得部77によって取得された第一不良確率とが一時的に格納される。
第二検査データ取得部76は、検査に用いるための検査対象に関するデータを取得する。本実施形態では、第二検査データ取得部76は、第二製造装置32による処理後の製品を撮像するためのカメラである。第二検査データ取得部76は、第二製造装置32による処理後の検査対象を搬送するための搬送経路に設置されており、搬送中の検査対象を撮像して検査対象の画像を取得する。第二検査データ取得部76のその他の構成は、第一検査データ取得部66と同様であるので説明を省略する。
第二検査部724は、第二不良確率を算出するとともに、第二不良確率を取得する第二取得部として機能する。第二不良確率とは、第二製造工程による処理後の検査対象が不良を有する確率を意味する。第二不良確率は、第二製造工程で処理された検査対象に関するデータに対して第二学習モデル744を用いることによって算出される。本実施形態では、第二検査部724は、機械学習を利用して第二不良確率を、算出し、取得する。機械学習は、教師有り学習、教師なし学習、強化学習などのいずれのカテゴリの機械学習が用いられてもよい。本実施形態では、第二検査部724は、統計的機械学習を利用している。第二学習モデル744は、ニューラルネットワークにおける識別モデルである。本実施形態では、第二学習モデル744は、CNNである。具体的には、第二学習モデル744は、VGG16を用いたCNNを採用している。VGG16とは、13層の畳み込み層と、3層の全結合層とを有するニューラルネットワークである。第二学習モデル744は、CNNには限定されず、敵対的生成ネットワーク(GAN)、変分自己符号化器(VAE)、自己回帰型生成ネットなどの種々のニューラルネットワークにおける識別モデルならびに生成モデルが用いられてもよい。第二学習モデル744は、第二製造装置32による処理後における正常な製品の画像および不良を有する製品の画像を用いて予め学習が完了されている。本実施形態では、第二検査部724は、第二検査データ取得部76によって取得された検査対象のデータを第二学習モデル744に入力し、例えば、シグモイド関数(sigmoid function)やソフトマックス関数(Softmax function)を用いることにより、第二不良確率を算出する。
第二判定部726は、第二不良確率を用いて検査対象が不良を有するか否かを判定する。また、第二判定部726は、第一取得部77によって取得された第一不良確率の結果に基づいて、検査対象が不良を有するか否かを判定するための判定条件を切り換える。本実施形態では、第二判定部726は、第一不良確率と、第一閾値741とを比較して、第二閾値742としての第一の値742Aと、第二の値742Bとのいずれを判定条件として用いるかを決定する。具体的には、取得した第一不良確率が第一閾値741よりも大きい場合には、第二閾値742を第一の値742Aから第二の値742Bに変更する。
第一閾値741は、第二判定部726が判定条件を変更するか否かを判定するための閾値である。第一閾値741は、第一基準値642よりも小さい任意の値により予め設定されている。本実施形態では、第一閾値741は、第一基準値642の半分の値、すなわち1.0%で設定されている。第一不良確率が、第一閾値741よりも大きく、第一基準値642よりも小さい場合では、第一製造工程による処理後の製品が第一検査装置60によって不良とは判定されない。しかし、このような場合には、第一製造工程による製品の性状の変化の影響を受けて、第二製造工程による処理後の製品が潜在的な不具合を有している可能性がある。本実施形態の第二検査装置70は、第一不良確率が第一閾値741よりも大きいか否かによって、第一製造工程による製品の性状の変化の影響を受けて、第二製造工程による処理後の製品が潜在的な不具合を有する可能性があるか否かを判定する。第一閾値741は、第一基準値642の半分には限らず、第二製造工程による製品への影響を考慮して設定することができ、例えば、第一基準値642の4分の1、3分の1などであってもよい。
第二閾値742は、検査対象の不良有無を判定するために用いられる判定条件であり、任意の値により予め設定されている。本実施形態では、第二閾値742には、通常時に用いられる第一の値742Aと、第二判定部726によって判定条件が変更される場合に用いられる第二の値742Bとが予め設定されている。第一の値742Aは、2.0%で設定されている。第二の値742Bは、第一の値742Aに比べ、検査精度を向上させる観点から、第一の値742Aよりも小さい値で設定されている。本実施形態では、第二の値742Bは、0.5%で設定されている。
第二判定部726は、第二検査部724によって算出された第二不良確率と、第二閾値742とを用いて、検査対象に不良があるか否かを判定する。本実施形態では、第二判定部726は、第一不良確率に基づいて決定されたた判定条件に従い、第二不良確率と第一の値742Aとしての第二閾値742との比較、もしくは第二不良確率と第二の値742Bとしての第二閾値742との比較によって、検査対象に不良があるか否かを判定する。
第二通信部78は、無線通信を介して、製造ラインLPの第二搬送装置42に対して搬送経路を切り換えるための実行命令を送信する。第二通信部78のその他の構成は、第一通信部68と同様であるため、説明を省略する。
図4は、製造ラインLPの各工程を示す工程図である。ステップS50では、第一製造工程により製品に対する処理が行われる。本実施形態では、第一製造装置31としてのダイカストマシンによって、車両用部品としての製品が形成される。
ステップS100では、第一検査工程により製品の検査が行われる。第一検査工程では、第一製造装置31による処理後の製品に対して、第一検査装置60による第一不良確率の算出、ならびに不良の有無の判定が行われる。算出された第一不良確率は、製品の製造番号などと対応付けられた状態で、第二検査装置70に出力される。
ステップS180では、第一検査工程による製品の検査結果に応じて、製品の払い出し先の工程を切り換えるか否かが判断される。本実施形態では、第一検査工程で第一検査装置60が製品に不良ありと判定する場合に(S180:YES)、第一検査装置60は、第一搬送装置41の搬送経路を切り換えるための指令信号を、第一搬送装置41に発信する。この結果、不良ありと判定された製品は、ステップS182の第一修正工程に払い出される。第一検査工程で第一検査装置60が製品に不良なしと判定する場合(S180:NO)、第一検査装置60は、指令信号を第一搬送装置41に出力しない。この結果、製品は、ステップS190の第二製造工程へと払い出される。
ステップS182では、第一修正工程として、製品から不良を除去する処理が行われる。本実施形態では、製品から不良を除去する例としては、鋳造後の製品の鋳バリ(Flash)の除去や、鋳巣(Porosity)の穴埋めなどが挙げられる。この結果、第一製造装置31による処理後の製品は、不良が除去されて、正常な製品として第二製造装置32へと払い出される。例えば、製品に不良があると判定された場合に製品が破棄される場合などには、ステップS182は、省略されてもよい。
ステップS190では、第二製造工程により製品に対する処理が行われる。本実施形態では、第二製造装置32としての機械加工装置によって、鋳造後の製品の切削や穴開けなどの後加工が行われる。
ステップS200では、第二検査工程により製品の検査が行われる。第二検査工程では、第二製造装置32による処理後の製品に対して、第二検査装置70による第二不良確率の算出、ならびに不良の有無の判定が行われる。
ステップS280では、第二検査工程による製品の検査結果に応じて、製品の払い出し先の工程を切り換えるか否かが判断される。本実施形態では、第二検査工程で第二検査装置70が製品に不良ありと判定する場合に(S280:YES)、第二検査装置70は、第二搬送装置42の搬送経路を切り換えるための指令信号を、第二搬送装置42に発信する。この結果、不良ありと判定された製品は、ステップS282の第二修正工程に払い出される。第二検査工程で第二検査装置70が製品に不良なしと判定する場合(S280:NO)、第二検査装置70は、指令信号を第二搬送装置42に出力することなく、本工程は終了する。
ステップS282では、第二修正工程として、製品から不良を除去する処理が行われる。本実施形態では、製品から不良を除去する例としては、機械加工の追加加工などが挙げられる。この結果、第二製造装置32による処理後の製品は、不良が除去されて、正常な製品として後工程へと払い出される。例えば、製品に不良があると判定された場合に製品が破棄される場合などには、ステップS282は、省略されてもよい。
図5は、第一検査装置60による第一検査工程の詳細を示す工程図である。ステップS110では、第一検査データ取得部66は、検査に用いるためのデータを取得する。本実施形態では、第一検査データ取得部66としてのカメラが製品を撮像することにより、第一製造装置31による処理後の製品の画像データを取得する。
ステップS120では、第一検査部624は、取得した画像データを第一学習モデル644に入力することにより、第一不良確率を算出する。ステップS130では、第一判定部626は、第一検査部624によって算出された第一不良確率と、記憶装置64に格納されている第一基準値642とを用いて、検査対象に不良があるか否かを判定する。本実施形態では、第一基準値642は、2.0%で設定されている。第一不良確率が2.0%未満である場合には(S130:YES)、ステップS132に移行し、第一判定部626は、検査対象に不良なしと判定する。第一不良確率が2.0%以上である場合には(S130:NO)、ステップS134に移行し、第一判定部626は、検査対象に不良ありと判定する。ステップS136では、第一判定部626は、第一通信部68を介して、搬送経路を第一修正工程へと払い出す経路に切り換えるための指令信号を、第一搬送装置41に送信する。第一判定部626は、ステップS132またはステップS136の処理を終えると、ステップS140に移行する。ステップS140では、第一判定部626は、第一通信部68を介して、ステップS120で算出した第一不良確率を第二検査装置70に送信する。第一不良確率の送信を終えると、第一検査工程は、終了する。
図6は、第二検査装置70による第二検査工程の詳細を示す工程図である。ステップS210では、第一取得部77は、第一検査部624から無線通信を介して送信される第一不良確率を取得する。第一取得部77が取得する第一不良確率は、本フローにおいて第二検査装置70が検査する製品の製造番号などに対応付けられた第一不良確率である。ステップS220では、第二判定部726は、取得した第一不良確率と、記憶装置74に格納された第一閾値741とを比較する。第一閾値741は、1.0%で設定されている。取得した第一不良確率が第一閾値741以下である場合(S220:NO)、ステップS230に移行し、検査対象に不良があるか否かを判定するための判定条件を変更することなく、ステップS232に移行する。
ステップS232では、第二検査データ取得部76は、検査に用いるためのデータを取得する。本実施形態では、第二検査データ取得部76としてのカメラが製品を撮像することにより、第二製造装置32による処理後の製品の画像データを取得する。ステップS234では、第二検査部724は、取得した画像データを第二学習モデル744に入力することにより、第二不良確率を算出する。
ステップS240では、第二判定部726は、第二検査部724によって算出された第二不良確率と、記憶装置74に格納されている第二閾値742としての第一の値742Aとを用いて、検査対象に不良があるか否かを判定する。本実施形態では、第一の値742Aは、2.0%で設定されている。第二判定部726は、第二不良確率が2.0%未満である場合には(S240:YES)、ステップS242に移行し、検査対象に不良なしと判定する。
第二不良確率が、2.0%以上である場合には(S240:NO)、ステップS244に移行し、第二判定部726は、検査対象に不良ありと判定する。ステップS246では、第二判定部726は、第二通信部78を介して、搬送経路を第二修正工程へと払い出す経路に切り換えるための指令信号を、第二搬送装置42に送信する。ステップS242またはステップS246の処理を終えると、第二検査工程は、終了する。
ステップS220において、取得した第一不良確率が第一閾値741よりも大きい場合(S220:YES)、処理をステップS250に移行する。ステップS250では、第二判定部726は、検査対象の不良有無を判定するための判定条件を変更する。具体的には、第二閾値742を、第一の値742Aから第二の値742Bに変更する。なお、本実施形態では、第一の値742Aから第二の値742Bに変更する場合とは、ステップS130との関係から、第一不良確率が第一閾値741よりも大きく、第一基準値642よりも小さい場合に相当する。
ステップS252では、第二検査データ取得部76は、検査に用いるためのデータを取得する。本実施形態では、第二検査データ取得部76としてのカメラが製品を撮像することにより、第二製造装置32による処理後の検査対象の画像を取得する。ステップS254では、第二検査部724は、取得した画像データを第二学習モデル744に入力することにより第二不良確率を算出する。
ステップS260では、第二判定部726は、第二検査部724によって算出された第二不良確率と、記憶装置74に格納されている第二閾値742としての第二の値742Bとを用いて、検査対象に不良があるか否かを判定する。本実施形態では、第二の値742Bは、0.5%で設定されている。第二判定部726は、第二不良確率が0.5%未満である場合には(S260:YES)、ステップS262に移行し、検査対象に不良なしと判定する。
第二不良確率が、0.5%以上である場合には(S260:NO)、ステップS264に移行し、第二判定部726は、検査対象に不良ありと判定する。ステップS266では、第二判定部726は、第二通信部78を介して、搬送経路を第二修正工程へと払い出す経路に切り換えるための指令信号を、第二搬送装置42に送信する。第二判定部726は、ステップS262またはステップS266の処理を終えると、第二検査工程は、終了する。
以上、説明したように、本実施形態の第二検査装置70は、第一製造工程で処理された検査対象の第一不良確率を取得する第一取得部77と、第二製造工程で処理された検査対象に対して第二学習モデル744を用いて第二不良確率を算出する第二検査部724と、第二不良確率が第二閾値742以上である場合に検査対象に不良ありと判定する第二判定部726とを備える。第二判定部726は、取得した第一不良確率が予め定められた第一閾値741よりも大きい場合に、第二閾値742を、第一の値742Aから第二の値742Bに変更して検査精度を高くする。第二製造工程による処理後の製品が第一製造工程の影響を受けて潜在的な不具合を有している可能性がある場合に、第二検査装置70での判定条件を、検査精度を高くする条件に変更する。したがって、第二検査装置70による検査精度を向上し、第二製造工程による処理後の製品の潜在的な不具合を検出できる可能性を高めることができる。また、第二製造工程による処理後の製品が第一製造工程により潜在的な不具合を有している可能性がある場合にのみ条件を変更することにより、生産性への影響を低減しつつ、効率良く検出精度を向上させることができる。
本実施形態の第二検査装置70によれば、第二判定部726は、取得した第一不良確率が第一閾値741よりも大きい場合に、第二閾値742を第一の値742Aよりも小さい第二の値742Bに変更する。第二製造工程による処理後の製品が第一製造工程により潜在的な不具合を有している可能性がある場合に、第二判定部726における不良の判定条件を厳しくすることにより、第二検査装置70によって、第二製造工程による処理後の製品の潜在的な不具合が第二検査装置70で看過される不具合を低減または回避することができ、検査精度を向上することができる。
B.第2実施形態:
図7は、第2実施形態としての第二検査装置70bの内部機能構成を示すブロック図である。第2実施形態の第二検査装置70bは、第一不良確率が第一閾値741よりも大きい場合に、第二検査装置70での検査条件を変更する。第二検査装置70bは、第二学習モデル744として、第一のモデル744Aと、第二のモデル744Bとが格納されている点と、第二判定部726に代えて第二判定部726bを備える点において、第1実施形態の第二検査装置70の構成とは相違し、それ以外の構成は、第1実施形態の第二検査装置70と同様である。
第二判定部726bは、判定条件を変更する第1実施形態での第二判定部726とは異なり、検査条件を変更する。具体的には、第二判定部726bは、第一不良確率が第一閾値741よりも大きい場合に、第二検査部724による検査において、第二学習モデル744の第一のモデル744Aのみを用いる検査条件から、第二学習モデル744の第一のモデル744Aと、第二のモデル744Bとの2つの学習モデルを用いる検査条件に変更する。本実施形態では、第二学習モデル744の第一のモデル744Aは、CNNであり、例えば、VGG16を用いたCNNを採用することができる。第二のモデル744Bは、第一のモデル744Aに比べて、第二不良確率の算出を完了するまでの処理時間よりも検査対象に対する検査精度を優先する学習モデルである。第二のモデル744Bによれば、第一のモデル744Aよりも物体検出の精度が向上し、不良確率の算出精度を向上させることができ、検査精度を高くすることができる。本実施形態では、第二のモデル744Bは、R-CNN(Region-based CNN)であり、例えば、R-CNN YOLOv3を採用することができる。R-CNNとしては、R-CNN、R-CNN YOLOv3には限らず、例えば、Fast R-CNN、Faster R-CNN、YOLO、などを採用してもよい。例えば、Faster R-CNNは、検査精度が高いため、第二のモデル744Bに適用されることが好ましい。例えば、YOLO(You only Look Once)は、処理速度が早いことから、第一のモデル744Aに適用されることが好ましい。また、第二学習モデル744の第一のモデル744Aおよび第二のモデル744Bは、CNNモデルやR-CNNモデルには限られず、SSD(Single Shot Detector)が用いられてもよく、敵対的生成ネットワーク(GAN)、変分自己符号化器(VAE)、自己回帰型生成ネットなどの種々のニューラルネットワークにおける識別モデルならびに生成モデルが用いられてもよい。
図8は、第2実施形態の第二検査装置70bによる第二検査工程の詳細を示す工程図である。第2実施形態での第二検査工程では、ステップS250からステップS266に代えて、ステップS300からステップS356を備える点において相違する。ステップS220において、取得した第一不良確率が第一閾値741よりも大きい場合(S220:YES)、処理をステップS300に移行する。ステップS300では、第二判定部726bは、第二検査部724による検査条件を変更する。具体的には、第二判定部726bは、第二学習モデル744の第一のモデル744Aのみを用いる検査条件から、第二学習モデル744の第一のモデル744Aを用いた検査と、第二のモデル744Bを用いた検査との2つの学習モデルを用いてそれぞれ検査を実行る検査条件に変更する。
ステップS310では、第二検査データ取得部76は、検査に用いるためのデータを取得する。本実施形態では、第二検査データ取得部76としてのカメラが製品を撮像することにより、第二製造装置32による処理後の検査対象の画像を取得する。ステップS320では、第二検査部724は、取得した画像データを第二学習モデル744の第一のモデル744AとしてのCNN-VGG16に入力することにより第二不良確率を算出する。
ステップS340では、第二判定部726bは、第二検査部724によって算出された第二不良確率と、記憶装置74に格納されている第二閾値742とを用いて、検査対象に不良があるか否かを判定する。本実施形態では、第二閾値742は、2.0%で設定されている。第二不良確率が、2.0%以上である場合には(S340:NO)、ステップS344に移行し、第二判定部726bは、検査対象に不良ありと判定する。ステップS346では、第二判定部726bは、第二通信部78を介して、搬送経路を第二修正工程へと払い出す経路に切り換えるための指令信号を、第二搬送装置42に送信する。
第二判定部726は、第二不良確率が2.0%未満である場合には(S340:YES)、ステップS342に移行する。ステップS342では、第二検査部724は、変更された検査条件に基づき、さらに、第二のモデル744Bを用いて不良確率を算出する。具体的には、取得した画像データをさらに第二のモデル744BとしてのR-CNN YOLOv3に入力することにより、新たな第二不良確率を算出する。新たな第二不良確率とは、第一のモデル744Aを用いて算出されたあとに、第二のモデル744Bを用いて算出される第二不良確率を意味する。
ステップS350では、第二判定部726bは、第二検査部724によって算出された新たな第二不良確率と、第二閾値742とを用いて、検査対象に不良があるか否かを判定する。例えば、記憶装置74に、第1実施形態で示した第二閾値742としての第一の値742Aおよび第二の値742Bが格納されている場合には、第一の値742Aに代えて、第二の値742Bが用いられてもよい。新たな第二不良確率が、2.0%以上である場合には(S350:NO)、ステップS354に移行し、第二判定部726bは、検査対象に不良ありと判定する。ステップS356では、第二判定部726bは、第二通信部78を介して、搬送経路を第二修正工程へと払い出す経路に切り換えるための指令信号を、第二搬送装置42に送信する。第二判定部726bは、新たな第二不良確率が2.0%未満である場合には(S350:YES)、ステップS352に移行し、検査対象に不良なしと判定する。第二判定部726bは、ステップS352、ステップS356、ステップS346の処理を終えると、第二検査工程は終了する。
本実施形態の第二検査装置70bによれば、第二判定部726bは、第一不良確率が第一閾値741よりも大きい場合に、第二学習モデル744の第一のモデル744Aを用いて第二不良確率が算出された後に、さらに第一のモデル744Aを、検査精度の高い学習モデルである第二のモデル744Bに変更する。第二検査部724は、さらに、第二のモデル744Bを用いて検査対象の新たな不良確率を算出する。第二製造工程による処理後の製品が第一製造工程により潜在的な不具合を有している可能性がある場合に、第二判定部726bは、第二検査部724による検査条件を、第二学習モデル744として第一のモデル744Aを用いた検査と、第二のモデル744Bを用いた検査との2回の検査を行う条件に変更する。したがって、検査精度が高い第二のモデル744Bを用いる検査条件に変更されることにより、第二検査装置70bによる検査精度を向上することができる。また、検査が2回行われることにより、第二検査装置70bによる検査精度をより向上することができる。
本実施形態の第二検査装置70bによれば、第一のモデル744Aは、CNNであり、第二のモデル744Bは、R-CNNである。したがって、既知の学習モデルを用いた簡易な方法により、第二検査装置70bによる検査精度を向上することができる。
C.他の実施形態:
(C1)上記各実施形態では、第一製造装置31は、ダイカストマシンであり、第二製造装置32は、鋳造後の製品の後加工や後処理を行う装置である例を示した。これに対して、第一製造装置31および第二製造装置32は、これらの例には限定されず、例えば、加工機、溶接機、成形機、塗装機といった種々の設備であってよい。
(C2)第一製造工程および第二製造工程は、必ずしも互いに連続する工程には限定されず、第一製造工程と第二製造工程とが互いに連関することを前提に、第一製造工程と、第二製造工程と間に他の処理を行う工程が含まれてもよい。ただし、第一製造工程と、第二製造工程との間の工程数は、第一製造工程による処理が後工程としての第二製造工程による処理後の製品の性状に影響を与える程度に少ない数の工程数であることが好ましく、例えば、7つ以下であることが好ましく、3つ以下であることがより好ましい。
(C3)上記各実施形態において、第一検査装置60および第二検査装置70は、検査対象の画像データを用いて、検査対象の不良の有無を判定する。第一検査データ取得部66および第二検査データ取得部76は、検査に用いるためのデータとして、検査対象の画像を取得する。これに対して、検査に用いるためのデータは、製品の画像には限らず、温度、寸法、重量、色彩、形状などの製品が有する種々のパラメータであってもよい。検査に用いるためのデータは、製品のデータには限定されず、検査対象の不良確率に影響を与え得ることを前提に、製品以外のデータであってもよい。検査に用いるためのデータは、例えば、電圧値、電流値、圧力値、温度、変位量、これらの波形や変化量、処理時間など、製造ラインLPに含まれる装置の製造条件やパラメータであってよい。第一検査データ取得部66および第二検査データ取得部76は、カメラには限定されず、光センサ、音センサ、熱センサ、電流センサ、電圧センサ、距離センサ、気圧センサ、加速度センサ、回転速度センサ、湿度センサ、圧力センサ、ならびに磁力センサなどの種々のセンサであってよい。各センサはいずれも検査対象の不良確率を算出するためのデータを取得するセンサである。例えば、第一製造装置31および第二製造装置32が検査対象を撮像するカメラを備えるなど、第一検査データ取得部66および第二検査データ取得部76以外の装置が検査対象のデータを取得する場合には、第一検査データ取得部66および第二検査データ取得部76は、無線通信もしくは有線通信を介して、第一検査データ取得部66および第二検査データ取得部76以外の装置から検査用のデータを取得する通信機とされてもよい。
(C4)上記第2実施形態では、第二判定部726bは、第二検査部724による検査条件を、第二学習モデル744としての第一のモデル744Aを用いた検査と、第二のモデル744Bを用いた検査との2回の検査を行う条件に変更する。これに対して、第二判定部726bは、取得した第一不良確率が第一閾値741よりも大きい場合に、第二検査部724による検査条件を、第二学習モデル744としての第一のモデル744Aを用いる検査条件から、第二のモデル744Bのみを用いる検査条件に変更してもよい。この場合、図8の例において、ステップS32,S340,S344,S346を省略することができる。この形態の第二検査装置70bによれば、検査精度が高い第二のモデル744Bを用いる検査条件に変更されることにより、第二検査装置70bによる検査精度を向上することができる。したがって、第二製造工程による処理後の製品が第一製造工程により潜在的な不具合を有している可能性がある場合の第二検査装置70bの検査精度を向上させることができる。
(C5)上記各実施形態では、第二検査部724が、第二取得部としても機能する例を示した。具体的には、第二検査部724が第二不良確率の算出と、取得との双方を実行する例を示した。これに対して、第二不良確率が、例えば、第二製造装置32など、第二検査装置70とは異なる装置によって算出される場合には、第二取得部は、第二不良確率の算出を実行せず、第二製造装置32から無線通信や有線通信を介して第二不良確率の取得のみを実行してもよい。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
31…第一製造装置、32…第二製造装置、41…第一搬送装置、42…第二搬送装置、51…第一修正工程、52…第二修正工程、60…第一検査装置、61…バス、62…CPU、64…記憶装置、66…第一検査データ取得部、68…第一通信部、70,70b…第二検査装置、71…バス、72…CPU、74…記憶装置、76…第二検査データ取得部、77…第一取得部、78…第二通信部、100…検査システム、624…第一検査部、626…第一判定部、642…第一基準値、644…第一学習モデル、724…第二検査部、726、726b…第二判定部、741…第一閾値、742…第二閾値、742A…第一の値、742B…第二の値、744…第二学習モデル、744A…第一のモデル、744B…第二のモデル、LP…製造ライン

Claims (6)

  1. 検査装置であって、
    第一製造工程で処理された検査対象に関するデータに対して第一学習モデルを用いて算出された第一不良確率を取得する第一取得部と、
    前記第一製造工程よりも後の第二製造工程で処理された前記検査対象に関するデータに対して第二学習モデルを用いて算出された第二不良確率を取得する第二取得部と、
    取得した前記第二不良確率が、第二閾値以上である場合に前記検査対象に不良ありと判定する判定部であって、取得した前記第一不良確率が予め定められた第一閾値よりも大きい場合に、前記第二学習モデルと、前記第二閾値とのうち少なくともいずれかを、前記第一不良確率が前記第一閾値以下である場合よりも検査精度を高くする条件に変更する判定部と、を備える、
    検査装置。
  2. 請求項1に記載の検査装置であって、
    取得した前記第一不良確率が前記第一閾値よりも大きい場合に、
    前記判定部は、前記第二学習モデルを変更せず、前記第二閾値を、前記第一不良確率が前記第一閾値以下である場合に用いられる第一の値よりも小さい第二の値に変更し、
    取得した前記第一不良確率が前記第一閾値以下である場合に、
    前記判定部は、前記第二学習モデルおよび前記第二閾値を変更しない、
    検査装置。
  3. 請求項1に記載の検査装置であって、
    取得した前記第一不良確率が前記第一閾値よりも大きい場合に、
    前記判定部は、前記第二閾値を変更せず、前記第二学習モデルを、前記第一不良確率が前記第一閾値以下である場合に用いられる第一のモデルとは異なる第二のモデルに変更し、
    取得した前記第一不良確率が前記第一閾値以下である場合に、
    前記判定部は、前記第二学習モデルおよび前記第二閾値を変更しない、
    検査装置。
  4. 請求項1に記載の検査装置であって、
    取得した前記第一不良確率が前記第一閾値よりも大きい場合に、
    前記判定部は、前記第二不良確率を用いて前記検査対象の不良の有無を判定した後に、さらに、前記第二学習モデルを、前記第一不良確率が前記第一閾値以下である場合に用いられる第一のモデルとは異なる第二のモデルに変更し、
    前記第二取得部は、さらに、前記第二のモデルに変更された前記第二学習モデルを用いて算出された前記第二不良確率を取得し、
    前記判定部は、さらに、前記第二のモデルに変更された前記第二学習モデルを用いて算出された前記第二不良確率を用いて前記検査対象の不良の有無を判定し、
    取得した前記第一不良確率が前記第一閾値以下である場合に、
    前記判定部は、前記第二学習モデルおよび前記第二閾値を変更しない、
    検査装置。
  5. 請求項3または請求項4に記載の検査装置であって、
    前記第一のモデルは、CNNであり、前記第二のモデルは、R-CNNである、
    検査装置。
  6. 検査方法であって、
    第一製造工程で処理された検査対象に関するデータに対して第一学習モデルを用いて算出された第一不良確率を取得し、
    取得した前記第一不良確率が予め定められた第一閾値よりも大きい場合に、前記第一製造工程よりも後の第二製造工程で処理された前記検査対象の第二不良確率を算出するために用いられる第二学習モデルと、前記第二不良確率との比較によって前記検査対象の不良の有無を判定するための第二閾値とのうち少なくともいずれかを、前記第一不良確率が前記第一閾値以下である場合よりも検査精度を高くする条件に変更し、
    前記条件の変更を行ったあとに、前記第二不良確率と、前記第二閾値とを用いて前記検査対象の有無を判定する、
    検査方法。
JP2021123933A 2021-07-29 2021-07-29 検査装置および検査方法 Active JP7491274B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021123933A JP7491274B2 (ja) 2021-07-29 2021-07-29 検査装置および検査方法
US17/829,524 US12313564B2 (en) 2021-07-29 2022-06-01 Inspection device and inspection method
CN202210880554.XA CN115685888B (zh) 2021-07-29 2022-07-25 检查装置及检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021123933A JP7491274B2 (ja) 2021-07-29 2021-07-29 検査装置および検査方法

Publications (2)

Publication Number Publication Date
JP2023019306A JP2023019306A (ja) 2023-02-09
JP7491274B2 true JP7491274B2 (ja) 2024-05-28

Family

ID=85037659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021123933A Active JP7491274B2 (ja) 2021-07-29 2021-07-29 検査装置および検査方法

Country Status (3)

Country Link
US (1) US12313564B2 (ja)
JP (1) JP7491274B2 (ja)
CN (1) CN115685888B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250104216A1 (en) * 2023-09-26 2025-03-27 Kla Corporation Method to calibrate, predict, and control stochastic defects in euv lithography

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3957964B2 (ja) 1999-10-23 2007-08-15 三星電子株式会社 ロットディスパッチング方法およびロットディスパッチングシステム
JP2020042756A (ja) 2018-09-06 2020-03-19 アクセンチュア グローバル ソリューションズ リミテッド 深層学習を用いるコンピュータビジョニングを使用したデジタル品質管理
JP2020181333A (ja) 2019-04-24 2020-11-05 大日本印刷株式会社 生成方法、プログラム、生成装置、出力装置及び送信装置
JP2020190956A (ja) 2019-05-22 2020-11-26 株式会社東芝 製造条件出力装置、品質管理システム及びプログラム
US20210150700A1 (en) 2019-11-19 2021-05-20 UnitX, Inc. Defect detection device and method
JP7237119B2 (ja) 2018-04-27 2023-03-10 株式会社シーイーシー 管理装置、及び、管理装置のプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6890382B2 (ja) 2016-05-23 2021-06-18 ルネサスエレクトロニクス株式会社 生産システム
CA3056498A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN114972180A (zh) * 2017-04-13 2022-08-30 英卓美特公司 用于预测在装配单元中的缺陷的方法
JP6882772B2 (ja) * 2017-07-11 2021-06-02 株式会社Rist 検査装置、検査方法及び検査プログラム
JP6756676B2 (ja) 2017-07-27 2020-09-16 ファナック株式会社 製造システム
JP6844564B2 (ja) * 2018-03-14 2021-03-17 オムロン株式会社 検査システム、識別システム、及び学習データ生成装置
JP7054450B2 (ja) 2018-09-10 2022-04-14 日本電気硝子株式会社 ワーク検査方法
JP6823025B2 (ja) * 2018-09-12 2021-01-27 ファナック株式会社 検査装置及び機械学習方法
JP6795562B2 (ja) * 2018-09-12 2020-12-02 ファナック株式会社 検査装置及び機械学習方法
JP7083304B2 (ja) * 2018-11-28 2022-06-10 日立Astemo株式会社 製造方法、製造管理方法及び製造システム
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP7250331B2 (ja) * 2019-07-05 2023-04-03 株式会社イシダ 画像生成装置、検査装置及び学習装置
JP2021105758A (ja) * 2019-12-26 2021-07-26 株式会社Rutilea 物品検査装置
US12417260B2 (en) * 2021-10-20 2025-09-16 Intel Corporation Machine learning model scaling system with energy efficient network data transfer for power aware hardware

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3957964B2 (ja) 1999-10-23 2007-08-15 三星電子株式会社 ロットディスパッチング方法およびロットディスパッチングシステム
JP7237119B2 (ja) 2018-04-27 2023-03-10 株式会社シーイーシー 管理装置、及び、管理装置のプログラム
JP2020042756A (ja) 2018-09-06 2020-03-19 アクセンチュア グローバル ソリューションズ リミテッド 深層学習を用いるコンピュータビジョニングを使用したデジタル品質管理
JP2020181333A (ja) 2019-04-24 2020-11-05 大日本印刷株式会社 生成方法、プログラム、生成装置、出力装置及び送信装置
JP2020190956A (ja) 2019-05-22 2020-11-26 株式会社東芝 製造条件出力装置、品質管理システム及びプログラム
US20210150700A1 (en) 2019-11-19 2021-05-20 UnitX, Inc. Defect detection device and method

Also Published As

Publication number Publication date
US12313564B2 (en) 2025-05-27
CN115685888B (zh) 2025-07-25
JP2023019306A (ja) 2023-02-09
CN115685888A (zh) 2023-02-03
US20230036062A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
CN111132820B (zh) 用于监视相同对象的3d打印作业系列的对象的质量的方法和装置
TWI760916B (zh) 用於工廠自動化生產線之製造系統
US12254383B2 (en) Intelligent real-time defect prediction, detection, and AI driven automated correction solution
CN106920219B (zh) 物品缺陷检测方法、图像处理系统与计算机可读记录介质
JP7491274B2 (ja) 検査装置および検査方法
TWI847645B (zh) 用於校正製造程序之系統、方法及非暫態電腦可讀媒體
US11282229B2 (en) Inspection apparatus
CN108257121A (zh) 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
Pastor-López et al. Machine-learning-based surface defect detection and categorisation in high-precision foundry
CN106023154A (zh) 基于双通道卷积神经网络的多时相sar图像变化检测方法
US20220261974A1 (en) Method of detecting an abnormality and abnormality detection device
US20230294173A1 (en) Method and Apparatus for Additive Manufacturing of a Workpiece using Statistical Learning Model
TW202125330A (zh) 物件的瑕疵判斷方法及裝置
CN118202383A (zh) 缺陷检测方法、缺陷检测系统和缺陷检测程序
JPWO2021053717A5 (ja)
JP7669883B2 (ja) 検査装置、検査方法およびプログラム
JP7367408B2 (ja) 外観検査方法及び外観検査装置
Lee et al. Adaptive 3D printing for in situ adjustment of mechanical properties
JP7582130B2 (ja) 検査方法および検査装置
US12437523B2 (en) Anomaly detection using a convolutional neural network and feature based memories
JP2018194475A (ja) ボルト位置の検出方法およびシステム
TWI854583B (zh) 用於製造流程之系統及方法
CN115526859A (zh) 生产缺陷识别的方法、分布式处理平台、设备及存储介质
JPH05298513A (ja) プロセスパラメータの非許容偏差の検出方法
JP2021105758A (ja) 物品検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240429

R150 Certificate of patent or registration of utility model

Ref document number: 7491274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150