WO2022202365A1 - 検査支援システム、検査支援方法、及びプログラム - Google Patents

Abstract

本開示は、複雑な設計が必要となりにくくすることを目的とする。検査支援システム（１）は、画像取得部（１１）と、画像生成部（１２）と、を備える。画像取得部（１１）は、対象（Ｔ１）に関する標準画像（Ａ１）を取得する。標準画像（Ａ１）は、対象（Ｔ１）の表面の状態に関する工程条件における条件パラメータ（Ｐ１）が標準値に設定された画像である。画像生成部（１２）は、標準値を基準として、所定の画像生成モデル及び標準画像（Ａ１）に基づき条件パラメータ（Ｐ１）を変化させた、対象（Ｔ１）に関する複数の評価画像（Ｂ１）を生成する。

Description

検査支援システム、検査支援方法、及びプログラム

　本開示は、一般に、検査支援システム、検査支援方法、及びプログラムに関する。より詳細には本開示は、対象の表面の状態に関する検査支援システム、検査支援方法、及びプログラムに関する。

　特許文献１には、検査基準決定装置が開示されている。この検査基準決定装置は、試料の欠陥候補領域が有する外観的特徴量、例えば、キズ又は割れの大きさ、色の違い等の大小によって、その領域が欠陥であるかどうかを判定するための、その特徴量に関する検査基準を、心理測定曲線に基づいて決定する。検査基準決定装置では、画像呈示手段が、検査員に標準サンプルと標的サンプルの１つとを呈示し、２つのサンプルの欠陥候補領域の、外観的特徴量を互いに比較させてその大小を回答させる。検査員による回答は、入力手段によって取得される。

特開２００７－３３３７０９号公報

　特許文献１の検査基準決定装置では、事前に外観的特徴量に関する設計が必要となる。しかし、対象の表面の状態に関する検査においては、外観的特徴量は膨大になり得る。例えば表面塗装の場合、特徴量は、色（明度、彩度、色相）、グラデーション、粒状感、キラキラ感、光沢感、及びマット感等を含めると、多次元となり得る。そのため、人が感じる質感を単純な特徴量で表すことは困難であり、また仮に特徴量で表せたとしても主観評価の試行回数は膨大になる。

　本開示は上記事由に鑑みてなされ、複雑な設計が必要となりにくい検査支援システム、検査支援方法、及びプログラムを提供することを目的とする。

　本開示の一態様の検査支援システムは、画像取得部と、画像生成部と、を備える。前記画像取得部は、対象に関する標準画像であって、前記対象の表面の状態に関する工程条件における条件パラメータが標準値に設定された前記標準画像を取得する。前記画像生成部は、前記標準値を基準として、所定の画像生成モデル及び前記標準画像に基づき前記条件パラメータを変化させた、前記対象に関する複数の評価画像を生成する。

　本開示の一態様の検査支援方法は、画像取得処理と、画像生成処理と、を含む。前記画像取得処理では、対象に関する標準画像であって、前記対象の表面の状態に関する工程条件における条件パラメータが標準値に設定された前記標準画像を取得する。前記画像生成処理では、前記標準値を基準として、所定の画像生成モデル及び前記標準画像に基づき前記条件パラメータを変化させた、前記対象に関する複数の評価画像を生成する。

　本開示の一態様のプログラムは、１以上のプロセッサに、上記の検査支援方法を実行させるためのプログラムである。

図１は、一実施形態に係る検査支援システムの概略ブロック構成図である。 図２は、同上の検査支援システムを備えるシステム全体の概念図である。 図３Ａは、同上の検査支援システムにおける標準画像と評価画像を説明するためのグラフである。図３Ｂは、同上の標準画像及び評価画像の表示と評価に関する概念図である。 図４は、同上の検査支援システムにおける検査基準の決定を説明するためのグラフである。 図５は、同上の検査支援システムにおける動作例１を説明するためのフローチャートである。 図６は、同上の検査支援システムにおける動作例２を説明するためのフローチャートである。 図７は、同上の検査支援システムにおける第１変形例を説明するためのグラフである。 図８は、同上の検査支援システムにおける第２変形例を説明するための概念図である。 図９は、同上の検査支援システムにおける第３変形例を説明するためのグラフである。 図１０Ａは、同上の検査支援システムのその他の変形例１における標準画像と評価画像を説明するためのグラフである。図１０Ｂは、同上のその他の変形例１における標準画像及び評価画像の表示と評価に関する概念図である。 図１１は、同上の検査支援システムのその他の変形例２（表示態様のバリエーション）を説明するための概念図である。 図１２は、同上の検査支援システムのその他の変形例３（検査基準のプロセスの画面表示）を説明するための概念図である。

　（１）概要
　以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

　本実施形態に係る検査支援システム１は、図１に示すように、画像取得部１１と、画像生成部１２と、を備える。

　画像取得部１１は、対象Ｔ１（図２参照）に関する標準画像Ａ１（図３Ａ及び図３Ｂ参照）であって、対象Ｔ１の表面の状態に関する工程条件における条件パラメータＰ１（図３Ａ参照）が標準値に設定された標準画像Ａ１を取得する。本実施形態では一例として、対象Ｔ１は、自動車部品であることを想定する。ただし、対象Ｔ１は、自動車部品に限定されず、表面を有する物体であればよい。また、ここでいう対象Ｔ１における「表面の状態」は、一例として、表面の塗装に関する状態を想定する。したがって、工程条件は、塗装条件である。条件パラメータＰ１は、塗料の吐出量、塗料を霧化する圧力、対象Ｔ１の表面までの塗装距離、塗装回数、及び塗料の乾燥速度の少なくとも１つに関する。ただし、「表面の状態」は、塗装以外にも、例えばメッキに関する状態、又は加飾成形に関する状態でもよい。

　図２では、自動車部品（対象Ｔ１）の外面の一部の塗装状態をドットハッチング付きの丸い絵によって概念的に表現しているだけであり、丸い絵は、対象Ｔ１が球形状であることを意図した絵ではない。同様に、図３Ａ及び図３Ｂ等では、対象Ｔ１の塗装状態の画像をドットハッチング付きの丸い絵によって概念的に表現している。

　標準画像Ａ１は、例えば対象Ｔ１を撮像部２（図２参照）で撮像した撮像画像である。つまり、標準画像Ａ１は、条件パラメータＰ１が標準値に設定されて、塗装システム３００（図２参照）にて実際に塗装された対象Ｔ１の現物（サンプル品）の撮像画像である。ただし、標準画像Ａ１は、現物の撮像画像に限定されず、条件パラメータＰ１が標準値に設定されて擬似的に作成された画像（ＣＧ画像）でもよい。標準画像Ａ１は、例えば１枚の静止画像であるが、特に限定されず、動画像でもよい。

　画像生成部１２は、標準値を基準として、所定の画像生成モデルＭ１及び標準画像Ａ１に基づき条件パラメータＰ１を変化させた、対象Ｔ１に関する複数の評価画像Ｂ１（図３参照）を生成する。ここでは画像生成モデルＭ１は、例えば、条件パラメータＰ１を変数とする関数モデルである。評価画像Ｂ１は、標準画像Ａ１をベースに、色空間ＲＧＢの３色の色濃度（画素値）を調整して生成された画像である。ただし、色空間は、ＲＧＢに限定されず、その他にも例えばＸＹＺ、又はＬａｂ（Lab color space）でもよい。

　この構成によれば、工程条件における条件パラメータＰ１を用いて複数の評価画像Ｂ１が生成される。したがって、評価画像Ｂ１を用いれば、例えば複雑な外観的特徴量に関する設計を行って検査基準を決定する場合に比べて、検査基準をより容易に決定し得る。結果的に、検査支援システム１には、複雑な設計が必要となりにくい、という利点がある。

　また本実施形態に係る検査支援方法は、画像取得処理（画像取得ステップ）と、画像生成処理（画像生成ステップ）と、を含む。画像取得処理（画像取得ステップ）では、対象Ｔ１に関する標準画像Ａ１であって、対象Ｔ１の表面の状態に関する工程条件における条件パラメータＰ１が標準値に設定された標準画像Ａ１を取得する。画像生成処理（画像生成ステップ）では、標準値を基準として、所定の画像生成モデルＭ１及び標準画像Ａ１に基づき条件パラメータＰ１を変化させた、対象Ｔ１に関する複数の評価画像Ｂ１を生成する。この構成によれば、複雑な設計が必要となりにくい検査支援方法を提供できる。この検査支援方法は、コンピュータシステム（検査支援システム１）上で用いられる。つまり、この検査支援方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、本実施形態に係る検査支援方法を、１以上のプロセッサに実行させるためのプログラムである。

　（２）詳細
　以下、本実施形態に係る検査支援システム１及びその周辺構成を含んだ全体のシステム（塗装管理システム１００）について、図１及び図２を参照しながら詳しく説明する。なお、周辺構成の少なくとも一部が、検査支援システム１の構成に含まれてもよい。

　（２．１）全体構成
　塗装管理システム１００は、図２に示すように、検査支援システム１と、塗装システム３００と、撮像部２（撮像システム）とを備える。

　検査支援システム１は、検査基準として、塗装品の品質上の「良品（ＯＫ）」か「不良品（ＮＧ）」かの限度を示した、いわゆる「限度見本」の作成を支援する機能を有する。具体的には、例えば自動車部品メーカが、ある部品の塗装品について、限度見本（サンプル品）を作成し、それを自動車メーカ等の顧客と情報共有し合うことで、その塗装品に関する製造の承諾を得ることになる。また実際の生産ラインの稼働時における塗装工程を終えた塗装品の検査時に検査者が限度見本を確認することで、検査作業が安定的で精度良く行われ得る。しかし、限度見本の作成には、コストと時間が膨大に掛かり得る。検査支援システム１は、限度見本の作成を支援するように構成される。

　以下では、説明の便宜上、限度見本の作成に関する作業を「見本作成作業」と呼び、これを実施する者を「作成者Ｈ１」（図２、図３Ｂ参照）と呼ぶことがある。また実際の生産ラインの塗装品を検査する作業を「検査作業」と呼び、これを実施する者を「検査者」と呼ぶことがある。説明上において、作成者Ｈ１と検査者を区別しない場合には、単に「ユーザ」と呼ぶこともある。なお、作成者Ｈ１と検査者は、同じ人物でもよい。

　本実施形態では、検査支援システム１は、図１に示すように、処理部１０、操作部３、表示部４、第１記憶部５、第２記憶部６、学習部７、及び良否判定部８（推論部）を備える。検査支援システム１の主な機能（処理部１０、第１記憶部５、第２記憶部６、学習部７、及び良否判定部８等の機能）は、一例としてサーバ２００（図２参照）に設けられているものとする。ここでいう「サーバ」は、１台のサーバ装置から構成されることを想定する。つまり、検査支援システム１の主な機能が、１台のサーバ装置に設けられていることを想定する。ただし、「サーバ」は、複数台のサーバ装置から構成されてもよい。具体的には、処理部１０、第１記憶部５、第２記憶部６、学習部７、及び良否判定部８の機能が、それぞれ個別のサーバ装置に設けられてもよいし、これらのうちの２つ以上の機能が１台のサーバ装置に設けられてもよい。またそのようなサーバ装置が、例えばクラウド（クラウドコンピューティング）を構築してもよい。また検査支援システム１の一部の機能は、サーバ以外にも、パーソナルコンピュータ、ノートパソコン、又はタブレット端末等に分散的に設けられてもよい。またサーバ装置は、塗装工程及び塗装検査の少なくとも一方を実施する工場内に設置されてもよいし、工場の外部（例えば事業本部）に設置されてもよい。検査支援システム１の複数の機能がそれぞれ個別のサーバ装置に設けられている場合、各サーバ装置は、他のサーバ装置と通信可能に接続されていることが望ましい。

　撮像部２（撮像システム）は、対象Ｔ１の表面の画像（デジタル画像）を生成するためのシステムである。本実施形態では、撮像部２は、例えば照明機器により照らされている対象Ｔ１の表面を撮像して対象Ｔ１の表面の画像を生成する。撮像部２は、例えば１以上のＲＧＢカメラを含む。カメラは、１以上のイメージセンサを備える。なお、カメラは１以上のラインセンサを備えてもよい。撮像部２は、図２に示すように、ネットワークＮＴ１に接続されており、ネットワークＮＴ１を介してサーバ２００と通信可能である。ネットワークＮＴ１は、特に限定されず、通信線を介した有線通信により構築されてもよいし、或いは無線通信により構築されてもよい。有線通信は、例えばツイストペアケーブル、専用通信線、またはＬＡＮ（Local Area Network）ケーブルなどを介した有線通信である。無線通信は、例えばWi-Fi（登録商標）、Bluetooth（登録商標）、ZigBee（登録商標）又は免許を必要としない小電力無線（特定小電力無線）等の規格に準拠した無線通信、あるいは赤外線通信などの無線通信である。

　本実施形態では一例として、「見本作成作業」と「検査作業」の両方で、同じ撮像部２を使用するが、各作業で異なる撮像部を使用してもよい。

　塗装システム３００は、対象Ｔ１の表面の塗装のためのシステムである。すなわち、塗装システム３００は、対象Ｔ１の塗装工程を実行する。塗装システム３００は、１以上の塗装部（塗装ロボット）を含む。塗装ロボットは、従来周知の構成であってよいから、詳細な説明は省略する。塗装システム３００は、図２に示すように、ネットワークＮＴ１に接続されており、ネットワークＮＴ１を介してサーバ２００と通信可能である。塗装システム３００及びサーバ２００間の通信は、特に限定されず、撮像部２及びサーバ２００間の通信と同様に、通信線を介した有線通信によって行われてもよいし、或いは無線通信により行われてもよい。

　本実施形態では一例として、「見本作成作業」と「検査作業」の両方で、同じ塗装システム３００を使用するが、各作業で異なる塗装システムを使用してもよい。

　（２．２）検査支援システムの構成
　以下、検査支援システム１の構成（処理部１０、操作部３、表示部４、第１記憶部５、第２記憶部６、学習部７、及び良否判定部８）について、より詳細に説明する。

　処理部１０は、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１０として機能する。プログラムは、ここでは処理部１０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

　処理部１０は、撮像部２、及び塗装システム３００に関する処理を実行する。処理部１０の機能はサーバ２００にあることを想定する。また処理部１０は、図１に示すように、画像取得部１１、画像生成部１２、評価取得部１３、基準決定部１４、出力部１５、及び条件判定部１６を有する。すなわち、処理部１０は、画像取得部１１としての機能、画像生成部１２としての機能、評価取得部１３としての機能、基準決定部１４としての機能、出力部１５としての機能、及び条件判定部１６としての機能を有する。

　画像取得部１１は、対象Ｔ１に関する標準画像Ａ１を取得するように構成される。標準画像Ａ１は、対象Ｔ１を撮像部２で撮像した撮像画像である。つまり、標準画像Ａ１は、条件パラメータＰ１が標準値に設定されて、見本作成作業の前準備として塗装システム３００にて実際に塗装された対象Ｔ１の現物の撮像画像である。見本作成作業において、検査支援システム１は、標準画像Ａ１の情報を、撮像部２から受信する。

　ここでは条件パラメータＰ１は、対象Ｔ１の塗装条件に関する。条件パラメータＰ１は、塗料の吐出量、塗料を霧化する圧力（霧化圧）、対象Ｔ１の表面までの塗装距離、塗装回数、及び塗料の乾燥速度の少なくとも１つに関する。

　例えば塗装システム３００は、塗装工程において、対象Ｔ１（例えば車体の表面）に対して、塗料の色及び種類の少なくとも一方を変えながら、吐出量、霧化圧、塗装距離、及び塗装回数等を調整して、複数の層にわたって塗り重ねを行う。吐出量は、例えば、塗装ロボットの先端にあるスプレーガンから吐出される量（L/min）である。霧化圧は、エアコンプレッサで加圧された空気がスプレーガンに送られて霧化（微粒化）した塗料の圧力である。塗装距離は、例えば、スプレーガンと、対象Ｔ１との距離である。

　上記の複数の層は、対象Ｔ１の表面側から順に、例えば、錆防止用の電着塗装（第１層）、第１ベース塗装（第２層）、第２ベース塗装（第３層）、及びクリア塗装（第４層）を含み得る。吐出量、塗装距離、及び塗装回数の調整により、塗装の厚みが制御される。第２層又は第３層の厚みが薄いと下地が見えやすくなり、第４層が薄いと光沢が増す。このように塗装の厚みが制御された第２層～第４層を設けることで、発色、美観、及び光沢等の向上が図られる。霧化圧は、塗料の粒子化（粒状感）に影響する。塗料の粒子化（粒状感）は、ザラザラ感等のユニークな表面仕上げに影響する。乾燥速度は、例えばメタリック感をより表現するための、アルミニウム粉末をフレーク化したアルミフレークの向きの均一化に影響する。

　以下では一例として、塗料の吐出量（L/min）に着目し、条件パラメータＰ１（塗装パラメータ）が、吐出量に関するパラメータであることを想定する。上記複数の層のうち、ある層（例えば第３層）に関する吐出量について例えば設定可能な吐出量の度合い１０段階の設定レベル（レベル「１」～「１０」）が存在するとすれば、標準値は、例えば真ん中の標準レベル「５」の吐出量に相当する条件パラメータＰ１の値である。以下では、標準レベルの吐出量に相当する条件パラメータＰ１の値を、第１標準値Ｐ１１（図３Ａ参照）と呼ぶ。なお、図３Ａは、横軸を条件パラメータＰ１（塗装パラメータｐ）とし、縦軸を画像データＩ（例えばＲＧＢに関する色濃度（画素値））とするグラフである。

　画像生成部１２は、複数（図３Ａでは５つ）の評価画像Ｂ１を生成するように構成される。５つの評価画像Ｂ１は、標準値を基準として、画像生成モデルＭ１及び標準画像Ａ１に基づき条件パラメータＰ１を一定間隔で変化させた場合の画像である。ここで、画像取得部１１は、条件パラメータＰ１が、標準値としての第１標準値Ｐ１１とは異なる第２標準値Ｐ１２に設定された標準画像Ａ１を更に取得する。画像生成部１２は、第１標準値Ｐ１１と第２標準値Ｐ１２との間で、条件パラメータＰ１を変化させた複数の評価画像Ｂ１を生成する。図３Ａでは一例として、第２標準値Ｐ１２は、例えば設定可能な吐出量の度合い１０段階のレベルのうち、最も高いレベル「１０」の吐出量に相当する条件パラメータＰ１の値である。第２標準値Ｐ１２は、第１標準値Ｐ１１と異なれば、その度合いは特に限定されないが、第１標準値Ｐ１１と極端に異なる値であることが好ましい。特に本実施形態では、検査基準として「良（ＯＫ）」か「不良（ＮＧ）」かの限度を定めることを目的としている。そのため、第１標準値Ｐ１１は目視でも十分に「良（ＯＫ）」として判断される値で、第２標準値Ｐ１２は目視でも十分に「不良（ＮＧ）」として判断される値であることが好ましい。

　図３Ａでは、原点に位置する画像データＩ１は、第１塗装条件の第１標準値Ｐ１１（吐出量）により、塗装システム３００にて実際に塗装された対象Ｔ１の現物（サンプル品）の撮像画像データ（以下、第１標準画像Ａ１１ともいう）である。また図３Ａでは、画像データＩ２は、第２塗装条件の第２標準値Ｐ１２（吐出量）により、塗装システム３００にて実際に塗装された対象Ｔ１の現物（サンプル品）の撮像画像データ（以下、第２標準画像Ａ１２ともいう）である。

　画像生成モデルＭ１は、条件パラメータＰ１を変数とする関数モデルである。ここで、条件パラメータＰ１である塗装パラメータをｐ（変数）とすると、評価画像Ｂ１の画像データＩ（色濃度）は、関数ｆ（ｐ）（画像生成モデルＭ１）により決定される。つまり、関数ｆ（ｐ）は、ある層（例えば第３層）に関する吐出量（条件パラメータＰ１）に対するＲＧＢに関する色濃度の変化特性を（近似的に）定義するものであり、測定検証又はシミュレーション結果等により得られたものである。画像生成モデルＭ１に関する情報は、第１記憶部５に予め記憶（格納）される。

　説明を分かりやすくするために、塗装条件は、第３層に関する吐出量（条件パラメータＰ１）に着目し、それだけを変化させて、他の層の吐出量、塗装回数、及び霧化圧等の条件パラメータＰ１は標準値に固定して評価画像Ｂ１が生成されることを想定する。しかし、２以上の条件パラメータＰ１を同時に変化させて評価画像Ｂ１が生成されてもよい。例えば吐出量と塗装回数を同時に変化させる場合、評価画像Ｂ１の画像データＩ（色濃度）は、吐出量と塗装回数に対する色濃度の変化特性を定義する関数ｆ（ｐ）を用意すればよい。

　第１記憶部５及び第２記憶部６は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な不揮発性メモリを含む。

　第１記憶部５は、種々の塗装条件に関する情報を記憶する。また第１記憶部５は、画像生成モデルＭ１を複数種類記憶する。つまり、第１記憶部５は、第３層に関する吐出量の関数ｆ（ｐ）だけでなく、第１層、第２層、第４層に関する吐出量の関数ｆ（ｐ）、さらに吐出量の他にも、霧化圧、塗装距離、塗装回数、及び乾燥速度についての関数ｆ（ｐ）も多数記憶する。第２記憶部６は、後述する学習済みモデルＭ２を記憶（格納）する。本実施形態では、第１記憶部５と第２記憶部６は、別々の記憶部であるが、１つの共通する記憶部でもよい。また第１記憶部５と第２記憶部６の少なくとも一方は、処理部１０のメモリでもよい。

　また評価画像Ｂ１の画像データＩ（色濃度）は、例えば以下の式（１）（画像生成モデルＭ１）により簡易的に算出されてもよい。

　I = ΔI×α＋Ｉ１　・・・式（１）
　式（１）では、ΔＩは、第２標準画像Ａ１２の画像データＩ２（色濃度）から、第１標準画像Ａ１１の画像データＩ１（色濃度）を差し引いて得られる差分である。αは、塗装パラメータｐを正規化した値であり、０～１を取り得る。つまり、塗装パラメータｐの吐出量、塗装回数、及び霧化圧等は、互いに単位量が異なるため、αは、吐出量、塗装回数、及び霧化圧等について第１標準画像Ａ１１から第２標準画像Ａ１２まで取り得る値を０～１でスケーリングしたものである。

　式（１）を用いる場合、画像生成部１２は、第１標準画像Ａ１１と第２標準画像Ａ１２の各々のＲＧＢに関する色濃度（画素値）を特定し、差分ΔＩを演算する。画像生成部１２は、αを変化させて、その都度差分ΔＩをαに掛けて、ベースとなる第１標準画像Ａ１１の画像データＩ１（色濃度）に足すことで、対象Ｔ１に関する複数の評価画像Ｂ１を生成する。図３Ａは、上記式（１）により簡易的に生成された５つの評価画像Ｂ１を示している。したがって、５つの評価画像Ｂ１の色濃度は、塗装パラメータｐの増加に応じて、直線的（比例的）に漸増する。

　評価取得部１３は、複数（ここでは５つ）の評価画像Ｂ１に対する二段階以上の評価結果に関する評価情報を取得するように構成される。ここでは一例として、評価結果は、「良（ＯＫ）」及び「不良（ＮＧ）」の二段階であることを想定する。評価結果は、作成者Ｈ１の主観評価となる。具体的には、作成者Ｈ１は、図３Ｂに示すように、各評価画像Ｂ１を目視で評価し、操作部３を用いて各評価画像Ｂ１に対する評価結果（ＯＫかＮＧか）を入力することになる。

　表示部４は、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイを構成する。表示部４は、タッチパネル式のディスプレイでもよい。表示部４は、例えばユーザが使用するパーソナルコンピュータ等の情報端末９（図３Ｂ参照）に付設され得る。情報端末９は、ノートパソコン又はタブレット端末等でもよい。表示部４は、標準画像Ａ１、及び複数の評価画像Ｂ１を表示する。

　サーバ２００と情報端末９は、ネットワークＮＴ１を介して互いに通信可能である。見本作成作業時において、情報端末９は、サーバ２００から、標準画像Ａ１及び評価画像Ｂ１の情報を受信し、表示部４の画面に表示する。作成者Ｈ１は、表示部４を通じて、標準画像Ａ１及び評価画像Ｂ１を視認できる。特に本実施形態では、表示部４は、図３Ｂに示すように、標準画像Ａ１及び各評価画像Ｂ１を目視で比較しやすいように、１つの画面に同時に表示する。表示部４は、標準画像Ａ１及び評価画像Ｂ１以外にも種々の情報を表示する。

　操作部３は、マウス、キーボード、及びポインティングデバイス等を含む。操作部３は、例えばユーザが使用する情報端末９に設けられている。表示部４が、タッチパネル式のディスプレイである場合、操作部３の機能を兼ねてもよい。作成者Ｈ１は、表示部４に表示される標準画像Ａ１及び各評価画像Ｂ１を目視で比較し、各評価画像Ｂ１について「良（ＯＫ）」か「不良（ＮＧ）」を評価し、その評価結果を、操作部３を介して検査支援システム１に入力することになる。処理部１０は、入力された評価結果と評価画像Ｂ１とを対応付けして、記憶部（例えば第１記憶部５）に記憶する。

　基準決定部１４は、評価情報に基づき、対象Ｔ１の表面の状態に対する検査基準を決定するように構成される。図３Ａ及び図４では、作成者Ｈ１が、５つの評価画像Ｂ１（Ｂ１１～Ｂ１５）のうち、評価画像Ｂ１１～Ｂ１３を「ＯＫ」と評価し、評価画像Ｂ１４，Ｂ１５を「ＮＧ」と評価した評価結果を示している。図面では便宜上、「ＯＫ」に対応する評価画像Ｂ１１～Ｂ１３の近傍に、〇マークを印し、「ＮＧ」に対応する評価画像Ｂ１４，Ｂ１５の近傍に、×マークを印している。

　基準決定部１４は、直線的に並ぶ複数の評価画像Ｂ１のうち、評価結果が「ＯＫ」から「ＮＧ」に変わる境目を特定する。基準決定部１４は、検査基準を、評価結果が最も「ＮＧ」に近い「ＯＫ」に対応する評価画像Ｂ１（図４では、評価画像Ｂ１３）とする。処理部１０は、検査基準となった評価画像Ｂ１３における画像データＩ３（色濃度）及び検査基準値Ｐ１３（第３塗装条件）に関する情報を、記憶部（例えば第１記憶部５）に記憶する。

　出力部１５は、検査基準に対応する条件パラメータＰ１（図４では、検査基準値Ｐ１３）に関する情報を出力するように構成される。つまり、出力部１５は、第３塗装条件に関する情報を外部（例えば情報端末９）に出力する。言い換えると、サーバ２００は、第３塗装条件に関する情報を情報端末９に送信する。情報端末９は、表示部４から第３塗装条件に関する情報を提示する。第３塗装条件に関する情報は、変化の対象であったある層の吐出量に関する検査基準値Ｐ１３だけでなく、標準値に固定していた他の層の吐出量、塗装回数、及び霧化圧等の条件パラメータＰ１も含む。

　作成者Ｈ１は、提示された第３塗装条件に基づき、限度見本となる対象Ｔ１を作成する。つまり、作成者Ｈ１は、ユーザインタフェースを介して塗装システム３００に対して提示された第３塗装条件に関する情報を入力する。その結果、塗装システム３００は、第３塗装条件に従って塗装し、対象Ｔ１（限度見本）が作成される。このように作成された限度見本は、画像生成部１２が生成した評価画像Ｂ１３に非常に近い塗装状態となる。

　出力部１５による第３塗装条件に関する情報の出力先は、情報端末９ではなく、直接的に塗装システム３００でもよい。塗装システム３００は、サーバ２００から直接受信した第３塗装条件に従って塗装し、対象Ｔ１（限度見本）が作成されてもよい。

　このように出力された第３塗装条件の情報を、塗装工程に対してフィードバックすることで、作成者Ｈ１は、検査基準に対応する現物（限度見本）の作成及び確認が行える。

　本実施形態では、第１記憶部５は、条件パラメータＰ１における複数の標準値にそれぞれ対応する複数の候補モデルＮ１（図１参照）を記憶する。ここでいう複数の候補モデルＮ１は、例えば過去に検査基準の決定に適用されたことのある複数の画像生成モデルＭ１を含み得る。

　条件判定部１６は、標準値と、複数の標準値の各々との類似性を判定し、複数の標準値の中に標準値との類似性の高い値が存在すれば、複数の候補モデルＮ１のうち当該値に対応する候補モデルＮ１を、所定の画像生成モデルＭ１に選択する。具体的には、条件判定部１６は、着目する吐出量についての第１標準値Ｐ１１（塗装パラメータｐ）と、複数の候補モデルＮ１に対応する複数の第１標準値Ｐ１１（塗装パラメータｐ′）の各々との差の絶対値（｜ｐ－ｐ′｜）を閾値と比較する。第１記憶部５内に、絶対値（｜ｐ－ｐ′｜）が閾値より小さい候補モデルＮ１が存在すれば、条件判定部１６は、その候補モデルＮ１を、画像生成モデルＭ１に選択する。

　この条件判定部１６による条件判定処理は、見本作成作業の前準備として実行されることが好ましい。もし第１記憶部５内に、絶対値（｜ｐ－ｐ′｜）が閾値より小さい候補モデルＮ１が存在しなければ、サーバ２００は、その旨を情報端末９に通知する。作成者Ｈ１は、新たな画像生成モデルＭ１を用意して、操作部３を介してその情報を検査支援システム１に登録する。

　このように条件判定部１６が類似性を判定し、画像生成モデルＭ１を選択するため、作成者Ｈ１が新たに画像生成モデルＭ１を作成したり選択したりする手間が省かれる。結果的に、より効率的に検査基準を決定できる。

　学習部７は、表面の状態（ここでは塗装状態）に関する良否のラベルが付与された画像データを学習データに用いて学習済みモデルＭ２（図１参照）を生成する。この「良否のラベル」は、基準決定部１４で決定された検査基準に基づくラベルである。

　「学習データ」は、モデルを機械学習するために用いられる学習用データである。この「モデル」は、識別対象（対象Ｔ１の表面状態）に関する入力データが入力されると、識別対象がどのような状態にあるかを推定し、推定結果（識別結果）を出力するプログラムである。「学習済みモデル」は、学習用データを用いた機械学習が完了したモデルをいう。また「学習データ（セット）」は、モデルに入力される入力データ（画像データ）と、入力データに付与されたラベルと、を組み合わせたデータセットであり、いわゆる教師データである。つまり、本実施形態では、学習済みモデルＭ２は、教師あり学習による機械学習が完了したモデルである。

　学習部７は、対象Ｔ１に関する学習済みモデルＭ２を生成する機能を有する。学習部７は、ラベル付きの複数の学習データ（画像データ）に基づき学習済みモデルＭ２を生成する。学習済みモデルＭ２は、例えばニューラルネットワークを用いたモデル、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）により生成されるモデルを含むことを想定する。ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。学習済みモデルＭ２は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の集積回路に、学習済みのニューラルネットワークを実装することで実現されている。学習済みモデルＭ２は、ディープラーニングにより生成されるモデルに限定されない。学習済みモデルＭ２は、サポートベクターマシン、又は決定木等により生成されるモデルでもよい。

　複数の学習データは、種々の塗装条件により生成された複数の評価画像Ｂ１に対して、基準決定部１４で決定された検査基準における評価結果「ＯＫ」又は「ＮＧ」を、ラベルとして付与することで生成される。つまり、図４の例で言えば、評価画像Ｂ１１～Ｂ１３の画像データに「ＯＫ」のラベルを付与した学習データが生成される。また評価画像Ｂ１４，Ｂ１５の画像データに「ＮＧ」のラベルを付与した学習データが生成される。なお、第１標準画像Ａ１１の画像データに「ＯＫ」のラベルを付与した学習データが生成されてもよい。また第２標準画像Ａ１２の画像データに「ＮＧ」のラベルを付与した学習データが生成されてもよい。

　つまり、複数の評価画像Ｂ１を学習データに採用する場合、ラベルの付与に関する作業（ラベリング）は、検査基準の決定時点で自動的に完了しているともいえる。したがって、ユーザによって操作部３等のユーザインタフェースを介して検査支援システム１に対して学習データを新たに用意したりラベリングしたりする手間が掛かりにくくなる。学習部７は、ラベル付きの複数の学習データを用いて、対象Ｔ１の塗装状態の良、及び不良を機械学習することにより、学習済みモデルＭ２を生成する。学習部７で生成された学習済みモデルＭ２は、第２記憶部６に格納（記憶）される。

　学習部７は、新たに取得したラベル付きの学習データ（評価画像Ｂ１）を用いて再学習を行うことで、学習済みモデルＭ２の性能の向上を図ることができる。例えば新しい塗装条件による評価画像Ｂ１が生成されれば、学習部７に、新しい評価画像Ｂ１に関する再学習を行わせることが可能である。

　良否判定部８は、学習済みモデルＭ２を用いて、対象Ｔ１の検査画像Ｃ１に関する良否の判定を行う。つまり、検査支援システム１は、例えば、実際の生産ラインにおける塗装工程を経た対象Ｔ１の塗装状態に関する良否の識別を自動的に行う機能を有する。撮像部２は、検査工程において、塗装工程を経た対象Ｔ１を順次撮像し、その撮像画像（検査画像Ｃ１）をサーバ２００へ送信する。処理部１０は、対象Ｔ１の識別結果を、検査者が使用する端末（例えば情報端末９）に送信する。ここでサーバ２００は、識別結果が「ＮＧ（不良）」だった場合、警告メッセージを情報端末９に通知する。さらにサーバ２００は、識別結果が「ＮＧ（不良）」だった対象Ｔ１を破棄するように（或いは検査者が目視確認するためにコンベア等の搬送装置の稼働を停止するように）、生産ラインを管理する管理設備に信号を送信する。

　このように基準決定部１４で決定された検査基準に基づくラベル付けされた学習データを用いて良否判定の機械学習を実施することで、表面の状態に関する良否の判定精度が向上する。

　ところで、対象Ｔ１のメーカが複数拠点（工場）で対象Ｔ１を製造する場合、各拠点で表面状態の検査における検査基準にばらつきが発生する可能性がある。そこで、例えばある拠点のサーバ２００が、そのサーバ２００で決定された検査基準に関する情報等を、他の拠点のサーバ２００へ、インターネット等の広域ネットワークを介して送信して、情報の共有をしてもよい。この場合、複数拠点で統一された検査基準を構築することができる。

　（２．３）動作
　以下、検査支援システム１を備えた塗装管理システム１００に関する動作（動作例１，２）について説明する。なお、以下の各動作例における処理の順序は単なる一例であり、特に限定されない。また、各動作例における処理の一部が省略されたり、別の処理が追加されたりしてもよい。

　＜動作例１：見本作成＞
　以下、見本作成に関する動作例１について図５（フローチャート）を参照しながら説明する。

　まず作成者Ｈ１は、標準画像Ａ１を用意する。すなわち、塗装システム３００は、第１塗装条件（第１標準値Ｐ１１）に基づく塗装を対象Ｔ１に対して実行し、現物（サンプル品）を作成する（ステップＳ１）。撮像部２は、第１塗装条件に基づく現物を撮像する（ステップＳ２：第１標準画像Ａ１１の生成）。撮像部２は、第１標準画像Ａ１１を検査支援システム１のサーバ２００に送信する。結果的に、処理部１０の画像取得部１１は、第１標準値Ｐ１１に設定された対象Ｔ１に関する第１標準画像Ａ１１を取得する（画像取得処理）。

　また塗装システム３００は、第２塗装条件（第２標準値Ｐ１２）に基づく塗装を対象Ｔ１（ステップＳ１の対象Ｔ１は別に用意された物）に対して実行し、現物を作成する（ステップＳ３）。撮像部２は、第２塗装条件に基づく現物を撮像する（ステップＳ４：第２標準画像Ａ１２の生成）。撮像部２は、第２標準画像Ａ１２を検査支援システム１のサーバ２００に送信する。結果的に、処理部１０の画像取得部１１は、第２標準値Ｐ１２に設定された対象Ｔ１に関する第２標準画像Ａ１２を取得する（画像取得処理）。

　検査支援システム１は、着目する第１標準値Ｐ１１（塗装パラメータｐ）と、複数の候補モデルＮ１に対応する複数の第１標準値Ｐ１１（塗装パラメータｐ′）の各々との差の絶対値（｜ｐ－ｐ′｜）を閾値と比較する。第１記憶部５内に絶対値（｜ｐ－ｐ′｜）が閾値より小さい候補モデルＮ１が存在すれば（Ｓ５：Ｙｅｓ）、検査支援システム１は、その候補モデルＮ１を、画像生成モデルＭ１に選択する（ステップＳ６）。

　もし絶対値（｜ｐ－ｐ′｜）が閾値より小さい候補モデルＮ１が存在しなければ（Ｓ５：Ｎｏ）、検査支援システム１は、その結果を作成者Ｈ１に通知する。作成者Ｈ１は、新たに画像生成モデルＭ１を用意し、その情報を検査支援システム１に入力する。すなわち、検査支援システム１は、新たな画像生成モデルＭ１を取得する（ステップＳ７）。

　検査支援システム１は、第１及び第２標準値Ｐ１１，Ｐ１２を基準として、画像生成モデルＭ１に基づき条件パラメータＰ１を変化させた、対象Ｔ１に関する複数の評価画像Ｂ１を生成する（ステップＳ８：画像生成処理）。

　検査支援システム１は、標準画像Ａ１（例えば第１標準画像Ａ１１）と複数の評価画像Ｂ１とを表示部４に表示させる（ステップＳ９）。作成者は、表示される標準画像Ａ１と複数の評価画像Ｂ１の各々とを比較し、各評価画像Ｂ１に対して「ＯＫ」又は「ＮＧ」の評価を行い、評価結果を入力する。すなわち、検査支援システム１は、各評価画像Ｂ１に対する評価結果を取得する（ステップＳ１０）。

　検査支援システム１は、評価結果に基づき、対象Ｔ１の表面の状態に対する検査基準を決定する（ステップＳ１１）。検査支援システム１は、第３塗装条件（検査基準値Ｐ１３）の情報を情報端末９に出力する（ステップＳ１２）。

　作成者Ｈ１は、第３塗装条件の情報に基づき限度見本を用意する。すなわち、塗装システム３００は、第３塗装条件に基づく塗装を対象Ｔ１に対して実行し、限度見本を作成する（ステップＳ１３）。

　例えば自動車部品メーカが、ある部品の塗装品（対象Ｔ１）について、このように作成された限度見本を自動車メーカ等の顧客と情報共有し合うことで、その塗装品に関する製造の承諾を得やすくなる。また実際の生産ラインの稼働時における塗装工程を終えた塗装品の検査時に、検査者が限度見本を確認することで、検査作業が安定的で精度良く行われ得る。限度見本の作成には、コストと時間が膨大に掛かり得るという懸念があるが、検査支援システム１では、限度見本の作成を効率良く行える。

　＜動作例２：検査＞
　以下、検査（検査工程）に関する動作例２について図６（フローチャート）を参照しながら説明する。

　生産ラインの稼働中において、塗装システム３００は、塗装工程にて、所定の塗装条件（例えば第１塗装条件）に基づく塗装を対象Ｔ１に対して順次実行し、塗装品（製造品又は半製品）を作成する。撮像部２は、塗装工程を経た塗装品を順次撮像する（検査画像Ｃ１の生成）。撮像部２は、撮像した検査画像Ｃ１を検査支援システム１のサーバ２００に順次送信する。

　検査支援システム１は、検査画像Ｃ１を順次取得する（ステップＳ２１）。そして、検査支援システム１（良否判定部８）は、学習済みモデルＭ２を用いて、順次取得する検査画像Ｃ１に基づき、塗装工程を経た対象Ｔ１の塗装状態に関する良否の識別を行う（ステップＳ２２）。識別結果が「ＯＫ」だった場合（Ｓ２３：Ｙｅｓ）、検査支援システム１は、警告メッセージ等を通知しない。そして、検査支援システム１は、検査工程が終了していなければ（ステップＳ２４：Ｎｏ）、次の検査画像Ｃ１を取得して、良否の識別を行う（Ｓ２１へ戻る）。

　一方、識別結果が「ＮＧ」だった場合（Ｓ２３：Ｎｏ）、検査支援システム１は、警告メッセージを情報端末９に通知する（ステップＳ２５）。さらに検査支援システム１は、対象Ｔ１を搬送する搬送装置の稼働を一時的に停止するように、管理設備に停止信号を送信する（ステップＳ２６）。検査者は、検査工程の現場に向かい現物を目視で確認し、確認を終えると、搬送装置の稼働を復旧させる操作を行う（ステップＳ２７）。その結果、検査工程が再開する。若しくは、識別結果が「ＮＧ」だった場合、搬送装置等の設備を一時停止させずに、対象Ｔ１を取り除く機構を設けて除外されてもよい。検査工程が終了すれば（ステップＳ２４：Ｙｅｓ）、処理は終了する。

　＜利点＞
　表面の状態に関して外観的特徴量を用いて検査する場合は、外観的特徴量のデータは膨大になり得る。例えば表面塗装の場合、特徴量は、色（明度、彩度、色相）、グラデーション、粒状感、キラキラ感、光沢感、及びマット感等を含めると、多次元となり得る。そのため、人が感じる質感を単純な特徴量で表すことは困難であり、また仮に特徴量で表せたとしても主観評価の試行回数は膨大になる。

　これに対して本実施形態に係る検査支援システム１では、工程条件における条件パラメータＰ１を用いて複数の評価画像Ｂ１が生成される。したがって、評価画像Ｂ１を用いれば、例えば複雑な外観的特徴量に関する設計を行って検査基準を決定する場合に比べて、低次元のパラメータ（吐出量又は塗装回数等）を扱うため、検査基準をより容易に決定し得る。結果的に、検査支援システム１には、複雑な設計が必要となりにくい、という利点がある。

　また本実施形態では、標準画像Ａ１及び評価画像Ｂ１を表示する表示部４が設けられていることで、ユーザは目視により標準画像Ａ１及び評価画像Ｂ１を確認できるため、検査基準をより容易に決定し得る。

　また本実施形態では、標準画像Ａ１は、対象Ｔ１を撮像部２で撮像した撮像画像であるため、例えば標準画像Ａ１がＣＧ画像である場合に比べて、標準画像Ａ１を容易に準備できる。またより精度の高い検査基準が決定される。

　特に本実施形態では、画像生成部１２は、第１標準値Ｐ１１と第２標準値Ｐ１２との間で、条件パラメータＰ１を変化させた評価画像Ｂ１を生成する。そのため、対象Ｔ１の塗装状態の変化に関する方向性をより明確に定義することができる。つまり、塗装の色濃度がどの方向に変化していくかを定量化しやすくなり、条件パラメータＰ１に対する表面状態（塗装状態）の変化特性を線形近似化できる。

　（３）変形例
　上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る検査支援システム１と同様の機能は、検査支援方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

　以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。

　本開示における検査支援システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における検査支援システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

　また、検査支援システム１における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、検査支援システム１の構成要素は、複数のハウジングに分散して設けられていてもよい。

　反対に、検査支援システム１における複数の機能が、１つのハウジング内に集約されてもよい。さらに、検査支援システム１の少なくとも一部の機能、例えば、検査支援システム１の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

　（３．１）第１変形例
　以下に第１変形例の検査支援システム１について、図７を参照しながら説明する。なお、以下の説明では、基本例と実質的に共通する構成要素については、適宜同じ参照符号を付して適宜にその説明を省略することがある。

　基本例では、画像生成部１２は、条件パラメータＰ１に対するＲＧＢに関する色濃度の変化特性が直線的である前提で、条件パラメータＰ１を変化させた複数の評価画像Ｂ１を生成していた。しかし、実際には、条件パラメータＰ１の増加に対して、色濃度の変化特性は、直線的に増加しない可能性があり、例えば曲線的に漸増する可能性がある。

　ここで図７に示す破線Ｌ１は、基本例における図３及び図４の変化特性と同じである。基本例と同様に、検査支援システム１は、評価画像Ｂ１３（図３及び図４参照）における画像データＩ３（色濃度）及び検査基準値Ｐ１３（第３塗装条件）を検査基準に決定したとする。そして、塗装システム３００が第３塗装条件に従って塗装し対象Ｔ１（限度見本）が作成された場合に、その限度見本を撮像部２で撮像した撮像画像Ｘ１（図７参照）は、画像生成部１２が生成した評価画像Ｂ１３と比べて、色濃度にずれが生じる場合がある。図７の例では、撮像画像Ｘ１の色濃度の方が、評価画像Ｂ１３よりも低い。

　要するに、図７に示す実線曲線Ｙ１のように、塗装条件の変化に対する「真の変化特性」は、理想的な直線（破線Ｌ１）と「誤差（ずれ）」が生じ得る。しかし、「真の変化特性」の実線曲線Ｙ１は、現実的には未知であり、演算等で求めることは容易ではない可能性がある。

　そこで本変形例では、この「誤差」が解消されるまで（例えば所定値以下となるまで）、標準値の設定、評価画像Ｂ１の生成と表示、作成者Ｈ１による評価結果の取得、及び評価結果に基づく検査基準の決定の一連の流れを繰り返す点で基本例と相違する。以下、この一連の流れのことを、「基準決定過程」と呼ぶ。

　まず処理部１０は、１回目の基準決定過程での、評価画像Ｂ１３と、その（仮の）限度見本の撮像画像Ｘ１との色濃度の差（画像データＩ３と画像データＩ３´との差）を、所定値と比較する。

　図７の例では、上記差が所定値以上であることから、１回目の基準決定過程では「誤差」が解消されていないため、本変形例の検査支援システム１は、２回目の基準決定過程を実行する。ここで処理部１０は、２回目の基準決定過程では、第３塗装条件の検査基準値Ｐ１３を、新たな標準値とする。つまり、画像生成部１２は、撮像画像Ｘ１を、原点、すなわち第１標準画像Ａ１１に設定する。条件判定部１６は、新たな標準値（検査基準値Ｐ１３）に関する類似性を判定する。複数の候補モデルＮ１のうち、新たな標準値と類似性の高い標準値に対応する候補モデルＮ１が存在すれば、条件判定部１６は、それを２回目の基準決定過程で適用する画像生成モデルＭ１に選択する。もし類似性の高い候補モデルＮ１が存在しなければ、作成者Ｈ１が新たな画像生成モデルＭ１を用意して検査支援システム１に登録する。

　画像生成部１２は、２回目の基準決定過程で適用する画像生成モデルＭ１を用いて、再び複数の評価画像Ｂ１を生成する。図７における破線Ｌ２（直線）は、新たに適用された画像生成モデルＭ１による、条件パラメータＰ１に対する色濃度の変化特性を示す。検査支援システム１は、生成した複数の評価画像Ｂ１を再び表示部４に表示させて、作成者Ｈ１の評価結果に基づき検査基準を決定する。検査支援システム１は、評価画像Ｂ１６（図７参照）の検査基準値Ｐ１４（第４塗装条件）を検査基準に決定したとする。そして、塗装システム３００にて第４塗装条件に従って塗装し対象Ｔ１（限度見本）が作成されて、その限度見本を撮像した撮像画像Ｘ２（図７参照）が生成される。処理部１０は、２回目の基準決定過程での、評価画像Ｂ１６と、その（仮の）限度見本の撮像画像Ｘ２との色濃度の差（画像データＩ４と画像データＩ４´との差）を、所定値と比較する。

　図７の例では、上記差が所定値以上であることから、２回目の基準決定過程でも依然として「誤差」が解消されていないため、検査支援システム１は、３回目の基準決定過程を実行する。ここで処理部１０は、３回目の基準決定過程では、第４塗装条件の検査基準値Ｐ１４を、新たな標準値とする。つまり、画像生成部１２は、撮像画像Ｘ２を、原点、すなわち第１標準画像Ａ１１に設定する。条件判定部１６は、新たな標準値（検査基準値Ｐ１４）に関する類似性を判定する。複数の候補モデルＮ１のうち、新たな標準値と類似性の高い標準値に対応する候補モデルＮ１が存在すれば、条件判定部１６は、それを３回目の基準決定過程で適用する画像生成モデルＭ１に選択する。もし類似性の高い候補モデルＮ１が存在しなければ、作成者Ｈ１が新たな画像生成モデルＭ１を用意して検査支援システム１に登録する。

　画像生成部１２は、３回目の基準決定過程で適用する画像生成モデルＭ１を用いて、再び複数の評価画像Ｂ１を生成する。図７における破線Ｌ３（直線）は、新たに適用された画像生成モデルＭ１による、条件パラメータＰ１に対する色濃度の変化特性を示す。検査支援システム１は、生成した複数の評価画像Ｂ１を再び表示部４に表示させて、作成者Ｈ１の評価結果に基づき検査基準を決定する。検査支援システム１は、評価画像Ｂ１７（図７参照）の検査基準値Ｐ１５（第５塗装条件）を検査基準に決定したとする。そして、塗装システム３００にて第５塗装条件に従って塗装し対象Ｔ１（限度見本）が作成されて、その限度見本を撮像した撮像画像Ｘ３（図７参照）が生成される。処理部１０は、３回目の基準決定過程での、評価画像Ｂ１７と、その（仮の）限度見本の撮像画像Ｘ３との色濃度の差（画像データＩ５と画像データＩ５´との差）を、所定値と比較する。

　図７の例では、上記差が所定値より小さいことから、３回目の基準決定過程で「誤差」が解消されたと判定され、検査支援システム１は、３回目の基準決定過程にて、検査基準値Ｐ１５（第５塗装条件）を、真の検査基準に確定する。そして、第５塗装条件による塗装品が真の限度見本となる。

　なお、上記の例では、検査支援システム１が「誤差」が解消されたか否かを所定値と比較により自動的に判定しているが、作成者Ｈ１の目視により判定されてもよい。

　本変形例の構成によれば、検査基準の精度をより高めることができる。また、撮像画像Ｘ１，Ｘ２，Ｘ３・・・の軌跡から、「真の変化特性」である（未知の）実線曲線Ｙ１を特定可能となる。その結果、現物により近い画像生成モデルＭ１を作成できる。

　（３．２）第２変形例
　以下に第２変形例の検査支援システム１について、図８を参照しながら説明する。なお、以下の説明では、基本例と実質的に共通する構成要素については、適宜同じ参照符号を付して適宜にその説明を省略することがある。

　基本例では、画像生成モデルＭ１は、条件パラメータＰ１を変数とする関数モデルである。本変形例では、画像生成モデルＭ１は、条件パラメータＰ１を変えて生成された画像に関して機械学習されたモデル（学習済みモデル）である点で、基本例と相違する。

　例えば、第１変形例で「誤差」を解消するために、つまり（未知の）実線曲線Ｙ１を特定するために、基準決定過程を繰り返すことを説明したが、画像生成モデルＭ１は、この「誤差」を最小となるように機械学習される。具体的には、表面状態を予測するニューラルネットワークを構成し、画像生成モデルＭ１とする。画像生成モデルＭ１が生成した画像と、実際に塗装したサンプル品を撮像したサンプル画像との誤差を最小化するようにニューラルネットワークを学習し、最適化する。ニューラルネットワークは生成器: Generatorと、識別器: Discriminatorの２つのネットワークを用いて互いに競わせながら学習させるＧＡＮ（Generative Adversarial Network：敵対的生成ネットワーク）として構成されてもよい。

　この場合、教師データとして、例えば撮像画像Ｘ１，Ｘ２，Ｘ３・・・等を用いればよい。本変形例のように機械学習された画像生成モデルＭ１を適用することで、図８に示すように、変化特性（破線曲線Ｙ２）を実線曲線Ｙ１により近づけることができる。

　（３．３）第３変形例
　以下に第３変形例の検査支援システム１について、図９を参照しながら説明する。なお、以下の説明では、基本例と実質的に共通する構成要素については、適宜同じ参照符号を付して適宜にその説明を省略することがある。

　基本例では、画像データＩがＲＧＢの色濃度の変化に関するものであった。本変形例では、画像データＩがテクスチャの割合の変化に関する点で基本例と相違する。図９では、テクスチャの割合として、表面塗装において、金属片等の光輝材の入った塗料により粒子感が増して独特の質感を呈する粒状割合を例に図示している。第１標準画像Ａ１１は、粒状割合βが０（ゼロ）である。第２標準画像Ａ１２は、所定の領域内に一定量の粒状が存在する。粒状割合βは、塗装パラメータｐを正規化した値であり、０～１の値を取り得る。つまり、粒状割合βは、吐出量、塗装回数、及び霧化圧等の塗装パラメータｐについて第１標準画像Ａ１１から第２標準画像Ａ１２まで取り得る値を０～１でスケーリングしたものである。

　本変形例では、検査支援システム１の処理部１０は、画像処理にて、第２標準画像Ａ１２から、粒状のテクスチャのみを抽出する（図９のテクスチャＡ２を参照）。処理部１０は、テクスチャＡ２における粒状割合βを「１」と定義する。

　本変形例では、画像生成部１２は、画像生成モデルＭ１に基づき、粒状割合β（条件パラメータＰ１）を０～１で変化させる。画像生成部１２は、第１標準画像Ａ１１に、粒状割合β（例えば「０．５」）に応じた粒状のテクスチャＡ３を付与（合成）することで、評価画像Ｂ１を生成する。この場合、画像生成モデルＭ１は、テクスチャ（粒状）のずれ方向を定量化するためのモデルである。

　本変形例の構成によれば、テクスチャ（粒状）の変化についても評価画像Ｂ１を生成することができる。

　（３．４）その他の変形例
　基本例では、評価結果は、「良（ＯＫ）」及び「不良（ＮＧ）」の二段階である。しかし、評価結果は、三段階以上でもよく、例えば図１０Ａに示すように、「良（ＯＫ）」及び「不良（ＮＧ）」に、それらの中間に位置する「グレー」を加えた三段階でもよい。作成者Ｈ１は、図１０Ｂに示すように、各評価画像Ｂ１を目視で評価し、操作部３を用いて各評価画像Ｂ１に対する評価結果（ＯＫかＮＧかグレーか）を入力することになる。図１０Ａの例では、評価画像Ｂ１３，Ｂ１４の評価結果が「グレー」であり、その近傍に△マークが印されている。この場合、限度見本は、評価画像Ｂ１２～Ｂ１４のうちの少なくとも１つ（例えば評価画像Ｂ１２と評価画像Ｂ１４）に対応する塗装条件を用いて作成されてもよい。このようにＯＫとＮＧの中間（グレー）を設けることで、より段階的な検査基準を作成することが可能となる。この場合、「グレー」の評価画像Ｂ１３に最も近い、「ＯＫ」の評価画像Ｂ１２に対応する塗装条件を用いて、「ＯＫ」の限度となる良品限度見本が作成され、また、「グレー」の評価画像Ｂ１４に最も近い、「ＮＧ」の評価画像Ｂ１５に対応する塗装条件を用いて、「ＮＧ」の限度となる不良品限度見本が作成されてもよい。

　基本例では、表示部４は、標準画像Ａ１と各評価画像Ｂ１を一対一で同時に画面表示しているが、このような表示態様に限定されない。表示部４は、例えば図１１における画面Ｚ１に示すように、全ての評価画像Ｂ１を一行に並べた表示態様で、標準画像Ａ１と評価画像Ｂ１を同時に画面表示してもよい（評価画像の一覧表示）。或いは、表示部４は、例えば図１１における画面Ｚ２に示すように、全ての評価画像Ｂ１が標準画像Ａ１の中心を囲むような表示態様で、標準画像Ａ１と評価画像Ｂ１を同時に画面表示してもよい。この場合、作成者Ｈ１は、基本例のように画像を１枚ずつ比較する一対比較に比べて、試行回数を削減することができる。

　また表示部４は、標準画像Ａ１と評価画像Ｂ１を画面表示する以外にも、例えば図１２における画面Ｚ３に示すように、検査基準を決定するまで過程及び結果を画面表示してもよい。図１２の例では、図１０Ａに示した検査基準に関する結果を含むグラフが画面Ｚ３に表示されている。この場合、作成者Ｈ１は、検査基準を決定したプロセスを容易に把握することができる。

　基本例では、検査支援システム１は、原点（第１標準値Ｐ１１）から条件パラメータＰ１を増やす方向で変化させて評価画像Ｂ１を生成している。しかし、検査支援システム１は、例えば第１標準値Ｐ１１又は第２標準値Ｐ１２から、条件パラメータＰ１を減らす方向で変化させて評価画像Ｂ１を生成してもよい。

　（４）まとめ
　以上説明したように、第１の態様に係る検査支援システム（１）は、画像取得部（１１）と、画像生成部（１２）と、を備える。画像取得部（１１）は、対象（Ｔ１）に関する標準画像（Ａ１）であって、対象（Ｔ１）の表面の状態に関する工程条件における条件パラメータ（Ｐ１）が標準値に設定された標準画像（Ａ１）を取得する。画像生成部（１２）は、標準値を基準として、所定の画像生成モデル（Ｍ１）及び標準画像（Ａ１）に基づき条件パラメータ（Ｐ１）を変化させた、対象（Ｔ１）に関する複数の評価画像（Ｂ１）を生成する。

　この態様によれば、工程条件における条件パラメータ（Ｐ１）を用いて複数の評価画像（Ｂ１）が生成される。したがって、評価画像（Ｂ１）を用いれば、例えば複雑な外観的特徴量に関する設計を行って検査基準を決定する場合に比べて、検査基準をより容易に決定し得る。結果的に、検査支援システム（１）には、複雑な設計が必要となりにくい、という利点がある。

　第２の態様に係る検査支援システム（１）は、第１の態様において、標準画像（Ａ１）、及び複数の評価画像（Ｂ１）を表示する表示部（４）を更に備える。

　この態様によれば、ユーザは目視により標準画像（Ａ１）、及び複数の評価画像（Ｂ１）を確認できるため、検査基準をより容易に決定し得る。

　第３の態様に係る検査支援システム（１）は、第１又は第２の態様において、評価取得部（１３）と、基準決定部（１４）とを更に備える。評価取得部（１３）は、複数の評価画像（Ｂ１）に対する二段階以上の評価結果に関する評価情報を取得する。基準決定部（１４）は、評価情報に基づき、対象（Ｔ１）の表面の状態に対する検査基準を決定する。

　この態様によれば、より精度の高い検査基準が決定される。

　第４の態様に係る検査支援システム（１）は、第３の態様において、検査基準に対応する条件パラメータ（Ｐ１）に関する情報を出力する出力部（１５）を更に備える。

　この態様によれば、出力された上記情報を、例えば表面の状態に関する工程に対してフィードバックすることで、検査基準に対応する現物（限度見本）の作成及び確認が行える。

　第５の態様に係る検査支援システム（１）は、第３又は第４の態様において、学習部（７）と、良否判定部（８）とを更に備える。学習部（７）は、基準決定部（１４）で決定された検査基準に基づくラベルであって、表面の状態に関する良否のラベルが付与された画像データを学習データに用いて学習済みモデル（Ｍ２）を生成する。良否判定部（８）は、学習済みモデル（Ｍ２）を用いて、対象（Ｔ１）の検査画像（Ｃ１）に関する良否の判定を行う。

　この態様によれば、表面の状態に関する良否の判定精度が向上する。

　第６の態様に係る検査支援システム（１）は、第１～第５の態様のいずれか１つにおいて、記憶部（第１記憶部５）と、条件判定部（１６）とを更に備える。記憶部（第１記憶部５）は、条件パラメータ（Ｐ１）における複数の標準値にそれぞれ対応する複数の候補モデル（Ｎ１）を記憶する。条件判定部（１６）は、標準値と、複数の標準値の各々との類似性を判定し、複数の標準値の中に標準値との類似性の高い値が存在すれば、複数の候補モデル（Ｎ１）のうち当該値に対応する候補モデル（Ｎ１）を、画像生成モデル（Ｍ１）に選択する。

　この態様によれば、新たに画像生成モデル（Ｍ１）を作成したり選択したりする手間が省かれる。

　第７の態様に係る検査支援システム（１）に関して、第１～第６の態様のいずれか１つにおいて、標準画像（Ａ１）は、対象（Ｔ１）を撮像部（２）で撮像した撮像画像である。

　この態様によれば、例えば標準画像（Ａ１）がＣＧ画像である場合に比べて、標準画像（Ａ１）を容易に準備できる。またより精度の高い検査基準が決定される。

　第８の態様に係る検査支援システム（１）に関して、第１～第７の態様のいずれか１つにおいて、画像取得部（１１）は、条件パラメータ（Ｐ１）が、標準値としての第１標準値（Ｐ１１）とは異なる第２標準値（Ｐ１２）に設定された標準画像（Ａ１）を更に取得する。画像生成部（１２）は、第１標準値（Ｐ１１）と第２標準値（Ｐ１２）との間で、条件パラメータ（Ｐ１）を変化させた複数の評価画像（Ｂ１）を生成する。

　この態様によれば、対象（Ｔ１）の表面状態の変化に関する方向性をより明確に定義することができる。

　第９の態様に係る検査支援システム（１）に関して、第１～第８の態様のいずれか１つにおいて、画像生成モデル（Ｍ１）は、条件パラメータ（Ｐ１）を変数とする関数モデルである。

　この態様によれば、画像生成モデル（Ｍ１）が、例えば機械学習された学習済みモデルである場合に比べて、その準備が容易であり、より複雑な設計が必要となりにくくなる。

　第１０の態様に係る検査支援システム（１）に関して、第１～第８の態様のいずれか１つにおいて、画像生成モデル（Ｍ１）は、条件パラメータ（Ｐ１）を変えて生成された画像に関して機械学習されたモデルである。

　この態様によれば、画像生成モデル（Ｍ１）に関する精度が向上し、より現物に近い評価画像（Ｂ１）が生成されやすくなる。

　第１１の態様に係る検査支援システム（１）に関して、第１～第１０の態様のいずれか１つにおいて、工程条件とは、塗装条件である。条件パラメータ（Ｐ１）は、塗料の吐出量、塗料を霧化する圧力、対象（Ｔ１）の表面までの塗装距離、塗装回数、及び塗料の乾燥速度の少なくとも１つに関する。

　この態様によれば、塗装に関する複雑な設計が必要となりにくくなる。

　第１２の態様に係る検査支援方法は、画像取得処理と、画像生成処理と、を含む。画像取得処理では、対象（Ｔ１）に関する標準画像（Ａ１）であって、対象（Ｔ１）の表面の状態に関する工程条件における条件パラメータ（Ｐ１）が標準値に設定された標準画像（Ａ１）を取得する。画像生成処理では、標準値を基準として、所定の画像生成モデル（Ｍ１）及び標準画像（Ａ１）に基づき条件パラメータ（Ｐ１）を変化させた、対象（Ｔ１）に関する複数の評価画像（Ｂ１）を生成する。

　この態様によれば、複雑な設計が必要となりにくい検査支援方法を提供できる。

　第１３の態様に係るプログラムは、１以上のプロセッサに、第１２の態様における検査支援方法を実行させるためのプログラムである。

　この態様によれば、複雑な設計が必要となりにくい機能を提供できる。

　第２～１１の態様に係る構成については、検査支援システム（１）に必須の構成ではなく、適宜省略可能である。

　１　検査支援システム
　１１　画像取得部
　１２　画像生成部
　１３　評価取得部
　１４　基準決定部
　１５　出力部
　１６　条件判定部
　２　撮像部
　４　表示部
　５　第１記憶部（記憶部）
　７　学習部
　８　良否判定部
　Ａ１　標準画像
　Ｂ１　評価画像
　Ｃ１　検査画像
　Ｍ１　画像生成モデル
　Ｍ２　学習済みモデル
　Ｎ１　候補モデル
　Ｐ１　条件パラメータ
　Ｐ１１　第１標準値
　Ｐ１２　第２標準値
　Ｔ１　対象

Claims (13)

1. 　対象に関する標準画像であって、前記対象の表面の状態に関する工程条件における条件パラメータが標準値に設定された前記標準画像を取得する画像取得部と、
   　前記標準値を基準として、所定の画像生成モデル及び前記標準画像に基づき前記条件パラメータを変化させた、前記対象に関する複数の評価画像を生成する画像生成部と、
   を備える、
   　検査支援システム。
2. 　前記標準画像、及び前記複数の評価画像を表示する表示部を更に備える、
   　請求項１に記載の検査支援システム。
3. 　前記複数の評価画像に対する二段階以上の評価結果に関する評価情報を取得する評価取得部と、
   　前記評価情報に基づき、前記対象の表面の状態に対する検査基準を決定する基準決定部と、を更に備える、
   　請求項１又は２に記載の検査支援システム。
4. 　前記検査基準に対応する前記条件パラメータに関する情報を出力する出力部を更に備える、
   　請求項３に記載の検査支援システム。
5. 　前記基準決定部で決定された前記検査基準に基づくラベルであって、前記表面の状態に関する良否の前記ラベルが付与された画像データを学習データに用いて学習済みモデルを生成する学習部と、
   　前記学習済みモデルを用いて、前記対象の検査画像に関する良否の判定を行う良否判定部と、
   を更に備える、
   　請求項３又は４に記載の検査支援システム。
6. 　前記条件パラメータにおける複数の標準値にそれぞれ対応する複数の候補モデルを記憶する記憶部と、
   　前記標準値と、前記複数の標準値の各々との類似性を判定し、前記複数の標準値の中に前記標準値との類似性の高い値が存在すれば、前記複数の候補モデルのうち当該値に対応する候補モデルを、前記画像生成モデルに選択する条件判定部と、
   を更に備える、
   　請求項１～５のいずれか１項に記載の検査支援システム。
7. 　前記標準画像は、前記対象を撮像部で撮像した撮像画像である、
   　請求項１～６のいずれか１項に記載の検査支援システム。
8. 　前記画像取得部は、前記条件パラメータが、前記標準値としての第１標準値とは異なる第２標準値に設定された前記標準画像を更に取得し、
   　前記画像生成部は、前記第１標準値と前記第２標準値との間で、前記条件パラメータを変化させた前記複数の評価画像を生成する、
   　請求項１～７のいずれか１項に記載の検査支援システム。
9. 　前記画像生成モデルは、前記条件パラメータを変数とする関数モデルである、
   　請求項１～８のいずれか１項に記載の検査支援システム。
10. 　前記画像生成モデルは、前記条件パラメータを変えて生成された画像に関して機械学習されたモデルである、
    　請求項１～８のいずれか１項に記載の検査支援システム。
11. 　前記工程条件とは、塗装条件であり、
    　前記条件パラメータは、塗料の吐出量、塗料を霧化する圧力、前記対象の表面までの塗装距離、塗装回数、及び塗料の乾燥速度の少なくとも１つに関する、
    　請求項１～１０のいずれか１項に記載の検査支援システム。
12. 　対象に関する標準画像であって、前記対象の表面の状態に関する工程条件における条件パラメータが標準値に設定された前記標準画像を取得する画像取得処理と、
    　前記標準値を基準として、所定の画像生成モデル及び前記標準画像に基づき前記条件パラメータを変化させた、前記対象に関する複数の評価画像を生成する画像生成処理と、
    を含む、
    　検査支援方法。
13. 　１以上のプロセッサに、請求項１２に記載の検査支援方法を実行させるためのプログラム。

Images