JP2023015768A - モデル評価方法およびモデル評価システム - Google Patents

Abstract

【課題】検知ＡＩのモデル評価精度を向上することが好ましい。
【解決手段】入力データに応じた出力データを出力する対象モデルのモデル評価方法であって、対象モデルの入力データに関する複数のプロパティを取得する段階と、対象モデルを評価するための評価指標を取得する段階であって、複数のプロパティに関連する評価指標を取得する段階と、複数のプロパティに基づいて、予め定められた条件に該当する評価指標を特定するための指標特定データを出力する段階とを備えるモデル評価方法を提供する。
【選択図】図１

Description

本発明は、モデル評価方法およびモデル評価システムに関する。

「表示装置など多様な電子機器の製造工程で取得したセンサデータを機械学習モデルに適用して不良状態または欠陥を検知または予測する」ことが知られている（例えば、特許文献１参照）。
特許文献１ 特開２０２０－１２６６０１号公報

検知ＡＩのモデル評価精度を向上することが好ましい。

本発明の第１の態様においては、入力データに応じた出力データを出力する対象モデルのモデル評価方法であって、対象モデルの入力データに関する複数のプロパティを取得する段階と、対象モデルを評価するための評価指標を取得する段階であって、複数のプロパティに関連する評価指標を取得する段階と、複数のプロパティに基づいて、予め定められた条件に該当する評価指標を特定するための指標特定データを出力する段階とを備えるモデル評価方法を提供する。

指標特定データは、予め定められた条件に該当した評価指標に対応する入力データのサンプルデータを含んでよい。

指標特定データは、予め定められた条件に該当した評価指標に対応するプロパティの値の範囲を含んでよい。

モデル評価方法は、複数のプロパティの変化に応じた評価指標の分布を取得する段階を備えてよい。

予め定められた条件に該当する評価指標は、評価指標の分布の極値または極値から予め定められた範囲の評価指標であってよい。

指標特定データは、予め定められた基準を満たさない、改善すべき評価指標を特定するための情報であってよい。

モデル評価方法は、複数のプロパティの任意のプロパティ毎に、評価指標を出力する段階を備えてよい。

複数のプロパティは、値が連続的に変化する連続変化プロパティを含んでよい。

連続変化プロパティは、対象モデルの入力データにおける、検知対象の位置、検知対象の形状、検知対象の色、光源位置または光源強度の少なくとも１つを示してよい。

複数のプロパティは、値が連続的に変化しない非連続変化プロパティを含んでよい。

非連続変化プロパティは、対象モデルの入力データにおける、検知対象のテクスチャ、入力画像、カテゴリまたはクラスの少なくとも１つを示してよい。

モデル評価方法は、予め定められた拡張モデルを用いて、非連続変化プロパティの間を補完した補完データを生成する段階を備えてよい。モデル評価方法は、補完データを用いて対象モデルに学習処理を実行させる段階を備えてよい。

モデル評価方法は、複数のプロパティから対象モデルの評価対象としない評価非対象プロパティを指定する段階を備えてよい。モデル評価方法は、複数のプロパティから評価非対象プロパティを除外した評価対象プロパティに基づいて、複数のプロパティを組みわせたに応じた評価指標を取得する段階を備えてよい。

対象モデルは、元データと、元データから拡張した拡張データに基づいて、学習されたモデルであってよい。

モデル評価方法は、予め定められた条件に該当する評価指標に基づいて追加拡張データを生成する段階を備えてよい。モデル評価方法は、追加拡張データに基づいて、対象モデルの学習処理を実行する段階を備えてよい。

本発明の第２の態様においては、コンピュータに本発明の第１の態様に記載のモデル評価方法を実行させるためのプログラムを提供する。

本発明の第３の態様においては、入力データに応じた出力データを出力する対象モデルのモデル評価システムであって、対象モデルの入力データに関する複数のプロパティを取得するプロパティ取得部と、対象モデルを評価するための評価指標であって、複数のプロパティに関連する評価指標を取得する指標取得部と、複数のプロパティに基づいて、予め定められた条件に該当する評価指標を特定するための指標特定データを出力する出力部とを備えるモデル評価システムを提供する。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

モデル評価システム１００の構成の概要を示す。 モデル評価システム１００を用いた評価方法の一例である。 モデル評価システム１００を用いた評価結果Ｅｒの一例である。 モデル評価システム１００を用いた評価結果Ｅｒの変形例である。 モデル評価システム１００の変形例を示す。 モデル評価システム１００を用いた評価方法の一例である。 拡張データＤｅの生成方法の一例を示す。 拡張データＤｅの生成方法の一例を示す。 拡張データＤｅの生成方法の一例を示す。 非連続変化プロパティＰｄを含む評価結果Ｅｒの一例を示す。 モデル評価システム１００の変形例を示す。 モデル評価システム１００を用いた評価方法の一例である。 本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ２２００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、モデル評価システム１００の構成の概要を示す。モデル評価システム１００は、入力部１０と、指標取得部２０と、出力部３０とを備える。本例の入力部１０は、対象モデル取得部１２と、プロパティ取得部１４と、元データ取得部１６とを有する。モデル評価システム１００は、予め定められた対象モデルＭｔを評価して、評価結果Ｅｒを出力する。

対象モデル取得部１２は、対象モデルＭｔの出力データを取得する。本例の対象モデル取得部１２は、学習済みの対象モデルＭｔを有し、出力データを取得している。対象モデル取得部１２は、対象モデルＭｔの学習処理を実行してよい。対象モデル取得部１２は、対象モデルＭｔを有さず、外部に設けられた対象モデルＭｔから出力データを取得してもよい。

対象モデルＭｔは、予め定められた入力データに応じて、検知対象を検知した検知結果を出力する。対象モデルＭｔは、学習処理によって生成可能な検知ＡＩであってよい。対象モデルＭｔの検知モデルの種類は特に限定されない。対象モデルＭｔは、物体検知モデルであってよく、セグメンテーションモデルであってよく、ラベル推定モデルであってもよい。

対象モデルＭｔの検知モデルは、画像検知モデル、音声検知モデル、動作検知モデル、文章判定モデル、映画分析モデルまたはプラント異常検知モデルのいずれかであってよい。顔検知モデルの場合、対象モデルＭｔは、入力された画像から、画像内の顔を含む方形領域の座標を取得してよい。不良検知モデルの場合、対象モデルＭｔは、検知対象の不良箇所の位置または形状を検知してよい。

プロパティ取得部１４は、対象モデルＭｔの入力データに関するプロパティ情報Ｉｐを取得する。プロパティ情報Ｉｐは、指定されたプロパティＰの種類およびプロパティＰの値に関する情報を含む。モデル評価システム１００は、プロパティ取得部１４が指定したプロパティＰの出力データに基づいて、対象モデルＭｔを評価してよい。

プロパティ情報Ｉｐは、複数のプロパティＰから評価対象として指定された評価対象プロパティを含んでもよいし、対象モデルＭｔの評価対象としない評価非対象プロパティを含んでもよい。プロパティ取得部１４は、評価非対象プロパティを指定することにより、計算を簡略化してコストを削減できる。プロパティ取得部１４は、ユーザからの入力に応じて評価するプロパティＰを指定してもよい。

プロパティＰの種類または値を指定することにより、特定の範囲を指定して対象モデルＭｔを評価することができる。プロパティ情報Ｉｐは、検知対象プロパティ、背景プロパティ、または環境プロパティなどの任意の情報を含んでよい。また、プロパティ情報Ｉｐは、検知対象のテクスチャに関する情報を含んでよく、モード（例えば、不良の種類）に関する情報を含んでよい。

検知対象プロパティは、検知対象の人物性、性別、人種、年齢または顔の角度のような情報を含んでよい。背景プロパティは、検知対象が存在する場所を示す情報を含んでよい。環境プロパティは、照明条件、顔領域の障害物の有無（例えば、手、腕、メガネ、マスク、髪の毛または帽子など）、顔の解像度またはノイズ印加に関する情報を含んでよい。顔の解像度は、目の間の画素数に応じて算出されてよい。

プロパティ取得部１４は、対象モデルＭｔを評価するためのプロパティＰを取得する。プロパティ取得部１４は、取得したプロパティＰから、対象モデルＭｔを評価するためのサンプル点を指定してよい。サンプル点の指定方法は、グリッドサーチであってよく、ガウス過程回帰であってもよい。グリッドサーチを用いる場合、プロパティ取得部１４は、各プロパティＰの予め定められた範囲において、指定の間隔でサンプル点を指定してよい。また、ガウス過程回帰を用いる場合、グリッドサーチと比較してサンプル点を削減することができる。これにより、より効率的に網羅性および連続性を向上することができる。また、グリッドサーチやガウス過程回帰に限らず学習済みモデルを利用したサンプル点の指定方法を用いてもよい。

元データ取得部１６は、対象モデルＭｔに入力するための元データＤｏを取得する。元データＤｏは、対象モデルＭｔの学習用に用いられてもよい。元データＤｏは、検知対象を含む画像であってよい。元データ取得部１６は、取得した元データＤｏを指標取得部２０に入力する。

指標取得部２０は、対象モデルＭｔを評価するための評価指標Ｅｉを取得する。例えば、指標取得部２０は、評価指標Ｅｉとして、検知ＡＩの検知率、誤検知率または見逃し率を取得する。本例の指標取得部２０は、複数のプロパティＰに関連する評価指標Ｅｉを取得する。指標取得部２０は、プロパティ取得部１４で指定されたプロパティＰのサンプル点に応じた範囲で評価指標Ｅｉを算出してよい。

指標取得部２０は、複数のプロパティＰから評価対象プロパティに基づいて、複数のプロパティＰに応じた評価指標Ｅｉを取得してよい。この場合、指標取得部２０は、評価非対象プロパティに応じた範囲で対象モデルＭｔを評価する必要がない。これにより、不要な評価指標Ｅｉを取得する必要がなくなり、計算を簡略化することができる。

出力部３０は、対象モデルＭｔの評価結果Ｅｒを出力する。評価結果Ｅｒは、指定されたプロパティＰと評価指標Ｅｉとの関係を含んでよい。出力部３０は、評価結果Ｅｒを表示するためのディスプレイなどの表示部を有してよい。

本例の出力部３０は、複数のプロパティＰに基づいて、予め定められた条件に該当する評価指標Ｅｉを特定するための指標特定データＤｉを出力する。予め定められた条件に該当する評価指標Ｅｉとは、例えば、評価指標Ｅｉが検知率である場合、対象モデルＭｔに要求される基準よりも検知率が悪い評価指標Ｅｉであってよい。

指標特定データＤｉは、予め定められた条件に該当した評価指標Ｅｉに対応する入力データであってよい。一例において、指標特定データＤｉは、検知率の低い評価指標Ｅｉを特定するための情報である。例えば、指標特定データＤｉは、対象モデルＭｔの入力画像データなどのサンプルデータを含む。出力部３０は、サンプルデータとして、入力画像データを出力することにより、予め定められた条件に該当する指標をユーザに直感的に知らせることができる。

また、指標特定データＤｉは、予め定められた条件に該当した評価指標Ｅｉに対応するプロパティＰの範囲を含んでよい。指標特定データＤｉは、予め定められた誤検知率以上の評価指標Ｅｉに対応するプロパティＰの数値範囲であってよい。例えば、出力部３０は、検知率の低いプロパティＰの範囲を出力することで、対象モデルＭｔが苦手とする範囲を可視化することができる。なお、指標特定データＤｉは、検知率の高い評価指標Ｅｉの画像サンプル、プロパティＰの評価指標Ｅｉへの寄与率等であってよい。

図２Ａは、モデル評価システム１００を用いた評価方法の一例である。本例のモデル評価システム１００は、人物検知モデルである対象モデルＭｔを評価して、評価指標ＥｉとプロパティＰの値との関係を表示している。本例の元データＤｏは、検知対象である人物の画像であり、対象モデルＭｔに入力される。本例の出力部３０は、対象モデルＭｔの評価指標Ｅｉに基づいて、対象モデルＭｔを評価するための評価結果Ｅｒを出力している。

評価結果Ｅｒは、モデル評価システム１００が対象モデルＭｔを評価した結果であれば表示形式は限定されない。本例の評価結果Ｅｒは、プロパティＰの変化に応じた評価指標Ｅｉの分布である。評価結果Ｅｒの縦軸は評価指標Ｅｉを示し、横軸はプロパティＰの値を示す。例えば、評価結果Ｅｒは、年齢に応じた誤検知率の分布である。本例の評価結果Ｅｒでは、評価指標Ｅｉの改善すべき領域が破線の円でマーキングされている。

図２Ｂは、モデル評価システム１００を用いた評価結果Ｅｒの一例である。モデル評価システム１００は、評価指標Ｅｉの分布の極値Ｖｅを用いて、予め定められた条件に該当する指標特定データＤｉを出力する。

範囲Ｒｖｅは、極値Ｖｅから予め定められた範囲のプロパティＰの値である。例えば、範囲Ｒｖｅは、評価指標Ｅｉが極値Ｖｅの半分の値となるプロパティＰの範囲である。予め定められた条件に該当する評価指標Ｅｉは、極値Ｖｅまたは範囲Ｒｖｅの評価指標Ｅｉであってよい。本例のモデル評価システム１００は、極値Ｖｅを基準として検知率の低い範囲を可視化することができる。

モデル評価システム１００は、極値Ｖｅまたは範囲Ｒｖｅに応じた指標特定データＤｉを出力してよい。本例のモデル評価システム１００は、指標特定データＤｉとして、極値Ｖｅの入力画像を表示することにより、検知率の低い元データＤｏを可視化している。モデル評価システム１００は、指標特定データＤｉとして入力画像をユーザに表示することで、検知率の低い元データＤｏを直感的に知らせることができる。

図２Ｃは、モデル評価システム１００を用いた評価結果Ｅｒの変形例である。モデル評価システム１００は、複数のプロパティＰのそれぞれと評価指標Ｅｉとの関係を示している。

出力部３０は、複数のプロパティＰのプロパティＰ毎に、評価指標Ｅｉを出力する。本例では、複数のプロパティＰとして、検知対象の年齢および顔の角度が指定されている。出力部３０は、指定されたプロパティＰごとに独立に評価指標Ｅｉを出力する。

例えば、２０～３０歳の年代の元データＤｏが多く、１０代と４０代以上の検知率が低い場合がある。この場合、モデル評価システム１００は、検知率の低い年代のデータを増やして、対象モデルＭｔに学習処理を実行させてよい。これにより、対象モデルＭｔの検知精度を改善することができる。

本例の出力部３０は、１つのプロパティＰに対する評価指標Ｅｉの分布を出力しているが、複数のプロパティＰのプロパティＰ毎に評価指標Ｅｉの分布を出力してもよい。出力部３０は、複数のプロパティＰの組み合わせに応じた評価指標Ｅｉの分布を出力してもよい。例えば、出力部３０は、複数のプロパティＰを組みわせた３次元空間において、評価指標Ｅｉの分布を表示する。また、出力部３０は、指定されたプロパティＰを任意の個数に分割して、分割された範囲に含まれる全データに対する指標を平均したものを、その範囲の値として表示してよい。また、出力部３０は、評価指標Ｅｉの信頼区間を表示してもよい。

モデル評価システム１００は、評価指標Ｅｉの悪いデータを可視化することにより、プロパティＰの連続性および網羅性を向上して、対象モデルＭｔを効率的に学習させることができる。モデル評価システム１００は、網羅性を向上することにより、多様なプロパティＰに応じた評価指標Ｅｉを検出でき、限られたデータ範囲で評価する場合よりもモデル評価の精度を向上することができる。モデル評価システム１００は、プロパティＰの連続性を向上することにより、離散的に評価指標Ｅｉを取得するよりも、評価精度を向上することができる。

図３は、モデル評価システム１００の変形例を示す。モデル評価システム１００は、データ拡張部２２および記憶部４０を備える点で、図１の実施例と相違する。その他の点は、図１の実施例と同一であってよい。

データ拡張部２２は、データ拡張モデルＭｅを有し、元データＤｏからデータ拡張した拡張データＤｅを生成する。本例のデータ拡張部２２は、出力部３０が出力した評価結果Ｅｒまたは評価指標Ｅｉに基づいて元データＤｏを拡張する。データ拡張部２２は、評価指標Ｅｉの悪い範囲を補完するように拡張データＤｅを生成してよい。データ拡張部２２は、生成した拡張データＤｅを指標取得部２０に出力する。

指標取得部２０は、元データＤｏおよび拡張データＤｅを用いて、対象モデルＭｔの学習処理を実行する。このように、元データＤｏを拡張して学習することにより、プロパティＰと評価指標Ｅｉとの関係が離散的になることを回避して、網羅性と連続性を改善することができる。

記憶部４０は、入力部１０が取得したプロパティＰまたは元データＤｏなどの入力データを記憶してよい。記憶部４０は、データ拡張部２２が生成した拡張データＤｅを記憶してもよい。データ拡張部２２は、記憶部４０に記憶された情報を、データ拡張時に読み出してよい。

なお、データ拡張部２２によるデータ拡張手段は特に限定されない。データ拡張部２２によるデータ拡張手段は、画像変換モデルを用いたデータ拡張であっても、画像処理によるデータ拡張であってもよい。画像変換モデルによるデータ拡張では、年齢変換、顔の角度変換または照明変更等の方法を用いてデータ拡張してよい。画像処理によるデータ拡張では、リサイズによる解像度の変更、ぼかしの印加、ノイズの印加、障害物の貼り付け等の方法を用いてデータ拡張してよい。データ拡張部２２は、データ拡張モデルＭｅによって、元データＤｏの人物性を拡張してもよい。人物性の拡張では、任意の人物Ａと他の人物Ｂとの間の人物を生成してもよい。

図４Ａは、モデル評価システム１００を用いた評価方法の一例である。本例のモデル評価システム１００は、元データＤｏから拡張した拡張データＤｅを生成して、元データＤｏおよび拡張データＤｅで学習した対象モデルＭｔを評価している。評価結果Ｅｒの縦軸は、評価指標Ｅｉの一例として誤検知率を示している。

元データＤｏは、良品実画像Ｄｏｇと不良品実画像Ｄｏｂを含む。データ拡張モデルＭｅは、良品実画像Ｄｏｇおよび不良品実画像Ｄｏｂに応じて、拡張された不良品拡張画像Ｄｅｂを生成する。不良品拡張画像Ｄｅｂは、拡張データＤｅの一例である。これにより、不良品実画像Ｄｏｂが少ない場合であっても、不良品拡張画像Ｄｅｂで不良品画像を補完して、対象モデルＭｔに学習させることができる。

対象モデルＭｔは、良品実画像Ｄｏｇ、不良品実画像Ｄｏｂおよび不良品拡張画像Ｄｅｂを学習用データとして学習処理が実行される。評価指標Ｅｉは、不良品拡張画像Ｄｅｂで学習済みの対象モデルＭｔを、任意の評価モデルで評価することで生成される。評価結果Ｅｒは、不良品拡張画像Ｄｅｂで学習された対象モデルＭｔの評価指標Ｅｉと、プロパティＰの値との関係を示す。

データ拡張部２２は、学習用の元データＤｏが少なく、評価指標Ｅｉが予め定められた基準よりも悪いプロパティＰのデータを拡張してよい。拡張データＤｅのデータ量の下限は、予め定められた基準よりも評価指標Ｅｉが向上するように決定されてよい。拡張データＤｅの上限は、評価結果Ｅｒを生成するためのデータ生成コストの増大を回避するように決定されてよい。一例において、データ拡張部２２は、予め生成する拡張データＤｅのデータ量を決定しておき、検知精度の不確実性の高いデータを優先的にデータ拡張する。

評価結果Ｅｒの破線は、データ拡張前の評価結果Ｅｒを示す。評価結果Ｅｒの実線は、データ拡張後の評価結果Ｅｒを示す。データ拡張後の評価指標Ｅｉでは、拡張データＤｅを用いることにより、全体的に誤検知率を低下している。また、データ拡張後の評価指標Ｅｉでは、データ拡張前では評価されていなかったデータ範囲が評価されている。

このように、本例のモデル評価システム１００は、実画像の元データＤｏには含まれていない未知の画像をデータ拡張することができる。これにより、対象モデルＭｔの検知精度を改善して、実ライン導入までの準備期間を短縮することができる。

図４Ｂは、拡張データＤｅの生成方法の一例を示す。本例の検知対象は、ペットボトルの蓋である。本例では、ラベル情報Ｌ１を用いてペットボトルの蓋の不良位置を指定して、不良品の拡張データＤｅを生成する。良品実画像Ｄｏｇは、不良のないペットボトルの蓋の画像である。

ラベル情報Ｌ１は、良品実画像Ｄｏｇの任意の位置にデータ適用領域Ｒ１を指定した情報を含む。ラベル情報Ｌ１は、検知対象の位置、形状またはテクスチャの少なくとも１つに関する情報を含んでもよい。ラベル情報Ｌ１は、検知対象の位置等を特定できる情報であればよく、画像データ、座標等の数値データまたはこれらの組み合わせであってよい。

データ適用領域Ｒ１は、ペットボトルの蓋において、任意の位置および形状を指定する。データ拡張モデルＭｅは、任意の不良箇所のデータをデータ適用領域Ｒ１に適用して、不良品の拡張データＤｅを生成する。本例の不良は蓋の側面に生じた傷であるが、不良モードの種類はこれに限定されない。データ拡張部２２は、データ適用領域Ｒ１に複数の種類の傷を適用してデータ拡張してもよい。

図４Ｃは、拡張データＤｅの生成方法の一例を示す。本例では、図４Ｂの実施例と異なる種類の不良箇所を拡張した拡張データＤｅを生成している。本例のデータ適用領域Ｒ１は、蓋の欠けを示している。データ適用領域Ｒ１は、蓋の下部における三角形の領域として指定されている。データ適用領域Ｒ１の形状は、他の形状であってもよく、複数設けられてもよい。データ適用領域Ｒ１の位置および大きさなどは、プロパティＰを不良箇所の位置および大きさに指定して出力された評価指標Ｅｉの分布に応じて適宜変更されてよい。

図４Ｄは、拡張データＤｅの生成方法の一例を示す。本例では、不良箇所を有する蓋の画像を拡張して、不良箇所の位置を変化させている。本例のモデル評価システム１００は、不良箇所の位置を変化させて、拡張データＤｅ＿１～拡張データＤｅ＿ｎのｎ個の拡張データＤｅを生成している。

ここで、不良箇所の位置が画像の横軸方向のいずれの位置に属するかによっても、対象モデルＭｔの検知精度に分布が生じる。例えば、蓋の中央に不良箇所が位置する場合よりも、蓋の端部に不良箇所が位置する場合の方が、検知精度が悪化することがある。このような場合、モデル評価システム１００は、蓋の端部にデータ適用領域Ｒ１を指定して、拡張データＤｅを生成することにより、対象モデルＭｔの検知精度を向上させることができる。

図４Ｅは、非連続変化プロパティＰｄを含む評価結果Ｅｒの一例を示す。本例の複数のプロパティＰは、連続変化プロパティＰｃおよび非連続変化プロパティＰｄを含んでいる。縦軸は評価指標Ｅｉとして誤検知率を示している。横軸は、連続変化プロパティＰｃの一例として不良位置の座標と、非連続変化プロパティＰｄの一例としてテクスチャをそれぞれ示している。

連続変化プロパティＰｃは、値が連続的に変化するプロパティＰである。例えば、連続変化プロパティＰｃは、検知対象の位置、形状または色である。連続変化プロパティＰｃは、検知対象が存在する空間の光源位置または光源強度を含んでもよい。連続変化プロパティＰｃは、プロパティＰの値を例えば０から１までの範囲に正規化して使用されてよい。連続変化プロパティＰｃが年齢である場合、年齢の値をそのまま用いてもよいし、年齢の値を予め定められた個数（例えば、２０個）のサンプル点に分割して設定してもよい。

非連続変化プロパティＰｄは、値が連続的に変化しないプロパティＰである。テクスチャは、非連続変化プロパティＰｄの一例であり、不良箇所の傷またはシミのようなテクスチャを含んでよい。非連続変化プロパティＰｄは、対象モデルＭｔの入力データにおける、検知対象のテクスチャ、入力画像、カテゴリまたはクラスの少なくとも１つであってよい。

ここで、プロパティ取得部１４は、予め定められた拡張モデルＭｅを用いて、非連続変化プロパティＰｄの間を補完した補完データを生成してよい。非連続変化プロパティＰｄがテクスチャの場合、テクスチャの種類に応じた個数のプロパティＰの値を指定して、それぞれのプロパティＰの値を補完したプロパティＰの値を生成してもよい。対象モデル取得部１２は、補完データを用いて対象モデルＭｔに学習処理を実行させてよい。

例えば、モデル評価システム１００は、ペットボトルの蓋に付いたシミと傷の中間のようなテクスチャを生成することで、テクスチャのように値が連続しないプロパティＰであっても評価指標Ｅｉの分布を取得することができる。したがって、モデル評価システム１００は、プロパティＰの値を補完することにより、非連続変化プロパティＰｄの連続性および網羅性を向上することができる。

図５Ａは、モデル評価システム１００の変形例を示す。本例のデータ拡張部２２は、評価結果Ｅｒに基づいて生成された追加拡張データＤａを生成する点で図３の実施例と相違する。その他の点は、図３の実施例と同一であってもよい。

データ拡張部２２は、予め定められた条件に該当する評価指標Ｅｉに基づいて追加拡張データＤａを生成する。データ拡張部２２は、元データＤｏまたは拡張データＤｅではサンプルのデータ数が足りない部分を追加拡張データＤａで補完することができる。データ拡張部２２は、追加拡張データＤａの生成時に記憶部４０に記憶された元データＤｏおよび拡張データＤｅを取得してもよい。追加拡張データＤａは、記憶部４０に記憶されてよい。

追加拡張データＤａのデータ量は、元データＤｏおよび拡張データＤｅのデータ量に応じて決定されてよい。追加拡張データＤａのデータ量が元データＤｏおよび拡張データＤｅのデータ量よりも少ないと、追加拡張データＤａの効果が十分に得られず、追加拡張データＤａのデータ量が元データＤｏおよび拡張データＤｅのデータ量よりも多すぎても、対象モデルＭｔの検知精度が悪化する場合がある。

指標取得部２０は、追加拡張データＤａに基づいて、対象モデルＭｔの学習処理を実行する。これにより、評価結果Ｅｒに応じてプロパティＰの網羅性および連続性を向上して、対象モデルＭｔの検知精度を向上することができる。

図５Ｂは、モデル評価システム１００を用いた評価方法の一例である。本例のモデル評価システム１００は、不良品追加拡張画像Ｄａｂを生成して、不良品追加拡張画像Ｄａｂで学習した対象モデルＭｔを評価している。不良品追加拡張画像Ｄａｂは、追加拡張データＤａの一例である。評価結果Ｅｒの縦軸は、評価指標Ｅｉの一例として誤検知率を示している。本例のデータ拡張部２２は、評価結果Ｅｒにおいて誤検知率の大きなデータ範囲を追加で拡張している。これにより、データ拡張後の評価指標Ｅｉでは、誤検知率の高いデータ範囲を中心に改善され、評価指標Ｅｉの分布の偏りを補正することができる。

本例のモデル評価システム１００は、評価結果Ｅｒに基づいて、追加拡張データＤａを生成するので、より効率的にデータを拡張することができる。また、モデル評価システム１００は、対象モデルＭｔの評価と、対象モデルＭｔの検知精度の改善の両方を一貫して実現できる。

モデル評価システム１００は、検知ＡＩモデルの種類に限定されることなく、任意の対象モデルＭｔを評価して、改善することができる。例えば、モデル評価システム１００は、自動運転向けの物体検知モデルの評価に用いられる。この場合、モデル評価システム１００は、プロパティＰとして、天候、物体のカテゴリ、大きさ、色、テクスチャ、角度、人物のポーズまたは服装を指定してよい。また、モデル評価システム１００は、セグメンテーションモデルの評価に用いてもよい。モデル評価システム１００は、特定の状況で歩行者を見逃すなどの評価結果Ｅｒを可視化することにより、事故を予め防止することができる。モデル評価システム１００は、監視カメラによる人の行動検知にも用いられてもよい。

図６は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作又は当該装置の１又は複数のセクションとして機能させることができ、又は当該操作又は当該１又は複数のセクションを実行させることができ、及び／又はコンピュータ２２００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、及びディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、及びＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０及びキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

ＣＰＵ２２１２は、ＲＯＭ２２３０及びＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等又はそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラム及びデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、及び／又はコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ２２０１又はＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、又はＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ２２００の使用に従い情報の操作又は処理を実現することによって構成されてよい。

例えば、通信がコンピュータ２２００及び外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、又はＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラム又はソフトウェアモジュールは、コンピュータ２２００上又はコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバーシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０・・・入力部、１２・・・対象モデル取得部、１４・・・プロパティ取得部、１６・・・元データ取得部、２０・・・指標取得部、２２・・・データ拡張部、３０・・・出力部、４０・・・記憶部、１００・・・モデル評価システム、２２００・・・コンピュータ、２２０１・・・ＤＶＤ－ＲＯＭ、２２１０・・・ホストコントローラ、２２１２・・・ＣＰＵ、２２１４・・・ＲＡＭ、２２１６・・・グラフィックコントローラ、２２１８・・・ディスプレイデバイス、２２２０・・・入／出力コントローラ、２２２２・・・通信インタフェース、２２２４・・・ハードディスクドライブ、２２２６・・・ＤＶＤ－ＲＯＭドライブ、２２３０・・・ＲＯＭ、２２４０・・・入／出力チップ、２２４２・・・キーボード

Claims (17)

1. 入力データに応じた出力データを出力する対象モデルのモデル評価方法であって、
   対象モデルの入力データに関する複数のプロパティを取得する段階と、
   前記対象モデルを評価するための評価指標を取得する段階であって、前記複数のプロパティに関連する評価指標を取得する段階と、
   前記複数のプロパティに基づいて、予め定められた条件に該当する前記評価指標を特定するための指標特定データを出力する段階と
   を備えるモデル評価方法。
2. 前記指標特定データは、前記予め定められた条件に該当した前記評価指標に対応する前記入力データのサンプルデータを含む
   請求項１に記載のモデル評価方法。
3. 前記指標特定データは、前記予め定められた条件に該当した前記評価指標に対応するプロパティの値の範囲を含む
   請求項１または２に記載のモデル評価方法。
4. 前記複数のプロパティの変化に応じた前記評価指標の分布を取得する段階を備える
   請求項１から３のいずれか一項に記載のモデル評価方法。
5. 前記予め定められた条件に該当する前記評価指標は、前記評価指標の分布の極値または前記極値から予め定められた範囲の評価指標である
   請求項４に記載のモデル評価方法。
6. 前記指標特定データは、予め定められた基準を満たさない、改善すべき前記評価指標を特定するための情報である
   請求項１から５のいずれか一項に記載のモデル評価方法。
7. 前記複数のプロパティの任意のプロパティ毎に、前記評価指標を出力する段階を備える
   請求項１から６のいずれか一項に記載のモデル評価方法。
8. 前記複数のプロパティは、値が連続的に変化する連続変化プロパティを含む
   請求項１から７のいずれか一項に記載のモデル評価方法。
9. 前記連続変化プロパティは、前記対象モデルの前記入力データにおける、検知対象の位置、前記検知対象の形状、前記検知対象の色、光源位置または光源強度の少なくとも１つを示す
   請求項８に記載のモデル評価方法。
10. 前記複数のプロパティは、値が連続的に変化しない非連続変化プロパティを含む
    請求項１から９のいずれか一項に記載のモデル評価方法。
11. 前記非連続変化プロパティは、前記対象モデルの前記入力データにおける、検知対象のテクスチャ、入力画像、カテゴリまたはクラスの少なくとも１つを示す
    請求項１０に記載のモデル評価方法。
12. 予め定められた拡張モデルを用いて、前記非連続変化プロパティの間を補完した補完データを生成する段階と、
    前記補完データを用いて前記対象モデルに学習処理を実行させる段階と
    を備える請求項１０または１１に記載のモデル評価方法。
13. 前記複数のプロパティから前記対象モデルの評価対象としない評価非対象プロパティを指定する段階と、
    前記複数のプロパティから前記評価非対象プロパティを除外した評価対象プロパティに基づいて、前記複数のプロパティを組みわせたに応じた評価指標を取得する段階と、
    を備える請求項１から１２のいずれか一項に記載のモデル評価方法。
14. 前記対象モデルは、元データと、前記元データから拡張した拡張データに基づいて、学習されたモデルである
    請求項１から１３のいずれか一項に記載のモデル評価方法。
15. 前記予め定められた条件に該当する前記評価指標に基づいて追加拡張データを生成する段階と、
    前記追加拡張データに基づいて、前記対象モデルの学習処理を実行する段階と
    を備える
    請求項１から１４のいずれか一項に記載のモデル評価方法。
16. コンピュータに請求項１から１５のいずれか一項に記載のモデル評価方法を実行させるためのプログラム。
17. 入力データに応じた出力データを出力する対象モデルのモデル評価システムであって、
    対象モデルの入力データに関する複数のプロパティを取得するプロパティ取得部と、
    前記対象モデルを評価するための評価指標であって、前記複数のプロパティに関連する前記評価指標を取得する指標取得部と、
    前記複数のプロパティに基づいて、予め定められた条件に該当する前記評価指標を特定するための指標特定データを出力する出力部と
    を備えるモデル評価システム。

Images