JP2018063504A - 生成モデル学習方法、装置及びプログラム - Google Patents

Abstract

【課題】 生成モデルによる、ユーザにとって好ましくないデータの生成を抑制する。
【解決手段】 一実施形態に係る生成モデル学習方法は、予め用意された学習データに基づいて、第１生成モデルを教師なし学習により学習する第１学習工程と、前記第１生成モデルによる生成データを生成する生成工程と、前記学習データと、ユーザにより好ましくないと判定された前記生成データと、に基づいて、第２生成モデルを教師あり学習により学習する第２学習工程と、を含む。
【選択図】 図１

Description

本発明は、生成モデル学習方法、装置及びプログラムに関する。

従来、人工知能の分野では、生成モデルが利用されている。生成モデルは、データセットのモデルを学習することにより、当該データセットに含まれる学習データと類似するデータを生成することができる。

近年、変分自己符号化器（ＶＡＥ：Variational Auto Encoder）や敵対的ネットワーク（ＧＡＮ：Generative Adversarial Networks）などの、ディープラーニングを利用した生成モデルが提案されている。これらの生成モデルは、深層生成モデルと呼ばれ、従来の生成モデルに比べて、高い精度で学習データに類似するデータを生成することができる。

しかしながら、従来の深層生成モデルは、生成されるデータの制御が困難であったため、ユーザにとって好ましくないデータが生成されることがあった。ユーザにとって好ましくないデータとして、例えば、画像データを生成する深層生成モデルにより生成される、立体形状を無視した画像データや、テクスチャが不均一な画像データなどが挙げられる。

本発明は、上記の課題に鑑みてなされたものであり、生成モデルによる、ユーザにとって好ましくないデータの生成を抑制することを目的とする。

一実施形態に係る生成モデル学習方法は、予め用意された学習データに基づいて、第１生成モデルを教師なし学習により学習する第１学習工程と、前記第１生成モデルによる生成データを生成する生成工程と、前記学習データと、ユーザにより好ましくないと判定された前記生成データと、に基づいて、第２生成モデルを教師あり学習により学習する第２学習工程と、を含む。

本発明の各実施形態によれば、生成モデルによる、ユーザにとって好ましくないデータの生成を抑制することができる。

生成モデル学習装置の機能構成の一例を示す図。 生成モデル学習装置のハードウェア構成の一例を示す図。 第１実施形態における第１生成モデル（ＤＣＧＡＮ）の構成を模式的に示した図。 第１実施形態における第１生成モデルの学習処理を示すフローチャート。 第１実施形態における第２生成モデル（ＢＤＣＧＡＮ）の構成を模式的に示した図。 第１実施形態における第２生成モデルの学習処理を示すフローチャート。 第１実施形態に係る生成モデル学習処理が実行する学習処理の一例を示すフローチャート。 第１実施形態における第１生成モデル及び第２生成モデルの識別器の構造の一例を示す図。 第２実施形態における第２生成モデル（ＣＧＡＮ）の構成を模式的に示した図。 第２実施形態における第２生成モデルの学習処理を示すフローチャート。 第２実施形態に係る生成モデル学習処理が実行する学習処理の一例を示すフローチャート。 第２実施形態における第１生成モデル及び第２生成モデルの識別器の構造の一例を示す図。 第２実施形態における第１生成モデル及び第２生成モデルの生成器の構造の一例を示す図。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。

（第１実施形態）
第１実施形態に係る生成モデル学習装置１（以下、「学習装置１」という）について、図１〜図８を参照して説明する。まず、学習装置１の機能構成について説明する。図１は、学習装置１の機能構成の一例を示す図である。図１の学習装置１は、データセット記憶部１１と、第１学習部１２と、データ生成部１３と、データ表示部１４と、判定結果受付部１５と、データセット更新部１６と、第２学習部１７と、を備える。

データセット記憶部１１は、ユーザにより予め用意されたデータセットを記憶する。データセットは、複数の学習データの組であり、後述する第１生成モデル及び第２生成モデルの学習に利用される。学習データは、画像データ、テキストデータ又は映像データであり得る。以下では、学習データは、画像データであるものとする。なお、各学習データには、当該データが学習データであることを示すラベルが付される。以下、学習データに付されるラベルを、オリジナルクラスという。

第１学習部１２は、データセットに含まれる一部又は全部の学習データに基づいて、教師なし学習により、第１生成モデルを学習する。第１生成モデルを学習するとは、第１生成モデルを構成する各パラメータの値を学習することをいう。第１生成モデルは、生成器（generator）と、識別器（discriminator）と、により構成されるＧＡＮである。生成器は、学習データに類似するデータを生成する。生成器が生成するデータを、生成データという。識別器は、生成データと、学習データと、を識別する。生成器及び識別器は、多層ニューラルネットワークにより構成される。ＧＡＮ及び第１生成モデルについて、詳しくは後述する。

なお、本明細書において、教師なし学習とは、教師データを含まない学習用データを用いて学習することをいう。また、教師あり学習とは、教師データを含む学習用データを用いて学習することをいう。

データ生成部１３は、第１学習部１２が学習した第１生成モデル及び後述する第２生成モデルに、入力変数（潜在変数）を入力することにより、複数の生成データを生成する。また、データ生成部１３は、生成データに、当該データが生成データであることを示すラベルを付与する。以下、生成データに付されるラベルを、生成クラスという。

データ表示部１４は、データ生成部１３が生成した生成データを、後述する表示装置１０６に表示させる。

ユーザは、表示装置１０６に表示された画像データを確認することにより、各生成データが、好ましいか判定する。ユーザは、生成データが学習データに十分に類似していると判断した場合、当該生成データを好ましいと判定する。すなわち、好ましい生成データは、学習データに類似している程度が、ユーザの要求を満たしている生成データに相当する。一方、ユーザは、生成データが学習データに十分に類似していないと判断した場合、当該生成データを好ましくないと判定する。すなわち、好ましくない生成データは、学習データに類似している程度が、ユーザの要求を満たしていない生成データに相当する。

例えば、学習データが、手書き文字の画像データである場合について考える。この場合、第１生成モデルは、生成データとして、手書き文字の画像データに類似する画像データを生成する。第１生成モデルが生成した画像データが、手書き文字として可読である場合、ユーザは、当該画像データを好ましいと判定する。一方、第１生成モデルが生成した画像データが、手書き文字として可読でない場合、ユーザは、当該画像データを好ましくないと判定する。

判定結果受付部１５は、第１生成モデル又は第２生成モデルが生成した各生成データに対する、ユーザによる判定結果を受け付ける。

データセット更新部１６は、判定結果受付部１５が受け付けた各生成データに対する判定結果に基づいて、データセットを更新する。具体的には、データセット更新部１６は、ユーザにより好ましくないと判定された生成データを、データセットに追加する。この際、データセット更新部１６は、データセットに追加する生成データに、当該データが好ましくないと判定された生成データであることを示すラベルを付与する。以下、好ましくないと判定された生成データに付されるラベルを、ブラックリストクラスという。また、ブラックリストクラスを付された生成データを、ブラックリストデータという。

第２学習部１７は、データセットに含まれる一部又は全部の学習データと、ブラックリストデータ（教師データ）と、を含む学習用データに基づいて、教師あり学習により、第２生成モデルを学習する。第２生成モデルを学習するとは、第２生成モデルを構成する各パラメータの値を学習することをいう。第２生成モデルのパラメータとして、学習済みの第１生成モデルのパラメータが引き継がれる。第２生成モデルは、生成器と、識別器と、により構成されるＧＡＮである。生成器は、学習データに類似するデータを生成する。生成器が生成するデータを、生成データという。識別器は、生成データと、学習データと、を識別する。生成器及び識別器は、いずれも多層ニューラルネットワークにより構成される。ＧＡＮ及び第２生成モデルについて、詳しくは後述する。

次に、学習装置１のハードウェア構成について説明する。学習装置１は、サーバコンピュータやクライアントコンピュータなどのコンピュータにより構成される。図２は、学習装置１のハードウェア構成の一例を示す図である。図２の学習装置１は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、ＨＤＤ（Hard Disk Drive）１０４と、を備える。また、学習装置１は、入力装置１０５と、表示装置１０６と、通信インタフェース１０７と、バス１０８と、を備える。

ＣＰＵ１０１は、プログラムを実行することにより、学習装置１の各構成を制御し、学習装置１の機能を実現する。ＲＯＭ１０２は、ＣＰＵ１０１が実行するプログラムを含む各種データを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１に作業領域を提供する。ＨＤＤ１０４は、ＣＰＵ１０１が実行するプログラムやデータセットを含む各種データを記憶する。入力装置１０５は、ユーザによる操作に応じた情報を学習装置１に入力する。入力装置１０５は、マウス、キーボード、タッチパネル又はハードウェアキーであり得る。入力変数や判定結果は、入力装置１０５の操作により入力されてもよい。表示装置１０６は、生成データを含む各種データを表示する。表示装置１０６は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ又はブラウン管ディスプレイであり得る。通信インタフェース１０７は、学習装置１を、ＬＡＮ（Local Area Network）やインターネットなどのネットワークに接続するためのインタフェースである。学習装置１は、通信インタフェース１０７を介して外部装置と通信する。入力変数や判定結果は、通信インタフェース１０７を介して外部装置から入力されてもよい。バス１０８は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、入力装置１０５、表示装置１０６及び通信インタフェース１０７を接続する。なお、図２の例では、学習装置１は、単一のコンピュータにより構成されているが、ネットワークを介して接続された複数のコンピュータにより構成されたシステムであってもよい。

次に、ＧＡＮ、第１生成モデル及び第２生成モデルについて詳細に説明する。上述の通り、ＧＡＮは、深層生成モデルの一種であり、生成器及び識別器を備える。本実施形態では、第１生成モデル及び第２生成モデルを構成するＧＡＮとして、ＤＣＧＡＮ（Deep Convolutional GAN）が利用される。ＤＣＧＡＮは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を利用したＧＡＮであり、複数の層により構成される。

本実施形態において、第１生成モデルは、ＤＣＧＡＮにより構成される。第１学習部１２は、データセット記憶部１１に記憶された学習データと、生成器により生成した生成データと、に基づいて第１生成モデルを学習する。

図３は、本実施形態における第１生成モデル（ＤＣＧＡＮ）の構成を模式的に示した図である。図３において、ｘは識別器に入力される入力変数（学習データ及び生成データ）、ｙは識別器が出力する出力変数（オリジナルクラス及び生成クラス）、ｚは生成器に入力される入力変数（潜在変数）である。また、Ｄは識別器を構成するパラメータ群、Ｇは生成器を構成するパラメータ群である。パラメータ群Ｄ，Ｇには、それぞれ複数のパラメータが含まれる。

第１生成モデルの識別器は、入力変数ｘが学習データであるか生成データであるかを識別可能なように学習される。具体的には、入力変数ｘが学習データである場合に出力変数ｙがオリジナルクラスとなり、入力変数ｘが生成データである場合に出力変数ｙが生成クラスとなるように、パラメータ群Ｄが学習される。

これに対して、第１生成モデルの生成器は、識別器が学習データと識別できない生成データを生成可能なように学習される。具体的には、識別器に入力変数ｘとして生成データを入力した場合に出力変数ｙがオリジナルクラスとなるように、パラメータ群Ｇが学習される。

第１学習部１２は、第１生成モデルの上記のような学習を繰り返す。これにより、識別器の識別精度が向上し、生成器による生成精度（生成データが学習データに類似する程度）が向上する。第１生成モデルの上記の学習は、以下の評価関数を解くことにより実現される。

式（１）において、Ｖは評価値、Ｅ［・］は期待値、x~pdataはデータセットからサンプリングされた学習データの集合（入力変数ｘ）に相当する。また、z~pzは入力変数ｚ、Ｄ（ｘ）は入力変数ｘを入力された場合の出力変数ｙ、Ｇ（ｚ）は入力変数ｚを入力された場合の生成データに相当する。

式（１）の右辺第１項は、識別器の評価値に相当し、識別器の識別精度が高いほど、高い値となる。式（１）の右辺第２項は、生成器の評価値に相当し、学習データに対する生成データの類似の程度が高いほど（識別器の識別間違いが多いほど）、高い値となる。

以上のことからわかるように、識別器の学習が進むほど、式（１）の右辺第１項が高くなり、右辺第２項が低くなる。また、生成器の学習が進むほど、式（１）の右辺第１項が低くなり、右辺第２項が高く低くなる。

図４は、第１学習部１２による第１生成モデルの学習処理を示すフローチャートである。まず、第１学習部１２は、データセットに含まれる一部又は全部の学習データを選択する（ステップＳ１０１）。次に、第１学習部１２は、入力変数ｚに基づいて、生成器により生成データを生成する（ステップＳ１０２）。生成データは、入力変数ｘとして識別器に入力される。続いて、第１学習部１２は、ステップＳ１０１で選択された学習データと、ステップＳ１０２で生成された生成データと、を識別器により識別する（ステップＳ１０３）。そして、第１学習部１２は、識別結果に基づいて、評価値Ｖを算出する（ステップＳ１０４）。その後、第１学習部１２は、評価値Ｖに基づいて、パラメータ群Ｄ，Ｇを更新する（ステップＳ１０５）。以降、第１学習部１２は、終了条件が満たされるまで、ステップＳ１０１〜Ｓ１０６の処理を繰り返す。終了条件は、学習処理の回数により設定されてもよいし、評価値Ｖや識別器及び生成器の評価値Ｅにより設定されてもよい。終了条件が満たされると（ステップＳ１０６のＹＥＳ）、学習処理は終了する。

以上のように、第１学習部１２は、学習データ及び生成データに基づいて、第１生成モデルを学習する。これに対して、第２学習部１７は、学習データ、生成データ及びブラックリストデータ（好ましくないと判定された生成データ）に基づいて第２生成モデルを学習する。本実施形態において第２生成モデルを構成するＤＣＧＡＮを、ＢＤＣＧＡＮ（Blacklist DCGAN）という。

図５は、本実施形態における第２生成モデル（ＢＤＣＧＡＮ）の構成を模式的に示した図である。図５において、ｘは識別器に入力される入力変数（学習データ、生成データ及びブラックリストデータ）、ｙは識別器が出力する出力変数（オリジナルクラス、生成クラス及びブラックリストクラス）である。また、ｚは生成器に入力される入力変数（潜在変数）、Ｄは識別器を構成するパラメータ群、Ｇは生成器を構成するパラメータ群である。パラメータ群Ｄ，Ｇには、それぞれ複数のパラメータが含まれる。

第２生成モデルの識別器は、入力変数ｘが学習データ、生成データ及びブラックリストデータのいずれであるかを識別可能なように、教師あり学習される。具体的には、入力変数ｘが学習データである場合に出力変数ｙがオリジナルクラスとなり、入力変数ｘが生成データである場合に出力変数ｙが生成クラスとなるように、パラメータ群Ｄが学習される。また、入力変数ｘがブラックリストデータである場合に出力変数ｙがブラックリストクラスとなるように、パラメータ群Ｄが学習される。

これに対して、第２生成モデルの生成器は、識別器が学習データと識別できない生成データを生成可能なように、かつ、ブラックリストデータに類似する生成データが生成されないように、教師あり学習される。具体的には、識別器に入力変数ｘとして生成データを入力した場合の出力変数ｙが、オリジナルクラスとなり、かつ、ブラックリストクラスとならないように、パラメータ群Ｇが学習される。

第２学習部１７は、第２生成モデルの上記のような学習を繰り返す。これにより、識別器の識別精度が向上し、生成器による生成精度（生成データが学習データに類似する程度）が向上する。また、ブラックリストデータの生成を抑制できる。第２生成モデルの上記の学習は、以下の評価関数を解くことにより実現される。

式（２）において、x~pblacklistはブラックリストデータ全体からサンプリングされたブラックリストデータの集合（入力変数ｘ）、Ｌはデータに付されたラベル（正解データ）に相当するベクトルである。本実施形態の場合，ラベルは３種類なので、Ｌは３次元のベクトルであり、たとえば、L_dataは[1 0 0]、L_genは[0 1 0]、L_blacklistは[0 0 1]と表現できる。式（２）は、式（１）とは、２つの点で異なっている。

１点目は、識別器がデータをオリジナルクラス、生成クラス及びブラックリストクラスの３種類に識別している点である。２点目は、識別器が生成データのラベルをブラックリストクラスだと判定した場合、識別器の損失となり、評価値Ｖが低下する点である。式（２）の評価関数により、識別器によりラベルが生成クラス又はブラックリストクラスと判定されない生成データを生成するように、生成器のパラメータが学習される。

図６は、第２学習部１７による第２生成モデルの学習処理を示すフローチャートである。以下では、データセットにブラックリストデータが追加済みであるものとする。

まず、第２学習部１７は、データセットに含まれる一部又は全部の学習データを選択する（ステップＳ２０１）。また、第２学習部１７は、データセットに含まれる一部又は全部のブラックリストデータを選択する（ステップＳ２０２）。次に、第２学習部１７は、入力変数ｚに基づいて、生成器により生成データを生成する（ステップＳ２０３）。生成データは、入力変数ｘとして識別器に入力される。

続いて、第２学習部１７は、ステップＳ２０１で選択された学習データと、ステップＳ２０２で選択されたブラックリストデータと、ステップＳ２０３で生成された生成データと、を識別器により識別する（ステップＳ２０４）。そして、第２学習部１７は、識別結果に基づいて、評価値Ｖを算出する（ステップＳ２０５）。その後、第２学習部１７は、評価値Ｖに基づいて、パラメータ群Ｄ，Ｇを更新する（ステップＳ２０６）。

以降、第２学習部１７は、終了条件が満たされるまで、ステップＳ２０１〜Ｓ２０７の処理を繰り返す。終了条件は、学習処理の回数により設定されてもよいし、評価値Ｖや識別器及び生成器の評価値Ｅにより設定されてもよい。また、終了条件は、生成データに含まれるブラックリストデータの割合により設定されてもよい。終了条件が満たされると（ステップＳ２０７のＹＥＳ）、学習処理は終了する。

以上のように、第２学習部１７は、データセット記憶部１１に記憶された学習データと、生成器により生成した生成データと、データセット更新部１６によりデータセットに追加されたブラックリストデータと、に基づいて第２生成モデルを学習する。

次に、本実施形態に係る学習装置１の動作について説明する。図７は、本実施形態に係る学習装置１が実行する学習処理の一例を示すフローチャートである。以下では、データセット記憶部１１に、データセットが記憶済みであるものとする。

まず、第１学習部１２は、データセット記憶部１１に記憶されたデータセットに含まれる学習データから、一部又は全部の学習データを選択し、選択した学習データを読み出す。第１学習部１２は、読み出した学習データに基づいて、第１生成モデルを教師なし学習する（ステップＳ３０１）。第１生成モデルの学習方法は上述の通りである。

第１生成モデルの学習が終了すると、データ生成部１３は、入力変数ｚに基づいて、第１生成モデルの生成器により、複数の生成データを生成する（ステップＳ３０２）。

データ生成部１３が生成データを生成すると、データ表示部１４は、生成された複数の生成データを表示装置１０６に表示させる（ステップＳ３０３）。

生成データが表示されると、ユーザは、各生成データが好ましいか判定し、各生成データの判定結果を学習装置１に入力する。判定結果受付部１５は、第１生成モデルが生成した各生成データに対する、ユーザによる判定結果を受け付ける（ステップＳ３０４）。

判定結果受付部１５が判定結果を受け付けると、データセット更新部１６は、判定結果に基づいて、データセット記憶部１１に記憶されたデータセットを更新する（ステップＳ３０５）。すなわち、データセット更新部１６は、好ましくないと判定された生成データにブラックリストクラスのラベルを付与し、当該生成データをブラックリストデータとして、データセット記憶部１１に記憶されたデータセットに追加する。

データセットにブラックリストデータが追加されると、第２学習部１７は、データセット記憶部１１に記憶されたデータセットに含まれる学習データから、一部又は全部の学習データを選択し、選択した学習データを読み出す。また、第２学習部１７は、データセット記憶部１１に記憶されたデータセットに含まれるブラックリストデータから、一部又は全部のブラックリストデータを選択し、選択したブラックリストデータを読み出す。第２学習部１７は、読み出した学習データ及びブラックリストデータを含む学習用データに基づいて、第２生成モデルを教師あり学習する（ステップＳ３０６）。第２生成モデルの学習方法は上述の通りである。

第２生成モデルの学習後、終了条件が満たされている場合（ステップＳ３０７のＹＥＳ）、学習処理は終了する。一方、終了条件が満たされていない場合（ステップＳ３０７のＮＯ）、データ生成部１３は、入力変数ｚに基づいて、学習された第２生成モデルの生成器により、複数の生成データを生成する（ステップＳ３０８）。その後、処理は、ステップＳ３０３に戻り、データ表示部１４が、生成された複数の生成データを表示装置１０６に表示させる（ステップＳ３０３）。以降、学習装置１は、終了条件が満たされるまで、ステップＳ３０３〜Ｓ３０８の処理を繰り返す。

なお、終了条件が、第２生成モデルの生成器により生成される生成データに含まれるブラックリストデータの割合により設定されている場合、ユーザは、ステップＳ３０３において表示された生成データを確認し、終了条件が満たされているか判定してもよい。この場合、ユーザは、終了条件が満たされていると判定した場合（ブラックリストデータの割合が所定の閾値以下になったと判定した場合）、学習装置１に学習処理を終了させればよい。

ここで、第２生成モデルの学習方法についてより詳細に説明する。

一般に、多層ニューラルネットワークは、性能が不十分である場合、再学習（２回目以降の学習）を実行される。多層ニューラルネットワークの再学習方法として、以下の３つの方法が利用されている。

＜第１の再学習方法＞
第１の再学習方法は、学習済みの多層ニューラルネットワークのパラメータを初期化し、新たな学習データに基づいて、パラメータを初期状態から再学習する方法である。第１の再学習方法によれば、多層ニューラルネットワークは、直前の多層ニューラルネットワークに依存せずに再学習される。このため、第１の再学習方法は、再学習の前後で、多層ニューラルネットワークの構造（層数やユニット数）が異なる場合にも利用できる。直前の学習の際に、多層ニューラルネットワークが不適切な学習データに基づいて学習された結果として性能が不十分となった場合、第１の再学習方法により、多層ニューラルネットワークを効果的に再学習することができる。

＜第２の再学習方法＞
第２の再学習方法は、学習済みの多層ニューラルネットワークのパラメータを初期値として利用する方法である。第２の再学習方法では、性能がいい他の多層ニューラルネットワークのパラメータを初期値として利用できる。このため、収束が早く、再学習を短時間で実行できる。また、初期状態からの学習が困難な、サンプル数（学習データ数）が少ないデータセットに基づいて、多層ニューラルネットワークを再学習できる。ただし、第２の再学習方法では、再学習の前後で、初期値として利用されるパラメータを含む多層ニューラルネットワークの部分は、構造が同一であることが要求される。

＜第３の再学習方法＞
第３の再学習方法は、学習済みの多層ニューラルネットワークのパラメータの一部を固定し、固定されていないパラメータのみを、第１の再学習方法又は第２の再学習方法により再学習する方法である。第３の再学習方法は、再学習するパラメータを削減できるため、再学習を短時間で実行できる。第３の再学習方法では、第２の再学習方法と同様に、再学習の前後で、固定されるパラメータを含む多層ニューラルネットワークの部分は、構造が同一であることが要求される。

本実施形態では、第１学習部１２及び第２学習部１７により、それぞれ第１生成モデル及び第２生成モデルが学習される。第１生成モデルの学習を、多層ニューラルネットワークの１回目の学習と考えると、第２生成モデルの学習は、多層ニューラルネットワークの２回目以降の再学習に相当する。このため、第２生成モデルの学習は、上記の第１乃至第３の再学習方法を利用して行われる。以下、第２生成モデルの識別器の学習方法の６つの具体例について説明する。

＜第１の学習方法＞
第１の学習方法は、第２生成モデルの識別器の全てのパラメータを初期化し、全てのパラメータを初期状態から学習する方法である。第１の学習方法は、第２生成モデルの識別器の全てのパラメータを、第１の再学習方法により学習する方法に相当する。このため、第１の学習方法を利用する場合、第１生成モデルの識別器と、第２生成モデルの識別器と、の構造は同一であってもよいし、異なってもよい。

＜第２の学習方法＞
第２の学習方法では、第２生成モデルの識別器が、第１生成モデルの識別器と同一構造を有する共通部分を備えることが前提となる。共通部分は、入力層だけでもよいし、入力層から中間層のいずれか１つまでであってもよい。第２生成モデルの識別器の共通部分以外の部分を、非共通部分という。

第２の学習方法は、第２生成モデルの識別器の共通部分の少なくとも一部のパラメータを、第１生成モデルの識別器の共通部分のパラメータを初期値として学習し、第２生成モデルの識別器の他の部分のパラメータを初期状態から学習する方法である。第２の学習方法は、第２生成モデルの識別器の共通部分の少なくとも一部のパラメータを、第２の再学習方法により学習し、他の部分のパラメータを、第１の再学習方法により学習する方法に相当する。

図８は、第１生成モデル及び第２生成モデルの識別器の構造の一例を示す図である。図８（Ａ）は、第１生成モデルの識別器の構造を示し、図８（Ｂ）は、第２生成モデルの識別器の構造を示す。

図８（Ａ）の識別器は、入力層ＬＩ１と、第１中間層ＬＭ１１と、第２中間層ＬＭ１２と、出力層ＬＯ１と、を備える。入力層ＬＩ１は、５つのユニットを備え、第１中間層ＬＭ１１は４つのユニットを備え、第２中間層ＬＭ１２は３つのユニットを備え、出力層ＬＯ１は２つのユニットを備える。出力層ＬＯ１の２つのユニットは、それぞれ識別結果（オリジナルクラス又は生成クラス）を出力する。

図８（Ｂ）の識別器は、入力層ＬＩ２と、第１中間層ＬＭ２１と、第２中間層ＬＭ２２と、出力層ＬＯ２と、を備える。入力層ＬＩ２は、５つのユニットを備え、第１中間層ＬＭ２１は４つのユニットを備え、第２中間層ＬＭ２２は４つのユニットを備え、出力層ＬＯ２は３つのユニットを備える。出力層ＬＯ２の３つのユニットは、それぞれ識別結果（オリジナルクラス、生成クラス及びブラックリストクラス）を出力する。

図８（Ａ）の識別器と、図８（Ｂ）の識別器と、は入力層から第１中間層までの構造が同一であり、第２中間層から出力層までの構造が異なる。すなわち、入力層から第１中間層までが共通部分であり、第２中間層から出力層までが非共通部分である。

図８（Ｂ）の識別器を第２の学習方法により学習する場合、例えば、入力層ＬＩ２及び第１中間層ＬＭ２１のパラメータは、図８（Ａ）の識別器の入力層ＬＩ１及び第１中間層ＬＭ１１のパラメータを初期値として学習される。この場合、第２中間層ＬＭ２２及び出力層ＬＯ２のパラメータは、初期状態から学習される。

また、入力層ＬＩ２のパラメータが、図８（Ａ）の識別器の入力層ＬＩ１のパラメータを初期値として学習され、第１中間層ＬＭ２１、第２中間層ＬＭ２２及び出力層ＬＯ２のパラメータが、初期状態から学習されてもよい。

＜第３の学習方法＞
第２の学習方法では、第２の学習方法と同様に、第２生成モデルの識別器が、第１生成モデルの識別器と同一構造を有する共通部分を備えることが前提となる。

第３の学習方法は、第２生成モデルの識別器の共通部分の少なくとも一部のパラメータを、第１生成モデルの識別器の共通部分のパラメータに固定し、第２生成モデルの識別器の他の部分のパラメータを初期状態から学習する方法である。第３の学習方法は、第２生成モデルの識別器のパラメータを、第３の再学習方法により学習する方法に相当する。第３の学習方法では、第２生成モデルの識別器の他の部分のパラメータは、第２の再学習方法により学習される。

図８（Ｂ）の識別器を第３の学習方法により学習する場合、例えば、入力層ＬＩ２及び第１中間層ＬＭ２１のパラメータは、図８（Ａ）の識別器の入力層ＬＩ１及び第１中間層ＬＭ１１のパラメータに固定される。この場合、第２中間層ＬＭ２２及び出力層ＬＯ２のパラメータは、初期状態から学習される。

また、入力層ＬＩ２のパラメータが、図８（Ａ）の識別器の入力層ＬＩ１のパラメータに固定され、第１中間層ＬＭ２１、第２中間層ＬＭ２２及び出力層ＬＯ２のパラメータが、初期状態から学習されてもよい。

＜第４の学習方法＞
第４の学習方法では、第１生成モデルの識別器と、第２生成モデルの識別器と、が同一構造を有することが前提となる。すなわち、第１生成モデルの識別器が、ブラックリストクラスを識別するためのユニットを備えることが前提となる。第１生成モデルの識別器が、ブラックリストクラスを識別するためのユニットを備える場合であっても、第１生成モデルの学習では、ブラックリストデータが利用されないため、ブラックリストクラスに関する学習は行われない。ブラックリストクラスに関する学習は、第２生成モデルの学習の際に行われる。

第４の学習方法は、第２生成モデルの識別器の全てのパラメータを、第１生成モデルの識別器のパラメータを初期値として学習する方法である。第４の学習方法は、第２生成モデルの識別器の全てのパラメータを、第２の再学習方法により学習する方法に相当する。

＜第５の学習方法＞
第５の学習方法では、第４の学習方法と同様に、第１生成モデルの識別器と、第２生成モデルの識別器と、が同一構造を有することが前提となる。

第５の学習方法は、第２生成モデルの識別器の第１部分のパラメータを、第１生成モデルの識別器の第１部分のパラメータに固定し、第２生成モデルの識別器の第２部分のパラメータを、初期状態から学習する方法である。第１部分は、任意に設定可能であり、例えば、入力層から中間層のいずれか１つまでである。第２部分は、第１部分以外の部分である。第５の学習方法は、第２生成モデルの識別器のパラメータを、第３の再学習方法により学習する方法に相当する。第５の学習方法では、第２生成モデルの識別器の第２部分のパラメータは、第１の再学習方法により学習される。

＜第６の学習方法＞
第６の学習方法では、第４の学習方法と同様に、第１生成モデルの識別器と、第２生成モデルの識別器と、が同一構造を有することが前提となる。

第６の学習方法は、第２生成モデルの識別器の第１部分のパラメータを、第１生成モデルの識別器の第１部分のパラメータに固定する方法である。第２生成モデルの識別器の第２部分のパラメータは、第１生成モデルの識別器の第２部分のパラメータを初期値として学習される。第６の学習方法は、第２生成モデルの識別器のパラメータを、第３の再学習方法により学習する方法に相当する。第６の学習方法では、第２生成モデルの識別器の第２部分のパラメータは、第２の再学習方法により学習される。

なお、本実施形態において、第２生成モデルの生成器は、第１生成モデルの生成器と同一構造を有する。したがって、第２生成モデルの生成器の学習方法として、上記第１乃至第６の学習方法のいずれも利用可能である。

以上説明した通り、本実施形態によれば、第２生成モデルの生成器は、識別器が学習データと識別できない生成データを生成可能なように教師あり学習される。これにより、第２生成モデルの識別器の識別精度を向上させることができる。

また、本実施形態によれば、第２生成モデルの生成器は、ブラックリストデータに類似する生成データが生成されないように教師あり学習される。これにより、第２生成モデルの生成器によるブラックリストデータ（ユーザにより好ましくないと判定される生成データ）の生成を抑制することができる。

なお、本実施形態に係る学習方法は、第１生成モデル及び第２生成モデルが深層生成モデルでない場合（すなわち、識別器及び生成器が多層ニューラルネットワークではない場合）であっても利用可能である。この場合、多層ニューラルネットワークによる特徴量設計が行われないため、第１生成モデル及び第２生成モデルの特徴量をユーザが予め設定すればよい。第１生成モデル及び第２生成モデルの特徴量として、周知の任意の特徴量を設定することができる。例えば、学習データが画像データである場合、第１生成モデル及び第２生成モデルの特徴量として、ＨｏＧ特徴量、ＳＨＩＦＴ特徴量、ＳＵＲＦ特徴量などを利用できる。また、学習データが音声データである場合、第１生成モデル及び第２生成モデルの特徴量として、ホルマント遷移特徴量などを利用できる。

（第２実施形態）
第２実施形態に係る学習装置１について、図９〜図１３を参照して説明する。本実施形態では、第２生成モデルがＣＧＡＮ（Conditional GAN）により構成される場合について説明する。なお、本実施形態における他の構成は、第１実施形態と同様である。

図９は、本実施形態における第２生成モデル（ＣＧＡＮ）の構成を模式的に示した図である。図９において、ｘは識別器に入力される入力変数（学習データ及び生成データ）、ｙは識別器が出力する出力変数（オリジナルクラス及び生成クラス）である。また、ｚは生成器に入力される入力変数（潜在変数）、Ｄは識別器を構成するパラメータ群、Ｇは生成器を構成するパラメータ群である。パラメータ群Ｄ，Ｇには、それぞれ複数のパラメータが含まれる。

また、図９において、ｗは、メタ情報の確信度である。メタ情報は、ユーザにより生成データに付与される画像データの素性を示す情報である。一般に、生成データが人の顔の画像データである場合、生成データには、「笑顏らしい」、「女性らしい」、「髪が長い」などのメタ情報が付与される。確信度ｗは、これらのメタ情報に対する確からしさに相当する。

本実施形態では、メタ情報として、「ブラックリストクラスらしさ」の確信度ｗが付与される。「ブラックリストクラスらしさ」は、画像データがオリジナルデータに類似しない程度（ユーザにより好ましくないと判定される確からしさ）に相当する。好ましくないと判定される画像データに種類がある場合には、複数の「ブラックリストクラスらしさ」を用意すればよい。

第２生成モデルの識別器は、入力変数ｘが学習データ及び生成データのいずれであるかを識別可能なように、教師あり学習される。具体的には、入力変数ｘが学習データである場合に出力変数ｙがオリジナルクラスとなり、入力変数ｘが生成データである場合に出力変数ｙが生成クラスとなるように、パラメータ群Ｄが学習される。

これに対して、第２生成モデルの生成器は、識別器が学習データと識別できない生成データを生成可能なように、かつ、確信度ｗが小さい生成データを生成可能なように、教師あり学習される。具体的には、識別器に入力変数ｘとして生成データを入力した場合の出力変数ｙが、オリジナルクラスとなるように、パラメータ群Ｇが学習される。

第２学習部１７は、第２生成モデルの上記のような学習を繰り返す。これにより、識別器の識別精度が向上し、生成器による生成精度（生成データが学習データに類似する程度）が向上する。また、生成器に小さい確信度ｗを入力することにより、確信度ｗが小さい生成データを生成することができる。すなわち、ブラックリストデータ（好ましくない生成データ）の生成を抑制できる。第２生成モデルの上記の学習は、以下の評価関数を解くことにより実現される。

図１０は、第２学習部１７による第２生成モデルの学習処理を示すフローチャートである。以下では、データセットには、確信度ｗが付与された生成データ（第１実施形態におけるブラックリストデータに相当）が追加済みであるものとする。

まず、第２学習部１７は、データセットに含まれる一部又は全部の学習データを選択する（ステップＳ４０１）。また、第２学習部１７は、データセットに含まれる一部又は全部の生成データを選択する（ステップＳ４０２）。次に、第２学習部１７は、入力変数ｚに基づいて、確信度ｗが小さくなるように、生成器により生成データを生成する（ステップＳ４０３）。生成データは、入力変数ｘとして識別器に入力される。

続いて、第２学習部１７は、ステップＳ４０１で選択された学習データと、ステップＳ４０２で選択された生成データと、ステップＳ４０３で生成された生成データと、を識別器により識別する（ステップＳ４０４）。そして、第２学習部１７は、識別結果に基づいて、評価値Ｖを算出する（ステップＳ４０５）。その後、第２学習部１７は、評価値Ｖに基づいて、パラメータ群Ｄ，Ｇを更新する（ステップＳ４０６）。

以降、第２学習部１７は、終了条件が満たされるまで、ステップＳ４０１〜Ｓ４０７の処理を繰り返す。終了条件は、学習処理の回数により設定されてもよいし、評価値Ｖや識別器及び生成器の評価値Ｅにより設定されてもよい。また、終了条件は、生成データに含まれるブラックリストデータ（好ましくない生成データ）の割合により設定されてもよい。終了条件が満たされると（ステップＳ４０７のＹＥＳ）、学習処理は終了する。

以上のように、第２学習部１７は、データセット記憶部１１に記憶された学習データと、生成器により生成した生成データと、生成データに付与されたブラックリストクラスらしさの確信度ｗと、に基づいて第２生成モデルを学習する。

次に、本実施形態に係る学習装置１の動作について説明する。図１１は、本実施形態に係る学習装置１が実行する学習処理の一例を示すフローチャートである。以下では、データセット記憶部１１に、データセットが記憶済みであるものとする。

まず、第１学習部１２は、データセット記憶部１１に記憶されたデータセットに含まれる学習データから、一部又は全部の学習データを選択し、選択した学習データを読み出す。第１学習部１２は、読み出した学習データに基づいて、第１生成モデルを教師なし学習する（ステップＳ５０１）。第１生成モデルの学習方法は第１実施形態と同様である。

第１生成モデルの学習が終了すると、データ生成部１３は、入力変数ｚに基づいて、第１生成モデルの生成器により、複数の生成データを生成する（ステップＳ５０２）。

データ生成部１３が生成データを生成すると、データ表示部１４は、生成された複数の生成データを表示装置１０６に表示させる（ステップＳ５０３）。

生成データが表示されると、ユーザは、各生成データにブラックリストクラスらしさの確信度ｗを付与する。ユーザは、好ましくない生成データほど大きな確信度ｗを付与し、好ましい生成データほど小さな確信度ｗを付与すればよい。ユーザは、確信度ｗを付与した生成データを学習装置１に入力する。判定結果受付部１５は、確信度ｗが付与された各生成データを受け付ける（ステップＳ５０４）。

判定結果受付部１５が生成データを受け付けると、データセット更新部１６は、データセット記憶部１１に記憶されたデータセットを更新する（ステップＳ５０５）。すなわち、データセット更新部１６は、確信度ｗを付与された生成データを、データセット記憶部１１に記憶されたデータセットに追加する。

データセットに確信度ｗを付与された生成データが追加されると、第２学習部１７は、データセット記憶部１１に記憶されたデータセットに含まれる学習データから、一部又は全部の学習データを選択し、選択した学習データを読み出す。また、第２学習部１７は、データセット記憶部１１に記憶されたデータセットに含まれる生成データから、一部又は全部の生成データを選択し、選択した生成データを読み出す。第２学習部１７は、読み出した学習データ及び生成データ（教師データ）を含む学習用データに基づいて、第２生成モデルを教師あり学習する（ステップＳ５０６）。第２生成モデルの学習方法は上述の通りである。

第２生成モデルの学習後、終了条件が満たされている場合（ステップＳ５０７のＹＥＳ）、学習処理は終了する。一方、終了条件が満たされていない場合（ステップＳ５０７のＮＯ）、データ生成部１３は、入力変数ｚに基づいて、学習された第２生成モデルの生成器により、複数の生成データを生成する（ステップＳ５０８）。その後、処理は、ステップＳ５０３に戻り、データ表示部１４が、生成された複数の生成データを表示装置１０６に表示させる（ステップＳ５０３）。以降、学習装置１は、終了条件が満たされるまで、ステップＳ５０３〜Ｓ５０８の処理を繰り返す。

なお、終了条件が、第２生成モデルの生成器により生成される生成データに含まれるブラックリストデータの割合により設定されている場合、ユーザは、ステップＳ５０３において表示された生成データを確認し、終了条件が満たされているか判定してもよい。この場合、ユーザは、終了条件が満たされていると判定した場合（ブラックリストデータの割合が所定の閾値以下になったと判定した場合）、学習装置１に学習処理を終了させればよい。

ここで、第２生成モデルの学習方法についてより詳細に説明する。本実施形態では、第１学習部１２及び第２学習部１７により、それぞれ第１生成モデル及び第２生成モデルが学習される。第１生成モデルの学習を、多層ニューラルネットワークの１回目の学習と考えると、第２生成モデルの学習は、多層ニューラルネットワークの２回目以降の再学習に相当する。このため、第２生成モデルの学習は、上記の第１乃至第３の再学習方法を利用して行われる。

ここで、図１２は、第１生成モデル及び第２生成モデルの識別器の構造の一例を示す図である。図１２（Ａ）は、第１生成モデルの識別器の構造を示し、図１２（Ｂ）は、第２生成モデルの識別器の構造を示す。図１２からわかるように、第１生成モデル及び第２生成モデルの識別器は、その構造が異なる。具体的には、第２生成モデルの識別器の入力層は、第１生成モデルの識別器の入力層に、確信度ｗを入力するユニットを追加したものである。このように、第１生成モデルと第２生成モデルの構造が異なる場合、第１実施形態で説明した第１の学習方法乃至第６の学習方法のいずれかを利用して、第２生成モデルの識別器を学習すればよい。

また、図１３は、第１生成モデル及び第２生成モデルの生成器の構造の一例を示す図である。図１３（Ａ）は、第１生成モデルの生成器の構造を示し、図１３（Ｂ）は、第２生成モデルの生成器の構造を示す。図１３からわかるように、第１生成モデル及び第２生成モデルの生成器は、その構造が異なる。具体的には、第２生成モデルの生成器の入力層は、第１生成モデルの生成器の入力層に、確信度ｗを入力するユニットを追加したものである。このように、第１生成モデルと第２生成モデルの構造が異なる場合、第１実施形態で説明した第１の学習方法乃至第６の学習方法のいずれかを利用して、第２生成モデルの生成器を学習すればよい。

以上説明した通り、本実施形態によれば、第２生成モデルの生成器は、識別器が学習データと識別できない生成データを生成可能なように教師あり学習される。これにより、第２生成モデルの識別器の識別精度を向上させることができる。

また、本実施形態によれば、第２生成モデルの生成器は、ブラックリストらしさの確信度ｗが小さい生成データが生成されるように教師あり学習される。これにより、第２生成モデルの生成器によるブラックリストデータ（好ましくない生成データ）の生成を抑制することができる。

また、本実施形態によれば、第２生成モデルは、ＣＧＡＮであるため、生成データが好ましいか否かだけでなく、好ましさの種類や程度についても学習することができる。これにより、ユーザは、好ましくない生成データを、より詳細に指定し、その生成を抑制させることができる。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１：生成モデル学習装置
１１：データセット記憶部
１２：第１学習部
１３：データ生成部
１４：データ表示部
１５：判定結果受付部
１６：データセット更新部
１７：第２学習部

J. Gauthier. Conditional generative adversarial nets for convolutional face generation. Class Project for Stanford CS231N: Convolutional Neural Networks for Visual Recognition, Winter semester 2014 UNSUPERVISED REPRESENTATION L EARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS

Claims (14)

1. 予め用意された学習データに基づいて、第１生成モデルを教師なし学習により学習する第１学習工程と、
   前記第１生成モデルによる生成データを生成する生成工程と、
   前記学習データと、ユーザにより好ましくないと判定された前記生成データと、に基づいて、第２生成モデルを教師あり学習により学習する第２学習工程と、
   を含む生成モデル学習方法。
2. 前記第１生成モデル及び前記第２生成モデルは、前記生成データを生成する生成器と、前記生成データと前記学習データとを識別する識別器と、を備える敵対的ネットワークである
   請求項１に記載の生成モデル学習方法。
3. 前記生成器及び前記識別器は、多層ニューラルネットワークにより構成される
   請求項２に記載の生成モデル学習方法。
4. 前記第２学習工程は、前記第２生成モデルの前記識別器の全てのパラメータを初期状態から学習する工程を含む
   請求項２又は請求項３に記載の生成モデル学習方法。
5. 前記第１生成モデルの前記識別器と、前記第２生成モデルの前記識別器と、は同一構造を有する共通部分を備え、
   前記第２学習工程は、前記第２生成モデルの前記識別器の前記共通部分の少なくとも一部のパラメータを、前記第１生成モデルの前記識別器の前記共通部分のパラメータを初期値として学習し、前記第２生成モデルの前記識別器の他の部分のパラメータを初期状態から学習する工程を含む
   請求項２又は請求項３に記載の生成モデル学習方法。
6. 前記第１生成モデルの前記識別器と、前記第２生成モデルの前記識別器と、は同一構造を有する共通部分を備え、
   前記第２学習工程は、前記第２生成モデルの前記識別器の前記共通部分の少なくとも一部のパラメータを、前記第１生成モデルの前記識別器の他の部分のパラメータに固定し、前記第２生成モデルの前記識別器の非共通部分のパラメータを初期状態から学習する工程を含む
   請求項２又は請求項３に記載の生成モデル学習方法。
7. 前記第１生成モデルの前記識別器と、前記第２生成モデルの前記識別器と、は同一構成を有し、
   前記第２学習工程は、前記第２生成モデルの前記識別器のパラメータを、前記第１生成モデルの前記識別器のパラメータを初期値として学習する工程を含む
   請求項２又は請求項３に記載の生成モデル学習方法。
8. 前記第１生成モデルの前記識別器と、前記第２生成モデルの前記識別器と、は同一構成を有し、
   前記第２学習工程は、前記第２生成モデルの前記識別器の第１部分のパラメータを、前記第１生成モデルの前記識別器の前記第１部分のパラメータに固定し、前記第２生成モデルの前記識別器の第２部分のパラメータを初期状態から学習する工程を含む
   請求項２又は請求項３に記載の生成モデル学習方法。
9. 前記第１生成モデルの前記識別器と、前記第２生成モデルの前記識別器と、は同一構成を有し、
   前記第２学習工程は、前記第２生成モデルの前記識別器の第１部分のパラメータを、前記第１生成モデルの前記識別器の前記第１部分のパラメータに固定し、前記第２生成モデルの前記識別器の第２部分のパラメータを、前記第１生成モデルの前記識別器の前記第２部分のパラメータを初期値として学習する工程を含む
   請求項２又は請求項３に記載の生成モデル学習方法。
10. 前記第１生成モデルは、ＤＣＧＡＮ（Deep Convolutional Generative Adversarial Networks）である
    請求項１乃至請求項９のいずれか１項に記載の生成モデル学習方法。
11. 前記第２生成モデルは、ＢＤＣＧＡＮ（Blacklist DCGAN）である
    請求項１乃至請求項１０のいずれか１項に記載の生成モデル学習方法。
12. 前記第２生成モデルは、ＣＧＡＮ（Conditional GAN）である
    請求項１乃至請求項１０のいずれか１項に記載の生成モデル学習方法。
13. 予め用意された学習データに基づいて、第１生成モデルを教師なし学習により学習する第１学習部と、
    前記第１生成モデルによる生成データを生成する生成部と、
    前記学習データと、ユーザにより好ましくないと判定された前記生成データと、に基づいて、第２生成モデルを教師あり学習により学習する第２学習部と、
    を備える生成モデル学習装置。
14. 予め用意された学習データに基づいて、第１生成モデルを教師なし学習により学習する第１学習工程と、
    前記第１生成モデルによる生成データを生成する生成工程と、
    前記学習データと、ユーザにより好ましくないと判定された前記生成データと、に基づいて、第２生成モデルを教師あり学習により学習する第２学習工程と、
    をコンピュータに実行させるためのプログラム。

Images