JP2021114034A - ニューラルネットワーク及びその生成方法 - Google Patents

Abstract

【課題】入力データが分類すべきでないデータに対応可能なニューラルネットワーク及びその生成方法を提供する。
【解決手段】それぞれ複数のニューロン１１、１２、１３が設けられた入力層１４、中間層１５及び出力層１６を有し、入力層１４に与えられる入力データを対応するクラスに分類するニューラルネットワーク１０において、入力層１４に与えられる入力データが、分類すべきデータである際に反応せず、分類すべきでないデータである際に反応する余剰ニューロン１７を、中間層１５に備える。
【選択図】図１

Description

本発明は、入力データに対応した出力データを導出するニューラルネットワーク及びその生成方法に関する。

深層学習は、ニューラルネットワークに関わる技術の１つで、画像処理や自然言語処理の分野で盛んに研究されている（特許文献１、２参照）。特に画像処理の物体認識タスクにおいて、深層学習は、特徴抽出と識別とを直結させた認識処理の形態及びその性能の高さから注目されている。
認識処理では、人が分類したラベル付き学習用データを教師として、ニューラルネットワークを教師あり学習し、対応するクラスに正しく分類できるようにする。画像認識処理を行う場合、前処理として認識を行う領域を入力データ（画像データ）から切り出す領域分割処理がなされる。

特開２０１９−１６１６６５号公報 特開２０１９−１５９８２３号公報

しかしながら、領域分割処理により切り出された領域が認識対象外の場合がある。これは、教師あり学習したニューラルネットワークが、どのような入力データであっても必ずその入力データをいずれかのクラスに分類するためであり、こうした場合、誤認識となり、認識精度の低下を招く。教師あり学習を用いて未知データを分類するのは難しく、これは、多層パーセプトロン、畳み込みニューラルネットワーク、自己回帰型ネットワーク等に共通する課題である。
本発明は、かかる事情に鑑みてなされたもので、入力データが分類すべきでないデータに対応可能なニューラルネットワーク及びその生成方法を提供することを目的とする。

前記目的に沿う第１の発明に係るニューラルネットワークは、それぞれ複数のニューロンが設けられた入力層、中間層及び出力層を有し、前記入力層に与えられる入力データを対応するクラスに分類するニューラルネットワークにおいて、前記入力層に与えられる入力データが、分類すべきデータである際に反応せず、分類すべきでないデータである際に反応する余剰ニューロンを、前記中間層に備える。

前記目的に沿う第２の発明に係るニューラルネットワークの生成方法は、入力層Ｐ、中間層Ｑ及び出力層Ｒを有し、該入力層Ｐに与えられた入力データを対応するクラスに分類する第１ニューラルネットワークを生成するニューラルネットワークの生成方法において、
入力層Ｊ、余剰ニューロンが設けられた中間層Ｋ及び出力層Ｌを有する第２ニューラルネットワークに対し、分類すべき学習用の入力データを前記入力層Ｊに与え、前記余剰ニューロンに、該余剰ニューロンが無反応なことを意味する無反応データを教師データとして与える工程Ａと、前記第２ニューラルネットワークに対し、分類すべきでない学習用の入力データを前記入力層Ｊに与え、前記余剰ニューロンに、該余剰ニューロンが反応していることを意味する反応データを教師データとして与える工程Ｂと、前記第２ニューラルネットワークに対し、入力データを前記入力層Ｊに与え、該入力層Ｊに与えた入力データを、前記出力層Ｌから出力される出力データの教師データとして与える工程Ｃと、前記第１ニューラルネットワークに、前記工程Ａ、Ｂ、Ｃを経た前記第２ニューラルネットワークの前記入力層Ｊ及び前記中間層Ｋを、前記入力層Ｐ及び前記中間層Ｑとしてそれぞれ組み込む工程Ｄとを有する。

第１の発明に係るニューラルネットワークは、入力層に与えられる入力データが、分類すべきデータである際に反応せず、分類すべきでないデータである際に反応する余剰ニューロンを、中間層に備えるので、未知の入力データを表現するための余地を有することができ、入力データが分類すべきでないデータに対応可能である。

また、第２の発明に係るニューラルネットワークの生成方法は、第２ニューラルネットワークにおいて、学習させたいデータに対して余剰ニューロンが反応しないように、そうでないデータに対して反応するように学習を進め、学習されたニューラルネットワークのエンコーダ部を第１ニューラルネットワークに組み込むので、未知の入力データを表現するための余地を有して、入力データが分類すべきでないデータに対応可能な第１ニューラルネットワークを生成することが可能である。

本発明の一実施の形態に係るニューラルネットワークの説明図である。 同ニューラルネットワークのエンコーダ部を有する別のニューラルネットワークの説明図である。 従来の自己符号化器の説明図である。 本実施の形態に係る自己符号化器の学習の説明図である。 自己符号化器の学習の説明図である。 （Ａ）、（Ｂ）は学習誤差の収束の実験結果を示すグラフである。 学習誤差の収束の実験結果を示すグラフである。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１に示すように、本発明の一実施の形態に係るニューラルネットワーク１０は、それぞれ複数のニューロン１１、１２、１３が設けられた入力層１４、中間層１５及び出力層１６を有し、入力層１４に与えられる入力データを対応するクラスに分類するシステムである。以下、詳細に説明する。

本実施の形態において、ニューラルネットワーク１０は、複数の電子部品が搭載された回路基板や、コンピュータにインストールされて機能するソフトウェアとして具現化される。ニューラルネットワーク１０は、多層パーセプトロンに該当し、入力層１４に入力データが与えられると、該当の入力データをその入力データが属するクラスに分類する分類器である。入力データが画像データである場合、ニューラルネットワーク１０は入力された画像データを分類する画像解析システムとして機能する。以下、ニューラルネットワーク１０のように、入力層に与えられた入力データをその入力データが属するクラスに分類するニューラルネットワークを、「分類用ニューラルネットワーク」とも言う。

ニューラルネットワーク１０の従来のニューラルネットワークにはない特徴として、余剰ニューロン１７を中間層１５に備えている点が挙げられる。
余剰ニューロン１７は、入力層１４に与えられる入力データが、分類（一のクラスに分類）すべきデータである際には反応せず（本実施の形態では、０を出力し）、分類すべきでないデータである際に反応する（本実施の形態では、１を出力する）。ここで、分類すべきでないデータとは、分類すべきでないことを学習したデータや、分類すべきか否かを学習していない未知のデータや、ノイズ等が該当する。

ニューラルネットワーク１０は、入力層１４に分類すべき入力データが与えられると、原則、余剰ニューロン１７が反応せず、余剰ニューロン１７以外のニューロン１１、１２、１３によって入力データの分類処理を行う。よって、反応しない余剰ニューロン１７は他のニューロン１１、１２、１３による入力データの分類処理に影響を与えない。
また、入力層１４に分類すべきでない入力データが与えられると、余剰ニューロン１７が原則反応する。ニューラルネットワーク１０は、余剰ニューロン１７が反応した際に、入力データが分類すべきデータでないことを検知する。

ニューラルネットワーク１０において、入力層１４及び中間層１５からなるエンコーダ部１８は、入力層１４’、中間層１５’及び出力層３１を備えるニューラルネットワーク３０（図２参照）の入力層１４’及び中間層１５’が、入力層１４及び出力層１５として組み込まれたものである。
ニューラルネットワーク３０は、図２に示すように、自己符号化器（Ａｕｔｏｅｎｃｏｄｅｒ）に該当し、入力層１４’、中間層１５’及び出力層３１に複数のニューロン１１’、複数のニューロン１２’及び複数のニューロン１３’をそれぞれ具備し、中間層１５’には更に、従来の自己符号化器には存在しない余剰ニューロン１７’を備えている。

ニューラルネットワーク３０を理解するために、図３を参酌して、従来の自己符号化器５０について説明する。自己符号化器５０は、多層パーセプトロンが変形されたニューラルネットワークで、図３に示すように、入力層５１の全てのニューロン５２と中間層５３の全てのニューロン５４とが結合し、中間層５３の全てのニューロン５４と出力層５５の全てのニューロン５６とが結合している。

入力層５１のニューロン５２数と出力層５５のニューロン５６数は等しく、中間層５３のニューロン５４数は入力層５１のニューロン５２数及び出力層５５のニューロン５６数より少ない。入力層５１から中間層５３への変換式及び中間層５３から出力層５５への変換式は、以下の式１及び式２によってそれぞれ表される。

自己符号化器５０の学習工程では、入力層５１に入力データを与え、入力層５１に与えた入力データを出力層５５から出力される出力データの教師データとして与える。そして、出力層５５から出力される出力データと教師データとの差分を最小化するように、結合荷重及びバイアスの各パラメータを調整し、自己符号化器５０の出力層５５から入力データと同じ出力データが出力されるようにする。
この教師なし学習では、多層パーセプトロンの教師あり学習とは異なり、人が決定する定義に依存しない学習が行われる。そのため、自己符号化器５０に学習させたいデータだけあれば、自己符号化器５０は、入力データが人では分類不可能なデータや未学習のクラスに該当するデータであっても、その入力データに対する表現ができるようになる。

＜ニューラルネットワーク１０の生成方法＞
次に、ニューラルネットワーク１０を生成する方法（本発明の一実施の形態に係るニューラルネットワークの生成方法）について説明する。
ニューラルネットワーク１０の生成（設計）は、主に、ニューラルネットワーク３０の学習と、学習後のニューラルネットワーク３０の入力層１４’及び中間層１５’（エンコーダ部）の、ニューラルネットワーク１０のエンコーダ部１８への組み込みとによって構成される。

ここで、ニューラルネットワーク１０は第１ニューラルネットワークの一例であり、ニューラルネットワーク１０が有する入力層１４、中間層１５及び出力層１６は、入力層Ｐ、中間層Ｑ及び出力層Ｒにそれぞれ該当する。ニューラルネットワーク３０は第２ニューラルネットワークの一例であり、ニューラルネットワーク３０が有する入力層１４’、中間層１５’及び出力層３１は、入力層Ｊ、中間層Ｋ及び出力層Ｌにそれぞれ該当する。

まず、ニューラルネットワーク３０の学習方法について記載する。なお、ニューラルネットワーク３０の学習方法を説明するに当たって、ニューラルネットワーク３０を、図２、図４、図５に示すように、便宜的に、ニューラルネットワーク３０の入力層１４’及び余剰ニューロン１７’からなる仮想部分モデル３２と、ニューラルネットワーク３０に対して、余剰ニューロン１７’を入力層１４’（エンコーダプロセス）から切り離した仮想全体モデル３３とに分けて説明する。

（１）仮想部分モデル３２（ニューラルネットワーク３０）に対し、図４に示すように、分類すべき学習用の入力データを入力層１４’に与え、余剰ニューロン１７’に、０（余剰ニューロン１７’が無反応なことを意味する無反応データの一例）を教師データとして与える（工程Ａ）。これによって、ニューラルネットワーク３０において、入力層１４’に分類すべき学習用の入力データが与えられた際に、余剰ニューロン１７が０を出力するように学習させる。

（２）仮想全体モデル３３（ニューラルネットワーク３０）を、余剰ニューロン１７’から０が出力されて伝搬する状態にする。この状態で、仮想全体モデル３３（ニューラルネットワーク３０）に対し、分類すべき学習用の入力データを入力層１４’に与え、入力層１４’に与えた入力データを、出力層３１から出力される出力データの教師データとして与える（工程Ｃ）。これにより、ニューラルネットワーク３０が入力データと同じデータを再構成できるように学習させる。

（３）仮想部分モデル３２（ニューラルネットワーク３０）に対し、図５に示すように、分類すべきでない学習用の入力データを入力層１４’に与え、余剰ニューロン１７’に、１（余剰ニューロン１７’が反応していることを意味する反応データの一例）を教師データとして与える（工程Ｂ）。これによって、ニューラルネットワーク３０において、入力層１４’に分類すべきでない学習用の入力データが与えられた際に、余剰ニューロン１７’が１を出力するように学習させる。

（４）仮想全体モデル３３（ニューラルネットワーク３０）を、余剰ニューロン１７’から１が出力されて伝搬する状態にする。この状態で、仮想全体モデル３３（ニューラルネットワーク３０）に対し、分類すべきでない学習用の入力データを入力層１４’に与え、入力層１４’に与えた入力データを、出力層１６から出力される出力データの教師データとして与える（工程Ｃ）。これにより、ニューラルネットワーク３０が入力データと同じデータを再構成できるように学習させる。

上記（１）〜（４）によるニューラルネットワーク３０の学習によって、ニューラルネットワーク１０に適用される入力層１４’及び中間層１５’が生成（形成）される。なお、上記（１）〜（４）は、（１）、（２）、（３）、（４）を順に行う必要はなく、どの順番に行っても良い。また、上記（２）、（４）をまとめると、ニューラルネットワーク３０に対し、入力データを入力層１４’に与え、入力層１４’に与えた入力データを、出力層３１から出力される出力データの教師データとして与えることとなる。

（５）ニューラルネットワーク３０の学習を完了した後、ニューラルネットワーク１０に、ニューラルネットワーク３０（工程Ａ、Ｂ、Ｃを経たニューラルネットワーク３０）の入力層１１’及び中間層１２’を、入力層１１及び中間層１２としてそれぞれ組み込み（工程Ｄ）、ニューラルネットワーク１０の生成が完了する。
生成されたニューラルネットワーク１０に対し、教師あり学習が行われ、ニューラルネットワーク１０は入力データをクラスに分類できるようになる。

次に、本発明の作用効果を確認するために行った第１、第２、第３の実験について説明する。
各実験では、第２ニューラルネットワークに該当する自己符号化器として、７８４−１００−７８４の（入力層が７８４個のニューロン、中間層が１００個のニューロン、出力層が７８４個のニューロンを有する）単層モデルを採用し、中間層の１００個のニューロンのうち、特定の１０個を余剰ニューロンとして扱った。よって、第２ニューラルネットワーク（第１ニューラルネットワークについても同じ）は中間層に２個以上の余剰ニューロンを具備することができる。自己符号化器は、中間層の活性化関数がＲｅＬＵ関数であり、出力層の活性化関数が恒等関数であった。

また、自己符号化器に与える入力データには衣料用画像データセットを用いた。この衣料用画像データセットは、ラベル０〜９に属する学習用画像データ及びテスト用画像データによって構成され、各ラベルについて６，０００個の学習用画像データ及び１，０００個のテスト用画像データが存在する。

＜第１の実験＞
第１の実験では、まず、ラベル０〜２に属する合計１８，０００個の学習用画像データを用いて、自己符号化器に対し上記（１）〜（４）の処理を行った。以下、該当の処理を行った自己符号化器を学習済み自己符号化器と言う。
その後、学習済み自己符号化器において、ラベル０〜２に属する合計３，０００個のテスト用画像データ（学習済み自己符号化器のエンコーダ部を有する分類器（以下、単に「分類器」と言う）で分類すべきデータに該当）及びラベル３〜９に属する合計７，０００個のテスト用画像データ（分類器で分類すべきでないデータに該当）を入力層に与え、入力層に与えたテスト用画像データと出力層から出力される画像データの誤差と、余剰ニューロンの出力値とを調べた。なお、第１の実験及び後述する第２、第３の実験では、エポック数が５０でバッチ数が２００のミニバッチ学習を行った。

実験結果を図６（Ａ）及び以下の表１に示す。

図６（Ａ）（図６（Ｂ）、図７も同様）において、横軸はエポック数であり、縦軸は学習誤差（誤差）を示す。学習済み自己符号化器の出力層から出力された画像データと、入力層に与えたテスト用画像データとの差異が大きければ、縦軸の学習誤差の値が大きくなり、全てのテスト処理で、出力層から出力された画像データと、入力層に与えたテスト用画像データとが完全に一致すると、縦軸の学習誤差の値は０．０００となる。

表１（表２、表３、表４も同様）において、「学習対象」は、自己符号化器に該当のラベルに属する学習用画像データを学習させたか否かを示し、「○」が学習させたこと、「×」が学習させなかったことをそれぞれ意味し、「分類」は、該当のラベルに属するテスト用画像データが分類すべき対象か分類すべきでない対象かを示し、「○」が分類すべき対象であること、「×」が分類すべきでない対象であることをそれぞれ意味する。表１（表３、表４も同様）中の「割合」は、学習済み自己符号化器の入力層に与えたテスト用画像データのうち、１０個の余剰ニューロン全てが０を出力したテスト用画像データの割合（％）が示されている。

図６（Ａ）に示された結果から、エポック数の増加に伴って学習誤差が収束したこと、即ち、出力層が入力層に与えられたテスト用画像データを再構成できた率が上昇したことが確認できる。
表１に示された結果から、ラベル０〜２のテスト用画像データ（分類すべき対象）全てに対して、１０個の余剰ニューロンが０を出力したこと、即ち、余剰ニューロンが無反応で出力層での画像データの再構成に寄与しなかったことが確認できる。更に、ラベル３〜９のテスト用画像データ（分類すべきでない対象）に対しては、一部の余剰ニューロンの出力が０ではなかったこと、即ち、余剰ニューロンがラベル０〜２のテスト用画像データとは異なる特徴を持つラベル３〜９のテスト用画像データに対して反応したことが確認できる。

＜第２の実験＞
第２の実験では、学習用画像データ及びテスト用画像データを、以下の表２に示すように、３つのタイプとして扱った。

第２の実験では、自己符号化器の学習の際、自己符号化器及び入力層に、１８，０００個のタイプαの学習用画像データと、４５０個のタイプγの学習用画像データを与えた。従って、学習の際、自己符号化器及び自己符号化器にタイプβの学習用画像データは与えられなかった。

学習済み自己符号化器において、タイプαの３，０００個のテスト用画像データ（分類すべき対象）、タイプβの４，０００個のテスト用画像データ（分類すべきでない対象）及びタイプγの３，０００個のテスト用画像データ（分類すべきでない対象）を入力層に与え、入力層に与えたテスト用画像データと出力層から出力される画像データの誤差と、余剰ニューロンの出力値とを調べた。

実験結果を図６（Ｂ）及び以下の表３に示す。

図６（Ｂ）に示す結果から、エポック数の増加に伴う学習誤差の収束値が図６（Ａ）に示す第１の実験結果よりも大きいものの、学習誤差が収束したことは確認できた。エポック数の増加に伴って学習誤差の値が上下にぶれ続けていることから、一定の値に向かって結合荷重及びバイアスの各パラメータを更新することが困難となったことが分かる。

これは、第２の実験で用いたタイプαの学習用画像データとタイプγの学習用画像データとによるものと考えられる。第２の実験では、学習の際、ラベル０〜２の学習用画像データ（分類すべき対象）及びラベル７〜９の学習用画像データ（分類すべきでない対象）からランダムに学習用画像データを選択した。よって、一回のパラメータ更新のために使用された学習用画像データが、分類すべき対象及び分類すべきでない対象のいずれか一方に偏っていたことが一定以上あったと推測され、このようなデータの偏りがあるとパラメータの更新傾向も偏りが生じるためである。

なお、学習誤差が小さくなるにつれて慎重なパラメータ更新が求められることから、図６（Ｂ）に示さるように、エポック数の増加に伴って学習誤差の値がぶれ続けているのは、与えた学習用画像データの学習が適切になされ、十分に学習誤差が小さくなったためと考えられる。

表３に示された結果から、余剰ニューロンが反応しないように学習したラベル０〜２に属するテスト用画像データに対して、少数であったが、余剰ニューロンが反応したパターンが見られた。更に、余剰ニューロンが反応するように学習したラベル７〜９に属するテスト用画像データに対して、少数であったが、余剰ニューロンが反応しないパターンが散見された。また、学習対象外であったラベル３〜６に属するテスト用画像データについては、約半分の確率で、余剰ニューロンに反応が見られた。

この結果は、第２の実験で使用したテスト用画像データ及び学習用画像データによるものと考えられる。ラベル０〜２のテスト用画像データ及び学習用画像データが上衣及び下衣のものであり、ラベル３〜６の学習用画像データが上衣及び靴のものであり、ラベル７〜９のテスト用画像データ及び学習用画像データが靴及び鞄のものであった。よって、上衣のデータが類似の特徴を有すると考えると、ラベル３〜６の学習用画像データの中で上衣の画像データに対して、余剰ニューロンが、ラベル０〜２のテスト用画像データと同じ挙動をしたことが考えられる。

＜第３の実験＞
第３の実験は、自己符号化器の学習の際、自己符号化器及び自己符号化器の各入力層に、ラベル０〜２に属する１８，０００個の学習用画像データと、４５０個のノイズデータを与えるようにした。ノイズデータには値域［０，１）の一様乱数を用いた。また、学習済み自己符号化器に対し、ラベル０〜２に属する３，０００個のテスト用画像データと、ラベル３〜９に属する７，０００個のテスト用画像データとを使用した。

実験結果を図７及び以下の表４に示す。

図７に示す結果から、エポック数の増加に伴って学習誤差が収束したこと、即ち、出力層が入力層に与えられたテスト用画像データを再構成できるようになったことが確認できる。なお、収束値は、第１の実験で０．０３２だったのに対し、第３の実験で０．０４２であったため、第３の実験では、第１の実験と同等レベルの精度の学習ができたことが分かる。

表４に示す結果から、余剰ニューロンが反応しないように学習したラベル０〜２に属するテスト用画像データに対して、少数であったが、余剰ニューロンが反応したパターンが見られ、学習対象外であったラベル３〜９に属するテスト用画像データについては、約半分の確率で、余剰ニューロンに反応が見られた。従って、自己符号化器に対して、分類すべき対象と共に、分類すべきでない対象を学習させることで、余剰ニューロンを、分類すべきでない未知のデータに対して反応させるようにできる点が確認された。

以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、第２ニューラルネットワークは、自己符号化器である必要は無く、制限付きボルツマンマシン（Ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ Ｍａｃｈｉｎｅ）等であってもよい。

１０：ニューラルネットワーク、１１、１１’、１２、１２’、１３、１３’：ニューロン、１４、１４’：入力層、１５、１５’：中間層、１６：出力層、１７、１７’：余剰ニューロン、１８：エンコーダ部、３０：ニューラルネットワーク、３１：出力層、３２：仮想部分モデル、３３：仮想全体モデル、５０：自己符号化器、５１：入力層、５２：ニューロン、５３：中間層、５４：ニューロン、５５：出力層、５６：ニューロン

Claims (2)

1. それぞれ複数のニューロンが設けられた入力層、中間層及び出力層を有し、前記入力層に与えられる入力データを対応するクラスに分類するニューラルネットワークにおいて、
   前記入力層に与えられる入力データが、分類すべきデータである際に反応せず、分類すべきでないデータである際に反応する余剰ニューロンを、前記中間層に備えることを特徴とするニューラルネットワーク。
2. 入力層Ｐ、中間層Ｑ及び出力層Ｒを有し、該入力層Ｐに与えられた入力データを対応するクラスに分類する第１ニューラルネットワークを生成するニューラルネットワークの生成方法において、
   入力層Ｊ、余剰ニューロンが設けられた中間層Ｋ及び出力層Ｌを有する第２ニューラルネットワークに対し、分類すべき学習用の入力データを前記入力層Ｊに与え、前記余剰ニューロンに、該余剰ニューロンが無反応なことを意味する無反応データを教師データとして与える工程Ａと、
   前記第２ニューラルネットワークに対し、分類すべきでない学習用の入力データを前記入力層Ｊに与え、前記余剰ニューロンに、該余剰ニューロンが反応していることを意味する反応データを教師データとして与える工程Ｂと、
   前記第２ニューラルネットワークに対し、入力データを前記入力層Ｊに与え、該入力層Ｊに与えた入力データを、前記出力層Ｌから出力される出力データの教師データとして与える工程Ｃと、
   前記第１ニューラルネットワークに、前記工程Ａ、Ｂ、Ｃを経た前記第２ニューラルネットワークの前記入力層Ｊ及び前記中間層Ｋを、前記入力層Ｐ及び前記中間層Ｑとしてそれぞれ組み込む工程Ｄとを有することを特徴とするニューラルネットワークの生成方法。

Images