JP6476531B1

JP6476531B1 - 処理装置、処理方法、コンピュータプログラム及び処理システム

Info

Publication number: JP6476531B1
Application number: JP2018039896A
Authority: JP
Inventors: 修二奥野
Original assignee: TSUBASA FACTORY CO., LTD.
Current assignee: TSUBASA FACTORY CO., LTD.
Priority date: 2018-03-06
Filing date: 2018-03-06
Publication date: 2019-03-06
Anticipated expiration: 2038-03-06
Also published as: WO2019172262A1; US20210374528A1; JP2019153229A

Abstract

【課題】畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network ））による演算処理を効率化する処理装置、処理方法、コンピュータプログラム及び処理システムを提供する。
【解決手段】畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理装置であって、前記畳み込みニューラルネットワークへ入力するデータを非線形に空間変換する第１の変換器、及び前記畳み込みニューラルネットワークから出力されるデータを非線形に空間変換する第２の変換器、又はいずれか一方を備える。
【選択図】図３

Description

本開示は、畳み込みニューラルネットワークを用いる処理を効率化する処理装置、処理方法、コンピュータプログラム及び処理システムに関する。

ニューラルネットワークを用いた学習が多くの分野に適用されている。特に画像認識、音声認識の分野にて、ニューラルネットワークを多層構造で使用したディープラーニング（Deep Learning ；深層学習）が高い認識精度を発揮している。多層化したディープラーニングでも、入力の特徴を抽出する畳み込み層及びプーリング層を複数回使用した畳み込みニューラルネットワーク（以下、ＣＮＮ（Convolutional Neural Network ）と呼ぶ）を用いた画像認識が行なわれている。

ＣＮＮによる学習では、ニューラルネットワークを多階層化して用いるため、使用メモリ量が増大し、学習結果を出力するまでに多くの時間を要する。そこでＣＮＮに認識処理の対象となる画像データを入力する前に、輝度値（画素値）の正規化等の前処理が行なわれている（特許文献１等）。

特開２０１８−０１８３５０号公報

正規化のような処理でも一定の効果が得られるが、出力結果に影響なくＣＮＮの処理結果をより高速に得られる手法が期待される。

本開示は斯かる事情に鑑みてなされたものであり、ＣＮＮによる演算処理を効率化する処理装置、処理方法、コンピュータプログラム及び処理システムを提供することを目的とする。

本開示の処理装置は、畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理装置であって、前記畳み込みニューラルネットワークへ入力するデータを非線形に空間変換する第１の変換器、及び前記畳み込みニューラルネットワークから出力されるデータを非線形に空間変換する第２の変換器、又はいずれか一方を備える。

本開示の処理装置では、前記第１及び第２の変換器は、前記畳み込みニューラルネットワークへ入力する前記データのチャンネル数又は出力チャンネル数と同一数のノード数を有する入力層と、該入力層よりもノード数が多い畳み込み層又は緻密層である第２層と、該第２層よりもノード数が少ない畳み込み層又は緻密層である第３層とを含む。

本開示の処理装置では、前記第１の変換器は、学習用データを前記第１の変換器によって変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データと、前記学習用データに対応する第２出力データとの差分に基づき学習された前記第１の変換器におけるパラメータを記憶している。

本開示の処理装置では、前記第２の変換器は、学習用データを前記第１の変換器によって変換した後のデータ又は第１の変換器による変換を行なわずに前記畳み込みニューラルネットワークへ入力して得られる出力データを前記第２の変換器によって変換した後の第３出力データと、前記学習用データに対応する第４出力データとの差分に基づき学習された前記第２の変換器におけるパラメータを記憶している。

本開示の処理装置は、前記畳み込みニューラルネットワークから出力されるデータを周波数に応じて分解する帯域フィルタと、学習用データを前記第１の変換器によって変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データを前記帯域フィルタへ入力して得られる第５出力データと、前記学習用データに対応する第２出力データを前記帯域フィルタへ入力して得られる第６出力データとの差分に基づき、前記第１の変換器、及び畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部とを備える。

本開示の処理装置は、前記第１の変換器へ入力するデータを周波数に応じて分解する帯域フィルタと、学習用データを前記帯域フィルタへ入力して得られるデータを前記第１の変換器によって変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第７出力データと、前記学習用データに対応する第８出力データとの差分に基づき、前記第１の変換器、及び畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部とを備える。

本開示の処理装置では、前記データはマトリックス状に配列した画素値からなる画像データである。

本開示の処理方法は、畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理方法において、前記畳み込みニューラルネットワークへ入力するデータを非線形に空間変換し、空間変換後のデータを、前記畳み込みニューラルネットワークへ入力する。

本開示の処理方法では、前記空間変換は、学習用データを空間変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データと、前記学習用データに対応する第２出力データとの差分に基づき学習された空間変換用のパラメータによって実行される。

本開示の処理方法は、畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理方法において、前記畳み込みニューラルネットワークから出力されるデータを取得し、取得されたデータを非線形に空間変換して出力する。

本開示のコンピュータプログラムは、コンピュータに、畳み込み層を含む畳み込みニューラルネットワークへ入力するデータを受け付け、前記データを非線形に空間変換し、学習用データを空間変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データと、前記学習用データに対応する第２出力データとの差分に基づき、空間変換及び前記畳み込みニューラルネットワークにおけるパラメータを学習する処理を実行させる。

本開示のコンピュータプログラムは、コンピュータに、畳み込み層を含む畳み込みニューラルネットワークから出力されるデータを非線形に空間変換し、学習用データを前記畳み込みニューラルネットワークへ入力して得られる空間変換後の第３出力データと、前記学習用データに対応する第４出力データとの差分に基づき、前記畳み込みニューラルネットワーク及び空間変換におけるパラメータを学習する処理を実行させる。

本開示の処理システムは、上述のいずれか１つの処理装置、又は上述のいずれかのコンピュータプログラムを実行するコンピュータへ、入力データを送信し、前記処理装置又はコンピュータから出力されたデータを受信して利用する利用装置を備える。

本開示の処理システムでは、前記利用装置は、テレビジョン受信機、表示装置、撮像装置、又は表示部及び通信部を備える情報処理装置である。

本開示の一態様では、入力データが入力と出力とで非線形に歪む処理が第１の変換器で行なわれてから畳み込みニューラルネットワークへ入力される。非線形な空間変換を行なってから畳み込み層に入力して学習を行なうことにより、空間変換によって特性を強調する空間変換が学習される。

本開示の一態様では、変換器は入力チャンネル数と同数のノード数を第１層目に有し、入力チャンネル数よりも多いノード数の畳み込み層を第２層目に有している。更に第２層目よりも少ないノード数で出力する第３層目を有している。畳み込みニューラルネットワークと併せた学習により、学習目的に応じた非線形空間変換処理を実現する変換器が構成される。

本開示の一態様では、畳み込みニューラルネットワークの後段に、前記変換器の非線形空間変換の逆変換、又は別途異なる非線形の変換を行なう第２の変換器が用いられる。入力データ及び出力データが画像データである場合等、出力では入力側で行なった非線形な空間変換を戻すような変換が必要になる場合がある。第２の変換器も、入力側の変換器同様に、第２層目でノード数が多い３層のニューラルネットワークの一部を構成し、併せて学習が行なわれる。第１の変換器と第２の変換器とでは、両方又はいずれか一方が使用される。

本開示の一態様では、畳み込みニューラルネットワークの後段に帯域フィルタが設けられ、帯域フィルタから出力されるデータと、学習用データに対応するデータに対し同様の帯域フィルタを掛けて得られるデータとの差分から学習が行なわれる。帯域フィルタによって特定の周波数の影響を強調するか、又は除外して得られる出力データで学習が行なわれる。

本開示の一態様では、畳み込みニューラルネットワークの前段に、変換器と共に帯域フィルタが設けられ、畳み込み前に帯域フィルタにて特定の周波数の影響を強調するか、又は除外して得られるデータを用いて学習が行なわれる。

本開示の一態様では、上述の処理により学習済みのニューラルネットワークから得られるデータを利用した処理システムで種々のサービスが提供される。利用してサービスを提供する装置は、テレビジョン放送を受信して表示するテレビジョン受信機、画像を表示する表示装置、カメラである撮像装置等である。また、表示部及び通信部を備えて前記処理装置又はコンピュータと情報を送受信できる情報処理装置であり、例えば所謂スマートフォン、ゲーム機器、オーディオ機器等であってもよい。

本開示の処理により、畳み込みニューラルネットワークにおける学習効率の向上、学習速度の向上が期待される。

本実施の形態における画像処理装置の構成を示すブロック図である。画像処理装置の機能ブロック図である。ＣＮＮ及び変換器の構成を示す説明図である。変形例１における画像処理装置の機能ブロック図である帯域フィルタの利用方法を示す説明図である。帯域フィルタの内容例の１つを示す図である。帯域フィルタの他の内容例を示す図である。変形例２における画像処理装置の機能ブロック図である。帯域フィルタの内容を示す説明図である。

以下、本願に係る演算処理装置について、実施の形態を示す図面を参照しつつ説明する。なお本実施の形態では、演算処理装置における処理を画像に対して処理を実行する画像処理装置に適用した例を挙げて説明する。

図１は、本実施の形態における画像処理装置１の構成を示すブロック図であり、図２は画像処理装置１の機能ブロック図である。画像処理装置１は、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４及び操作部１５を備える。なお画像処理装置１及び画像処理装置１における動作について以下では、１台のサーバコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

制御部１０は、ＣＰＵ（Central Processing Unit ）等のプロセッサ及びメモリ等を用い、装置の構成部を制御して各種機能を実現する。画像処理部１１は、ＧＰＵ（Graphics Processing Unit）又は専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、ＣＰＵ，ＧＰＵ等のプロセッサ、メモリ、更には記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System on a Chip）として構成されていてもよい。

記憶部１２は、ハードディスク又はフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐ、ＤＬ（Deep Learning ）用、特にＣＮＮとしての機能を発揮させるＣＮＮライブラリ１Ｌ、及び変換器ライブラリ２Ｌが記憶されている。また記憶部１２には、１つの学習毎に作成されるＣＮＮ１１１又は変換器１１２を定義する情報、学習済みＣＮＮ１１１における各層の重み係数等を含むパラメータ情報等が記憶される。

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。

表示部１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。

操作部１５は、キーボード又はマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶してある画像処理プログラム２Ｐ、ＣＮＮライブラリ３Ｌ、及び変換器ライブラリ４Ｌを読み取ることが可能である。記憶部１２に記憶してある画像処理プログラム１Ｐ、ＣＮＮライブラリ１Ｌ、及び変換器ライブラリ２Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ、ＣＮＮライブラリ３Ｌ、及び変換器ライブラリ４Ｌを制御部１０が記憶部１２に複製したものであってもよい。

画像処理装置１の制御部１０は、記憶部１２に記憶してある画像処理プログラム１Ｐに基づき、画像処理実行部１０１として機能する。また画像処理部１１は、記憶部１２に記憶してあるＣＮＮライブラリ１Ｌ、定義データ、パラメータ情報に基づきメモリを用いてＣＮＮ１１１（ＣＮＮエンジン）として機能し、また変換器ライブラリ２Ｌ、フィルタ情報に基づきメモリを用いて変換器１１２として機能する。画像処理部１１は、変換器１１２の種類に応じて逆変換器１１３として機能する場合もある。

画像処理実行部１０１は、ＣＮＮ１１１、変換器１１２及び逆変換器１１３を用い、各々へデータを与え、各々から出力されるデータを取得する処理を実行する。画像処理実行部１０１は、ユーザの操作部１５を用いた操作に基づき、入力データである画像データを変換器１１２に入力し、変換器１１２から出力されたデータをＣＮＮ１１１に入力する。画像処理実行部１０１は、ＣＮＮ１１１から出力されたデータを必要に応じて逆変換器１１３へ入力し、逆変換器１１３から出力されたデータを出力データとして記憶部１２に出力する。画像処理実行部１０１は、出力データを画像処理部１１へ与えて画像として描画し、表示部１４へ出力してもよい。

ＣＮＮ１１１は、定義データにより定義される複数段の畳み込み層及びプーリング層と、全結合層とを含み、入力データの特徴量を取り出し、取り出された特徴量に基づいて分類を行なう。

変換器１１２は、ＣＮＮ１１１同様に畳み込み層と多チャンネル層とを含み、入力されたデータに対して非線形変換を行なう。ここで非線形変換とは、例えば色空間変換、レベル補正といった入力値を、図２中で示すように非線形に歪めるような処理を言う。逆変換器１１３は、畳み込み層と多チャンネル層とを含んで逆変換する。なお逆変換器１１３は変換器１１２による歪みを戻す機能を果たすが、変換器１１２と対称となるような変換とは限らない。

図３は、ＣＮＮ１１１及び変換器１１２の構成を示す説明図である。図３は、変換器１１２及び逆変換器１１３をＣＮＮ１１１に対応させて表現している。図３に示すように、変換器１１２は、入力画像のチャンネル数と同一のチャンネル数を有する第１層と、第１層よりもノード数が多い畳み込み層（CONV）である第２層と、第２層よりもノード数が少ない第３層とで構成される。なお図３Ａはチャンネル数を３（例えばＲＧＢカラー画像）とし、図３Ｂはチャンネル数を１（例えばグレースケール画像）とした図を示している。第２層及び第３層は、１つの重みとバイアスのみを有するフィルタサイズ１×１の畳み込み層である。これにより、図２の機能ブロック図に示したように、入力に対して非線形出力が得られる。なお変換器１１２の第３層の出力チャンネル数（ノード数）は、図３の例では入力チャンネル数と同数であるが、これに限らず減少させて圧縮としてもよいし、増加させてもよい（冗長化される）。このような構成とした変換器１１２は、入力データのサンプル値（画像データであれば画素値（輝度値））を非線形に歪ませる作用を施し、隣接するサンプルには依存しない。

逆変換器１１３は、ＣＮＮ１１１の出力チャネル数と同一のチャンネル数（ノード数）を有する第１層と、第１層よりもノード数が多い緻密層（DENSE ）である第２層と、第１層と同一のノード数（出力チャンネル数）を持つ第３層とで構成される。図３Ａ及び図３Ｂでは入力及び出力チャンネル数を３としているが、分類数の入出力であればよく、３分類の場合は３ノード入力３ノード出力であり、１０分類であれば１０ノード入力１０ノード出力である。逆変換器１１３は、変換器１１２同様に入力に対して非線形変換を行ない、入力サンプル値を非線形に歪めるような処理を行なう作用を持つ。なお逆変換器１１３は緻密層を第２層に有するものに限らず、畳み込み層によって構成されるものであってもよい。

本実施の形態では、変換器１１２及び逆変換器１１３の両者を用いる構成とした。しかしながら、変換器１１２のみ、又は逆変換器１１３のみを用いる構成としてもよい。

本実施の形態では、画像処理実行部１０１が、変換器１１２及び逆変換器１１３を、ＣＮＮ１１１を含むＣＮＮの一部として用いて学習を行なう。具体的には画像処理実行部１０１は学習時には、学習データをＣＮＮ全体に入力して得られる出力データと、既知の学習データの分類（出力）との誤差を最小にする処理を実行し、変換器１１２又は逆変換器１１３における重みを更新する。この学習処理により得られるＣＮＮ１１１におけるパラメータと、変換器１１２における重みとは、対応するパラメータとして記憶部１２に記憶される。画像処理実行部１０１は、学習済みＣＮＮ１１１を使用する場合には、ＣＮＮ１１１を定義する定義情報及び記憶部１２に記憶してあるパラメータと、対応する変換器１１２の重みとを用い、入力データを変換器１１２に入力した後のデータをＣＮＮ１１１へ入力して用いる。逆変換器１１３を用いる場合も学習により得られる学習済みＣＮＮ１１１を定義する定義情報及びパラメータと対応する重みを使用する。

変換器１１２は畳み込みによる特徴抽出の前段に入力することによって、抽出されるべき画像の特徴を更に強調するように作用し、これによりＣＮＮ１１１における学習効率及び学習精度が向上することが期待される。

なお、本実施の形態における画像処理装置１のハードウェア構成の内、通信部１３、表示部１４、操作部１５、及び読取部１６は必須ではない。通信部１３については、例えば記憶部１２に記憶される画像処理プログラム１Ｐ、ＣＮＮライブラリ１Ｌ及び変換器ライブラリ２Ｌを外部サーバ装置から取得する場合に一旦使用された後は使用しない場合がある。読取部１６も同様に、画像処理プログラム１Ｐ、ＣＮＮライブラリ１Ｌ及び変換器ライブラリ２Ｌを記憶媒体から読み出して取得した後は使用されない可能性がある。そして通信部１３及び読取部１６は、ＵＳＢ（Universal Serial Bus）等のシリアル通信を用いた同一のデバイスであってもよい。

また画像処理装置１がＷｅｂサーバとして、上述のＣＮＮ１１１、変換器１１２、及び逆変換器１１３としての機能のみを、表示部及び通信部を備えるＷｅｂクライアント装置へ提供する構成としてもよい。この場合通信部１３は、Ｗｅｂクライアント装置からのリクエストを受信し、処理結果を送信するために使用される。

本実施の形態における変換器１１２としての機能は、逆変換器１１３と対、又はいずれか一方のみでツールのようにして単独で提供されてもよい。つまりユーザは、前後で接続されるＣＮＮを特定のものとせずに任意のものを選択でき、選択したＣＮＮに対して本実施の形態における変換器１１２及び／又は逆変換器１１３を適用して学習を行なうことができる。

本実施の形態では、マトリックス状に配列した色（ＲＧＢ）別の画素値からなる画像データを入力データとして、入力データに変換を施してから学習を行なう例を挙げて説明した。しかしながら入力データは画像データに限らず、複数次元の情報を持つデータであれば適用可能である。

なお学習時に用いる誤差は、二乗誤差、絶対値誤差、又は交差エントロピー誤差等、入出力されるデータ、学習目的に応じて適切な関数を用いるとよい。例えば、出力が分類である場合、交差エントロピー誤差を用いる。誤差関数を用いることに拘わらずその他の基準を用いるなど柔軟な運用が適用できる。この誤差関数自体に外部のＣＮＮを用いて評価を行なってもよい。

（変形例１）
本実施の形態で示した変換器１１２及び逆変換器１１３の利用に加え、入力データを画像データとする場合は特に、特定の周波数成分の影響を考慮した帯域フィルタ１１４を用いることで、更に学習効率及び学習精度を向上させることが期待できる。

図４は、変形例１における画像処理装置１の機能ブロック図である。図４に示すように変形例１における画像処理部１１は、出力の後段に帯域フィルタ１１４が追加される。帯域フィルタ１１４は、特定の周波数を除去したり抽出したりするフィルタである。なお帯域フィルタ１１４は学習時のみに使用される。

図５は、帯域フィルタ１１４の利用方法を示す説明図である。図５Ａに、帯域フィルタ１１４を利用した学習方法を示し、図５Ｂには、説明を容易とするために従来の学習方法を示す。

従来は図５Ｂに示すように、ＣＮＮ１１１を用いる学習を行なう際には、学習用データをＣＮＮ１１１へ入力して出力されるデータと、学習用データに対して既知の出力データとを比較し、誤差が最小になるようにＣＮＮ１１１における畳み込み層及びプーリング層の構成と、重み係数等のパラメータとを更新する。学習結果を使用する場合には、更新された構成及びパラメータの情報を用いた学習済みＣＮＮ１１１に入力データを与えて出力データを得る。

変形例１では、図３Ａ及び図３Ｂに示した出力の後段に、帯域フィルタ１１４として作用するように重みを設定した層を追加し、帯域フィルタ１１４からの出力までを含め全体としてＣＮＮとして学習を行なう。前記重みの部分については変化させずに学習が行なわれる。具体的には、画像処理実行部１０１は、変換器１１２、ＣＮＮ１１１、逆変換器１１３、及びフィルタ層を順に含んだ全体をＣＮＮとして学習用データを入力し、帯域フィルタ１１４からの出力データを取得する。画像処理実行部１０１は、学習用データに対して既知の出力データに対しても帯域フィルタ１１４と同一のフィルタ処理を行ない、フィルタ処理後の出力データを取得する。画像処理実行部１０１は、フィルタ処理後の出力データを比較し、誤差が最小となるように変換器１１２、ＣＮＮ１１１、逆変換器１１３、及び帯域フィルタ１１４までの重み等のパラメータを更新する。なお異なる帯域フィルタ１１４毎の出力（出力Ａ，出力Ｂ，…，）と、対応する学習用データとの誤差夫々に対し、出力毎の係数を乗じ、係数を乗じた後の二乗誤差が最小になるように学習を行なう方法を使用することが望ましい。ここで係数は例えば、複数の帯域フィルタ１１４に対し設計により付与された優先度である。係数を乗じるタイミングは、帯域フィルタ１１４における周波数分解時であってもよい。そして画像処理実行部１０１は、学習済みＣＮＮ１１１を使用する際には帯域フィルタ１１４を用いずに逆変換器１１３からの出力を結果として得る。これにより、出力データの特性部分がより考慮された学習が可能となり、学習精度の向上が期待される。

図６は、帯域フィルタ１１４の内容例の１つを示す図である。帯域フィルタ１１４は例えば、Ｈａａｒ変換（Ｈａａｒウェーブレット変換）である。帯域フィルタ１１４は４つのノード数を有し、夫々、２×２サイズのフィルタで左上画素を集約した分割画像（Ａ）、左下画素を集約した分割画像（Ｂ）、右上画素を集約した分割画像（Ｃ）、右下画素を集約した分割画像（Ｄ）を夫々作成するフィルタである。帯域フィルタ１１４は更に、作成した分割画像をＬＬ（低周波成分）、ＨＬ（縦（y ）方向の高周波成分）、ＬＨ（横（x ）方向の高周波成分）、ＨＨ（高周波成分）の各サンプルへ変換する。具体的には入力データ（画像データ）に以下の式（１）に示すようなフィルタを掛けて出力する。

図７は、帯域フィルタ１１４の他の内容例を示す図である。帯域フィルタ１１４は図６に示すように例えば、JPEG2000の画像圧縮で使用されている 5/3離散ウェーブレット変換である。なおＬＬのサンプルを更にＨＨ，ＨＬ，ＬＨ，ＬＬの夫々の成分へ再帰的に分割して使用してもよい。図６に示したＨａａｒ変換と比較して４つの画素に分割していないが、式（２）に示すフィルタで実行される処理は実質的に同一である。４画素に分解した場合、畳み込み係数が３×３の行列になる。

図７に示した内容の帯域フィルタ１１４を利用する場合も、図５に示したように、画像処理実行部１０１は、学習時に学習データを変換器１１２、ＣＮＮ１１１、逆変換器１１３とその後段に設けられた帯域フィルタ１１４からの出力を取得し、学習データについて既知の分類結果（画像データ）についても同様に帯域フィルタ１１４を用いて出力を取得する。画像処理実行部１０１は、それらの出力の差分の誤差が最小となるように、変換器１１２、ＣＮＮ１１１、逆変換器１１３の重み、パラメータ等を更新する処理を行なう。ここでも図５Ａを参照して説明したように、図７における各周波数（ＬＬ、ＨＬ、ＬＨ、ＨＨ）についての各出力の誤差に対して係数（優先度）を乗じた結果を用いて、誤差が最小となるように学習を行なうとよい。なお学習済みＣＮＮを用いる場合には、帯域フィルタ１１４は使用しない。

変形例１の帯域フィルタ１１４は、可逆的なフィルタであるが量子化処理を加えて不可逆な処理を行なうものであってもよい。ガボールフィルタを用いてもよい。

変形例１で示した帯域フィルタ１１４、及び逆変換器１１３は出力を単純に０〜１へ丸める処理を行なうものであってもよい。

（変形例２）
変形例１及び２にて示した出力データの後段の帯域フィルタ１１４は、変換器１１２よりも前段にて適用することも可能である。

図８は、変形例２における画像処理装置１の機能ブロック図である。図８に示すように変形例２における画像処理部１１は、入力とＣＮＮ１１１の間で帯域フィルタ１１５として機能する。帯域フィルタ１１５は、特定の周波数を除去したり抽出したりするフィルタである。これにより、特定の周波数成分が除去されたデータがＣＮＮ１１１へ入力され、学習速度及び学習精度の向上が期待される。なお出力の後段に更に変形例１で示した帯域フィルタ１１４を設ける構成としてもよい。

図９は、帯域フィルタ１１５の内容を示す説明図である。図９に示すように帯域フィルタ１１５は、ウェーブレット変換又はガボール変換等の第１フィルタ、第１フィルタの出力が保持される出力層（メモリ）、空間変換フィルタ、分解された入力データを元と同様の次元に再構成する再構成フィルタとを含む。空間変換フィルタは変換器１１２と同じ構成であって入力チャンネル数は前段の出力層のチャンネル数と同一であってノード数が入力チャンネル数よりも多く、１×１の畳み込み層である。これにより、入力データは、固定の帯域フィルタによって帯域別に出力（分解）され、出力に対して変換器１１２と同様で変形を行なってフィルタリングを施し、再構成フィルタで元に戻した後、ＣＮＮに入力される。再構成フィルタは必須ではなく、分解されたままの入力データによって学習を行なってもよい。

帯域フィルタ１１５は、第１フィルタにおける重みを固定し、空間変換フィルタから先をＣＮＮとして扱って学習を行なう。具体的には、画像処理実行部１０１は、帯域フィルタ１１５の一部（変換器１１２）、及びＣＮＮ１１１を順に含んだ全体をＣＮＮとして学習用データを入力し、出力データを取得する。画像処理実行部１０１は、取得した出力データと、学習用データに対して既知の出力データとを比較し、誤差が最小となるように帯域フィルタ１１５の一部、及びＣＮＮ１１１における重み等のパラメータを更新する。そして画像処理実行部１０１は、学習済みＣＮＮ１１１を使用する際には帯域フィルタ１１５も含めて用いる。これにより、出力データの特性部分をより考慮した学習が可能となり、学習精度の向上が期待される

変形例２の例では特に、入力データとして画像データを用い、帯域フィルタの部分で画像圧縮の原理で周波数成分を丸めた画像とするか、又は空間変換の部分で丸めを実施するように構成してもよい。これにより、特定の周波数成分を丸めた画像をＣＮＮへ入力することになり、この場合、視覚特性に合わせた画像認識の精度向上が見込まれる。

変形例１及び２では、帯域フィルタ１１４によって分割された出力について誤差を算出する構成としたが、これに限らず、帯域分割を行なわない出力（図５Ｂ）と併せて誤差を算出するようにしてもよい。また更には、帯域分割と異なる他の基準を用いた出力と併せて誤差を算出（評価）するようにしてもよい。

本実施の形態及び変形例１及び２では、図３で示したようなＣＮＮを構成して実現されることとしたが、図３で示された構成を含む大規模なＣＮＮの一部として機能してもよいことは勿論である。

なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１画像処理装置
１０制御部
１０１画像処理実行部
１１画像処理部
１１１ＣＮＮ
１１２変換器
１１３逆変換器
１ＬＣＮＮライブラリ
２Ｌ変換器ライブラリ

Claims

畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理装置であって、
前記畳み込みニューラルネットワークへ入力するデータを非線形に空間変換する第１の変換器、及び前記畳み込みニューラルネットワークから出力されるデータを非線形に空間変換する第２の変換器、又はいずれか一方を備え、
前記第１の変換器又は第２の変換器は、前記畳み込みニューラルネットワークと共に学習されたパラメータを記憶している処理装置。
前記第１及び第２の変換器は、
前記畳み込みニューラルネットワークへ入力する前記データのチャンネル数又は出力チャンネル数と同一数のノード数を有する入力層と、該入力層よりもノード数が多い畳み込み層又は緻密層である第２層と、該第２層よりもノード数が少ない畳み込み層又は緻密層である第３層とを含む
請求項１に記載の処理装置。
前記第１の変換器は、
学習用データを前記第１の変換器によって変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データと、前記学習用データに対応する第２出力データとの差分に基づき学習された前記第１の変換器におけるパラメータを記憶している
請求項２に記載の処理装置。
前記第２の変換器は、
学習用データを前記第１の変換器によって変換した後のデータ又は第１の変換器による変換を行なわずに前記畳み込みニューラルネットワークへ入力して得られる出力データを前記第２の変換器によって変換した後の第３出力データと、前記学習用データに対応する第４出力データとの差分に基づき学習された前記第２の変換器におけるパラメータを記憶している
請求項２に記載の処理装置。
前記畳み込みニューラルネットワークから出力されるデータを周波数に応じて分解する帯域フィルタと、
学習用データを前記第１の変換器によって変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データを前記帯域フィルタへ入力して得られる第５出力データと、前記学習用データに対応する第２出力データを前記帯域フィルタへ入力して得られる第６出力データとの差分に基づき、前記第１の変換器、及び畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部と
を備える請求項１に記載の処理装置。
前記畳み込みニューラルネットワークから出力されるデータを周波数に応じて分解する帯域フィルタと、
学習用データを前記畳み込みニューラルネットワークへ入力して得られる出力データを前記帯域フィルタへ入力して得られる第１１出力データと、前記学習用データに対応する第２出力データを前記帯域フィルタへ入力して得られる第１２出力データとの差分に基づき、前記畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部と
を備える請求項１に記載の処理装置。
前記第１の変換器へ入力するデータを周波数に応じて分解する帯域フィルタと、
学習用データを前記帯域フィルタへ入力して得られるデータを前記第１の変換器によって変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第７出力データと、前記学習用データに対応する第８出力データとの差分に基づき、前記第１の変換器、及び畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部と
を備える請求項１に記載の処理装置。
前記データはマトリックス状に配列した画素値からなる画像データである
請求項１から７のいずれか一項に記載の処理装置。
畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理装置であって、
前記畳み込みニューラルネットワークへ入力するデータを非線形に空間変換する第１の変換器と、
前記畳み込みニューラルネットワークから出力されるデータを周波数に応じて分解する帯域フィルタと、
学習用データを前記第１の変換器によって変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データを前記帯域フィルタへ入力して得られる第５出力データと、前記学習用データに対応する第２出力データを前記帯域フィルタへ入力して得られる第６出力データとの差分に基づき、前記第１の変換器、及び畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部と
を備える処理装置。
畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理装置であって、
前記畳み込みニューラルネットワークへ入力するデータを非線形に空間変換する第１の変換器と、
前記第１の変換器へ入力するデータを周波数に応じて分解する帯域フィルタと、
学習用データを前記帯域フィルタへ入力して得られるデータを前記第１の変換器によって変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第７出力データと、前記学習用データに対応する第８出力データとの差分に基づき、前記第１の変換器、及び畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部と
を備える処理装置。
畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理装置であって、
前記畳み込みニューラルネットワークへ入力するデータを周波数に応じて分解する帯域フィルタと、
学習用データを前記帯域フィルタへ入力して得られるデータを前記畳み込みニューラルネットワークへ入力して得られる第９出力データと、前記学習用データに対応する第１０出力データとの差分に基づき、前記畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部と
を備える処理装置。
畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理装置であって、
前記畳み込みニューラルネットワークから出力されるデータを周波数に応じて分解する帯域フィルタと、
学習用データを前記畳み込みニューラルネットワークへ入力して得られる出力データを前記帯域フィルタへ入力して得られる第１１出力データと、前記学習用データに対応する第２出力データを前記帯域フィルタへ入力して得られる第１２出力データとの差分に基づき、前記畳み込みニューラルネットワークにおけるパラメータを学習する学習実行部と
を備える処理装置。
畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理方法において、
前記畳み込みニューラルネットワークと共に学習されたパラメータを記憶している変換器を用いて前記畳み込みニューラルネットワークへ入力するデータを非線形に空間変換し、
空間変換後のデータを、前記畳み込みニューラルネットワークへ入力する
処理方法。
前記空間変換は、
学習用データを空間変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データと、前記学習用データに対応する第２出力データとの差分に基づき学習された空間変換用のパラメータによって実行される
請求項１３の処理方法。
畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理方法において、
前記畳み込みニューラルネットワークへ入力するデータを、学習用データを空間変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データと前記学習用データに対応する第２出力データとの差分に基づき学習された空間変換用のパラメータによって非線形に空間変換し、
空間変換後のデータを、前記畳み込みニューラルネットワークへ入力する
処理方法。
畳み込み層を含む畳み込みニューラルネットワークにデータを入力し、前記畳み込みニューラルネットワークから出力を得る処理方法において、
前記畳み込みニューラルネットワークから出力されるデータを取得し、
取得されたデータを、前記畳み込みニューラルネットワークと共に学習されたパラメータを記憶している変換器を用いて非線形に空間変換して出力する
処理方法。
コンピュータに、
畳み込み層を含む畳み込みニューラルネットワークへ入力するデータを受け付け、前記データを非線形に空間変換し、
学習用データを空間変換した後のデータを前記畳み込みニューラルネットワークへ入力して得られる第１出力データと、前記学習用データに対応する第２出力データとの差分に基づき、空間変換及び前記畳み込みニューラルネットワークにおけるパラメータを学習する
処理を実行させるコンピュータプログラム。
コンピュータに、
畳み込み層を含む畳み込みニューラルネットワークから出力されるデータを非線形に空間変換し、
学習用データを前記畳み込みニューラルネットワークへ入力して得られる空間変換後の第３出力データと、前記学習用データに対応する第４出力データとの差分に基づき、前記畳み込みニューラルネットワーク及び空間変換におけるパラメータを学習する
処理を実行させるコンピュータプログラム。
請求項１から１２のいずれか１項に記載の処理装置、又は請求項１７若しくは１８に記載のコンピュータプログラムを実行するコンピュータと、前記処理装置又はコンピュータへ入力データを送信し、前記処理装置又はコンピュータから出力されたデータを受信して利用する利用装置とを備える処理システム。
前記利用装置は、テレビジョン受信機、表示装置、撮像装置、又は表示部及び通信部を備える情報処理装置である請求項１９に記載の処理システム。