JP2001188767A - ニューラルネットワーク演算装置及びニューラルネットワークの演算方法 - Google Patents

Abstract

(57)【要約】 【課題】 ニューロン演算を多数の演算ユニットを用い
て並列計算する場合に、ニューロン演算用の演算ユニッ
トと誤差信号計算用の演算ユニットを別個に設ける必要
がなく、シナプス接続重みの更新時にバスの帯域の消費
量が少ないニューラルネットワーク演算装置を提供す
る。 【解決手段】 ローカルバス１８を介して演算ユニット
１０₁〜１０_xの演算結果とマスターノード１２の設定情
報が互いに受け渡される構成であり、ニューロン演算時
には、各演算ユニット１０₁〜１０_xからのニューロン出
力値の部分和をマスターノード１２が累積加算してニュ
ーロン出力値を生成して出力し、該特定のニューロンの
ニューロン演算が割り当てられた演算ユニットがマスタ
ーノードから出力されたニューロン出力値を受け取って
保存する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューラルネット
ワーク演算装置及びニューラルネットワークの演算方法
に係り、特に、複数の演算ユニットによって並列にニュ
ーロン演算を行うニューラルネットワーク演算装置及び
ニューラルネットワークの演算方法に関する。

【０００２】

【従来の技術】従来より、脳を中心とする神経系におけ
る情報処理を模倣して構築したニューラルネットワーク
は、認識、知識処理などの情報処理に応用されている。
そのようなニューラルネットワークは、一般に、複数の
ニューロンが多数接続され、各ニューロンに対応する信
号伝達ユニットを複数備えたものとして構成される。

【０００３】個々のニューロンｊには、他のニューロン
ｉからニューロン出力値Ｙ_iが入力される。そして、そ
れぞれの入力に対しシナプス接続重みＷ_jiで重みづけを
行い、その総和ｕ_jを計算する。この値を例えばシグモ
イド関数fによって変換し、ニューロン出力値Ｙ_jを出力
する。この動作を式で示すと以下の（１）の式のように
なる。（但し、ｉ、ｊは任意の整数）

【０００４】

【数１】

【０００５】この演算をニューロン演算と呼ぶ。また、
一般的に使用されるバックプロパゲーションによる学習
過程においては、与えられた入力に対して期待する出力
値ｄ _j（すなわち、教師信号）を外部から与え、実際の
出力値との誤差ｄ_j−Ｙ_j＝δ_jが少なくなるようにシナ
プス接続重みＷ_jiを更新していく。その更新量は以下の
（２）の式で演算される。

【０００６】

【数２】

【０００７】ここで、ηは学習係数、δ_jは学習誤差で
ある。また、出力層では、以下の（３）の式で演算を行
う。

【０００８】

【数３】

【０００９】また、隠れ層では、以下の（４）の式で演
算を行う。

【００１０】

【数４】

【００１１】このような演算を数千から数万のニューロ
ンからなる大規模ニューラルネットワークで行う場合、
膨大な演算量となり、専用のハードウェアが必要とな
る。

【００１２】従来技術として提案されている特開平５‐
１９７７０７号公報には、図２８に示すように、各々シ
ナプス接続重みメモリ６２₁〜６２_x（但し、ｘは整数）
を有する複数の演算ユニット６０₁〜６０_xが、コントロ
ーラ６６に接続する時分割バス６４によって並列に結合
された構成の情報処理システムが開示されている。

【００１３】この情報処理システムでは、各々の演算ユ
ニット６０₁〜６０_xは特定のニューロン処理を受け持
ち、コントローラ６６により選択された１つの演算ユニ
ット（図２８の状態では第２演算ユニット６０₂）がニ
ューロン出力値を時分割バス６４に出力する。

【００１４】各演算ユニット６０₁〜６０_xは、出力して
いる演算ユニット（図２８の状態では第２演算ユニット
６０₂）のニューロン出力値に対するシナプス接続重み
をメモリに保持しており、時分割バス６４から入力する
値に対応するシナプス接続重みをメモリから読み出して
重み付けし、その積を累積加算する。

【００１５】また、コントローラ６６に選択された演算
ユニット（図２８の状態では第２演算ユニット６０₂）
は、累積加算した値を、例えば、シグモイド関数f（上
記（１）の式）によって変換して時分割バス６４に出力
する。各演算ユニット６０₁〜６０_xの時分割バス６４へ
の出力が一通り行われれば、すべてが（１）の式の演算
を行うこととなる。

【００１６】特開平５‐１９７７０７号公報では、以上
説明した構成による並列演算によって大規模ニューラル
ネットワークを構築している。

【００１７】

【発明が解決しようとする課題】しかしながら、前記従
来技術では、時分割バスには多数の演算ユニットが接続
される構成であるため、時分割バスのクロックを高くす
ることができず、各演算ユニットに高速にニューロン出
力値を供給することができない。すなわち、バスの転送
クロックを高速化できないため、ニューロン出力値の伝
達速度がボトルネックとなり、処理速度があまり向上し
ないという問題点がある。

【００１８】また、すべての演算ユニットにデータを同
時に供給するため、不必要なデータまで受け取ってしま
う。これらのことから各演算ユニットはデータ供給律速
となり、高速に演算することができないという問題があ
る。

【００１９】以上の問題を解決するために、シナプス接
続重みだけでなく、ニューロン出力値も各演算ユニット
に持たせる構成が考えられるが、ニューロン出力値を保
存するメモリの容量は限りがあるため、ニューラルネッ
トワークの規模が大きくなった場合、全てのニューロン
出力値を保存することができなくなる。そのため、複数
の演算ユニットにニューロン出力値を分割して割り当て
る構成とすることが考えられるが、他の演算ユニット内
のメモリに保存されたニューロン出力値を用いてニュー
ロン演算を行う必要が生じる。従ってこの場合も、ニュ
ーロン出力値の伝達速度がボトルネックとなり、処理速
度があまり向上しないという問題点がある。

【００２０】以上のことから本発明は、ニューラルネッ
トワークを多数の演算ユニットを用いて並列計算する場
合に、各演算ユニットを独立して、かつ高速に動作させ
ることができ、また、ネットワーク規模に応じて演算ユ
ニットの数を増やしても処理速度が低下しないニューラ
ルネットワーク演算装置及びニューラルネットワークの
演算方法を提供することを目的とする。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明は、少なくとも１つ以上の伝送
路で接続され、ニューラルネットワークを構成する複数
のニューロンのうちの所定数のニューロンがそれぞれ割
り当てられた複数の演算要素によって並列にニューロン
演算を行うニューラルネットワーク演算装置であって、
前記複数の演算要素の各々は、１つのニューロンが持つ
全てのシナプスのうちの少なくとも１部のシナプスのシ
ナプス接続重みを、割り当てられた所定数のニューロン
分保存するシナプス接続重み保存メモリと、ニューロン
演算時に、前記所定数のニューロンを順次選択すると共
に、該選択したニューロンのシナプスを順次選択して、
該選択したシナプスのシナプス接続重みと前記シナプス
と接続された前段のニューロンのニューロン出力値とを
乗算して同一のニューロン毎に累積加算し、得られた値
をニューロン演算値の部分和として出力する累積加算手
段とを備え、前記複数の演算要素が出力したニューロン
演算値の部分和を１つのニューロンが持つ全てのシナプ
ス分の値が加算されるまで累積加算してニューロン出力
値を生成するニューロン出力値生成手段を更に、備えて
いる。

【００２２】すなわち、請求項１の発明では、少なくと
も１つ以上の伝送路で接続され、ニューラルネットワー
クを構成する複数のニューロンのうちの所定数のニュー
ロン割り当てられた複数の演算要素の各々が、１つのニ
ューロンが持つ全てのシナプスのうちの少なくとも１部
のシナプスのシナプス接続重みを保存するシナプス接続
重み保存メモリと累積加算手段とを備えているため、割
り当てられた所定数のニューロンに関するニューロン演
算を演算要素単位で独立して行うことができる。

【００２３】前記演算要素に割り当てられる所定数のニ
ューロンは、ニューラルネットワークを構成する１部の
ニューロンである。そのため、各演算要素毎に得られる
値は、所定数のニューロンのそれぞれのニューロン演算
値の部分和であり、ニューロン出力値生成手段がニュー
ロン演算値の部分和を同じニューロン毎に累積加算して
ニューロン出力値を生成する。

【００２４】そのため、従来のようにニューロン演算用
の演算要素と、誤差信号演算演算用の演算要素とを個別
に設ける必要がなく、従来よりも少ない演算要素数でニ
ューラルネットワークの演算を実現できる。そのため、
従来と同程度又は従来より少ない演算要素数で、かつ、
演算速度を低下させることなく大規模ニューラルネット
ワークの演算を行えるニューラルネットワーク演算装置
が得られる。

【００２５】また、複数の演算要素が各演算要素毎に保
持するシナプス接続重みを用いて演算を行い、各々の演
算要素において演算した演算結果を外部に出力する構成
であるため、データの受け渡しの回数が従来よりも少な
くなる。そのため、伝送路の帯域不足による演算速度の
低下を起こすことなく、大規模ニューラルネットワーク
の演算を実現出来る。

【００２６】また、請求項２に記載の発明は、請求項１
に記載のニューラルネットワーク演算装置において、前
記ニューロン演算値の部分和、及び、前記ニューロン演
算値の部分和を同一のニューロン毎に累積加算して得ら
れる部分和の少なくとも一方を、同一のニューロン毎に
累積加算してニューロン演算値の中間の部分和として出
力する中間の部分和累積加算手段をさらに備え、前記ニ
ューロン出力値生成手段は、前記ニューロン演算値の部
分和、及び、前記中間の部分和の少なくとも一方を、１
つのニューロンが持つ全てのシナプス分の値が加算され
るまで累積加算する。

【００２７】すなわち、請求項２の発明では、複数の前
記ニューロン演算値の部分和を累積加算してニューロン
演算値の中間の部分和を生成したり、前記ニューロン演
算値の部分和を累積加算して得られたニューロン演算値
の部分和（すなわち、中間の部分和）をさらに累積加算
してニューロン演算値の中間の部分和を生成したり、少
なくとも１つの前記ニューロン演算値の部分和と少なく
とも１つの前記中間の部分和とを加算してニューロン演
算値の中間の部分和を生成する、というように、ニュー
ロン演算値の部分和の累積加算処理を多層構造とするこ
とにより、膨大な数のニューロンより構成される大規模
ニューラルネットワークに対しても、伝送路の帯域が不
足することなく適用できる。

【００２８】好ましくは、請求項３に記載したように、
前記複数の演算要素を所定数の演算要素毎に分割して複
数グループとし、前記ニューロン出力値生成手段を前記
グループ毎に設ける構成とすることにより、演算要素の
外部に受け渡す情報量が減少するので、演算の速度を落
とすことなく大規模ニューラルネットワークの演算を行
うことができる。

【００２９】このようなニューラルネットワーク演算装
置としては、請求項４に記載の発明のように、前記複数
グループのうちの１グループを構成する所定数の演算要
素が複数の半導体素子に分割して形成され、前記所定数
の演算要素が分割して形成された複数の半導体素子が、
同一の回路基板に実装されており、前記中間の部分和累
積加算手段は、前記所定数の演算要素が分割して形成さ
れた半導体素子毎に設けられている構成や、請求項５に
記載の発明のように、前記複数グループのうちの１グル
ープを構成する所定数の演算要素が複数の回路基板上の
複数の半導体素子に分割して形成され、前記複数の回路
基板が、同一の実装基板に実装されており、前記中間の
部分和累積加算手段は、少なくとも前記半導体素子毎、
若しくは、前記回路基板に設けられている構成とするこ
とができる。

【００３０】また、請求項６に記載の発明は、請求項１
から請求項６のいずれか１項に記載のニューラルネット
ワーク演算装置において、前記演算要素は、少なくとも
前記シナプス接続重み保存メモリに保存されたシナプス
と接続するニューロン出力値が保存されるデータ保存メ
モリを更に備えている。これにより、より一層受け渡す
データ量を少なくできるので、伝送路の使用量を減らす
ことができ、より大規模なニューラルネットワークの演
算に適用することが可能である。

【００３１】さらに、請求項７に示すように、前記デー
タ保存メモリは、少なくとも２つのメモリから構成さ
れ、一方のメモリには演算に用いるデータを保存すると
共に、他方のメモリには演算により得られた結果を保存
するように設定される構成とすることにより、次の演算
層についての演算を開始する段階で、必要なデータを演
算要素内に保持しておくことができるので、各々の演算
要素にデータを供給し直す必要がなく、その分速く次の
演算処理を開始させることが可能である。

【００３２】また、請求項８に記載の発明は、請求項１
から請求項７のいずれか１項に記載のニューラルネット
ワーク演算装置において、保存メモリに保存されたシナ
プス接続重みのうち、選択したニューロンのシナプス接
続重みの各々を更新する接続重み更新手段を更に備えて
いる。

【００３３】これにより、各演算要素が各々独立して割
り当てられたニューロンに関するニューロン演算、シナ
プス接続重み更新を行うことができるので、従来のよう
にニューロン演算用の演算要素と、シナプス接続重み更
新用の演算要素とを個別に設ける必要がなく、従来より
も少ない演算要素数でニューラルネットワークの演算を
実現できる。そのため、従来と同程度又は従来より少な
い演算要素数で、かつ、演算速度を低下させることなく
大規模ニューラルネットワークの演算を行えるニューラ
ルネットワーク演算装置が得られる。

【００３４】ここで、バックプロパゲーションによる誤
差信号の演算時には、逆伝播された誤差信号を用いてシ
ナプス接続重みの更新を行うが、本発明では、１つの演
算層を構成する複数のニューロンを所定数の演算要素毎
に分割して割当てているため、所定数の演算要素毎から
出力される値は、誤差信号の部分和となる。

【００３５】したがって、請求項９に記載の発明は、請
求項３から請求項８のいずれか１項に記載のニューラル
ネットワーク演算装置において、前記累積加算手段は、
誤差信号演算時には、特定のニューロンと接続する前記
所定数のニューロンのシナプスを順次選択し、選択され
たシナプスの接続重みと、該選択されたシナプスを持つ
ニューロンの誤差信号とを乗算して、前記所定数のニュ
ーロン分累積加算し、得られた値を誤差信号の部分和と
して出力し、前記誤差信号の部分和を前記特定のニュー
ロンと接続された全てのニューロン分累積加算し、得ら
れた値を前記特定のニューロンの誤差信号として前記特
定のニューロンが割り当てられた演算要素に出力する誤
差信号生成手段を更に備えている。

【００３６】この場合、前記接続重み更新手段は、請求
項１０に記載したように、前記誤差信号生成手段により
生成された誤差信号を用いて、保存メモリに保存された
シナプス接続重みを更新する。

【００３７】これにより、ニューロン毎の誤差信号が得
られるので、各演算要素において得られた誤差信号を用
いて各演算要素毎に割り当てられたニューロンに関する
シナプス接続重み更新を行うことができる。

【００３８】また、請求項１１に記載の発明は、１つの
グループを構成する所定数の演算要素を接続する複数の
第１の伝送路と、該第１の伝送路よりも帯域が小さく、
かつ、複数のグループを接続する少なくとも1つの第２
の伝送路とを更に備え、前記第２の伝送路数は、前記所
定数の演算要素数グループを構成する所定数の演算要素
数よりも少なく設けられている。

【００３９】また、請求項１２に記載の発明は、上記請
求項１から請求項１１のいずれか１項に記載のニューラ
ルネットワーク演算装置に好適なニューラルネットワー
ク演算方法であり、ニューラルネットワークを構成する
複数のニューロンのうちの所定数のニューロン毎に並列
してニューロン演算を行うニューラルネットワーク演算
方法であって、１つのニューロンが持つ全てのシナプス
のうちの少なくとも１部のシナプスのシナプス接続重み
を、割り当てられた所定数のニューロン分保存し、ニュ
ーロン演算時に、前記所定数のニューロンを順次選択す
ると共に、該選択したニューロンのシナプスを順次選択
して、選択したシナプスのシナプス接続重みと該シナプ
スと接続された前段のニューロンのニューロン出力値と
を乗算して同一のニューロン毎に累積加算してニューロ
ン演算値の部分和を生成し、前記ニューロン演算値の部
分和を１つのニューロンが持つ全てのシナプス分の値が
加算されるまで累積加算してニューロン出力値を生成す
る。

【００４０】請求項１３に記載の発明は、請求項１２に
記載のニューラルネットワークの演算方法において、前
記ニューロン演算値の部分和を累積加算してニューロン
出力値を生成する際に、前記ニューロン演算値の部分
和、及び、前記ニューロン演算値の部分和を同一のニュ
ーロン毎に累積加算して得られる部分和の少なくとも一
方を、同一のニューロン毎に累積加算してニューロン演
算値の中間の部分和を生成し、前記ニューロン演算値の
部分和、及び、前記中間の部分和の少なくとも一方を、
１つのニューロンが持つ全てのシナプス分の値が加算さ
れるまで累積加算してニューロン出力値を生成する。

【００４１】また、請求項１４に記載の発明は、請求項
１２又は請求項１３に記載のニューラルネットワークの
演算方法において、同一のニューロンのニューロン演算
の演算すべきシナプス数を複数のグループに分割し、該
グループ毎に前記ニューロン演算値の中間の部分和を生
成する。

【００４２】なお、シナプス数を複数のグループに分割
する際に、請求項１５に記載のように演算すべきシナプ
ス数を均等に分割することにより、個々の演算に掛かる
時間の差に起因するタイムログが発生するのを防止で
き、効率的である。

【００４３】また、上述したように、バックプロパゲー
ションによる学習時には、所定数の演算要素毎から出力
される値は、誤差信号の部分和となるため、請求項１６
に記載の発明では、請求項１２から請求項１５のいずれ
か１項に記載のニューラルネットワークの演算方法にお
いて、誤差信号演算時には、特定のニューロンと接続す
る前記所定数のニューロンのシナプスを順次選択し、選
択されたシナプスの接続重みと、該選択されたシナプス
を持つニューロンの誤差信号とを乗算して、前記所定数
のニューロン分累積加算し、得られた値を誤差信号の部
分和として出力し、前記誤差信号の部分和を前記特定の
ニューロンと接続された全てのニューロン分累積加算
し、得られた値を前記特定のニューロンの誤差信号とし
て前記特定のニューロンが割り当てられた演算要素に出
力する。この場合、請求項１７に記載したように、シナ
プス接続重み更新時には、前記誤差信号の部分和を累積
加算して得られた誤差信号を用いて、シナプス接続重み
を更新すると良い。

【００４４】

【発明の実施の形態】（第１実施の形態）本第１の実施
の形態のニューラルネットワーク演算装置は、図１に示
すように、大別して、複数の演算ユニット１０₁〜１０_x
（１＜ｘ；但し、ｘは正の整数、Ｈは１≦Ｈ≦ｘの正の
整数、）、マスターノード１２、プログラムメモリ１
４、ホストコンピュータ１６とから構成され、図３に示
す入力層、隠れ層、及び出力層からなる３層のパーセプ
トロンのニューラルネットワークにおけるニューロン演
算及びヘッブ則による学習を行う。

【００４５】この３層のパーセプトロンは、入力層から
隠れ層、及び隠れ層から出力層へは全結合をしている。
また、図３では説明のため、入力層のニューロンにはニ
ューロン番号１からｎまでの番号を付与し、隠れ層のニ
ューロンにはニューロン番号ｎ＋１からｎ＋ｍまでの番
号を付与し、出力層のニューロンにはニューロン番号ｎ
＋ｍ＋１からｎ＋ｍ＋ｐまでの番号を連続して付与して
いる（Ｎ１＜Ｎ２＜ｎ，Ｎ３＜Ｌ１＜Ｎ４＜ｍ，Ｌ２＜
ｐ；但し、ｎ、ｍ、ｐ、Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｌ
１、Ｌ２は正の整数）。

【００４６】まず、第１の実施の形態のニューラルネッ
トワーク演算装置の構成について説明する。図１に示す
ように、演算ユニット１０₁〜１０_xとマスターノード１
２は、ローカルバス１８によって接続され、ローカルバ
ス１８を介して演算ユニット１０₁〜１０_xからの演算結
果がマスターノード１２に受け渡され、また、マスター
ノード１２からの制御情報が演算ユニット１０₁〜１０_x
に伝送される。

【００４７】マスターノード１２は、例えば、ＣＰＵな
どのプログラム可能な演算処理装置により構成され、後
に詳述する演算ユニット１０₁〜１０_xの制御を行うとと
もに、ニューロン演算時にはプログラムメモリ１４から
各演算ユニット１０₁〜１０_xが必要とするニューロン出
力値を読み出してローカルバス１８に出力し、また、各
演算ユニット１０₁〜１０_xから出力されるニューロン演
算値の部分和ｙα_jをグループ毎に累積加算して（詳細
は後述）得られた値に非線型演算を施してニューロン出
力値Ｙ_jを生成した後、プログラムメモリ１４に出力
し、学習時にはニューロンの出力値と学習係数の積を演
算ユニット１０₁〜１０_xに送出する（詳細は後述）。な
お、非線型演算としてはシグモイド関数や閾値論理等の
関数を用いることができる。

【００４８】このマスターノード１２には、プログラム
メモリ１４がローカルに接続されている。プログラムメ
モリ１４には、後述する演算制御のためのプログラム
や、マスターノード１２から出力されたニューロン出力
値Ｙ₁〜Ｙ_n+m+p等が保存される。ニューロン出力値Ｙ₁
〜Ｙ_n+m+pは、例えば、図４に示すように、ニューロン
番号の小さい順に連続して保存されている。

【００４９】また、マスターノード１２は、ホストバス
１９を介してホストコンピュータ１６と接続され、ホス
トコンピュータ１６とデータをやり取りする。ホストコ
ンピュータ１６は、プログラムメモリ１４にマスターノ
ード１２の動作を記述するプログラムを書き込み、マス
ターノード１２の動作を制御する。

【００５０】すなわち、ホストコンピュータ１６は、プ
ログラムメモリ１４にマスターノード１２の動作を記述
するプログラムを書き込んだ後、ニューロン演算開始信
号をマスターノード１２に送って複数の演算ユニット１
０₁〜１０_xによるニューロン演算を開始させ、得られた
演算結果をマスターノード１２から受け取る。また、ホ
ストコンピュータ１６は、学習開始信号をマスターノー
ド１２に送って学習を開始させる。

【００５１】演算ユニット１０₁〜１０_xは、各々独立し
た１つの半導体素子に形成され、マスターノード１２か
らの制御データに基いてニューロン演算値の部分和ｙα
_jの演算（詳細は後述）と、シナプス接続重みの更新の
２種類の動作を各々並列して行う。

【００５２】すなわち、演算ユニット１０₁〜１０_xは、
ニューロン演算時には、特定のニューロンの持つ全シナ
プスのうちから割り当てられたシナプス（ここではＮ個
のシナプス）のそれぞれとシナプス接続する前段のニュ
ーロン出力値と、シナプスの接続重みとを乗算して、乗
算結果をＮ個のシナプスに亙って累積加算し、得られた
結果を出力する。この演算を指定されたニューロンから
順番に、割り当てられた全てのニューロン（ここではＭ
個のニューロン）に対して行う。

【００５３】累積加算された結果を更に１つのニューロ
ン分加算して非線型変換することによりニューロン出力
値が得られるので、以下では個々の演算ユニットから出
力される累積加算結果をニューロン演算値の部分和ｙα
_jと称す。また、演算ユニット１０₁〜１０_xは、学習時
には、学習アルゴリズムに従い、割り当てられたシナプ
スの接続重みを更新する。

【００５４】ここで演算ユニット１０₁〜１０_xの構成に
ついて説明する。演算ユニット１０ ₁〜１０_xは、それぞ
れ図２に示すように（図２は説明のため、第Ｈ演算ユニ
ット１０_hのみを示す。;但し、Ｈ＞１、かつ、Ｈは任意
の整数)、ローカルバスインターフェ−ス２０、制御回
路２２、ニューロン出力値メモリ２４、シナプス接続重
みメモリ２６、乗算器２８、加算器３０、累積レジスタ
３２、学習回路３６とから構成される。

【００５５】ローカルバスインターフェ−ス２０は、最
小ニューロンレジスタ５０、最大ニューロンレジスタ５
２、グループレジスタ５４とを含み、自身の累積レジス
タ３２から出力されたニューロン演算値の部分和ｙα_j
をローカルバス１８へ出力したり、マスターノード１２
からの他のニューロンの出力値や制御データの受信を行
う。

【００５６】なお、最小ニューロンレジスタ５０には、
後述するニューロン出力値メモリ２４に保存されたニュ
ーロン出力値に対応するニューロンのうち、最小番号の
ニューロンのニューロン番号が保存され、最大ニューロ
ンレジスタ５２には後述するニューロン出力値メモリ２
４に保存されたニューロン出力値に対応するニューロン
のうち、最大番号のニューロンの番号が保存されてい
る。また、グループレジスタ５４には、後述する演算ユ
ニットの属するグループ番号が設定される。

【００５７】また、制御回路２２は、演算シナプス数レ
ジスタ４０と演算開始ニューロンレジスタ４２とを含
み、ローカルバスインターフェ−ス２０介して入力され
たマスターノード１２からの制御データによって第Ｈ演
算ユニット１０_hの動作を制御する。演算シナプス数レ
ジスタ４０には、１つのニューロンについて演算するシ
ナプス数Ｎが保存され、演算開始ニューロンレジスタ４
２には、ニューロン演算値の部分和演算のはじめに読み
出されるニューロン出力値メモリ２４のアドレスＮＡＤ
Ｒが保存されている。

【００５８】更に、制御回路２２内には、図示しない複
数のアドレスカウンタがあり、制御回路２２は、ローカ
ルバスインターフェ−ス２０介して入力されたマスター
ノード１２からの制御データによって、シナプス接続重
みメモリ２６及びニューロン出力値メモリ２４をアクセ
スするアドレスを指定する。なお、アドレスカウンタは
メモリアクセス毎にインクリメントされるが、ローカル
バス１８を介して特定の値に設定することもできる。

【００５９】ニューロン出力値メモリ２４には、割り当
てられたシナプスの演算に必要な複数のニューロンのニ
ューロン出力値が保存されており、このニューロン出力
値はマスターノード１２によりローカルバス１８を介し
て書き替えられる。

【００６０】また、シナプス接続重みメモリ２６には、
割り当てられた複数のニューロンのシナプス接続重みの
１部、すなわち、Ｎ個のシナプスのシナプス接続重みが
Ｍ個のニューロン分保存されている。その順番は、最も
ニューロン番号の小さい１番目のニューロンのＮ個のシ
ナプス接続重みが先頭アドレスから連続して保存され、
続いて２番目のニューロンのＮ個のシナプス接続重みが
連続して保存され、以下同様にして、最後にＭ番目のニ
ューロンのＮ個のシナプス接続重みが連続して保存され
る。

【００６１】乗算器２８は、制御回路の指示に基き、ニ
ューロン出力値メモリ２４及びシナプス接続重みメモリ
２６からデータを順次読み出して乗算する。

【００６２】加算器３０は、乗算器２８から入力された
乗算結果と累積レジスタ３２に一旦保存された累積加算
値とを加算し、得られた累積加算値を累積レジスタ３２
に一旦保存する。この演算は、ニューロン演算の場合は
演算シナプス数レジスタ４０に設定された回数だけ繰り
返される。

【００６３】累積レジスタ３２は、加算器３０にから出
力された累積加算値を一旦保存し、加算器３０により前
記設定された回数の累積加算が繰り返されるまで、一旦
保存した累積加算値を加算器３０に出力する。加算器３
０により前記設定された回数の累積加算が繰り返される
と、累積レジスタ３２は、保存した累積加算値をローカ
ルバスインターフェ−ス２０に出力する。

【００６４】また、学習回路３６は、学習係数レジスタ
４４を含み、学習係数レジスタ４４には、マスターノー
ド１２から送出されたニューロンの誤差信号δと学習係
数の積が書き込まれる。学習回路３６は、シナプス接続
重みメモリ２６からシナプス接続重みを読み出し、学習
則のアルゴリズムに従いシナプス重みを変更し、シナプ
ス接続重みメモリ２６に書き込む。なお、学習回路３６
内にも制御回路２２と同様のアドレスカウンタＬＡＤＲ
がある。

【００６５】ここで、上記構成のニューラルネットワー
ク演算装置を構成する複数の演算ユニットの各々で独立
して行うニューロン演算値の部分和演算処理ルーチンと
学習によるシナプス接続重みの更新の動作について説明
する。なお、ここでは説明のため、任意の第Ｈ演算ユニ
ット１０ｈのニューロン演算値の部分和演算処理ルーチ
ンと学習によるシナプス接続重みの更新の動作について
図７及び図８のフローチャートを参照して説明する。こ
の第Ｈ演算ユニット１０ｈには、図３における連続した
ニューロン番号ｎ＋１からニューロン番号ｎ＋Ｎ３のＭ
個のニューロン演算値の部分和演算が割り当てられてお
り、各ニューロンの全シナプス（Ｓ個のシナプス）のう
ち１からＮ１までのＮ個（但し、Ｓ＞Ｎ）のシナプスが
割り当てられている。

【００６６】そのため、第Ｈ演算ユニット１０ｈの演算
開始ニューロンレジスタ４２には、ＡＤＲ＝０が設定さ
れ、演算シナプス数レジスタ４０には、Ｎが設定されて
いる。また、シナプス接続重みメモリ２６には、図６に
示すように、ニューロンｎ＋１のＮ個のシナプスの接続
重みＷ_n+1,1〜Ｗ_n+1,N1がアドレス０からアドレスＮ−
１まで順に保存され、続いて、ニューロンｎ＋２のＮ個
のシナプスの接続重みＷ_n+2,1〜Ｗ_n+2,N1が次のアドレ
スＮからアドレス２Ｎ−１まで順に保存され、以下同様
にして、最後は、ニューロンｎ＋Ｎ３のＮ個のシナプス
の接続重みＷ_{n+ N3,1}〜Ｗ_n+N3,N1がアドレス（Ｎ３‐
１）ＮからアドレスＮ３・Ｎ−１に順に連続して保存さ
れている。

【００６７】また、ニューロン出力値メモリ２４には、
図５に示すように、ニューロン演算に必要なニューロン
出力値であるニューロン１からニューロンＮ１までのＮ
個のニューロンのニューロン出力値Ｙ₁〜Ｙ_N1がアドレ
ス０からアドレスＮ−１まで連続して保存される。この
値は、プログラムメモリ１４に保存されたニューロン出
力値Ｙ₁〜Ｙ_n+m+pのうち演算に必要なニューロン出力値
であるアドレス０からアドレスＮ−１までのＮ個のニュ
ーロン出力値Ｙ₁〜Ｙ_N1がマスターノード１２により読
み出されて第Ｈ演算ユニット１０ｈのニューロン出力値
メモリ２４に書き込まれた値である。

【００６８】なお、これらのシナプス接続重みやニュー
ロン出力値等のデータの値はニューラルネットワークの
構成に従い、例えば、後述する割り当て方法のように設
定される。なお、接続重みの初期値としては、ランダム
な値や、予め学習によって決定された値など、自由に与
えることができる。

【００６９】まず、図７のフローチャートを参照してニ
ューロン演算値の部分和演算処理ルーチンについて説明
する。まず、ステップ１００では、シナプス接続重みメ
モリ２６の読み出しアドレスＳＡＤＲをクリアして、演
算するニューロン番号ｊを最小番号であるｎ＋１にセッ
トし、ステップ１０４に移行する。

【００７０】次のステップ１０４では、マスターノード
１２からのニューロン演算値の部分和演算の開始信号を
受信されたかを判断する。受信した場合は、ステップ１
０６に移行する。

【００７１】ステップ１０６では、累積レジスタ３２の
値をクリアし、ニューロン出力値メモリ２４の読み出し
アドレスＮＡＤＲを０に設定する。次のステップ１０８
では、シナプス接続重みメモリ２６から現在のアドレス
ＳＡＤＲに保存されたシナプス接続重みＷ_jiを読み出
し、次のステップ１１０では、ニューロン出力値メモリ
２４から現在のアドレスＮＡＤＲに保存されたニューロ
ン出力値Ｙ_iを読み出す。

【００７２】ステップ１１２では、読み出したシナプス
接続重みＷ_jiとニューロン出力値Ｙ _iとを乗算器２８に
よって乗算する。得られた乗算結果を加算器３０によっ
て現在累積レジスタ３２に保存されている値と加算し
て、累積レジスタ３２に保存する。

【００７３】次のステップ１１４では、割り当てられた
シナプス数分の回数、すなわち、Ｎ回、積和演算を行っ
たかを判断する。Ｎ回、積和演算を行っていないと判断
された場合は、ステップ１２０に移行し、ニューロン出
力値メモリ２４の読み出しアドレスＮＡＤＲ及びシナプ
ス接続重みメモリ２６の読み出しアドレスＳＡＤＲをイ
ンクリメントしてから、ステップ１０８に戻り、上述し
た処理を繰り返す。

【００７４】Ｎ回、積和演算を行っていると判断された
場合は、ステップ１１６に移行し、累積レジスタ３２に
保存されたデータをニューロン演算値の部分和ｙα_jと
してローカルバスインターフェ−ス２０を介してローカ
ルバス１８に出力する。ローカルバス１８に出力された
ニューロン演算値の部分和ｙα_jは、後述するマスター
ノード１２により同じグループ毎に累積加算された後、
非線型演算されてニューロン出力値Ｙ_jとされる。

【００７５】次のステップ１１８では、演算ユニットに
割り当てられたニューロン数Ｍの演算が終了したかを判
断する。すなわち、演算対象のニューロンのニューロン
番号ｊがｎ＋Ｎ３であるかを判断する。ニューロン番号
ｊがｎ＋Ｎ３でないと判断された場合は、ステップ１２
２に移行し、ニューロン番号ｊをインクリメントしてか
ら、ステップ１００に戻り、上述した処理を繰り返す。

【００７６】ニューロン番号ｊがｎ＋Ｎ３であると判断
された場合は、割り当てられたＭ個のニューロンの演算
が終了したため、本ルーチンを終了する。

【００７７】なお、次のニューロンのシナプス数が前回
演算したニューロンのシナプス数と異なる場合や、次の
ニューロン演算値の部分和演算での演算開始番号が前回
演算したニューロン演算値の部分和演算での演算開始番
号と異なる場合は、次のニューロン演算値の部分和演算
を開始する前に、演算シナプス数レジスタ４０に記憶さ
れたシナプス数を今回演算するニューロンのシナプス数
に変更したり、演算開始ニューロンレジスタ４２に記憶
されたニューロン演算開始番号を今回演算するニューロ
ンの演算開始番号に変更することも可能である。

【００７８】以上のように各演算ユニット１０₁〜１０_x
はシナプス接続重みメモリ２６の先頭アドレスＳＡＤＲ
にその重みが保存されたニューロンから順に演算を行
い、ニューロン数レジスタ４２で示されたＭ個のニュー
ロンのニューロン演算を行った後、動作が終了する。

【００７９】以上では、演算ユニットが１つの加算器及
び１つの乗算器を持つ場合について説明したが、加算器
及び乗算器がそれぞれ複数設けられた構成の演算ユニッ
トとすることにより、１つの演算ユニット内で複数のニ
ューロンに関するニューロン演算を複数の乗算器で同時
に行う構成も可能である。

【００８０】次に、図８のフローチャートを参照して学
習によるシナプス接続重みの更新について説明する。こ
こではヘッブ則による学習について説明する。まず、ス
テップ２００では、学習回路３６のシナプス接続重みメ
モリ更新アドレスＬＡＤＲをクリアし、変数ｊの値（す
なわちニューロン番号）を最小番号であるｎ＋１にセッ
トして、ステップ２０４に移行する。

【００８１】次のステップ２０４では、マスターノード
１２からシナプス接続重み更新信号が送られたかを判断
する。ステップ２０４において、マスターノード１２か
らシナプス接続重み更新信号が送られたと判断される
と、次のステップ２０６に移行する。

【００８２】ステップ２０６では、マスターノードから
与えられたニューロン番号ｊのニューロン出力値Ｙ_jと
学習係数ηの積を学習係数レジスタ４４に保存し、次の
ステップ２０８に移行する。ステップ２０８では、ニュ
ーロン出力値メモリの読み出しアドレスＮＡＤＲを演算
開始ニューロンレジスタ４２に設定されたアドレスＡＤ
Ｒに設定する。

【００８３】次のステップ２１０では、シナプス接続重
みメモリ２６のアドレスＳＡＤＲからシナプス接続重み
Ｗ_j,iを読み出し、次のステップ２１２では、ニューロ
ン出力値メモリ２４のアドレスＮＡＤＲからニューロン
出力値Ｙ_iを読み出す。

【００８４】ステップ２１４では、読み出したニューロ
ン出力値Ｙ_iと学習係数レジスタ４４に保存された値と
を積算し、積算結果を読み出したシナプス接続重みＷ
_j,iに加算し、得られた値を新規のシナプス接続重みと
して、シナプス接続重みメモリ２６のアドレスＳＡＤＲ
に上書きすることによって、シナプス接続重みメモリ２
６のアドレスＳＡＤＲのシナプス接続重みを更新する。

【００８５】次のステップ２１６では、割り当てられた
全てのシナプスの接続重みの更新処理が終了したか、す
なわち、Ｎ個のシナプスについて接続重み更新処理が終
了したかを判断する。Ｎ個のシナプスについて接続重み
更新処理が終了していないと判断された場合は、ステッ
プ２２０に移行し、シナプス接続重みメモリ２６のアド
レスＳＡＤＲ、及び、ニューロン出力値メモリ２４の読
み出しアドレスＮＡＤＲをインクリメントしてから、ス
テップ２１０に戻り、上述した処理を繰り返す。

【００８６】Ｎ個のシナプスについて接続重み更新処理
が終了したと判断された場合は、ステップ２１８に移行
し、割り当てられた全てのニューロンについてシナプス
接続重みの更新処理が終了したか、言いかえると、ニュ
ーロン番号ｊがｎ＋Ｎ３であるかを判断する。ニューロ
ン番号ｊがｎ＋Ｎ３でないと判断された場合、ステップ
２２２に移行してニューロン番号ｊをインクリメントし
てから、ステップ２００に戻り、上述した処理を繰り返
す。一方、ニューロン番号ｊがｎ＋Ｎ３であると判断さ
れると、本ルーチンを終了する。

【００８７】以上のように演算ユニット１０₁〜１０_xは
マスターノード１２からのシナプス接続重み更新信号を
受け取るたびに割り当てられたニューロンのうち最も番
号の小さいニューロンから順にシナプス接続重み更新処
理を行う。

【００８８】なお、シナプス接続重み更新動作が終了す
る前に、マスターノード１２からのニューロン演算値の
部分和演算の開始信号が受信された場合、接続重み更新
が終了してから次のニューロン演算値の部分和演算が開
始される。また、例えば、ニューロン演算及び学習に使
用するシナプス接続重みメモリ２６とニューロン出力メ
モリ２４がそれぞれバンクを持ち、メモリへのアクセス
が競合しないような回路構成で接続重み更新とニューロ
ン演算値の部分和演算を並列に動作させることも可能で
ある。

【００８９】このような演算ユニット１０₁〜1０_x内の
シナプス接続重みメモリ２６及びニューロン出力値メモ
リ２４への外部からのアクセスは、ローカルバス１８を
通して行われる。マスターノード１２によるシナプス接
続重みメモリ２６及びニューロン出力値メモリ２４から
のデータ読み出しは、演算ユニット１０₁〜1０_xのうち
の特定の演算ユニットを選択する信号、選択した演算ユ
ニットの中に保存されたデータを読み出すアドレス、及
び読み出し制御信号をマスターノード１２がローカルバ
ス１８を通して供給することによって行われ、読み出さ
れたデータはローカルバス１８に出力されてマスターノ
ード１２に受け取られる。

【００９０】また、シナプス接続重みメモリ２６へのデ
ータ書き込みも同様に、演算ユニット１０₁〜1０_xのう
ちの特定の演算ユニットを選択する信号、選択した演算
ユニットの中に書き込むデータのアドレス、書き込み制
御信号、及び、書き込むデータをローカルバス１８を通
して供給することによって行われる。

【００９１】一方、演算ユニット１０₁〜1０_x内のニュ
ーロン出力値メモリ２４へのニューロン出力値Ｙ_iの書
き込みは、ニューロン番号ｉを指定して行われ、同じ番
号のニューロンとシナプス接続するニューロンが割り当
てられた複数の演算ユニットに対して同時に行われる。
この書き込みは、ニューロン出力値を出力するニューロ
ンのニューロン番号ｉ、書き込み制御信号、及び、書き
込むニューロン出力値Ｙ_iをローカルバス１８を通して
供給することによって行われる。このとき、各演算ユニ
ット１０₁〜1０_xは、それぞれ指定されたニューロン番
号と、ローカルバスインターフェ−ス２０内の最小ニュ
ーロンレジスタ５０に記憶された値、及び、最大ニュー
ロンレジスタ５２に記憶された値と比較し、指定された
ニューロン番号が最小ニューロンレジスタ５０に記憶さ
れた値と最大ニューロンレジスタ５２に記憶された値の
間にある場合に、書き込みデータ（ニューロン出力値Ｙ
_i）を受け取る。

【００９２】ニューロン出力値データを受け取った演算
ユニットは、指定されたニューロン番号から最小ニュー
ロンレジスタ５０に記憶された値を減算して、受け取っ
たニューロン出力値データを書き込むべきニューロン出
力値メモリ２４のアドレスを計算し、得られたアドレス
に受信したニューロン出力値データを書き込む。

【００９３】次に、上記構成のニューラルネットワーク
演算装置に、図３に示した、入力層、隠れ層及び出力層
からなる３層のパーセプトロン型のニューラルネットワ
ークの演算を、第１演算ユニット１０₁から第ｘ演算ユ
ニット１０_xのｘ個の演算ユニットに割り当てる方法に
ついて説明する。ここでは、説明を簡略にするため、ニ
ューラルネットワークの演算を第１演算ユニット１０₁
から第６演算ユニット１０₆の６個の演算ユニットに割
り当てる場合について説明する。

【００９４】また、図３に示した全てのニューロン１〜
ｎ＋ｍ＋ｐのニューロン出力値をそれぞれＹ₁〜
Ｙ_n+m+p、ニューロンｉからニューロンjへのシナプス接
続の重みをＷ_jiと書き表すと、３層のパーセプトロン型
のニューラルネットワークの演算は、Ｗ_jiを用いて、図
９（Ａ）に示すような３×３のブロックからなる行列で
表すことができる。

【００９５】図９（Ａ）中のＩの領域は入力層から隠れ
層への接続(すなわち、１≦i≦ｎ、ｎ＋１≦ｊ≦ｎ＋
ｍ)を表し、図９（Ａ）中のIIの領域は隠れ層から出力
層への接続(すなわち、ｎ＋１≦i≦ｎ＋ｍ、ｎ＋ｍ＋１
≦ｊ≦ｎ＋ｍ＋ｐ)を表しており、他の領域は接続が無
く(Ｗ_ji＝０)、計算する必要の無い領域である。

【００９６】本第１の実施の形態におけるニューラルネ
ットワークの計算方法では、I及びIIの領域で表された
計算すべき接続を、少なくとも横方向に複数分割してｘ
個の演算ユニットの全部又は１部に割り当て、分散処理
させる。

【００９７】ここでは、一例として、図９（Ｂ）及び図
９（Ｃ）に示すように、I及びIIの領域で表された計算
すべき接続を、それぞれ横方向に３分割、縦方向に２分
割して６つの演算ユニット１０₁〜１０₆に均等に割り当
て、分散処理させるように構成する。

【００９８】６つの演算ユニット１０₁〜１０₆のうち、
第１演算ユニット１０₁〜第３演算ユニット１０₃を第１
グループＧ１としてグループレジスタ５４に「１」を設
定し、第４演算ユニット１０₄〜第６演算ユニット１０₆
を第２グループＧ２としてグループレジスタ５４に
「２」を設定し、１つの演算層を構成する複数のニュー
ロンを２つのグループ（ここでは、隠れ層を、ニューロ
ンｎ＋１〜ニューロンｎ＋Ｌ１のグループとニューロン
ｎ＋Ｌ１＋１〜ニューロンｎ＋ｍのグループとし、出力
層をニューロンｎ＋ｍ＋１〜ニューロンｎ＋ｍ＋Ｌ２の
グループとニューロンｎ＋ｍ＋Ｌ２＋１〜ニューロンｎ
＋ｍ＋ｐのグループに分割する。）に分割して前記２つ
のグループＧ１、Ｇ２のそれぞれに割り当てると共に、
１つのニューロンが行うニューロン演算を３分割して１
グループを構成する３つの演算ユニットに均等に割り当
てている。

【００９９】従って、第１グループＧ１の第１演算ユニ
ット１０₁のシナプス接続重みメモリ２６にはI−１の領
域の接続重みW_ji（１≦ｉ≦Ｎ１、ｎ＋１≦ｊ≦ｎ＋Ｌ
１)及びII−１の領域の接続重みW_ji(ｎ＋1≦ｉ≦ｎ＋Ｎ
３、ｎ＋ｍ＋１≦ｊ≦ｎ＋ｍ＋Ｌ２)が保存され、第２
演算ユニット１０₂のシナプス接続重みメモリ２６には
Ｉ−２の領域の接続重みW_ji（Ｎ１＋１≦ｉ≦Ｎ２、ｎ
＋１≦ｊ≦ｎ＋Ｌ１)及びII−２の領域の接続重みW
_ji(ｎ＋Ｎ３＋1≦ｉ≦ｎ＋Ｎ４、ｎ＋ｍ＋１≦ｊ≦ｎ＋
ｍ＋Ｌ２)が保存され、第３演算ユニット１０₃のシナプ
ス接続重みメモリ２６にはI−３の領域の接続重みW
_ji（Ｎ２＋１≦ｉ≦ｎ、ｎ＋１≦ｊ≦ｎ＋Ｌ１)及びII
−３の領域の接続重みW_ji(ｎ＋Ｎ４＋1≦ｉ≦ｎ＋ｍ、
ｎ＋ｍ＋１≦ｊ≦ｎ＋ｍ＋Ｌ２)が保存される。

【０１００】また、第２グループＧ２の第４演算ユニッ
ト１０₄のシナプス接続重みメモリ２６にはＩ−４の領
域の接続重みW_ji（１≦ｉ≦Ｎ１、ｎ＋Ｌ１＋１≦ｊ≦
ｎ＋ｍ)及びII−４の領域の接続重みW_ji(ｎ＋1≦ｉ≦ｎ
＋Ｎ３、ｎ＋ｍ＋Ｌ２＋１≦ｊ≦ｎ＋ｍ＋ｐ)が保存さ
れ、第５演算ユニット１０₅のシナプス接続重みメモリ
２６にはＩ−５の領域の接続重みW_ji（Ｎ１＋１≦ｉ≦
Ｎ２、ｎ＋Ｌ１＋１≦ｊ≦ｎ＋ｍ)及びII−５の領域の
接続重みW_ji(ｎ＋Ｎ３＋1≦ｉ≦ｎ＋Ｎ４、ｎ＋ｍ＋Ｌ
２＋１≦ｊ≦ｎ＋ｍ＋ｐ)が保存され、第６演算ユニッ
ト１０₆のシナプス接続重みメモリ２６にはＩ−６の領
域の接続重みW_ji（Ｎ２＋１≦ｉ≦ｎ、ｎ＋Ｌ１＋１≦
ｊ≦ｎ＋ｍ)及びII−６の領域の接続重みW_ji(ｎ＋Ｎ４
＋１≦ｉ≦ｎ＋ｍ、ｎ＋ｍ＋Ｌ２＋１≦ｊ≦ｎ＋ｍ＋
ｐ)が保存される。

【０１０１】また、第１グループＧ１の第１演算ユニッ
ト１０₁のニューロン出力値メモリ２４には入力層から
隠れ層への接続を演算する場合には、Ｉ−１の領域の列
番号に対応したニューロン出力値Ｙ_i(１≦ｉ≦Ｎ１)が
保存され、同時に最小ニューロンレジスタ５０にはＩ−
１の領域の列番号の最小値１が、最大ニューロンレジス
タ５２にはＩ−１の領域の列番号の最大値Ｎ１が設定さ
れる。隠れ層から出力層領域への接続を演算する場合に
は、IＩ−１の領域の列番号に対応したＹ_i(ｎ＋１≦ｉ
≦ｎ＋Ｎ３)が保存され、同時に最小ニューロンレジス
タ５０にはＩＩ−１の領域の列番号の最小値ｎ＋１が、
最大ニューロンレジスタ５２にはＩＩ−１の領域の列番
号の最大値ｎ＋Ｎ３が設定される。第２演算ユニット１
０₂〜第６演算ユニット１０₆についても同様に、接続重
み及びニューロン出力値が保存される。

【０１０２】また、第１演算ユニット１０₁〜第３演算
ユニット１０₃は、ニューロン計算を並列して行う第１
グループＧ１を形成しているため、それぞれのグループ
レジスタ５４にはグループ番号である「１」が設定さ
れ、同様に第４演算ユニット１０ ₄〜第６演算ユニット
１０₆は、ニューロン計算を並列して行う第２グループ
Ｇ２を形成しているため、それぞれのグループレジスタ
５４にはグループ番号である「２」が設定される。マス
ターノード１２からのコントロール信号は、同一のグル
ープ番号を持つ演算ユニットに対して同時に行われる。

【０１０３】上記のようにニューロン演算が割り当てら
れた各演算ユニット１０₁〜１０₆を制御するマスターノ
ード１２の制御ルーチンについて、図１０のフローチャ
ートを参照しながら説明する。なお、マスターノード１
２は、ホストコンピュータ１６がプログラムメモリ１４
に書き込んだマスターノード１２の動作を記述するプロ
グラムを読み込み、このプログラムにより動作を開始す
る。ホストコンピュータ１６は、マスターノード１２の
動作を記述するプログラムをプログラムメモリ１４に書
き込むと共に、各演算ユニット1０₁〜１０₆に対して初
期設定を行っている。この初期設定では、シナプス接続
重みメモリ２６への初期データの書き込み、及びグルー
プレジスタ５４の設定を行う。これらのデータの値はニ
ューラルネットワークの構成に従い、前記演算の割り当
て方法の説明に示したように設定し、さらにプログラム
メモリ１４に入力層への入力値Ｙ₁〜Ｙ_nを書き込む。

【０１０４】まず、ステップ３００では、ホストコンピ
ュータ１６からニューロン演算開始命令が出力されたか
を判断し、ニューロン演算開始命令が出力されたと判断
すると、プログラムメモリ１４からマスターノード１２
の制御プログラムを読み込み、次のステップ３０２に移
行する。ステップ３０２では、隠れ層のニューロン演算
を行うために必要な各種データを書き込み指示とともに
出力する。

【０１０５】まず、マスターノード１２は、グループレ
ジスタ５４に「１」が設定された演算ユニット、すなわ
ち、第１グループＧ１に属する演算ユニット１０₁、１
０₂、１０₃のそれぞれに対し、以下の設定を行う。すな
わち、第１演算ユニット１０₁の最小ニューロンレジス
タ５０には１を設定し、第２演算ユニット１０₂の最小
ニューロンレジスタ５０にはＮ１＋１を設定し、第３演
算ユニット１０₃の最小ニューロンレジスタ５０にはＮ
２＋１を設定すると共に、第１演算ユニット１０ ₁の最
大ニューロンレジスタ５２にはＮ１を設定し、第２演算
ユニット１０₂の最大ニューロンレジスタ５２にはＮ２
を設定し、第３演算ユニット１０₃の最大ニューロンレ
ジスタ５２にはｎを設定する。

【０１０６】同様に、マスターノード１２は、グループ
レジスタ５４に「２」が設定された演算ユニット、すな
わち、第２グループＧ２に属する演算ユニット１０₄、
１０₅、１０₆の最小ニューロンレジスタ５０に対して
も、第４演算ユニット１０₄には１を設定し、第５演算
ユニット１０₅にはＮ１＋１を設定し、第５演算ユニッ
ト１０₅にはＮ２＋１を設定すると共に、最大ニューロ
ンレジスタ５２に対し、第４演算ユニット１０₄にはＮ
１を設定し、第５演算ユニット１０₅にはＮ２を設定
し、第５演算ユニット１０₅にはｎを設定する。

【０１０７】また、マスターノード１２は、ホストコン
ピュータ１６がプログラムメモリ１４に書き込んだ入力
層のニューロン出力値Ｙ₁〜Ｙ_nをプログラムメモリ１４
から読み出し、読み出したニューロン出力値Ｙ₁〜Ｙ_nを
ニューロン番号ｉ、及び書き込み制御信号と共にローカ
ルバス１８に出力する。

【０１０８】演算ユニット１０₁〜１０₆に対する書き込
みは前述の方法によって行われる。すなわち、演算ユニ
ット１０₁〜１０₆は、それぞれ最小ニューロンレジスタ
５０に設定された値と最大ニューロンレジスタ５２に設
定された値の間のニューロン番号ｉのニューロン出力値
Ｙ_iを受取るため、ニューロン出力値Ｙ₁〜Ｙ_N1は第１演
算ユニット１０₁及び第４演算ユニット１０₄のニューロ
ン出力値メモリ２４のアドレス０からアドレスＮ−１に
順に保存され、ニューロン出力値Ｙ_N1+1〜Ｙ_N2は第２演
算ユニット１０₂及び第５演算ユニット１０₅のニューロ
ン出力値メモリ２４のアドレス０からアドレスＮ−１に
順に保存され、ニューロン出力値Ｙ_N2+1〜Ｙ_nは第３演
算ユニット１０₃及び第６演算ユニット１０₆のニューロ
ン出力値メモリ２４のアドレス０からアドレスＮ−１に
順に保存される。

【０１０９】また、マスターノード１２は、第１グルー
プＧ１に属する演算ユニット１０₁、１０₂、１０₃のそ
れぞれの演算開始ニューロンレジスタ４２及び演算シナ
プス数レジスタ４０を設定する。すなわち、３つの演算
ユニット１０₁、１０₂、１０ ₃の全てについて演算開始
ニューロンレジスタ４２に０を設定し、第１演算ユニッ
ト１０₁の演算シナプス数レジスタ４０にはＮ１、第２
演算ユニット１０₂の演算シナプス数レジスタ４０には
Ｎ２−Ｎ１、及び第３演算ユニット１０₃の演算シナプ
ス数レジスタ４０にはｎ−Ｎ２を設定する。この時グル
ープ内のレジスタに同じ値を設定する場合は、グループ
番号を指定することにより同時に行うことができる。

【０１１０】第２グループＧ２に属する演算ユニット１
０₄、１０₅、１０₆に対しても同様に、それぞれの演算
開始ニューロンレジスタ４２及び演算シナプス数レジス
タ４０を設定する。すなわち、３つの演算ユニット１０
₄、１０₅、１０₆の全てについて演算開始ニューロンレ
ジスタ４２に０を設定し、第４演算ユニット１０₄の演
算シナプス数レジスタ４０にはＮ１、第５演算ユニット
１０₅の演算シナプス数レジスタ４０にはＮ２−Ｎ１、
及び第６演算ユニット１０₆の演算シナプス数レジスタ
４０にはｎ−Ｎ２を設定する。

【０１１１】全ての設定が終了したら次のステップ３０
４に移行して、ローカルバス１８にニューロン演算値の
部分和演算の開始信号を出力して、ステップ３０６に移
行し、隠れ層のニューロン（すなわち、ニューロン番号
ｎ＋１〜ニューロン番号ｎ＋ｍ）に関するニューロン演
算値の部分和演算処理を開始させる。

【０１１２】図７のフローチャートで説明したように、
演算開始信号を受け取った各演算ユニット１０₁〜１０_x
はそれぞれ割り当てられたニューロンの番号の若い順に
ニューロン演算値の部分和演算を開始する。これによ
り、隠れ層を構成する個々のニューロン演算値の部分和
演算が並列して行われると共に、隠れ層のニューロン演
算がグループ毎に並列して行われることとなる。

【０１１３】例えば、第１グループＧ１の第１演算ユニ
ット１０₁〜第３演算ユニット１０₃は、ニューロンｎ＋
１のニューロン演算値の部分和演算を開始し、第２グル
ープＧ２の演算ユニット１０₄〜１０₆は、ニューロンｎ
＋Ｌ１＋１のニューロン演算値の部分和演算を開始す
る。演算を開始した各演算ユニット１０₁〜１０_xはそれ
ぞれ上述したニューロン演算値の部分和演算処理ルーチ
ンで記したように、割り当てられたニューロン演算値の
部分和演算を順次行い、得られた演算結果（ニューロン
演算値の部分和ｙα_j）をローカルバス１８を介してグ
ループ番号とともにマスターノード１２に出力する。

【０１１４】次のステップ３０８では、ニューロン演算
値の部分和ｙα_jの累積加算処理及び接続重みの更新を
行う。ここで、累積加算処理及び接続重みの更新につい
て図１１のフローチャートを参照しながら説明する。ま
ず、ステップ４００では、第１グループＧ１の演算ユニ
ット１０₁〜１０₃から受け取ったニューロン演算値の部
分和yα_jを累積加算する変数ＳＵＭ１、及び入力された
ニューロン演算値の部分和yα_jの数を表す変数ＮＵＭ１
を０に初期化すると共に、第２グループＧ２に対しても
同様に第２グループＧ２の演算ユニット１０₄〜１０₆か
ら入力されたニューロン演算値の部分和yα_jを累積加算
する変数ＳＵＭ２及び入力されたニューロン演算値の部
分和yα_jの数を表す変数ＮＵＭ２を０に初期化する。

【０１１５】ステップ４０２では、ローカルバス１８に
グループ番号及び部分和の演算開始信号を出力して、第
１グループＧ１の演算ユニット１０₁〜１０₃、及び第２
グループＧ２の演算ユニット１０₄〜１０₆にニューロン
の演算を開始させる。演算を開始した演算ユニットはそ
れぞれ前述の演算ユニットのニューロン演算値の部分和
演算処理の説明で記したように割り当てられたニューロ
ン演算値の部分和をｙα_j演算し、得られたニューロン
演算値の部分和ｙα_jを、自分の属するグループ番号
（ここでは、１又は２）と共にマスターノード１２に送
信する。

【０１１６】次のステップ４０４では、マスターノード
１２にニューロン演算値の部分和ｙα_jが入力されたか
を判断する。入力されたと判断されると、次のステップ
４０６に移行し、ニューロン演算値の部分和ｙα_jと共
に入力されたグループ番号が「１」かを判断する。

【０１１７】グループ番号が「１」であると判断される
と、第１グループＧ１のニューロン演算値の部分和であ
るので、ステップ４０８に移行し、ＳＵＭ１にニューロ
ン演算値の部分和ｙα_jを累積加算すると共に、変数Ｎ
ＵＭ１をインクリメントして次のステップ４１０に移行
する。

【０１１８】ステップ４１０では、入力されたニューロ
ン演算値の部分和の数が３つであるか、すなわち、ＮＵ
Ｍ１＝３かを判断し、ＮＵＭ１＝３でない場合は、ステ
ップ４０４に戻り、上述した処理を繰り返す。また、Ｎ
ＵＭ１＝３である場合は、ステップ４１２に移行して、
累積加算して得られた値を、例えば、シグモイド関数に
よって非線型変換を行い、ニューロンｎ＋１のニューロ
ン出力値Ｙ_n+1とする。シグモイド関数のパラメータは
ニューロン毎に変更できる。非線型変換を行う関数とし
ては、閾値論理も考えられる。次のステップ４１４で
は、得られたニューロン出力値Ｙ_n+1をプログラムメモ
リ１４中に確保した領域に保存する。

【０１１９】ステップ４１６では、ローカルバス１８
に、グループ番号１、ニューロンｎ＋１のニューロン出
力値Ｙ_n+1、及び、予め定められた学習係数ηとの積を
送信して第１グループＧ１の演算ユニット１０₁〜１０₃
の学習係数レジスタ４４を設定する。次に、マスターノ
ード１２は、グループ番号１と接続重み更新信号を出力
し、第１グループＧ１の演算ユニット１０₁〜１０₃にシ
ナプス接続重みの更新を開始させて、ステップ４１８に
移行する。なお、各演算ユニット１０₁〜１０₃でのシナ
プス接続重みの更新の動作は前述したので説明は省略す
る。

【０１２０】一方、上記ステップ４０６において、ニュ
ーロン演算値の部分和ｙα_jと共に入力されたグループ
番号が「１」でないと判断されると、第２グループＧ２
のニューロン演算値の部分和であるので、ステップ４２
０に移行し、ＳＵＭ２にニューロン演算値の部分和ｙα
_jを累積加算すると共に、変数ＮＵＭ２をインクリメン
トして次のステップ４２２に移行する。

【０１２１】ステップ４２２では、受信したニューロン
演算値の部分和ｙα_jの数が３つであるか、すなわち、
ＮＵＭ２＝３かを判断し、ＮＵＭ２＝３でない場合は、
ステップ４０４に戻り、上述した処理を繰り返す。ま
た、ＮＵＭ２＝３である場合は、ステップ４２４に移行
して、累積加算して得られた値を、例えば、シグモイド
関数によって非線型変換を行い、ニューロンｎ＋Ｌ１＋
１のニューロン出力値Ｙ _n+L1+1とする。シグモイド関数
のパラメータはニューロン毎に変更できる。非線型変換
を行う関数としては、閾値論理も考えられる。次のステ
ップ４２６では、得られたニューロン出力値Ｙ_n+L1+1を
プログラムメモリ１４中に確保した領域に保存する。

【０１２２】次のステップ４２８では、ローカルバス１
８に、グループ番号２、ニューロンｎ＋Ｌ１＋１のニュ
ーロン出力値Ｙ_n+L1+1、及び、予め定められた学習係数
ηとの積を送信して第２グループＧ２の演算ユニット１
０₄〜１０₆の学習係数レジスタ４４を設定する。次に、
マスターノード１２は、グループ番号２と接続重み更新
信号を出力し、第２グループＧ２の演算ユニット１０₄
〜１０₆にシナプス接続重みの更新を開始させて、ステ
ップ４１８に移行する。なお、各演算ユニット１０₃〜
１０₆でのシナプス接続重みの更新の動作は前述したの
で説明は省略する。

【０１２３】ステップ４１８では、第１グループＧ１と
第２グループＧ２に割り当てられた全てのニューロンの
演算が終了したかを判断する。第１グループＧ１と第２
グループＧ２に割り当てられた全てのニューロンの演算
が終了していないと判断されると、ステップ４００に戻
り、上述した処理を繰り返す。この時、ステップ４００
及びステップ４０２の処理はニューロン演算が終了した
グループ番号に対して行われる。また、第１グループＧ
１と第２グループＧ２に割り当てられた全てのニューロ
ンの演算が終了したと判断されると本ルーチンを終了す
る。

【０１２４】ニューロン演算値の部分和ｙα_jの累積加
算処理及び接続重みの更新の終了後、出力層のニューロ
ンｎ＋ｍ〜ニューロンｎ＋ｍ＋ｐの部分和演算を行う。
まず、ステップ３１０では、出力層のニューロン演算を
行うために必要な各種データを書き込み指示とともに送
出する。

【０１２５】マスターノード１２は、グループレジスタ
５４に「１」が設定された演算ユニット、すなわち、第
１グループＧ１に属する演算ユニット１０₁、１０₂、１
０₃のそれぞれに対し以下の設定を行う。すなわち、第
１演算ユニット１０₁の最小ニューロンレジスタ５０に
はｎ＋１を設定し、第２演算ユニット１０₂の最小ニュ
ーロンレジスタ５０にはｎ＋Ｎ３＋１を設定し、第３演
算ユニット１０₃の最小ニューロンレジスタ５０にはｎ
＋Ｎ４＋１を設定すると共に、第１演算ユニット１０₁
の最大ニューロンレジスタ５２にはｎ＋Ｎ３を設定し、
第２演算ユニット１０₂の最大ニューロンレジスタ５２
にはｎ＋Ｎ４を設定し、第３演算ユニット１０₃の最大
ニューロンレジスタ５２にはｎ＋ｍを設定する。

【０１２６】同様に、マスターノード１２は、グループ
レジスタ５４に「２」が設定された演算ユニット、すな
わち、第２グループＧ２に属する演算ユニット１０₄、
１０₅、１０₆の最小ニューロンレジスタ５０に対して
も、第４演算ユニット１０₄にはｎ＋１を設定し、第５
演算ユニット１０₅にはｎ＋Ｎ３＋１を設定し、第６演
算ユニット１０₆にはｎ＋Ｎ４＋１を設定すると共に、
最大ニューロンレジスタ５２に対し、第４演算ユニット
１０₄にはｎ＋Ｎ３を設定し、第５演算ユニット１０₅に
はｎ＋Ｎ４を設定し、第６演算ユニット１０₆にはｎ＋
ｍを設定する。

【０１２７】また、マスターノード１２は、ホストコン
ピュータ１６がプログラムメモリ１４に書き込んだ入力
層のニューロン出力値Ｙ_n+1〜Ｙ_n+mをプログラムメモリ
１４から読み出し、読み出したニューロン出力値をニュ
ーロン番号ｉ、及び書き込み制御信号と共にローカルバ
ス１８を介して演算ユニット１０₁〜１０₆に供給する。

【０１２８】演算ユニット１０₁〜１０₆に対する書き込
みは、前述の方法によって行われ、ニューロン出力値Ｙ
_n+1〜Ｙ_n+N3は第１演算ユニット１０₁及び第４演算ユニ
ット１０₄のニューロン出力値メモリ２４のアドレス０
からアドレスＮ−１に順に保存され、ニューロン出力値
Ｙ_n+N3+1〜Ｙ_n+N4は第２演算ユニット１０₂及び第５演
算ユニット１０₅のニューロン出力値メモリ２４のアド
レス０からアドレスＮ−１に順に保存され、ニューロン
出力値Ｙ_n+N4+1〜Ｙ_n+mは第３演算ユニット１０₃及び第
６演算ユニット１０₆のニューロン出力値メモリ２４の
アドレス０からアドレスＮ−１に順に保存される。

【０１２９】また、第１グループＧ１に属する演算ユニ
ット１０₁、１０₂、１０₃のそれぞれの演算開始ニュー
ロンレジスタ４２及び演算シナプス数レジスタ４０を設
定する。演算開始ニューロンレジスタ４２の値は３つの
演算ユニット１０₁、１０₂、１０₃の全てに０を設定
し、演算シナプス数レジスタ４０の値は、第１演算ユニ
ット１０₁にはＮ３、第２演算ユニット１０₂にはＮ４−
Ｎ３、及び第３演算ユニット１０₃にはｍ−Ｎ４をそれ
ぞれ設定する。この時グループ内のレジスタに同じ値を
設定する場合は、グループ番号を指定することにより同
時に行うことができる。なお、制御回路２２のアドレス
カウンタは隠れ層の計算後にはニューロンｎ＋ｍ＋１の
シナプス接続重みの先頭のアドレスになっている。

【０１３０】同様に、第２グループＧ２に属する演算ユ
ニット１０₄、１０₅、１０₆の演算開始ニューロンレジ
スタ４２及び演算シナプス数レジスタ４０も設定する。
すなわち、演算開始ニューロンレジスタ４２の値は３つ
の演算ユニット１０₄、１０₅、１０₆の全てに０を設定
し、演算シナプス数レジスタ４０の値は、第４演算ユニ
ット１０₄にはＮ３、第５演算ユニット１０₅にはＮ４−
Ｎ３、及び第６演算ユニット１０₆にはｍ−Ｎ４をそれ
ぞれ設定する。

【０１３１】全ての設定が終了したら次のステップ３１
２に移行して、ローカルバス１８にニューロン演算値の
部分和演算の開始信号を出力して、ステップ３１４に移
行し、出力層のニューロン（すなわち、ニューロン番号
ｎ＋ｍ＋１〜ニューロン番号ｎ＋ｍ＋ｐ）に関するニュ
ーロン演算値の部分和演算処理を開始させる。

【０１３２】図７のフローチャートで説明したように、
演算開始信号を受信した各演算ユニット１０₁〜１０_xは
それぞれ割り当てられたニューロンの番号の若い順にニ
ューロン演算値の部分和演算を開始する。これにより、
出力層を構成する個々のニューロン演算値の部分和演算
が並列して行われると共に、隠れ層のニューロン演算が
グループ毎に並列して行われることとなる。なお、この
ニューロン演算は、割り当てられたニューロンが異なる
だけで上述と同様なので説明は省略する。

【０１３３】次のステップ３１６では、ニューロン演算
値の部分和ｙα_jの累積加算処理及び接続重みの更新を
行う。ここで、出力層の累積加算処理及び接続重みの更
新について、図１２のフローチャートを参照しながら説
明するが、上記図１１のフローチャートを用いて説明し
た隠れ層の累積加算処理及び接続重みの更新とほぼ同様
であるので、同様の符号を付して説明は省略し、異なる
ステップだけ説明する。

【０１３４】すなわち、図１２のフローチャートのステ
ップ４１５では、第１グループＧ１によって得られたニ
ューロン出力値Ｙ_jをホストコンピュータ１６に送信す
る。同様に図１２のフローチャートのステップ４２５で
は、第２グループＧ２によって得られたニューロン出力
値Ｙ_jをホストコンピュータ１６に送信する。これによ
り、ホストコンピュータ１６には、出力層のニューロン
出力値Ｙｎ＋ｍ＋１〜Ｙｎ＋ｍ＋ｐが保存されることな
る。

【０１３５】出力層の累積加算処理及び接続重みの更新
が終了すると、ステップ３１８に移行して、ホストコン
ピュータ１６に終了信号を出力した後、ステップ３２０
に移行して、ホストコンピュータから次の演算開始命令
が入力されたかを判断する。ホストコンピュータから次
の演算開始命令が入力されたと判断された場合、ステッ
プ３０２に戻り、上述した処理を繰り返す。次の演算開
始命令が入力されていないと判断た場合、本ルーチンを
終了する。なお、ホストコンピュータ１６は、マスター
ノード１２から終了信号が通知されると、ニューラルネ
ットワークへ新たな入力を与えるので、マスターノード
１２は、ホストコンピュータ１６から演算開始命令が入
力されると、直ちに本ルーチンを開いて上記の動作を行
う。

【０１３６】（第２実施の形態）第２実施の形態のニュ
ーラルネットワーク演算装置は第１の実施の形態の応用
例であり、ニューラルネットワークの学習アルゴリズム
としてヘッブ則の代わりにバックプロパゲーションを用
いる場合の一例である。

【０１３７】第２実施の形態のニューラルネットワーク
演算装置は、図１３に示す様に、個々の演算ユニット内
の制御回路２２に学習シナプス数レジスタ３３が設けら
れている。この学習シナプス数レジスタ３３には、１つ
のニューロンが持つシナプス数Ｓが保存されている。ま
た、ホストコンピュータ１６は、プログラムメモリ１４
に教師信号ｄを書き込み、学習開始信号をマスターノー
ド１２に送ってバックプロパゲーションによる学習を開
始させる。

【０１３８】また、ニューロン出力値メモリ２４には、
ニューロン演算およびシナプス接続重み更新の場合、演
算に用いられる前段の演算層のニューロン出力値Ｙ_i〜
Ｙ_i+Nが保存され、誤差信号演算の場合、受け持つニュ
ーロンの誤差信号δ_j1〜δ_jMが保存される。なお、その
他は、上述した第１の実施の形態と同様であるので、同
様の符号を付して説明は省略する。

【０１３９】本第２の実施の形態のニューラルネットワ
ーク演算装置における演算ユニット１０₁〜１０_xは、各
々独立した１つの半導体素子に形成され、マスターノー
ド１２からの制御データに基いてニューロン演算値の部
分和演算、バックプロパゲーションによる学習の動作を
行う。なお、ニューロン演算値の部分和演算に関しては
上記第１の実施の形態と同じであるので説明は省略し、
バックプロパゲーションによる学習について説明する。

【０１４０】バックプロパゲーションによる学習に際し
て、各演算ユニット１０₁〜１０_xは、上記(４)の式に示
した逆伝播による誤差信号δの部分和演算、及び、上記
(２)の式に示したシナプス接続重みの更新の２種類の動
作を行う。

【０１４１】すなわち、バックプロパゲーションによる
学習においては、出力層に対してはホストコンピュータ
１６から入力された教師信号ｄとニューロン演算で得ら
れた出力層のニューロンのニューロン出力値Ｙ_n+m+1〜
Ｙ_n+m+pとの差から誤差信号δ _n+m+1〜δ_n+m+pを割り当
てられた出力層のニューロンについて演算する。隠れ層
に対しては出力層の誤差信号を用いて、特定のニューロ
ンと接続する出力層のシナプスの接続重みとを乗算して
得た誤差信号δの部分和δα_jを演算ユニット毎に演算
した後、マスターノード１２が部分和δα_jを累積加算
して隠れ層のニューロンの誤差信号δを演算する。これ
を全ての隠れ層のニューロンについて行う。さらに、そ
れぞれの演算ユニットは各自の持つシナプス接続重みの
更新を行う。

【０１４２】ここで、上記構成のニューラルネットワー
ク演算装置を構成する複数の演算ユニットの各々で独立
して行う隠れ層の誤差信号δの部分和演算、及び、シナ
プス接続重みの更新の動作について説明する。なお、こ
こでは説明のため、任意の第Ｈ演算ユニット１０ｈの誤
差信号δの部分和演算、及び、シナプス接続重みの更新
の動作について図１４及び図１５のフローチャートを参
照して説明する。

【０１４３】この第Ｈ演算ユニット１０ｈには、図３に
おける連続したニューロン番号ｎ＋ｍ＋１からニューロ
ン番号ｎ＋ｍ＋Ｌ２のＭ個のニューロン演算値の部分和
演算が割り当てられており、各ニューロンの全シナプス
（Ｓ個のシナプス）のうちｎ＋１からｎ＋Ｎ３までのＮ
個（但し、Ｓ＞Ｎ）のシナプスが割り当てられている。
また、誤差信号演算では、同じシナプスを用いてニュー
ロン番号ｎ＋１からｎ＋Ｎ３までのＮ個のニューロンの
誤差信号の部分和を、それぞれに接続されたＭ個のシナ
プスの値から演算する。誤差信号δの部分和演算処理で
は、ニューロン出力値メモリ２４には、誤差信号δ
_n+m+1〜δ_n+m+L2が保存されている。

【０１４４】まず、図１４のステップ５００において、
全ての演算ユニット１０₁〜１０_xのシナプス接続重みメ
モリ２６に初期データを書き込む。次のステップ５０２
では、シナプス接続重みメモリ２６のアドレスＳＡＤＲ
をクリアし、変数ｊの値（すなわち、誤差信号を演算す
るニューロン番号）を誤差信号の演算を割り当てられた
全てのニューロンのうち最小番号であるｎ＋１（すなわ
ち初期値）にセットして、ステップ５０４に移行する。

【０１４５】ステップ５０２では、マスターノード１２
からの誤差信号δの部分和演算開始信号の入力があるか
を判断し、入力があると判断されると、ステップ５０６
に移行する。

【０１４６】ステップ５０６では、累積レジスタ３２の
値をクリアし、ニューロン出力値メモリ２４の読み出し
アドレスＮＡＤＲを０に設定する。次のステップ５０８
では、現在のシナプス接続重みメモリ２６の読み出しア
ドレスＳＡＤＲに保存されたシナプス接続重みＷ_jiを読
み出し、次のステップ５１０では、現在のニューロン出
力値メモリ２４から読み出しアドレスＮＡＤＲに保存さ
れた誤差信号δ_jを読み出す。

【０１４７】ステップ５１２では、読み出したシナプス
接続重みＷ_jiと誤差信号δ_jとを乗算器２８によって乗
算する。得られた乗算結果を加算器３０によって現在累
積レジスタ３２に保存されている値と加算して、累積レ
ジスタ３２に保存する。

【０１４８】次のステップ５１４では、シナプス接続重
みメモリ２６に保存され、誤差信号の演算を行うニュー
ロンに接続されたシナプス数分、すなわち、Ｍ回、積和
演算を行ったかを判断する。Ｍ回、積和演算を行ってい
ないと判断された場合は、ステップ５２２に移行し、シ
ナプス接続重みメモリ２６のアドレスＳＡＤＲをシナプ
ス数レジスタ４０に記憶された値、すなわちＮ分加算
し、ニューロン出力値メモリ２４の読み出しアドレスＮ
ＡＤＲをインクリメントしてから、ステップ５０８に戻
り、上述した処理を繰り返す。

【０１４９】ステップ５１４において、Ｍ回、積和演算
を行っていると判断された場合は、ステップ５１６に移
行し、累積レジスタ３２に保存されたデータをローカル
バスインターフェ−ス２０に出力しローカルバス１８を
介してマスターノード１２に出力する。

【０１５０】次のステップ５１８では、Ｎ個のニューロ
ンに対して誤差信号演算が終了したか、すなわち、変数
ｊがｎ＋Ｎに等しいかを判断する。変数ｊがｎ＋Ｎに等
しくないと断されると、ステップ５２０に移行する。ス
テップ５２０では、シナプス接続重みメモリ２６の読出
しアドレスＳＡＤＲと変数ｊをインクリメントしてステ
ップ５０２に戻り、上述した処理を繰り返す。一方、ス
テップ５１８において変数ｊがｎ＋Ｎに等しいと判断さ
れると、本ルーチンを終了する。

【０１５１】以上のように演算ユニット１０₁〜１０_xは
マスターノード１２からの誤差信号δの部分和演算開始
信号を受け取るたびに誤差信号δの部分和演算を行う。

【０１５２】次に、シナプス接続重みの更新について図
１５のフローチャートを参照して説明する。シナプス接
続重みの更新では、ニューロン出力値メモリ２４には、
演算に用いられる前段の演算層のニューロン出力値Ｙ_i
〜Ｙ_i+Nが保存される。また、学習係数レジスタ４４に
は、マスターノード１２によって予め決められた学習係
数ηと、重みを更新するニューロンｊの誤差信号δ_jの
積が設定される。

【０１５３】この第Ｈ演算ユニット１０ｈのニューロン
出力値メモリ２４には、ニューロンｎ＋１からニューロ
ンｎ＋Ｎ３までのＮ個のニューロンのニューロン出力値
Ｙ_{n+ 1}〜Ｙ_n+N3がアドレス０からアドレスＮ−１まで連
続して保存されている。また、学習係数レジスタ４４に
は、学習係数ηと、重みを更新するニューロンｎ＋ｍ＋
１からニューロンｎ＋ｍ＋Ｌ２の誤差信号δ_n+m+1〜δ
_n+m+L2とのそれぞれとの積が順次設定される。

【０１５４】まず、ステップ６００では、学習回路３６
のシナプス接続重みメモリ更新アドレスＬＡＤＲををク
リアし、変数ｊの値（すなわちニューロン番号）を最小
番号にセットして、ステップ６０４に移行する。

【０１５５】次のステップ６０４では、マスターノード
１２から接続重み更新信号が送られたかを判断する。マ
スターノード１２からの接続重み更新信号が送られたと
判断されると、次のステップ６０６に移行して、ニュー
ロン出力値メモリ２４の読み出しアドレスＮＡＤＲを０
に設定する。

【０１５６】次のステップ６０８では、設定されたシナ
プス接続重みメモリの更新アドレスＬＡＤＲに対応する
アドレスからシナプス接続重みＷ_jiを読み出し、また、
ステップ６１０では、ニューロン出力値メモリ２４の読
み出しアドレスＮＡＤＲに対応するアドレスからニュー
ロン出力値Ｙ_jを読み出す。

【０１５７】ステップ６１２では、読み出したニューロ
ン出力値Ｙ_jを学習係数レジスタ４４に保存された値
（すなわち、ニューロンｊの誤差信号δと学習係数ηの
積）と積算し、積算結果を読み出したシナプス接続重み
Ｗ_jiに加算して得られた値を新規の接続重みとして更新
し、次のステップ６１４で、前記設定されたシナプス接
続重みメモリの更新アドレスＬＡＤＲに対応するアドレ
スに書き込む。

【０１５８】次のステップ６１６では、割り当てられた
シナプス数の回数（すなわち、Ｎ回）接続重みの更新を
行ったか、すなわち、ニューロン出力値メモリ２４の読
み出しアドレスＮＡＤＲがＮ−１になったかを判断す
る。読み出しアドレスＮＡＤＲがＮ−１になっていない
と判断された場合は、ステップ６２４に移行し、ニュー
ロン出力値メモリ２４の読み出しアドレスＮＡＤＲ及び
学習回路３６のシナプス接続重みメモリの更新アドレス
ＬＡＤＲをインクリメントしてから、ステップ６０８に
戻り、上述した処理を繰り返す。

【０１５９】読み出しアドレスＮＡＤＲがＮ−１になっ
ていると判断された場合は、ステップ６１８に移行し、
更新終了信号を出力した後、ステップ６２０において、
変数ｊがｎ＋ｍ＋Ｌ２になっているかを判断する。変数
ｊがｎ＋ｍ＋Ｌ２になっていないと判断されると、ステ
ップ６２２に移行して変数ｊをインクリメントして、ス
テップ６０４に戻り、上述した処理を繰り返す。ステッ
プ６２０において変数ｊがｎ＋ｍ＋Ｌ２になっていると
判断されると、本ルーチンを終了する。

【０１６０】以上のように演算ユニット１０₁〜１０_xは
マスターノード１２からの接続重み更新信号を受け取る
たびにニューロンｊから順にＮ個のニューロンに対して
接続重み更新を行っていく。なお、接続重み更新処理が
終了していない時に、ニューロン演算開始信号が受信さ
れた場合、接続重み更新処理の終了後に、次のニューロ
ン演算が開始される。

【０１６１】また、例えば、ニューロン演算および接続
重み更新処理に使用するシナプス接続重みメモリ２６と
ニューロン出力値メモリ２４がそれぞれ別個のバンクを
持ち、メモリへのアクセスが競合しないような回路構成
でニューロン演算値の部分和演算、誤差信号演算及び接
続重み更新を並列に動作させることも可能である。

【０１６２】ここで、上述した第１の実施の形態と同様
にニューロン演算が割り当てられた各演算ユニット１０
₁〜１０₆を制御するマスターノード１２の制御ルーチン
について、図１６のフローチャートを参照しながら説明
する。まず、ステップ７００において、ホストコンピュ
ータ１６からニューロン演算開始命令が出力されたかを
判断し、ニューロン演算開始命令が出力されたと判断す
ると、プログラムメモリ１４からマスターノード１２の
制御プログラムを読み込み、次のステップ７０２に移行
する。ステップ７０２では、ニューロン演算を行う。

【０１６３】ここで、このニューロン演算について、図
１７のフローチャートを参照しながら説明する。なお、
本第２の実施の形態のニューロン演算のフローチャート
は、上記図１０のフローチャートとほぼ同様であるの
で、同様の符号を付して説明は省略し、異なるステップ
だけ説明する。

【０１６４】すなわち、図１７のステップ３０５では、
隠れ層のニューロンのニューロン演算値の部分和ｙα_j
の累積加算処理を行い、ステップ３１５では、出力層の
ニューロンのニューロン演算値の部分和ｙα_jの累積加
算処理を行っている。

【０１６５】ここで、ステップ３０５の隠れ層のニュー
ロンのニューロン演算値の部分和ｙα_jの累積加算処理
について図１８のフローチャートを参照しながら説明す
る。なお、本第２の実施の形態の隠れ層のニューロンの
ニューロン演算値の部分和ｙα_jの累積加算処理のフロ
ーチャートは、上記図１１のフローチャートとほぼ同様
であるので、同様の符号を付して説明は省略し、異なる
ステップだけ説明する。

【０１６６】すなわち、図１８では、ステップ４１４に
おいて、得られたニューロン出力値をプログラムメモリ
２４に保存した後、ステップ４１８に移行して、第１グ
ループＧ１と第２グループＧ２に割り当てられた全ての
ニューロンの演算が終了したかを判断する。同様に、ス
テップ４２６において、得られたニューロン出力値をプ
ログラムメモリ１４中に確保した領域に保存した後、ス
テップ４１８に移行して、第１グループＧ１と第２グル
ープＧ２に割り当てられた全てのニューロンの演算が終
了したかを判断する。

【０１６７】また、図１７のステップ３１５の出力層の
ニューロンのニューロン演算値の部分和ｙα_jの累積加
算処理についても同様に図１９のフローチャートを参照
しながら説明するが、上記図１８のフローチャートとほ
ぼ同様であるので、同様の符号を付して説明は省略し、
異なるステップだけ説明する。

【０１６８】すなわち、図１９では、ステップ４１５に
おいて、得られたニューロン出力値をホストコンピュー
タ１６に出力した後、ステップ４１８に移行して、第１
グループＧ１と第２グループＧ２に割り当てられた全て
のニューロンの演算が終了したかを判断する。同様に、
ステップ４２５において、得られたニューロン出力値を
ホストコンピュータ１６に出力した後、ステップ４１８
に移行して、第１グループＧ１と第２グループＧ２に割
り当てられた全てのニューロンの演算が終了したかを判
断する。

【０１６９】図１６のステップ７０２のニューロン演算
が終了すると、引き続きバックプロパゲーションによる
学習を行う。バックプロパゲーションによる学習は、誤
差信号演算処理と接続重み更新処理の２つの処理により
実行される。まず、ステップ７０４では、ホストコンピ
ュータ１６から学習開始信号の入力が有るかを判断し、
学習開始信号が入力されたと判断すると、次のステップ
７０６に移行する。

【０１７０】ステップ７０６では、誤差信号δの演算を
行う。ここで、誤差信号δの演算について、図２０のフ
ローチャートを参照しながら説明する。なお、誤差信号
δの演算では、ニューロン演算処理とは演算ユニットの
グループ分けの設定が異なり、第１演算ユニット１０₁
および第４演算ユニット１０₄を第１グループＧ１、第
２演算ユニット１０₂および第５演算ユニット１０₅を第
２グループＧ２、第３演算ユニット１０₃および第６演
算ユニット１０₆を第３グループＧ３にそれぞれ設定す
る。

【０１７１】図２０のステップ８００では、隠れ層の誤
差信号δ_n+1〜δ_n+mの演算を行うために必要な各種デー
タを書き込み指示とともに出力する。

【０１７２】すなわち、マスターノード１２は、ホスト
コンピュータ１６がプログラムメモリ１４に書き込んだ
教師信号ｄ_n+m+1 〜ｄ_n+m+pを読み出し、上記の出力層
のニューロン演算で得られたニューロン出力値Ｙ_n+m+1
〜Ｙ_n+m+pと、教師信号ｄ_{n+m+ 1} 〜ｄ_n+m+pとの差の値
（すなわち、ｄ_n+m+1−Ｙ_n+m+1〜ｄ_n+m+p−Ｙ_n+m+p）
を、出力層の誤差信号δ_n+m+1〜δ_n+m+pとして、各演算
ユニット１０₁〜１０₆のニューロン出力値メモリ２４に
設定する。

【０１７３】これはマスターノード１２が第１グループ
Ｇ１に属する演算ユニット１０₁、１０₄の最小ニューロ
ンレジスタ５０をそれぞれｎ＋ｍおよびｎ＋ｍ＋Ｌ２＋
１に、最大ニューロンレジスタ５２をそれぞれｎ＋ｍ＋
Ｌ２およびｎ＋ｍ＋ｐに設定し、第２グループＧ２に属
する演算ユニット１０₂、１０₅および第３グループＧ３
に属する演算ユニット１０₃、１０₆に対しても同様に、
最小ニューロンレジスタ５０をそれぞれｎ＋ｍおよびｎ
＋ｍ＋Ｌ２＋１に、最大ニューロンレジスタ５２をそれ
ぞれｎ＋ｍ＋Ｌ２およびｎ＋ｍ＋ｐに設定した後、δ
_n+m+1=ｄ_n+m+1−Ｙ_n+m+1〜δ_n+m+p=ｄ_n+m+p−Ｙ_n+m+pを
ローカルバス１８に出力することによって行われる。

【０１７４】演算ユニット１０₁〜１０₆は、それぞれ最
小ニューロンレジスタ５０に設定された値と最大ニュー
ロンレジスタ５２に設定された値の間のニューロン番号
の誤差信号δを受取るため、誤差信号δ_n+m+1〜誤差信
号δ_n+m+L2は第１〜第３の演算ユニット１０₁〜１０₃の
ニューロン出力値メモリ２４に書き込まれ、誤差信号δ
_n+m+L1+1〜誤差信号δ_n+m+pは第４〜第６の演算ユニッ
ト１０₄〜１０₆のニューロン出力値メモリ２４に書き込
まれることとなる。

【０１７５】また、マスターノード１２は、第１グルー
プＧ１の２つの演算ユニット１０₁、１０₄の演算開始ニ
ューロンレジスタ４２を０、演算シナプス数レジスタ４
０をＮ３に設定する。また、第１演算ユニット１０₁の
学習シナプス数レジスタ３３にはＬ２、制御回路２２の
アドレスカウンタはニューロンｎ＋ｍ＋１の接続重みの
先頭のアドレスに設定し、第４演算ユニット１０₄の学
習シナプス数レジスタ３３にはｐ−Ｌ２、制御回路２２
のアドレスカウンタはニューロンｎ＋ｍ＋Ｌ２＋１の接
続重みの先頭のアドレスに設定する。

【０１７６】第２グループＧ２の２つの演算ユニット１
０₂、１０₅に対しても同様に、演算開始ニューロンレジ
スタ４２を０、演算シナプス数レジスタ４０をＮ４−Ｎ
３に設定し、また、第２演算ユニット１０₂の学習シナ
プス数レジスタ３３にはＬ２、制御回路２２のアドレス
カウンタはニューロンｎ＋ｍ＋１の接続重みの先頭のア
ドレスに設定し、第５演算ユニット１０₅の学習シナプ
ス数レジスタ３３にはｐ−Ｌ２、制御回路２２のアドレ
スカウンタはニューロンｎ＋ｍ＋Ｌ２＋１の接続重みの
先頭のアドレスに設定する。

【０１７７】さらに、第３グループＧ３の２つの演算ユ
ニット１０₃、１０₆に対しても同様に、演算開始ニュー
ロンレジスタ４２を０、演算シナプス数レジスタ４０を
ｍ−Ｎ４に設定し、また、第２演算ユニット１０₂の学
習シナプス数レジスタ３３にはＬ２、制御回路２２のア
ドレスカウンタはニューロンｎ＋ｍ＋１の接続重みの先
頭のアドレスに設定し、第５演算ユニット１０₅の学習
シナプス数レジスタ３３にはｐ−Ｌ２、制御回路２２の
アドレスカウンタはニューロンｎ＋ｍ＋Ｌ２＋１の接続
重みの先頭のアドレスに設定する。

【０１７８】全ての設定が終了したらステップ８０２に
移行し、第１グループＧ１の演算ユニット１０₁、１０₄
からの誤差信号δの部分和δα_jを累積加算する変数Ｓ
ＵＭ１、及び誤差信号δの部分和δα_jの数を表す変数
ＮＵＭ１を０に初期化する。第２グループＧ２、第３グ
ループＧ３に対しても同様に、第２グループＧ２の演算
ユニット１０₂、１０₅からの誤差信号δの部分和δα_j
を累積加算する変数ＳＵＭ２及び誤差信号δの部分和δ
α_jの数を表す変数ＮＵＭ２を０に初期化すると共に、
第３グループＧ３の演算ユニット１０₃、１０₆からの誤
差信号δの部分和δα_jを累積加算する変数ＳＵＭ３、
及び誤差信号δの部分和δα_jの数を表す変数ＮＵＭ３
を０に初期化する。

【０１７９】ステップ８０４では、ローカルバス１８に
グループ番号及び部分和の演算開始信号を出力して、第
１グループＧ１の演算ユニット１０₁、１０₄、第２グル
ープＧ２の演算ユニット１０₂、１０₅、及び第３グルー
プＧ３の演算ユニット１０₃、１０₆に誤差信号の演算を
開始させる。演算を開始した演算ユニットはそれぞれ前
述の誤差信号δの部分和演算処理の説明で記したように
割り当てられたニューロンの誤差信号δの部分和δα_j
を演算し、得られた誤差信号δの部分和δα_jを、自分
の属するグループ番号（ここでは、１、２又は３）と共
にマスターノード１２に出力する。

【０１８０】次のステップ８０６では、マスターノード
１２に誤差信号δの部分和δα_jが入力されたかを判断
する。入力されたと判断されると、次のステップ８０８
に移行し、誤差信号δの部分和δα_jと共に入力された
グループ番号が「１」かを判断する。

【０１８１】グループ番号が「１」であると判断される
と、第１グループＧ１の誤差信号δの部分和δα_jであ
るので、ステップ８１０に移行し、ＳＵＭ１に誤差信号
δの部分和δα_jを累積加算する（ＳＵＭ１＝ＳＵＭ１
＋δα_j）、と共に、変数ＮＵＭ１をインクリメントし
て（ＮＵＭ１＝ＮＵＭ１＋１）、次のステップ８１２に
移行する。

【０１８２】次のステップ８１２では、入力された誤差
信号δの部分和δα_jの数が２つであるか、すなわち、
ＮＵＭ１＝２かを判断し、ＮＵＭ１＝２でない場合は、
ステップ８０６に戻り、上述した処理を繰り返す。ま
た、ＮＵＭ１＝２である場合は、ステップ８１４に移行
して、ＳＵＭ１をプログラムメモリ１４中に確保した領
域に保存し、ステップ８１６に移行する。

【０１８３】一方、ステップ８０８で誤差信号δの部分
和δα_jと共に入力されたグループ番号が「１」でない
と判断されると、ステップ８１８に移行し、グループ番
号が「２」であるかを判断する。グループ番号が「２」
であると判断されると、入力された誤差信号δの部分和
δα_jが第２グループＧ２の誤差信号δの部分和δα_jで
あるので、ステップ８２０に移行し、ＳＵＭ２に誤差信
号δの部分和δα_jを累積加算する（ＳＵＭ２＝ＳＵＭ
２＋δα_j）、と共に、変数ＮＵＭ２をインクリメント
して（ＮＵＭ２＝ＮＵＭ２＋１）、次のステップ８２２
に移行する。

【０１８４】次のステップ８２２では、入力された誤差
信号δの部分和δα_jの数が２つであるか、すなわち、
ＮＵＭ２＝２かを判断し、ＮＵＭ２＝２でない場合は、
ステップ８０６に戻り、上述した処理を繰り返す。ま
た、ＮＵＭ２＝２である場合は、ステップ８２４に移行
して、ＳＵＭ２をプログラムメモリ１４中に確保した領
域に保存し、ステップ８１６に移行する。

【０１８５】一方、ステップ８１８で誤差信号δの部分
和δα_jと共に入力されたグループ番号が「２」でない
と判断されると、入力された誤差信号δの部分和δα_j
が第３グループＧ３の誤差信号δの部分和δα_jである
ので、ステップ８２６に移行し、ＳＵＭ３に誤差信号δ
の部分和δα_jを累積加算する（ＳＵＭ３＝ＳＵＭ３＋
δα_j）、と共に、変数ＮＵＭ３をインクリメントして
（ＮＵＭ３＝ＮＵＭ３＋１）、次のステップ８２２に移
行する。

【０１８６】次のステップ８２８では、入力された誤差
信号δの部分和δα_jの数が２つであるか、すなわち、
ＮＵＭ３＝２かを判断し、ＮＵＭ３＝２でない場合は、
ステップ８０６に戻り、上述した処理を繰り返す。ま
た、ＮＵＭ３＝２である場合は、ステップ８３０に移行
して、ＳＵＭ３をプログラムメモリ１４中に確保した領
域に保存し、ステップ８１６に移行する。

【０１８７】ステップ８１６では、隠れ層のすべてのニ
ューロンに関する誤差信号δの演算が終了したかを判断
する。終了していないと判断された場合は、ステップ８
０２に戻り、部分和を受取ったグループのＳＵＭおよび
ＮＵＭの値をクリアして上述した処理を繰り返す。ま
た、終了したと判断された場合は、本ルーチンを終了す
る。

【０１８８】誤差信号演算が終了したら、図１６のステ
ップ７０８に移行して、引き続きシナプス接続重みの更
新を行う。ここで、シナプス接続重みの更新について、
図２１のフローチャートを参照して説明する。なお、グ
ループ設定は、ニューロン演算値の部分和演算時と同様
であり、第１演算ユニット１０₁〜第３演算ユニット１
０₃を第１グループＧ１、第４演算ユニット１０₄〜第６
演算ユニット１０₆を第２グループＧ２として、１つの
演算層を構成する複数のニューロンを２つのグループに
分けている。

【０１８９】マスターノード１２は、グループレジスタ
５４に「１」が設定された演算ユニット、すなわち、第
１グループＧ１に属する演算ユニット１０₁、１０₂、１
０₃のそれぞれに対し、以下の設定を行う。すなわち、
第１演算ユニット１０₁の最小ニューロンレジスタ５０
には１を設定し、第２演算ユニット１０₂の最小ニュー
ロンレジスタ５０にはＮ１＋１を設定し、第３演算ユニ
ット１０₃の最小ニューロンレジスタ５０にはＮ２＋１
を設定すると共に、第１演算ユニット１０₁の最大ニュ
ーロンレジスタ５２にはＮ１を設定し、第２演算ユニッ
ト１０₂の最大ニューロンレジスタ５２にはＮ２を設定
し、第３演算ユニット１０₃の最大ニューロンレジスタ
５２にはｎを設定する。

【０１９０】同様に、マスターノード１２は、グループ
レジスタ５４に「２」が設定された演算ユニット、すな
わち、第２グループＧ２に属する演算ユニット１０₄、
１０₅、１０₆の最小ニューロンレジスタ５０に対して
も、第４演算ユニット１０₄には１を設定し、第５演算
ユニット１０₅にはＮ１＋１を設定し、第５演算ユニッ
ト１０₅にはＮ２＋１を設定すると共に、最大ニューロ
ンレジスタ５２に対し、第４演算ユニット１０₄にはＮ
１を設定し、第５演算ユニット１０₅にはＮ２を設定
し、第５演算ユニット１０₅にはｎを設定する。

【０１９１】図２１のステップ９００では、隠れ層のシ
ナプス接続重みの更新を行うために必要な各種データを
書き込み指示とともに出力する。なお、この隠れ層のシ
ナプス接続重みの更新を行うために必要な各種データ
は、上述の図１０のステップ３０２で説明した隠れ層の
ニューロン演算を行うために必要な各種データと同様で
あるので説明は省略する。なお、第１グループＧ１に属
する演算ユニット１０₁、１０₂、１０₃の制御回路２２
のアドレスカウンタはニューロンｎ＋１の接続重みの先
頭のアドレスに設定し、第２グループＧ２に属する演算
ユニット１０₄、１０₅、１０₆の制御回路２２のアドレ
スカウンタはニューロンｎ＋Ｌ１＋１の接続重みの先頭
のアドレスに設定する。

【０１９２】また、ニューロンｎ＋１のシナプス接続重
みを更新するために、第１グループＧ１の演算ユニット
１０₁〜１０₃の学習係数レジスタ４４にプログラムメモ
リ１４に保存されたニューロンｎ＋１の誤差信号δ_n+1
と予め定められた学習係数ηの積を設定し、また、ニュ
ーロンｎ＋Ｌ１＋１のシナプス接続重みを更新するため
に、第２グループＧ２の演算ユニット１０₄〜１０₆の学
習係数レジスタ４４にプログラムメモリ１４に保存され
たニューロンｎ＋Ｌ１＋１の誤差信号δ_n+L1+1と予め定
められた学習係数ηの積を設定する。これはローカルバ
ス１８を通して行われる。

【０１９３】全ての設定が終了したら次のステップ９０
２に移行して、ローカルバス１８にニューロン番号ｊ、
グループ番号及び接続重み更新信号を出力して隠れ層の
ニューロン（すなわち、ニューロン番号ｎ＋１〜ニュー
ロン番号ｎ＋ｍ）に関する接続重みの更新を開始させ
る。

【０１９４】次のステップ９０４では、シナプス接続重
み更新処理を行う。シナプス接続重み更新処理は、上述
の図１５に示すように、シナプス接続重み更新信号を受
信した各演算ユニット１０₁〜１０_xはそれぞれ割り当て
られたニューロンの番号の若い順に接続重み更新処理を
開始する。これにより、隠れ層のニューロンの接続重み
更新処理が並列して行われる。

【０１９５】例えば、第１グループＧ１に属する演算ユ
ニット１０₁、１０₂、１０₃はニューロンｎ＋１の割り
当てられたシナプスに対して接続重み更新処理をそれぞ
れ並列して開始し、第２グループＧ２に属する演算ユニ
ット１０₄、１０₅、１０₆はニューロンｎ＋Ｌ１＋１の
割り当てられたシナプスに対して接続重み更新処理をそ
れぞれ並列して開始する。

【０１９６】接続重み更新を開始した各演算ユニット１
０₁〜１０₆はそれぞれ上述した接続重み更新処理ルーチ
ンで記したように、割り当てられたニューロンｊの接続
重み更新処理を順次行う。すなわち、指定されたニュー
ロンのシナプス接続重みＷ_jiについて、ニューロン出力
値Ｙ_jと学習係数レジスタ４４に保存された値（すなわ
ち、ニューロンｊの誤差信号δと学習係数ηの積）とを
積算し、得られた値を加算した値を新規の接続重みとし
てシナプス接続重みメモリ２６のアドレスＳＡＤＲに上
書きすることによって更新する。

【０１９７】次のステップ９０６では、更新終了信号が
入力されたかを判断し、入力されていないと判断される
と、ステップ９０４に戻り、シナプス接続重み更新を継
続させる。また、更新終了信号が入力されたと判断され
ると、次のステップ９０８において、隠れ層の全てのニ
ューロンのシナプス接続重み更新処理が終了したかを判
断する。

【０１９８】隠れ層の全てのニューロンのシナプス接続
重み更新処理が終了していないと判断された場合は、次
のニューロンの誤差信号δ_j+1と学習係数の積ηを学習
係数レジスタ４４に保存し、ステップ９２０に移行し
て、変数ｊをインクリメントして次のニューロンのニュ
ーロン番号ｊ、グループ番号Ｇ及び接続重み更新信号を
ローカルバス１８出力してステップ９０４に戻り、上述
した処理を繰り返す。

【０１９９】隠れ層の全てのニューロンのシナプス接続
重み更新処理が終了したと判断された場合は、ステップ
９１０に移行して、出力層のシナプス接続重みの更新を
行うために必要な各種データを書き込み指示とともに送
出する。なお、この出力層のシナプス接続重みの更新を
行うために必要な各種データは、上述の図１０のステッ
プ３１０で説明した出力層のニューロン演算を行うため
に必要な各種データと同様であるので説明は省略する。

【０２００】なお、第１グループＧ１に属する演算ユニ
ット１０₁、１０₂、１０₃の制御回路２２のアドレスカ
ウンタはニューロンｎ＋ｍ＋１の接続重みの先頭のアド
レスに設定し、第２グループＧ２に属する演算ユニット
１０₄、１０₅、１０₆の制御回路２２のアドレスカウン
タはニューロンｎ＋ｍ＋Ｌ２＋１の接続重みの先頭のア
ドレスに設定する。

【０２０１】また、ニューロンｎ＋ｍ＋１のシナプス接
続重みを更新するために、第１グループＧ１の演算ユニ
ット１０₁〜１０₃の学習係数レジスタ４４にプログラム
メモリ１４に保存されたニューロンｎ＋ｍ＋１の誤差信
号δ_n+m+1と予め定められた学習係数ηの積を設定し、
また、ニューロンｎ＋ｍ＋Ｌ２＋１のシナプス接続重み
を更新するために、第２グループＧ２の演算ユニット１
０₄〜１０₆の学習係数レジスタ４４にプログラムメモリ
１４に保存されたニューロンｎ＋Ｌ１＋１の誤差信号δ
_n+m+L2+1と予め定められた学習係数ηの積を設定する。
これはローカルバス１８を通して行われる。

【０２０２】全ての設定が終了したら次のステップ９１
２に移行して、ローカルバス１８にグループ番号および
接続重み更新信号を出力して出力層のニューロン（すな
わち、ニューロン番号ｎ＋ｍ＋１〜ニューロン番号ｎ＋
ｍ＋ｐ）に関する接続重みの更新処理を開始させる。こ
のシナプス接続重み更新処理は、上述の隠れ層のシナプ
ス接続重み更新処理と同様であるので、説明は省略す
る。

【０２０３】次のステップ９１４では、更新終了信号が
入力されたかを判断し、入力されていないと判断される
と、ステップ９１２に戻り、シナプス接続重み更新を継
続させる。また、更新終了信号が入力されたと判断され
ると、次のステップ９１６において、出力層の全てのニ
ューロンのシナプス接続重み更新処理が終了したかを判
断する。

【０２０４】出力層の全てのニューロンのシナプス接続
重み更新処理が終了していないと判断された場合は、次
のニューロンの誤差信号δ_j+1と学習係数の積ηを学習
係数レジスタ４４に保存し、ステップ９２２に移行し
て、変数ｊをインクリメントして次のニューロンのニュ
ーロン番号ｊ、グループ番号Ｇ及び接続重み更新信号を
ローカルバス１８出力してステップ９１２に戻り、上述
した処理を繰り返し、出力層の全てのニューロンのシナ
プス接続重み更新処理が終了したと判断された場合は、
本ルーチンを終了する。

【０２０５】シナプス接続重みの更新が終了したら、図
１６のステップ７１０に移行して、ホストコンピュータ
１６に終了信号を出力する。これにより、１回の入力に
対するニューロン演算およびバックプロパゲーション学
習が終了する。

【０２０６】次のステップ７１２では、ホストコンピュ
ータ１６から新たな入力があるかを判断し、新たな入力
がある場合は、新たな入力に対するニューロン演算およ
びバックプロパゲーション学習を行うために、ステップ
７０２に戻り、上述した処理を繰り返す。新たな入力無
い場合は、本ルーチンを閉じ、ニューロン演算およびバ
ックプロパゲーション学習を終了する。

【０２０７】以上の動作では、各演算ユニット１０₁〜
１０_xにおけるニューロン演算および隠れ層の誤差信号
の演算は各演算ユニット１０₁〜１０_x内のメモリに保存
された値のみを用いて演算を行うため、高速に行うこと
ができる。また、各演算ユニット１０₁〜１０_x内からロ
ーカルバス１８に送出されるデータ量は１回のニューロ
ンの演算につき１回の転送、および１回の誤差演算につ
き、誤差演算を割り当てた演算ユニットの数だけの部分
和の転送で済むため、ローカルバス１８の帯域が律速と
なって演算性能が低下する可能性を低く抑えることがで
きる。

【０２０８】なお、第１の実施の形態及び第２の実施の
形態においては、説明のため、隠れ層を１層有する３層
のパーセプトロンのニューラルネットワークとしたが、
勿論、３層のパーセプトロンのニューラルネットワーク
に限らず、隠れ層を２層以上有する４層以上のパーセプ
トロンのニューラルネットワークにも適用可能である。

【０２０９】（第３の実施の形態）第３実施の形態のニ
ューラルネットワーク演算装置は、第１の実施の形態の
応用例であり、ニューラルネットワークとして巡回結合
型のネットワークを用いる場合の一例である。なお、学
習則は、ヘッブ則を用いている。

【０２１０】第３実施の形態のニューラルネットワーク
演算装置は、図２２に示すように、第１の実施の形態の
ニューラルネットワーク演算装置と比べてニューロン出
力メモリが２つ（すなわち、第１ニューロン出力メモリ
２４ａ、第２ニューロン出力メモリ２４ｂ）設けられて
いる点が異なる。その他は、第１の実施の形態のニュー
ラルネットワーク演算装置と同様であるので、説明は省
略する。

【０２１１】巡回結合型のネットワークでは、ネットワ
ークに同じ入力を与えても、ネットワーク中のニューロ
ンの出力が時間とともに変化する。このようなネットワ
ークを計算するためには、時間ｔ＋１のネットワークの
状態を、時間ｔのニューロン出力を用いて計算する必要
がある。そのため、第３実施の形態のニューラルネット
ワーク演算装置では、各演算ユニット１０は、時間ｔの
ニューロン出力値を保存するメモリと時間ｔ＋１のニュ
ーロン出力値を保存するメモリとの２つのメモリ（すな
わち、第１ニューロン出力メモリ２４ａ及び第２ニュー
ロン出力メモリ２４ｂ）を備えている。

【０２１２】すなわち、各演算ユニットは、ある時刻で
部分和を計算する際に第１ニューロン出力メモリ２４ａ
または第２ニューロン出力メモリ２４ｂのいずれか一方
から時間ｔのニューロン出力値を読み出して部分和を計
算する。次の時刻では第１ニューロン出力メモリ２４ａ
または第２ニューロン出力メモリ２４ｂのいずれか他方
から時間ｔ＋１のニューロン出力値を読み出して部分和
を計算する。その他は第１の実施の形態のニューラルネ
ットワーク演算装置と同様であるので、説明は省略す
る。

【０２１３】ここで、図２３に、第３実施の形態のニュ
ーラルネットワーク演算装置で用いる巡回結合型ニュー
ラルネットワークの構造を示す。説明のためにニューラ
ルネットワーク中のニューロンに１〜ｎ＋ｍ＋ｐの番号
を与える。ネットワーク中のニューロン１〜ｎが入力層
のニューロン、ニューロンｎ＋ｍ＋１〜ｎ＋ｍ＋ｐが出
力層のニューロンであり、残りのニューロンｎ＋１〜ｎ
＋ｍは自由な相互接続が許されている。

【０２１４】このネットワークでの演算ユニット１０₁
〜１０₆への割り当て方法について説明する。図２３に
示した全てのニューロン１〜ｎ＋ｍ＋ｐのニューロン出
力値をそれぞれＹ₁〜Ｙ_n+m+p、ニューロンｉからニュー
ロンjへのシナプス接続の重みをＷ_jiと書き表すと、巡
回結合型ニューラルネットワークの演算は、ｎ＋ｍ＋ｐ
行ｎ＋ｍ＋ｐ列の行列で表すことができ、シナプス接続
の重みＷ_jiは、図２４に示すようにI、II、III、及びIV
の４つの領域に分けることができる。

【０２１５】Ｉの領域は入力層から隠れ層への接続(す
なわち、１≦ｉ≦ｎ、ｎ＋１≦ｊ≦ｎ＋ｍ)を表し、II
の領域は隠れ層から出力層への接続(すなわち、ｎ＋１
≦ｉ≦ｎ＋ｍ、ｎ＋ｍ＋１≦ｊ≦ｎ＋ｍ＋ｐ)を表し、I
Vの領域は隠れ層のニューロン間の相互接続(すなわち、
ｎ＋１≦ｉ≦ｎ＋ｍ、ｎ＋１≦ｊ≦ｎ＋ｍ)を表してい
る。なお、IIIの領域は入力層から出力層への接続(1≦
ｉ≦ｎ、ｎ＋ｍ＋１≦ｊ≦ｎ＋ｍ＋ｐ)表すが、ここで
は接続が無く(Ｗ_ji＝０)、計算する必要の無い領域であ
る。他の領域も接続が無く(W_ji＝０)計算する必要の無
い領域である。

【０２１６】本第３の実施の形態におけるニューラルネ
ットワークの計算方法では、Iの領域、IIの領域、及びI
Vの領域で表された計算すべき全ての接続を、少なくと
も横方向に複数分割してｘ個の演算ユニットの全部又は
１部に割り当て、分散処理させる。

【０２１７】ここでは、一例として、Iの領域、IIの領
域、及びIVの領域で表された計算すべき全ての接続を、
図２５に示すようにＡ−１〜Ａ−６の６つの領域に分割
して６つの演算ユニット１０₁〜１０₆に均等に割り当
て、分散処理させるように構成する。

【０２１８】６つの演算ユニット１０₁〜１０₆のグルー
プ設定は、上記第１の実施の形態のニューロン演算値の
部分和演算時と同様であり、第１演算ユニット１０₁〜
第３演算ユニット１０₃を第１グループＧ１としてグル
ープレジスタ５４に「１」を設定し、第４演算ユニット
１０₄〜第６演算ユニット１０₆を第２グループＧ２とし
てグループレジスタ５４に「２」を設定して、１つの演
算層を構成する複数のニューロンを２つのグループに分
けこれら第１グループＧ１と第２グループＧ２とに割り
当てている。なお、このニューロンの割り当ても、上記
第１の実施の形態のニューロン演算値の部分和演算時と
同様であるので説明は省略する。

【０２１９】第１グループＧ１の第１演算ユニット１０
₁のシナプス接続重みメモリ２６にはＡ−１の領域の接
続重みW_ji（１≦ｉ≦Ｔ、ｎ＋１≦ｊ≦ｎ＋Ｌ１)が保存
され、第２演算ユニット１０₂のシナプス接続重みメモ
リ２６にはＡ−２の領域の接続重みW_ji（Ｔ＋１≦ｉ≦
２Ｔ、ｎ＋１≦ｊ≦ｎ＋Ｌ１)が保存され、第３演算ユ
ニット１０₃のシナプス接続重みメモリ２６にはＡ−３
の領域の接続重みW_ji（２Ｔ＋１≦ｉ≦ｎ＋ｍ、ｎ＋１
≦ｊ≦ｎ＋Ｌ１)が保存される。（ただし、Ｔは、ｎ＋
ｍを３等分する正の整数である。）また、第２グループ
Ｇ２の第４演算ユニット１０₄のシナプス接続重みメモ
リ２６にはＡ−４の領域の接続重みW_ji（１≦ｉ≦Ｔ、
ｎ＋Ｌ１＋１≦ｊ≦ｎ＋ｍ)が保存され、第５演算ユニ
ット１０₅のシナプス接続重みメモリ２６にはＡ−５の
領域の接続重みW_ji（Ｔ＋１≦ｉ≦２Ｔ、ｎ＋Ｌ１＋１
≦ｊ≦ｎ＋ｍ)が保存され、第６演算ユニット１０₆のシ
ナプス接続重みメモリ２６にはＡ−６の領域の接続重み
W_ji（２Ｔ＋１≦ｉ≦ｎ＋ｍ、ｎ＋Ｌ１＋１≦ｊ≦ｎ＋
ｍ)、及びW_ji（ｎ＋１≦ｉ≦ｎ＋ｍ、ｎ＋ｍ＋１≦ｊ≦
ｎ＋ｍ＋ｑ)が保存される。

【０２２０】また、第１ニューロン出力値メモリ２４ａ
にはＡ−１の領域の列番号に対応したＹ_i(１≦ｉ≦Ｔ)
が保存され、同時に最小ニューロンレジスタ５０にはＡ
−１の領域の先頭のニューロン番号１が、最大ニューロ
ンレジスタ５２にはＡ−１の領域の最後のニューロン番
号Ｔが設定される。第２演算ユニット１０₂〜１０₆につ
いてもそれぞれＡ−２の領域、Ａ−３の領域、Ａ−４の
領域、Ａ−５の領域およびＡ−６の領域の接続重み及び
対応するニューロン出力値が保存される。

【０２２１】上記のようにニューロン演算が割り当てら
れた各演算ユニット１０₁〜１０₆を制御するマスターノ
ード１２の制御ルーチンについては、上記第１の実施の
形態とほぼ同様であり、隠れ層の演算時に得られたニュ
ーロン出力値を第１のニューロン出力メモリ２４ａに保
存したら、次の隠れ層の演算時には得られたニューロン
出力値を第２ニューロン出力メモリ２４ｂに保存すると
いうように、第１のニューロン出力メモリ２４ａと第２
ニューロン出力メモリ２４ｂの役割を交互に変えながら
各時刻の演算を繰り返す。なお、その他は、上述の第１
の実施の形態と同様であるので説明は省略する。

【０２２２】このように、第１の実施の形態から第３の
実施の形態では、各演算ユニット１０₁〜１０_xからマス
ターノード１２に転送されるデータ量は１回のニューロ
ンの演算につき、１つのグループ内の演算ユニット数分
の部分和の転送ですむため、ローカルバス１８の帯域が
律速となって演算性能が低下する可能性を低く抑えるこ
とができる。

【０２２３】なお、より大規模なニューラルネットワー
クの演算を行うためには、グループ内の演算ユニットの
数を少なくし、演算ユニット内からマスターノード１２
に転送されるデータ量を少なくすると良い。また、演算
ユニット内のニューロン出力値メモリ２４の容量は例え
ばＮ_maxニューロン分と固定値である。そのため、１つ
の演算ユニットは最大Ｎ_maxシナプス分のニューロン演
算しか担当できないので、グループ内の演算ユニットの
数は隠れ層ではｎ÷Ｎ_max、出力層ではｍ÷Ｎ_{m ax}以上の
もっとも小さな整数に設定した方が良い。

【０２２４】なお、第１の実施の形態から第３の実施の
形態においては説明を簡略にするため、ニューラルネッ
トワークの演算を第１演算ユニット１０₁から第６演算
ユニット１０₆の６個の演算ユニットに割り当てる場合
について説明したが、もちろん、本発明は、６個の演算
ユニットに割り当てる場合に限らず、２個からｘ個の演
算ユニットの全て又は１部に割り当てるように構成する
こともできる。

【０２２５】また、上記第１の実施の形態、第２の実施
の形態及び第３の実施の形態では、各演算ユニット１０
₁〜１０_xが独立した半導体素子に形成され、複数の半導
体素子が一つの基板上に実装されている構成としたが、
１つの半導体素子内に複数の領域を設け、該領域のそれ
ぞれに各演算ユニット１０₁〜１０_xを構成したり、各演
算ユニット１０₁〜１０_xが独立した基板上に個別に形成
され、複数の基板がバスを介して結合される構成とする
ことも可能である。

【０２２６】（第４の実施の形態）第４実施の形態のニ
ューラルネットワーク演算装置は、第１の実施の形態の
応用例であり、ニューラルネットワークとして第３の実
施の形態と同様に巡回結合型のネットワークを用い、学
習則として、ヘッブ則を用いている。

【０２２７】第４実施の形態のニューラルネットワーク
演算装置は、図２６に示すように、第１の実施の形態の
ニューラルネットワーク演算装置を構成した複数の演算
ユニット１０₁〜１０_x（１＜ｘ；但し、ｘは正の整数、
Ｈは１≦Ｈ≦ｘ）、マスターノード１２、プログラムメ
モリ１４とを１つのプロセッサボード１５に設け、複数
のプロセッサボード１５₁〜１５_Zとホストコンピュータ
１６とがシステムバス１７により接続され、ホストコン
ピュータ１６からの制御情報がシステムバス１７を介し
て各プロセッサボード１５₁〜１５_Zに設けられたマスタ
ーノード１２に出力され、また、各プロセッサボード１
５₁〜１５_Z毎に得られた演算値がマスターノード１２か
らシステムバス１７を介してホストコンピュータ１６に
出力される。

【０２２８】各プロセッサボード１５₁〜１５_Z毎に設け
られたマスターノード１２は、例えば、ＣＰＵなどのプ
ログラム可能な中央演算処理装置より構成され、各々ロ
ーカルバス１８を介して接続された複数の演算ユニット
１０₁〜１０_xの制御を行うとともに、自らのプロセッサ
ボード上の各演算ユニット１０₁〜１０_xから出力された
第１の部分和（後述する）を累積加算する。

【０２２９】また、ホストコンピュータ１６により予め
指定された特定のプロセッサボード１５上のマスターノ
ード１２は、他のプロセッサボード１５上のマスターノ
ード１２の制御を行うとともに、各演算ユニット１０₁
〜１０_xからローカルバス１８に出力された第１の部分
和を累積加算した値と、同じニューロンのニューロン演
算を割り当てられた他のプロセッサボードのマスターノ
ード１２から出力された第２の部分和（後述する）とを
加算し、得られた値を非線型変換演算してニューロン出
力値を演算する。なお、各プロセッサボード１５₁〜１
５_Z上の演算ユニット１０₁〜１０_xのマスターノード１
２、プログラムメモリ１４の構成及び動作は、第１の実
施の形態と同様であるので、説明は省略する。

【０２３０】次に、上記構成のニューラルネットワーク
演算装置に、上記第３の実施の形態で説明した巡回結合
型のネットワークの演算を、第１プロセッサボード１５
₁から第Ｚプロセッサボード１５_ZのＺ個（ただし、Ｚは
任意の正の整数）のプロセッサボードに割り当てる方法
について説明する。ここでは、説明を簡略にするため、
ニューラルネットワーク演算装置が第１プロセッサボー
ド１５₁から第４プロセッサボード１５₄の４個のプロセ
ッサボードを備え、各プロセッサボード１５には、第１
演算ユニット１０₁から第６演算ユニット１０₆の６個の
演算ユニットが設けられている場合について説明する。

【０２３１】巡回結合型ニューラルネットワークの演算
は、図２７に示すような行列で表すことができる。本第
４の実施の形態におけるニューラルネットワークの計算
方法では、４つのプロセッサボードに対応するように計
算すべきシナプス接続の重みＷ_jiを横方向に２分割縦方
向に２分割して、VIの領域、VIIの領域、VIIIの領域、
及びIXの領域の４つの領域とし、それぞれVIの領域は第
１プロセッサボード１５₁、VIIの領域は第２プロセッサ
ボード１５₂、VIIIの領域は第３プロセッサボード１
５₃、IXの領域は第４プロセッサボード１５₄、の４個の
プロセッサボードに割り当てる。

【０２３２】更に、図２８に示すように、各プロセッサ
ボード毎に割り当てられたVI、VII、VIII、及びIXの４
つの各領域を横方向に６分割してプロセッサボード上の
６つの演算ユニット１０₁〜１０₆に均等に割り当て、分
散処理させるように構成する。

【０２３３】ここでは、第１プロセッサボード１５₁上
の演算ユニット、及び第２プロセッサボード１５₂上の
演算ユニットを第１グループＧ１に設定し、第３プロセ
ッサボード１５₃上の演算ユニット、及び第４プロセッ
サボード１５₄上の演算ユニットを第２グループＧ２に
設定し、第１グループＧ１と第２グループＧ２が別々の
ニューロンを並列して演算できるように構成する。

【０２３４】本第４の実施の形態では、１つのニューロ
ンが持つシナプスは、２つのプロセッサボード、すなわ
ち、第１プロセッサボード１５₁及び第２プロセッサボ
ード１５₂、又は第３プロセッサボード１５₃及び第４プ
ロセッサボード１５₄に分割して割当てられている。そ
のため、第１プロセッサボード１５₁内の演算ユニット
１０₁〜１０₆が出力した値を累積加算した値を第１の部
分和ｙα_j1と称し、同じニューロンついて第２プロセッ
サボード１５₂内の演算ユニット１０₁〜１０₆が出力し
た値を累積加算した値を第２の部分和ｙα_j2と称する。
同様に、第３プロセッサボード１５₃内の演算ユニット
１０₁〜１０₆が出力した値を累積加算した値を第１の部
分和ｙα_j1と称し、同じニューロンついて第４プロセッ
サボード１５₄内の演算ユニット１０₁〜１０₆が出力し
た値を累積加算した値を第２の部分和ｙα_j2と称する。

【０２３５】また、本第４の実施の形態では、第１プロ
セッサボード１５₁上のマスターノード１２、及び、第
３プロセッサボード１５₃上のマスターノード１２を第
２の部分和ｙα_j2の加算を行うマスターノード１２に指
定する。

【０２３６】すなわち、第１プロセッサボード１５₁の
マスターノード１２は、第１プロセッサボード１５₁内
の演算ユニット１０₁〜１０₆から出力された第１の部分
和ｙα_j1及び第２プロセッサボード１５₂のマスターノ
ード１２から出力された第２の部分和ｙα_j2を受け取
り、６個の第１の部分和ｙα_j1と１個の第２の部分和ｙ
α_j2をグループ毎に加算し、得られた値を、例えば、シ
グモイド関数によって非線型変換を行って、ニューロン
の出力値Ｙ_jを演算する。また、第３プロセッサボード
１５₃のマスターノード１２も同様に、第３プロセッサ
ボード１５₃内の演算ユニット１０₁〜１０₆から出力さ
れた第１の部分和ｙα_j1及び第４プロセッサボード１５
₄のマスターノード１２から出力された第２の部分和ｙ
α_j2を受け取り、６個の第１の部分和ｙα_j1と１個の第
２の部分和ｙα_j2をグループ毎に加算し、得られた値
を、例えば、シグモイド関数によって非線型変換を行っ
て、ニューロンの出力値Ｙ_jを演算する。なお、シグモ
イド関数のパラメータはニューロン毎に変更できる。非
線型変換を行う関数としては、閾値論理も考えられる。

【０２３７】演算されたニューロン出力値Ｙ_jは、ニュ
ーロン番号ｊとともにローカルバス１８に出力される。
これにより、ニューロン出力値を計算したマスターノー
ドがあるプロセッサボード上の演算ユニット１０₁〜１
０₆がニューロンｊの出力値Ｙ _jを受け取り、第２ニュー
ロン出力値メモリ２４ｂに書き込む。また、マスターノ
ード１２はシステムバス１７にもニューロン番号ｊと共
に演算されたニューロン出力値Ｙ_jを出力する。システ
ムバス１７に出力されたニューロン番号ｊとニューロン
出力値Ｙ_jは、他のプロセッサボード上の各マスターノ
ード１２が受け取り、各ボード内のローカルバス１８に
中継される。これにより、ニューロン番号ｊが最小ニュ
ーロンレジスタ５０に設定された値と最大ニューロンレ
ジスタ５２に設定された値との間となる他のプロセッサ
ボード上の演算ユニット１０₁〜１０₆がニューロン出力
値Ｙ_jを受取り、第２ニューロン出力値メモリ２４ｂに
書き込む。なお、その他のニューラルネットの演算の動
作については、上述の第１の実施の形態と同様であるの
で説明は省略する。

【０２３８】また、出力層のニューロンｎ＋ｍ＋１〜ニ
ューロンｎ＋ｍ＋ｐの演算結果は、システムバス１７を
介してホストコンピュータ１６に出力される。指定され
た第１のプロセッサボード１５₁及び第３のプロセッサ
ボード１５₃のマスターノード１２はそれぞれ割り当て
られたすべてのニューロンの演算が終了すると、それぞ
れホストコンピュータ１６に演算終了を通知する。

【０２３９】ホストコンピュータ１６は第１のプロセッ
サボード１５₁及び第３のプロセッサボード１５₃のそれ
ぞれのマスターノード１２から終了信号が入力される
と、ニューラルネットワークへ新たな入力を与え、次の
時刻の計算を開始する。その場合、第１プロセッサボー
ド１５₁〜第４プロセッサボード１５₄内の各演算ユニッ
ト１０₁〜１０₆は第２ニューロン出力メモリ２４ｂに保
存されたニューロン出力値Ｙ_iを用いて演算を行い、演
算により得られたニューロン出力値を第１ニューロン出
力メモリ２４ａに保存する。このように第４の実施の形
態のニューラルネットワーク演算装置は、第１のニュー
ロン出力メモリ２４ａと第２ニューロン出力メモリ２４
ｂの役割を交互に変えながら各時刻の演算を繰り返す。

【０２４０】また、ニューラルネットの学習を行う場合
の動作も、上記第１の実施の形態と同様であり、各プロ
セッサボード１５₁〜１５₄に対する制御も上述したニュ
ーロン演算と同様であるので、説明は省略する。

【０２４１】このように、本第４の実施の形態では、各
プロセッサボード１５₁〜１５₄内の演算ユニット１０₁
〜１０₆からマスターノード１２に転送されるデータ量
は１回のニューロンの演算につき、プロセッサボード１
５₁〜１５₄内の同一グループに属する演算演算ユニット
の数だけの第１の部分和の転送ですむため、ローカルバ
ス１８の帯域が律速となって演算性能が低下する可能性
を低く抑えることができる。さらに、各プロセッサボー
ド１５₁〜１５₄間で転送されるデータ量は、１回のニュ
ーロンの演算につき同一グループに属するプロセッサボ
ードの数だけの第２の部分和の転送ですむため、システ
ムバス１７の帯域が律速となって演算性能が低下する可
能性を低く抑えることができる。

【０２４２】なお、第４の実施の形態において、より大
規模なニューラルネットワークの演算を行うためには、
各プロセッサボードにおけるグループ内の演算ユニット
数もしくは同一グループに属するプロセッサボード数を
少なくし、転送されるデータ量が少なくなるように構成
することが好適である。

【０２４３】また、ローカルバス１８とシステムバス１
７の帯域を比較した場合、通常システムバス１７の帯域
の方が低いため、同一グループに属するプロセッサボー
ドの数を少なくした方が好ましい。すなわち、プロセッ
サボード内に実装されたすべての演算ユニットを同一の
グループに属するように割当てる、あるいは、プロセッ
サボード内の演算ユニット数をローカルバスが律速にな
らない範囲で増やせば良い。

【０２４４】一方、演算ユニット内のニューロン出力値
メモリ２４ａ、２４ｂの容量は、例えば、Ｎ_maxニュー
ロン分と固定されているため、１つの演算ユニットは最
大Ｎ_{m ax}シナプス分、１つのプロセッサボードではＮ_max
×(実装された演算ユニット数Ｘ)の部分和しか担当でき
ない。従ってグループ内のプロセッサボード数はＭ２÷
Ｎ_max÷(実装された演算ユニット数Ｘ)以上のもっとも
小さな整数に設定すると好ましい。

【０２４５】なお、本第４の実施の形態では、第１プロ
セッサボード１５₁上のマスターノード１２、及び、第
３プロセッサボード１５₃上のマスターノード１２をそ
れぞれ第１の部分和ｙα_j1と第２の部分和ｙα_j2の加算
を行うマスターノード１２に指定して、異なったグルー
プに属するボード間に第２の部分和を伝送する必要を無
くし、システムバス１７の使用帯域をさらに低減させる
構成としたが、もちろんこの構成に限らず、第１プロセ
ッサボード１５₁上のマスターノード１２のみを指定し
て、第１プロセッサボード１５₁の第１演算ユニット１
０₁〜１０₃が出力した値を累積加算した第１の部分和ｙ
α_j1と第２プロセッサボード１５₂のマスターノード１
２が出力した第２の部分和ｙα_j2を加算すると共に、第
３プロセッサボード１５₃のマスターノード１２が出力
した第２の部分和ｙα_j2と第４プロセッサボード１５₄
のマスターノード１２が出力した第２の部分和ｙα_j2を
加算するように構成することも可能である。

【０２４６】なお、本第４の実施の形態では、シナプス
接続の重みＷ_jiを４つの領域に分割した場合について説
明したが、４つに限らず、複数に分割することができ
る。特に、プロセッサボード数分に分割して各プロセッ
サボードに割当てるようにするよい。

【０２４７】また、本第４の実施の形態では、ニューラ
ルネットワーク演算装置が４個のプロセッサボードを備
え、各プロセッサボード１５には６個の演算ユニットを
備え、ニューラルネットワークの演算を合計２４個の演
算ユニットに割り当てる場合について説明したが、もち
ろん、本発明はこの構成に限らず、プロセッサボード数
を２個からＺ個とし、各プロセッサボードに２個からｘ
個の演算ユニットを設けて、各演算ユニットの全て又は
１部にニューラルネットワークの演算を割り当てるよう
に構成することもできる。

【０２４８】さらに、第４の実施の形態では、演算ユニ
ット１０₁〜１０_Xが１つの半導体素子として形成され、
ローカルバス１８が１つのプロセッサボード（基板）上
で各演算ユニット１０₁〜１０_Xを結合し、システムバス
１７が各プロセッサボード（基板）を結合する構成を示
したが、演算ユニット１０₁〜１０_Xが半導体素子内の１
つの領域であり、ローカルバス１８が１つの半導体素子
内で各演算ユニット１０₁〜１０_Xを結合し、システムバ
ス１７が１つのプロセッサボード（基板）上で各半導体
素子を結合する構成とすることもできる。また、プロセ
ッサボード群を結合するさらに上位のバスに第４の実施
の形態のニューラルネットワーク演算装置を設け、この
プロセッサボード群、プロセッサボードおよび半導体素
子の三者の関係に拡張することも可能である。

【０２４９】第１の実施の形態から第４の実施の形態で
は、演算層及び出力層のニューロン演算値の部分和演算
において、演算層及び出力層を構成する複数のニューロ
ンを２分割して２つのグループに割り当てたが、２分割
に限らず、演算層及び出力層を構成する複数のニューロ
ンを３分割以上に分割して、分割した数と同数の演算ユ
ニットのグループに割り当てるように構成したり、逆
に、演算層及び出力層を構成する複数のニューロンを分
割せず、演算ユニットをグループ化しないでニューロン
演算値の部分和演算を行うように構成することも可能で
ある。

【０２５０】また、第１の実施の形態から第４の実施の
形態では、各演算ユニット１０₁〜１０_xにおける部分和
ｙα_jの演算は、各演算ユニット１０₁〜１０_x毎に設け
られたメモリに保存されたシナプス接続重みＷ_jiとニュ
ーロン出力値Ｙ_iを用いて行うため、高速に演算処理で
きる。

【０２５１】また、第１の実施の形態、第３の実施の形
態及び第４の実施の形態では、学習アルゴリズムとして
ヘッブ則を用いて説明したが、学習回路３６の制御プロ
グラムの変更等によって、１つのニューロンの持つシナ
プス接続重みの総和を制限する変形ヘッブ則等他の学習
則にも容易に適用可能である。

【０２５２】なお、第１の実施の形態から第４の実施の
形態では、マスターノード１２と演算ユニット１０₁〜
１０_xとを別々のものとして説明したが、演算ユニット
１０₁〜１０_xのいずれかがマスターノード１２を兼ねる
ように構成することも可能である。また、演算するニュ
ーロン毎にマスターノード１２を兼ねる演算ユニットを
演算ユニット自身が自律的に変えることも可能である。

【０２５３】なお、第１の実施の形態から第４の実施の
形態において、演算は任意の数の演算ユニット１０₁〜
１０_xによって並列に実行できるが、１つのニューロン
の演算は同じグループ内のすべての演算ユニットの部分
和の演算が終了するまで完了しないため、各演算ユニッ
トの演算時間が等しくなるように均等に、ニューロン又
はシナプスを割り当て、分担する演算量をほぼ同一量と
することが望ましい。

【０２５４】さらに、演算ユニット１０₁〜１０_xがニュ
ーロン出力値メモリ２４からデータを読み出す方法とし
て、連続したアドレスから順次読み出すようにしたが、
任意の順序での読み出すようにすることもできる。ま
た、ニューロン出力値メモリ２４に、連続したニューロ
ン番号のニューロン出力値を保存するように構成した
が、ランダムに選択した不連続のニューロン番号のニュ
ーロン出力値を保存するように構成することもできる。

【０２５５】また、第１の実施の形態から第４の実施の
形態において、各演算ユニットにおける部分和の演算は
演算ユニット内のメモリに保存されたシナプス接続重み
とニューロン出力値のみを用いた演算を行うため、高速
に行うことができる。

【０２５６】また、マスターノード１２は、演算ユニッ
トとは独立のものとして構成したが、演算ユニット１０
₁〜１０_xのいずれか１つを選択してマスターノード１２
の機能を持たせるように構成することも可能である。ま
た、演算するニューロン毎にマスターノード１２を兼ね
る演算ユニットを、演算ユニット自身が自律的に変える
構成とすることも可能である。

【０２５７】なお、第１の実施の形態から第４の実施の
形態において、マスターノード１２とホストコンピュー
タ１６を別々の装置により構成したが、ホストコンピュ
ータ１６がマスターノード１２を兼ねる等のように１つ
の装置により構成することも可能である。また、マスタ
ーノード１２とプログラムメモリ１４を別々により構成
したが、プログラムメモリ１４がマスターノード１２に
含まれた構成とすることも可能である。また、演算ユニ
ットが１つの加算器３０および１つの乗算器２８を持つ
場合について説明したが、演算器が複数あり、１つの演
算ユニットが複数のニューロンに関するニューロン演算
を同時に行う構成も可能である。

【０２５８】

【発明の効果】以上説明したように本発明によれば、ニ
ューラルネットワークを多数の演算ユニットを用いて並
列計算する場合に、各演算ユニットを独立して、かつ高
速に動作させることができ、また、ネットワーク規模に
応じて演算ユニットの数を増やしても処理速度が低下し
ない、という効果がある。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態のニューラルネッ
トワーク演算装置の概略構成を示すブロック図である。

【図２】 図１に示したニューラルネットワーク演算装
置を構成する演算ユニットの概略構成を示すブロック図
である。

【図３】 本発明の第１の実施の形態のニューラルネッ
トワーク演算装置を適用したニューラルネットワークの
概念図である。

【図４】 プログラムメモリに保存されるニューロン出
力値のメモリマップである。

【図５】 演算ユニットのニューロン出力値メモリに保
存されるニューロン出力値のメモリマップである。

【図６】 シナプス接続重みメモリに保存されるシナプ
ス接続重みのメモリマップである。

【図７】 第１の実施の形態のニューラルネットワーク
演算装置によるニューロン演算値の部分和演算処理ルー
チンである。

【図８】 第１の実施の形態のニューラルネットワーク
演算装置によるシナプス接続重みの更新処理ルーチンで
ある。

【図９】 図９（Ａ）は、第１の実施の形態のニューラ
ルネットワーク演算装置に適用した３層のパーセプトロ
ン型のニューラルネットワークの演算を行列で表現した
説明図であり、図９（Ｂ）は、図９（Ａ）の行列内のI
の領域で表された計算すべき接続を分割する方法の一例
を示す説明図であり、図９（Ｃ）は、図９（Ａ）内のII
の領域で表された計算すべき接続を分割する方法の一例
を示す説明図である。

【図１０】 図１に示したマスターノードの制御ルーチ
ンである。

【図１１】 図１０のステップ３０８の隠れ層のニュー
ロン演算値の部分和累積加算処理、シナプス接続重み更
新についてのフローチャートである。

【図１２】 図１１のステップ３１６の入力層のニュー
ロン演算値の部分和累積加算処理、シナプス接続重み更
新についてのフローチャートである。

【図１３】 本発明の第２の実施の形態のニューラルネ
ットワーク演算装置を構成する演算ユニットの概略構成
を示すブロック図である。

【図１４】 本発明の第２の実施の形態のニューラルネ
ットワーク演算装置による誤差信号の部分和演算処理ル
ーチンである。

【図１５】 本発明の第２の実施の形態のニューラルネ
ットワーク演算装置によるシナプス接続重み更新処理処
理ルーチンである。

【図１６】 本発明の第２の実施の形態のマスターノー
ドの制御ルーチンである。

【図１７】 本発明の第２の実施の形態のニューロン演
算のフローチャートである。

【図１８】 図１７のステップ３０７の隠れ層のニュー
ロンのニューロン演算値の部分和の累積加算処理につい
てのフローチャートである。

【図１９】 図１７のステップ３１５の入力層のニュー
ロンのニューロン演算値の部分和の累積加算処理につい
てのフローチャートである。

【図２０】 図１６のステップ７０６の誤差信号の演算
についてのフローチャートである。

【図２１】 図１６のステップ７０８のシナプス接続重
みの更新についてのフローチャートである。

【図２２】 第３実施の形態のニューラルネットワーク
演算装置を構成する演算ユニットの概略構成を示すブロ
ック図である。

【図２３】 本発明の第３の実施の形態のニューラルネ
ットワーク演算装置を適用したニューラルネットワーク
の概念図である。

【図２４】 第３の実施の形態のニューラルネットワー
ク演算装置に適用した巡回結合型のニューラルネットワ
ークの演算を行列で表現した説明図である。

【図２５】 図２４に示した行列内の計算すべき全ての
接続を分割する方法の一例を示す説明図である。

【図２６】 本発明の第４の実施の形態のニューラルネ
ットワーク演算装置の概略構成を示すブロック図であ
る。

【図２７】 第４の実施の形態のニューラルネットワー
ク演算装置に適用した巡回結合型のニューラルネットワ
ークの演算を行列で表現した説明図である。

【図２８】 図２８（Ａ）は、図２７の行列内のVIの領
域で表された計算すべき接続を分割する方法の一例を示
す説明図であり、図２８（Ｂ）は、図２７の行列内のVI
Iの領域で表された計算すべき接続を分割する方法の一
例を示す説明図であり、図２８（Ｃ）は、図２７の行列
内のVIIIの領域で表された計算すべき接続を分割する方
法の一例を示す説明図であり、図２８（Ｄ）は、図２７
の行列内のIXの領域で表された計算すべき接続を分割す
る方法の一例を示す説明図である。

【図２９】 従来の情報処理システムの概略構成を示す
ブロック図である。

【符号の説明】

１０₁〜１０_x、１０ｈ 演算ユニット １２ マスターノード １４ プログラムメモリ １５₁〜１５_Z プロセッサボード １６ ホストコンピュータ １７ システムバス １７ 通常システムバス １８ ローカルバス １９ ホストバス ２０ ローカルバスインターフェ−ス ２２ 制御回路 ２４、２４ａ、２４ｂ ニューロン出力メモリ ２６ シナプス接続重みメモリ ２８ 乗算器 ３０ 加算器 ３２ 累積レジスタ ３３ 学習シナプス数レジスタ ３６ 学習回路 ４０ 演算シナプス数レジスタ ４２ ニューロン数レジスタ ４２ 演算開始ニューロンレジスタ ４４ 学習係数レジスタ ５０ 最小ニューロンレジスタ ５２ 最大ニューロンレジスタ ５４ グループレジスタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 仁 神奈川県足柄上郡中井町境430 グリーン テクなかい 富士ゼロックス株式会社内 (72)発明者 宮川 宣明 神奈川県海老名市本郷2274番地 富士ゼロ ックス株式会社海老名事業所内

Claims (17)

【特許請求の範囲】
1. 【請求項１】 少なくとも１つ以上の伝送路で接続さ
   れ、ニューラルネットワークを構成する複数のニューロ
   ンのうちの所定数のニューロンがそれぞれ割り当てられ
   た複数の演算要素によって並列にニューロン演算を行う
   ニューラルネットワーク演算装置であって、 前記複数の演算要素の各々は、 １つのニューロンが持つ全てのシナプスのうちの少なく
   とも１部のシナプスのシナプス接続重みを、割り当てら
   れた所定数のニューロン分保存するシナプス接続重み保
   存メモリと、 ニューロン演算時に、前記所定数のニューロンを順次選
   択すると共に、該選択したニューロンのシナプスを順次
   選択して、該選択したシナプスのシナプス接続重みと前
   記シナプスと接続された前段のニューロンのニューロン
   出力値とを乗算して同一のニューロン毎に累積加算し、
   得られた値をニューロン演算値の部分和として出力する
   累積加算手段とを備え、 前記複数の演算要素が出力したニューロン演算値の部分
   和を１つのニューロンが持つ全てのシナプス分の値が加
   算されるまで累積加算してニューロン出力値を生成する
   ニューロン出力値生成手段を更に、 備えたニューラルネットワーク演算装置。
2. 【請求項２】 前記ニューロン演算値の部分和、及び、
   前記ニューロン演算値の部分和を同一のニューロン毎に
   累積加算して得られる部分和の少なくとも一方を、同一
   のニューロン毎に累積加算してニューロン演算値の中間
   の部分和として出力する中間の部分和累積加算手段をさ
   らに備え、 前記ニューロン出力値生成手段は、前記ニューロン演算
   値の部分和、及び、前記中間の部分和の少なくとも一方
   を、１つのニューロンが持つ全てのシナプス分の値が加
   算されるまで累積加算する請求項１に記載のニューラル
   ネットワーク演算装置。
3. 【請求項３】 前記複数の演算要素を所定数の演算要素
   毎に分割して複数グループとし、前記ニューロン出力値
   生成手段は、前記グループ毎に設けられている請求項１
   又は請求項２に記載のニューラルネットワーク演算装
   置。
4. 【請求項４】 前記複数グループのうちの１グループを
   構成する所定数の演算要素が複数の半導体素子に分割し
   て形成され、 前記所定数の演算要素が分割して形成された複数の半導
   体素子が、同一の回路基板に実装されており、 前記中間の部分和累積加算手段は、前記所定数の演算要
   素が分割して形成された半導体素子毎に設けられている
   請求項３に記載の記載のニューラルネットワーク演算装
   置。
5. 【請求項５】 前記複数グループのうちの１グループを
   構成する所定数の演算要素が複数の回路基板上の複数の
   半導体素子に分割して形成され、 前記複数の回路基板が、同一の実装基板に実装されてお
   り、 前記中間の部分和累積加算手段は、少なくとも前記半導
   体素子毎、若しくは、前記回路基板に設けられている請
   求項３に記載の記載のニューラルネットワーク演算装
   置。
6. 【請求項６】 前記演算要素は、 少なくとも前記シナプス接続重み保存メモリに保存され
   たシナプスと接続するニューロン出力値が保存されるデ
   ータ保存メモリを更に備えた請求項１から請求項５のい
   ずれか１項に記載のニューラルネットワーク演算装置。
7. 【請求項７】 前記データ保存メモリは、少なくとも２
   つのメモリから構成され、 一方のメモリには演算に用いるデータを保存すると共
   に、他方のメモリには演算により得られた結果を保存す
   るように設定される請求項６に記載のニューラルネット
   ワーク演算装置。
8. 【請求項８】 保存メモリに保存されたシナプス接続重
   みのうち、選択したニューロンのシナプス接続重みの各
   々を更新する接続重み更新手段を更に備えた請求項１か
   ら請求項７のいずれか１項に記載のニューラルネットワ
   ーク演算装置。
9. 【請求項９】 前記累積加算手段は、 誤差信号演算時には、特定のニューロンと接続する前記
   所定数のニューロンのシナプスを順次選択し、選択され
   たシナプスの接続重みと、該選択されたシナプスを持つ
   ニューロンの誤差信号とを乗算して、前記所定数のニュ
   ーロン分累積加算し、得られた値を誤差信号の部分和と
   して出力し、 前記誤差信号の部分和を前記特定のニューロンと接続さ
   れた全てのニューロン分累積加算し、得られた値を前記
   特定のニューロンの誤差信号として前記特定のニューロ
   ンが割り当てられた演算要素に出力する誤差信号生成手
   段を更に、備えた請求項１〜請求項８のいずれか１項に
   ニューラルネットワーク演算装置。
10. 【請求項１０】 前記接続重み更新手段は、前記誤差信
    号生成手段により生成された誤差信号を用いて、保存メ
    モリに保存されたシナプス接続重みを更新する請求項９
    に記載のニューラルネットワーク演算装置。
11. 【請求項１１】 １つのグループを構成する所定数の演
    算要素を接続する複数の第１の伝送路と、該第１の伝送
    路よりも帯域が小さく、かつ、複数のグループを接続す
    る少なくとも1つの第２の伝送路とを更に備え、 前記第２の伝送路数は、前記所定数の演算要素数グルー
    プを構成する所定数の演算要素数よりも少なく設けられ
    ている請求項３から請求項７のいずれか１項に記載のニ
    ューラルネットワーク演算装置。
12. 【請求項１２】ニューラルネットワークを構成する複数
    のニューロンのうちの所定数のニューロン毎に並列して
    ニューロン演算を行うニューラルネットワーク演算方法
    であって、 １つのニューロンが持つ全てのシナプスのうちの少なく
    とも１部のシナプスのシナプス接続重みを、割り当てら
    れた所定数のニューロン分保存し、 ニューロン演算時に、前記所定数のニューロンを順次選
    択すると共に、該選択したニューロンのシナプスを順次
    選択して、選択したシナプスのシナプス接続重みと該シ
    ナプスと接続された前段のニューロンのニューロン出力
    値とを乗算して同一のニューロン毎に累積加算してニュ
    ーロン演算値の部分和を生成し、 前記ニューロン演算値の部分和を１つのニューロンが持
    つ全てのシナプス分の値が加算されるまで累積加算して
    ニューロン出力値を生成するニューラルネットワークの
    演算方法。
13. 【請求項１３】 前記ニューロン演算値の部分和を累積
    加算してニューロン出力値を生成する際に、 前記ニューロン演算値の部分和、及び、前記ニューロン
    演算値の部分和を同一のニューロン毎に累積加算して得
    られる部分和の少なくとも一方を、同一のニューロン毎
    に累積加算してニューロン演算値の中間の部分和を生成
    し、 前記ニューロン演算値の部分和、及び、前記中間の部分
    和の少なくとも一方を、１つのニューロンが持つ全ての
    シナプス分の値が加算されるまで累積加算してニューロ
    ン出力値を生成する請求項１２に記載のニューラルネッ
    トワークの演算方法。
14. 【請求項１４】 同一のニューロンのニューロン演算の
    演算すべきシナプス数を複数のグループに分割し、該グ
    ループ毎に前記ニューロン演算値の中間の部分和を生成
    する請求項１２又は請求項１３に記載のニューラルネッ
    トワークの演算方法。
15. 【請求項１５】 前記演算すべきシナプス数を均等に分
    割する請求項１４に記載のニューラルネットワークの演
    算方法。
16. 【請求項１６】 誤差信号演算時には、特定のニューロ
    ンと接続する前記所定数のニューロンのシナプスを順次
    選択し、選択されたシナプスの接続重みと、該選択され
    たシナプスを持つニューロンの誤差信号とを乗算して、
    前記所定数のニューロン分累積加算し、得られた値を誤
    差信号の部分和として出力し、 前記誤差信号の部分和を前記特定のニューロンと接続さ
    れた全てのニューロン分累積加算し、得られた値を前記
    特定のニューロンの誤差信号として前記特定のニューロ
    ンが割り当てられた演算要素に出力する請求項１２〜請
    求項１５のいずれか１項にニューラルネットワーク演算
    方法。
17. 【請求項１７】 シナプス接続重み更新時には、前記誤
    差信号の部分和を累積加算して得られた誤差信号を用い
    て、シナプス接続重みを更新する請求項１６に記載のニ
    ューラルネットワークの演算方法。