[go: up one dir, main page]

JPH0628331A - マルチプレクスされる出力ニューロンを採用する多層ニューロンネットワーク - Google Patents

マルチプレクスされる出力ニューロンを採用する多層ニューロンネットワーク

Info

Publication number
JPH0628331A
JPH0628331A JP3356688A JP35668891A JPH0628331A JP H0628331 A JPH0628331 A JP H0628331A JP 3356688 A JP3356688 A JP 3356688A JP 35668891 A JP35668891 A JP 35668891A JP H0628331 A JPH0628331 A JP H0628331A
Authority
JP
Japan
Prior art keywords
layer
neuron
network
input
synapse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3356688A
Other languages
English (en)
Inventor
Mark A Holler
マーク・エイ・ホラー
Simon M Tam
サイモン・エム・タム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JPH0628331A publication Critical patent/JPH0628331A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

(57)【要約】 【目的】 入力が外部と、回帰（すなわち、フィードバ
ック）という２つのグループに編成されているマルチプ
レクスされた出力ニューロンを採用する多層電気的訓練
可能アナログニューロンネットワークの提供。 【構成】 ネットワークの各層は、入力ベクトルと重み
マトリクスとのマトリクス乗算を実行するシナプスセル
のマトリクスから構成される。通常の動作では、第１の
シナプスアレイに結合する外部入力ベクトルは、１組の
ニューロンの出力端子にシグモイド応答を発生させる。
その後、この出力はネットワークの次の層や、後続する
層へ回帰入力ベクトルとしてフィードバックされる。第
２の層の処理の出力は、第１の層の処理で使用したのと
同一のニューロンにより発生される。回帰接続と、１組
のマルチプレクスされた出力ニューロンとを使用するこ
とにより、Ｎ層動作を処理できる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、人間の脳の皮質の機能
をエミュレートすることを目的とする電気的ネットワー
クの分野に関し、特に、非線形の性質をもつ問題を解決
する多層ネットワークに関する。
【０００２】
【従来の技術】ニューロンネットワークは、記憶，学習
及び／又は知覚／認識などの高次の脳機能をエミュレー
トする電子回路の１種である。このようなネットワーク
は問題解決のために基本的には並列方式を採用し、パタ
ーン認識やマッピングの問題を、従来のノイマン型コン
ピュータがその単一命令サイクル時間によって要求する
時間の千分の一の時間で解決することができる。人工ニ
ューロンネットワークの分野の手引きとしては、１９８
７年４月にＩＥＥＥ ＡＳＳＰマガジンに掲載されたＲ
ｉｃｈａｒｄ Ｐ．Ｌｉｐｐｍａｎｎの論文「Ａｎ Ｉ
ｎｔｒｏｄｕｃｔｉｏｎ Ｃｏｍｐｕｔｉｎｇ Ｗｉｔ
ｈ Ｎｅｕｒａｌ Ｎｅｔｓ」を参照すると良い。その
論文は一般に使用されるネットワークと、単純なニュー
ロン形素子とを説明している。
【０００３】ニューロンネットワークは、最も単純な形
態では、一般に、１組の垂直線路と交差し且つ接触する
１組の水平線路から成るマトリクスの形をとる。水平線
路は脳の皮質のアクソン（軸索）の機能をシミュレート
しており、入力線として使用される。垂直線路はニュー
ロンから延出するデンドライト（樹状突起）の機能をシ
ミュレートしている。各垂直線路は、神経細胞本体の機
能をシミュレートするように動作する電圧加算装置を終
端に有する。このようなネットワークは単層パーセプト
ロンと呼ばれることが多く、単純なパターンを認識する
ことを学習する能力を得るために開発された。そのよう
なネットワーク及びその計算素子は、たとえば、米国特
許第４，９５０，９１７号、第４，９０４，８８１号、
第４，９５６，５６４号及び第４，９６１，００２号に
記載されている。尚、これらの米国特許は全て本出願の
譲受人に譲渡されている。
【０００４】直線的な依存性をもたない又は直線的に不
可分である問題を解決するためには、多層ニューロンネ
ットワーク（すなわち、多層パーセプトロン）が必要で
ある。多層ネットワークは、入力ノードと出力ノードの
双方に直接には接続していないかげの単位、すなわち、
かげ（ｈｉｄｄｅｎ）のノードを有する追加の層を含む
ことによって、単層ネットワークの制限の多くを打破す
る。多層ニューロンネットワークは、たとえば、同様に
本発明の譲受人に譲渡されている米国特許第４，９０
６，８６５号に記載されている。ネットワーク中の層の
数は、ネットワークが解決できる問題の複雑さと直接に
関連している。たとえば、３層パーセプトロンは任意に
複合決定領域を生成することができる。
【０００５】これまでの多層パーセプトロンの主な欠点
の１つは、追加の層と関連するそれぞれのノードが対応
する１組のニューロンを有することであった。それらの
ニューロンは、通常、加算機能及びシグモイド機能から
構成される。ところが、ニューロンを電気的に実現する
と、非常に広い領域を必要とすることになるため、多層
ネットワークは効率が悪く且つ製造コストも高いことが
判明している。従って、そこで必要となるのは、できる
限り少ない数のニューロンを採用して多層ニューロンネ
ットワークを実現する手段である。
【０００６】
【発明の概要】マルチプレクスされた出力ニューロンを
採用するため多層電気的訓練可能アナログニューロンネ
ットワークを説明する。ネットワークは、外部入力と、
回帰（すなわち、フィードバック）入力という２つのグ
ループに編成されている入力を処理する。ネットワーク
の各層は、１つのアレイに編成されたシナプスセルのマ
トリクスから構成されている。シナプスセル自体はフロ
ーティングゲートデバイスから成り、フローティングゲ
ートに現れる電荷レベルはシナプスアレイに記載されて
いる重みを表わす。このように、ネットワークの各層は
入力ベクトル（外部入力又は回帰入力のいずれか）と記
憶されている重みベクトルとの内積を実現する。さらに
厳密にいえば、ネットワークの各層は入力ベクトルと重
みマトリクスとのマトリクス乗算を実行するのである。
その成果の各要素は入力ベクトルと重みベクトルとの
「点」乗積である。
【０００７】ネットワークのそれぞれのシナプス層は、
いずれか１つの層又は全ての層と関連する処理から取り
出されるシグモイド出力、すなわち、「ニューロン応
答」を発生する複数のニューロンに結合している。すな
わち、出力ニューロンは、層ごとの点乗積の総和を計算
するために有効に再利用されるように、それぞれのシナ
プス層とマルチプレクスされるのである。通常の動作で
は、処理は層ごとに順次実行されてゆく。従って、ま
ず、第１のシナプスアレイに結合する外部入力ベクトル
が１組のニューロンの出力端子にシグモイド応答を発生
させる。次に、この出力は回帰入力ベクトルとしてネッ
トワークの次の層、さらには後続する層へとフィードバ
ックされる。
【０００８】ネットワーク中の後続する（たとえば、第
２の）層へニューロン出力が回帰入力としてフィードバ
ックされたならば、その後続する層についての処理を開
始して良い。第２の層の処理の出力は、第１の層の処理
で使用したのと同一のニューロンにより発生される。ネ
ットワークに対する外部入力ベクトルが後続する層の処
理を妨害するのを阻止するために、これらの入力は入力
バッファ、続いては入力線路の遮断とディスエーブルに
よってアレイから有効に遮断される。
【０００９】ネットワークの各層は、追加固定バイアス
重みを記憶する固定バイアスシナプスアレイを含む。バ
イアス単位重みを変更すると、各シナプス層のデンドラ
イトで発生される電流の和が変化するので、ニューロン
閾値は変動する。従って、本発明のニューロンネットワ
ークは回帰接続と、ただ１組のマルチプレクスされた出
力ニューロンとを使用することによりＮ層動作を処理で
きる。
【００１０】
【実施例】分散形並列処理システムにおいて出力ニュー
ロンをマルチプレクスする方式を説明する。以下の説明
中、本発明を完全に理解させるために、層の数、接続、
装置の型などの特定の詳細な事項を数多く挙げるが、そ
のような特定の詳細な事項がなくとも本発明を実施しう
ることは当業者には自明であろう。また、場合によって
は、本発明を無用に不明瞭にするのを避けるため、ニュ
ーロン増幅器やシナプスセルなどの周知の構造を詳細に
記載しない。
【００１１】従来の技術の説明 図１を参照すると、従来の多層パーセプトロンが示され
ており、このパーセプトロンにおいては入力ベクトルＵ
i は１組の入力ノード１０に印加される。それらのノー
ドは複数本の線路１２により、ネットワークのかげ（ｈ
ｉｄｄｅｎ）の層を構成する第２組のノード１１に接続
している。各線路１２はシナプスアレイの１つの値に対
応する。また、図１の各ノード１１は、一般には演算増
幅器を使用して電気的に実現されるニューロン加算装
置、すなわち、ニューロンを含む。先に述べた通り、演
算増幅器は広い面積を占めるため、ネットワークは著し
く大型になり、そのコストも大幅にアップする。かげの
層を構成するノード１１も同様に線路１３を介して第２
組のノード１４に接続している。ノード１４もニューロ
ン加算装置を含み、その応答はシグモイド関数出力Ｏj
を表わす。
【００１２】図１に示す従来のネットワークについての
第１の問題点は、多層パーセプトロンの各層が１組の専
用出力ニューロンを必要とすることである。複数の層を
有する非常に大きなアレイの場合、それらのニューロン
が占める面積はきわめて広くなってしまう。特に、ネッ
トワークを集積回路として実現するときにこの傾向が強
く見られる。従って、図１の多層ニューロンネットワー
クの特徴は効率が悪いことである。
【００１３】本発明の説明 次に図２を参照すると、本発明の一般に好ましい実施例
が示されている。この場合、入力ベクトルＵi と、バイ
アス入力ＶBIAS1 とは入力バッファ１９を介して対応す
る複数本の水平線路２０に結合する。線路２０はアレイ
のアクソン（軸索）を構成している。どの水平線路２０
もシナプスセル１８を介して垂直デンドライト（樹状突
起）線路１７に選択的に接続される。シナプスセル１８
は集合的に重みベクトルＷijを記憶する。図示する通
り、各垂直線路１７の終端はニューロン加算装置２４で
ある。これらの装置２４は垂直線路１７に沿って流れる
電流を加算して、電圧出力を発生する。その電圧出力は
線路２５に沿って次の層へフィードバックされる。線路
２５はネットワークの第２の層と関連する水平線路２１
にフィードバックバッファ２２を介して結合している。
【００１４】尚、図２の多層ネットワークの各レベル、
すなわち、各層と関連しているバイアス入力電圧項Ｖ
BIASは、同様に、１組の追加シナプスセル１６を介して
ネットワークの線路１７にそれぞれ結合する。１例を挙
げると、図２に示すネットワークの第１のレベルは、固
定バイアス重みＢ11，Ｂ12，・・・，Ｂ1Kを記憶するシ
ナプスセルを介してアレイに結合する入力電圧ＶBIAS1
を含む。シナプスセル１６はどの点についてもセル１８
と全く同じである。すなわち、セル１６は入力バイアス
項ＶBIAS1 と１組の固定バイアス重み（すなわち、
Ｂ1K）との乗算を実行する。また、入力バイアス電圧は
入力バッファ１９により緩衝されるという点にも注意す
べきである。
【００１５】同様に、ニューロンネットワークの第２の
レベルは入力電圧項ＶBIAS2 を含み、これは、固定バイ
アス重みＢ21，Ｂ22，・・・Ｂ2lを記憶するシナプスセ
ル１６を介して垂直線路１７に結合する。それらのバイ
アス項は、それぞれ、ネットワークの関連する層が活動
中であるときの固定値を表わす。関連するフィードバッ
ク入力バッファ２２が（制御信号ＥＮＡＢＬＥ2） を介
してディスエーブルされると、線路２５に現れているバ
イアス入力と回帰入力はネットワークアレイから遮断さ
れる。この結果、ネットワークの第２のレベル、すなわ
ち、第２の層は有効にターンオフされるので、フィード
バック入力はニューロン２４に結合する線路１７を流れ
る電流には関与しなくなる。
【００１６】同じことがネットワークの第１の層につい
ても言える。すなわち、第２の層の処理中、第１のレベ
ルの入力をアレイに対してディスエーブルするために制
御信号ＥＮＡＢＬＥ2 が使用される。本発明のこの面に
ついて以下に短くさらに詳細に説明する。図２のネット
ワークの通常の動作を、それぞれのニューロン２４が下
記の関数を実現するような分散形並列処理として説明す
ると最もわかりやすい。
【００１７】 Output（On）＝Sigmoid［Σ（Weight(Wij)・Input(Ui)）+Σ（Bk・VBIAS）］
【００１８】この計算は、後にシグモイド伝達特性によ
って「圧縮」される「点乗積」又は「内積」演算であ
る。言いかえれば、入力ベクトルＵi と記憶されている
重みベクトルＷijとの点乗積は、それらの長さと、それ
らが成す角度の余弦との積に等しい。これにより、それ
ら２つのベクトルがどれほど密接に一致しているかとい
うことと相関する単一のスカラー量が得られる。一対の
ベクトルは、それらが成す角度が最も小さいとき（たと
えば、最良の一致）に最大の点乗積を有する。図２のネ
ットワークでは、個々のニューロン２４は互いに独立し
て入力ベクトル及び／又は回帰ベクトルの一方又は双方
と、対応する重みマトリクスとの「点乗積」を計算す
る。（ネットワークの各レベルと関連する付加的な固定
バイアス重みが存在することは言うまでもない）。
【００１９】図２のニューロンネットワークにおけるそ
れぞれのシナプス１８は重みをアナログ相互コンダクタ
ンス値として記憶しており、それぞれがアナログ入力電
圧と、記憶している重み電圧とからアナログ出力電流を
発生する。現在、セル１８は一対の普通のＥＥＰＲＯＭ
セルから成るシナプスとして実現されているが、他の種
類のシナプスセルを採用することも可能である。１本の
デンドライト１７に沿って接続しているそれぞれのシナ
プスが発生した電流は合計されて、ニューロン本体２４
に対するネット入力を形成する。そこで、ニューロン２
４はデンドライトの「電流の和」を電圧に変換し、シグ
モイド関数出力を発生する。入力アレイとフィードバッ
クアレイの双方が活動中であるとき、線路２５に沿って
供給されるニューロンの出力は２つの点乗積の和に等し
い。
【００２０】尚、シグモイドは、ニューロンの出力閾値
を下回る点乗積が入力ベクトルと、記憶されている重み
ベクトルの一致不十分を指示するような「閾値」関数で
ある。逆に、ニューロンの閾値を越える点乗積に対して
はニューロン出力はハイである。ネットワークに適用さ
れる学習アルゴリズムによってニューロンの閾値を個別
に変更できることは言うまでもない。それにより、様々
に異なるベクトルについて異なる一致基準を設定するこ
とができる。バイアス単位重みを変更すれば、電流の和
が変化し、その結果、ニューロンの閾値は変動する。
【００２１】図２の構成においては、線路２５に供給さ
れるニューロン出力はフィードバックバッファ２２を介
して第２組の水平線路２１に結合する。通常、フィード
バックバッファ２２は普通の記憶装置から構成されるの
であるが、ニューロンネットワークの続く動作に備えて
サンプル及び保持機能をさらに含んでいても良い。入力
データを異なる時点から収集する音声認識は、この特徴
が特に有用である用途の１つである。サンプル及び保持
フィードバックアーキテクチャを採用するニューロンネ
ットワークは米国特許第４，９０６，８６５号に記載さ
れている。
【００２２】図４は、本発明のネットワークの中で採用
することができるバッファ１９及び２２の一実施例を示
す。図４のバッファにおいては、個々の入力は入力線路
３６を介して通常のバッファ３７に結合し、バッファ３
７は線路４４に出力を発生する。この線路４４は、１対
の並列結合する電界効果デバイス（すなわち、ｐチャネ
ルトランジスタと、ｎチャネルトランジスタ）から構成
される単純なアナログスイッチ４０に結合している。ｎ
チャネルトランジスタのゲートはノード３８に接続し、
ｐチャネルトランジスタのゲートはノード４１に接続し
ている。ノード４１は通常のｎチャネルＭＯＳトランジ
スタ４３のゲートにも接続している。このトランジスタ
４３のソース領域とドレイン領域は接地点と、線路４５
との間に接続している。以上説明したバッファ構造は、
ネットワークのその特定のレベルと関連する対応する入
力又はバイアス項ごとに繰り返し設けられている。
【００２３】図４のバッファの動作は簡明である。ノー
ド３８に結合するＥＮＡＢＬＥ信号は、線路３６に現れ
ている入力電圧をシナプスアレイに接続する線路４５ま
で送り出すか否かを制御する。ＥＮＡＢＬＥ信号が「ハ
イ」（たとえば、５Ｖ）であるとき、インバータ３９は
ノード４１に「ロー」（たとえば、０Ｖ）の電圧を発生
する。これにより、ＭＯＳトランジスタ４３はオフし、
アナログスイッチ４０は閉成するので、入力電圧はアレ
イに直接に結合する。ＥＮＡＢＬＥ信号がローになるた
びに、逆の状況が発生する。すなわち、アナログスイッ
チ４０は開成し、ＭＯＳトランジスタ４３はオンするの
で、線路４５は必然的に接地点に接続することになる。
このように、本発明のネットワークでは、外部入力又は
回帰入力のいずれかをネットワークの関連する層から有
効に遮断するために、ＥＮＡＢＬＥ1 信号とＥＮＡＢＬ
Ｅ2 信号を使用している。
【００２４】典型的な多層処理セッションにおいては、
外部入力ベクトルＵi をまず第１のレベルのシナプスア
レイに印加する。この時間、第２のレベルのアレイは、
先に説明したように、フィードバックバッファ２２をデ
ィスエーブルすることによりディスエーブルされてい
る。得られたシグモイド関数出力は線路２５に現れる。
この出力は入力ベクトルＵi と、ネットワークの第１の
レベルに記憶されている重みベクトルＷijとの積に相当
する。この出力は、また、第２のレベルのシナプスアレ
イに対するフィードバック入力、すなわち、回帰入力を
も表わしている。
【００２５】回帰入力がフィードバックバッファ２２に
記憶されると、入力バッファ１９をディスエーブルする
ことにより（たとえば、ＥＮＡＢＬＥ1 ＝０Ｖ）第１の
レベルのアレイを遮断する。この時間中、第２のレベル
のアレイはフィードバックバッファ２２をイネーブルす
ることにより（たとえば、ＥＮＡＢＬＥ2 ＝５Ｖ）動作
される。そこで、第２のレベルの処理を開始することが
でき、線路２１に現れている回帰入力ベクトルを記憶さ
れている重みベクトルＶmnと乗算する。第２の層の処理
に続いて、ニューロン２４の出力はネットワークの総点
乗積を表わす。
【００２６】従って、図２の単一の電気的訓練可能アナ
ログニューロンネットワークは、回帰接続とマルチプレ
クスされたニューロンを使用することにより、２層動作
を処理できる。繰り返すために、第１の層の処理中に、
ニューロン２４の出力は入力ベクトルと、第１のレベル
のシナプスアレイに記憶されている重みベクトルとのマ
トリクス乗算を反映している。第２の層の処理が始まっ
たならば、ニューロンンの出力は回帰入力として第２の
レベルのアレイにフィードバックされる。ネットワーク
に対する外部入力が第２の層の処理を妨害するのを阻止
するために、入力バッファ１９をディスエーブルするこ
とによって外部入力をアレイから有効に遮断する。
【００２７】本発明のフィードバック能力は、ホプフィ
ールドネットワークの実現を含めた多様なネットワーク
を支援することがわかる。次に、図３を参照すると、回
帰入力と、マルチプレクスされたニューロンとを採用す
るＮ層ニューロンネットワークが示されている。図３
は、本発明の基本概念を３つ以上の層を有するネットワ
ークにどのようにして拡張しうるかを示す。１例を挙げ
ると、図３に示す第１の層のシナプスアレイ３１は入力
Ｕi を受信し、デンドライト１７に沿って電流の和を発
生する。その電流の和はニューロン２４の入力端子に結
合する。また、シナプスアレイ３１と関連する固定バイ
アス重みアレイ２７がある。
【００２８】その他の層も図２の層と同じように構成さ
れている。すなわち、シナプス層３２（関連する固定バ
イアスアレイ２８を有する）に対する回帰入力は、線路
２５に沿ってフィードバックされるニューロン２４の出
力により表わされる。通常、線路２５に現れるニューロ
ンの応答は先行する層（すなわち、層１）の処理の結果
である。続く層の処理で通常起こるように、ネットワー
クの１つの層が動作されるときには、ネットワークの他
の全ての層は、信号ＥＮＡＢＬＥ1〜Nにより制御される
対応する入力及びバッファ１〜Ｎを適切にディスエーブ
ルすることにより有効に遮断される。
【００２９】たとえば、第２の層の処理中に、第１の層
のシナプスアレイは層３からＮと共にディスエーブルさ
れる。先の場合と同様に、第２の層の処理が終了すれ
ば、その層（すなわち、層２）はディスエーブルされ、
シーケンス中の次の層が動作されて、ニューロン２４に
よりフィードバック線路２５に沿って供給される回帰入
力を受信する。
【００３０】本発明を１つの特定の実施例に関連して説
明したが、他の多様な方法で本発明を実施できることは
明らかである。従って、図示し、例示によって説明した
特定の実施例は限定的な意味をもつと考えられるべきも
のではないということを理解しなければならない。好ま
しい実施例の詳細を参照することは、本発明には不可欠
であると考えられる特徴のみを列挙している特許請求の
範囲を限定しようとするものではない。
【図面の簡単な説明】
【図１】かげの単位の層を含む従来の多層パーセプトロ
ンを示す図。
【図２】本発明の一般に好ましい実施例の概略図。
【図３】本発明の多層パーセプトロンをＮ個の別個の層
にどのようにして拡張できるかを示す図。
【図４】図２及び図３のバッファの一実施例の回路図。
【符号の説明】
１６ 追加シナプスセル １７ 垂直線路（デンドライト） １８ シナプスセル １９ 入力バッファ ２０ 水平線路（アクソン） ２１ 水平線路 ２２ フィードバックバッファ ２４ ニューロン加算装置（ニューロン） ２５ 線路 ２７，２８，２９ 固定バイアス重みアレイ ３１，３２，３３ シナプスアレイ

Claims (3)

    【特許請求の範囲】
  1. 【請求項１】 入力ベクトルを第１の記憶された重みと
    乗算する第１のシナプス層と；回帰ベクトルを第２の記
    憶された重みと乗算する第２のシナプス層と；前記第１
    及び第２のシナプス層のいずれか一方又は双方からシグ
    モイド出力を取り出す複数のニューロンと；前記第１の
    シナプス層と前記第２のシナプス層との間で前記ニュー
    ロンのマルチプレクスする手段とを具備する多層電気的
    訓練可能ニューロンネットワーク。
  2. 【請求項２】 ２つ以上のベクトルの一致を相関させる
    分散形並列処理システムにおいて、 入力ベクトルと第１の記憶された重みベクトルとの内積
    を電流の和として計算する入力シナプスアレイと；回帰
    ベクトルと第２の記憶された重みベクトルとの内積を電
    流の和として計算するフィードバックシナプスアレイ
    と；シグモイド関数を実現する複数のニューロンと；前
    記ニューロンが、まず、前記入力シナプスアレイにより
    発生される電流の和について動作して、前記回帰ベクト
    ルを発生し、その後に、前記ニューロンが前記フィード
    バックシナプスアレイにより発生される電流の和につい
    て動作するように、前記入力シナプスアレイと前記フィ
    ードバックシナプスアレイとの間で前記ニューロンを順
    次マルチプレクスする手段とを具備する分散形並列処理
    システム。
  3. 【請求項３】 入力が外部入力と、回帰入力という２つ
    のグループに編成されているＮ層電気的訓練可能アナロ
    グニューロンネットワークにおいて、各層は重みベクト
    ルと、関連する固定バイアス重みとを記憶するシナプス
    アレイを含み、前記固定バイアス重みは各アレイのデン
    ドライトに沿って発生される電流の和を変化させ、前記
    電流の和は前記外部入力又は回帰入力のいずれかと、前
    記記憶されている重みとの点乗積を表わし、前記ネット
    ワークは、各層と関連する総点乗積を計算する１組のニ
    ューロンと、第１の層から始まり、Ｎ番目の層を経て順
    次進行してゆく処理の間の前記ニューロンの使用をマル
    チプレクスする手段とをさらに含み、所定の１つの層と
    関連する処理は前記ネットワークの他の層に印加される
    入力とは無関係に進行し、前記所定の層と関連するニュ
    ーロン応答は、前記シーケンスの中で次に処理すべき層
    に対する回帰入力として供給されるニューロンネットワ
    ーク。
JP3356688A 1990-12-28 1991-12-26 マルチプレクスされる出力ニューロンを採用する多層ニューロンネットワーク Pending JPH0628331A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US635231 1990-12-28
US07/635,231 US5087826A (en) 1990-12-28 1990-12-28 Multi-layer neural network employing multiplexed output neurons

Publications (1)

Publication Number Publication Date
JPH0628331A true JPH0628331A (ja) 1994-02-04

Family

ID=24546984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3356688A Pending JPH0628331A (ja) 1990-12-28 1991-12-26 マルチプレクスされる出力ニューロンを採用する多層ニューロンネットワーク

Country Status (6)

Country Link
US (1) US5087826A (ja)
JP (1) JPH0628331A (ja)
DE (1) DE4143073A1 (ja)
FR (1) FR2671209B1 (ja)
GB (1) GB2251328B (ja)
IT (1) IT1252593B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358503A (ja) * 2001-05-31 2002-12-13 Canon Inc 信号処理回路及びパターン認識装置
KR101701250B1 (ko) * 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법
JP2018110386A (ja) * 2016-12-28 2018-07-12 株式会社半導体エネルギー研究所 半導体装置、及び該半導体装置を有する電子機器
WO2019049654A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019049686A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法
WO2019049842A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
JP6489295B1 (ja) * 2017-11-02 2019-03-27 Tdk株式会社 ニューロモルフィック素子を含むアレイ装置およびニューラルネットワークシステム
JP2022013607A (ja) * 2020-06-30 2022-01-18 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 複合計算装置、方法、人工知能チップ、電子設備、及びプログラム
JP2023502204A (ja) * 2019-11-15 2023-01-23 インターナショナル・ビジネス・マシーンズ・コーポレーション クロスバー・アレイ構造を有するニューロモルフィック・デバイス

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5588091A (en) * 1989-05-17 1996-12-24 Environmental Research Institute Of Michigan Dynamically stable associative learning neural network system
KR930009066B1 (ko) * 1990-08-18 1993-09-22 정호선 다층신경회로망 및 그 회로설계방법
US5222193A (en) * 1990-12-26 1993-06-22 Intel Corporation Training system for neural networks and the like
WO1993010500A1 (en) * 1991-11-13 1993-05-27 Iowa State University Research Foundation, Inc. Improved memory capacity neural network
US5303329A (en) * 1991-12-10 1994-04-12 Synaptics, Incorporated Continuous synaptic weight update mechanism
GB9214514D0 (en) * 1992-07-08 1992-08-19 Massachusetts Inst Technology Information processing
US5355436A (en) * 1992-10-05 1994-10-11 The Research Foundation, State University Of New York At Buffalo Single layer neural network circuit for performing linearly separable and non-linearly separable logical operations
JP2737583B2 (ja) * 1992-11-26 1998-04-08 松下電器産業株式会社 ニューラルネットワーク回路
US5579439A (en) * 1993-03-24 1996-11-26 National Semiconductor Corporation Fuzzy logic design generator using a neural network to generate fuzzy logic rules and membership functions for use in intelligent systems
US5479574A (en) * 1993-04-01 1995-12-26 Nestor, Inc. Method and apparatus for adaptive classification
US5412256A (en) * 1994-01-06 1995-05-02 Bell Communications Research, Inc. Neuron for use in self-learning neural network
US5835902A (en) * 1994-11-02 1998-11-10 Jannarone; Robert J. Concurrent learning and performance information processing system
US5761626A (en) * 1995-12-26 1998-06-02 Ford Global Technologies, Inc. System and method for distinguishing and characterizing motor vehicles for control of automatic drivers
US7068068B2 (en) * 2003-03-18 2006-06-27 Innovel Technology, Inc. Re-configurable mixed-mode integrated circuit architecture
TWI502522B (zh) * 2008-03-25 2015-10-01 Nantero Inc 以碳奈米管為基礎的類神經網路及其製造及使用方法
US9501738B1 (en) * 2012-08-16 2016-11-22 Sandia Corporation Cellular computational platform and neurally inspired elements thereof
US9324320B1 (en) * 2014-10-02 2016-04-26 Microsoft Technology Licensing, Llc Neural network-based speech processing
WO2017163208A1 (en) * 2016-03-23 2017-09-28 Gsi Technology Inc. In memory matrix multiplication and its usage in neural networks
EP3552112A1 (en) 2016-12-09 2019-10-16 Beijing Horizon Information Technology Co., Ltd. Systems and methods for data management
US11113051B2 (en) 2017-04-28 2021-09-07 Tenstorrent Inc. Processing core with metadata actuated conditional graph execution
US10817293B2 (en) 2017-04-28 2020-10-27 Tenstorrent Inc. Processing core with metadata actuated conditional graph execution
KR102483643B1 (ko) * 2017-08-14 2023-01-02 삼성전자주식회사 모델을 학습하는 방법 및 장치 및 상기 뉴럴 네트워크를 이용한 인식 방법 및 장치
US11475306B2 (en) 2018-03-22 2022-10-18 Amazon Technologies, Inc. Processing for multiple input data sets
EP4542446A3 (en) * 2018-03-22 2025-07-02 Amazon Technologies, Inc. Processing for multiple input data sets
US20200193075A1 (en) 2018-11-05 2020-06-18 Incucomm, Inc. System and method for constructing a mathematical model of a system in an artificial intelligence environment
WO2020221797A1 (en) * 2019-04-29 2020-11-05 Ams International Ag Computationally efficient implementation of analog neuron

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4760346A (en) * 1986-09-30 1988-07-26 Motorola, Inc. Switched capacitor summing amplifier
US4873661A (en) * 1987-08-27 1989-10-10 Yannis Tsividis Switched neural networks
JP2600753B2 (ja) * 1988-02-03 1997-04-16 日本電気株式会社 入力回路
US4926064A (en) * 1988-07-22 1990-05-15 Syntonic Systems Inc. Sleep refreshed memory for neural network
US4951239A (en) * 1988-10-27 1990-08-21 The United States Of America As Represented By The Secretary Of The Navy Artificial neural network implementation
US4906865A (en) * 1988-12-09 1990-03-06 Intel Corporation Sample and hold circuit for temporal associations in a neural network
US4972363A (en) * 1989-02-01 1990-11-20 The Boeing Company Neural network using stochastic processing
US4972157A (en) * 1989-07-21 1990-11-20 Advanced Micro Devices, Inc. Operational amplifier having selectable inputs
US5039871A (en) * 1990-05-21 1991-08-13 General Electric Company Capacitive structures for weighted summation as used in neural nets

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002358503A (ja) * 2001-05-31 2002-12-13 Canon Inc 信号処理回路及びパターン認識装置
KR101701250B1 (ko) * 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법
WO2017023042A1 (ko) * 2015-08-03 2017-02-09 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법
US11468283B2 (en) 2015-08-03 2022-10-11 Seoul National University R&Db Foundation Neural array having multiple layers stacked therein for deep belief network and method for operating neural array
JP2018110386A (ja) * 2016-12-28 2018-07-12 株式会社半導体エネルギー研究所 半導体装置、及び該半導体装置を有する電子機器
CN111052153A (zh) * 2017-09-07 2020-04-21 松下电器产业株式会社 使用半导体存储元件的神经网络运算电路及动作方法
WO2019049842A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019049686A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法
JPWO2019049686A1 (ja) * 2017-09-07 2020-08-06 パナソニック株式会社 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法
JPWO2019049842A1 (ja) * 2017-09-07 2020-08-06 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
JPWO2019049654A1 (ja) * 2017-09-07 2020-10-01 パナソニック株式会社 半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019049654A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 半導体記憶素子を用いたニューラルネットワーク演算回路
JP6489295B1 (ja) * 2017-11-02 2019-03-27 Tdk株式会社 ニューロモルフィック素子を含むアレイ装置およびニューラルネットワークシステム
JP2023502204A (ja) * 2019-11-15 2023-01-23 インターナショナル・ビジネス・マシーンズ・コーポレーション クロスバー・アレイ構造を有するニューロモルフィック・デバイス
JP2022013607A (ja) * 2020-06-30 2022-01-18 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 複合計算装置、方法、人工知能チップ、電子設備、及びプログラム
US11782722B2 (en) 2020-06-30 2023-10-10 Beijing Baidu Netcom Science And Technology Co., Ltd. Input and output interfaces for transmitting complex computing information between AI processors and computing components of a special function unit

Also Published As

Publication number Publication date
GB2251328A (en) 1992-07-01
GB2251328B (en) 1994-07-27
DE4143073A1 (de) 1992-07-02
US5087826A (en) 1992-02-11
FR2671209B1 (fr) 1994-05-20
GB9126564D0 (en) 1992-02-12
ITMI913503A1 (it) 1993-06-30
IT1252593B (it) 1995-06-19
ITMI913503A0 (it) 1991-12-30
FR2671209A1 (fr) 1992-07-03

Similar Documents

Publication Publication Date Title
JPH0628331A (ja) マルチプレクスされる出力ニューロンを採用する多層ニューロンネットワーク
Akrout et al. Deep learning without weight transport
US4874963A (en) Neuromorphic learning networks
US4951239A (en) Artificial neural network implementation
Lee et al. Hardware annealing in analog VLSI neurocomputing
US11501130B2 (en) Neural network hardware accelerator architectures and operating method thereof
Jin et al. Stable dynamic backpropagation learning in recurrent neural networks
CN102906767B (zh) 用于时空联合存储器的标准尖峰神经网络
US20120084240A1 (en) Phase change memory synaptronic circuit for spiking computation, association and recall
US12217164B2 (en) Neural network and its information processing method, information processing system
US20210406665A1 (en) Analog Hardware Realization of Trained Neural Networks
CN105981055A (zh) 神经网络对当前计算资源的自适应
CN116013309B (zh) 基于轻量化Transformer网络的语音识别系统及方法
KR20230005309A (ko) 아날로그 인공지능 네트워크 추론을 위한 행별 컨볼루션 신경망 매핑을 위한 효율적 타일 매핑
US5353382A (en) Programmable synapse for neural network applications
US11250316B2 (en) Aggregate adjustments in a cross bar neural network
Theeten et al. The Lneuro-chip: a digital VLSI with on-chip learning mechanism
Lawrence et al. The Gamma MLP for speech phoneme recognition
Yang et al. Memristor-based Brain-like Reconfigurable Neuromorphic System
JPH11338844A (ja) 発火数制御型神経回路装置
Cannas et al. Performance analysis of locally recurrent neural networks
FI103304B (fi) Assosiatiivinen neuroni
Rybka et al. Image and audio data classification using bagging ensembles of spiking neural networks with memristive plasticity
JP2752109B2 (ja) 集積回路及び半導体装置
Babri et al. Deep feedforward networks: application to pattern recognition