DE4143073A1 - Mehrschichtiges neuronales netzwerk - Google Patents

Description

Die Erfindung betrifft elektrische Netzwerke, die die Funk­ tion der Kortex des menschlichen Hirns nachbilden sollen. Ins­ besondere betrifft die Erfindung mehrschichtige Netzwerke zur Lösung von Problemen, die ihrer Natur nach nichtlinear sind.

Neuronale Netze sind eine Klasse elektronischer Schaltun­ gen, welche höhere Hirnfunktionen, wie beispielsweise das Ge­ dächtnis, das Lernen und/oder die Wahrnehmung/Erkennung nach­ bilden. Diese Netzwerke bedienen sich grundsätzlicher einer parallelen Vorgehensweise zur Problemlösung, in welcher Mu­ stererkennungs- und -abbildungsprobleme in Tausendsteln der Zeit gelöst werden können, die bei einem konventionellen Von- Neumann-Computer mit seinen Einzelbefehls-Zykluszeiten erfor­ derlich wäre. Als Einführung in das Gebiet der künstlichen neu­ ronalen Netze sei auf einen Artikel von Richard P. Lippmann verwiesen mit dem Titel "An Introduction To Computing With Neural Nets", veröffentlicht in IEEE ASSP Magazine im April 1987. Dieser Artikel beschreibt üblicherweise benutzte Netz­ werke und einfache neuronenähnliche Komponenten.

Im einfachsten Fall hat das neuronale Netzwerk die Form ei­ ner Matrix mit einem Satz horizontaler Leitungen, welche einen Satz vertikaler Leitungen kreuzen und kontaktieren. Die hori­ zontalen Leitungen bilden die Funktion der Axone in der Kortex des Hirns nach und werden als Eingänge benutzt. Die vertikalen Leitungen simulieren die Funktion der von den Neuronen ausge­ henden Dendriten. Jede vertikale Leitung endet an einer Span­ nungen summierenden Einrichtung, welche der Simulation der Funktion des neuronalen Zellkörpers dient. Solche Netzwerke werden häufig als Einzelschicht-Perzeptronen bezeichnet und wurden aufgrund ihrer Lernfähigkeit bei der Erkennung einfacher Muster geschaffen. Beispiele für solche Netzwerke und ihre Ver­ arbeitungselemente sind in den US-Patentschriften 49 50 917, 4 9 04 881, 49 56 564 und 49 61 002 beschrieben.

Um Probleme zu lösen, welche nichtlineare Abhängigkeiten enthalten oder nicht linear separierbar sind, ist ein mehr­ schichtiges neuronales Netzwerk (d. h. ein Mehrschichtperzep­ tron) erforderlich. Mehrschichtnetzwerke überwinden viele der Einschränkungen von Einschichtnetzwerken durch Einschließen zu­ sätzlicher Schichten, die versteckte Einheiten oder Knoten ent­ halten, welche weder direkt mit den Eingangsknoten noch mit den Ausgangsknoten verbunden sind. Ein mehrschichtiges neuronales Netzwerk wird beispielsweise in der US-PS 49 06 865 beschrie­ ben. Die Anzahl der Schichten des Netzwerks steht in direkter Beziehung zur Komplexität des Problems, welches das Netz lösen kann. Ein dreischichtes Perzeptron ist beispielsweise in der Lage, beliebig komplexe Entscheidungsbereiche zu erzeugen.

Einer der Hauptnachteile von mehrschichten Perzeptronen be­ stand bisher darin, daß jeder der den zusätzlichen Schichten zugeordneten Knoten einen entsprechenden Satz von Neuronen enthielt. Diese Neuronen bestehen gewöhnlich aus Summierungs- und Sigmoid-Funktionen. Da jedoch die elektrischen Implementie­ rungen von Neuronen häufig eine hohe Flächenintensität bedin­ gen, erwiesen sich mehrschichtige Netzwerke als ineffizient und teuer in der Herstellung.

Der Erfindung liegt die Aufgabe zugrunde, ein mehrschichti­ ges neuronales Netzwerk zu implementieren, das mit einer ver­ gleichsweise kleinen Anzahl von Neuronen auskommt.

Diese Aufgabe wird erfindungsgemäß mit den Merkmalen des Patentanspruchs 1 gelöst.

Bei der Erfindung werden in einem mehrschichtigen, elek­ trisch lernfähigen analogen neuronalen Netzwerk Neuronen mit Multiplex-Ausgängen benutzt. Das Netzwerk verarbeitet Eingangs­ größen, die in zwei Gruppen, externe und rekursive (d. h. rück­ gekoppelte) organisiert sind. Jede Schicht des Netzwerks weist eine Matrix von in einem Feld organisierten Synapsen-Zellen auf. Die Synapsen-Zellen wiederum weisen Floating-Gate-Bauele­ mente auf, in welchen die Größe der elektrischen Ladung, die auf den Floating-Gates (auf schwebendem Potential befindliche Gate-Elektroden) vorhanden ist, das gespeicherte Gewicht des synaptischen Feldes repräsentiert. Auf diese Weise implemen­ tiert jede Schicht des Netzwerks das innere Produkt eines Ein­ gangsvektors (entweder extern oder rekursiv) und eines gespei­ cherten Gewichtsvektors. Präziser gesagt, implementiert jede Schicht des Netzwerks eine Matrixmultiplikation zwischen einem Eingangsvektor und einer Gewichtsmatrix; jedes Element des Er­ gebnisses ist ein Punktprodukt des Eingangsvektors und eines Gewichtsvektors.

Jede der synaptischen Schichten des Netzwerks ist mit einer Vielzahl von Neuronen gekoppelt, welche ein Sigmoid-Ausgangssi­ gnal oder eine "neuronale Antwort" erzeugen, das bzw. die sich aus wenigstens einer Schicht zugeordneten Verarbeitung ergibt. D.h., die Ausgangsneuronen werden mit jeder der synaptischen Schichten gemultiplext, so daß die Neuronen effektiv zur Be­ rechnung des gesamten Punktprodukts für jede Schicht wiederbe­ nutzt werden. Im Normalbetrieb wird die Verarbeitung sequen­ tiell Schicht für Schicht ausgeführt. Das bedeutet, daß der mit dem ersten Synapsen-Feld gekoppelte externe Eingangsvektor zunächst eine Sigmoid-Antwort am Ausgang des Satzes der Neuro­ nen erzeugt. Dieses Ausgangssignal wird dann zur nächsten und den nachfolgenden Schichten des Netzwerks als ein rekursiver Eingangsvektor zurückgekoppelt.

Wenn dann die neuronalen Ausgangssignale als rekursive Ein­ gangssignale zur nachfolgenden (d. h. zweiten) Schicht im Nezt­ werk zurückgekoppelt wurden, kann die Verarbeitung in der nach­ folgenden Schicht beginnen. Das Ausgangssignal der Verarbeitung in der zweiten Schicht wird durch die gleichen Neuronen erzeugt, die in der Verarbeitung der ersten Schicht benutzt wurden. Um ein Interferieren des externen Eingangsvektors des Netzwerks mit Verarbeitungen in nachfolgenden Schichten zu vermeiden, werden diese Eingänge durch Abtrennen und Deaktivieren der Ein­ gangspuffer und demzufolge der Eingangsleitungen von dem Feld wirksam entkoppelt.

Jede Schicht des Netzwerks enthält ein fest vorgespanntes Synapsenfeld, das zusätzliche fest vorgespannte Gewichte spei­ chert. Ein Wechsel der Gewichte der Vorspannungseinheit ändert die Summe der in den Dendriten jeder synaptischen Schicht er­ zeugten Ströme, wobei der Neuronen-Schwellenwert verschoben wird. Somit kann das erfindungsgemäße neuronale Netzwerk N- schichtige Operationen handhaben, indem rekursive Verbindungen und ein einzelner Satz gemultiplexter Ausgangs-Neuronen benutzt werden.

Im folgenden wird die Erfindung anhand eines in der Zeich­ nung dargestellten Ausführungsbeispiels näher erläutert. In der Zeichnung zeigen:

Fig. 1 ein bekanntes mehrschichtiges Perzeptron ein­ schließlich einer Schicht versteckter Einhei­ ten;

Fig. 2 ein schematisches Schaltbild des bevorzugten Ausführungsbeispiels der Erfindung;

Fig. 3 eine Darstellung, wie das erfindungsgemäße mehrschichtige Perzeptron auf N separate Schichten ausgedehnt werden kann; und

Fig. 4 ein Schaltbild eines Ausführungsbeispiels der Puffer gemäß Fig. 2 und 3.

Es wird eine Einrichtung zum Multiplexen von Ausgangsneuro­ nen in einem verteilten parallel verarbeitenden System be­ schrieben. In der folgenden Beschreibung werden zahlreiche spe­ zielle Details, wie beispielsweise die Anzahl der Schichten, Verbindungen, Arten von Bauelementen usw. beschrieben, um ein besseres Verständnis der Erfindung zu erreichen. Es ist jedoch für den Fachmann offensichtlich, daß die vorliegende Erfindung auch ohne diese speziellen Details ausführbar ist. An anderen Stellen werden bekannte Strukturen, wie beispielsweise neuro­ nale Verstärker und Synapsen-Zellen nicht im Detail beschrie­ ben, um die Beschreibung der Erfindung nicht mit unnötigen Ein­ zelheiten zu belasten.

In Fig. 1 ist ein konventionelles mehrschichtiges Perzep­ tron gezeigt, in welchem ein Eingangsvektor u_i an einen Satz von Eingangsknoten 10 angelegt ist. Diese Knoten werden selek­ tiv durch eine Vielzahl von Leitungen 12 mit einem zweiten Satz von Knoten 11 verbunden, der die versteckte Schicht des Netz­ werks aufweist. Jede Leitung 12 entkoppelt einen Wert in dem Synapsen-Feld. Zu bemerken ist außerdem, daß jeder der Knoten 11 in Fig. 1 ein neuronales Summierbauelement oder Neuron auf­ weist, welches im allgemeinen unter Verwendung eines Operati­ onsverstärkers elektrisch implementiert ist. Wie bereits zuvor erörtert wurde, belegen die Operationsverstärker eine große Fläche und erhöhen dadurch die Gesamtgröße und Kosten des Netz­ werks.

Die Knoten 11 der versteckten Schicht sind in gleicher Weise mit einem zweiten Satz Knoten 14 über Leitungen 13 ver­ bunden. Die Knoten 14 enthalten ebenfalls neuronale Summierein­ richtungen, deren Antwort ein Sigmoid-Funktions-Ausgangssignal O_j darstellt.

Das vorrangige Problem der bekannten Netzwerke gemäß Fig. 1 ist, daß jede Schicht des mehrschichtigen Perzeptrons einen Satz gesonderter Ausgangsneuronen erfordert. Bei einem sehr großen Feld mit mehreren Schichten ist die durch diese Neuronen beanspruchte Fläche unzulässig groß. Dies ist insbesondere dann der Fall, wenn das Netzwerk als integrierte Schaltung implemen­ tiert wird. Somit ist das mehrschichtige neuronale Netzwerk ge­ mäß Fig. 1 durch seine Ineffizienz gekennzeichnet.

In Fig. 2 ist das bevorzugte Ausführungsbeispiel der Erfin­ dung dargestellt, in welchem ein Eingangsvektor u_i und eine Eingangsvorspannung V_BIAS1 über Eingangspuffer 19 mit einer entsprechenden Vielzahl von horizontalen Leitungen 20 gekoppelt ist. Die Leitungen 20 enthalten die Axone des Feldes. Jede ho­ rizontale Leitung 20 ist selektiv mit einer vertikalen Dendrit- Leitung 17 über eine Synapsen-Zelle 18 verbunden. Die Synapsen- Zellen 18 speichern kollektiv einen Gewichtsvektor W_ÿ. Wie dargestellt, endet jede der vertikalen Leitungen 17 an einer neuronalen Summiereinrichtung 24. Die Einrichtungen 24 summie­ ren den entlang der Leitungen 17 fließenden Strom und erzeugen eine Ausgangsspannung, die über die Leitungen 25 zur nächsten Schicht zurückgekoppelt wird. Die Leitungen 25 sind mit den der zweiten Schicht des Netzwerks zugeordneten horizontalen Leitun­ gen 21 über Rückkopplungs-Puffer 22 gekoppelt.

Es sei angemerkt, daß jeder Ebene bzw. jeder Schicht des mehrschichtigen Netzwerks gemäß Fig. 2 ein Eingangsvorspan­ nungs-Term V_BIAS zugeordnet ist, welcher in ähnlicher Weise über einen Satz zusätzlicher Synapsen-Zellen 16 mit jeder der Leitungen 17 des Netzwerks gekoppelt ist. Beispielsweise ent­ hält die erste Ebene des in Fig. 2 gezeigten Netzwerks eine Eingangsspannung V_BIAS1, die über Festvorspannungsgewichte B₁₁, B₁₂, .., B_1k speichernde Synapsen-Zellen 16 mit dem Feld ge­ koppelt ist. Die Synapsen-Zellen 16 sind in jeder Hinsicht identisch mit den Zellen 18, d. h., die Zellen 16 implementieren eine Multiplikation des Eingangsvorspannungs-Terms V_BIAS1 mit einem Satz Festvorspannungsgewichte (d. h. B_1k). Außerdem ist anzumerken, daß die Eingangsvorspannung durch Puffer 19 gepuf­ fert ist.

In gleicher Weise enthält die zweite Ebene des neuronalen Netzwerks einen Eingangsvorspannungs-Term V_BIAS2, der mit den Dendriten 17 über Festvorspannungsgewichte B₂₁, B₂₂, .., B₂₁ speichernde Synapsen 16 gekoppelt ist. Jeder dieser Vorspan­ nungsterme repräsentiert einen festen Wert, wenn die zugeord­ nete Schicht des Netzwerks aktiv ist. Wenn die zugeordneten Eingangspuffereinheiten 22 gesperrt sind (über das Steuersignal ENABLE₂), sind sowohl die Vorspannung als auch die auf den Lei­ tungen 25 präsenten rekursiven Eingangssignale vom Feld des Netzwerks abgetrennt. Dies schaltet praktisch die zweite Schicht oder Ebene des Netzwerks aus, so daß die rückgekoppel­ ten Eingangssignale nicht mehr zu den Strömen auf den mit den Neuronen 24 gekoppelten Leitungen 17 beitragen.

Das gleiche gilt für die erste Schicht des Netzwerks, d. h., während der Verarbeitung durch die zweite Schicht wird das Steuersignal ENABLE₁ benutzt, um die Eingänge der ersten Ebene des Feldes zu sperren. Dieser Aspekt der Erfindung soll kurz detaillierter erörtert werden.

Die normale Arbeitsweise des Netzwerks gemäß Fig. 2 wird am besten als verteilte parallele Verarbeitung beschrieben, in welcher jedes der Neuronen 24 die folgende Funktion implemen­ tiert:

(O_n) = Sigmoid [Σ ((W_ÿ) × (u_i)) + Σ (B_k × V_BIAS)]

((O_n) . . . Ausgangssignal, (W_ÿ) . . . Gewichtsmatrix, (u_i) . . . Eingangsvektor).

Diese Berechnung ist eine "Punktprodukt"- oder "inneres Produkt"-Operation, welche nachfolgend durch eine sigmoidale Übertragungscharakteristik "komprimiert" wird. Mit anderen Wor­ ten ist das Punktprodukt des Eingangsvektors u_i mit einem ge­ speicherten Gewichtsvektor W_ÿ gleich dem Produkt ihrer Langen mal dem Kosinus der Winkel zwischen ihnen. Dies ergibt eine einzige skalare Größe, welche mit dem Grad der Übereinstimmung der beiden Vektoren korreliert. Ein Vektorenpaar hat das größte Punktprodukt, wenn der Winkel zwischen beiden am geringsten ist (d. h. beste Übereinstimmung). In dem Netzwerk gemäß Fig. 2 bil­ det jedes der individuellen Neuronen 24 unabhängig voneinander das Punktprodukt des Eingangs- und/oder rekursiven Vektors mit der entsprechenden Gewichtsmatrix. (Natürlich gibt es außerdem zusätzliche Festvorspannungsgewichte, die jeder der Schichten des Netzwerks zugeordnet sind.)

In dem neuronalen Netzwerk gemäß Fig. 2 speichert jede der Synapsen 18 die Gewichte als analoge Übertragungsleitwert­ (Transkonduktanz-)Werte, die jeweils einen analogen Ausgangs­ strom aus einer analogen Eingangsspannung und einer gespeicher­ ten Gewichtsspannung erzeugen. Im allgemeinen weisen die Zellen 18 eine gewöhnliche EEPROM-Zellenpaar-Synapsenimplementierung auf, obwohl andere Arten von Synapsen-Zellen ebenfalls benutzt werden können. Die durch jede der entlang eines einzelnen Den­ driten 17 verbundenen Synapsen erzeugten Ströme werden zur Bil­ dung der Nettoeingangsgröße für einen Neuronenkörper 24 sum­ miert. Die "Summe der Ströme" der Dendriten wird dann durch die Neuronen 24, die ein Sigmoid-Funktions-Ausgangssignal erzeugen, in eine Spannung umgesetzt. Wenn sowohl die Eingangs- als auch die Rückkopplungsfelder aktiv sind, entspricht das auf den Lei­ tungen 25 zur Verfügung gestellte neuronale Ausgangssignal der Summe der beiden Punktprodukte.

Es sei angemerkt, daß die Sigmoid-Funktion eine "Schwellwert"-Funktion ist, wobei Punktprodukte unter dem Aus­ gangsschwellwert des Neurons eine schlechte Übereinstimmung zwischen den Eingangs- und gespeicherten Gewichtsvektoren an­ zeigen. Umgekehrt ist das Ausgangssignal des Neurons groß für Punktprodukte über dem Schwellwert des Neurons. Natürlich kann der Schwellwert des Neurons unabhängig davon durch an das Netz­ werk angelegt Lernalgorithmen geändert werden. Dies ermöglicht unterschiedliche Übereinstimmungskriterien für verschiedene Vektoren. Ein Ändern der Gewichte der Vorspannungseinheiten än­ dert die Summe der Ströme, wobei der Schwellwert des Neurons verschoben wird.

In der Konfiguration gemäß Fig. 2 sind die auf den Leitun­ gen 25 zur Verfügung gestellten neuronalen Ausgangssignale über Rückkopplungspuffer 22 mit dem zweiten Satz horizontaler Lei­ tungen 21 gekoppelt. Üblicherweise weisen die Rückkopplungspuf­ fer 22 gewöhnliche Speichereinrichtungen auf, aber sie können auch eine Abtast- und Halte-Funktion für eine sequentielle Ar­ beitsweise des neuronalen Netzwerks umfassen. Eine Anwendung, bei der dieses Merkmal besonders nützlich ist, ist die Spracherkennung, da die Eingangsdaten zu verschiedenen Zeit­ punkten gewonnen werden. Ein neuronales Netzwerk, das eine Ab­ tast- und Halte-Rückkopplungsarchitektur benutzt, ist in der US-PS 49 06 865 beschrieben.

Fig. 4 stellt ein Ausführungsbeispiel der Puffer 19 und 22 dar, das im erfindungsgemäßen Netzwerk benutzt werden kann. Im Puffer gemäß Fig. 4 werden die einzelnen Eingangssignale über die Eingangsleitungen 36 mit einem gewöhnlichen Puffer 37 ge­ koppelt, der ein Ausgangssignal auf Leitung 44 liefert. Leitung 44 wiederum ist mit einem einfachen Analogschalter 40 gekop­ pelt, der ein Paar parallel gekoppelter Feldeffektbauelemente (d. h. einen p-Kanal- und einen n-Kanal-Transistor) aufweist. Das Gate des n-Kanal-Transistors ist mit dem Knoten 38 verbun­ den, während das Gate des p-Kanal-Transistors mit dem Knoten 41 verbunden ist. Der Knoten 41 ist außerdem mit dem Gate eines gewöhnlichen n-Kanal-MOS-Transistors 43 verbunden. Die Source- und Drain-Bereiche des Transistors 43 sind zwischen Masse und der Leitung 45 eingebunden. Die Leitung 45 stellt den Ausgang des Analogschalters 40 dar. Die beschriebene Pufferstruktur wird für jeden entsprechenden, der bestimmten Ebene des Netz­ werks zugeordneten Eingangs- oder Vorspannungs-Term wiederholt.

Die Arbeitsweise des Puffers gemäß Fig. 4 soll im folgenden beschrieben werden. Das mit dem Knoten 38 gekoppelte ENABLE-Si­ gnal steuert das Durchschalten der Eingangsspannung auf Leitung 36 zu der mit dem Synapsen-Feld verbundenen Leitung. Wenn ENABLE "High" ist (d. h. 5 V), erzeugt der Inverter 39 eine "Low"-Spannung (d. h. 0 V), am Knoten 41. Dies schaltet das Bau­ element 43 aus und schließt den Schalter 40, wobei die Ein­ gangsspannung direkt mit dem Feld gekoppelt wird. Wenn ENABLE Low ist, tritt der entgegengesetzte Fall auf: der Schalter 40 wird geöffnet,und das Bauelement 43 wird eingeschaltet, wobei die Leitungen 45 auf Masse gezogen werden. Folglich werden die ENABLE₁- und ENABLE₂-Steuersignale im erfindungsgemäßen Netz­ werk benutzt, um entweder das externe oder das rekursive Ein­ gangssignal von der ihnen zugeordneten Schicht des Netzwerks wirksam zu trennen.

In einer typischen mehrschichtigen Verarbeitungsfolge wird der externe Eingangsvektor u_i zunächst an das Synapsen-Feld der ersten Ebene angelegt. Während dieser Zeit ist das Feld der zweiten Ebene im wesentlichen durch Sperren der Rückkopplungs­ puffer 22 wie oben beschrieben gesperrt. Das resultierende Sig­ moid-Funktion-Ausgangssignal erscheint auf den Leitungen 25. Dieses Ausgangssignal entspricht einer Multiplikation des Ein­ gangsvektors u_i mit dem in der ersten Ebene des Netzwerks ge­ speicherten Gewichtsvektor W_ÿ. Dieses Ausgangssignal stellt außerdem das Rückkopplungs- bzw. rekursive Eingangssignal des Synapsen-Feldes der zweiten Ebene dar.

Wenn dann das rekursive Eingangssignal in den Rückkopp­ lungspuffern 22 gespeichert worden ist, wird das Feld der er­ sten Ebene durch Sperren der Eingangspuffer 19 (d. h. ENABLE₁ = 0 V) geschlossen. Während dieser Zeit wird die zweite Ebene des Feldes durch Freigabe der Rückkopplungspuffer 22 (d. h. ENABLE₂ = 5 V) aktiviert. Jetzt kann die Verarbeitung der zweiten Ebene damit beginnen, daß der auf den Leitungen 21 präsente rekursive Eingangsvektor mit dem gespeicherten Gewichtsvektor W_mn multi­ pliziert wird. Infolge der Verarbeitung der zweiten Schicht re­ präsentieren die Ausgänge der Neuronen 24 das Gesamtpunktpro­ dukt des Netzwerks.

Folglich kann das einzelne elektrisch lernfähige, analoge neuronale Netzwerk gemäß Fig. 2 zweischichtige Operationen durch Benutzen rekursiver Verbindungen und gemultiplexter Neu­ ronen verarbeiten. Zur Wiederholung: während der Verarbeitung der ersten Schicht berücksichtigt das Ausgangssignal der Neuro­ nen 24 eine Matrixmultiplikation eines Eingangsvektors mit dem in der ersten Ebene des Synapsen-Feldes gespeicherten Gewichts­ vektor. Wenn die Verarbeitung der zweiten Ebene beginnt, werden die Ausgangssignale der Neuronen als rekursive Eingangssignale zum Feld der zweiten Ebene zurückgekoppelt. Um zu vermeiden, daß die externen Eingangssignale des Netzwerks mit der Verar­ beitung der zweiten Ebene interferieren, werden die externen Eingangssignale von dem Feld durch Sperren der Eingangspuffer 19 wirksam abgetrennt.

Es ist einzusehen, daß die Rückkopplungsfähigkeit der vor­ liegenden Erfindung eine Vielzahl von Netzwerken, einschließ­ lich der Hopfield-Netzwerk-Implementierungen, unterstützt.

In Fig. 3, auf die im folgenden Bezug genommen wird, ist ein N-schichtiges neuronales Netzwerk gezeigt, das rekursive Eingänge und gemultiplexte Neuronen benutzt. Fig. 3 zeigt, wie das Basiskonzept der Erfindung auf ein Netzwerk mit mehr als zwei Schichten ausgedehnt werden kann. Beispielsweise ist in Fig. 3 gezeigt, daß das Synapsen-Feld 31 der ersten Schicht Eingangssignale u_i empfängt und entlang der Dendriten 17 eine Summe von Strömen erzeugt. Die Summe der Ströme wird an die Eingänge der Neuronen 24 gekoppelt. Dem Synapsen-Feld 31 ist außerdem ein fest vorgespanntes Gewichtsfeld 27 zugeordnet.

Die verbleibenden Schichten sind in einer Weise, ähnlich derjenigen gemäß Fig. 2 aufgebaut; d. h. die rekursiven Ein­ gangssignale für die Synapsen-Schicht 32 (mit einem zugeordne­ ten Festvorspannungs-Feld 28) sind durch die über die Leitungen 25 rückgekoppelten Ausgangssignale der Neuronen 24 dargestellt. Normalerweise ist die auf den Leitungen 25 präsente neuronale Antwort das Ergebnis der Verarbeitung der vorangegangenen Schicht (d. h. Schicht 1). In einer bei der sequentiellen Schichtverarbeitung typischen Weise sind bei Aktivierung einer Schicht des Netzwerks alle anderen Schichten des Netzwerks durch geeignetes Sperren der entsprechenden Eingangssignale ef­ fektiv ausgeschaltet, was durch die Signale ENABLE_1-N und die Puffer 1-N gesteuert wird.

Beispielsweise ist während der Verarbeitung der zweiten Schicht das Synapsen-Feld der ersten Schicht gemeinsam mit den Schichten 3 bis N gesperrt. Wenn die Verarbeitung der zweiten Schicht beendet ist, wird - wie zuvor - diese Schicht (d. h. Schicht 2) gesperrt und die in der Reihe nächste Schicht akti­ viert, um die durch die Neuronen 24 entlang der Rückkopplungs­ leitungen zur Verfügung gestellten rekursiven Eingangssignale zu empfangen.

Claims (10)

1. Mehrschichtiges, elektrisch lernfähiges neuronales Netz­ werk, dadurch gekennzeichnet,
daß eine erste Synapsen-Schicht (18) zum Multiplizieren ei­ nes Eingangsvektors mit einem ersten gespeicherten Gewicht (W_ÿ),
eine zweite Synapsen-Schicht (18) zum Multiplizieren eines rekursiven Vektors mit einem zweiten gespeicherten Gewicht (W_mn),
eine Vielzahl von Neuronen (24) zum Ableiten von Sigmoid- Ausgangssignalen (25) aus einer oder beiden Synapsen-Schichten, und
daß Mittel (19, 22) zum Multiplexen der Neuronen zwischen der ersten und der zweiten Synapsen-Schicht vorgesehen sind.

2. Netzwerk nach Anspruch 1, dadurch gekennzeichnet, daß jede Synapsen-Schicht (18) so ausgebildet ist, daß sie ihre Ge­ wichte als einen analogen Transkonduktanz- bzw. Gegenwirkleit­ wert-Wert speichert und einen entlang der mit den Neuronen (24) gekoppelten Dendriten (17) summierten analogen Ausgangsstrom erzeugt.

3. Netzwerk nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Multiplex-Mittel
erste Puffermittel (19) zum Puffern des Eingangsvektors (u₁...u_i);
zweite Puffermittel (22) zum Puffern des rekursiven Vek­ tors; und
Steuermittel zum Steuern der ersten und zweiten Puffer auf­ weisen, wobei der Eingangsvektor von der ersten Synapsenschicht während der Verarbeitung durch die zweite Schicht abgekoppelt und der rekursive Vektor während der Verarbeitung durch die er­ ste Schicht abgekoppelt ist.

4. Netzwerk nach einem der Ansprüche 1 bis 3, dadurch ge­ kennzeichnet, daß ein erstes fest vorspannendes Gewichtsfeld (B₁₁...B_1k) der ersten Synapsenschicht zum Ändern der Summe der durch die erste Synapsenschicht erzeugten Ströme zugeordnet ist und daß ein zweites fest vorspannendes Gewichtsfeld (B₂₁...B₂₁) der zweiten Schicht zum Ändern der Summe der durch die zweite Schicht erzeugten Ströme zugeordnet ist.

5. Verteiltes parallel verarbeitendes System zum Korre­ lieren der Übereinstimmung zwischen zwei oder mehreren Vekto­ ren, gekennzeichnet durch
ein Eingangssynapsenfeld (18) zum Berechnen des inneren Produkts eines Eingangsvektors (u₁...u_i) und eines ersten ge­ speicherten Gewichtsvektors (Wÿ) in Form einer Summe von Strö­ men,
ein Rückkopplungs-Synapsenfeld (18) zum Berechnen des inne­ ren Produkts eines rekursiven Vektors und eines zweiten gespei­ cherten Gewichtsvektors (W_mn) in Form einer Summe von Strömen,
eine Vielzahl von Neuronen (24) zum Implementieren einer Sigmoid-Funktion und
Mittel (19, 22) zum sequentiellen Multiplexen der Neuronen (24) zwischen dem Eingangs- und dem Rückkopplungsfeld derart daß die Neuronen zuerst die Summe der von dem Eingangsfeld er­ zeugten Ströme bearbeiten, um den rekursiven Vektor zu erzeu­ gen, und dann die Summe der durch das Rückkopplungsfeld erzeug­ ten Ströme bearbeiten.

6. Verarbeitungssystem nach Anspruch 5, dadurch gekenn­ zeichnet, daß die Multiplexmittel
erste Puffermittel (19) zum Puffern des Eingangsvektors (u₁...u_i) von dem Eingangssynapsenfeld;
zweite Puffermittel (22) zum Puffern des rekursiven Vektors von dem Rückkopplungssynapsenfeld; und
Steuermittel zur Steuerung des ersten und des zweiten Puf­ fermittels aufweisen, wobei die Steuermittel so ausgebildet sind, daß sie den rekursiven Vektor vom Rückkopplungsfeld wäh­ rend der Verarbeitung der ersten Schicht und den Eingangsvektor vom Eingangsfeld während der Verarbeitung der zweiten Schicht entkoppeln.

7. Verarbeitungssystem nach Anspruch 5 oder 6, dadurch ge­ kennzeichnet, daß ein erstes fest vorspannendes Gewichtsfeld (B_1k) dem Eingangssynapsenfeld zum Ändern der Summe der durch das Eingangsfeld erzeugten Ströme zugeordnet ist und daß ein zweites fest vorgespanntes Gewichtsfeld (B₂₁) dem Rückkopp­ lungssynapsenfeld zum Ändern der Summe der durch das Rückkopp­ lungsfeld erzeugten Ströme zugeordnet ist.

8. Verarbeitungssystem nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, daß das Eingangs- und das Rückkopp­ lungsfeld jeweils ein Feld von elektrisch programmierbaren Floating-Gate-Bauelementen aufweisen, welche das erste und das zweite Gewicht in Form elektrischer Ladungen speichern.

9. N-schichtiges, elektrisch lernfähiges analoges neurona­ les Netzwerk, dadurch gekennzeichnet, daß die Eingänge in eine externe und eine rekursive Gruppe organisiert sind, daß jede Schicht ein einen Gewichtsvektor (W) und ein zugeordnetes fest vorgespanntes Gewicht (B) speicherndes Synapsenfeldes (16, 18) enthält, daß das fest vorgespannte Gewicht (B) die Summe der entlang der Dendriten (17) jedes Feldes erzeugten Ströme än­ dert, wobei die Summe der Ströme das Punktprodukt entweder zwi­ schen dem externen oder dem rekursiven Eingangssignal und dem gespeicherten Gewicht darstellt, daß das Netzwerk außerdem einen Satz von Neuronen (24) zur Berechnung des jeder Schicht zugeordneten gesamten Punktprodukts und Mittel (19, 22) zum Mul­ tiplexen der Neuronen während der Verarbeitung, beginnend mit der ersten Schicht und sequentiell fortfahrend bis zur N-ten Schicht aufweist, wobei die einer gegebenen Schicht zugeordnete Verarbeitung unabhängig von den an andere Schichten des Netz­ werks angelegten Eingangssignalen ausführbar ist und wobei die einer gegebenen Schicht zugeordnete neuronale Antwort als re­ kursive Eingangsgröße der nächsten in dieser Sequenz zu bear­ beitenden Schicht zu Verfügung gestellt wird.

10. Netzwerk nach Anspruch 9, dadurch gekennzeichnet, daß die Multiplex-Mittel eine Vielzahl von jeder Schicht des Netz­ werks zugeordneten Eingangspuffern (19, 22) aufweist, und daß die Puffer so gesteuert sind, daß die externen und/oder rekur­ siven Eingangssignale in Abhängigkeit von der Verarbeitungsse­ quenz selektiv entaktiviert sind.