DE19581638C2

DE19581638C2 - Rechenvorrichtung mit einem Mikroprozessor, einem neuralen Netz-Koprozessor und einer DMA-Steuervorrichtung

Info

Publication number: DE19581638C2
Application number: DE19581638T
Authority: DE
Inventors: Shay-Ping Thomas Wang
Original assignee: Motorola Inc
Current assignee: Motorola Solutions Inc
Priority date: 1994-05-02
Filing date: 1995-03-28
Publication date: 1999-06-24
Anticipated expiration: 2015-03-29
Also published as: US5583964A; CA2189148A1; US5740325A; DE29521338U1; GB9622325D0; DE19581638T1; GB2302192A; CN1150847A; AU2126995A; WO1995030194A1

Description

Diese Erfindung bezieht sich auf eine Rechenvorrichtung, die einen Mikroprozessor mit mindestens einem neuralen Netz- Coprozessor verwendet, der eine parallele Hochgeschwindigkeitsberechnung durchführen kann und der in einem VLSI Chip (einem hoch integrierten Chip) implementiert werden kann.

Ähnliche von der Anmelderin entwickelte Rechenvorrichtungen sind in den US 5 390 136 und US 5 517 667 beschrieben. Künstliche neurale Netze finden Verwendung in einer Vielzahl von Rechnerumgebungen, wie beispielsweise bei der Spracherkennung, Prozeßsteuerung, der optischen Zeichenerkennung, der Signalverarbeitung und der Bildverarbeitung. Verarbeitungsgeräte für viele der vorhergehenden Umgebungen können durch neurale Netze implementiert werden, die eine Vielzahl elementarer Logikelemente, Neuronenschaltungen genannt, umfassen.

Eine Neuronenschaltung ist der fundamentale Baustein eines neuralen Netzes. Eine Neuronenschaltung hat mehrere Eingänge und einen Ausgang. Wie das in der verwandten, oben angegebe nen Erfindung Nr. 1 beschrieben ist, umfaßt die Struktur ei ner konventionellen Neuronenschaltung oft eine Multiplizier schaltung, eine Summierschaltung, eine Schaltung zur Durch führung einer nichtlinearen Funktion (wie beispielsweise ein binärer Schwellwert oder eine Sigmoidfunktion), und eine Schaltung, die als Synapsen oder gewichtete Eingangsverbin dungen fungiert. Die oben erwähnte verwandte Erfindung Nr. 1 beschreibt in einer Ausführungsform eine Neuronerischaltung, die nur einen Addierer als ihr Hauptverarbeitungselement ent hält.

Wie in der oben angegebenen verwandten Erfindung Nr. 2 disku tiert ist, gibt es mehr als zwanzig bekannte Arten von neura len Netzarchitekturen, von denen die "Rückwärtsausbreitung (back-propagation)", "Perzeptron" und das "Hopfield-Netz" die bekanntesten sind. Die verwandte Erfindung Nr. 2 beschreibt in einer Ausführungsform ein neurales Netz, das kein wieder holtes Training erfordert, das ein globales Minimum für jeden Satz von Eingangsvektoren ergibt, und das eine Architektur aufweist, die einfach zu implementieren ist.

Wie bekannt ist, umfassen konventionelle Verarbeitungsmaschi nen (des von Neumann Typs) zwei fundamentale Blöcke, eine Re cheneinheit und eine Speichereinheit, von der die Rechenein heit Befehle und Daten erhält, um sequentiell ihre Funktionen auszuführen. Das einzig verfügbare Verfahren zur Erhöhung der Rechnerleistung besteht darin, die Rechengeschwindigkeit zu erhöhen und somit die pro Zeiteinheit ausführbaren Operatio nen zu erhöhen.

Fig. 1 zeigt eine Verarbeitungsmaschine des von Neumann Typs des Standes der Technik. Um allgemein eine Funktion auszufüh ren, führt die CPU 1 (Zentralverarbeitungseinheit) wiederholt die folgenden sequentiellen Schritte aus, die die Basis für den Betrieb jedes von Neumann-Rechners bilden. Als erstes ge winnt die CPU 1 einen Befehl vom Hauptspeicher 3 über den CPU-Bus 4. Als nächstes holt die CPU 1 Daten vom Hauptspei cher 3 und führt eine arithmetische oder logische Operation mit diesen Daten gemäß dem vorher erwähnten Befehl durch. Schließlich speichert die CPU 1 die Ergebnisse der ausgeführ ten Operation im Hauptspeicher 3.

Die hauptsächliche Beschränkung des von Neumann Rechners be steht darin, daß er nur eine Operation zu einem Zeitpunkt durchführt, und obwohl die Operation in einer sehr kurzen Zeit stattfinden mag, schließt die bloße Tatsache, daß die Operationen seriell ausgeführt werden, eine dramatische Erhö hung der Rechengeschwindigkeit aus. Es wurden daher Rechner architekturen entwickelt, die Operationen gleichzeitig aus führen können.

Fig. 2 zeigt einen herkömmlichen Rechner mit Mehr fachprozessor. Der Mehrfachprozessor-Rechner umfaßt eine Vielzahl von von Neumann Rechnern 7, 9, 11, die miteinander über ein sie verbindendes Netz 14 kommunizieren. Durch die Tatsache, daß er eine Vielzahl von Operationen zur selben Zeit ausführen kann, erhöht der Mehrfachprozessor-Rechner die Rechenleistung gegenüber einem traditionellen von Neumann- Rechner. Der Mehrfachprozessor-Rechner ist jedoch teuer und schwierig zu implementieren und zu programmieren. Das Ausfüh ren von Software-Anwendungen auf einem Mehrfachprozessor- Rechner erfordert einen komplizierten Compiler. Zusätzlich ergibt die Kommunikation zwischen den Prozessoren häufig Eng paßsituationen, die die gesamte Rechenleistung des Mehrfach prozessor-Rechners vermindern.

Fig. 3 zeigt einen herkömmlichen von Neumann-Rechner mit einem mathematischen Koprozessor. Die CPU 20 ist mit dem mathematischen Koprozessor 22 und dem Hauptspeicher 24 über den CPU-Bus 26 verbunden. Die CPU 20 führt im allgemeinen die gleichen Funktionen wie die oben beschriebene CPU 1 der Fig. 1 durch. Aber zusätzlich steuert die CPU 20 die Operation des Datentransfers zum mathematischen Koprozessor 22. Der mathematische Koprozessor 22 ist eine logische Schaltung, die speziell geeignet ist, um mathematische Berechnungen in wesentlich kürzerer Zeit als die CPU 20 auszuführen. Typi scherweise umfaßt ein mathematischer Koprozessor speziali sierte Elektronikschaltungen, um arithmetische Operationen, wie beispielsweise Gleitkomma-Divisionen und Multiplikationen und transzendentale Funktionen, wie Sinus, Cosinus, Tangens, u. s. w. durchzuführen. Auch wenn ein mathematischer Koprozes sor die Rechenleistung erhöhen mag, so leidet die in Fig. 3 dargestellte Architektur an der fundamentalen Begrenzung, daß sie nur eine Operation zu einem Zeitpunkt ausführen kann. Zu sätzlich sind die mathematischen Funktionen, die durch den Koprozessor beschleunigt werden, durch die Schaltung des ma thematischen Koprozessors vorbestimmt und somit in ihrer Zahl begrenzt und nicht durch Software neu konfigurierbar.

Die WO 93/05473 A1 lehrt ein neuronales Netzwerk bestehend aus einer CPU, einem Speicher und einem neuralen Netz-Koprozessor.

Die US 5 204 938 beschreibt eine Computerarchitektur, die besonders zum Einrichten neuronaler Netzwerke ausgelegt ist. Sie umfaßt mehrere parallele Prozessoren, von denen jeder seinen eigenen Speicher für Gewicht- und Verbindungsinformationen über die Knoten des neuronalen Netzwerks aufweist. Die Prozessoren berechnen Ausgabewerte für eine Menge von Knoten der nächsthöheren Schicht des neuronalen Netzwerkes. Die Computerarchitektur weist ferner einen globalen Speicher auf, der mit jedem der Prozessoren über einen gemeinsamen Datenbus verbunden ist. Ausgabewerte der Prozessoren werden über den globalen Speicher an jeden Prozessor gesendet, wobei auch Direct Memory Access (DMA) vorgesehen ist.

Die oben beschriebenen herkömmlichen Konfigurationen liefern nicht unter allen Umständen eine befriedigende Rechenleistung. Besonders wenn eine umfangreiche mathematische Berechnung erforderlich ist, bieten die herkömmlichen Lösungen im allgemeinen keine adäquate Rechenleistung zu einem vernünftigen Preis.

Aufgabe der Erfindung ist es, eine Rechenvorrichtung anzugeben, die eine Vielzahl komplizierter mathematischer Funktionen und eine große Zahl von Rechenoperationen pro Zeiteinheit, wie sie insbesondere für neurale Netze benötigt werden, durchführen kann, sowie leicht zu programmieren und billig zu implementieren ist.

Diese Aufgabe wird durch die Lehre des unabhängigen Anspruchs 1 gelöst.

Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche.

Ein Vorteil der Erfindung besteht daher darin, eine Rechenvorrichtung anzugeben, die einen Koprozessor umfaßt, der keine Folge von Rechenbefehlen erfordert und der eine einfache Schnittstelle ähnlich einer konventionellen Speichervorrichtung aufweist.

Vorteilhaft ist ferner die stark verbesserte Rechenleistung eines neuralen Netz-Koprozessors, der arithmetische Operationen gleichzeitig durchführt. Die stark verbesserte Rechenleistung führt zu einer Verminderung der Rechenzeit und somit zu einer starken Senkung der Kosten sowie der Komplexität der Programmierung und Implementierung.

Ein weiterer Vorteil der Erfindung besteht in einer wesentlichen Verkleinerung der für die Implementierung der Rechenvorrichtung benötigten Chipfläche, wenn der neurale Netz-Koprozessor mit einem Mikroprozessorchip integriert wird.

Ein anderer Vorteil der Erfindung besteht darin, daß ein neuraler Netz-Koprozessor durch Software konfigurierbar ist, um eine Vielzahl verschiedener mathematischer Funktionen zu berechnen.

Ferner wird durch einen direkten Speicherzugriff (DMA) der Austausch von Datenblöcken zwischen dem neuralen Netz- Koprozessor und anderen Vorrichtungen über einen Verbindungsbus in vorteilhafter Weise beschleunigt, was die Gesamtrechenleistung der Rechenvorrichtung erhöht.

Im folgenden wird eine bevorzugte Ausführungsform der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert.

Fig. 1 zeigt einen von Neumann-Rechner des Standes der Tech nik.

Fig. 2 zeigt einen Mehrfachprozessorrechner des Standes der Technik.

Fig. 3 zeigt einen von Neumann-Rechner des Standes der Tech nik mit einem mathematischen Koprozessor.

Fig. 4 zeigt ein schematisches Diagramm einer Rechenvorrich tung, die einen neuralen Netz-Koprozessor und einen Mikropro zessor umfaßt, in Übereinstimmung mit einer bevorzugten Aus führungsform der Erfindung.

Fig. 5 zeigt ein schematisches Diagramm einer Rechenvorrich tung, die mindestens einen neuralen Netz-Koprozessor und ei nen Mikroprozessor, der in die gleiche integrierte Schaltung eingebettet ist, umfaßt, in Übereinstimmung mit einer bevor zugten Ausführungsform der Erfindung.

Fig. 6 zeigt ein schematisches Diagramm einer Rechnerarchi tektur, die einen Mikroprozessor mit einer Vielzahl neuraler Netz-Koprozessoren umfaßt, in Übereinstimmung mit der Erfindung.

Fig. 7 zeigt ein schematisches Diagramm eines neuralen Netz- Koprozessors, dessen Eingangsgrößen sequentiell empfangen werden und der eine Vielzahl von Ausgängen hat, in Überein stimmung mit einer bevorzugten Ausführungsform der Erfindung.

Fig. 8 zeigt ein Flußdiagramm eines Verfahrens zum Betreiben jeder der Rechnervorrichtungen, die in den Fig. 4, 5 und 6 gezeigt sind.

Fig. 9 zeigt ein Verfahren zum Schreiben von Torfunktionen in den neuralen Netz-Koprozessor gemäß einer bevorzugten Ausführungsform der Erfindung.

Fig. 10 zeigt ein Verfahren zum Schreiben von Gewichtswerten in den neuralen Netz-Koprozessor gemäß einer bevorzugten Aus führungsform der Erfindung.

Für einen Fachmann ist es klar, daß die Rechenvorrichtung der Erfindung in einer integrierten Schaltung, einer gedruckten Leiterplatte oder einer Kombination daraus implementiert werden kann, und daß die Bezeichnungen "zentrale Verarbeitungseinheit" (CPU), "Universalprozessor", und "Mikroprozessor" in dieser Beschreibung austauschbar verwen det werden, was ebenso für die Bezeichnungen "Neuronenschaltung" und "Neuron" und "Summierschaltung"/"Summierer" u. s. w. gilt.

Fig. 4 zeigt ein schematisches Diagramm einer Rechenvorrich tung, die einen neuralen Netz-Koprozessor und einen Mikropro zessor umfaßt, gemäß einer bevorzugten Ausführungsform der Erfindung. Der Mikroprozessor 30 ist eine CPU oder irgend eine andere digitale Steuervorrichtung, die eine Universalrecheneinheit umfaßt. Der Mikroprozessor 30 ist durch den Bus 34 mit dem Hauptspeicher 31, der I/O Steuerung 33 und dem neuralen Netz-Koprozessor 32 verbunden. Der Mikro prozessor führt Universalprogramme aus und kann auch den Da tenfluß zwischen über den Bus 34 verbundenen Vorrichtungen steuern. Die I/O Steuerung ist eine Vorrichtung, die den Da tenfluß zwischen dem Bus 34 und externen Vorrichtungen steu ert, die nicht mit dem Bus 34 verbunden sind.

Der Bus 34 ist ein digitaler Bus und ein Fachmann wird erken nen, daß die Breite des Busses 8, 16, 32 oder irgendeine an dere Zahl von Bits betragen kann.

Der Mikroprozessor 30 führt Softwareprogramme aus, die übli cherweise im Hauptspeicher 31 gespeichert sind. Ein Fachmann wird jedoch erkennen, daß der Mikroprozessor 30 einen inter nen Speicher umfassen kann, der auch verwendet werden kann, um ausführbare Softwareprogramme durchzuführen.

Obwohl der Mikroprozessor 30 ein Universalprozessor ist, der eine Vielzahl verschiedener Algorithmen ausführen kann, kann es unter gewissen Umständen allgemein akzeptabel sein, in ei ner bevorzugten Ausführungsform die Funktionen des Mikropro zessors 30 darauf zu begrenzen, den Hauptspeicher, den neura len Netz-Koprozessor und die Datenübertragung über den Bus zu steuern. Ein Fachmann wird erkennen, daß die Datenübertragung einfach dadurch durchgeführt werden kann, daß der Mikropro zessor 30 eine Serie von Befehlen ausführt, die die Daten über den Bus 34 bewegen. In einer bevorzugten Ausführungsform der Erfindung wird jedoch ein sogenannter direkter Speicher zugriff (DMA) allgemein verwendet, um Daten über den Bus zu übertragen.

Der DMA kann verwendet werden, um Daten zwischen irgendwelchen Vorrichtungen, die mit dem Bus verbunden sind, zu übertragen. In einer bevorzugten Ausführungsform wird der DMA insbeson dere verwendet, um Daten zwischen dem neuralen Netz-Koprozes sor 32 und den anderen Vorrichtungen zu übertragen. Eine Mi kroprozessorsteuerung ist während einer DMA-Datenübertragung nicht notwendig; somit ist der Mikroprozessor frei, um wäh rend einer DMA-Übertragung andere Aufgaben auzuführen. Im allgemeinen werden während einer DMA-Übertragung große Daten ströme über den Bus ohne Unterbrechung übertragen.

Eine DMA-Steuerung 15, die in einer bevorzugten Ausführungs form im neuralen Netz-Koprozessor 32 enthalten ist, initiiert einen DMA-Transfer zwischen zwei Vorrichtungen, die beide mit dem Bus 34 verbunden sind, indem sie einer Vorrichtung signa lisiert, Daten auf den Bus zu schreiben und der anderen Vor richtung signalisiert, gleichzeitig die gleichen Daten vom Bus zu lesen. Obwohl in Fig. 4 die DMA-Steuervorrichtung als im Koprozessor 32 befindlich gezeigt ist, wird es einem Fach mann verständlich, daß die DMA-Steuervorrichtung auch im Mi kroprozessor 30, im Hauptspeicher 31, in der I/O Steuerung 33 oder in einer getrennten mit dem Bus verbundenen Vorrichtung untergebracht sein kann. Für einen Fachmann ist es auch ver ständlich, daß Daten, die während eines DMA-Transfers auf den Bus 34 geschrieben werden, gleichzeitig durch eine oder meh rere der mit dem Bus verbundenen Vorrichtungen gelesen werden können.

Der Koprozessor 32 kann Daten von irgendeiner der anderen mit dem Bus 34 verbundenen Vorrichtungen, einschließlich des Hauptspeichers 32, der I/O-Steuerung 33 und des Mikroprozes sors 30 empfangen, und er kann Daten zu irgend einer anderen Vorrichtung auf dem Bus, einschließlich des Hauptspeichers 31, der I/O-Steuerung 33 und dem Mikroprozessor 30 ausgeben. Die Daten, die vom Koprozessor 32 empfangen werden, umfassen Torfunktionen, Neuronengewichtswerte (polynomische Koeffizienten) und Koprozessoreingaben, wobei die Bedeutung dieser Daten in der Erfindung nachfolgend beschrieben wird.

Der neurale Netz-Koprozessor 32 dient im allgemeinen um po lynomische Erweiterungen zu berechnen. Die Form der polynomischen Erweiterungen, die durch den Koprozessor 32 berechnet werden können, werden weiter unten detailliert be schrieben.

Fig. 5 zeigt ein schematisches Diagramm einer Rechenvorrich tung, die mindestens einen neuralen Netz-Koprozessor und ei nen Mikroprozessor, der in der gleichen integrierten Schal tung eingebettet ist, umfaßt, gemäß einer bevorzugten Ausfüh rungsform der vorliegenden Erfindung. Der Vorteil der Einbet tung des neuralen Netz-Koprozessors zusammen mit einem Mikro prozessor in einem einzigen Chip besteht darin, daß die Re chenvorrichtung weniger Leistung und Raum verbraucht.

Der Hybridmikroprozessor 35 ist eine integrierte Schaltung, die einen Mikroprozessor und mindestens einen neuralen Netz- Koprozessor umfaßt. Der Mikroprozessor der im Hybridmikropro zessor 35 enthalten ist, führt Funktionen aus, die ähnlich dem des Mikroprozessors 30 der Fig. 4 sind, und ebenso dienen der Hauptspeicher 36, der Bus 37 und die I/O-Steuerung 38 Zwecken, die ähnlich denen des oben beschriebenen Hauptspei chers 31, des Buses 34 beziehungsweise der I/O-Steuerung 33 der Fig. 4 sind. Der Hybridmikroprozessor 35, der Hauptspei cher 36 und die I/O-Steuerung 38 sind durch den Datenbus 37 verbunden.

Die neuralen Netz-Koprozessoren, die im Hybridmikroprozessor 35 enthalten sind, dienen allgemein dazu, polynomische Erwei terungen zu berechenen. Die Form der polynomischen Erweite rungen, die durch die neuralen Netz-Koprozessoren berechnet werden können, werden nachfolgend im Detail beschrieben.

Zusätzlich können die neuralen Netz-Koprozessoren des Hybrid mikroprozessors 35 Daten vom Mikroprozessor oder irgend einer Vorrichtung, die mit dem Bus 37 verbunden ist, einschließlich des Hauptspeichers 36 und der I/O-Steuerung 38 empfangen, und sie können Daten zum Mikroprozessor oder irgendeiner Vorrich tung auf dem Bus, einschließlich dem Hauptspeicher 36 und der I/O-Steuerung 38 ausgeben. Die Daten, die durch die neuralen Netz-Koprozessoren empfangen werden, umfassen Torfunktionen neuraler Gewichtswerte (polynomische Koeffizienten) und Koprozessoreingaben, wobei die Bedeutung dieser Daten in der Erfindung nachfolgend beschrieben wird.

Eine DMA-Steuervorrichtung ist auch in der in Fig. 5 darge stellten Rechenvorrichtung enthalten. Die Funktion der DMA- Steuervorrichtung der Fig. 5 ist äquivalent zu der der oben beschriebenen DMA-Steuervorrichtung in Fig. 4. In einer be vorzugten Ausführungsform befindet sich die DMA-Steuervor richtung im Hauptspeicher 36; ein Fachmann wird jedoch erken nen, daß die DMA-Steuervorrichtung im Hybridmikroprozessor 35 der I/O-Steuerung 38 enthalten sein kann oder als getrennte Vorrichtung mit dem Bus 37 verbunden sein kann. Ein Fachmann wird auch erkennen, daß Daten, die während eines DMA-Trans fers auf den Bus 37 geschrieben werden, gleichzeitig von ei ner oder mehreren der mit dem Bus verbundenen Vorrichtungen gelesen werden können.

Fig. 6 zeigt ein schematisches Diagramm einer Rechenvorrich tung, die einen Mikroprozessor mit einer Vielzahl neuraler Netz-Koprozessoren gemäß der vorliegenden Erfindung umfaßt. Der Mikroprozessor 40 führt Funktionen aus, die ähnlich denen des Mikroprozessors 30 der Fig. 4 sind, und ebenso dienen der Hauptspeicher 39 und der Bus 41 Zwecken ähnlich denen des oben beschriebenen Hauptspeichers 31 beziehungsweise des Bus ses 34 der Fig. 4.

Eine DMA-Steuervorrichtung, die äquivalent ist zu der der Fig. 5, kann in der in Fig. 6 gezeigten Rechenvorrichtung eingeschlossen sein.

Neurale Netz-Koprozessoren 42, 44 und 46 können Daten vom Mi kroprozessor 40 oder irgend einer Vorrichtung, die mit dem Bus 41 verbunden ist, einschließlich des Hauptspeichers 39 oder anderen neuralen Netz-Koprozessoren empfangen. Außerdem können sie Daten an den Mikroprozessor 40 oder irgend eine andere Vorrichtung auf dem Bus, einschließlich des Hauptspeicher 39 oder andere neuraler Netz-Koprozessoren, ausgeben. Die Daten, die durch die neuralen Netz- Koprozessoren empfangen werden, umfassen Torfunktionen, Neuronengewichtswerte (polynomische Koeffizienten) und Koprozessoreingaben, wobei die Bedeutung dieser Daten in der vorliegenden Erfindung nachfolgend beschrieben wird.

Die neuralen Netz-Koprozessoren 42, 44 und 46 dienen allgemein um polynomische Erweiterungen zu berechnen. Die Formen der polynomischen Erweiterungen, die durch die neuralen Netz-Ko prozessoren berechnet werden kann, sind nachfolgend im Detail beschrieben. Der Vorteil der in Fig. 6 dargestellten Rechen vorrichtung ist der, daß die neuralen Netz-Koprozessoren es gestatten, eine größere Zahl von Berechnungen parallel auszu führen, wodurch sich die Rechenleistung der Vorrichtung dra matisch erhöht.

Während Fig. 6 nur drei neurale Netz-Koprozessoren in der Re chenvorrichtung zeigt, wird ein Fachmann erkennen, daß eine beliebige Zahl neuraler Netz-Koprozessoren verwendet werden kann, wenn eine spezielle Anwendung mehr oder weniger als drei Koprozessoren erfordert.

Jeder neurale Netz-Koprozessor kann verwendet werden, um eine andere polynomische Erweiterung gleichzeitig zu berechenen. Beispielsweise kann der neurale Netz-Koprozessor 42 folgendes berechnen: y₁ = 1,02 + 5,6x₁ + 3x₂, während der neurale Netz-Koprozessor 44 folgendes berechnet: y₂ = 3,14x₁ ³ + 11x₂ ², während der neurale Netz-Koprozessor 46 folgendes be rechnet: y₃ = 0,2x₂ ², wobei x₁ und x₂ Koprozessoreingaben sind, die zu jedem der Koprozessoren durch den Mikroprozessor 40 übertragen werden, und y₁ und y₂ und y₃ Werte sind, die von den Koprozessoren 42, 44 beziehungsweise 46 ausgegeben werden.

Ein Fachmann wird verstehen, daß der neurale Netz-Koprozes sor der vorliegenden Erfindung nicht auf die Berechnung drei er polynomischer Ausdrücke y₁, y₂ und y₃, wie sie im obigen Beispiel gezeigt sind, beschränkt ist, und daß das oben ge zeigte Beispiel keine Einschränkungen bezüglich der Form der polynomischen Erweiterungen liefert, die durch die hier be schriebene Rechenvorrichtung berechnet werden können. Weiter hin wird ein Fachmann verstehen, daß einer oder eine belie bige Zahl von neuralen Netz-Koprozessoren verwendet werden kann, um gleichzeitig die oben gezeigten polynomischen Erwei terungen y₁, y₂ und y₃ zu berechnen.

Der Betrieb des neuralen Netz-Koprozessors der vorliegenden Erfindung basiert auf der Verwendung einer polynomischen Er weiterung, und in einem allgemeineren Sinn in der Verwendung einer orthogonalen Funktion, wie beispielsweise Sinus, Cosi nus, Exponentialfunktion/Logarithmus, Fourier-Transformation, einer Entwicklung nach Legendreschen Polynomen, einer nicht linearen Basisfunktion, wie beispielsweise eine Volterra- Funktion oder einer radialen Basisfunktion oder derartigem, oder einer Kombination aus einer polynomischen Erweiterung und orthogonalen Funktionen.

Eine bevorzugte Ausführungsform verwendet eine polynomische Erweiterung, deren allgemeiner Fall durch Gleichung 1 wie folgt dargestellt wird:

wobei x_i die Koprozessoreingaben darstellt und es sich dabei um eine Funktion, wie beispielsweise x_i = f_i(z_j) handeln kann, wobei z_j eine willkürliche Variable ist, und wobei die Indizes i und j irgendwelche positive ganze Zahlen sein kön nen, wobei y die Ausgangsgröße des neuralen Netz-Koprozessors bezeichnet; wobei w_i-1 das Gewicht des i-ten Neurons dar stellt; wobei g_1i, . . ., g_ni Torfunktionen des i-ten Neurons darstellen und ganze Zahlen sind, wobei diese in einer bevorzugten Ausführungsform 0 oder größer sind; und n die Zahl der Koprozessoreingaben ist.

Jeder Term der Gleichung (1) bezeichnet eine Neuronenausgabe und das Gewicht und die Torfunktionen, die mit einem solchen Neuron verbunden sind. Die Zahl der Terme der polynomischen Erweiterung, die in einem neuralen Netz verwendet werden soll, basiert auf einer Anzahl von Faktoren, einschließlich der Zahl der verfügbaren Neuronen, der Zahl der Übungsbeispiele u. s. w. Es sollte verständlich sein, daß die Terme höherer Ordnung der polynomische Erweiterung im allge meinen weniger Signifikanz haben als die Terme niedrigerer Ordnung. Somit werden in einer bevorzugten Ausführungsform die Terme niedriger Ordnung wenn möglich gewählt, basierend auf den verschiedenen, oben erwähnten Faktoren. Da auch die Einheit der Messung, die mit den verschiedenen Eingaben ver bunden ist, variieren kann, müssen die Eingaben normalisiert werden, bevor sie verwendet werden.

Gleichung 2 ist eine alternative Darstellung der Gleichung 1, die Terme bis zu Termen dritter Ordnung zeigt.

wobei die Variablen die gleiche Bedeutung wie in Gleichung 1 haben, und wobei f_1(i) eine Indexfunktion im Bereich von n + 1 bis 2n ist; f_2(i,j) eine Indexfunktion im Bereich von 2n + 1 bis 2n + (n)(n - 1)/2 ist; und f_3(i,j) sich im Bereich von 2n + 1 + (n)(n - 1)/2 bis 3n + (n)(n - 1)/2 bewegt. f₄ bis f₆ werden in ähnlicher Weise dargestellt.

Fachleute werden erkennen, daß die Torfunktionen in den durch Gleichung (2) ausgedrückten Termen eingebettet sind. Bei spielsweise kann die Gleichung (2) folgendermaßen dargestellt werden:

y = w₀ + w₁ x₁ + w₂ x₂ + . . . w_i x_i + . . . + w_n x_n + w_n+1 x₁ ² + . . . + w_2n x_n ² + w_2n+1 x₁ x₂ + w_2n+2 x₁ x₃ + . . . + w_3n-1 x₁ x_n + w_3n x₂ x₃ + w_3n+1 x₂ x₄ + . . . w_2n(n)(n-1)/2 x_n-1 x_n + . . . + w_N-1 x₁ ^g1N x₂ ^g2N . . . x_n ^gnN + . . . Gleichung 3

wobei die Variablen dieselbe Bedeutung wie in Gleichung (1) haben.

Es sollte angemerkt werden, daß obwohl die Torexponenten g_in explizit nur im letzten gezeigten Term der Gleichung (3) auftauchen, es verständlich ist, daß jeder der anderen Terme seine Terme g_iN hat, die nicht explizit gezeigt sind (beispielsweise ist für den w₁ x₁ Term g₁₂ = 1 und die anderen g_i2 = 0, i = 2, 3, . . ., n). N ist eine beliebige positive ganze Zahl und stellte das N-te Neuron im Netz dar.

Fig. 7 zeigt ein schematisches Diagramm eines neuralen Netz- Koprozessors, dessen Eingangsgrößen sequentiell empfangen werden, und der eine Vielzahl von Ausgängen aufweist, gemäß einer bevorzugten Ausführungsform der Erfindung.

Eine Vielzahl von Koprozessoreingangsgrößen x₁, x₂, . . ., x_n wird in den Eingangsanschluß 50 eingegeben. Der Ausgangswert des Eingangsanschlusses x₁, x₂, . . ., x_n wird nach und nach über den Bus 52 zu jeder Neuronenschaltung 56, 58, 60 und 62 der versteckten Schicht (hidden layer) verteilt. Obwohl nur vier Neuronenschaltungen N₁, N₂, N_n-1 und N_n gezeigt sind, kann die versteckte Schicht eine beliebige Zahl Neuronen schaltungen umfassen. Mit anderen Worten, die Ausgabewerte des Eingangsanschlußes werden sukzesive über den Bus zu jeder der Neuronenschaltungen 56, 58, 60 und 62 und zu allen ande ren (nicht gezeigten) Neuronenschaltungen in der versteckten Schicht verteilt.

In einer bevorzugten Ausführungsform der vorliegenden Erfin dung wendet jedes Neuron einen Torexponenten g_ni auf jede der Koprozessoreingangsgrößen an, um bestimmte Eingangsgrößen auszublenden oder durchzuleiten, wobei die Variable g und die unteren Indizes i und n die gleiche Bedeutung wie in oben an gegebener Gleichung (1) haben. Irgendeine vorgegebenen Neuro nenschaltung kann eine andere Torfunktion zu jeder anderen Koprozessoreingangsgröße geben, die sie empfängt. Bei spielsweise wendet das Neuron 56 einen Torexponenten g₁₁ auf den Koprozessoreingangswert x₁ an, den sie vom Eingangs anschluß 50 empfängt; sie wendet einen Torexponenten g₂₁ auf den Koprozessoreingangswert x₂ an, und so weiter. Die durchgeleiteten Eingangswerte werden multipliziert durch das Neuron, um ein Produkt zu bilden, das dann mit einem Gewicht w_i-1 multipliziert wird, um die Ausgangsgröße der Neuronenschaltung zu bilden, wobei die Variable w, und der untere Index i die gleichen Bedeutungen wie in der oben gege benen Gleichung 1 haben.

Die Ausgangsgrößen der Neuronenschaltung werden durch Sum mierschaltungen der Ausgangsschicht des Koprozessors sum miert, um die Koprozessorausgangsgrößen zu bilden. Beispiels weise werden die Ausgangsgrößen der Neuronenschaltungen 56 und 58 durch die Summierschaltung 64 summiert, um eine neura le Netz-Koprozessorausgangsgröße y₁ zu bilden, und dann wer den die Ausgangsgrößen der Neuronenschaltung 60 und 62 durch eine Summierschaltung 66 summiert, um eine neurale Netz-Ko prozessorausgangsgröße y_n zu bilden.

Während Fig. 7 nur zwei Summierschaltungen in der Ausgangs schicht zeigt, wird ein Fachmann erkennen, daß der Koprozes sor eine beliebige Anzahl Summierschaltungen enthalten kann. Darüberhinaus kann der Ausgangswert jeder Neuronenschaltung durch irgendeine der Summierschaltungen als auch durch mehr als eine der Summierschaltungen empfangen werden.

Eine Vielzahl Gewichte w₀, w₁, . . ., w_i-1 werden in den Ein gangsanschluß 50 eingegeben, wobei die Variable w und der un tere Index i die gleiche Bedeutung wie in der oben angegeben Gleichung 1 haben. Im allgemeinen gibt es mindestens ein Ge wicht, das jeder Neuronenschaltung entspricht. Die Gewichte werden sequentiell über den Bus 52 zu ihrer entsprechenden Neuronenschaltung verteilt. Wie in der oben angegebenen ver wandten Erfindung Nr. 1 beschrieben ist, umfaßt jede Neuro nenschaltung eine Vorrichtung zur Speicherung von Gewichten. Die Gewichte, die durch jede Neuronenschaltung gespeichert sind, können periodisch aktualisiert werden, in Abhängigkeit von den Bedingungen, unter denen die hier beschriebene Re chenvorrichtung arbeitet. Wenn mehr als ein Gewicht durch ei ne Neuronenschaltung gespeichert wird, so kann auf jedes Ge wicht einzeln zugegriffen werden, oder es kann mehrfach pa rallel zugegriffen werden, entweder durch die DMA-Steuervor richtung oder den Mikroprozessor.

Eine Vielzahl von Torexponenten g₁₁, g₁₂, . . ., g_ni werden dem Eingangsanschluß 50 zugeführt, wobei die Variable g und die unteren Indizes i und n die gleiche Bedeutung wie in der oben angegebenen Gleichung 1 haben. Im allgemeinen gibt es eine Vielzahl von Torexponenten, die jeder Neuronenschaltung entsprechen. Die Torexponenten werden sequentiell über den Bus 52 zu ihrer entsprechenden Neuronenschaltung verteilt. In einer bevorzugten Ausführungsform der Erfindung umfaßt jede Neuronenschaltung eine Vorrichtung zur Speicherung einer entsprechenden Vielzahl von Torexponenten. Die Torexponenten jeder Neuronenschaltung können periodisch aktualisiert werden in Abhängigkeit von den Bedingungen, unter denen die hier beschriebene Rechenvorrichtung arbeitet. Die Vorrichtung zur Speicherung gestattet es, daß auf die Torexponenten entweder einzeln zugegriffen wird, oder daß ein mehrfacher paralleler Zugriff durch entweder die DMA-Steuervorrichtung oder den Mikroprozessor erfolgt.

Fig. 8 zeigt ein Flußdiagramm eines Verfahrens zum Betreiben jeder der in den Fig. 4, 5 und 6 dargestellten Rechenvor richtungen. Wie im Kasten 72 gezeigt ist, wird mindestens ein Torexponent in die neuralen Netz-Koprozessoren geschrieben. Obwohl Kasten 72 einen Mikroprozessor zeigt, der den Torexponenten schreibt, wird es für einen Fachmann verständlich, daß eine DMA-Steuervorrichtung das Schreiben ebenso durchführen kann. Es kann eine beliebige Zahl von Torexponenten in einen oder in eine beliebige Zahl von neuralen Netz-Koprozessoren geschrieben werden.

Als nächstes wird, wie in Kasten 74 angegeben, mindestens ein Gewicht in die neuralen Netz-Koprozessoren eingeschrieben. Obwohl der Kasten 74 einen Mikroprozessor zeigt, der das Ge wicht einschreibt, wird es für einen Fachmann verständlich, daß eine DMA-Steuervorrichtung das Schreiben ebenso ausführen kann. Irgendeine Anzahl von Gewichten kann in einen oder eine beliebige Zahl von neuralen Netz-Koprozessoren geschrieben werden.

Als nächstes wird, wie in Kasten 76 gezeigt, mindestens eine Koprozessoreingangsgröße in die neuralen Netz-Koprozessoren geschrieben. Es kann in diesem Schritt mehr als eine Kopro zessoreingangsgröße entweder gleichzeitig oder nacheinander zum Koprozessor übertragen werden. Zusätzlich können Kopro zessoreingangsgrößen gleichzeitig in eine Vielzahl vorbe stimmter neuraler Netz-Koprozessoren geschrieben werden. Ob wohl Kasten 76 einen Mikroprozessor zeigt, der die Koprozes soreingangsgröße einschreibt, wird es für einen Fachmann ver ständlich, daß auch eine DMA-Steuervorrichtung das Schreiben durchführen kann.

Wie in Kasten 77 gezeigt, berechnet der neurale Netz-Kopro zessor eine mathematische Funktion, die die Torfunktionen, Gewichtswerte und Koprozessoreingangsgrößen verwendet. Der Koprozessor erzeugt eine Ausgangsgröße als Ergebnis der Berechnung der mathematischen Funktion.

Als nächstes wird, wie im Entscheidungskasten 78 gezeigt, ei ne Prüfung durchgeführt, um zu sehen, ob einer der neuralen Netz-Koprozessorenausgangswerte bereit ist, gelesen zu wer den. Diese Entscheidung fällt entweder ein Mikroprozessor oder eine DMA-Steuervorrichtung. Wenn keine der Ausgangsgrö ßen für das Lesen bereit ist, dann kehrt das Verfahren zum Kasten 76 zurück. Ansonsten geht es zum Kasten 80.

Als nächstes werden in Kasten 80 die zum Lesen bereiten Koprozessorausgangsgrößen entweder durch einen Mikroprozessor oder eine DMA-Steuervorrichtung gelesen.

Schließlich wird, wie im Entscheidungskasten 82 dargestellt, eine Überprüfung durchgeführt, um zu bestimmten, ob weitere Koprozessoreingangsgrößen vorhanden sind, die in die Kopro zessoren geschrieben werden müssen. Wenn noch mehrere Kopro zessoreingangsgrößen vorhanden sind, die eingeschrieben wer den müssen, so kehrt das Verfahren zum Kasten 76 zurück, an sonsten endet das Verfahren.

Fig. 9 zeigt ein Verfahren zum Schreiben von Torexponenten in den neuralen Netz-Koprozessor gemäß einer bevorzugten Ausführungsform der Erfindung. Wie im Entscheidungskasten 86 dargestellt ist, wird eine Überprüfung durchgeführt, um zu bestimmten, ob die Torexponenten unter Verwendung eines Globalmoduses, eines sequentiellen Moduses oder eines Block moduses eingeschrieben werden müssen. Wenn die Torexponenten unter Verwendung eines Globalmoduses eingeschrieben werden müssen, dann geht das Verfahren zum Kasten 88 weiter. Wenn die Torexponenten unter Verwendung des Blockmoduses eingeschrieben werden müssen, dann geht das Verfahren zum Kasten 92. Wenn die Torexponenten unter Verwendung des sequentiellen Moduses eingeschrieben werden müssen, dann geht das Verfahren zum Kasten 96.

Betrachtet man den Kasten 88, so wird ein Globalmodustransfer durch Übertragen eines einzelnen Torexponenten über den Bus zu allen neuralen Netz-Koprozessoren durchgeführt, wobei einer oder mehrere Koprozessoren mit dem Bus verbunden sein können. Obwohl Kasten 88 einen Mikroprozessor zeigt, der die Torfunktion überträgt, wird es einem Fachmann klar sein, daß eine DMA-Steuervorrichtung den Wert übertragen kann.

Als nächstes setzt, wie im Kasten 90 gezeigt, jeder Koprozes sor alle seine Torexponenten gleich der übertragenen Torexponenten. Beim Verlassen des Kastens 90 endet das Verfahren.

Ein Blockmodustransfer der Torexponenten beginnt beim Eintritt in Kasten 92. Wie im Kasten 92 dargestellt ist, wer den die Blockmodustransfers erzielt durch ein gleichzeitiges Übertragen von einem oder mehreren Torexponenten zu vor bestimmten neuralen Netz-Koprozessoren. Obwohl der Kasten 92 einen Mikroprozessor zeigt, der die Torexponenten überträgt, wird es einem Fachmann verständlich werden, daß eine DMA- Steuervorrichtung die Werte übertragen kann.

Als nächstes wird, wie im Kasten 94 dargestellt, wenn ein Ko prozessor mindestens einen Torexponenten empfängt, der min destens eine Torexponente in eine ausgewählte Schaltung aus der Vielzahl der Neuronschaltungen im Koprozessor einge schrieben.

Als nächstes wird, wie im Entscheidungskasten 98 gezeigt, ei ne Prüfung durchgeführt, um zu bestimmen, ob weitere Torexponenten vorhanden sind, die in die Koprozessoren einge schrieben werden müssen. Wenn es noch mehrere einzuschreiben de Torexponenten gibt, so kehrt das Verfahren zum Kasten 86 zurück, ansonsten endet das Verfahren.

Der Transfer des sequentiellen Moduses der Torexponenten beginnt beim Eintritt in den Kasten 96. Wie im Kasten 96 dar gestellt ist, werden eine oder mehrere Torexponenten in eine vorbestimmte Neuronenschaltung in einem neuralen Netz- Koprozessor geschrieben. Obwohl Kasten 96 einen Mikroprozes sor zeigt, der die Torexponenten einschreibt, wird es einem Fachmann verständlich werden, daß eine DMA-Steuervorrichtung die Werte einschreiben kann.

Als nächstes wird, wie im Entscheidungskasten 98 gezeigt, ei ne Prüfung durchgeführt, um zu bestimmten, ob weitere in die Koprozessoren einzuschreibende Torexponenten vorhanden sind. Wenn weitere einzuschreibende Torexponenten vorhanden sind, so kehrt das Verfahren zum Kasten 86 zurück, ansonsten endet das Verfahren.

Fig. 10 zeigt ein Verfahren zum Schreiben von Gewichten in den neuralen Netz-Koprozessor gemäß einer bevorzugten Ausfüh rungsform der Erfindung. Das in Fig. 10 beschriebene Verfah ren ähnelt ganz allgemein dem in Fig. 9 beschriebenen Verfah ren, mit der Ausnahme, daß in Fig. 10 Gewichte anstatt der Torexponenten in die neuralen Netz-Koprozessoren geschrieben werden.

Wie im Entscheidungskasten 100 dargestellt ist, wird eine Überprüfung durchgeführt, um zu bestimmten, ob die Gewichte unter Verwendung eines Globalmoduses, eines sequentiellen Mo duses oder eines Blockmoduses eingeschrieben werden müssen. Wenn die Gewichte unter Verwendung eines Globalmoduses einge schrieben werden müssen, dann geht das Verfahren zum Kasten 102 weiter. Wenn die Gewichte unter Verwendung des Blockmo duses eingeschrieben werden müssen, dann geht das Verfahren zum Kasten 106. Wenn die Gewichte unter Verwendung des se quentiellen Moduses eingeschrieben werden müssen, dann geht das Verfahren zum Kasten 110.

Betrachtet man den Kasten 102, so wird ein Globalmodustrans fer durch Übertragen eines einzelnen Gewichts über den Bus zu allen neuralen Netz-Koprozessoren durchgeführt, wobei einer der mehrere Koprozessoren mit dem Bus verbunden sein können. Obwohl Kasten 102 einen Mikroprozessor zeigt, der das Gewicht überträgt, wird es einem Fachmann klar sein, daß eine DMA- Steuervorrichtung das Gewicht übertragen kann.

Als nächstes setzt, wie im Kasten 104 gezeigt, jeder Kopro zessor alle seine Gewichte gleich dem übertragenen Gewicht. Beim Verlassen des Kastens 104 endet das Verfahren.

Ein Blockmodustransfer der Gewichte beginnt beim Eintritt in Kasten 106. Wie im Kasten 106 dargestellt ist, werden die Blockmodustransfers erzielt durch ein gleichzeitiges Übertra gen eines oder mehrerer Gewichte zu vorbestimmten neuralen Netz-Koprozessoren. Obwohl der Kasten 106 einen Mikroprozes sor zeigt, der das Gewicht überträgt, wird es einem Fachmann verständlich werden, daß eine DMA-Steuervorrichtung die Ge wichte einschreiben kann.

Als nächstes wird, wie im Kasten 108 dargestellt, wenn ein Koprozessor mindestens ein Gewicht empfängt, das mindestens eine Gewicht in ausgewählte Schaltungen aus der Vielzahl der Neuronenschaltungen im Koprozessor eingeschrieben.

Als nächstes wird, wie im Entscheidungskasten 112 gezeigt, eine Prüfung durchgeführt, um zu bestimmen, ob weitere Gewich te vorhanden sind, die in die Koprozessoren eingeschrieben werden müssen. Wenn es noch mehrere einzuschreibende Gewichte gibt, so kehrt das Verfahren zum Kasten 100 zurück, ansonsten endet das Verfahren.

Der Transfer des sequentiellen Moduses der Gewichte beginnt beim Eintritt in den Kasten 110. Wie im Kasten 110 darge stellt ist, werden ein oder mehrere Gewichte in eine vorbe stimmte Neuronenschaltung in einem neuralen Netz-Koprozessor geschrieben. Obwohl Kasten 110 einen Mikroprozessor zeigt, der die Gewichte einschreibt, wird es einem Fachmann verständlich werden, daß eine DMA-Steuervorrichtung die Gewichte ein schreiben kann.

Als nächstes wird, wie im Entscheidungskasten 112 gezeigt, eine Prüfung durchgeführt, um zu bestimmten, ob weitere in die Koprozessoren einzuschreibende Gewichte vorhanden sind. Wenn weitere einzuschreibende Gewichte vorhanden sind, so kehrt das Verfahren zum Kasten 86 zurück, ansonsten endet das Verfahren.

Es wird auch deutlich, daß der Grad des Abschneidens der oben erwähnten polynomischen Erweiterung vom Grad der gewünschten Genauigkeit abhängt.

Claims

1. Rechenvorrichtung mit:
einem Mikroprozessor zur Ausführung von Universalprogrammen, wobei der Mikroprozessor mindestens einen Ausgangsanschluß für das Senden von Daten und mindestens einen Eingangsanschluß für das Empfangen von Daten aufweist;
einem neuralen Netz-Koprozessor zur Durchführung mathematischer Berech nungen, wobei der Koprozessor auf den mindestens einen Mikroprozessoraus gangsanschluß anspricht und mindestens eine Ausgangsgröße erzeugt, und wobei der mindestens eine Mikroprozessoreingangsanschluß auf die mindestens eine Ko prozessorausgangsgröße anspricht; und
einer DMA-Steuervorrichtung, die mit dem neuralen Netz-Koprozessor ver bunden ist, um nacheinander eine aus der Vielzahl der Eingangsgrößen zum neuralen Netz-Koprozessor zu übertragen;
wobei der neurale Netz-Koprozessor folgendes umfaßt:
einen Eingangsanschluß zum Empfang der nacheinander übertragenen Ein gangsgrößen aus der Vielzahl der Eingangsgrößen und zur Erzeugung entspre chender Ausgangsgrößen;
eine Vielzahl von Neuronen, wobei jedes Neuron mindestens eine Eingangs größe hat und eine Ausgangsgröße erzeugt;
eine Vorrichtung zur Verteilung der Ausgangsgrößen des Eingangsanschlus ses zu dem mindestens einen Eingang von jedem aus der Vielzahl von Neuronen; und
eine Vielzahl von Summierern, wobei jeder die Ausgangsgrößen von vorbe stimmten Neuronen summiert und die mindestens eine Koprozessorausgangsgröße erzeugt;
wobei jedes der Neuronen folgendes umfaßt:
eine erste Speichervorrichtung, die auf die Ausgangsgröße des Eingangsan schlußes anspricht, zur Speicherung mindestens eines Gewichtswertes, wobei auf jeden der mindestens einen Gewichtswerte durch den Mikroprozessor zugegriffen werden kann, und wobei auf jeden der mindestens einen Gewichtswerte durch die DMA-Steuervorrichtung zugegriffen werden kann; und
eine zweite Speichervorrichtung, die auf die Ausgangsgröße des Eingangs anschlusses anspricht, um eine Vielzahl von Torfunktionen zu speichern, wobei auf jede der Torfunktionen durch den Mikroprozessor zugegriffen werden kann; und wo bei auf jede der Torfunktionen durch die DMA-Steuervorrichtung zugegriffen werden kann.

2. Rechenvorrichtung nach Anspruch 1, wobei die Neuronen eine lineare Transfer funktion aufweisen.

3. Rechenvorrichtung nach Anspruch 1, wobei die Ausgangsgrößen von mindestens einigen Neuronen durch mehr als einen der Summierer summiert werden können.

4. Rechenvorrichtung nach Anspruch 1, wobei der Mikroprozessor iterativ ein Pro gramm ausführt, wobei dieses Programm Daten zu dem Ein gangsanschluß des Koprozessors überträgt und dieses Programm Daten von mindestens einem Ausgang des Koprozessors überträgt.

5. Rechenvorrichtung nach Anspruch 1, wobei die Rechenvorrichtung in einer inte grierten Schaltung enthalten ist.

6. Rechenvorrichtung nach Anspruch 1, wobei die Rechenvorrichtung auf einer ge druckten Leiterplatte enthalten ist.

7. Rechenvorrichtung nach Anspruch 1, wobei der neurale Netz-Koprozessor eine polynomische Erweiterung berechnet.

8. Rechenvorrichtung nach Anspruch 7, wobei die polynomische Erweiterung fol gende Form hat:
wobei y die Ausgangsgröße des neuralen Netz-Koprozessors darstellt;
wobei w_i-1 den Gewichtswert für das i-te Neuron darstellt;
wobei x₁, x₂, . . ., x_n die Eingangsgrößen des neuralen Netz-Koprozessors darstellen;
wobei g_1i, . . .., g_ni Torexponenten für das i-te Neuron, das diesen Eingän gen zugeführt wird, darstellen und auf diese Weise die Torfunktionen durch Torex ponenten gebildet werden; und
wobei n eine positive ganze Zahl ist.