DE19838654C1

DE19838654C1 - Verfahren zum Trainieren eines neuronalen Netzes, Verfahren zur Klassifikation einer Folge von Eingangsgrößen unter Verwendung eines neuronalen Netzes, neuronales Netz und Anordnung zum Trainieren eines neuronalen Netzes

Info

Publication number: DE19838654C1
Application number: DE19838654A
Authority: DE
Inventors: Gustavo Deco; Bernd Schuermann
Original assignee: Siemens Corp
Current assignee: Siemens Corp
Priority date: 1998-08-25
Filing date: 1998-08-25
Publication date: 1999-11-25
Anticipated expiration: 2018-08-26
Also published as: WO2000011601A2; ATE256898T1; EP1114398A2; DE59908130D1; WO2000011601A3; EP1114398B1

Abstract

Für einen ersten Zeitraum wird das neuronale Netz derart trainiert, daß ein Unterscheidungswert maximiert wird, wobei der Unterscheidungswert abhängig ist von Impulsen, die von den gepulsten Neuronen innerhalb des ersten Zeitraums gebildet werden. Iterativ wird der erste Zeitraum so lange verkürzt und für den zweiten Zeitraum ein zweiter Unterscheidungswert gebildet, bis der zweite Unterscheidungswert kleiner ist als der maximale Unterscheidungswert. Das trainierte neuronale Netz ist das neuronale Netz der letzten Iteration, bei der der zweite Unterscheidungswert gleich dem maximalen Unterscheidungswert ist.

Description

Die Erfindung betrifft ein Verfahren zum Trainieren eines neuronalen Netzes, ein Verfahren zur Klassifikation einer Folge von Eingangsgrößen unter Verwendung eines neuronalen Netzes sowie ein neuronales Netz und eine Anordnung zum Trai nieren eines neuronalen Netzes.

Ein neuronales Netz weist Neuronen auf, die zumindest teil weise miteinander verbunden sind. Eingangsneuronen des neuro nalen Netzes werden Eingangssignale als Eingangsgrößen zugeführt. Das neuronale Netz weist übli cherweise mehrere Schichten auf. Abhängig von einem Neuron des neuronalen Netzes zugeführten Eingangsgrößen und einer für das Neuron vorgesehenen Aktivierungsfunktion generiert jeweils ein Neuron ein Signal, welches wiederum Neuronen ei ner weiteren Schicht als Eingangsgröße gemäß einer vorgebba ren Gewichtung zugeführt wird. In einer Ausgangsschicht wird in einem Ausgangsneuron eine Ausgangsgröße abhängig von Grö ßen, die dem Ausgangsneuron von Neuronen der vorangegangenen Schicht zugeführt werden, generiert. Es existieren derzeit im wesentlichen zwei Ansätze hinsichtlich der Frage, in welcher Form Information in einem neuronalen Netz gespeichert ist.

Ein erster Ansatz geht davon aus, daß die Information in ei nem Neuronalen Netz im Spektralbereich codiert ist. Bei die sem Ansatz wird eine zeitliche Folge von Eingangsgrößen der art codiert, daß für jeden Zeitreihenwert einer zeitlichen Folge der Eingangsgrößen jeweils ein Eingangsneuron vorgese hen ist, an welches Eingangsneuron der jeweilige Zeitreihen wert gelegt wird.

Bei einem Neuronalen Netz, welches gemäß diesem Ansatz ausgestaltet ist, wird üblicherweise als Aktivierungsfunktion eine tangens hyperbolicus (tanh)-Funktion verwendet.

Diese erste Art eines Neuronalen Netzes wird im weiteren als statisches Neuronales Netz bezeichnet.

Nachteilig an diesem Ansatz ist insbesondere, daß es mit ei nem statischen neuronalen Netz nicht möglich ist, eine Dyna mik eines Prozesses, welchem Prozeß ein technisches System unterliegt, explizit bei der internen Codierung der Folge von Eingangsgrößen zu berücksichtigen.

Die aus [4] bekannten Time-Delay-Neural-Networks (TDNN) ver suchen diesem Nachteil dadurch zu begegnen, daß bei einer Mehrzahl von Folgen von Eingangsgrößen für jede Folge und für jeden Zeitreihenwert jeweils ein Eingangsneuron vorgesehen ist. Dieser Ansatz weist insbesondere den Nachteil auf, daß die Dimension des Eingaberaums, repräsentiert durch die An zahl von Eingangsneuronen, mit wachsender Anzahl zu berück sichtigender unterschiedlicher Folgen von Eingangsgrößen ex ponentiell wächst.

Mit steigender Anzahl von Neuronen in dem neuronalen Netz ist ferner ein erhöhter Trainingsaufwand unter Verwendung einer mit steigender Anzahl Neuronen steigender Anzahl benötigter Trainingsdaten verbunden. Damit wird ein Trainieren eines statischen neuronalen Netzes unter diesen Bedingungen sehr rechenaufwendig bzw. praktisch nicht mehr durchführbar.

Zum Trainieren eines statischen neuronalen Netzes wird übli cherweise ein gradientenbasiertes Trainingsverfahren bei spielsweise das Back-Propagation-Verfahren eingesetzt.

Aus [3] ist ferner für ein statisches neuronales Netz ein Trainingsverfahren bekannt, welches als ALOPEX-Verfahren be zeichnet wird. Bei diesem Verfahren wird das Lernen eines statischen neuronalen Netzes als ein Optimierungsproblem be trachtet. Ziel der Optimierung ist in diesem Fall die Mini mierung eines Fehlermaßes E unter Berücksichtigung von in dem statischen neuronalen Netz vorhandenen Gewichten, mit denen die Verbindungen zwischen Neuronen gewichtet sind, für einen vorgegebenen Trainingsdatensatz mit Trainingsdaten.

Ein Trainingsdatum ist ein Tupel, welches Eingangsgrößen, beispielsweise Zustandsgrößen eines technischen Systems bzw. Rahmenbedingungen, denen ein technisches System unterliegt, die einem technischen System zugeführt werden, sowie eine un ter den Rahmenbedingungen ermittelte Ausgangsgröße, die von dem technischen System zu den Eingangsgrößen gebildet wird.

Das ALOPEX-Verfahren wird im weiteren im Zusammenhang mit dem Ausführungsbeispiel näher erläutert.

Ein zweiter Ansatz ist darin zu sehen, daß die Information über ein System in dem Zeitbereich und in dem Spektralbereich codiert ist. Ein künstliches neuronales Netz, welches diesem Ansatz Rechnung trägt, weist sogenannte gepulste Neuronen auf und ist aus [2] bekannt.

Ein gepulstes Neuron wird gemäß [1] derart modelliert, daß das Verhalten eines gepulsten Neurons hinsichtlich einer ex ternen Stimulierung, die im weiteren als Eingangsgröße be zeichnet wird, durch eine stochastische Differentialgleichung des Itô-Typs gemäß folgender Vorschrift beschrieben wird:

In der Vorschrift (1) wird mit dW(t) ein Standard-Wiener- Prozeß bezeichnet. Eine vorgegebene Konstante τ beschreibt eine Verzögerung eines Membranpotentials V(t) des modellier ten Neurons ohne Eingangsgröße, die an dem Neuron anliegt. Durch das Modell wird ein biologisches Neuron in seinem Ver halten nachgebildet. Aus diesem Grund wird ein gepulstes Neu ron auch als biologisch orientiertes Neuron bezeichnet.

Ferner wird mit S(t) eine Kopplung des Neurons mit einem an deren Neuron bezeichnet, d. h. es gilt:

wobei mit t_i eine Ankommzeit bezeichnet wird, zu der ein ex terner Impuls an einem Eingang eines Neurons ankommt. Eine soma-synaptische Stärke wird durch eine synaptische Größe w modelliert.

In diesem Modell wird von dem gepulsten Neuron ein Impuls ge neriert, wenn das Membranpotential V(t) einen vorgegebenen Schwellenwert Θ erreicht. Nach Generierung des Impulses wird das Membranpotential V(t) des Neurons auf einen vorgegebenen Initialisierungs-Potentialwert V(0) zurückgesetzt.

Eine zeitliche Folge von Impulsen wird somit gemäß folgender Vorschrift beschrieben:

t'₀, ..., t'_k, ..., (3)

und genügt folgender Vorschrift:

Ferner ist aus [1] bekannt, daß unter der Annahme des oben beschriebenen Modells für ein gepulstes Neuron ein Unter scheidungswert I(T) gebildet werden kann, mit dem angegeben wird, mit welcher Verläßlichkeit eine Folge von Eingangsgrö ßen korrekt klassifiziert wird hinsichtlich der für ein Trai ning des neuronalen Netzes verwendeten Trainingsdaten.

Der Unterscheidungswert I(T) ist abhängig von Impulsen, die von den gepulsten Neuronen innerhalb eines Zeitraums [0; T] gebildet werden sowie von einer Trainings-Folge von Eingangs größen, die dem neuronalen Netz zugeführt werden. Der Unter scheidungswert I(T) genügt folgender Vorschrift:

wobei mit

- s die Eingangsgrößen bezeichnet werden,
- t_m ⁽ⁿ⁾ ein Impuls bezeichnet wird, der von einem gepulsten Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums [0, T] generiert wird,
- mit k_n (n = 1, ..., N) ein Zeitpunkt bezeichnet wird, zu dem das gepulste Neuron n den innerhalb des Zeitraums [0, T] letzten Impuls generiert hat,
- N eine Anzahl in dem Neuronalen Netz enthaltener gepulster Neuronen bezeichnet wird.

Für ein Neuronales Netz mit einer Mehrzahl von N Neuronen er gibt sich eine stochastische Differentialgleichung des Itô- Typs gemäß folgender Vorschrift:

wobei mit

- V_i(t) ein Membranpotential des i-ten Neurons bezeichnet wird (i = 1, ..., N),
- N eine Anzahl in dem Neuronalen Netz enthaltener Neuro nen bezeichnet wird,
- w_ij jeweils ein Gewicht einer Kopplung zwischen dem i- ten und dem j-ten Neuron bezeichnet wird, anschaulich eine synaptische Stärke zwischen den Neuronen i und j,
- Δ_ij eine vorgebbare axionale Verzögerungszeit eines Si gnals zwischen den Neuronen i und j bezeichnet wird,
- I_i(t) ein externes Stimulierungssignal des Neurons 1 be zeichnet wird.

Aus [4] ist ein Trainingsverfahren für ein Neuronales Netz bekannt. Bei diesem Verfahren wird das Neuronale Netz mit dem Modell eines technischen Systems in einen Regelkreis derart eingebunden, daß das Neuronale Netz als Ausgangsgröße minde stens eine Stellgröße an das Modell abgibt und das Modell aus der vom Neuronalnetz zugeführten Stellgröße mindestens eine Regelgröße erzeugt, die dem Neuronalen Netz als Eingangsgröße zugeführt wird. Die Stellgröße wird mit einem Rauschen von bekannter Rauschverteilung überlagert, bevor sie dem Modell zugeführt wird. Die Gewichte des Neuronalen Netzes werden in Reaktion auf die durch das aufgeprägte Rauschen veränderte Regelgröße wie folgt eingestellt: Es wird von einer Kosten funktion bewertet, ob die Gewichtsänderung am Netz eine Ver besserung der Regelgröße in Bezug auf ein Sollverhalten des Modells bewirkt hat und solche Gewichtseinstellungen werden durch die Kostenfunktion begünstigt.

Der Erfindung liegt das Problem zugrunde, ein Verfahren sowie eine Anordnung zum Trainieren eines Neuronalen Netzes mit ge pulsten Neuronen anzugeben. Ferner liegt der Erfindung das Problem zugrunde, ein Verfahren zur Klassifikation einer Fol ge von Eingangsgrößen unter Verwendung eines Neuronalen Net zes mit gepulsten Neuronen sowie ein Neuronales Netz mit ge pulsten Neuronen anzugeben.

Die Probleme werden durch die Verfahren und die Anordnung so wie durch das Neuronale Netz mit den Merkmalen der unabhängi gen Patentansprüche 1, 8, 11 und 14 gelöst.

Ein Verfahren zum Trainieren eines Neuronalen Netzes, welches gepulste Neuronen enthält, weist folgende Schritte auf:

a) für einen ersten Zeitraum wird das Neuronale Netz derart trainiert, daß ein Unterscheidungswert maximiert wird, wodurch ein maximaler erster Unterscheidungswert gebildet wird,
b) der Unterscheidungswert ist abhängig von Impulsen, die von den gepulsten Neuronen innerhalb des ersten Zeitraums gebildet werden sowie von einer Trainings-Folge von Eingangsgrößen, die dem Neuronalen Netz zugeführt werden,
c) rativ werden folgende Schritte durchgeführt:
- 1. der erste Zeitraum wird zu einem zweiten Zeitraum verkürzt,
- 2. für den zweiten Zeitraum wird ein zweiter Unterscheidungswert gebildet,
- 3. ist der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert, so erfolgt eine neue Iteration mit einem neuen zweiten Zeitraum, der durch Verkürzung des zweiten Zeitraums der vorangegangenen Iteration gebildet wird,
- 4. sonst wird das Verfahren beendet und das trainierte Neuronale Netz ist das Neuronale Netz der letzten Itera tion, bei der der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert ist.

Ein Verfahren zur Klassifikation einer Folge von Eingangsgrö ßen unter Verwendung eines neuronalen Netzes, welches gepul ste Neuronen enthält und gemäß folgenden Schritten trainiert worden ist, weist folgende Schritte auf:

a) für einen ersten Zeitraum wird das neuronale Netz derart trainiert, daß ein Unterscheidungswert maximiert wird, wodurch ein maximaler erster Unterscheidungswert gebildet wird,
b) der Unterscheidungswert ist abhängig von Impulsen, die von den gepulsten Neuronen innerhalb des ersten Zeitraums gebildet werden sowie von einer Trainings-Folge von Ein gangsgrößen, die dem neuronalen Netz zugeführt werden,
c) iterativ werden folgende Schritte durchgeführt:
- 1. der erste Zeitraum wird zu einem zweiten Zeitraum ver kürzt,
- 2. für den zweiten Zeitraum wird ein zweiter Unterschei dungswert gebildet,
- 3. ist der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert, so erfolgt eine neue Iteration mit einem neuen zweiten Zeitraum, der durch Verkürzung des zweiten Zeitraums der vorangegangen Iteration gebildet wird,
- 4. sonst wird das Verfahren beendet und das trainierte neuronale Netz ist das neuronale Netz der letzten Itera tion, bei der der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert ist,
- 5. die Folge von Eingangsgrößen wird dem neuronalen Netz zugeführt,
d) ein Klassifikationssignal wird gebildet, mit dem angege ben wird, welcher Art einer Folge von Eingangsgrößen die zugeführte Folge ist.

Ein neuronales Netz, welches gepulste Neuronen enthält, ist gemäß folgenden Schritten trainiert worden:

a) für einen ersten Zeitraum wird das neuronale Netz derart trainiert, daß ein Unterscheidungswert maximiert wird, wodurch ein maximaler erster Unterscheidungswert gebildet wird,
b) der Unterscheidungswert ist abhängig von Impulsen, die von den gepulsten Neuronen innerhalb des ersten Zeitraums gebildet werden sowie von einer Trainings-Folge von Ein gangsgrößen, die dem neuronalen Netz zugeführt werden,
c) iterativ werden folgende Schritte durchgeführt:
- 1. der erste Zeitraum wird zu einem zweiten Zeitraum ver kürzt,
- 2. für den zweiten Zeitraum wird ein zweiter Unterschei dungswert gebildet,
- 3. ist der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert, so erfolgt eine neue Iteration mit einem neuen zweiten Zeitraum, der durch Verkürzung des zweiten Zeitraums der vorangegangen Iteration gebildet wird,
- 4. sonst wird das Verfahren beendet und das trainierte neuronale Netz ist das neuronale Netz der letzten Itera tion, bei der der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert ist.

Eine Anordnung zum Trainieren eines neuronalen Netzes, wel ches gepulste Neuronen enthält, weist einen Prozessor auf, der derart eingerichtet ist, daß folgende Schritte durchführ bar sind:

a) für einen ersten Zeitraum wird das neuronale Netz derart trainiert, daß ein Unterscheidungswert maximiert wird, wodurch ein maximaler erster Unterscheidungswert gebildet wird,
b) der Unterscheidungswert ist abhängig von Impulsen, die von den gepulsten Neuronen innerhalb des ersten Zeitraums gebildet werden sowie von einer Trainings-Folge von Ein gangsgrößen, die dem neuronalen Netz zugeführt werden,
c) iterativ werden folgende Schritte durchgeführt:
- 1. der erste Zeitraum wird zu einem zweiten Zeitraum ver kürzt,
- 2. für den zweiten Zeitraum wird ein zweiter Unterschei dungswert gebildet,
- 3. ist der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert, so erfolgt eine neue Iteration mit einem neuen zweiten Zeitraum, der durch Verkürzung des zweiten Zeitraums der vorangegangenen Iteration gebildet wird,
- 4. sonst wird das Verfahren beendet und das trainierte neuronale Netz ist das neuronale Netz der letzten Itera tion, bei der der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert ist.

Durch die Erfindung wird es möglich, mittels eines neuronalen Netzes, welches gepulste Neuronen enthält, eine zeitliche Folge von Eingangsgrößen zu klassifizieren, wobei gewährlei stet ist, daß bei optimierter Klassifikationssicherheit eine minimierte Anzahl von Zeitwerten dem neuronalen Netz zur Klassifikation zugeführt werden müssen.

Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Bevorzugt wird zur Maximierung des ersten Unterscheidungs werts und/oder des zweiten Unterscheidungswerts ein nicht gradientenbasiertes Optimierungsverfahren eingesetzt, bevor zugt ein auf dem ALOPEX-Verfahren basierendes Optimierungs verfahren.

Der erste Unterscheidungswert genügt vorzugsweise folgender Vorschrift:

wobei mit

In einer weiteren Ausgestaltung genügt der erste Unterschei dungswert folgender Vorschrift

mit

wobei mit

- s^(j) eine Eingangsgröße bezeichnet wird, die an das Neurona le Netz zu einem Zeitpunkt j angelegt wird,
- p_j eine Wahrscheinlichkeit dafür bezeichnet wird, daß zu einem Zeitpunkt j die Eingangsgröße s^(j) an das Neuronale Netz angelegt wird,
- p(out|s^(j)) eine bedingte Wahrscheinlichkeit dafür bezeichnet wird, daß ein puls von einem gepulsten Neuron in dem Neurona len Netz generiert wird unter der Bedingung, daß zu einem Zeitpunkt j die Eingangsgröße s^(j) an das Neuronale Netz an gelegt wird.

Die Trainings-Folgen von Eingangsgrößen sind bevorzugt gemes sene physikalische Signale.

Somit sind die Verfahren und die Anordnungen im Rahmen der Beschreibung eines technischen Systems, insbesondere zur Be schreibung bzw. Untersuchung eines mehrkanaligen Signals, welches durch einen Elektroencephalographen aufgenommen wor den ist und ein Elektroencephalogramm beschreibt, einsetzbar.

Die Verfahren und die Anordnungen können ferner zur Analyse multivarianter Finanzdaten in einem Finanzmarkt zur Analyse ökonomischer Zusammenhänge eingesetzt werden.

Die beschriebenen Verfahrensschritte können sowohl in Soft ware für den Prozessor als auch in Hardware, d. h. mittels ei ner Spezialschaltung, realisiert werden.

Ein Ausführungsbeispiel der Erfindung ist in den Figuren dar gestellt und wird im weiteren näher erläutert.

Es zeigen

Fig. 1 ein Ablaufdiagramm, indem die einzelnen Verfahrens schritte des Ausführungsbeispiels dargestellt sind;

Fig. 2 eine Skizze eines Elektroencephalographen und einen Patienten, für den ein Elektroencephalogramm erstellt wird;

Fig. 3 eine Skizze eines neuronalen Netzes gemäß dem Ausfüh rungsbeispiel;

Fig. 4 eine Skizze, anhand der das Prinzip, welches dem Aus führungsbeispiel zugrunde liegt, dargestellt wird.

Fig. 2 zeigt einen Patienten 200, an dessen Kopf 201 Sensoren 202, 203, 204, 205 und 206 angebracht sind zur Aufnahme von Gehirnstömen. Von den Sensoren 202, 203, 204, 205, 206 aufge nommene elektrische Signale 207, 208, 209, 210 und 211 werden einem Elektroencephalographen 220 über eine erste Eingangs- /Ausgangsschnittstelle 221 zugeführt. Der Elektroencephalo graph 220 weist mehrere Eingangskanäle auf. Über die Ein gangs-/Ausgangsschnittstelle 221, die mit einem Analog- /Digital-Wandler 222 verbunden ist, werden die elektrischen Signale dem Elektroencephalographen 220 zugeführt und in dem Analog-/Digital-Wandler 222 digitalisiert und jedes aufgenom mene elektrische Signal wird als eine Folge von Zeitreihen werten in einem Speicher 223 gespeichert.

Somit ist eine Folge von Zeitreihenwerten durch ein Abtastin tervall sowie durch eine Zeitdauer, im weiteren als Zeitraum bezeichnet, charakterisiert, während der jeweils ein elektri sches Signal aufgenommen wird. Der Speicher 223 ist mit dem Analog-/Digital-Wandler 222 sowie mit einem Prozessor 224 und einer zweiten Eingangs-/Ausgangsschnittstelle 225 über einen Bus 226 verbunden.

Mit der zweiten Eingangs-/Ausgangsschnittstelle 225 ist fer ner über ein erstes Kabel 227 ein Bildschirm 228, über ein zweites Kabel 229 eine Tastatur 230 und über ein drittes Ka bel 231 eine Computermaus 232 verbunden.

Auf dem Bildschirm 228 werden Ergebnisse der Untersuchung des Patienten 200 dargestellt. Über die Tastatur 230 bzw. die Computermaus 232 können von einem Benutzer (nicht darge stellt) Eingaben in das System erfolgen.

Der Prozessor 224 ist derart eingerichtet, daß die im weite ren beschriebenen Verfahrensschritte durchführbar sind.

Jeweils eine Folge von Zeitreihenwerten sowie eine Angabe, welcher Klasse von Zeitreihenwerten die Folge von Zeitreihen werten zuzuordnen ist, bilden ein Trainingsdatum.

Eine Vielzahl von Trainingsdaten bilden einen Trainingsdaten satz, mit dem ein im weiteren beschriebenes neuronales Netz 301 trainiert wird.

Fig. 3 zeigt das neuronale Netz 301 mit gepulsten Neuronen.

An jeweils ein Eingangsneuron 302, 303, 304 einer Eingangs schicht 305 wird jeweils eine Folge 306, 307, 308 von Zeit reihenwerten angelegt. Jeder angelegten Folge 306, 307, 308 von Zeitreihenwerten ist im Rahmen des Trainingsverfahrens eine Angabe zugeordnet, ob es sich bei dieser Folge 306, 307, 308 der Zeitreihenwerte, im weiteren als Eingabemuster 306, 307, 308 bezeichnet, um ein Eingabemuster 306, 307, 308 einer ersten Klasse oder um ein Eingabemuster 306, 307, 308 einer zweiten Klasse handelt.

Jeweils ein Eingangsneuron 302, 303, 304 ist mit einem Zwi schenneuron 309, 310, 311 einer Zwischenschicht 312 jeweils über eine gewichtete Verbindung 313, 314, 315 verbunden.

Die Zwischenneuronen 309, 310, 311 sind miteinander über Ver bindungen 316, 317, 318, 319, 320, 321 verbunden, die eben falls gewichtet sind.

Die Zwischenneuronen 309, 310, 311 sind ferner mit weiteren gepulsten Neuronen 322, 323, 324 über gewichtete Verbindungen 325, 326, 327, 328, 329 und 330 verbunden.

Die gepulsten Neuronen weisen jeweils das oben beschriebene Verhalten auf, welches in [2] dargestellt ist.

Die Zwischenneuronen 309, 310, 311 sind mit mehreren Zwi schenneuronen 309, 310, 311 verbunden, jeweils die weiteren gepulsten Neuronen 322, 323, 324 sind jeweils mit genau einem Zwischenneuron 309, 310, 311 verbunden. Auf diese Weise ist es möglich, eine lang reichende Beeinflussung zwischen Neuro nen eines neuronalen Netzes sowie auch eine lokale Beeinflus sung von Neuronen innerhalb des Neuronalen Netzes zu model lieren.

Mit den weiteren gepulsten Neuronen 322, 323, 324 ist ein Ausgangsneuron 331 über gewichtete Verbindungen 332, 333 und 334 verbunden. Von dem Ausgangsneuron 331 wird ein Ausgangs signal 335 gebildet, mit dem angegeben wird, welcher Klasse das Eingabemuster 306, 307, 308 zugehörig ist.

In der Trainingsphase des neuronalen Netzes 301 wird die Aus gangsgröße 335 mit der dem jeweiligen Eingabemuster zugeord neten Klassifikationsangabe verglichen und es wird ein Feh lersignal E gebildet, welches verwendet wird zur Anpassung der Gewichte, der in dem Neuronalen Netz 301 vorhandenen Ver bindungen zwischen den Neuronen.

Als Trainingsverfahren wird im Rahmen dieses Ausführungsbei spiels das nicht gradientenbasierte Verfahren gemäß dem ALOPEX-Verfahren eingesetzt. Das Ziel des ALOPEX-Verfahrens ist die Minimierung eines Fehlermaßes E unter Berücksichti gung und Adaptierung der Gewichte w_bc für einen Trainingsda tensatz.

Das ALOPEX-Verfahren wird im weiteren näher erläutert.

Ein Neuron b ist mit einem Neuron c über eine Verbindung ver bunden, die mit dem Gewicht w_bc gewichtet ist. Während einer f-ten Iteration wird das Gewicht w_bc gemäß folgender Vor schrift aktualisiert:

w_bc(f) = w_bc(f - 1) + δ_bc(f), (10)

wobei mit δ_bc(f) eine kleine positive oder negative vorgege bene Schrittweite δ gemäß folgender Vorschrift bezeichnet wird:

Eine Wahrscheinlichkeit p_bc(f) wird gebildet gemäß folgender Vorschrift:

wobei C_bc(f) gemäß folgender Vorschrift gebildet wird:

C_bc(f) = Δw_bc(f) ΔE(f). (13)

Mit T(f) wird ein vorgebbarer Wert bezeichnet. Mit Δw_bc(f) und ΔE(f) werden die Gewichtsänderungen Δw_bc(f) der Gewichte w_bc bzw. die Änderung ΔE(f) des Fehlermaßes E während der vorangegangenen zwei Iterationen bezeichnet gemäß folgenden Vorschriften:

Δw_bc(f) = w_bc(f - 1) + w_bc(f - 2), (14)

ΔE_bc(f) = E_bc(f - 1) + E_bc(f - 2). (15)

Der vorgegebene Wert T(f) wird alle F Iterationen aktuali siert gemäß folgender Vorschrift:

wenn f ein ganzzahliges Vielfaches von F ist, und

T(f) = T(f - 1) sonst, (17)

wobei mit M eine Anzahl von Verbindungen in dem neuronalen Netz 301 bezeichnet wird.

Gleichung (16) kann vereinfacht werden zu folgender Vor schrift:

Das neuronale Netz 301 wird unter Verwendung des Trainingsda tensatzes gemäß dem oben beschriebenen Trainingsverfahren trainiert.

Ferner wird ein erster Unterscheidungswert I(T) für das neu ronale Netz 301 gemäß folgender Vorschrift gebildet:

wobei mit

Der erste Unterscheidungswert I(T) entspricht anschaulich der Differenz folgender Entropien:

I(T) = H(out) - H(out|s)_s, (20)

mit

und

Damit ergibt sich der erste Unterscheidungswert I(T) gemäß folgender Vorschrift:

mit

wobei mit

- s^(j) eine Eingangsgröße bezeichnet wird, die an das Neurona le Netz zu einem Zeitpunkt j angelegt wird,
- p_j eine Wahrscheinlichkeit dafür bezeichnet wird, daß zu einem Zeitpunkt j die Eingangsgröße s^(j) an das Neuronale Netz angelegt wird,
- p(out|s^(j)) eine bedingte Wahrscheinlichkeit dafür bezeichnet wird, daß ein Impuls von einem gepulsten Neuron in dem Neurona len Netz generiert wird unter der Bedingung, daß zu einem Zeitpunkt j die Eingangsgröße s^(j) an das Neuronale Netz an gelegt wird.

Ist im Rahmen des Trainings des neuronalen Netzes 301 ein ma ximaler erster Unterscheidungswert I(T) ermittelt worden, so bedeutet dies, daß das in dem ersten Zeitraum beobachtete Eingangsmuster 306, 307, 308 genug Information enthält, um mit ausreichender Verläßlichkeit das Eingabemuster zu klassi fizieren.

Anschaulich wird im Rahmen des Trainings für einen ersten Zeitraum [0; T] der erste Unterscheidungswert I(T) gebildet (Schritt 101) (vgl. Fig. 1).

In einem weiteren Schritt (Schritt 102) wird ein zweiter Zeitraum durch Verkürzung des ersten Zeitraums gebildet:
[0; T'], wobei T' < T.

Für den zweiten Zeitraum [0; T'] wird in einem weiteren Schritt (Schritt 103) ein zweiter Unterscheidungswert I(T') auf die gleiche, oben beschriebene Weise wie der erste Unter scheidungswert I(T) gebildet.

Der erste Unterscheidungswert I(T) wird mit dem zweiten Un terscheidungswert I(T') verglichen (Schritt 104).

Ist der zweite Unterscheidungswert I(T') gleich dem ersten Unterscheidungswert I(T), so wird ein neuer zweiter Zeitraum durch Verkürzung des zweiten Zeitraums [0; T'] gebildet (Schritt 105) und der neue zweite Zeitraum wird als der zwei te Zeitraum angesehen (Schritt 106). Für den zweiten Zeitraum der neuen Iteration wird wiederum ein zweiter Unterschei dungswert I(T') (Schritt 103) gebildet.

Anschaulich bedeutet dieses iterative Verfahren, daß der Zeitraum, in dem von den gepulsten Neuronen generierte Impul se berücksichtigt werden zur Bildung des Ausgangssignals so lange verkürzt wird, bis der zweite Unterscheidungswert I(T') ungleich dem ersten Unterscheidungswert I(T) ist.

Ist der zweite Unterscheidungswert I(T') kleiner als der er ste Unterscheidungswert, so wird das neuronale Netz 301 als optimiertes neuronales Netz betrachtet, welches in der letz ten vorangegangenen Iteration trainiert wurde, bei dem der zweite Unterscheidungswert I(T') nicht kleiner als der erste Unterscheidungswert I(T) war (Schritt 107).

Der jeweils berücksichtigte Zeitraum wird in diskrete Unter zeiträume unterteilt, für die jeweils lediglich ermittelt wird, ob während dieses Unterzeitraums ein Neuron einen Im puls generiert hat oder nicht.

Auf diese Weise wird der für das Training benötigte Rechen aufwand erheblich reduziert.

Zur weiteren Veranschaulichung wird das Prinzip anhand Fig. 4 noch einmal erläutert.

Fig. 4 zeigt zwei kontinuierliche Prozesse p1 und p2, die durch eine Menge von kontinuierlichen Eingangssignalen S1 und S2 gebildet sind. Nach entsprechender, oben beschriebener Di gitalisierung liegen zwei Folgen von Eingangsgrößen vor, die Eingabemuster. Die Eingabemuster werden dem trainierten neu ronalen Netz 401 in einer Anwendungsphase zugeführt, und es wird anhand der Zeitreihen für das trainierte neuronale Netz 401 anschaulich eine raum-zeitliche Codierung der Prozesse p1, p2 durchgeführt.

Anhand eines Ausgangssignals 402 wird durch das trainierte neuronale Netz 401 angegeben, um welche Art von Prozeß es sich bei dem Eingabemuster handelt. Das trainierte neuronale Netz 401 weist die Eigenschaft auf, daß zum einen die Zuver lässigkeit der Klassifikation optimiert ist und zum anderen eine minimale Anzahl von Zeitreihenwerten, also ein minimaler zweiter Zeitraum 403 erforderlich ist, um die Klassifikation verläßlich durchzuführen.

Im weiteren werden einige Alternativen zu dem oben beschrie benen Ausführungsbeispiel dargestellt:

Die Anzahl von Eingängen, gepulsten Neuronen sowie Ausgangs signalen ist im allgemeinen beliebig. Auch die Anzahl ver schiedener Folgen von Zeitreihenwerten im Rahmen der Klassi fikation sowie des Trainings ist beliebig. Damit ist eine Elektroencephalogramm-Analyse für eine beliebige Anzahl von Kanälen zur Tumorcharakterisierung möglich.

In diesem Dokument sind folgende Veröffentlichungen zitiert:
[1] G. Deco und B. Schürmann, Information Transmission and Temporal Code in Central Spiking Neurons, Physical Re view Letters, Vol. 79, Nr. 23, S. 4697-4700, December 1997
[2] W. Gerstner, Time structure of the activity in neural network models, Physical Review E, Vol. 51, Nr. 1, S. 738-758, January 1995
[3] K. P. Unnikrishnan and K. P. Venugopal, Alopex: A Correla tion-Based Learning Algorithm for Feedforward and Recur rent Neural Networks, S. 471-490, Neural Computation, Vol. 6, 1994
[4] DE 195 31 967 C2

Claims

1. Verfahren zum Trainieren eines Neuronalen Netzes, welches gepulste Neuronen enthält,

a) bei dem für einen ersten Zeitraum ([0; T]) das Neuronale Netz derart trainiert wird, daß ein Unterscheidungswert maximiert wird, wodurch ein maximaler erster Unterschei dungswert gebildet wird,
b) bei dem der Unterscheidungswert abhängig ist von Impul sen, die von den gepulsten Neuronen innerhalb des ersten Zeitraums gebildet werden sowie von einer Trainings-Folge von Eingangsgrößen, die dem Neuronalen Netz zugeführt werden,
c) bei dem iterativ folgende Schritte durchgeführt werden:
- 1. der erste Zeitraum wird zu einem zweiten Zeitraum ver kürzt,
- 2. für den zweiten Zeitraum wird ein zweiter Unterschei dungswert gebildet,
- 3. ist der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert, so erfolgt eine neue Iteration mit einem neuen zweiten Zeitraum, der durch Verkürzung des zweiten Zeitraums der vorangegangenen Iteration gebil det wird,
- 4. sonst wird das Verfahren beendet und das trainierte Neuronale Netz ist das Neuronale Netz der letzten Itera tion, bei der der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert ist.

2. Verfahren nach Anspruch 1, bei dem zur Maximierung des ersten Unterscheidungswerts und/oder des zweiten Unterscheidungswerts ein nichtgradien tenbasiertes Optimierungsverfahren eingesetzt wird.

3. Verfahren nach Anspruch 2, bei dem das Optimierungsverfahren auf dem ALOPEX-Verfahren basiert.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem der erste Unterscheidungswert I(T) folgender Vor schrift genügt:
wobei mit

1. s die Eingangsgrößen bezeichnet werden,
2. t_m ⁽ⁿ⁾ein Impuls bezeichnet wird, der von einem gepulsten Neuron n zu einem Zeitpunkt m innerhalb eines Zeitraums [0, T] generiert wird,
3. k_n (n = 1, ..., N) ein Zeitpunkt bezeichnet wird, zu dem das gepulste Neuron n den innerhalb des Zeitraums [0, T] letzten Impuls generiert hat,
4. N eine Anzahl in dem Neuronalen Netz enthaltener gepulster Neuronen bezeichnet wird.

5. Verfahren nach Anspruch 4, bei dem der erste Unterscheidungswert I(T) folgender Vor schrift genügt:
mit
wobei mit

1. s^(j) eine Eingangsgröße bezeichnet wird, die an das Neurona le Netz zu einem Zeitpunkt j angelegt wird,
2. p_j eine Wahrscheinlichkeit dafür bezeichnet wird, daß zu einem Zeitpunkt j die Eingangsgröße s^(j) an das Neuronale Netz angelegt wird,
3. p(out|s^(j)) eine bedingte Wahrscheinlichkeit dafür bezeichnet wird, daß ein Impuls von einem gepulsten Neuron in dem Neu ronalen Netz generiert wird unter der Bedingung, daß zu ei nem Zeitpunkt j die Eingangsgröße s^(j) an das Neuronale Netz angelegt wird.

6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem die Trainings-Folge von Eingangsgrößen gemessene phy sikalische Signale sind.

7. Verfahren nach Anspruch 6, bei dem die Trainings-Folge von Eingangsgrößen gemessene Si gnale eines Electroencephalogramms sind.

8. Verfahren zur Klassifikation einer Folge von Eingangsgrö ßen unter Verwendung eines Neuronalen Netzes, welches gepul ste Neuronen enthält und gemäß folgenden Schritten trainiert worden ist:

a) für einen ersten Zeitraum wird das Neuronale Netz derart trainiert, daß ein Unterscheidungswert maximiert wird, wodurch ein maximaler erster Unterscheidungswert gebildet wird,
b) der Unterscheidungswert ist abhängig von Impulsen, die von den gepulsten Neuronen innerhalb des ersten Zeitraums gebildet werden sowie von einer Trainings-Folge von Ein gangsgrößen, die dem Neuronalen Netz zugeführt werden,
c) iterativ werden folgende Schritte durchgeführt:
- 1. der erste Zeitraum wird zu einem zweiten Zeitraum ver kürzt,
- 2. für den zweiten Zeitraum wird ein zweiter Unterschei dungswert gebildet,
- 3. ist der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert, so erfolgt eine neue Iteration mit einem neuen zweiten Zeitraum, der durch Verkürzung des zweiten Zeitraums der vorangegangenen Iteration gebil det wird,
- 4. sonst wird das Verfahren beendet und das trainierte Neuronale Netz ist das Neuronale Netz der letzten Itera tion, bei der der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert ist,
d) bei dem die Folge von Eingangsgrößen dem Neuronalen Netz zugeführt wird,
e) bei dem ein Klassifikationssignal gebildet wird, mit dem angegeben wird, welcher Art einer Folge von Eingangsgrößen die zugeführte Folge ist.

9. Verfahren nach Anspruch 8, bei dem die Trainings-Folge von Eingangsgrößen und die Folge von Eingangsgrößen gemessene physikalische Signale sind.

10. Verfahren nach Anspruch 9, bei dem die Trainings-Folge von Eingangsgrößen und die Folge von Eingangsgrößen gemessene Signale eines Electroencephalo gramms sind.

11. Neuronales Netz, welches gepulste Neuronen enthält und gemäß folgenden Schritten trainiert worden ist:

a) für einen ersten Zeitraum wird das Neuronale Netz derart trainiert, daß ein Unterscheidungswert maximiert wird, wodurch ein maximaler erster Unterscheidungswert gebildet wird,
b) der Unterscheidungswert ist abhängig von Impulsen, die von den gepulsten Neuronen innerhalb des ersten Zeitraums gebildet werden sowie von einer Trainings-Folge von Ein gangsgrößen, die dem Neuronalen Netz zugeführt werden,
c) iterativ werden folgende Schritte durchgeführt:
- 1. der erste Zeitraum wird zu einem zweiten Zeitraum ver kürzt,
- 2. für den zweiten Zeitraum wird ein zweiter Unterschei dungswert gebildet,
- 3. ist der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert, so erfolgt eine neue Iteration mit einem neuen zweiten Zeitraum, der durch Verkürzung des zweiten Zeitraums der vorangegangenen Iteration gebil det wird,
- 4. sonst wird das Verfahren beendet und das trainierte Neuronale Netz ist das Neuronale Netz der letzten Itera tion, bei der der zweite Unterscheidungswert gleich dem ersten Unterscheidungswert ist.

12. Verwendung des Neuronalen Netzes nach Anspruch 11 zur Klassifikation eines physikalischen Signals.

13. Verwendung des Neuronalen Netzes nach Anspruch 11 zur Klassifikation eines Signals eines Electroencephalogramms.

14. Anordnung zum Trainieren eines Neuronalen Netzes, welches gepulste Neuronen enthält, mit einem Prozessor, der derart eingerichtet ist, daß folgen de Schritte durchführbar sind:

15. Verwendung der Anordnung nach Anspruch 14 zur Klassifika tion eines physikalischen Signals.

16. Verwendung der Anordnung nach Anspruch 14 zur Klassifika tion eines Signals eines Electroencephalogramms.