-
Technisches
Gebiet
-
Die vorliegende Erfindung betrifft
im Allgemeinen Datenverarbeitungssysteme und Verfahren. Sie betrifft
genauer die Erzeugung eines künstlichen,
aus einem neuronalen Netzwerk erzeugten Fuzzy-Expertensystem, aus
welchem ein genauer, kompakter, interpretierbarer und sinnvoller
Satz von Regeln extrahiert werden kann.
-
Hintergrund
-
Klassifizierungsalgorithmen, welche
auf Online-Lernen basieren, wie etwa künstliche neuronale Netzwerke,
besitzen die Fähigkeit,
Beziehungen zwischen Eingaben und ihren entsprechenden Klassifizierungslabeln
in einer inkrementellen Art und Weise zu abstrahieren. Wenn mehrere
Punkte der Eingabe/Ausgabe-Abbildung abgetastet werden, ist der
Algorithmus in der Lage, Entscheidungsgrenzen zu erzeugen, welche
die verschiedenen Klassen in nicht linearer Art und Weise trennen.
Eine wichtige Klasse von Online-Lernalgorithmen
basiert auf der adaptiven Resonanztheorie (ART). ART-basierte lernende
Systeme sind in der Lage, sowohl binäre als auch analoge Eingaben
online zu lernen und zu klassifizieren. In der Literatur kann man
verschiedene Varianten von ART-Systemen finden, wie etwa Fuzzy-ARTMAP,
PROBART und Gauss'sche ARTMAP.
Diese Systeme sind in der Lage, online überwacht zu lernen. Der Hauptnachteil
bei diesem Algorithmus ist ihre Empfindlichkeit gegenüber Rauschen
in den Trainingsdaten, was zu der Erzeugung einer untragbar großen Anzahl
von Regeln für
eine Klassifizierung führt.
Es wurden Anstrengungen unternommen, Methoden zu entwickeln, um
die Empfindlichkeit gegenüber
Rauschen zu minimieren und ebenso das Verhältnis zwi schen Vorhersagegenauigkeit
zu der für
eine Klassifizierung erforderlichen Anzahl von Regeln zu verbessern. Zusätzlich zu
ihrer Rauschempfindlichkeit sind ART-basierte lernende Systeme einer
Implementation in Hardware nicht zugänglich, da einige zusätzliche
Schritte unternommen werden müssen,
um Regeln zu extrahieren, welche in eine unscharfe Inferenzform
gebracht werden können.
Daher sind ART-basierte lernende Systeme im Allgemeinen als Software
implementiert, was wesentlich langsamer ist als ein analoges Hardwaresystem
wäre. Dies
ist weiterhin mit der Tatsache verbunden, dass diese Algorithmen
dazu neigen, eine große
Anzahl von Klassifizierungsregeln zu erzeugen.
-
Eine weitere Klasse von online lernenden
Algorithmen basiert auf der Extraktion von Wissen in der Form von
unscharfen Regeln durch Einstellen der Parameter eines fuzzy-logischen
Inferenznetzwerks. Traditionell bestehen Fuzzy-Systeme aus einem
Satz von unscharfen Wenn-Dann-Regeln, welche basierend auf Wissen
eines Domänenexperten
abgeleitet sind. Schlussfolgerungen an der Ausgabe für eine neue
Eingabe werden dann auf der Grundlage dieser Regeln unter Verwendung
des Fuzzy-Inferenznetzwerks getroffen. Dieser Ansatz basiert jedoch
auf einer heuristischen Beobachtung des Systems durch den Experten,
um die geeigneten Regeln zu extrahieren. Um diesen Nachteil zu überwinden,
bestehen verschiedene Ansätze,
welche darauf abzielen, unscharfe Wenn-Dann-Regeln direkt von numerischen
Daten abzuleiten, welche von dem System beobachtet werden. Hauptsächlich hängen diese
Ansätze
von einer Optimierung von Fuzzy-Systemparametern offline von numerischen
Daten ab, um die unscharfen Regeln zu erhalten. Somit sind diese
Systeme nicht in der Lage, inkrementell zu lernen.
-
Eine weitere Klasse von lernenden
Systemen ist das Fuzzy-Inferenznetzwerk, von welchem ein Beispiel
das selbstaufbauende Fuzzy-Inferenznetzwerk (SONFIN) darstellt.
Das SONFIN ist in der Lage, eine Basis von unscharfen Regeln selbst-organisiert
und online aus numerischen Daten abzuleiten. Da die SONFIN-Architektur
auf Grundlage von Fuzzy-Inferenzsystemen aufgebaut ist, kann das
Netzwerk auf Grundlage seiner Regelbasis zu jeder beliebigen gegebenen
Zeit Schlussfolgerungen an jeden beliebigen Eingabedaten treffen.
Dies macht das SONFIN zu einem attraktiven Netzwerk für viele
Echtzeitanwendungen, bei welchen sich die Umgebung dynamisch verändert und
somit besteht eine Notwendigkeit, Wissen von dem System in der Form
von unscharfen Regeln zu abstrahieren. Das SONFIN arbeitet sehr
gut für
eine Klassifizierung/funktionelle Abbildung von niedrigdimensionalen
Eingabedaten. Wenn jedoch die Dimensionen des Eingaberaums zunimmt
(wie etwa dort, wo die Anzahl an Eingabemerkmalen 10 übersteigt),
ist der Algorithmus aufgrund eines mit der Lernregel zusammenhängenden
Problems für
ein Lernen ineffektiv. Die Unfähigkeit,
ein angemessenes Lernen durchzuführen,
wandelt das SONFIN im Wesentlichen zu einem schlechten Clusteralgorithmus, was
somit zu schlechten Lern- und Vorhersagefähigkeiten und ebenso zu einer
größeren Anzahl
von unscharfen Regeln führt.
-
In 1 ist
ein Flussdiagramm bereitgestellt, welches den Betrieb des SONFIN
zeigt. Ein Abschnitt des Flussdiagramms repräsentiert ein gattungsgemäßes Fuzzy-Inferenznetzwerk 100.
Das SONFIN stellt die Anpassungen bereit, welche notwendig sind,
um ein Online-Lernen bereitzustellen. In einem Eingabeschritt 102 wird
dem Fuzzy-Inferenznetzwerk 100 ein N-dimensionales Eingabemuster
bereitgestellt. Das Fuzzy-Inferenznetzwerk 100 berechnet
dann die Zugehörigkeitswerte
(„Membership
Values") für jede Eingabedimension
für jede
Regel in einem Zugehörigkeitswert-Berechnungsschritt 104.
In einem Auslösestärke-Prüfschritt 106 wird
die Auslösestärke („Firing
Strength") der Regeln
basierend auf der Eingabe bestimmt und überprüft, um zu bestimmen, ob sie
eine vorbestimmte Schwelle übersteigt.
Dann, wenn die Auslösestärke die
Schwelle übersteigt,
berechnet das Fuzzy-Inferenznetzwerk 100 normalisierte
Regelstärken
für die
Regel in einem Normalisierungsschritt 108. Das Fuzzy-Inferenznetzwerk 100 berechnet
dann in einem Defuzzifizierungsschritt 110 eine Ausgabe
unter Verwendung von Schwerpunkt-Defuzzifizierung. Im stati schen
Betrieb eines trainierten Netzwerks ist das Ergebnis des Defuzzifizierungsschritts 110 die
Ausgabe des Fuzzy-Inferenznetzwerks 100. Bei dem SONFIN
wird die Ausgabe des Fuzzy-Inferenznetzwerks 100 einem
Rückwärtsausbreitungsalgorithmus
(back-propagation Algorithm) bereitgestellt, bei welchem die Regelparameter
in einem Rückwärtsausbreitungsschritt 112 aktualisiert
werden. Es wird eine Überprüfung durchgeführt, um
zu bestimmen, ob mehr Eingaben vorhanden sind und der Zyklus beginnt
erneut. Dann, wenn die Auslösestärke der
Regeln kleiner als die Schwelle war und wenn die Regel einem Fuzzy-Ähnlichkeitsmaß nicht
genügt,
wird in einem Regelerzeugungsschritt 114 eine neue Regel
erzeugt mit neuen Zugehörigkeitsfunktionen
entlang jeder Eingabedimension.
-
Obwohl SONFIN ein selbstorganisiertes
und online lernendes System bereitstellt, weist es einen wesentlichen
Nachteil auf, da seine Leistung von der Anzahl an Eingabedimensionen
abhängt.
Somit ist SONFIN für
eine Online-Klassifizierung
von hochdimensionalen Daten tatsächlich
nutzlos, wie etwa jene, welche bei Anwendungen auftreten, wie etwa
eine Fahrzeuginsassenerfassung, Wettervorhersage, sowie Börsenanalyse/Wirtschaftsvorhersage.
-
Es ist daher wünschenswert, ein selbstorganisiertes,
online lernendes System bereitzustellen, dessen Leistung von der
Anzahl von Eingabedimensionen unabhängig ist. Da ein solches System
in der Lage wäre, sein
erlerntes Wissen in der Form von unscharfen Regeln zu erklären, kann
das System mit neuen Daten unter Verwendung jener Regeln ohne jegliche
Verzögerung
ausgewertet werden, was somit während
eines Entwickelns eines lernenden Systems erhebliche Zeit und einen
erheblichen Datensammlungsaufwand einspart. Ein weiterer Vorteil
ist, dass dann, wenn ein Erhöhen
der Anzahl von Eingabedimensionen die Anzahl von Merkmalen erhöhen würde, keine
Notwendigkeit bestehen würde,
die Parameter des Netzwerks zu bearbeiten und das System in seiner
Lernfähigkeit
keinen Nachteil aufweisen würde.
Somit wäre
das System robuster und flexibel für eine Bewertung unterschiedlicher
Klassifikationsstrategien.
-
Verweise, welche in Bezug auf neuronale
Netzwerke und ihre Verwendung bei einer Klassifizierung unter Einbeziehung
hochdimensionaler Probleme von Interesse sind, umfassen die folgenden:
- 1. Juang, C.F., und Lin, C.T., "An On-Line Self-Constructing Neural
Fuzzy Inference Network and its Application", IEEE Transactions on Fuzzy Systems,
Bd.6, Nr.1, S.12-32, Februar 1998.
- 2. Carpenter, G.A., und Grossberg, S., "The ART of adaptive pattern recognition
by a self-organizing neural network", Computer, Bd.21, S.77-88, 1988.
- 3. Carpenter, G.A., Grossberg, S., Markuzon, N., Reynolds, J.H.,
Rosen, D.B., "Fuzzy
ARTMAP: A Neural Network Architecture for Incremental Supervised
Learning of Analog Multidimensional Maps", IEEE Transactions on Neural Networks,
Bd.3, Nr.5, S.698-712, September 1992.
- 4. Marriott S., und Harrison, R.F., "A modified fuzzy ARTMAP architecture
for approximation of noisy mappings", Neural Networks, Bd.2, S.359-366,
1995.
- 5. Williamson, J.R., "Gaussian
ARTMAP: A neural network for fast incremental learning of noisy
multidimensional maps",
Neural Networks, Bd.9, S.881-997,
1996.
- 6. Srinivasa, N., "Learning
and generalization of Noisy Mappings Using a Modified PROBART Neural
Network", IEEE Transactions
on Signal Processing, Bd.45, Nr.10, S.2533-2550, Oktober 1997.
- 7. Lee, C.C., "Fuzzy
Logic in control systems: Fuzzy logic controller – Part II", IEEE Transactions
on Systems, Man and Cybernetics, Bd.15, S.419-435, März/April
1990.
- 8. Jang, J.S., "ANFIS:
Adaptive-network-based fuzzy inference system", IEEE Transactions on Systems, Man and
Cybernetics, Bd.23, S.665-685, Mai 1993.
- 9. Takagi, T. und Seguno, M, "Fuzzy identification of systems and
its applications to modeling and control", IEEE Transactions on Systems, Man
and Cybernetics, Bd.15, S.116-132, Jan.1985.
- 10. Wang, L.X., und Mendel, J.M., "Generating fuzzy rules by learning from
examples", IEEE
Transactions on Systems, Man and Cybernetics, Bd.22, Nr.6, S.1414-1427,
Nov./Dez.1992.
- 11. Beyer, K., Goldstein, J., Ramakrishnan, R., und Shaft, U., "When is Nearest Neighbor
Meaningful?", Proc. of
Seventh International Conference on Database Theory, Jerusalem,
Israel, 1999.
-
Abriss der Erfindung
-
Die vorliegende Endung stellt ein
Verfahren und ein System zur Erzeugung eines online lernenden Inferenznetzwerks
für die
Klassifizierung von hochdimensionalen Daten unter Verwendung eines
Online-Fuzzy-Inferenznetzwerks, welches dazu trainiert ist, eine
Regelbasis zu erzeugen. Die durch die vorliegende Erfindung erzeugte
Regelbasis kann entweder in einer Software, welche an einem Rechner
für allgemeine oder
spezielle Aufgaben betrieben wird, oder in Hardware verkörpert sein.
Die vorliegende Erfindung scheidet die Abhängigkeit der Fuzzy-Folgerungsmaschine
von der Anzahl von Dimensionen der Eingangsdaten.
-
Genauer stellt eine Ausführungsform
der vorliegenden Erfindung ein Verfahren zur verbesserten Klassifizierung
von hochdimensionalen Daten unter Verwendung eines online lernenden
Fuzzy-Inferenznetzwerks bereit, bei welchem das Fuzzy-Inferenznetzwerk
eine Regelbasis von unscharfen Regeln erzeugt, wobei jede unscharfe
Regel einem Klassenlabel zugeordnet ist und jede unscharfe Regel
wenigstens eine einer Dimension der Daten entsprechende Zugehörigkeitsfunktion
aufweist, wobei jede Zugehörigkeitsfunktion
Zugehörigkeitsfunktionsparameter
umfasst, wobei die unscharfen Regeln zur Klassifizierung von Eingabedaten
in Zugehörigkeiten
verwendet werden, wobei Testdaten mit einer bekannten Klassifizierungszugehörigkeit
dem Fuzzy-Inferenznetzwerk bereitgestellt werden und wobei das Fuzzy-Inferenznetzwerk
die unscharfen Regeln verwendet, um Klassifizierungszugehörigkeiten
für die
Testdaten zu erzeugen, indem die unscharfen Regeln ausgelöst werden,
wobei jeder ausgelösten
unscharfen Regel eine Auslösestärke auf
Grundlage ihrer Übereinstimmung
mit den Testdaten zugewiesen wird, und indem die unscharfe Regel
mit der größten Auslösestärke bestimmt
wird, wobei die Zugehörigkeitsfunktionen
der Regel mit der größten Auslösestärke mit
der bekannten Klassifizierungszugehörigkeit der Testdaten verglichen
werden, um einen Klassifizierungsfehler zu bestimmen, und wobei
die Auslösefrequenzzahl
einer jeden unscharfen Regel gespeichert wird, wobei die Verbesserung
umfasst:
Bestimmen, ob die Auslösestärke der unscharfen Regel mit
der größten Auslösestärke eine
vorbestimmte Schwelle übersteigt;
im
Falle, dass die Auslösestärke der
unscharfen Regel mit der größten Auslösestärke die
Schwelle übersteigt, Einstellen
der unscharfen Regel auf Grundlage des Klassifizierungsfehlers;
sowie
im Falle, dass die Auslösestärke der unscharfen Regel mit
der größten Auslösestärke die
Schwelle nicht übersteigt,
Bestimmen, ob die Klassifizierungszugehörigkeit, welche durch die unscharfe
Regel mit der größten Auslösestärke erzeugt
wurde, korrekt mit der bekannten Klassifizierungszugehörigkeit
der Testdaten übereinstimmt;
in
dem Falle, dass die Klassifizierungszugehörigkeit, welche durch die unscharfe
Regel mit der größten Auslösestärke erzeugt
wird, mit der bekannten Klassifizierungszugehörigkeit der Testdaten nicht
korrekt übereinstimmt,
Einstellen der unscharfen Regel auf Grundlage des Klassifizierungsfehlers
wie in; sowie in dem Falle, dass die Klassifizierungszugehörigkeit,
welche durch die unscharfe Regel mit der größten Auslösestärke erzeugt wird, mit der bekannten
Klassifizierungszugehörigkeit
der Testdaten korrekt übereinstimmt,
Anwenden einer Lernregel, um die Zugehörigkeitsfunktionsparameter
derart zu aktualisieren, dass der Klassifizierungsfehler für hochdimensionale
Klassifizierungsaufgaben minimiert wird.
-
In einer weiteren Ausführungsform
der vorliegenden Erfindung umfasst der Einstellschritt des Verfahrens
für eine
verbesserte Klassifizierung von hochdimen sionalen Daten unter Verwendung
einer online lernenden Fuzzy-Folgerung ferner die Unterschritte:
Anwenden
eines unscharfen Ähnlichkeitsmaßes, um
die Zugehörigkeitsfunktion
entlang einer jeden Dimension der Testdaten mit den Testdaten zu
vergleichen;
Hinzufügen
einer neuen Zugehörigkeitsfunktion
entlang jener Dimensionen, bei welchen das unscharfen Ähnlichkeitsmaß nicht
erfüllt
ist;
Erzeugen einer neuen unscharfen Regel einschließlich der
neuen Zugehörigkeitsfunktionen
und jener Zugehörigkeitsfunktionen,
welche das unscharfe Ähnlichkeitsmaß erfüllt haben;
sowie
Hinzufügen
der neuen Regel zu der Regelbasis.
-
In noch einer weiteren Ausführungsform
der vorliegenden Erfindung umfasst der Einstellschritt des Verfahrens
für eine
verbesserte Klassifizierung von hochdimensionalen Daten unter Verwendung
einer online lernenden Fuzzy-Folgerungnetzwerk
ferner die Unterschritte:
Zuweisen eines Mittelwertes zu jeder
neuen Zugehörigkeitsfunktion
gleich dem Wert der Testdaten, entsprechend der Dimension entsprechend
der jeweiligen neuen Zugehörigkeitsfunktion;
Inkrementieren
der Auslösefrequenzzahl
für die
neue unscharfe Regel; sowie Zuweisen einer Klassifizierungszugehörigkeit
zu der neuen unscharfen Regel, welche mit der Klassifizierungszugehörigkeit
der Testdaten übereinstimmt,
für welche
die Regel ausgelöst
wird.
-
Nicht einschränkende Beispiele von Zugehörigkeitsfunktionen,
welche für
die vorliegende Erfindung nützlich
sind, umfassen Gauss'sche
Zugehörigkeitsfunktionen,
Dreiecks-Zugehörigkeitsfunktionen
und trapezoide Zugehörigkeitsfunktionen.
Bevorzugt werden jedoch Gauss'sche
Zugehörigkeitsfunktionen
verwendet.
-
In einer weiteren Ausführungsform
des Verfahrens der vorliegenden Erfindung, und in welcher die Zugehörigkeitsfunktionen
Gauss'sche Zugehörigkeitsfunktionen
sind und die Zugehörigkeitsfunktionsparameter einer
jeden Gauss'schen
Zugehörigkeitsfunktion
einen Mittelwert und eine Varianz umfassen und wobei die Lernregel
den Mittelwert und die Varianz der Gauss'schen Zugehörigkeitsfunktionen der unscharfen
Regel mit der größten Auslösestärke nach
der folgenden Maßgabe
aktualisiert:
wobei μ* den aktualisierten Mittelwert
der Gauss'schen
Zugehörigkeitsfunktion
repräsentiert,
σ* die aktualisierte
Varianz der Gauss'schen
Zugehörigkeitsfunktion
repräsentiert,
μ den nicht
aktualisierten Mittelwert σ der
Gauss'schen Zugehörigkeitsfunktion
repräsentiert,
σ die nicht
aktualisierte Varianz der Gauss'schen
Zugehörigkeitsfunktion
repräsentiert,
|e| den Klassifizierungsfehler für
die Gauss'sche Zugehörigkeitsfunktion
repräsentiert,
x
den speziellen Wert der Testdaten für die der Gauss'schen Zugehörigkeitsfunktion
entsprechende Dimension repräsentiert,
und f die Auslösefrequenz
für die
spezielle unscharfe Regel repräsentiert,
auf welche die Lernregel angewendet wird.
-
In einer weiteren Ausführungsform
des Verfahrens der vorliegenden Erfindung umfasst das Verfahren ferner
ein Bereitstellen eines online lernenden Fuzzy-Inferenznetzwerks, wobei das Fuzzy-Inferenznetzwerk eine
Regelbasis von unscharfen Regeln erzeugt, wobei jede unscharfe Regel
einem Klassenlabel zu geordnet ist und jede unscharfe Regel wenigstens
eine Zugehörigkeitsfunktion
entsprechend einer Dimension der Daten aufweist, wobei jede Zugehörigkeitsfunktion
Zugehörigkeitsfunktionsparameter
umfasst, wobei die unscharfen Regeln zur Klassifizierung von Eingabedaten
in Zugehörigkeiten
verwendet werden, wobei Testdaten mit einer bekannten Klassifizierungszugehörigkeit
dem Fuzzy-Inferenznetzwerk bereitgestellt werden und wobei das Fuzzy-Inferenznetzwerk
die unscharfen Regeln verwendet, um Klassifizierungszugehörigkeiten
für die
Testdaten zu erzeugen, indem die unscharfen Regeln ausgelöst werden,
wobei jeder ausgelösten
unscharfen Regel eine Auslösestärke auf
Grundlage ihrer Übereinstimmung
mit den Testdaten zugewiesen wird, und indem die unscharfe Regel
mit der größten Auslösestärke bestimmt
wird, wobei die Zugehörigkeitsfunktionen
der Regel mit der größten Auslösestärke mit
der bekannten Klassifizierungszugehörigkeit der Testdaten verglichen
werden, um einen Klassifizierungsfehler zu bestimmen, und wobei
die Auslösefrequenzzahl
einer jeden unscharfen Regel gespeichert wird.
-
Das System der vorliegenden Erfindung
stellt ein verbessertes Fuzzy-Inferenznetzwerk
für eine
Online-Klassifizierung von hochdimensionalen Daten bereit, bei welchem
das Fuzzy-Inferenznetzwerk eine Regelbasis von unscharfen Regeln
erzeugt, wobei jede unscharfe Regel einem Klassenlabel zugeordnet
ist und jede unscharfe Regel wenigstens eine einer Dimension der
Daten entsprechende Zugehörigkeitsfunktion
aufweist, wobei jede Zugehörigkeitsfunktion
Zugehörigkeitsfunktionsparameter
umfasst, wobei die unscharfen Regeln zur Klassifizierung von Eingabedaten
in Zugehörigkeiten
verwendet werden, wobei Testdaten mit einer bekannten Klassifizierungszugehörigkeit
dem Fuzzy-Inferenznetzwerk
bereitgestellt werden und wobei das Fuzzy-Inferenznetzwerk die unscharfen
Regeln verwendet, um Klassifizierungszugehörigkeiten für die Testdaten zu erzeugen,
indem die unscharfen Regeln ausgelöst werden, wobei jeder ausgelösten unscharfen
Regel eine Auslösestärke auf
Grundlage ihrer Übereinstimmung
mit den Testdaten zugewiesen wird, und indem die unscharfe Regel
mit der größten Auslösestärke bestimmt
wird, wobei die Zugehörigkeits funktionen
der Regel mit der größten Auslösestärke mit
der bekannten Klassifizierungszugehörigkeit der Testdaten verglichen
werden, um einen Klassifizierungsfehler zu bestimmen, und wobei
die Auslösefrequenzzahl
einer jeden unscharfen Regel gespeichert wird, wobei die Verbesserung
einen Regeleinstell- und Lernregelanwendungsprozessor umfasst, welcher
mit dem Fuzzy-Inferenznetzwerk
verbunden ist, um die unscharfen Regeln; den Klassifizierungsfehler;
die Auslösestärke, die
Auslösefrequenzzahl
und die durch die unscharfe Regel mit der größten Auslösestärke erzeugte Klassifizierungszugehörigkeit;
die Testdaten und die bekannten Klassifizierungszugehörigkeiten
für die
Testdaten zu erhalten; wobei der Prozessor derart arbeitet, dass
er bestimmt, ob die Auslösestärke der
unscharfen Regel mit der größten Auslösestärke eine
vorbestimmte Schwelle übersteigt;
sowie
dass er im Falle, dass die Auslösestärke der unscharfen Regel mit
der größten Auslösestärke die
Schwelle übersteigt,
die unscharfe Regel auf Grundlage des Klassifizierungsfehlers einstellt;
sowie
dass er im Falle, dass die Auslösestärke der unscharfen Regel mit
der größten Auslösestärke die
Schwelle nicht übersteigt,
bestimmt, ob die Klassifizierungszugehörigkeit, welche durch die unscharfe
Regel mit der größten Auslösestärke erzeugt
wird, korrekt mit der bekannten Klassifizierungszugehörigkeit
der Testdaten übereinstimmt;
in
dem Falle, dass die Klassifizierungszugehörigkeit, welche durch die unscharfe
Regel mit der größten Auslösestärke erzeugt
wird, mit der bekannten Klassifizierungszugehörigkeit der Testdaten nicht
korrekt übereinstimmt,
dass er die unscharfe Regel auf Grundlage des Klassifizierungsfehlers
einstellt; sowie
in dem Falle, dass die Klassifizierungszugehörigkeit,
welche durch die unscharfe Regel mit der größten Auslösestärke erzeugt wurde, mit der
bekannten Klassifizierungszugehörigkeit
der Testdaten korrekt übereinstimmt,
dass er eine Lernregel anwendet, um die Zugehörigkeitsfunktionsparameter
derart zu aktualisieren, dass der Klassifizierungsfehler für hochdimensionale
Klassifizierungsaufgaben minimiert wird.
-
In einer weiteren Ausführungsform
arbeitet das System der vorliegenden Erfindung, der Regeleinstell- und
Lernregelanwendungsprozessor ferner derart, dass er:
ein unscharfes Ähnlichkeitsmaß anwendet,
um die Zugehörigkeitsfunktion
entlang einer jeden Dimension der Testdaten mit den Testdaten zu
vergleichen;
eine neue Zugehörigkeitsfunktion entlang jener
Dimensionen hinzufügt,
bei welchen das unscharfe Ähnlichkeitsmaß nicht
erfüllt
ist;
eine neue unscharfe Regel einschließlich der neuen Zugehörigkeitsfunktionen
und jener Zugehörigkeitsfunktionen
erzeugt, welche das unscharfe Ähnlichkeitsmaß erfüllt haben;
sowie
die neue Regel zu der Regelbasis hinzufügt.
-
In einer weiteren Ausführungsform
des Systems der vorliegenden Erfindung arbeitet der Regeleinstell- und
Lernregelanwendungsprozessor derart, dass er:
einer jeden neuen
Zugehörigkeitsfunktion
einen Mittelwert gleich dem Wert der Testdaten zuweist, entsprechend
der Dimension entsprechend der jeweiligen neuen Zugehörigkeitsfunktion;
die
Auslösefrequenzzahl
für eine
neue unscharfe Regel inkrementiert; sowie der neuen unscharfen Regel
eine Klassifizierungszugehörigkeit
zuweist, welche mit der Klassifizierungszugehörigkeit der Testdaten übereinstimmt,
für welche
die Regel ausgelöst
wird.
-
In einer weiteren Ausführungsform
des Systems der vorliegenden Erfindung sind die Zugehörigkeitsfunktionen
Gauss'sche Zugehörigkeitsfunktionen
und umfassen die Zugehörigkeitsfunktionsparameter
einer jeder Gauss'schen
Zugehörigkeitsfunktion
einen Mittelwert und eine Varianz, wobei die angewendete Lernregel
den Mittelwert und die Varianz der Gauss'schen Zugehörigkeitsfunktionen der unscharfen
Regel mit der größten Auslösestärke nach
der folgenden Maßgabe
aktualisiert:
wobei μ* den aktualisierten Mittelwert
der Gauss'schen
Zugehörigkeitsfunktion
repräsentiert,
σ* die aktualisierte
Varianz der Gauss'schen
Zugehörigkeitsfunktion
repräsentiert,
μ den nicht
aktualisierten Mittelwert σ der
Gauss'schen Zugehörigkeitsfunktion
repräsentiert,
σ die nicht
aktualisierte Varianz der Gauss'schen
Zugehörigkeitsfunktion
repräsentiert,
|e| den Klassifizierungsfehler für
die Gauss'sche Zugehörigkeitsfunktion
repräsentiert,
x
den speziellen Wert der Testdaten für die der Gauss'schen Zugehörigkeitsfunktion
entsprechende Dimension repräsentiert,
und f die Auslösefrequenz
für die
spezielle unscharfe Regel repräsentiert,
auf welche die Lernregel angewendet wird.
-
In einer weiteren Ausführungsform
der vorliegenden Erfindung umfasst das System ferner ein online lernendes
Fuzzy-Inferenznetzwerk, wobei das Fuzzy-Inferenznetzwerk eine Regelbasis von
unscharfen Regeln erzeugt, wobei jede unscharfe Regel einem Klassenlabel
zugeordnet ist und jede unscharfe Regel wenigstens eine Zugehörigkeitsfunktion
entsprechend einer Dimension der Daten aufweist, wobei jede Zugehörigkeitsfunktion
Zugehörigkeitsfunktionsparameter
umfasst, wobei die unscharfen Regeln zur Klassifizierung von Eingabedaten
in Zugehörigkeiten
verwendet werden, wobei Testdaten mit einer bekannten Klassifizierungszugehörigkeit
dem Fuzzy-Inferenznetzwerk bereitgestellt werden und wobei das Fuzzy-Inferenznetzwerk die
unscharfen Regeln verwendet, um Klassifizierungszugehörigkeiten
für die
Testdaten zu erzeugen, indem die unscharfen Regeln ausgelöst werden,
wobei jeder ausgelösten
unscharfen Regel eine Auslösestärke auf Grundlage
ihrer Übereinstimmung
mit den Testdaten zugewiesen wird, und indem die unscharfe Regel
mit der größten Auslö sestärke bestimmt
wird, wobei die Zugehörigkeitsfunktionen
der Regel mit der größten Auslösestärke mit
der bekannten Klassifizierungszugehörigkeit der Testdaten verglichen
werden, um einen Klassifizierungsfehler zu bestimmen, und wobei
die Auslösefrequenzzahl
einer jeden unscharfen Regel gespeichert wird.
-
Die vorliegende Erfindung umfasst
ferner eine Regelbasis, welche entweder durch das Verfahren oder das
System der vorliegenden Erfindung erzeugt wird.
-
Kurze Beschreibung
der Zeichnungen
-
Die Erfindung wird nun durch beispielhafte
Ausführungsformen
mit Bezug auf die beiliegenden vereinfachten, diagrammartigen Zeichnungen
beschrieben. In den Zeichnungen ist:
-
1 ein
Flussdiagramm, welches den Betrieb des SONFIN darstellt;
-
2 ein
Knotendiagramm, welches ein fünflagiges
neuronales Netzwerk zeigt, mit welchem die vorliegende Erfindung
genutzt werden kann;
-
3 ein
Blockdiagramm, welches die Komponenten der vorliegenden Erfindung
zusätzlich
zu einem online lernenden Fuzzy-Inferenznetzwerk, wie etwa dem SONFIN,
zeigt;
-
4 ein
Flussdiagramm, welches die Schritte in dem Verfahren der vorliegenden
Erfindung demonstriert, sowie
-
5 eine
Tabelle, welche einen Leistungsvergleich einer Ausführungsform
der vorliegenden Erfindung mit dem SONFIN- und dem M-PROBART-Netzwerk
zeigt.
-
Beschreibung
-
Die vorliegende Endung betrifft Expertensysteme
und insbesondere Online-Fuzzy-Inferenzsysteme, welche
an eine Verarbeitung hochdimensionaler Klassifizierungsprobleme
angepasst sind. Die folgende Beschreibung wird vorge stellt, um einen
Durchschnittsfachmann in die Lage zu versetzen, die Erfindung zu
schaffen und zu verwenden, und sie im Zusammenhang mit besonderen
Anwendungen zu integrieren. Verschiedene Modifikationen der bevorzugten
Ausführungsform,
ebenso wie eine Vielfalt von Verwendungen in verschiedenen Anwendungen
wird Fachleuten in einfacher Weise offensichtlich sein und die hier
definierten allgemeinen Prinzipien können auf andere Ausführungsformen
angewendet werden. Somit ist nicht beabsichtigt, dass die vorliegende
Erfindung auf die gezeigten Ausführungsformen
beschränkt
sein soll. Vielmehr soll sie den breitesten Rahmen gewähren, welcher
mit den hier offenbarten Prinzipien und neuen Merkmalen übereinstimmt.
-
Glossar
-
Die folgenden Ausdrücke werden
definiert, um den Leser darin zu unterstützen, ein vollständigeres Verständnis der
in dieser Beschreibung verwendeten Terminologie zu gewinnen:
-
Aktivierungsfunktion
-
Die Aktivierungsfunktion ist eine
Funktion, welche ein Verhalten des Knotens oder einer Lage von Knoten
repräsentiert,
welches einer bestimmten Eingabe gestattet, den Knoten oder Knoten
auszulösen,
um zu bewirken, dass sich das Signal zu der nächsten Lage hin ausbreitet.
-
Auslösefrequenzzahl
-
Jedes mal, wenn eine Regel ausgelöst wird,
wird ein Zähler
inkrementiert. Dies stellt ein Maß der Frequenz bereit, mit
welcher die Regel verwendet worden ist. Die Auslösefrequenz kann einfach jedes
mal inkrementiert werden, wenn eine Regel ausgelöst wird, oder sie kann lediglich
dann inkrementieren, wenn eine Regel mit einer Auslösestärke ausgelöst wird,
welche eine bestimmte Schwelle übersteigt.
-
Auslösestärke
-
Jedes mal, wenn eine Regel verwendet
wird, um mit dem Testdaten übereinzustimmen,
wird sie als "ausgelöst" betrachtet. Die
Auslösestärke ist
ein Maß,
wie stark die Regel auf die Testdaten reagiert, und wird durch die
Koeffizienten der Regel bestimmt.
-
Hochdimensionale Daten
-
Zu Zwecken der vorliegenden Erfindung
beziehen sich hochdimensionale Daten im Allgemeinen auf Daten, für welche
die Anzahl an Eingaben 10 übersteigt.
-
Lernen/Trainieren
-
Die vorliegende Erfindung ermöglicht,
dass eine Regelbasis für
eine Fuzzy-Folgerungsmaschine inkrementell durch Online-Lernen entwickelt
wird (im Gegensatz zu Stapellernen, bei welchem alles Lernen in einer
Prozedur erreicht wird). Die Regelbasis kann dann in Software zum
Ablauf an einem Computer oder in Hardware verkörpert sein.
-
Zugehörigkeitsfunktion
-
Die Zugehörigkeitsfunktionen sind Verteilungsfunktionen,
welche eine unscharfe Zugehörigkeit
akkomodieren, deren nicht beschränkende
Beispiel Gauss'sche,
dreieckige und trapezoide Zugehörigkeitsfunktionen
umfassen. Gauss'sche
Zugehörigkeitsfunktionen
werden für
die vorliegende Erfindung als bevorzugte Zugehörigkeitsfunktionen betrachtet.
-
Zugehörigkeitsfunktionsparameter
-
Die Zugehörigkeitsfunktionen weisen Parameter
auf, wie etwa im Falle von Gauss'schen
Zugehörigkeitsfunktionen
einen Mittelwert und eine Varianz, welche die Gestalt der Zugehörigkeitsfunktion
und somit ihre Antwort auf eine Eingabe definieren. Diese Zugehörigkeitsfunktionen
können
iterativ angepasst oder in Abhängigkeit
von ihrer Übereinstimmung
mit den Eingabedaten und ihrer sich daraus ergebenden Nützlichkeit
zur Datenklassifizierung ersetzt werden.
-
Prozessor
-
Die vorliegende Erfindung kann als
Software an einem Allzweckrechner oder einem Rechner für besondere
Aufgaben ausgeführt
sein und ist ebenso anpassbar auf Ausführungsformen in Hardware.
-
Einführung
-
Derzeitige Fuzzy-Inferenznetzwerke,
welche zum Online-Lernen verwendet werden, sind auf eine Verwendung
in der Klassifizierung von niedrigdimensionalen Daten beschränkt. Die
vorliegende Erfindung dehnt die Fähigkeit von derzeitigen Fuzzy-Inferenznetzwerken
aus, um eine Klassifizierung von hochdimensionalen Daten zu erleichtern.
Da der Klassifizierungsprozess von dem Vielfachen einer zunehmenden
Zahl von Werten zwischen 0 und 1 abhängt, wird bei derzeitigen Fuzzy-Inferenznetzwerken
das Gesamtvielfache zunehmend schmal, was schließlich zu Zahlen führt, die
zu klein sind, um rechnerisch praktisch zu sein. Eine Aufgabe der vorliegenden
Erfindung ist es, die Abhängigkeit
eines Betriebs des Fuzzy-Inferenznetzwerks von der Anzahl an Dimensionen
in den klassifizierten Daten zu trennen. Zu diesem Zweck werden
zwei Operationen verwendet: Einstellen der unscharfen Regeln auf
Grundlage des Klassifizierungsfehlers; sowie Anwenden einer Lernregel,
um die Zugehörigkeitsfunktionsparameter
zu aktualisieren.
-
Fuzzy-Inferenznetzwerke
-
Das sich selbst errichtende Fuzzy-Inferenznetzwerk
(SONFIN) ist ein Beispiel eines online lernenden Fuzzy-Inferenznetzwerks,
an welchem die vorliegende Erfindung angewendet werden kann. Ein
Knotendiagramm eines fünflagigen
neuronalen Netzwerks, durch das SONFIN beispielhaft gezeigt, ist
in 2 dargestellt. Die
folgende Beschreibung des SONFIN ist dazu gedacht, einen Rahmen
bereitzustellen, innerhalb dessen die vorliegende Erfindung besser
verstanden werden kann, sowie ein Beispiel eines Fuzzy-Inferenznetzwerks
bereitzustellen, an welchem die vorliegende Erfindung angewendet
werden kann.
-
Das SONFIN kann als ein fünflagiges
Netzwerk ausgeführt
sein, umfassend eine Mehrzahl von Knoten, wobei jeder Knoten innerhalb
einer Lage eine Integrationsfunktion aufweist, welche die Information
oder Evidenz von anderen Kno ten kombiniert. Die Integrationsfunktion
bei jedem Knoten liefert die Netzeingabe an jedem Knoten wie folgt:
wobei u
1
(k), u
2
(k),
... u
p
(k) die Eingaben
zu dem Knoten und w
1
(k),
w
2
(k), ..., w
p
(k) die zugeordneten
Verbindungsgewichtungen sind. Die Hochzahl k in der obigen Gleichung
repräsentiert
die Nummer der Lage. Gemeinsam mit der Integrationsfunktion f besitzt
jeder Knoten eine Aktivierungsfunktion a(), welche für Lage 1
200 ergibt:
-
Was die Knotenausgabe als eine Funktion
der Knoteneingabe über
die Aktivierungsfunktion a() repräsentiert.
-
Lagenbeschreibungen
-
Jede der Lagen in dem SONFIN wird
nun als Ausdruck ihrer Funktion in Bezug auf das Gesamtnetzwerk
beschrieben.
-
Lage 1 200
-
Jeder Knoten in der Lage 1 200 entspricht
einer Eingabevariablen. Die erste Lage führt keine Berechnung aus und überträgt einfach
die Eingabewerte zu der zweiten Lage. Die Verbindungsgewichtungen
in der ersten Lage sind alle gleich 1 gesetzt. Die Aktivierungsfunktion
in diesem Fall ist die gleiche wie die Integrationsfunktion:
-
Lage 2 202
-
Das SONFIN versucht, neuronale und
unscharfe Ansätze
zu kombinieren, um neuronale Netzwerke zu trainieren. Die Verwendung
von Fuzzy-Verfahren hilft, eine Interpretierbarkeit der durch das
trainierte Netzwerk erzeugten Regeln bereitzustellen. Um eine sprachliche
Interpretation des Netzwerks unterzubringen, setzt die Lage 2 202
das sprachliche Label (z.B. klein, groß, niedrig, hoch, usw.) mit
den Eingangsvariablen in Beziehung. Sprachliche Label, welche den
Eingabevariablen entsprechen, können
durch die Verwendung von Abbildungsfunktionen (z.B. eine multidimensionale
Gauss'sche Funktion)
ermittelt werden. Diese den sprachlichen Label entsprechenden Parameter
werden während
der Trainingsphase erlernt. Für
jede Eingabevariable kann die Zugehörigkeit in jedem sprachlichen
Label in einfacher Weise erhalten werden. Die bei Lage
2 202 durchgeführte Funktion
lautet wie folgt:
wobei m
ij und σ
ij den
Mittelwert und die Varianz der Gauss'schen Zugehörigkeitsfunktion entsprechend
jedem der sprachlichen Ausdrücke
repräsentierten.
-
Lage 3 204
-
Ein Knoten in Lage 3 204 repräsentiert
eine fuzzylogische Regel und führt
eine Voraussetzungsabstimmung einer Regel aus. Die Verbindungsgewichtungen
in dieser Lage sind 1. Die Verbindungen in dieser Lage bestimmen,
welche sprachlichen Ausdrücke
der Eingabevariablen für
eine Regel relevant sind. Die folgende UND-Operation wird bei jedem
Knoten in Lage 3 204 verwendet:
wobei D
1 =
diag (1/σ
i1, 1//σ
i2, ..., 1/σ
ln),
mi = (m
i1, m
i2,
..., m
in) und x das ndimensionale Eingabemuster
repräsentiert.
Die Ausgaben der Knoten in Lage 3 204 repräsentieren die Auslösestärken der
entsprechenden unscharfen Regeln.
-
Lage 4 206
-
Wie in Lage 3 204 sind die Verbindungsgewichtungen
in dieser Lage gleich 1. Die Anzahl an Knoten in Lage 4 206 ist
gleich der Anzahl an Knoten in Lage 3 204. Die in Lage 3 204 berechneten
Auslösestärken werden
in Lage 4 206 durch die folgende Operation normalisiert:
-
Lage 5 208
-
Sobald die normalisierten Regel-Auslösestärken erhalten
sind, müssen
sie miteinander kombiniert werden, um eine Klassifizierungsentscheidung
zu erzeugen. Im SONFIN werden Regeln Klassen zugeordnet und somit
werden die normalisierten Regelausgaben einer bestimmten Klasse
gewichtet und gemittelt. Dieser Prozess ist ebenso als Defuzzifizierung
bekannt und umfasst die folgende Operation:
-
Sobald der Defuzzifizierungsprozess
für jeden
der Ausgabeknoten abgeschlossen ist, bestimmt der Knoten mit der
größten Ausgabe
die Klasse des Eingabemusters. In dem SONFIN wächst die Anzahl an Regelknoten
in Lage 3 204, wenn mehr Eingaben präsentiert werden. Dieses Wachstum
ist darauf basiert, dass die Auslösestärken einer jeden bestehenden
Regel mit einem Schwellenwert versehen werden. Dann, wenn die Auslösestärke aller
bestehenden Regeln unterhalb einer Schwelle liegt, wird ein neuer
Regelknoten erzeugt, um die derzeitige Eingabe-Ausgabe-Abbildung
zu repräsentieren.
Auf diese Art und Weise entwickelt sich oder organisiert sich die
Struktur des SONFIN selbst, wenn Daten präsentiert werden.
-
Ein weiteres wichtiges Merkmal während des
Regelerzeugungsprozesses ist das Reduzieren der Zugehörigkeitsfunktionen
(z.B. der Gauss'schen,
der dreieckigen oder trapezoiden Zugehörigkeitsfunktion), welche entlang
jeder Dimension für
eine neu gebildete Regel rekrutiert werden. Wenn eine neue Regel
gebildet wird, werden die Zugehörigkeitsfunktionen
entlang jeder Dimension bezüglich
einer Fuzzy-Ähnlichkeit
mit anderen Zugehörigkeitsfunktionen
entlang der Dimension geprüft,
welche aufgrund von zuvor gebildeten Regeln bereits besteht. Wenn
die Ähnlichkeit
hoch ist (wie durch den Nutzer definiert), wird die Gauss'sche Zugehörigkeit
für die
neue Regel nicht hinzugefügt
und umgekehrt.
-
Das grundlegende SONFIN umfasst die
Fähigkeit,
die Parameter des Netzwerks einzustellen. Eine Parametereinstellung
wird durchgeführt,
um die Parameter (z.B. Mittelwert und Varianz) der Zugehörigkeitsfunktionen
derart konstant zu aktualisieren, dass sie eingestellt werden, um
eine Fehlklassifizierung zu minimieren. Um ein Parametereinstellen
durchzuführen,
wendet das SONFIN den Rückwärtsausbreitungsalgorithmus
an. Zuerst werden die Verbindungen in Lage 5 208 (wi
(5)'s)
aktualisiert. Dann wird der Fehler den ganzen Weg zurück zur Lage
2 202 ausgebreitet, bei welcher die Parameter einer jeden Zugehörigkeitsfunktion
proportional zur Auslösestärke der
Regel, die sie repräsentiert,
aktualisiert werden. Details betreffend Rückwärtsausbreitungsverfahren werden
durch die im Hintergrund bereitgestellten Verweise bereitgestellt.
-
Wenn mehr Eingabemuster präsentiert
werden, werden die Parameter des Netzwerks eingestellt und gleichzeitig
entwickelt sich die Netzwerkstruktur. Während SONFIN für niedrigdimensionale
Klassifizierung und ebenso für
eine Funktionsannäherung
eine sehr gute Leistung bietet, hat das Netzwerk dann Probleme, wenn
die Anzahl an Eingabedimensionen groß zu werden beginnt (mehr als
10 Eingabemerkmale).
-
Die Lage 3 204 von SONFIN, welche
die Regellage repräsentiert,
wird erzeugt durch Bilden eines Produkts von 1-dimensionalen Zugehörigkeitsfunktionen,
wobei jede Dimension der Zugehörigkeitsfunktionen eine
Eingabemerkmalsdimension repräsentiert.
Diese Verfahren eines Kombinierens der Zugehörigkeitswerte von individuellen
Zugehörigkeitsfunktionen
ist als die Produktregel in der Fuzzylogic bekannt. Gauss'sche Zugehörigkeitsfunktionen
sind die bevorzugte Klasse von Zugehörigkeitsfunktionen, da sie
eine rechnerische Einfachheit bereitstellen (besonders, da eine
N-dimensionale Gauss'sche
Funktion ein fach als ein Produkt von N 1-dimensionalen Gauss'schen Zugehörigkeitsfunktionen
zersetzt werden kann, was den Prozess einer Erklärung einer Regel unterstützt). Unglücklicherweise
wird die Produktregel während
des Parametereinstell/Lernprozesses nachteilig, wenn die Anzahl
an Eingabedimensionen groß wird.
Wie zuvor angemerkt wurde, wird das im SONFIN verwendete Lernen
unter Verwendung des Rückwärtsausbreitungsalgorithmus
durchgeführt.
Die Idee hinter einem Einstellen unter Verwendung des Rückwärtsausbreitungsalgorithmus
liegt darin, die Parameter der Zugehörigkeitsfunktionen einer jeden
Regel derart zu verschieben, dass der Fehler bei einer Fehlklassifizierung
minimiert wird. Wenn die Fehler von der Lage 5 208 (der Ausgabelage)
zur Lage 2 202 (bei welcher die Parameter der Zugehörigkeitsfunktionen
aktualisiert werden) rückwärts ausgebreitet
werden, tritt ein wesentliches Problem auf, wenn die Eingabe hochdimensional
ist. Der Fehler, welcher zur Lage 2 202 rückwärts ausgebreitet wird, um die
Parameter der Zugehörigkeitsfunktionen
einer Regel zu aktualisieren, hängt von
der Auslösestärke jener
Regel ab. Die Auslösestärke einer
Regel ist bestimmt durch die Ausgabe der N-dimensionalen Zugehörigkeitsfunktionen
(d.h. der Produktregel). Dann, wenn zu viele Eingabemerkmale vorhanden
sind, wird die Auslösestärke der
Regel untragbar klein. Wenn beispielsweise 20 Eingaben vorhanden sind
und wenn die Zugehörigkeitswerte
für jede
Dimension 0,7 betragen, wird die Produktregel dazu führen, dass
die Auslösestärke der
Regel 0,000797922 beträgt.
Dieses Problem wird offensichtlich verschärft, wenn die Anzahl an Dimensionen
zunimmt. Das folgende ist ein Beispiel einer Verwendung von Gauss'schen Zugehörigkeitsfunktionen,
welches diesen Effekt ausführlicher
zeigt. Für
eine eindimensionale Normalverteilung ist es bekannt, dass gilt:
-
Unter der Annahme, dass eine mehrdimensionale
Gauss'sche vorliegt,
dass eine diagonale Kovarianzmatrix verwendet wird und dass alle
die diagonalen Elemente der Kovarianzmatrix die gleichen sind und gleich σ
2 sind,
kann die mehrdimensionale Gauss'sche
in die 1-dimensionalen Gauss'schen
entlang einer jeden der Dimensionen faktorisiert werden. Es kann
trivial gezeigt werden,
wobei n die Dimensionalität des Eingaberaums
repräsentiert.
Für n =
20 ist die Gleichung gleich 0,68
20 = 0,00045.
Dies bedeutet, dass die meisten der Gauss'schen Kerne (d.h. Regionen, welche dem
Mittelwert, dem ± σ, am nächsten liegen)
leer sind. Wenn n groß ist,
besteht daher keine Chance, dass eine Regel mit nennenswerter Stärke auslöst (wobei
Auslösestärke einer
Regel das Produkt von n 1-dimensionalen Gauss'schen ist), um irgendwelche Veränderungen
an Gauss'schen Parametern
während
einem Rückwärtsausbreitungslernen
auszuführen.
Somit scheinen die meisten Punkte fern von dem Mittelwert der mehrdimensionalen Gauss'schen zu liegen. Äußerst kleine
Werte der Auslösestärke resultieren
wiederum in sehr geringen Änderungen
am Mittelwert und an der Varianz der Gauss'schen während eines Rückwärtsausbreitungslernens,
was somit zu einem vernachlässigbaren
Lernen führt.
-
Ein weiterer wichtiger Engpass in
dem grundliegenden SONFIN ist die Basis für eine Regelerzeugung. Wenn
die Auslösestärken all
der augenblicklich bestehenden Regeln unterhalb einer vom Nutzer
definierten Schwelle liegt, wird eine neue Regel erzeugt, was impliziert,
dass die momentane Stelle und Größe (d.h.
Mittelwert bzw. Varianz bei einer Gauss'schen Zugehörigkeitsfunktion) der Zugehörigkeitsfunktionen,
welche die augenblickliche Regelbasis repräsentieren, unangemessen ist,
um das augenblickliche Eingabemuster zu repräsentieren. Das SONFIN versucht,
dieses Problem auf zwei Arten zu überwinden. Die erste war, eine
neue Regel durch Rekrutieren neuer Zugehörigkeitsfunktionen entlang
einer jeden Eingabedimension derart zu erzeugen, dass die augenblickliche
Eingabe in der Zukunft korrekt repräsentiert wird. Die andere ist,
die Stelle und die Größe der Zugehörigkeitsfunktionen
unter Verwendung des Parametereinstellprozesses anzupassen. Das
Einstellen von Parametern wird dann nötig, wenn die Auslösestärke von
wenigstens einer der Regeln größer als
die Schwefle ist, jedoch die falsche Klasse repräsentiert. In diesem Fall versucht
das SONFIN, das Problem durch Einstellen von Parametern unter Verwendung
einer Rückwärtsausbreitung
zu korrigieren. Dies bedeutet, dass die erzeugten Regeln einer Klasse
falsch zugewiesen sein können,
ohne dass ein Lernen möglich ist,
um den Fehler zu korrigieren. Für
hochdimensionale Probleme wird das SONFIN somit im Wesentlichen ein
schlechter Clusteralgorithmus, wobei jedem Cluster ein Klassenlabel
angeheftet wird. Dies beeinflusst nicht nur die Vorhersagefähigkeiten
von SONFIN, sondern erzeugt auch eine untragbar große Anzahl
an Regeln.
-
Details der vorliegenden
Erfindung
-
Die vorliegende Erfindung beschäftigt sich
mit hochdimensionalen Klassifizierungsaufgaben, wobei ein online
lernendes Fuzzy-Inferenznetzwerk verwendet wird, wie etwa das SONFIN.
Ein Blockdiagramm, welches die grundlegende Architektur einer Ausführungsform
der vorliegenden Erfindung zeigt, ist in 3 gezeigt. Das online lernende Fuzzy-Inferenznetzwerk 300 repräsentiert
ein Netzwerk, wie etwa das SONFIN. Die Ausgabe 200 des
online lernenden Fuzzy-Inferenznetzwerks 300 wird einem
Regeleinstell- und Lernvorschriftanwendungs-Prozessor 304 bereitgestellt.
Der Regeleinstellungs- und Lernvorschriftanwendungs-Prozessor 304 stellt
zwei Funktionen bereit.
-
Erstens, ein schwellenbasiertes Kriterium
zur Regelaufstellung wird verwendet, um zu bestimmen, ob die Auslösestärke der
unscharfen Regel mit der größten Auslösestärke für die Eingabe
eine vorbestimmte Schwelle übersteigt.
Wenn die Auslösestärke der
Regel die vorbestimmte Schwelle übersteigt,
welche eingestellt ist, um sicherzustellen, dass eine unscharfe
Regel eine ausreichend große
Ausgabe für
eine rechnerische Effektivität
bereitstellt, wird die Regel getestet, um zu bestimmen, ob sie Eingabedaten
korrekt klassifiziert. Wenn die unscharfe Regel die Eingabedaten
korrekt klassifiziert hat, wird eine Lernregel angewendet, um die Parameter
der Zugehörigkeitsfunktionen
der unscharfen Regel zu aktualisieren. Die Lernregel hilft sicherzustellen,
dass die Zugehörig keitsfunktionen
der unscharfen Regel eine minimale Überlappung mit den Zugehörigkeitsfunktionen
anderer unscharfer Regeln entlang derselben Dimension aufweisen.
Dann, wenn die unscharfe Regel die Eingabedaten nicht korrekt klassifiziert
hat oder wenn die Auslösestärke der
unscharfen Regel mit der größten Auslösestärke für die Eingabedaten
nicht das vorbestimmte Schwellenniveau überschritten hat, wird eine
neue unscharfe Regel erzeugt und der Regelbasis hinzugefügt, indem
ein unscharfes Ähnlichkeitsmaß zwischen
jeder Zugehörigkeitsfunktion
der Regel und den entsprechenden Eingabedaten für die Dimension entsprechend
der Zugehörigkeitsfunktion
angewendet wird und indem die neue unscharfe Regel erzeugt wird,
welche sowohl neue Zugehörigkeitsfunktionen
entsprechend jenen Dimensionen, für welche das unscharfe Ähnlichkeitsmaß nicht
erfüllt
war, als auch jene Zugehörigkeitsfunktionen
der ursprünglichen
unscharfen Regel umfasst, welche jenen Dimensionen entsprechen,
für die
das unscharfe Maß erfüllt war.
Dann, wenn es dem korrekten Klassenlabel zugewiesen ist, wird die
neue Regel erzeugt. Der neue Selbstorganisationsprozess ist verbessert,
da er keine Ausbreitung von Regeln gestattet, sondern eine Genauigkeit
bei einer Zuweisung der Regeln zu dem richtigen Klassifizierungslabel
gewährleistet.
-
Die neue Lernregel ist nicht auf
einer Rückwärtsausbreitung
basiert, sondern basiert auf einem fehlergewichteten k-Mittelwert-Algorithmus,
welcher von den Eingabedimensionen unabhängig ist. Ein neuer, als Auslösefrequenzzahl
f bezeichneter Parameter wird für
jede unscharfe Regel eingeführt
(repräsentiert
als ein Knoten in
2).
Dieser Parameter repräsentiert
die kumulative Anzahl von Malen, die jede Regel in Lage
3 204
des Fuzzy-Inferenznetzwerks ausgelöst hat. Die Auslösefrequenz
liefert ein statistisches Maß einer
Wichtigkeit einer Regel für
die Klassifizierungsaufgabe. Dann, wenn die Auslösefrequenz einer gegebenen
Regel hoch ist, wird eine große
Anzahl von Eingabeabtastungen, welche dem Netzwerk präsentiert
wurden, durch die Regel repräsentiert
und umgekehrt. Die neue Lernregel nutzt die Auslösefrequenz für jede Regel.
Der andere wichtige Parameter, welchen die Lernvorschrift nutzt,
ist der Fehler |e| bei einer Klassifizierung. Im Allgemeinen kann
der Fehler |e| bei einer Klassifizierung als der Absolutwert zwischen
dem Ausgabeklassenwert und dem der korrekten Klasse zugewiesenen
Wert definiert werden. Unter Verwendung dieser zwei Parameter werden
die Aktualisierungen für
den Mittelwert und die Varianz im Falle von Gauss'schen Zugehörigkeitsfunktionen
in der neuen Lernvorschrift geschrieben als:
wobei die Paare μ
IJ*
und σ
IJ* sowie μ
iJ und σ
iJ den eingestellten bzw. nicht eingestellten
Mittelwert und Varianz der I-ten Gauss'schen Zugehörigkeitsfunktion für die J-te
Regel repräsentieren,
welche die maximal auslösende
Regel für
die augenblickliche Eingabe x
i ist (für i = 1,
..., N, wobei N die Anzahl an Eingabedimensionen ist). Die vorliegende
Erfindung verwendet die neue Lernvorschrift wie folgt. Wenn eine
neue Regel J erzeugt wird, wird sie direkt dem korrekten Klassenlabel
zugewiesen. Dies bedeutet, dass |e| 0 sein wird und dass der Mittelwert
der Gauss'schen
Zugehörigkeitsfunktion
für jede
Dimension als die Eingabe selbst gesetzt ist. Die Varianz ist auf
eine vorbestimmte Anfangsbreite σ
init gesetzt. Die Auslösefrequenzzahl f
J für Regel
J wird inkrementiert. Wenn die nächste
Eingabe präsentiert
wird und falls eine bestehende Regel auf Grundlage dessen ausgewählt wird,
dass ihre Auslösestärke die
vorbestimmte Schwelle übersteigt,
werden die Zugehörigkeitsfunktionsparameter
(typischerweise der Mittelwert und die Varianz der Zugehörigkeitsfunktionen)
auf Grundlage der Größen des
Fehlers bei einer Klassifizierung |e| und der Auslösefrequenzzahl
f
J der Regel aktualisiert. Somit ist dann,
wenn die Regel verhältnismäßig neu
ist, ihre Auslösefrequenz
niedrig und somit spielt die Größe eines
Klassifizierungsfehlers eine wichtige Rolle bei einer Einstellung
des Mittelwerts und der Varianz der Gauss'schen Zugehörigkeitsfunktionen. Wenn eine
Regel in der Vergangenheit einige Male ausgelöst hat, steigt die Auslösefrequenzzahl
f
J, so dass die Wirkung eines Fehlers bei
einer Fehlklassfizierung für
jene Regel abzunehmen beginnt, was die Erzeugung einer neuen Regel
bewirkt. Auf diese Art und Weise sind die erzeugten Regeln robuster,
da ihrer Vergangenheit eine Bedeutung gegeben wird und bereits in
den Bildungsstufen einer Regel ist zahlreiches Gewicht den Fehlklassifizierungsfehlern
|e| gegeben, mit dem Ziel, die Zugehörigkeitsfunktionsparameter
zu verschieben, um den Fehlklassifizierungsfehler zu kompensieren.
Eine weitere mögliche
Variante liegt darin, ein Aktualisieren der Auslösefrequenz für eine Regel
zu verhindern, wenn |e| größer als
eine vom Nutzer definierte Schwelle ist. Diese Variation wird zu
mehr Parametereinstellen für
die Gauss'schen
Zugehörigkeitsfunktionen
einer gegebenen Regel führen
und somit die Anzahl an erzeugten Regeln minimieren. Dabei ist wichtig,
dass die vorliegende Erfindung, nicht wie bei dem grundlegenden
SONFIN, keine Fehlklassifizierung einer Regel mit dem falschen zugewiesenen
Klassenlabel gestattet. Ebenso hängen die
Aktualisierungsgleichungen der vorliegenden Erfindung nicht von
der Auslösestärke der
Regel f
J ab, wodurch die mit einer hochdimensionalen
Klassifizierung verbundenen Probleme vermieden werden, auf welche das
grundlegende SONFIN trifft. Somit stellen die in der vorliegenden
Erfindung verwendeten Lerngleichungen kombiniert mit dem Selbstorganisationsprozess
ein online lernendes Fuzzy-Inferenznetzwerk bereit, welches in der
Lage ist, hochdimensionale Klassifizierungsprobleme zu lernen.
-
Ein Flussdiagramm, welches das Verfahren
der vorliegenden Erfindung ausführlich
zeigt, ist in 4 bereitgestellt.
Dieses Diagramm liefert eine Flussdarstellung der vorliegenden Erfindung
unter Integration eines SONFIN-Netzwerks, wie es in 1 bereitgestellt ist, mit Erweiterungen
und Modifikationen, welche ihm gestatten, bei hochdimensionalen
Eingaben effektiv eine Leistung zu erbringen. Wie in 1 repräsentiert ein Abschnitt des
Flussdiagramms ein gattungsgemäßes Fuzzy-Inferenznetzwerk 400,
welches für
ein Online-Lernen basierend auf dem SONFIN ausgebildet ist. Das
SONFIN stellt die Anpassungen bereit, welche für eine Bereitstellung von Online-Lernen
notwendig sind. In einem Eingabeschritt 401 wird dem Fuzzy-Inferenznetzwerk 400 ein
N-dimensionales
Eingabemuster bereitgestellt. Das Fuzzy-Inferenznetzwerk 400 berechnet
dann die Zugehörigkeitswerte
für jede
Eingabedimension für
jede Regel in einem Zugehörigkeitswert-Berechnungsschritt 402.
In einem Auslösestärke-Prüfschritt 404 wird
die Auslösestärke der
Regeln auf Grundlage der Eingabe bestimmt und wird geprüft, ob sie
eine vorbestimmte Schwelle übersteigt.
Dann, wenn die Auslösestärke die
Schwelle übersteigt,
berechnet das Fuzzy-Inferenznetzwerk 400 in einem Normalisierungsschritt 406 normalisierte
Regelstärken
für die
Regel. Das Fuzzy-Inferenznetzwerk 400 berechnet dann in
einem Defuzzifizierungsschritt 408 eine Ausgabe unter Verwendung
von Schwerpunktdefuzzifikation. In einem statischen Betrieb eines
trainierten Netzwerks ist das Ergebnis des Defuzzifizierungsschritts 408 die
Ausgabe des Fuzzy-Inferenznetzwerks 400. Nach einem Prüfen in dem
Auslösestärke-Prüfschritt 404,
um zu bestimmen, ob die Auslösestärke der
Regeln die Schwelle übersteigt,
wird dann, wenn die Regel die Schwelle übersteigt, in einem Regeleinstellschritt 410 ein
unscharfes Ähnlichkeitsmaß zwischen
der unscharfen Regel mit der größten Auslösestärke und
den Testdaten angewendet. Das unscharfe Ähnlichkeitsmaß prüft jede
Zugehörigkeitsfunktion der
unscharfen Regel, um zu bestimmen, ob sie entlang jeder entsprechenden
Dimension der Eingabedaten erfüllt
ist. Aus einer Kombination jener Zugehörigkeitsfunktionen, welche
das unscharfe Ähnlichkeitsmaß erfüllten und
neuer Zugehörigkeitsfunktionen,
um jene Zugehörigkeitsfunktionen
zu ersetzen, welche das unscharfe Ähnlichkeitsmaß nicht
erfüllten,
wird eine neue Regel erzeugt. Die Parameter der neuen Zugehörigkeitsfunktionen
sind derart gesetzt, dass sie mit den Eingabedaten übereinstimmen
(z.B. ist der Mittelwert gleich dem Wert der Eingabedaten entlang
der Dimension eingestellt, welcher die Zugehörigkeitsfunktion entspricht
und eine voreingestellte Varianz ist bereitgestellt). Die Auslösestärkefrequenz
fJ für
eine neue Regel wird inkrementiert, so dass schließlich, wenn
die Regel verwendet wird, die Lernregel angewendet werden kann.
Weiterhin wird ein Klassifizierungslabel für die neue Regel derart bereitgestellt,
dass sie mit der Klassifizierung für die Eingabedaten übereinstimmt,
für welche
die Regel erzeugt wurde. Sowohl die neue als auch die alte Regel
werden in der Regelbasis bewahrt, und das Fuzzy-Inferenznetzwerk 400 kann
mehr Eingabedaten annehmen. Falls die Auslösestärke der Regeln die Schwelle
nicht übersteigt,
wie in dem Auslösestärke-Prüfschritt 404 bestimmt
wird, wird die unscharfe Regel mit der größten Auslösestärke in einem Ausgabeklassen-Prüfschritt 412 geprüft, um zu
bestimmen, ob sie die Eingabedaten korrekt klassifiziert hat. Wenn
die Regel die Eingabedaten nicht korrekt klassifiziert hat, wird
der Regeleinstellschritt 410 auf die Regel angewandt, und
das Fuzzy-Inferenznetzwerk 400 kann mehr Eingabedaten annehmen.
Dann, wenn die Regel die Eingabedaten korrekt klassifiziert hat,
wird nach dem Normalisierungsschritt 406 und dem Defuzzifizierungsschritt 408 die
Lernregel in einem Lernvorschriftanwendungsschritt 414 angewendet,
um die Parameter der Regel mit der größten Auslösestärke zu aktualisieren und das
Fuzzy-Inferenznetzwerk 400 kann mehr Eingabedaten akzeptieren.
-
Sobald ein Fuzzy-Inferenznetzwerk 400 ausreichend
unter Verwendung der vorliegenden Erfindung trainiert ist, kann
die sich ergebende Regelbasis sowohl in Software ausgeführt sein,
welche an einem Altzweck- oder Spezialzweckprozessor betrieben wird,
oder kann direkt in Hardware eingebaut sein. Die Fähigkeit,
die Regelbasis in Hardware auszuführen, sorgt im Allgemeinen
für einen
sehr viel schnelleren Betrieb zur Klassifizierung von Daten als
eine vergleichbare Softwareausführungsform.
-
Ergebnisse Es wurden Auswertungen
ausgeführt,
um die Leistung der vorliegenden Erfindung unter Verwendung von
1-dimensionalen Infrarotreichweitenprofilsensordaten kombiniert
mit Gewichtssensoren zur Fahrzeuginsassenerkennung zu bestimmen.
Verwendete Sensordaten umfassten 31 Merkmale: 30 Strahlen mit Entfernungsinformation
des Insassen in einem Autositz, gemessen von einem festen Ort in
dem Auto und ein zusätzliches
Signal von einem Gewichtssensor, welcher das durchschnittliche Gewicht
des Insassen misst, welcher den Sitz belegt. Die Ergebnisse sind
in 5 für drei Datensätze gezeigt,
wobei die Aufgabe war, den Insassen auf dem Sitz in eine von mehreren
Kategorien zu klas sifizieren, und zu bestimmen, ob ein Airbag aktiviert
werden soll. In dem ersten Datensatz war die Klassifizierungsaufgabe,
den Airbag für
Säuglingssitze mit
Blickrichtung nach hinten (RFIS = "Rear Facing Infant Seats") zu deaktivieren
und den Airbag für
Kindersitze mit Blickrichtung nach vorne (FFCS = "Front Facing Child
Seats"), sich frei
herumbewegende Kinder von 35 Pfund, Säuglingssitze mit Blickrichtung
nach vorne (FFIS = "Front
Facing Infant Seats")
und Erwachsene in normalen Positionen zu aktivieren. Dabei machen üblicherweise
die sich frei umherbewegenden 35 Pfund-Kinder das Auslesen des Gewichtssensors
verrauschter als FFCS und FFIS. Erwachsene außer Position (OOP = "Out-Of-Position") waren in dem ersten
Datensatz nicht enthalten. Der zweite Datensatz war mit dem ersten
Datensatz identisch, abgesehen davon, dass die OOP als Aktivieren
klassifiziert werden sollten. Im dritten Datensatz war die Klassifizierungsaufgabe,
für FFIS
zu deaktivieren und für
FFCS, Erwachsene in normaler Position, sich frei umherbewegende
35 Pfund-Kinder und OOP zu aktivieren. In diesem Datensatz waren
keine RFIS-Beispiele vorhanden. Diese Aufgaben weisen aufgrund des Überlappungsbetrags
in den Sensormerkmalen für
diese Situationen unterschiedliche Schwierigkeitsstufen auf. Es
ist wichtig anzumerken, dass diese Anwendungen hochdimensionale
Klassifizierungsaufgaben sind, und dass zur Simulation von Online-Lernen
die Daten dem System in einer Einzelübergabe präsentiert wurden, wobei ein
Lernen an jedem präsentierten
Eingabemuster stattfand.
-
Die drei Datensätze wurden verwendet, um ein
Netzwerk der vorliegenden Erfindung und ebenso Netzwerke vom Typ
SONFIN und M-PROBART zu trainieren. Wie zuvor angemerkt wurde, ist
die Leistung der vorliegenden Erfindung in der Tabelle von 5 zusammengefasst. Es wurden zwei unterschiedliche
Leistungsmaße
verwendet, um die Ergebnisse der vorliegenden Erfindung mit jenen
anderer Netzwerke zu vergleichen. Das erste Maß war Genauigkeit in der Vorhersageleistung
an den Testdaten (d.h. nicht am Trainingsdatensatz). Aus der Tabelle
ist zu sehen, dass die Vorhersagegenauigkeit an dem Testsatz unter
Verwendung der vorliegenden Erfindung sehr viel besser als jene
des SONFIN und vergleichbar mit jener des M-PROBART für alle Datensätze ist.
Da SONFIN aufgrund von Problemen mit hochdimensionalen Eingaben
auf einen schlechten Cluster-Algorithmus reduziert ist, ist die
Vorhersagegenauigkeit schlechter als jene der vorliegenden Erfindung.
Die bessere Genauigkeit des M-PROBART
verglichen mit SONFIN kann einem Selbstorganisierungsprozess zugeschrieben
werden, welcher für
Fehlübereinstimmungen
in Ausgabeklassenzuweisungen verantwortlich ist, ähnlich jenen
der vorliegenden Erfindung. Das zweite verwendete Leistungsmaß war die
Anzahl an erzeugten Regeln. Für
die vorliegende Erfindung war dieses Maß sowohl dem M-PROBART und
dem SONFIN-Netzwerk überlegen.
Im Falle von SONFIN ist der Unterschied in der Größe der extrahierten
Regelbasis wiederum in der Unfähigkeit
begründet,
in hochdimensionalen Räumen
zu lernen. Bezüglich
des M-PROBART war der Unterschied in der Regelbasis hauptsächlich im
Fehlen irgendeines Parametereinstellmechanismus begründet. Anders
als die vorliegende Erfindung und SONFIN führt das M-PROBART auch kein Reduzieren
der Gauss'schen
entlang einer jeden Dimension durch. Zusammengefasst zeigen die
Ergebnisse, dass die vorliegende Erfindung nicht nur genau ist,
sondern dass sie in der Größe ihrer
Regelbasis kompakter ist, verglichen mit den zwei führenden
Online-Lernalgorithmen, welche augenblicklich in der Literatur verfügbar sind.
Das Ergebnis liegt hauptsächlich
an der neuen Lernvorschrift und dem Selbstorganisierungsprozess, welcher
dazu gedacht ist, online für
hochdimensionale Klassifizierungsaufgaben zu lernen.
-
Zusammenfassung
-
Die vorliegende Erfindung stellt
ein verbessertes Verfahren und ein verbessertes System zum Trainieren
eines online Fuzzy-Interferenznetzwerks
bereit, um eine Regelbasis zu erzeugen, sowie eine dadurch erzeugte
Regelbasis. Ein Drehen und Anwenden einer Lernregel auf die durch
das Fuzzy-Interferenznetzwerk erzeugten unscharfen Regeln derart,
dass die Leistung des Netzwerks von der Anzahl an Eingabedimensionen
geschieden wird, gestattet die vorliegende Erfindung, ein Fuzzy-Inferenznetzwerk,
wie etwa ein SONFIN, derart anzupassen, dass es für die Klassifizierung
von hochdimensionalen Daten bei Problemen effektiv ist, welche die
Verwendung einer hohen Anzahl von Dimensionen verwenden, wie etwa
Insassenerkennung in Fahrzeugen, Wettervorhersage und Wirtschaftsvorhersagen.