DE4328752A1

DE4328752A1 - Spracherkennungssystem

Info

Publication number: DE4328752A1
Application number: DE4328752A
Authority: DE
Inventors: Ho-Sun Chung; Soo-Yong Lee
Original assignee: Goldstar Electron Co Ltd
Current assignee: SK Hynix Inc
Priority date: 1992-08-27
Filing date: 1993-08-26
Publication date: 1994-03-03
Anticipated expiration: 2013-08-27
Also published as: FR2695246B1; FR2695246A1; JPH06161496A; DE4328752B4; US5471557A; KR100202425B1

Description

Die Erfindung bezieht sich auf ein Spracherkennungssystem und insbesondere auf ein Spracherkennungssystem zur Erkennung von mündlichen Befehlen für die Fernbedienung von Haushalts elektrogeräten.

Zur Erkennung der von einem Menschen spontan ausgesprochenen Sprache ist in üblichen Spracherkennungssystemen ein enormer Rechenaufwand nötig, um eine Anpassung an eine Vielzahl von Sprachmerkmalen zu ermöglichen. Daher sind übliche Sprach erkennungssysteme hinsichtlich ihrer Ausführbarkeit und Eignung eingeschränkt, und eine Echtzeitspracherkennung wird erschwert. Zur Lösung der mit der Mustererkennung wie z. B. der Spracherkennung verbundenen Probleme wurde daher ein neuronales Netzwerkmodell vorgeschlagen.

Im Bereich der Sprachmustererkennung wurden verschiedene Modelle neuronaler Netzwerke vorgeschlagen. In diesen Modellen wird häufig ein Mehrschichtperzeptron verwendet. Das Mehrschichtperzeptron weist jedoch die Nachteile auf, daß es sich zur Bestimmung des zu einer wahren Lösung gehörenden Fehlerwertes in ein lokales Minimum des Lernvorgangs bewegt, bei dem sich der Fehlerwert nach und nach verringert und danach wieder ansteigt, und daß die Lernzeit zu lange ist. Zudem ist die Realisation der Hardwarekonstruktion aufwendig, so daß ein Einsatz für weitere Anwendungen nicht möglich ist.

Es ist daher Aufgabe der Erfindung, ein Spracherken nungssystem zur Erkennung von Fernbedienungsbefehlen für Haushaltselektrogeräte bereitzustellen, in dem ein mehr schichtiges neuronales Netzwerk eingesetzt wird, das Fehler minimieren kann.

Diese Aufgabe wird gelöst durch ein Spracherkennungssystem zur Erkennung von Fernbedienungsbefehlen von Haushaltselektro geräten mit einem Mikrofon zum Empfang der von einem Bediener ausgesprochenen Sprache, einer Sprachanalysier einrichtung zum Analysieren der anhand des Mikrofons eingegebenen Sprache, einer Erfassungseinrichtung zum Erfassen eines Sprachausschnitts der von der Sprachanalysier einrichtung ausgegebenen Sprache und zur Durchführung einer zeitachsenbezogenen Normalisierung und einer Binärwandlung des Sprachausschnitts, und einem mehrschichtigen neuronalen Netzwerk zum Empfangen der binären Daten der Erfassungs einrichtung und zum anschließenden Durchführen eines Lernprozesses bezüglich der Daten, um dadurch das Sprach erkennungsergebnis auszugeben.

Durch das erfindungsgemäße mehrschichtige neuronale Netzwerk werden die oben beschriebenen Nachteile vermieden, wobei seine Anwendung speziell für den Bereich der Mustererkennung wie z. B. der Symbol- oder Spracherkennung vorgesehen ist.

Die Erfindung wird nachstehend anhand von Ausführungs beispielen unter Bezugnahme auf die Zeichnung näher beschrieben. Es zeigen:

Fig. 1 ein Blockschaltbild eines erfindungsgemäßen Fernbedienungsbefehls-Erkennungssystems eines Haushaltselek trogeräts, in dem ein mehrschichtiges neuronales Netzwerk eingesetzt wird,

Fig. 2 Original-Erkennungszielworte, die in einem erfindungs gemäßen Erkennungsexperiment verwendet wurden,

Fig. 3 Daten, die nach Erfassung des Sprachausschnitts des Erkennungszielworts "power" erhalten wurden,

Fig. 4a-4c Diagramme, die erfindungsgemäße Binärwandlungs verfahren darstellen,

Fig. 5a eine Tabelle, die ein Ergebnis der Binärwandlung der in Fig. 3 gezeigten Daten nach dem in Fig. 4a gezeigten Verfahren darstellt,

Fig. 5b eine Tabelle, die ein Ergebnis der Binärwandlung der in Fig. 3 gezeigten Daten nach dem in Fig. 4c gezeigten Verfahren darstellt,

Fig. 6 ein Blockschaltbild, das die erfindungsgemäße Verarbeitungssequenz der erfaßten zeitachsennormalisierten Sprachausschnittsdaten darstellt,

Fig. 7 ein Lernverfahren eines mehrschichtigen neuronalen Netzwerks zur Erhöhung der Erkennungsrate des erfindungs gemäßen Spracherkennungssystems, und

Fig. 8 ein Ergebnis, das mittels einer Programmsimulation der Spracherkennung anhand von Fernseh- und Videorekorderbefehlen erhalten wurde.

Bevor das erfindungsgemäße Spracherkennungssystem unter Bezugnahme auf die Zeichnung beschrieben wird, wird zunächst der erfindungsgemäße Lernalgorythmus des mehrschichtigen neuronalen Netzwerks beschrieben. Der Algorythmus verfährt wie folgt:

a) Initialisiere die Gewichtungsfaktoren für alle Knoten.
b) Stelle die Werte des Eingangs und seines entsprechenden Ausgangs zur Verfügung.
c) Summiere die Produkte der Eingangswerte mit den Gewichtungsfaktoren eines jeden Knotens und erzeuge dadurch die Ausgangsdaten unter Verwendung einer hart begrenzenden, nicht linearen Funktion: wobei f_h eine hart begrenzende Funktion, X_i das i-te Eingangssignal, W_ji den Gewichtungsfaktor zwischen dem i-ten und dem j-ten Knoten, und OUT_j den Ausgangswert am j-ten Knoten kennzeichnet.
d) Vergleiche den Ausgangswert am Ausgangsknoten mit dem gewünschten Ausgangswert, um dadurch den Fehler zwischen beiden zu bestimmen, und speichere dann die den Fehlerwerten entsprechenden Änderungen der Gewichtungsfaktoren: ΔW_ji = (D_j-O_j) (3)wobei W_ji die Änderung des Gewichtungsfaktors, D_j den gewünschten Ausgangswert des j-ten Knoten, und O_j den Ausgangswert des j-ten Knoten kennzeichnet.
e) Führe die Schritte b) bis d) für alle Eingangswerte durch und beende den Lernprozeß, wenn alle Ausgangswerte identisch mit den gewünschten Werten sind. Andernfalls addiere die Summe der Gewichtungsfaktoränderungen zum Gewichtungsfaktor hinzu: wobei W_(T-1)ji den Gewichtungsfaktor vor der Änderung und W_ji den Gewichtungsfaktor nach der Änderung kennzeichnet.
f) Führe eine vorbestimmte Anzahl von Wiederholungen der Schritte b) bis e) durch und vergrößere die Anzahl der Schichten, bis das gewünschte Resultat erhalten wird. Wiederhole danach die Schritte b) bis e), wobei der Ausgangswert der erweiterten Schicht und der ursprüngliche Eingangswert als neuer Eingangswert verwendet werden.

Beim Lernalgorythmus des mehrschichtigen neuronalen Netzwerks sollten die Gewichtungsfaktoren der Synapsen zur Erleichterung der Hardware-Konstruktion ganzzahlig sein. Ferner wird die hart begrenzende Funktion als Übertragungsfunktion der Neuronen verwendet, für deren Eingangs- und Ausgangswerte binäre Zahlen verwendet werden. Als Regel gilt, daß, solange der Lernprozeß der vorangegangenen Schicht nicht erfolgreich war, die Anzahl der Schichten vergrößert wird und daß der Lernprozeß solange durchgeführt wird, bis der Ausgangswert identisch mit dem gewünschten Ausgangswert ist.

Fig. 1 zeigt ein Blockschaltbild eines Fernbedienungsbefehls- Erkennungssystems für Haushaltselektrogeräte, in dem ein mehrschichtiges neuronales Netzwerk eingesetzt wird. Unter Bezugnahme auf Fig. 1 enthält das System ein Mikrofon 200 zum Empfangen der Sprache, einen Sprachanalysator 210 zur Extrahierung der Charakteristiken der vom Mikrofon 200 übertragenen Sprache, eine Erfassungseinrichtung 220 zur Erfassung des Sprachausschnitts der durch den Sprachanalysator 210 verarbeiteten Sprache und zur Durchführung einer Zeitachsennormalisierung und einer Binärwandlung des Sprachausschnitts, und ein mehrschichtiges neuronales Netzwerk 230 zum Empfangen der binärgewandelten Daten der Erfassungseinrichtung 220 zum Durchführen des Lernprozesses und zum anschließenden Ausgeben des Spracherkennungsergebnisses.

Eine erfindungsgemäße Fernbedienung ist wie in Fig. 1 gezeigt aufgebaut. Die Fernbedienung sendet ein der erkannten Sprache entsprechendes Fernsteuerungssignal aus, um dadurch das elektronische Haushaltsgerät zum Ausführen der gewünschten Funktion zu veranlassen. Das erkannte Sprachsignal wird auch auf dem Bildschirm angezeigt.

Fig. 2 zeigt eine Liste von Erkennungszielworten, wie sie in einem Experiment verwendet wurden. Gemäß Fig. 2 bestehen die Erkennungszielworte aus 23 Fernseh- und Videorekorderbefehlen und den koreanischen Zahlen "young" bis "koo", die den deutschen Zahlen 1 bis 9 entsprechen.

Fig. 3 zeigt eine Tabelle, die die Daten nach der Erfassung des Sprachausschnitts in dem Erkennungszielwort "power" darstellt.

Erfindungsgemäß werden die Ausgangssignale einer 16-kanaligen Filterbank verwendet, so daß der Sprachausschnitt in 16 Frequenzbänder F1-F16 unterteilt wird. Die Analyseperiode der Sprachdaten wird auf 16 ms festgesetzt. Von den analysierten Daten werden die Rahmen erfaßt, deren Energieniveau höher als ein vorbestimmter Schwellwert ist, so daß diese kontinuierlichen Rahmen als Sprachausschnitt zusammengefaßt werden.

Da das gleiche Wort etwas länger oder kürzer ausgesprochen werden kann, werden die erfaßten Sprachausschnittsdaten nach jeweils 30 Rahmen zeitachsennormalisiert, was der durchschnittlichen Dauer eines zwei- oder dreisilbigen Wortes entspricht. Die Normalisierung wird dadurch erreicht, daß Teile der Rahmen proportional entfernt werden, wenn das Wort länger als ein Referenzrahmen ist und daß Teile des Rahmens proportional kopiert werden, wenn das Wort kürzer als der Referenzrahmen ist.

Die Fig. 4a-4c zeigen erfindungsgemäße Binärwandlungs verfahren. Gemäß Fig. 4a wird angenommen, daß zwei benachbarte Frequenzbänder ein erstes bzw. ein zweites Frequenzband sind und daß, wenn das Energieniveau des ersten Frequenzbandes höher als das des benachbarten zweiten Frequenzbandes ist, dem ersten Frequenzband der Wert "1" oder dem zweiten Frequenzband der Wert "0" zugewiesen wird. Gemäß Fig. 4b wird einem Frequenzband der Wert "1" zugewiesen, wenn das Energieniveau des Frequenzbandes höher ist als das der beiden Nachbarfrequenzbänder, zwischen denen sich das Frequenzband befindet, oder andernfalls wird dem Frequenzband der Wert "0" zugewiesen. Gemäß Fig. 4c werden die in einen Sprachausschnitt eingeteilten Daten in einer festen Proportion normalisiert und der Wert "1" wird einem Frequenzband zugewiesen, dessen Energieniveau höher als ein vorgestimmter Schwellwert ist, oder andernfalls wird dem Frequenzband der Wert "0" zugewiesen.

Fig. 5a zeigt eine Tabelle des Ergebnisses der Binärwandlung der in Fig. 3 gezeigten Daten nach dem in Fig. 4a gezeigten Verfahren.

Fig. 5b zeigt eine Tabelle des Ergebnisses der Binärwandlung der in Fig. 3 gezeigten Daten nach dem in Fig. 4c gezeigten Verfahren.

Die Binärwandlungsergebnisse der Fig. 5a und 5b werden als Eingangswerte für ein mehrschichtiges neuronales Netzwerk verwendet. Das mehrschichtige neuronale Netzwerk führt den oben beschriebenen Algorythmus bei Erhalt der binärgewandelten Ergebnisse durch.

Fig. 6 zeigt ein Blockschaltbild der Verarbeitungssequenz, nach der die erfaßten zeitachsennormalisierten Sprachaus schnittsdaten verarbeitet werden. Gemäß Fig. 6 werden die erfaßten zeitachsennormalisierten Sprachausschnittsdaten mit tels drei Arten von Binärwandlungsschaltungen 300 binär gewandelt. Danach werden die binärgewandelten Daten anhand eines Lernprozesses von drei mehrschichtigen neuronalen Netzwerken 310 verarbeitet. Die durch den Lernprozeß erhaltenen Daten werden einer Maximalwert-Ausgabeschaltung 320 eingegeben, wodurch die Maximalwerte erzeugt werden. Danach werden die Ergebnisse der Maximalwert- Ausgabeschaltungen 320 mittels einer Endwerterkennungs schaltung 330 vereinigt, wobei die Endwerterkennungsschaltung 330 den endgültigen Erkennungswert erzeugt.

Durch die gleichzeitige Verwendung von drei verschiedenen Binärwandlungsverfahren können die Sprachcharakteristiken differenzierter ausgedrückt werden, um dadurch eine bessere Erkennungsrate zu sichern. Weiterhin wird durch die vorliegende Erfindung ein zusätzliches Verfahren zum Erzielen eines verbesserten Lernergebnisses bereitgestellt.

Fig. 7 zeigt ein erfindungsgemäßes Lernverfahren, das ein verbessertes Ergebnis zur Folge hat. Gemäß Fig. 7 enthält ein mehrschichtiges neuronales Netzwerk eine vorbestimmte Anzahl von subneuronalen Netzwerken und jedes der subneuronalen Netzwerke enthält weiterhin seine eigenen subneuronalen Netzwerke, die dadurch die Erkennungsrate erhöhen. Das erfindungsgemäße Spracherkennungssystem enthält eine Vielzahl von neuronalen Netzwerken 400 zur Durchführung des Lernprozesses bei Empfang der binärgewandelten Signale und eine Vielzahl von subneuronalen Netzwerken 410, die mit den neuronalen Netzwerken 400 verbunden sind. Ebenso können die subneuronalen Netzwerke ihre eigenen subneuronalen Netzwerke enthalten.

Somit können die Ausgangsdaten, die nicht durch das neuronale Netzwerk ermittelt werden können, von den subneuronalen Netzwerken 400 gelernt werden, wodurch das endgültige Ergebnis erhalten wird. Die Ausgangsdaten, die nicht durch die subneuronalen Netzwerke 410 ermittelt werden, können von ihren eigenen subneuronalen Netzwerken gelernt werden. Wird z. B. der Lernprozeß anhand der koreanischen Zahlen "il" und "chil", "sahm" und "pahl", und "yuk" und "koo" durchgeführt, die paarweise ähnlich erscheinen und daher schwer zu unterscheiden sind, so können diese Zahlenpaare ein weiteres Mal gelernt werden. Dieses Verfahren wird erfindungsgemäß zur Erhöhung der Erkennungsrate des Lernprozesses eingeführt.

Fig. 8 zeigt eine Programmsimulation von Fernseh- und Videorekorderbefehlen, die auf dem Monitor eines Computersystems angezeigt wird. Zum jetzigen Zeitpunkt umfassen die Studierdaten des mehrschichtigen neuronalen Netzwerks mehr als 300 Daten für jedes von einem Sprecher ausgesprochene Modul, bei insgesamt 10 Modulen. Für die Erkennung wird eine Zeitdauer von ungefähr 0.2 Sekunden benötigt, was den Aufbau eines Echtzeitsystems ermöglicht. Nach dem Lernprozeß zeigten die Studierdaten eine Erkennungsrate von 100% und die Testdaten eine Erkennungsrate von 90%, was als hohe Rate angesehen werden kann.

Dementsprechend kann durch das erfindungsgemäße Spracher kennungssystem und das erfindungsgemäße Spracherkennungsver fahren die Spracherkennungsrate verbessert werden.

Spracherkennungssystem zur Erkennung von mündlichen Befehlen für die Fernbedienung eines Fernsehgeräts oder Videorekorders mit einem Mikrofon zum Empfangen der von einem Bediener ausgesprochenen Sprache, einer Sprachanalysiereinrichtung zum Analysieren der über das Mikrofon eingegebenen Sprache, einer Erfassungseinrichtung zur Erfassung eines Sprachausschnitts der Sprache von der Sprachanalysiereinrichtung und zum Durchführen einer Zeitachsennormalisierung und einer Binärwandlung des erfaßten Sprachausschnitts, und einem mehrschichtigen, neuronalen Netzwerk zum Empfangen der binärgewandelten Daten der Erfassungseinrichtung und zum anschließenden Durchführen eines Lernprozesses, um dadurch ein Spracherkennungsergebnis auszugeben. Durch die vor liegende Erfindung kann die Erkennungsrate von Sprachsignalen erhöht werden.

Claims

1. Spracherkennungssystem zur Erkennung von Fernbedienungs befehlen von Haushaltselektrogeräten, mit:

a) einem Mikrofon (200) zum Empfangen der durch einen Bediener ausgesprochenen Sprache,
b) einer Sprachanalysiereinrichtung (210) zum Analysieren der durch das Mikrofon (200) eingegebenen Sprache,
c) einer Erfassungseinrichtung (220) zum Erfassen eines Sprachausschnitts der Sprache von der Sprachanalysier einrichtung (200) und zur Durchführung einer Zeitachsen normalisierung und einer Binärwandlung des Sprachausschnitts, und
d) einem mehrschichtigen neuronalen Netzwerk (230) zum Empfangen der binärgewandelten Daten der Erfassungs einrichtung (220) und zum anschließenden Durchführen eines Lernprozesses, um dadurch ein Spracherkennungsergebnis (240) auszugeben.

2. Spracherkennungssystem nach Anspruch 1, wobei die Erfassungseinrichtung (220) eine erste Einrichtung aufweist, die einem ersten Frequenzband einen ersten Zustandswert zuweist, wenn das Ausgangssignal des ersten Frequenzbandes der erfaßten zeitachsennormalisierten Sprachausschnittsdaten größer als das eines benachbarten zweiten Frequenzbandes ist, oder andernfalls einen zweiten Zustandswert dem ersten Frequenzband zuweist,
eine zweite Einrichtung aufweist, die dem ersten Frequenzband einen ersten Zustandswert zuweist, wenn das Ausgangssignal des ersten Frequenzbandes der erfaßten zeitachsen normalisierten Sprachausschnittsdaten größer ist als die seiner benachbarten Frequenzbänder, zwischen denen sich das erste Frequenzband befindet, oder andernfalls dem ersten Frequenzband einen zweiten Zustandswert zuweist, und
eine dritte Einrichtung zur Normalisierung der erfaßten zeitachsennormalisierten Sprachausschnittsdaten in einer vorbestimmten Proportion und zur Zuweisung eines ersten Zustandswerts zu einem Frequenzband, wenn der Ausgangswert in dem Frequenzband größer als ein Schwellwert ist, oder andernfalls zur Zuweisung eines zweiten Zustandswerts zu dem Frequenzband.

3. Spracherkennungssystem nach Anspruch 2, wobei das mehrschichtige neuronale Netzwerk (230) erste, zweite und dritte mehrschichtige neuronale Netzwerke umfaßt, die entsprechend mit der ersten, zweiten bzw. dritten Einrichtung verbunden sind, um dadurch die Ergebnisse des mehrschichtigen neuronalen Netzwerks zu vereinen und auszugeben.

4. Spracherkennungssystem nach Anspruch 3, wobei jedes der ersten, zweiten und dritten mehrschichtigen neuronalen Netzwerke eine vorbestimmte Anzahl von subneuronalen Netzwerken mit einer vorbestimmten Anzahl von Stufen enthält, um dadurch die Ausgangssignale der subneuronalen Netzwerke zu vereinen und auszugeben.

5. Spracherkennungssystem nach Anspruch 3, wobei in dem mehrschichtige neuronalen Netzwerk ein Lernverfahren zur Erkennung von Fernbedienungsbefehlen für Haushaltselektro geräte durchgeführt wird, das die Schritte umfaßt:

a) Initialisieren der Gewichtungsfaktoren für alle Knoten,
b) Bereitstellen der Eingangswerte und der entsprechenden Ausgangswerte,
c) Aufsummieren der Produkte der Eingangswerte mit den Gewichtungsfaktoren an jedem Knoten, um dadurch ein Ausgangssignal unter Verwendung einer hart begrenzenden, nicht linearen Funktion zu erzeugen,
d) Vergleichen des Ausgangssignals am Ausgangsknoten mit einem gewünschten Ausgangswert, um dadurch den Fehler zwischen den beiden zu berechnen, und danach Speichern der Änderung des Gewichtungsfaktors entsprechend den Fehlerwerten,
e) Durchführen der Schritte b) bis d) für alle Eingangssignale und Abbrechen des Lernvorgangs, wenn alle Ausgangswerte identisch mit den gewünschten Werten sind, andernfalls Hinzuaddieren der Summe der Änderungen der Gewichtungsfaktoren zu jedem entsprechenden Gewichtungs faktor, und
f) Durchführen einer vorbestimmten Anzahl von Wiederholungen der Schritte b) bis e) und Erhöhen der Anzahl von Schichten, wenn das gewünschte Ergebnis nicht erhalten wird, danach Wiederholen der Schritte b) bis e), wobei das Ausgangssignal der erweiterten Schicht und das ursprüngliche Eingangssignal als neues Eingangssignal eingegeben wird.