DE10135837A1

DE10135837A1 - Bedienen und Beobachten einer Anlage

Info

Publication number: DE10135837A1
Application number: DE2001135837
Authority: DE
Inventors: Xin Ye
Original assignee: Siemens Corp
Current assignee: Siemens Corp
Priority date: 2001-07-23
Filing date: 2001-07-23
Publication date: 2003-02-20

Abstract

Die Erfindung betrifft ein System und Verfahren, welches ein ortsunabhängiges und berührungsloses Bedienen und Beobachten einer Anlage ermöglicht. Das System enthält Spracherkennungsmittel (4) zur Erkennung einer Sprachinformation (9) in Sprachbefehlen (8) eines Anwenders (1), Anzeigemittel (2) zur vergrößernden Projektion von Zustandsbildern (3) der Anlage (10) auf eine Projektionsfläche (5), Wiedergabemittel (7) zur akustischen Sprachwiedergabe und Steuerungsmittel (6) zur Verknüpfung der Sprachinformation (8) mit ersten Informationsdaten (11), zweiten Informationsdaten (12) und dritten Informationsdaten (13) und zur Ermittlung eines Bearbeitungszustands der Sprachinformation (8), wobei die Anzeigemittel (2) zur Anzeige der ersten Informationsdaten (11) und des Bearbeitungszustands in den Zustandsbildern (3) vorgesehen sind, wobei die Wiedergabemittel (7) zur akustischen Sprachwiedergabe der zweiten Informationsdaten (12) vorgesehen sind und wobei die Steuerungsmittel (6) zur Durchführung von in den dritten Informationsdaten (13) definierten Bedienhandlungen an der Anlage (10) vorgesehen sind.

Description

Die Erfindung betrifft ein System und ein Verfahren zum Bedienen und Beobachten einer Anlage, insbesondere im speziellen Kontext der Anwendungsfelder "Bedienen und Beobachten von Prozessautomatisierungssystemen" sowie "Produktions- und Werkzeugmaschinen".
Ein derartiges System und Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen, bei Diagnose-/Serviceunterstützungssystemen sowie für komplexe Komponenten, Geräte und Systeme, wie beispielsweise Fahrzeuge und industrielle Maschinen und Anlagen zum Einsatz. Herkömmliche Displays und Bedientafeln zur Steuerung einer Anlage oder einer Maschine sind aus technischen und aus Kostengründen meist klein und können nur fest platziert werden. Dies wirkt sich nachteilig aus, wenn die Anlage bzw. der Maschinenraum groß ist, da sich diese Art von Anzeigeinstrument nur aus der Nähe betrachten lässt. Bei ungünstiger Entfernung oder ungünstigen Winkellagen kann sich der Anwender nicht über den Prozesszustand informieren. Um sich über den Prozesszustand zu informieren oder Aktionen auszulösen, muss der Anwender zur Bedientafel laufen und entsprechende Tasten betätigen. In vielen Fällen braucht der Anwender aber beide Hände frei, um seine eigentliche Arbeit (z. B. Justieren, Reparatur, etc.) vor Ort an der Anlage bzw. der Maschine durchführen zu können. Der Weg zur Bedientafel kann auch belastend sein, besonders wenn die Anlage bzw. die Maschine groß ist und die zu bearbeitende Stelle an der Anlage bzw. der Maschine weit von der Bedientafel entfernt liegt. Die Hände des Anwenders im Feld werden gelegentlich durch Öl u. Ä. verschmutzt. Die Verschmutzung der Bedientafel durch Berührung der Tasten oder des Touchpanels wird als eine häufige Ursache für deren Defekt festgestellt. Im Folgenden ist unter der Bezeichnung Anlage auch eine Maschine sowie ein sonstiges System, welches zu bedienen und/oder zu beobachten ist, zu verstehen.
Der Erfindung liegt somit die Aufgabe zugrunde ein ortsunabhängiges und berührungsloses Bedienen und Beobachten einer Anlage zu ermöglichen.
Diese Aufgabe wird gelöst durch ein System zum Bedienen und Beobachten einer Anlage mit

- Spracherkennungsmitteln zur Erkennung einer Sprachinformation in Sprachbefehlen eines Anwenders,
- Anzeigemitteln zur vergrößernden Projektion von Zustandsbildern der Anlage auf eine Projektionsfläche,
- Wiedergabemitteln zur akustischen Sprachwiedergabe und
- Steuerungsmitteln zur Verknüpfung der Sprachinformation mit ersten Informationsdaten, zweiten Informationsdaten und dritten Informationsdaten und zur Ermittlung eines Bearbeitungszustands der Sprachinformation,

Diese Aufgabe wird gelöst durch ein Verfahren zum Bedienen und Beobachten einer Anlage, bei welchem

- Spracherkennungsmittel eine Sprachinformation in Sprachbefehlen eines Anwenders erkennen,
- Anzeigemittel Zustandsbilder der Anlage auf eine Projektionsfläche vergrößernd projizieren,
- Wiedergabemittel Sprache akustisch wiedergeben und
- Steuerungsmittel die Sprachinformation mit ersten Informationsdaten, zweiten Informationsdaten und dritten Informationsdaten verknüpfen und einen Bearbeitungszustand der Sprachinformation ermitteln,

Das Prozesszustandsbild, im Folgenden Zustandsbild genannt, stellt den Zustand einer Anlage dar. Definierte Interaktionselemente darin ermöglichen dem Anwender interaktiven Zugriff auf die Anlage. Das Zustandsbild wird durch ein Anzeigemittel an eine Projektionsfläche in oder bei der Anlage ausreichend groß projiziert oder über einen entsprechenden Großbildschirm dargestellt, so dass der Anwender aus beliebiger Entfernung in oder bei der Anlage das Zustandsbild betrachten kann. Es entsteht somit ein virtuelles Display zur Darstellung des Zustandbilds. Mittels Sprachbefehlen kann der Anwender die gewünschten Aktionen durchführen, die er normalerweise per Maus, Tastatur oder Tasten an einem PC oder an einer Bedientafel durchführt. Die Sprachbefehle werden durch Spracherkennungsmittel ausgewertet und die darin enthaltene Sprachinformation an Steuerungsmittel, z. B. ein Bedienungssystem, weitergeleitet. Die Steuerungsmittel führen die mit den Sprachinformationen verknüpften Aktionen durch, dazu zählen Bedienhandlungen an der Anlage, Sprachausgabe von gespeicherten Informationsdaten und Darstellung des Zustandsbilds. Der Bearbeitungszustand der erkannten Sprachbefehle sowie die gewünschten Informationen werden im projizierten Zustandsbild angezeigt. Zusätzlich wird der Anwender per Sprachausgabe über den Zustand der Anlage informiert.
Bisherige Bedien- und Beobachtungssysteme versuchen durch Platzierung mehrerer Bedientafeln in der Anlage die Distanz zur nächsten Bedientafel zu verringern. Diese Lösung führt zu erhöhten Herstellungs- und Installationskosten. Ebenso bedeutet der Einsatz mehrerer Personen, um gleichzeitig Prozessvisualisierungssysteme zu bedienen und vor Ort in der Anlage zu arbeiten, einen drastisch erhöhten Aufwand und damit verbunden erhöhte Kosten. Dem Problem der Verschmutzung der Bedientafeln kann durch robustere Bauweise derselben entgegengewirkt werden, wiederum verbunden mit erhöhten Herstellungskosten. Im Gegensatz zu diesen bisherigen Lösungsversuchen verbindet das vorgeschlagene System und Verfahren die Vorteile der Freihandbedienung mit denen der Sprachinteraktion und der Flexibilität bei der Projektion des Zustandsbilds.
Per automatischer Spracherkennung durch die Spracherkennungsmittel und mit Rückkopplung über eine Sprachausgabe wird das System bedient. In Kombination mit als Funkheadset ausgebildeten Wiedergabemitteln ist der Anwender auch nicht mehr an seinem PC gebunden und kann sich im Reichweite des Funkheadsets frei bewegen. Das Funkheadset ist zur drahtlosen Kommunikation mit den Steuerungsmitteln vorgesehen. Der Anwender kann somit die Anlage ohne Hilfe der Hände und relativ ortsunabhängig bedienen, so dass die oben genannten Probleme gelöst werden.
Sind die zweiten Informationsdaten als Textinformationen ausgebildet, so können die Wiedergabemittel zur Umwandlung der Textinformationen in Sprache vorgesehen sein, so dass der Anwender Informationen erhalten kann ohne seinen Blick von seiner Arbeit an der Anlage abwenden zu müssen. Dabei kann die Sprachausgabe sowohl durch Sprachsynthese (Text-To- Speech) als auch durch vorher aufgenommene Sprache geschehen.
Im Folgenden wird die Erfindung anhand des in der Figur gezeigten Ausführungsbeispiels näher beschrieben und erläutert.
Die Figur zeigt ein Ausführungsbeispiel eines Systems zum Bedienen und Beobachten einer Anlage 10. Sprachbefehle 8 eines Anwenders 1 werden von einem Mikrofon 16 erfasst und über eine drahtlose Verbindung 24 an Spracherkennungsmittel 4übertragen. Die Spracherkennungsmittel 4 erkennen die in den Sprachbefehlen 8 enthaltene Sprachinformation 9 und geben die erkannte Sprachinformation 9 an Steuerungsmittel 6 weiter. Die Steuerungsmittel 6 haben Zugriff auf in einem Speicher gespeicherte erste, zweite und dritte Informationsdaten 11, 12, 13. Es existiert eine erste Verbindung 21 zwischen den Steuerungsmitteln 6 und einem Anzeigemittel 2. Das Anzeigemittel 2 projiziert ein Zustandsbild 3 der Anlage 10 auf eine große Projektionsfläche 5, z. B. ein Großbildterminal. Die Steuerungsmittel 6 weisen außerdem eine zweite Verbindung 22 zu Wiedergabemitteln 7 und eine dritte Verbindung 23 zur Anlage 10 auf. Die Wiedergabemittel 7 erhalten über die zweite Verbindung 22 von den Steuerungsmitteln 6 die zweiten Informationsdaten 12 zur akustischen Wiedergabe.
Im Folgenden wird ein typischer Einsatzfall des Systems zum Bedienen und Beobachten (im Folgenden auch mit B&B abgekürzt) einer Anlage 10 beispielhaft beschrieben. Der Anwender 1 soll die Anlage 10 bedienen und beobachten. Aufgrund der Größe und Komplexität der Anlage 10 benutzt er dazu kein normales B&B- Terminal, sondern verwendet das beschriebene System. Dieses System kann er berührungslos über die drahtlose Verbindung 24 bedienen. Dazu trägt der Anwender 1 im Beispielsfall ein Funkheadset, welches ein Mikrofon 16 zur Erfassung der von ihm gesprochenen Sprachbefehle 8 und in einen Kopfhörer integrierte Lautsprecher als Wiedergabemittel 7 zur akustischen Wiedergabe der von den Steuerungsmitteln 6 gelieferten zweiten Informationsdaten 12 aufweist. Die vom Mikrofon 16 erfasste Sprache des Anwenders 1 wird über die drahtlose Verbindung 24, hier z. B. als Funkverbindung ausgebildet, an die Spracherkennungsmittel 4 übermittelt. Die Spracherkennungsmittel 4 sind in einem zentral aufgestellten Rechner enthalten. Die Spracherkennungsmittel 4 erkennen mittels geeigneter Methoden die in den Sprachbefehlen 8 enthaltene Sprachinformation 9. Die Spracherkennungsmittel 4 enthalten eine akustische Auswertevorrichtung, beispielsweise eine Soundkarte eines Computers, die den Sprachbefehl 8 des Anwenders 1 erfasst. Wenn die akustische Auswerteeinrichtung ein positives Ausgangssignal abgibt, d. h. wenn ein entsprechender Sprachbefehl 8 des Anwenders 1 vorliegt, so versuchen die Spracherkennungsmittel 4 die im Sprachbefehl 8 enthaltene Sprachinformation 9 zu erkennen. Die Spracherkennungsmittel 4 geben die so erkannte Sprachinformation 9 an die Steuerungsmittel 6 weiter. Die Steuerungsmittel 6 sind im gleichen oder einem weiteren zentralen Rechner enthalten. Sie verarbeiten die empfangene Sprachinformation 9 weiter und führen mit dieser Sprachinformation 9 verknüpfte Befehle aus. Der Anwender 1 kann so per Sprachbefehl 8 die gleichen Wirkungen erreichen, die er sonst mit traditionellen Eingabemitteln wie Tastatur, Maus, Touchscreen oder Tasten erreichen würde. So ruft er im Beispielszenario zu Beginn seiner Arbeit an der Anlage 10 mittels Sprachbefehl 8 eine ihn interessierende Information auf. Die in diesem Sprachbefehl 8 durch die Spracherkennungsmittel 4 erkannte Sprachinformation 9 wird von den Steuerungsmitteln 6 mit ersten Informationsdaten 11 verknüpft. Die der Sprachinformation 9 zugeordneten ersten Informationsdaten 11 werden daraufhin von den Steuerungsmitteln 6 über die erste Verbindung 21 an die Anzeigemittel 2 übertragen. Die erste Verbindung 21 kann eine drahtlose oder eine leitungsgebundene Verbindung sein. Die Anzeigemittel 2 sind im Ausführungsbeispiel als Videoprojektor ausgebildet. Ebenso denkbar wäre eine Ausbildung der Anzeigemittel 2 als Großbild-Bildschirm oder Großbild- Terminal. Die zweiten Informationsdaten 12 werden vom Anzeigemittel als Zustandsbild 3 auf eine Projektionsfläche 5 projiziert. Die Projektionsfläche 5 ist als große Wandfläche oder als große Bildschirmfläche ausgebildet. Entscheidend ist, dass die Projektionsfläche 5 - und somit auch das Zustandsbild 3 - so groß sind, dass die dargestellten ersten Informationsdaten 11 vom Anwender 1 von möglichst vielen Standorten in der Anlage 10 erkannt bzw. gelesen werden können. Dabei kann die Entfernung zwischen dem Anwender 1 und der Projektionsfläche 5 durchaus ein Vielfaches der zwischen einem Anwender und einem normalen Bildschirm üblichen Entfernung betragen, unbeschadet der Lesbarkeit der dargestellten ersten Informationsdaten 11. Ebenso wie der Anwender 1 mittels der Sprachbefehle 8 die Anzeige der ersten Informationsdaten 11 im Zustandsbild 3 steuern und insofern die Anlage 10 beobachten kann, kann er mittels Sprachbefehl 8 die Anlage 10 bedienen. Dazu verknüpfen die Steuerungsmittel 6 die von den Spracherkennungsmitteln 4 erkannte Sprachinformation 9 mit den dritten Informationsdaten 13. Die dritten Informationsdaten 13 enthalten die Zuordnung zwischen der Sprachinformation 9 und Steuerungsbefehlen zur Steuerung der Anlage 10. Die Sprachinformation 9 wird so von den Steuerungsmitteln 6 in die entsprechenden Steuerungsbefehle umgesetzt. Die Steuerungsbefehle werden dann von den Steuerungsmitteln 6 über die dritte Verbindung 23 an die Anlage 10 gegeben und von der Anlage 10 ausgeführt.
Eine Besonderheit des beschriebenen Systems besteht in der zielgerichteten Spracherkennung, die den Vorteil schafft, dass der Anwender 1 nicht erst in möglicherweise tiefen Bedienhierarchien nach gewünschten Prozessbildern und Prozesswerten suchen muss, sondern statt dessen durch einen entsprechenden Sprachbefehl 8 ein gewünschtes Objekt, einen gewünschten Prozesswert u. Ä. direkt "aufrufen" kann. Die Übertragung der Sprachbefehle 8 vom Mikrofon 16 zu den Spracherkennungsmitteln 4 kann dabei beispielsweise durch eine als Funkschnittstelle ausgebildete drahtlose Verbindung 24 erfolgen.
Der Anwender 1 erhält mittels den Wiedergabemitteln 7 Rückmeldungen und Informationen von den Steuerungsmitteln 6. Dabei handelt es sich zum einen um einfache Rückmeldungen der Steuerungsmittel 6, welche dem Anwender 1 mitteilen, ob seine Sprachbefehle 8 erkannt wurden, ob sie umgesetzt wurden, u. Ä. Zum anderen können jedoch auch umfangreichere Texte, z. B. aus den zweiten Informationsdaten 12, dem Anwender 1 akustisch als Sprachausgaben wiedergegeben werden. Die Sprachausgaben sind entweder direkt als Tonaufnahme oder Tondatei verfügbar oder werden mittels Text-to-Speech aus einem Text generiert. Die Wiedergabemittel 7 sind als in einem Kopfhörer integrierte Lautsprecher ausgebildet.
Der Anwender 1 kann somit, während er an unterschiedlichen Stellen der Anlage Arbeiten durchführt, bestimmte Anlagenzustände abfragen. Er ruft per Sprachbefehl 8 das gewünschte Zustandsbild 3 oder Prozessbild auf. Durch Funk wird das Sprachsignal an den zentralen Rechner, z. B. einem PC, übertragen und durch die Spracherkennungsmittel 4 verarbeitet. Der Sprachbefehl 8 wird erkannt und das gewünschte Bild wird ausreichend groß an die Wand projiziert. Der Anwender 1 liest die Information durch einen Blick auf das projizierte Zustandsbild 3 ab. Per Sprachbefehl 8 ruft er des Weiteren eine bestimmte Aktion auf. Der Sprachbefehl 8 wird wiederum erkannt und die gewünschte Aktion durchgeführt. Per Sprachausgabe wird er über die Durchführung oder die Zustände der Anlage 10 bzw. der Maschine zusätzlich informiert. In kritischen Fällen wird noch eine Bestätigung von ihm verlangt. Der Bearbeitungszustand des Sprachbefehls wird gleichzeitig auch in dem projizierten Zustandsbild 3 dargestellt. Durch den Einsatz der Spracherkennungsmittel 4 gekoppelt mit akustischen Feedback-Signalen über die Wiedergabemittel 7 ergibt sich eine leichtere, intuitivere Mensch-Maschine-Interaktion. Der Anwender 1 kann unmittelbar eine Rückmeldung in Form eines kurzzeitigen akustischen Feedback-Signals erhalten und ist so darüber informiert ob seine Sprachbefehle von den Spracherkennungsmitteln 4 registriert, verstanden und durch die Steuerungsmittel 6 ausgeführt wurden.
Der Anwender 1 des erfindungsgemäßen Systems und Verfahrens muss nicht in tiefen Bedienhierarchien nach gewünschten Prozessbildern und Prozesswerten suchen, sondern kann statt dessen das Objekt direkt "aufrufen". Damit kann er den realen Namen des Anlagen- oder Maschinenteils benutzen, statt das entsprechende Kürzel in Prozessbildern suchen zu müssen. In Kombination mit einem Funkheadset ist der Anwender 1 auch nicht mehr an seinen PC-Arbeitsplatz gebunden, sondern kann sich in der Reichweite des Funkheadsets frei bewegen. Er hat somit beide Hände frei und kann die Anlage 10 relativ ortsunabhängig bedienen. Per Sprachbefehl 8 kann der Anwender 1 die gewünschten Aktionen durchführen, die er normalerweise per Maus, Tastatur oder Tasten am PC oder an der Bedientafel durchführt. Die ortsunabhängige und berührungslose Interaktionsform ermöglicht eine intuitivere Bedienung von Anlagen und Maschinen.
Zusammenfassend betrifft die Erfindung somit ein System und Verfahren, welches ein ortsunabhängiges und berührungsloses Bedienen und Beobachten einer Anlage ermöglicht. Das System enthält Spracherkennungsmittel 4 zur Erkennung einer Sprachinformation 9 in Sprachbefehlen 8 eines Anwenders 1, Anzeigemittel 2 zur vergrößernden Projektion von Zustandsbildern 3 der Anlage 10 auf eine Projektionsfläche 5, Wiedergabemittel 7 zur akustischen Sprachwiedergabe und Steuerungsmittel 6 zur Verknüpfung der Sprachinformation 8 mit ersten Informationsdaten 11, zweiten Informationsdaten 12 und dritten Informationsdaten 13 und zur Ermittlung eines Bearbeitungszustands der Sprachinformation 8, wobei die Anzeigemittel 2 zur Anzeige der ersten Informationsdaten 11 und des Bearbeitungszustands in den Zustandsbildern 3 vorgesehen sind, wobei die Wiedergabemittel 7 zur akustischen Sprachwiedergabe der zweiten Informationsdaten 12 vorgesehen sind und wobei die Steuerungsmittel 6 zur Durchführung von in den dritten Informationsdaten 13 definierten Bedienhandlungen an der Anlage 10 vorgesehen sind.

Claims

1. System zum Bedienen und Beobachten einer Anlage mit
Spracherkennungsmitteln (4) zur Erkennung einer Sprachinformation (9) in Sprachbefehlen (8) eines Anwenders (1),
Anzeigemitteln (2) zur vergrößernden Projektion von Zustandsbildern (3) der Anlage (10) auf eine Projektionsfläche (5),
Wiedergabemitteln (7) zur akustischen Sprachwiedergabe und
Steuerungsmitteln (6) zur Verknüpfung der Sprachinformation (8) mit ersten Informationsdaten (11), zweiten Informationsdaten (12) und dritten Informationsdaten (13) und zur Ermittlung eines Bearbeitungszustands der Sprachinformation (8),
wobei die Anzeigemittel (2) zur Anzeige der ersten Informationsdaten (11) und des Bearbeitungszustands in den Zustandsbildern (3) vorgesehen sind, wobei die Wiedergabemittel (7) zur akustischen Sprachwiedergabe der zweiten Informationsdaten (12) vorgesehen sind und wobei die Steuerungsmittel (6) zur Durchführung von in den dritten Informationsdaten (13) definierten Bedienhandlungen an der Anlage (10) vorgesehen sind.

2. System nach Anspruch 1, dadurch gekennzeichnet, dass die Spracherkennungsmittel (4) und die Wiedergabemittel (7) als Funkheadset ausgebildet sind, wobei das Funkheadset zur drahtlosen Kommunikation mit den Steuerungsmitteln (6) vorgesehen ist.

3. System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die zweiten Informationsdaten (12) als Textinformationen ausgebildet sind und die Wiedergabemittel (7) zur Umwandlung der Textinformationen in Sprache vorgesehen sind.

4. Verfahren zum Bedienen und Beobachten einer Anlage, bei welchem
Spracherkennungsmittel (4) eine Sprachinformation (9) in Sprachbefehlen (8) eines Anwenders (1) erkennen,
Anzeigemittel (2) Zustandsbilder (3) der Anlage (10) auf eine Projektionsfläche (5) vergrößernd projizieren,
Wiedergabemittel (7) Sprache akustisch wiedergeben und
Steuerungsmittel (6) die Sprachinformation (8) mit ersten Informationsdaten (11), zweiten Informationsdaten (12) und dritten Informationsdaten (13) verknüpfen und einen Bearbeitungszustand der Sprachinformation (8) ermitteln,
wobei die Anzeigemittel (2) die ersten Informationsdaten (11) und den Bearbeitungszustand in den Zustandsbildern (3) anzeigen, wobei die Wiedergabemittel (7) die zweiten Informationsdaten (12) in akustischer Sprachausgabe wiedergeben und wobei die Steuerungsmittel (6) in den dritten Informationsdaten (13) definierte Bedienhandlungen an der Anlage (10) durchführen.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Spracherkennungsmittel (4) und die Wiedergabemittel (7) als Funkheadset ausgebildet sind, wobei das Funkheadset drahtlos mit den Steuerungsmitteln (6) kommuniziert.

6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass die zweiten Informationsdaten (12) als Textinformationen ausgebildet sind und die Wiedergabemittel (7) die Textinformationen in Sprache umwandeln.