[go: up one dir, main page]

DE102004021379A1 - Bedien- und Beobachtungssystem für industrielle Anlagen - Google Patents

Bedien- und Beobachtungssystem für industrielle Anlagen Download PDF

Info

Publication number
DE102004021379A1
DE102004021379A1 DE102004021379A DE102004021379A DE102004021379A1 DE 102004021379 A1 DE102004021379 A1 DE 102004021379A1 DE 102004021379 A DE102004021379 A DE 102004021379A DE 102004021379 A DE102004021379 A DE 102004021379A DE 102004021379 A1 DE102004021379 A1 DE 102004021379A1
Authority
DE
Germany
Prior art keywords
image information
unit
image
plant
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102004021379A
Other languages
English (en)
Other versions
DE102004021379B4 (de
Inventor
Christiane Gast
Werner HÖFLER
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Corp
Original Assignee
Siemens Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Corp filed Critical Siemens Corp
Priority to DE102004021379A priority Critical patent/DE102004021379B4/de
Publication of DE102004021379A1 publication Critical patent/DE102004021379A1/de
Application granted granted Critical
Publication of DE102004021379B4 publication Critical patent/DE102004021379B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Die Erfindung betrifft ein Bedien- und Beobachtungssystem für industrielle Anlagen, das eine von der Anlage hardwaretechnisch entkoppelte Bedienung der Anlage und eine hardwaretechnisch entkoppelte Visualisierung des Anlagenzustandes erlaubt. Zur Bedienung der Anlage werden einem Benutzer hierfür notwendige virtuelle und/oder reale Bedienelemente zur Bedienung der Anlage durch Projektion auf eine Projektionsfläche oder nach dem Prinzip der Holografie in Luft visualisiert. Der Benutzer kann auf die projizierten Bedienelemente durch Fingerdruck zugreifen. Alternativ ist auch eine Bedienung durch Gestik, Mimik oder Sprache vorgesehen. Um dem Benutzer den Bezug der projizierten Bedienelemente zur realen Anlage zu erleichtern, wird zusätzlich ein Abbild der realen Anlage projiziert, wobei es sich insbesondere um ein direkt aufgenommenes Bild der Anlage handelt, welches den aktuellen Zustand der Anlage reflektiert und somit die Reaktion der Anlage auf Benutzereingaben zugänglich macht. Zusätzlich zu der visuellen Information sind auch akustische und/oder haptische Informationen zur Vermittlung des Anlagenzustandes vorgesehen.

Description

  • Die Erfindung betrifft ein System und ein Verfahren zum Bedienen und Beobachten insbesondere industrieller Anlagen oder Anlagenkomponenten, wobei eine von der Anlage bzw. Anlagenkomponente hardwaretechnisch entkoppelte Bedienung durch einen Benutzer vorgesehen ist.
  • Eine derartiges System bzw. Verfahren kommt beispielsweise im Bereich der Automatisierungstechnik, bei Produktions- und Werkzeugmaschinen sowie komplexen Komponenten, Geräten und Systemen zum Einsatz.
  • Die Bedienkonzepte in solchen Industrieanlagen sind heute in der Regel PC-basiert. D. h. die Bedienung mit Mouse und Tastatur wurde aus dem Bürobereich in industrielle Anwendungen übertragen. Auch die Bedienphilosophie wird überwiegend aus bekannten Anwendungen übernommen.
  • In vielen Anlagen existieren zentrale Leitwarten, in denen eine Vielzahl von Rechnern unterschiedliche Sichten auf die Anlage bieten. Dies gilt z. B. für die Prozessleittechnik in Chemie/Pharma/NUG etc., Walzwerke oder Energieverteilungsanlagen. Darüber hinaus sind viele Teilanlagen mit fest installierten „Vorort-Bediengeräten", sogenannten Operator Panels, ausgerüstet. Diese Operator Panels sind überwiegend in fertigungstechnischen Anlagen vorzufinden.
  • Aus DE 101 35 837 A1 ist ein System und Verfahren bekannt, welches eine ortsunabhängige und berührungslose Bedienung und Beobachtung einer Anlage ermöglicht. Zur Bedienung der Anlage weist das System ein Spracherkennungssystem auf, das dem Benutzer einen interaktiven Zugriff auf die Anlage ermöglicht. Der Zustand der Anlage wird dem Benutzer in Form eines virtu ellen Displays projiziert oder auf einem Großbildschirm dargestellt.
  • Der Erfindung liegt die Aufgabe zu Grunde, eine ortsunabhängige und von der realen Anlagenhardware entkoppelt Bedienung und Beobachtung einer Anlage zu ermöglichen, wobei eine möglichst einfache und intuitive Bedienung für einen Benutzer erzielt werden soll.
  • Diese Aufgabe wird durch ein System zum Bedienen und Beobachten mindestens einer Anlage und/oder Anlagenkomponente mit einer Wiedergabeeinheit, einer Befehlserfassungseinheit zur Erfassung von Benutzereingaben und einer Verarbeitungseinheit gelöst, wobei die Verarbeitungseinheit zur Verknüpfung zweier Bildinformationsmengen zu einer dritten Bildinformationsmenge dient, wobei die erste Bildinformationsmenge auf einem Abbild der Anlage und/oder Anlagenkomponente basiert, die zweite Bildinformationsmenge zur Darstellung von Bedienelementen vorgesehen ist und die dritte Bildinformationsmenge zur Visualisierung mittels einer Bildwiedergabeeinheit der Wiedergabeeinheit vorgesehen ist.
  • Diese Aufgabe wird weiter durch ein Verfahren zum Bedienen und Beobachten mindestens einer Anlage und/oder Anlagenkomponente mit Hilfe einer Wiedergabeeinheit, einer Befehlserfassungseinheit zur Erfassung von Benutzereingaben und einer Verarbeitungseinheit gelöst, wobei mit Hilfe der Verarbeitungseinheit zwei Bildinformationsmengen zu einer dritten Bildinformationsmenge verknüpft werden, wobei die erste Bildinformationsmenge auf einem Abbild der Anlage und/oder Anlagenkomponente basiert, die zweite Bildinformationsmenge Bedienelemente darstellt und die dritte Bildinformationsmenge mittels einer Bildwiedergabeeinheit der Wiedergabeeinheit visualisiert wird.
  • Das erfindungsgemäße System bzw. Verfahren sieht eine überlagerte Darstellung zweier Bildinformationsmengen vor. Die ers te Bildinformationsmenge dient zur möglichst realitätsnahen Darstellung der zu bedienenden Anlage bzw. Anlagenkomponente und die zweite zur Darstellung von Bedienelementen, durch die der Benutzer einen Zugriff auf die abgebildete Anlage und/oder Anlagenkomponente erhält. Gegenüber einer schematischen Darstellung realer Anlagen/Anlagenkomponenten oder Prozesse in Bedienmasken erfordert ein realistisches Abbild der Maschine von dem Benutzer sehr viel weniger Abstraktionsvermögen. Der Benutzer muss nicht mehr aus einem schematischen Bild ableiten, wie die reale Anlage aussieht. Dadurch wird eine intuitive Benutzerführung gewährleistet. Darüber hinaus muss der Benutzer nicht mehr zwangsläufig Fachmann sein oder speziell auf eine schematische Benutzeroberfläche geschult werden, um diese zu beherrschen.
  • Die Benutzereingaben zur Bedienung der Anlage werden mit Hilfe der Befehlserfassungseinheit erfasst und mittels der Verarbeitungseinheit in ein Steuerungssignal konvertiert, das an die Anlage/Anlagenkomponente transferiert wird.
  • Durch das erfindungsgemäße System kann somit ein hohe Zahl an Bediengeräten und der damit verbundene Verkabelungsaufwand (Energieversorgung, Datenbus etc.) eingespart werden. Der Benutzer sieht ein Abbild der realen Maschine und eine insbesondere kontextabhängige Einblendung eines oder mehrerer Bedienelemente und kann die Anlage durch Betätigung der dargestellten Bedienelemente steuern. Durch das erfindungsgemäße System wird somit die Verwendung und die damit verbundene Verschmutzung herkömmlicher, im Industrieumfeld positionierter Bediengeräte wie Keybords, Mouse, Touchscreens etc. vermieden. Da die eingeblendeten Bediengeräte nicht an die Hardware der Anlage gekoppelt sind, kann die Bedienung der Anlage auch an einem von der Anlage entfernten Ort stattfinden.
  • Um ein möglichst realitätsnahes Abbild der Anlage bzw. Anlagenkomponente auf Basis der ersten Bildinformationsmenge zu erzeugen, weist in einer vorteilhaften Ausführungsform der Erfindung das System eine Bilderfassungseinheit zur Erfassung der ersten Bildinformationsmenge auf. Hierdurch wird der Aufwand für die Projektierung des Systems erheblich reduziert, da die Vorprojektierung eines Anlagenbildes entfällt.
  • Ein aktuelles Abbild der Anlage kann dem Benutzer zur Verfügung gestellt werden, indem die Bilderfassungseinheit als Kamerasystem zur insbesondere kontinuierlichen Erfassung der ersten Bildinformationsmenge ausgeführt ist. Dadurch erhält der Benutzer immer eine aktuelle Darstellung und ist nicht auf Archivbilder angewiesen. Der Benutzer hat somit die Möglichkeit, den aktuellen Anlagenzustand und die Reaktionen der Anlage auf die von ihm generierten Benutzerkommandos zu beobachten. Alternativ kann das Abbild der Anlage von dem Kamerasystem durch eine Einzelaufnahme erzeugt werden. Diese Einzelaufnahme kann darüber hinaus in diskreten zeitlichen Abständen wiederholt werden, um ein aktualisiertes Abbild der Anlage zu erzeugen.
  • Neben Bildinformationen können in einer vorteilhaften Ausführungsform dem Benutzer auch akustische, haptische oder geruchsbildende Signale zur Beschreibung des Anlagenzustandes übermittelt werden, indem die Wiedergabeeinheit neben einer Bildwiedergabeeinheit zur Wiedergabe der dritten Bildinformationsmenge auch eine Tonwiedergabeeinheit zur Wiedergabe von Akustiksignalen und/oder eine Wiedergabeeinheit zur Wiedergabe haptischer Signale und/oder eine Wiedergabeeinheit zur Wiedergabe geruchsbildender Signale umfasst. Z. B. kann das Schwingen einer Maschine an den Benutzer als haptisches Signal übertragen werden. Dazu trägt der Benutzer ein Schwingungsgerät, das die Schwingungen an seinen Körper überträgt. Die aktuelle Auswirkung wird in eine Schwingung umgewandelt und direkt an das Schwingungsgerät des Benutzers weitergeleitet.
  • Das Wissen über die aktuelle Schwingung kann auf zwei Arten ermittelt werden:
    • – Das Schwingungsverhalten ist projektiert. Es wird festgelegt, welche Schwingung z.B. für welche Drehzahl des Motors weitergegeben wird.
    • – Das Schwingen wird direkt an der Maschine aufgezeichnet und genau so weitergegeben. Eventuell kann noch eine Umsetzung auf die Möglichkeiten des Schwingungsgerätes vorgenommen werden.
  • Weiterhin kann die Schwingung auch über Schallwellen als akustisches Signal an den Benutzer übertragen werden.
  • Eine sehr realitätsnahe Visualisierung der zu bedienenden Anlage wird in einer vorteilhaften Ausführungsform dadurch erreicht, dass die Bildwiedergabeeinheit als Projektionsgerät ausgeführt ist und zur Darstellung der dritten Bildinformationsmenge auf einer Projektionsfläche oder holografisch in Luft dient. Durch das Mittel der Projektion wird die räumliche Begrenzung der Darstellungsfläche, wie sie eine Bildschirm basierte Visualisierung beispielsweise aufweisen würde, und die damit verbundene eingeschränkte Wahrnehmungsmöglichkeit weitgehend umgangen.
  • Die Darstellung der Bildinformationen mit Hilfe der Projektion hat schließlich auch den Vorteil, dass dem Benutzer eine berührungslose Bedienung der Anlage bzw. Anlagenkomponente ermöglicht wird. Hierdurch werden Verschmutzungen etwaigen Bediengeräts vermieden.
  • Die Befehlerfassungseinheit weist vorteilhafter Weise eine Bilderkennungseinheit zur Erfassung einer Körperbewegung eines Benutzers und zur Generierung entsprechender Bilderkennungsinformationen und/oder eine Spracherkennungseinheit zur Erfassung von akustischen Befehlen des Benutzers und zur Generierung entsprechender Spracherkennungsinformationen auf.
  • Die bei herkömmlichen Bediengeräten angewandte Bedienung per Fingerdruck kann durch diese Lösung einfach auf andere Bewegungen wie Gestik und Mimik ausgeweitet werden. Z. B. kann der Bediener durch eine spezifizierte Armbewegung eine Maschine stoppen. Die Bedienung mittels akustischer Signale erlaubt es dem Bediener, seine Hände für andere Tätigkeiten frei zu halten.
  • In einer vorteilhaften Ausführungsform dient die zweite Bildinformationsmenge zur Kennzeichnung virtueller Bedienelemente. Diese Bedienelemente werden dem Benutzer schematisch in das durch die ersten Bildinformationsmenge dargestellte Abbild der realen Anlage eingeblendet, um so eine möglichst intuitive Zuordnung der Bedienoberfläche zur Anlage zu ermöglichen.
  • Für den Fall, dass die zu bedienende Anlage bereits eigene reale Bedienelemente aufweist, ist es vorteilhaft, dass die zweite Bildinformationsmenge zur Kennzeichnung dieser real an der Anlage oder Anlagenkomponente vorhandenen Bedienelemente dient. Somit kann die Anlage wie in der Realität bedient werden. Der Benutzer kann z. B. direkt einen Motor einschalten oder ein Ventil öffnen, indem er die Abbildung des Motors oder des Ventils berührt.
  • Im Folgenden wird die Erfindung anhand der in den Figuren dargestellten Ausführungsbeispiele näher beschrieben und erläutert. Es zeigen:
  • 1 eine schematische Darstellung eines Systems zum Bedienen und Beobachten insbesondere industrieller Anlagen oder Anlagenkomponenten und
  • 2 eine Darstellung eines typischen Anwendungsszenarios einer Ausführungsform des in 1 gezeigten Systems.
  • 1 zeigt eine schematische Darstellung eines Systems 1 zum Bedienen und Beobachten insbesondere industrieller Anlagen oder Anlagenkomponenten.
  • Das System 1 weist eine Verarbeitungseinheit 5 auf, mit dem eine erste Bildinformationsmenge 6 und eine zweite Bildinformationsmenge 7 zu einer dritten Bildinformationsmenge 8 verknüpft werden. Mit Hilfe der ersten Bildinformationsmenge 6 wird ein möglichst realitätsnahes Abbild einer realen Anlage 2 beschrieben. Die zweite Bildinformationsmenge 7 kennzeichnet Bedienelemente der realen Anlage 2.
  • Die Verarbeitungseinheit 5 verknüpft nun die erste Bildeinformationsmenge 6 und die zweite Bildinformationsmenge 7 zu der dritten Bildinformationsmenge 8 derart, dass bei einer Darstellung der dritten Bildinformationsmenge 8 die Bedienelemente in das reale Abbild der Anlage 2 eingeblendet werden. Zur Darstellung der Bildinformationen für einen Benutzer weist das System 1 eine Wiedergabeeinheit 3 auf.
  • Der Benutzer ist nun in der Lage, die eingeblendeten Bedienelemente mit Hilfe von Gestik, Mimik oder auch Sprachbefehlen zu bedienen und somit die reale Anlage 2 zu steuern. Die auf diese Weise von dem Benutzer generierten Befehle werden von einer Befehlerfassungseinheit 4 erkannt und in ein von der Verarbeitungseinheit 5 lesbares Signal umgewandelt. Die Verarbeitungseinheit 5 steuert schließlich in Abhängigkeit der Benutzerbefehle die reale Anlage 2.
  • Das beschriebene System 1 ermöglicht dem Benutzer eine von der Hardware der Anlage 2 entkoppelte Bedienung. Durch die erste Bildinformationsmenge 6 wird dem Benutzer hierzu ein möglichst realitätsnahes Abbild der Anlage 2 eingeblendet und somit die Möglichkeit gegeben, die durch die zweite Bildinformationsmenge 7 beschriebenen Bedienelemente möglichst kontextnah zur realen Anlage 2 zu sehen. Auf diese Weise wird dem Benutzer eine intuitive Bedienung der Anlage 2 ermöglicht.
  • Bei der Wiedergabeeinheit 3 kann es sich beispielsweise auch um ein Projektionsgerät handeln, mit dem die dritte Bildin formationsmenge 8 auf eine Projektionsfläche oder auch holografisch in Luft dargestellt wird. Eine Bedienung der projizierten und durch die zweite Bildinformationsmenge 7 beschriebenen Bedienelemente durch den Benutzer wird von der Befehlserfassungseinheit 4 erkannt und ausgewertet. Durch das Mittel der Projektion ist eine berührungslose Bedienung der Anlage 2 möglich. Auf diese Art und Weise werden Verschmutzungen von Bedienelementen vermieden.
  • 2 zeigt eine Darstellung eines typischen Anwendungsszenarios einer Ausführungsform des in 1 gezeigten Systems 1. Um ein möglichst realitätsnahes und aktuelles Abbild einer realen Anlage 2 zu erzeugen, wird diese mit Hilfe einer als Kamerasystem ausgeführten Bilderfassungseinheit 9 kontinuierlich aufgenommen. Das Kamerasystem 9 dient somit zur Erzeugung einer ersten Bildinformationsmenge 6. Eine zweite Bildinformationsmenge 7 enthält Bildinformationen über Bedienelemente der realen Anlage 2. Hierbei kann es sich sowohl um real an der Anlage 2 vorhandene Bedienelemente handeln als auch um eine rein schematische Darstellung virtueller Bedienelemente der Anlage 2. Die erste Bildinformationsmenge 6 und die zweite Bildinformationsmenge 7 werden mit Hilfe einer Verarbeitungseinheit 5 zu einer dritten Bildinformationsmenge 8 verknüpft, bei der die durch die zweite Bildinformationsmenge 7 beschriebenen Bedienelemente in das reale Abbild der Anlage 2, das durch die erste Bildinformationsmenge 6 beschrieben wird, eingeblendet werden.
  • Die dritte Bildinformationsmenge 8 wird mit Hilfe eines Projektionsgerätes 3a auf einer Projektionsfläche 13 für den Benutzer 14 sichtbar gemacht. Ebenso erhält der Benutzer 14 ein Akustiksignal 10, das zur Beschreibung des Anlagenzustandes dient. Dieses Akustiksignal 10 wird dem Benutzer 14 mit Hilfe einer Tonwiedergabeeinheit 3b hörbar gemacht. Zur Erzeugung des Akustiksignals 10 kann beispielsweise in der Nähe der Anlage 2 ein Mikrofon angebracht sein.
  • Der Benutzer 14 ist in dem dargestellten Anwendungsszenario in der Lage, Steuerungsbefehle an die Anlage 2 in Form von Gestik und Mimik und in Form von Sprachsignalen zu vermitteln. Hierzu enthält das System eine Bilderfassungseinheit 4a, mit der Körperbewegungen des Benutzers 14 erfasst und entsprechende Bilderkennungsinformationen 11 generiert werden können, die an die Verarbeitungseinheit 5 weitergegeben werden.
  • Zur Erfassung und Verarbeitung der Sprachbefehle des Benutzers 14 enthält das System eine Spracherfassungseinheit 4b, mit der die Sprachbefehle erfasst und entsprechende Spracherkennungsinformationen 12 generiert werden. Auch die Spracherkennungsinformationen 12 werden an die Verarbeitungseinheit 5 weitergegeben.
  • Die Verarbeitungseinheit 5 generiert aus den Bilderkennungsinformationen 11 und den Spracherkennungsinformationen 12 ein entsprechendes Steuersignal 15, mit dem die Anlage 2 gesteuert werden kann.
  • In dem beschriebenen Anwendungsszenario des Systems 1 kann sich der Benutzer 14 an einem von der Anlage 2 entfernten Ort befinden und den aktuellen Zustand der Anlage 2 mit Hilfe von Bild- und Akustiksignalen verfolgen. Darüber hinaus ist der Benutzer 14 in der Lage, durch Gestik und Mimik und durch Sprachsignale berührungslos die Anlage 2 zu steuern.
  • Durch die überlagerte Darstellung der von der Kamera 9 aufgenommenen Anlage 2 und den Bedienelementen, die durch die zweite Bildinformationsmenge 7 dargestellt werden, wird dem Benutzer 14 ein möglichst realitätsnahes und aktuelles Bild der Anlage 2 vermittelt. Auf diese Weise ist der Benutzer 14 in der Lage, Reaktionen auf die von ihm initiierten Steuerbefehle direkt zu beobachten. Weiterhin wird dem Benutzer 14 durch die realitätsnahe Darstellung der Anlage 2 wenig Abstraktionsvermögen abverlangt.
  • Neben dem in 2 beschriebenen Anwendungsszenario, bei dem eine Projektion des realen Anlagebildes und der Bedienelemente auf eine Projektionsfläche 13 durchgeführt wird, ist auch eine Projektion in Luft möglich. Hierbei wird die dritte Bildinformationsmenge 8 holografisch dargestellt. Da man bei dieser Art der Darstellung nicht auf eine Projektionsfläche angewiesen ist, ist ein noch flexiblerer Einsatz des Systems 1 mit Hilfe der holografischen Darstellung möglich. Das entsprechende Bild kann an verschiedenen Orten in Abhängigkeit der aktuellen Position des Benutzers 14 eingespielt werden. Hierzu wird der Benutzer 14 z. B. per Funk oder per optischer Bilderkennung geortet und identifiziert. Der Projektor befindet sich an der Decke und projiziert das Bild in das Sichtfeld des Benutzers 14.
  • Zur Vermittlung des Anlagenzustandes kann dem Benutzer 14 neben den Bildinformationen 8 und dem Akustiksignal 10 auch ein haptisches Signal zur Verfügung gestellt werden. Hierzu trägt der Benutzer 14 ein Schwingungsgerät mit sich, das die Schwingung an seinen Körper weitergibt. Die Verarbeitungseinheit 5 erkennt die aktuelle Bedienung des Benutzers 14 und vergleicht diese mit der Reaktion der Anlage 2. Schwingt die Anlage aufgrund eines bestimmten Maschinenzustandes, so wird diese Schwingung in ein Schwingungssignal umgewandelt, und dem Benutzer 14 mit Hilfe des Schwingungsgerätes erkenntlich gemacht.
  • Zusammenfassend betrifft die Erfindung ein Bedien- und Beobachtungssystem für industrielle Anlagen, das eine von der Anlage hardwaretechnisch entkoppelte Bedienung der Anlage und eine hardwaretechnisch entkoppelte Visualisierung des Anlagenzustandes erlaubt. Zur Bedienung der Anlage werden einem Benutzer hierfür notwendige virtuelle und/oder reale Bedienelemente zur Bedienung der Anlage durch Projektion auf eine Projektionsfläche oder nach dem Prinzip der Holografie in Luft visualisiert. Der Benutzer kann auf die projizierten Be dienelemente durch Fingerdruck zugreifen. Alternativ ist auch eine Bedienung durch Gestik, Mimik oder Sprache vorgesehen. Um dem Benutzer den Bezug der projizierten Bedienelemente zur realen Anlage zu erleichtern, wird zusätzlich eine Abbild der realen Anlage projiziert, wobei es sich insbesondere um ein direkt aufgenommenes Bild der Anlage handelt, welches den aktuellen Zustand der Anlage reflektiert und somit die Reaktion der Anlage auf Benutzereingaben zugänglich macht. Zusätzlich zu den visuellen Information sind auch akustische und/oder haptische Informationen zur Vermittlung des Anlagenzustandes vorgesehen.

Claims (16)

  1. System (1) zum Bedienen und Beobachten mindestens einer Anlage und/oder Anlagenkomponente (2) mit einer Wiedergabeeinheit (3), einer Befehlserfassungseinheit (4) zur Erfassung von Benutzereingaben und einer Verarbeitungseinheit (5) dadurch gekennzeichnet, dass die Verarbeitungseinheit (5) zur Verknüpfung einer ersten und einer zweiten Bildinformationsmenge (6, 7) zu einer dritten Bildinformationsmenge (8) dient, wobei die erste Bildinformationsmenge (6) auf einem Abbild der Anlage und/oder Anlagenkomponente (2) basiert, die zweite Bildinformationsmenge (7) zur Darstellung von Bedienelementen vorgesehen ist und die dritte Bildinformationsmenge (8) zur Visualisierung mittels einer Bildwiedergabeeinheit (3a) der Wiedergabeeinheit (3) vorgesehen ist.
  2. System (1) nach Anspruch 1, dadurch gekennzeichnet, dass das System eine Bilderfassungseinheit (9) zur Erfassung der ersten Bildinformationsmenge (6) aufweist.
  3. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bilderfassungseinheit (9) als Kamerasystem zur insbesondere kontinuierlichen Erfassung der ersten Bildinformationsmenge (6) ausgeführt ist.
  4. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Wiedergabeeinheit (3) eine Tonwiedergabeeinheit (3b) zur Wiedergabe von Akustiksignalen (10) und/oder eine Wiedergabeeinheit zur Wiedergabe haptischer Signale und/oder eine Wiedergabeeinheit zur Wiedergabe geruchsbildender Signale aufweist.
  5. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bildwiedergabeeinheit (3a) als Projektionsgerät ausgeführt ist und zur Darstellung der dritten Bildinformationsmenge (8) auf einer Projektionsfläche (13) oder holografisch in Luft dient.
  6. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Befehlserfassungseinheit (4) eine Bilderkennungseinheit (4a) zur Erfassung einer Körperbewegung eines Benutzers (14) und zur Generierung entsprechender Bilderkennungsinformationen (11) und/oder eine Spracherkennungseinheit (4b) zur Erfassung von akustischen Befehlen des Benutzers (14) und zur Generierung entsprechender Spracherkennungsinformationen (12) aufweist.
  7. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Bildinformationsmenge (7) zur Kennzeichnung virtueller Bedienelemente dient.
  8. System (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Bildinformationsmenge (7) zur Kennzeichnung real an der Anlage oder Anlagenkomponente (2) vorhandener Bedienelemente dient.
  9. Verfahren zum Bedienen und Beobachten mindestens einer Anlage und/oder Anlagenkomponente (2) mit Hilfe einer Wiedergabeeinheit (3), einer Befehlserfassungseinheit(4) zur Erfassung von Benutzereingaben und einer Verarbeitungseinheit (5) dadurch gekennzeichnet, dass mit Hilfe der Verarbeitungseinheit (5) zwei Bildinformationsmengen (6, 7) zu einer dritten Bildinformationsmenge (8) verknüpft werden, wobei die erste Bildinformationsmenge (6) auf einem Abbild der Anlage und/oder Anlagenkomponente (2) basiert, die zweite Bildinformationsmenge (7) Bedienelemente darstellt und die dritte Bildinformationsmenge (8) mittels einer Bildwiedergabeeinheit (3a) der Wiedergabeeinheit (3) visualisiert wird.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass mit Hilfe einer Bilderfassungseinheit (9) die erste Bildinformationsmenge (6) erfasst wird.
  11. Verfahren nach einem der Ansprüche 9 bis 10, dadurch gekennzeichnet, dass mit Hilfe eines Kamerasystems die erste Bildinformationsmenge (6) insbesondere kontinuierlich erfasst wird.
  12. Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass Akustiksignale (10) mit Hilfe einer Tonwiedergabeeinheit (3b) und/oder haptische Signale und/oder geruchsbildende Signale wiedergegeben werden.
  13. Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass mit Hilfe eines Projektionsgeräts die dritte Bildinformationsmenge (8) auf einer Projektionsfläche (13) oder holografisch in Luft dargestellt wird.
  14. Verfahren nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass mit Hilfe einer Bilderkennungseinheit (4a) eine Körperbewegung eines Benutzers (14) erfasst und entsprechende Bilderkennungsinformationen (11) generiert werden und/oder mit Hilfe einer Spracherkennungseinheit (4b) akustische Befehle des Benutzers (14) erfasst und entsprechende Spracherkennungsinformationen (12) generiert werden.
  15. Verfahren nach einem der Ansprüche 9 bis 14, dadurch gekennzeichnet, dass anhand der zweiten Bildinformationsmenge (7) virtuelle Bedienelemente gekennzeichnet werden.
  16. Verfahren nach einem der Ansprüche 9 bis 15, dadurch gekennzeichnet, dass anhand der zweiten Bildinformationsmenge (7) real an der Anlage oder Anlagenkomponente (2) vorhandene Bedienelemente gekennzeichnet werden.
DE102004021379A 2003-11-10 2004-04-30 Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren Expired - Fee Related DE102004021379B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004021379A DE102004021379B4 (de) 2003-11-10 2004-04-30 Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10352893 2003-11-10
DE10352893.8 2003-11-10
DE102004021379A DE102004021379B4 (de) 2003-11-10 2004-04-30 Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren

Publications (2)

Publication Number Publication Date
DE102004021379A1 true DE102004021379A1 (de) 2005-06-16
DE102004021379B4 DE102004021379B4 (de) 2007-07-12

Family

ID=34485219

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102004016329A Ceased DE102004016329A1 (de) 2003-11-10 2004-04-02 System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität
DE102004021379A Expired - Fee Related DE102004021379B4 (de) 2003-11-10 2004-04-30 Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE102004016329A Ceased DE102004016329A1 (de) 2003-11-10 2004-04-02 System und Verfahren zur Durchführung und Visualisierung von Simulationen in einer erweiterten Realität

Country Status (1)

Country Link
DE (2) DE102004016329A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017305A1 (de) * 2011-04-15 2012-10-18 Abb Technology Ag Bedien- und Beobachtungssystem für technische Anlagen
DE102012012430A1 (de) * 2012-06-25 2014-01-02 Robert Bosch Gmbh Steuervorrichtung für Feldgerät sowie System und Verfahren zur Inbetriebnahme eines Feldgeräts

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004032996A1 (de) * 2004-07-08 2006-02-16 Abb Research Ltd. Einfache Roboterprogrammierung
DE102005045855A1 (de) * 2005-09-26 2007-03-29 Siemens Ag Verfahren und Vorrichtung zur Erleichterung der Einstellung von Systemen, bei welchen Objekten bewegt werden
JP4056542B2 (ja) * 2005-09-28 2008-03-05 ファナック株式会社 ロボットのオフライン教示装置
DE102012206712A1 (de) * 2012-04-24 2013-10-24 Homag Holzbearbeitungssysteme Gmbh Verfahren zur Bearbeitung von Werkstücken
CN106384374A (zh) * 2016-09-27 2017-02-08 郑州云海信息技术有限公司 一种实现动画效果的方法及装置
DE102017215114A1 (de) * 2017-08-30 2019-02-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Manipulatorsystem und Verfahren zum Steuern eines robotischen Manipulators
DE102017130138A1 (de) 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts
DE102017130137A1 (de) 2017-12-15 2019-06-19 Endress+Hauser SE+Co. KG Verfahren zur vereinfachten Inbetriebnahme eines Feldgeräts
DE102022122955A1 (de) 2022-09-09 2024-03-14 Krones Aktiengesellschaft Verfahren und Vorrichtung zum simulierten Umgang in Echtzeit mit einer Behälterbehandlungsmaschine

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000052536A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Bedien- und beobachtungssystem mit augmented reality-techniken
DE10135837A1 (de) * 2001-07-23 2003-02-20 Siemens Ag Bedienen und Beobachten einer Anlage
WO2005025361A1 (en) 2003-09-12 2005-03-24 Korlath Endre Belt buckle for holding valuables

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10056291A1 (de) * 2000-11-14 2002-05-23 Siemens Ag Verfahren zur visuellen Darstellung und interaktiven Steuerung von virtuellen Objekten auf einem Ausgabe-Sichtfeld

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000052536A1 (de) * 1999-03-02 2000-09-08 Siemens Aktiengesellschaft Bedien- und beobachtungssystem mit augmented reality-techniken
DE10135837A1 (de) * 2001-07-23 2003-02-20 Siemens Ag Bedienen und Beobachten einer Anlage
WO2005025361A1 (en) 2003-09-12 2005-03-24 Korlath Endre Belt buckle for holding valuables

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011017305A1 (de) * 2011-04-15 2012-10-18 Abb Technology Ag Bedien- und Beobachtungssystem für technische Anlagen
US20140121790A1 (en) * 2011-04-15 2014-05-01 Abb Technology Ag Device and method for the gesture control of a screen in a control room
US10824126B2 (en) * 2011-04-15 2020-11-03 Abb Schweiz Ag Device and method for the gesture control of a screen in a control room
DE102012012430A1 (de) * 2012-06-25 2014-01-02 Robert Bosch Gmbh Steuervorrichtung für Feldgerät sowie System und Verfahren zur Inbetriebnahme eines Feldgeräts

Also Published As

Publication number Publication date
DE102004016329A1 (de) 2005-05-25
DE102004021379B4 (de) 2007-07-12

Similar Documents

Publication Publication Date Title
DE102005061211B4 (de) Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
EP1157314B1 (de) Nutzung von augmented reality-basistechnologien zur situationsgerechten unterstützung des facharbeiters durch entfernte experten
DE102019002898A1 (de) Robotorsimulationsvorrichtung
EP1362281B1 (de) Anwendergesteuerte verknüpfung von informationen innerhalb eines augmented-reality-systems
EP1451652B1 (de) System und verfahren zur erstellung einer dokumentation von arbeitsvorgängen zur darstellung in einem augmented-reality-system
EP1163557B1 (de) System und verfahren zur dokumentationsverarbeitung mit mehrschichtiger strukturierung von informationen, insbesondere für technische und industrielle anwendungen
WO2005045729A1 (de) System und verfahren zur durchführung und visualisierung von simulationen in einer erweiterten realität
DE102004021379B4 (de) Bedien- und Beobachtungssystem für industrielle Anlagen und Verfahren
DE102016212236A1 (de) Interaktionssystem und -verfahren
DE102023125994A1 (de) Informationsverarbeitungsgerät, Informationsverarbeitungsverfahren, Robotersystem, Herstellungsverfahren für einen Artikel unter Verwendung des Robotersystems, Programm und Aufzeichnungsmedium
EP1250702A1 (de) System und verfahren zur blickfokussierten sprachverarbeitung mit erzeugung eines visuellen feedbacksignals
EP1665023B1 (de) Verfahren und vorrichtung zur steuerung eines graphiksystems der virtuellen realität mittels interaktionen
DE102004029356A1 (de) System zur Zustandsbeobachtung von Anlagen
DE102005045973A1 (de) Vorrichtung, System und Verfahren für ein kamerabasiertes Tracking
DE102018212944A1 (de) Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter mittels einer Datenbrille
EP2697702B1 (de) Vorrichtung und verfahren zur gestensteuerung eines bildschirms in einer leitwarte
WO2022258343A1 (de) Audiovisuelles assistenzsystem, verfahren und computerprogramm zur unterstützung von wartungsarbeiten, reparaturarbeiten oder installationsarbeiten in einer industriellen anlage
DE10135837A1 (de) Bedienen und Beobachten einer Anlage
DE19650328A1 (de) Visualisierungseinrichtung für eine Anlage der Grundstoffindustrie, insbesondere ein Stahlwerk
DE102006050997A1 (de) System und Verfahren zur Mensch-Maschine-Interaktion
EP1037128A2 (de) System und Verfahren zur Prozessführung und -überwachung einer technischen Anlage

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee