DE102023005489B4

DE102023005489B4 - Virtual reality-assisted diagnostic procedure for a system with computer-based auralization

Info

Publication number: DE102023005489B4
Application number: DE102023005489.5A
Authority: DE
Inventors: Johannes Barth; Dominik Tacke
Original assignee: Siemens AG; Siemens Corp
Current assignee: Siemens AG; Siemens Corp
Priority date: 2023-06-15
Filing date: 2023-06-15
Publication date: 2025-04-10
Anticipated expiration: 2043-06-16
Also published as: DE102023005489A1

Abstract

Die Erfindung betrifft ein Verfahren (100) zum Erkennen eines bestimmungswidrigen Betriebszustands einer Anlage (10), die eine Mehrzahl an Komponenten (12, 13, 14, 17) umfasst, die jeweils als Schallquelle (56, 58), als zumindest teilweise schallreflektierendes Objekt und/oder zumindest teilweise schallschluckendes Objekt ausgebildet sind. Im Verfahren (100) wird ein erstes und ein zweites Klangbild (36, 37) in der Anlage (10) mittels eines ersten bzw. zweiten Schallsensors (18.1) erfasst. Weiter wird mittels eines Virtual-Reality-Systems (30) eine Empfängerposition (26) innerhalb eines virtuellen Raums (20) vorgegeben, in dem die Anlage (10) nachgestellt ist. Ferner wird ein virtuelles Klangbild (31) ermittelt und an einen Benutzer (33) und/oder eine Künstliche Intelligenz (50) ausgegeben. Anhand dessen erfolgt ein Erkennen eines bestimmungswidrigen Betriebszustands. Die Erfindung betrifft ebenso ein Computerprogrammprodukt (45), mit dem ein solches Verfahren (100) umgesetzt wird und eine Auswertungseinheit (40), die mit einem derartigen Computerprogrammprodukt (45) ausgestattet ist. Ferner betrifft die Erfindung eine Verwendung eines Virtual-Reality-Systems (30) zum Inspizieren einer Anlage (10).The invention relates to a method (100) for detecting an improper operating state of a system (10) comprising a plurality of components (12, 13, 14, 17), each of which is configured as a sound source (56, 58), as an at least partially sound-reflecting object, and/or as an at least partially sound-absorbing object. In the method (100), a first and a second sound image (36, 37) are detected in the system (10) by means of a first and a second sound sensor (18.1), respectively. Furthermore, a receiver position (26) within a virtual space (20) in which the system (10) is recreated is specified by means of a virtual reality system (30). Furthermore, a virtual sound image (31) is determined and output to a user (33) and/or an artificial intelligence (50). Based on this, an improper operating state is detected. The invention also relates to a computer program product (45) with which such a method (100) is implemented and to an evaluation unit (40) equipped with such a computer program product (45). Furthermore, the invention relates to the use of a virtual reality system (30) for inspecting a system (10).

Description

Die Erfindung betrifft ein Verfahren zur Erkennung eines bestimmungswidrigen Betriebszustands in einer Anlage und ein dazu ausgebildetes Computerprogrammprodukt. Ebenso betrifft die Erfindung eine Auswertungseinheit zur Umsetzung des Verfahrens und eine Anlage, die mit einer solchen Auswertungseinheit ausgestattet ist. Ferner betrifft die Erfindung die Verwendung eines Virtual-Reality-Systems zum Inspizieren einer Anlage.The invention relates to a method for detecting an improper operating condition in a system and a computer program product designed for this purpose. The invention also relates to an evaluation unit for implementing the method and a system equipped with such an evaluation unit. Furthermore, the invention relates to the use of a virtual reality system for inspecting a system.

Aus der Patentanmeldung DE 10 2016 125 886 A1 ist ein Verfahren zur Berechnung einer Auralisation bekannt, bei dem eine erste Einheit zu einer Auralisation in einer Zeitdomäne eingesetzt wird und eine zweite Einheit zu einer Auralisation in einer Frequenzdomäne. In Abhängigkeit von einem Prüfkriterium wird zwischen der ersten und zweiten Einheit umgeschalten.From the patent application DE 10 2016 125 886 A1 A method for calculating an auralization is known in which a first unit is used for auralization in a time domain and a second unit is used for auralization in a frequency domain. Depending on a test criterion, switching occurs between the first and second units.

Aus der Promotionsschrift „ Physically Base Real-Time Auralization of Interactive Virtual Environments“ von Dirk Schröder, RWTH Aachen , ist eine Echtzeit-Raumakustik-Simulation bekannt, die dazu geeignet ist, Wohnräume, Vorlesungssäle, Konzertsäle oder U-Bahn-Stationen zu modellieren.From the doctoral thesis “ Physically Base Real-Time Auralization of Interactive Virtual Environments” by Dirk Schröder, RWTH Aachen , is a real-time room acoustics simulation that is suitable for modeling living rooms, lecture halls, concert halls or subway stations.

Aus der Patentschrift US 11,170,139 B1 ist ein echtzeitfähiges Akustik-Ray-Tracing-Verfahren bekannt, bei dem eine erste Empfängerposition in einem Raum festgelegt wird und eine Strahlenschar, die von einer zweiten Position aus emittiert wird.From the patent specification US 11,170,139 B1 A real-time acoustic ray tracing method is known in which a first receiver position is defined in a room and a set of rays is emitted from a second position.

Die Druckschrift DE 10 2016 125 886 A1 offenbart eine Vorrichtung zur effizienten Berechnung einer Auralisation mit einer Signalverarbeitunseinrichtung umfasst, die eine erste Einheit zur Auralisation in der Zeitdomäne und eine zweite Einheit zur Auralisation in der Frequenzdomäne aufweist. Zwischen der ersten und zweiten Einheit kann umgeschaltet werden.The printed matter DE 10 2016 125 886 A1 discloses a device for efficiently calculating an auralization, comprising a signal processing device that has a first unit for auralization in the time domain and a second unit for auralization in the frequency domain. Switching between the first and second units is possible.

Die Patentanmeldung DE 10 2017 103 385 A1 zeigt ein Verfahren zum Auswerten von Körperschall und eine dazu geeignete Vorrichtung. Darin wird ein neuronales Netz konstruiert und trainiert, so dass der Körperschall mittels Deep Learning auswertbar ist. Mittels des Verfahrens ist ein Systemzustand der Maschine identifizierbar.The patent application DE 10 2017 103 385 A1 shows a method for evaluating structure-borne sound and a suitable device. A neural network is constructed and trained so that the structure-borne sound can be evaluated using deep learning. Using this method, a system state of the machine can be identified.

Aus US 2017 / 0 286 572 A1 ist ein physikalisch-digitales System mit einem Digitalen Zwilling bekannt. Das physikalisch-digitale System weist zumindest einen Sensor auf, der mit dem Digitalen Zwilling verknüpft ist. Der Digitale Zwilling ist dazu ausgebildet, anhand der Sensorsignale das Betriebsverhalten beispielsweise eines Flugzeugtriebwerks nachzustellen.Out of US 2017 / 0 286 572 A1 A physical-digital system with a digital twin is known. The physical-digital system has at least one sensor that is linked to the digital twin. The digital twin is designed to simulate the operating behavior of, for example, an aircraft engine based on the sensor signals.

Die Internationale Patentanmeldung WO 2011 / 038 838 A1 offenbart eine akustische Repräsentation von Zuständen in einer industriellen Anlage. Darin wird anhand eines aktuellen Zustands der industriellen Anlage rechnergestützt ein Audio-Profil ausgewählt und in ein akustisches Signal umgewandelt wird. Hierbei werden Signale aus einer Vielzahl an Quellen mit einem maschinellen Klassifikator gefiltert, gewichtet, aggregiert und/oder abstrahiert.The international patent application WO 2011 / 038 838 A1 discloses an acoustic representation of conditions in an industrial plant. Based on the current state of the industrial plant, an audio profile is computer-aided and converted into an acoustic signal. Signals from a variety of sources are filtered, weighted, aggregated, and/or abstracted using a machine classifier.

Die Druckschrift EP 3 968 105 A1 zeigt ein computerimplementiertes Verfahren zur Simulation einer Anlage, bei dem einem Simulationsmodell Eingangsdaten über die Anlage vorgegeben werden. Weiter werden dem Simulationsmodell Akustikdaten vorgegeben. Basierend auf den Eingangsdaten und den Akustikdaten wird eine Simulation der Anlage mittels akustischer Signale bewirkt.The printed matter EP 3 968 105 A1 shows a computer-implemented method for simulating a system. Input data about the system is supplied to a simulation model. Acoustic data is also supplied to the simulation model. Based on the input data and the acoustic data, a simulation of the system is initiated using acoustic signals.

Um einen wirtschaftlichen und ausfallarmen Betrieb von Anlagen, insbesondere von Automatisierungssystemen, zu gewährleisten werden bis heute Fachleute eingesetzt, die die Anlage begehen und basierend auf eigenen Sinneseindrücken inspizieren, beispielsweise akustischen Eindrücken. Derartige Begehungen erfordern persönliche Anwesenheit. Es besteht ein Bedarf, die Inspektion von Anlagen effizienter zu gestalten und aus der Entfernung durchführen zu lassen. Gleichzeitig besteht Bedarf an aussagekräftigeren Diagnosemöglichkeiten, um vorliegende bestimmungswidrige Zustände zu erkennen. Der Erfindung liegt die Aufgabenstellung zugrunde, eine hierzu geeignete Möglichkeit bereitzustellen.To ensure economical and low-failure operation of systems, especially automation systems, experts are still employed today to inspect the system and perform inspections based on their own sensory impressions, such as acoustic impressions. Such inspections require personal presence. There is a need to make system inspections more efficient and to conduct them remotely. At the same time, there is a need for more meaningful diagnostic options to detect existing improper conditions. The invention is based on the object of providing a suitable option for this purpose.

Die Aufgabenstellung wird durch ein erfindungsgemäßes Verfahren gelöst, das zum Erkennen eines bestimmungswidrigen Betriebszustands einer Anlage, insbesondere eines Automatisierungssystems, ausgebildet ist. Das bei kann die Anlage beispielsweise eine chemische Anlage, eine Raffinerie, eine Fertigungsanlage, ein Kraftwerk, oder ein Elektrolyseur sein. Die Anlage umfasst eine Mehrzahl an Komponenten, die zusammenwirken und dadurch einen Anlagenprozess verwirklichen. Die Komponenten sind jeweils als Schallquelle ausgebildet, als zumindest teilweise schallreflektierendes Objekt, als zumindest teilweise schallschluckendes Objekt, oder als Kombination hieraus. The problem is solved by a method according to the invention, which is designed to detect an improper operating state of a system, in particular an automation system. The system can be, for example, a chemical plant, a refinery, a manufacturing plant, a power plant, or an electrolyzer. The system comprises a plurality of components that interact and thereby implement a system process. The components are each designed as a sound source, as an at least partially sound-reflecting object, as an at least partially sound-absorbing object, or as a combination thereof.

Die Komponenten sind folglich dazu ausgebildet, Schall zu emittieren, zu absorbieren, mit dem Schall in Wechselwirkung zu treten oder eine Kombination hieraus. Im Betrieb der Anlage stellen sich somit, abhängig von einer Position innerhalb der Anlage, unterschiedliche Klangbilder ein, sogenannte ortsabhängige Klangbilder. Das Verfahren umfasst einen ersten Schritt, in dem die Anlage in einem aktiven Betriebszustand bereitgestellt wird. Unter einem aktiven Betriebszustand ist hierbei ein Zustand zu verstehen, in dem der Anlagenprozess zumindest teilweise abläuft, anläuft oder ausläuft, so dass Schall emittiert wird. Weiter wird im ersten Schritt ein virtueller Raum, beispielsweise in einem Virtual-Reality-System, bereitgestellt, in dem die Anlage zumindest teilweise nachgestellt ist. Der virtuelle Raum ist durch einen Benutzer betrachtbar und virtuell begehbar.The components are therefore designed to emit sound, absorb sound, interact with sound, or a combination thereof. During operation of the system, different sound patterns arise depending on a position within the system, so-called location-dependent sound patterns. The method comprises a first step in which the system is prepared in an active operating state. An active operating state is defined as a state in which the system process is at least partially running, starting, or stopping, so that sound is emitted. In the first step, a virtual space is created, for example, in a virtual reality system, in which the system is at least partially recreated. The virtual space can be viewed and virtually walked through by a user.

Weiter weist das erfindungsgemäße Verfahren einen zweiten Schritt auf, in dem ein erstes Klangbild durch einen ersten Schallsensor erfasst wird und ein zweites Klangbild durch einen zweiten Schallsensor. Der erste und zweite Schallsensor sind in der Anlage angeordnet und mit einer geeigneten Auswertungseinheit verbunden. Im zweiten Schritt wird mittels des ersten und zweiten Schallsensors ein von zumindest einer ersten Schallquelle emittierter Klang an ihren jeweiligen Positionen erfasst. Des Weiteren gehört ein dritter Schritt zum erfindungsgemäßen Verfahren, in dem eine Empfängerposition innerhalb des virtuellen Raums vorgegeben wird, der im ersten Schritt bereitgestellt wird. Die Empfängerposition kann durch einen Benutzer vorgegeben sein, der ein Virtual-Reality-System benutzt, auf dem das erfindungsgemäße Verfahren durchgeführt wird. Im dritten Schritt wird auch ein virtuelles Klangbild ermittelt, das an der Empfängerposition vorliegt. Das Ermitteln des virtuellen Klangbilds kann hierbei anhand der mit dem ersten und zweiten Schallsensor erfassten Klänge erfolgen. Das Ermitteln des virtuellen Klangbilds kann hierbei unter Berücksichtigung von zumindest teilweise schallreflektierenden und/oder zumindest teilweise schallschluckenden Eigenschaften von Objekten in der Anlage erfolgen, die im virtuellen Raum nachgestellt sind. Insbesondere kann anhand der vom ersten und zweiten Schallsensor erfassten Klängen durch Berechnung von Schallausbreitungspfaden innerhalb der Anlage das virtuelle Klangbild an der Empfängerposition im virtuellen Raum ermittelt werden. Das virtuelle Klangbild entspricht hierbei einem Klangbild, das sich einstellt, wenn ein Benutzer sich in der Anlage an der korrespondierenden Position befindet.The method according to the invention further comprises a second step in which a first sound image is detected by a first sound sensor and a second sound image by a second sound sensor. The first and second sound sensors are arranged in the system and connected to a suitable evaluation unit. In the second step, a sound emitted by at least one first sound source is detected at their respective positions using the first and second sound sensors. Furthermore, the method according to the invention comprises a third step in which a receiver position within the virtual space provided in the first step is specified. The receiver position can be specified by a user using a virtual reality system on which the method according to the invention is carried out. In the third step, a virtual sound image present at the receiver position is also determined. The virtual sound image can be determined based on the sounds detected by the first and second sound sensors. The virtual sound image can be determined taking into account at least partially sound-reflecting and/or at least partially sound-absorbing properties of objects in the system that are recreated in the virtual space. In particular, based on the sounds detected by the first and second sound sensors, the virtual sound image at the receiver position in the virtual space can be determined by calculating sound propagation paths within the system. The virtual sound image corresponds to the sound image that occurs when a user is located at the corresponding position in the system.

Ferner umfasst das erfindungsgemäße Verfahren einen vierten Schritt, in dem das virtuelle Klangbild, das im dritten Schritt ermittelt wird, an den Benutzer, insbesondere den Benutzer des Virtual-Reality-Systems, und/oder eine Künstliche Intelligenz ausgegebenen wird. Anhand des ausgegebenen virtuellen Klangbilds, das an der Empfängerposition vorliegt, wird im vierten Schritt ein bestimmungswidriger Betriebszustand der Anlage erkannt. Das Ermitteln und Ausgeben des virtuellen Klangbilds stellt eine computerimplementierte Auralisierung eines akustischen Eindrucks, also eines Klangbilds, dar, der in der Anlage an der Position vorliegt, die der vorgegebenen Empfängerposition entspricht. Das virtuelle Klangbild kann hierbei als binaurales Klangbild ausgegeben werden. Das Erkennen des bestimmungswidrigen Betriebszustands kann durch den Benutzer erfolgen. Alternativ oder ergänzend kann die Künstliche Intelligenz als trainiertes Neuronales Netz ausgebildet sein, das Abweichungen von einem Soll-Klangbild an der Empfängerposition im virtuellen Raum bzw. an der korrespondierenden Position in der Anlage ermittelt, beispielsweise auf Basis einer Fourier-Analyse. Weiter alternativ oder ergänzend kann die Künstliche Intelligenz mit einer Erfahrungsdatenbank gekoppelt sein, in der Klangbilder von Störungen gespeichert sind, mit denen eine Mustererkennung im virtuellen Klangbild durchführbar ist. Bei einem erkannten bestimmungswidrigen Betriebszustand der Anlage kann im vierten Schritt auch eine Warnung ausgegeben werden.Furthermore, the method according to the invention comprises a fourth step in which the virtual sound image determined in the third step is output to the user, in particular the user of the virtual reality system, and/or an artificial intelligence. Based on the output virtual sound image present at the receiver position, an improper operating state of the system is detected in the fourth step. The determination and output of the virtual sound image represents a computer-implemented auralization of an acoustic impression, i.e., a sound image, present in the system at the position corresponding to the specified receiver position. The virtual sound image can be output as a binaural sound image. The improper operating state can be detected by the user. Alternatively or additionally, the artificial intelligence can be embodied as a trained neural network that determines deviations from a target sound image at the receiver position in the virtual space or at the corresponding position in the system, for example, based on a Fourier analysis. Alternatively or additionally, the artificial intelligence can be coupled with an experience database containing sound patterns of faults, which can be used to perform pattern recognition in the virtual sound image. If an improper operating condition of the system is detected, a warning can also be issued in the fourth step.

Das erfindungsgemäße Verfahren erlaubt es, akustische Sinneseindrücke, also Klangbilder, durch eine Übertragung in ein Virtual-Reality-System als virtuelle Klangbilder auszuwerten. Auch komplexe Klangbilder, und damit auch korrespondierend komplexe virtuelle Klangbilder, sind mit hinreichender Präzision darstellbar. Die Erfindung beruht unter anderem auf der überraschenden Erkenntnis, dass virtuelle Klangbilder mit einer hinreichenden Realitätstreue in virtuellen Räumen darstellbar sind. Beim erfindungsgemäßen Verfahren ist eine hinreichend geringe Latenz zwischen den einzelnen Schallsensoren relevant. Eine Gesamtlatenz in der Ausgabe des virtuellen Klangbilds hingegen ist von nachrangiger Bedeutung. Ebenso basiert die Erfindung unter anderem auf der überraschenden Erkenntnis, dass bereits eine Kenntnis von Latenzunterschieden zwischen einzelnen Schallsensoren bereits ausreicht, um ein hinreichend realitätstreues virtuelles Klangbild zu ermitteln und auszugeben. Insgesamt ist eine Latenz infolge einer Datenübertragung zwischen der Anlage und der Ausgabe des virtuellen Klangbilds nicht qualitätsbeschränkend in puncto Realitätstreue. Dadurch ist das erfindungsgemäße Verfahren dazu geeignet, eine akustisch gestützte Inspektion, und damit akustisch gestützte Erkennung von bestimmungswidrigen Betriebszuständen aus der Ferne durchzuführen, beispielsweise über hunderte oder tausende Kilometer Distanz. Insgesamt wird so ein ortsunabhängiges Erkennen von bestimmungswidrigen Betriebszuständen der Anlage verwirklicht, die durch den Benutzer und/oder die Künstliche Intelligenz durchgeführt wird.The method according to the invention allows acoustic sensory impressions, i.e., sound images, to be evaluated as virtual sound images by transferring them to a virtual reality system. Even complex sound images, and thus correspondingly complex virtual sound images, can be represented with sufficient precision. The invention is based, among other things, on the surprising finding that virtual sound images can be represented in virtual spaces with sufficient realism. In the method according to the invention, a sufficiently low latency between the individual sound sensors is relevant. An overall latency in the output of the virtual sound image, on the other hand, is of secondary importance. The invention is also based, among other things, on the surprising finding that knowledge of latency differences between individual sound sensors is sufficient to determine and output a sufficiently realistic virtual sound image. Overall, latency resulting from data transmission between the system and the output of the virtual sound image does not limit the quality in terms of realism. This makes the method according to the invention suitable for conducting an acoustically supported inspection, and thus acoustically supported detection of improper operating conditions, remotely, for example, over distances of hundreds or thousands of kilometers. Overall, this enables location-independent detection of improper operating conditions of the system, which is carried out by the user and/or the artificial intelligence.

In einer Ausführungsform des beanspruchten Verfahrens kann die erste Schallquelle als erste virtuelle Schallquelle im virtuellen Raum abgebildet werden. Dazu wird anhand zumindest des ersten und zweiten Klangbilds durch Peilung, Triangulation oder Trilateration ermittelt, welche Frequenzen der jeweiligen Klangbilder aus welcher Richtung, bezogen auf die Lage der Schallsensoren, kommen. Dementsprechend ist ein Schallemissionsspektrum für einzelne Komponenten ermittelbar, die in der Anlage Schallquellen sind. Das jeweilige Schallemissionsspektrum einer Schallquelle ist dadurch als entsprechende virtuelle Schallquelle komponentenspezifisch im virtuellen Raum ausgebbar. Dadurch ist die erste virtuelle Schallquelle als virtuelles Gegenstück zu einer entsprechenden Komponente der Anlage im virtuellen Raum auch separat inspizierbar. Mittels des beanspruchten Verfahrens ist dadurch ein zielgerichtetes Erkennen von bestimmungswidrigen Zuständen möglich. Darüber hinaus können beim beanspruchten Verfahren auch Stützsignale emittiert werden, die in punctoIn one embodiment of the claimed method, the first sound source can be represented as a first virtual sound source in the virtual space. For this purpose, the frequencies of the respective sound patterns come from which direction, based on the position of the sound sensors. Accordingly, a sound emission spectrum can be determined for individual components that are sound sources in the system. The respective sound emission spectrum of a sound source can thus be output as a corresponding virtual sound source component-specific in the virtual space. As a result, the first virtual sound source can also be inspected separately in the virtual space as a virtual counterpart to a corresponding component of the system. By means of the claimed method, a targeted detection of improper conditions is possible. Furthermore, the claimed method can also emit support signals that, in terms of

Des Weiteren können zumindest der dritte und vierte Schritt auch für eine zweite Schallquelle durchgeführt werden. Das beanspruchte Verfahren ist insgesamt auf eine Mehrzahl an Schallquellen übertragbar, was eine weitergehend zielgerichtete Erkennung bestimmungswidriger Zustände erlaubt. Im vierten Schritt kann das virtuelle Klangbild an der Empfängerposition anhand einer Kombination der ersten virtuellen Schallquelle mit der zweiten virtuellen Schallquelle ermittelt werden. Dies kann beispielsweise über sogenannten akustisches Ray-Tracing erfolgen. Das virtuelle Klangbild entspricht damit einem überlagerten Klangbild, das sich aus der korrespondierenden ersten und zweiten Schallquelle in der Anlage unter Berücksichtigung der Empfängerposition ergibt. Das beanspruchte Verfahren ist in überraschend einfacher Weise rechenkapazitätsschonend auf komplexe Anlagen mit einer Mehrzahl an Schallquelle skalierbar, wodurch auch komplexe Anlagen im virtuellen Raum inspizierbar sind.Furthermore, at least the third and fourth steps can also be performed for a second sound source. The claimed method is generally transferable to a plurality of sound sources, allowing for more targeted detection of improper conditions. In the fourth step, the virtual sound image at the receiver position can be determined based on a combination of the first virtual sound source with the second virtual sound source. This can be done, for example, using so-called acoustic ray tracing. The virtual sound image thus corresponds to a superimposed sound image resulting from the corresponding first and second sound sources in the system, taking the receiver position into account. The claimed method can be scaled to complex systems with multiple sound sources in a surprisingly simple manner while conserving computing power, allowing even complex systems to be inspected in virtual space.

Ebenso kann im beanspruchten Verfahren das virtuelle Klangbild auf einem Virtual-Reality-Headset ausgegeben werden, wobei die Anlage auf diesem virtuell begehbar dargestellt wird. Virtual-Reality-Headsets, die zu einem Virtual-Reality-System gehören, bieten einen erhöhten Grad an Realitätstreue und sind in einfacher Weise verfügbar. Ferner werden Virtual-Reality-Headsets in anderen Anwendungsgebieten, beispielsweise der Unterhaltungsindustrie, eingesetzt. Das beanspruchte Verfahren nutzt mit dem Virtual-Reality-Headset ein Ausgabemittel, das schnell weiterentwickelt wird, so dass Fortschritte bei Virtual-Reality-Headsets schnell durch das beanspruchte Verfahren nutzbar sind. Likewise, in the claimed method, the virtual sound image can be output on a virtual reality headset, allowing the system to be virtually walked through. Virtual reality headsets that are part of a virtual reality system offer a higher degree of realism and are readily available. Furthermore, virtual reality headsets are used in other application areas, such as the entertainment industry. The claimed method utilizes the virtual reality headset as an output medium that is rapidly evolving, so that advances in virtual reality headsets can be quickly utilized by the claimed method.

Ferner ist eine Warnung im vierten Schritt des Verfahrens über das Virtual-Reality-Headset ausgebbar.Furthermore, a warning can be issued via the virtual reality headset in the fourth step of the process.

In einer weiteren Ausführungsform des beanspruchten Verfahrens kann für eine virtuelle Schallquelle in einer Darstellung auf dem Virtual-Reality-Headset nach einer Auswahl durch den Benutzer ein Betriebsdatensatz der korrespondierenden Schallquelle ausgegeben werden. Darin können Betriebsdaten der Komponente, die eine Schallquelle in der Anlage ist und als virtuelle Schallquelle nachgestellt ist, angezeigt werden. Beispielsweise kann die Komponente ein Elektromotor sein und als Betriebsdaten dessen aktuelle Drehzahl angezeigt werden. Der Benutzer kann somit das ausgegebene virtuelle Klangbild gegenüber den Betriebsdaten plausibilisieren. Das Erkennen eines bestimmungswidrigen Zustands wird so weiter unterstützt. Das Darstellen des Betriebsdatensatzes kann auch als eine graphische Anzeige ausgebildet sein, die einer visuellen Wiedergabe der im virtuellen Raum nachgestellten Anlage überlagert ist. Dies kann beispielsweise eine eingeblendete Falschfarbendarstellung sein, die auch als Heatmap bezeichnet wird. Mittels der graphischen Anzeige kann jegliche vorliegende Größe dargestellt werden, die den Betrieb der Anlage beschreibt, beispielsweise akustische Größen, die ein Frequenzband einer virtuellen Schallquelle oder ein vorliegender Lautstärkepegel an der Empfängerposition. Das Erkennen eines bestimmungswidrigen Zustands der Anlage wird so weiter erleichtert und beschleunigt.In a further embodiment of the claimed method, an operating data record of the corresponding sound source can be output for a virtual sound source in a display on the virtual reality headset following a selection by the user. Operating data of the component that is a sound source in the system and is simulated as a virtual sound source can be displayed therein. For example, the component can be an electric motor, and its current speed can be displayed as operating data. The user can thus verify the plausibility of the output virtual sound image against the operating data. This further supports the detection of an improper condition. The display of the operating data record can also be embodied as a graphic display superimposed on a visual representation of the system simulated in the virtual space. This can, for example, be a superimposed false-color display, also referred to as a heat map. The graphic display can be used to represent any available variable that describes the operation of the system, for example, acoustic variables that represent a frequency band of a virtual sound source or a current volume level at the receiver position. This makes it easier and faster to detect any improper condition of the system.

Darüber hinaus kann zumindest eine Komponente der Anlage ein Motor, eine Pumpe, ein Rührwerk ein Lüfter oder eine andere mechanische Applikation sein. Derartige Komponenten weisen bewegliche Teile auf und erzeugen Betriebsgeräusche, die abhängig vom vorliegenden Betriebszustand, insbesondere einer Drehzahl, charakteristisch sind. Dementsprechend sind Abweichungen hiervon aussagekräftige Anzeichen für einen bestimmungswidrigen Betriebszustand. Alternativ oder ergänzend kann zumindest eine Komponente der Anlage auch mit einem Prozessmedium durchströmbare Leitungen sein, die bei entsprechender Durchströmung eine akustische Charakteristik aufweisen. Weiter alternativ oder ergänzend kann zumindest eine Komponente der Anlage ein Pneumatikmodul sein, bei dem eine Leckage mittels des beanspruchten Verfahrens akustisch erkennbar ist. Gleichermaßen kann die zumindest eine Komponente eine Hochspannungsanwendung sein, bei der Schaltvorgänge akustisch identifizierbar sind. Das beanspruchte Verfahren ist in besonderer Weise dazu geeignet, bei einer breiten Spanne von Komponenten bestimmungswidrige Betriebszustände zu erkennen. Das Erkennen kann hierbei durch den Benutzer oder durch die Künstliche Intelligenz erfolgen.Furthermore, at least one component of the system can be a motor, a pump, an agitator, a fan, or another mechanical application. Such components have moving parts and generate operating noises that are characteristic depending on the current operating state, in particular a speed. Accordingly, deviations from this are significant indicators of an improper operating state. Alternatively or additionally, at least one component of the system can also be lines through which a process medium can flow, which exhibit acoustic characteristics when the flow is appropriate. Further alternatively or additionally, at least one component of the system can be a pneumatic module, in which a leak can be acoustically detected using the claimed method. Likewise, the at least one component can be a high-voltage application in which switching operations can be acoustically identified. The claimed method is particularly suitable for detecting improper operating states in a wide range of components. The detection can be performed by the user or by artificial intelligence.

Ferner kann das beanspruchte Verfahren einen fünften Schritt aufweisen, in dem eine virtuelle Schallquelle durch den Benutzer ausgewählt wird, die einer Komponente in der Anlage entspricht. Dies kann beispielsweise innerhalb des virtuellen Raums erfolgen, der durch das Virtual-Reality-System bereitgestellt wird. Es folgt ein sechster Schritt, in dem ein schallquellenspezifisches Klangbild ermittelt wird. Das schallquellenspezifische Klangbild wird hierbei zumindest anhand des ersten und zweiten Klangbilds ermittelt, die im zweiten Schritt erfasst werden. Das schallquellenspezifische Klangbild umfasst einen akustischen Eindruck, der auf den Schallemissionen beruht, die ausschließlich von der Komponente hervorgerufen werden, die der ausgewählten virtuellen Schallquelle entspricht. Das schallquellenspezifische Klangbild gilt hierbei spezifisch für eine Position, die der vorgegebenen Empfängerposition im virtuellen Raum entspricht. Das schallquellenspezifische Klangbild kann korrespondierend mit der ersten virtuellen Schallquelle ermittelt werden. In einem weiteren siebenten Schritt wird das schallquellenspezifische Klangbild im virtuellen Raum als virtuelles schallquellenspezifisches Klangbild ausgegeben. Hierbei wird eine Schallkulisse reduziert, also deren Lautstärke in der Ausgabe verringert. Unter der Schallkulisse sind akustische Eindrücke zu verstehen, die nicht durch die ausgewählte virtuelle Schallquelle hervorgerufen sind. Hierdurch sind im virtuellen Raum störende akustische Eindrücke unterdrückbar und gezielt einzelne Komponenten akustisch inspizierbar. Dies erlaubt eine präzisere Diagnose, wenn ein bestimmungswidriger Betriebszustand an der zugehörigen Komponente vorliegt. Hierdurch wird die Aussagekraft des beanspruchten Verfahrens weiter gesteigert. Der fünfte, sechste und siebente Schritt können auch für eine Mehrzahl an virtuellen Schallquellen durchgeführt werden. Je mehr Schallsensoren eingesetzt werden, umso exakter ist die Schallkulisse vom schallquellenspezifischen Klangbild trennbar.Furthermore, the claimed method may comprise a fifth step in which a virtual sound source corresponding to a component in the system is selected by the user. This may, for example, be performed within the virtual space provided by the virtual reality system. A sixth step follows in which a sound source-specific sound image is determined. The sound source-specific sound image is determined at least based on the first and second sound images captured in the second step. The sound source-specific sound image comprises an acoustic impression based on the sound emissions caused exclusively by the component corresponding to the selected virtual sound source. The sound source-specific sound image applies specifically to a position that corresponds to the specified receiver position in the virtual space. The sound source-specific sound image can be determined corresponding to the first virtual sound source. In a further seventh step, the sound source-specific sound image in the virtual space is output as a virtual sound source-specific sound image. In this case, a soundscape is reduced, i.e. its volume is lowered in the output. The soundscape refers to acoustic impressions that are not caused by the selected virtual sound source. This allows for the suppression of disturbing acoustic impressions in the virtual space and the targeted acoustic inspection of individual components. This allows for more precise diagnosis if the associated component is operating in an improper manner. This further increases the validity of the claimed method. The fifth, sixth, and seventh steps can also be performed for multiple virtual sound sources. The more sound sensors used, the more precisely the background sound can be separated from the sound source-specific sound pattern.

In einer Ausführungsform des beanspruchten Verfahrens kann das schallquellenspezifische Klangbild zumindest einer virtuellen Schallquelle der Künstlichen Intelligenz zur erkennen eines bestimmungswidrigen Betriebszustands der korrespondierenden Schallquelle in der Anlage, also einer ihrer Komponenten, bereitgestellt werden. Dabei kann durch den Benutzer eine Auswertungsmodus vorgegeben werden, beispielsweise durch eine Auswahl im virtuellen Raum. Durch Auswählen des Auswertungsmodus ist ein Algorithmus vorgebbar, durch den die virtuelle Schallquelle auszuwerten ist. Hierdurch sind im beanspruchten Verfahren auch rechenintensive Algorithmen einsetzbar, die zu rechenaufwändig sind um sie dauerhaft betriebsbegleitend ablaufen zu lassen. Alternativ oder ergänzend kann der Auswertungsmodus auch durch die Künstliche Intelligenz vorgeschlagen oder ausgewählt werden. Insgesamt werden so die Diagnosemöglichkeiten für das beanspruchte Verfahren in rechenkapazitätsschonender Weise erweitert.In one embodiment of the claimed method, the sound source-specific sound image of at least one virtual sound source can be provided to the artificial intelligence to detect an improper operating state of the corresponding sound source in the system, i.e., one of its components. The user can specify an evaluation mode, for example, by making a selection in the virtual space. By selecting the evaluation mode, an algorithm can be specified by which the virtual sound source is to be evaluated. This also allows the claimed method to use computationally intensive algorithms that are too computationally complex to run continuously during operation. Alternatively or additionally, the evaluation mode can also be suggested or selected by the artificial intelligence. Overall, the diagnostic options for the claimed method are thus expanded in a way that conserves computing capacity.

Ferner kann im beanspruchten Verfahren ein Vergleichsdatensatz ausgewählt werden, der einen historischen Betrieb der Anlage umfasst. Der Vergleichsdatensatz wird der im virtuellen Raum dargestellten Anlage bereitgestellt, so dass der darin gespeicherte historische Betrieb der Anlage zumindest akustisch nachgestellt wird und analog zum dritten und vierten Schritt des Verfahrens ausgegeben wird. Dementsprechend wird basierend auf dem Vergleichsdatensatz ein virtuelles Klangbild an der vorgegebenen Empfängerposition ausgegeben. Beim Ausgeben des Vergleichsdatensatzes im virtuellen Raum ist die Anlage darin weiterhin begehbar. Während des Verfahrens kann vorgebbar zwischen dem virtuellen Klangbild, das auf dem Vergleichsdatensatz basiert, und dem virtuellen Klangbild, das auf den im zweiten Schritt erfassten Klangbildern basiert, beim Ausgeben umgeschaltet werden. Der Vergleichsdatensatz kann einen Gut-Zustand der Anlage abbilden. Der Benutzer und/oder die Künstliche Intelligenz werden so durch einen unmittelbaren Vergleich der virtuellen Klangbilder an der gleichen Empfängerposition beim Erkennen eines bestimmungswidrigen Betriebszustands unterstützt. Durch das virtuelle Begehen sind somit aussagekräftige Empfängerpositionen vorgebbar und dort akustisch untersuchbar. Zum Erkennen eines bestimmungswidrigen Zustands kann eine Differenz zwischen dem virtuellen Klangbild, das auf dem Vergleichsdatensatz basiert, und dem virtuellen Klangbild, das auf der Erfassung im zweiten Schritt basiert, gebildet werden und somit ein virtuelles Differenz-Klangbild vorliegt. Der bestimmungswidrige Betriebszustand ist durch den Benutzer und/oder die Künstliche Intelligenz durch Auswertung des virtuellen Differenz-Klangbilds erkennbar.
Des Weiteren können der erste und/oder zweite Schallsensor als Mikrofon, Richtmikrofon oder als Schallkamera ausgebildet sein. Mikrofone, Richtmikrofone und Schallkameras bieten eine erhöhte Messgenauigkeit und sind über leistungsfähige kommunikative Datenverbindungen mit der Auswertungseinheit der Anlage koppelbar. Ferner sind damit auch Schallemissionen außerhalb des menschlich hörbaren Frequenzspektrums erfassbar. Dadurch ist die Künstliche Intelligenz in ihrer Auswertung und Erkennung eines bestimmungswidrigen Betriebszustands weiter unterstützt. Beschädigungen, die charakteristische Klangbilder im Ultraschallspektrum oder Infraschallspektrum hervorrufen, sind dadurch ebenso nutzbar. Die Diagnosefähigkeiten des beanspruchten Verfahrens werden dadurch weiter gesteigert.Furthermore, in the claimed method, a comparison data set can be selected that includes historical operation of the system. The comparison data set is provided to the system represented in the virtual space, so that the historical operation of the system stored therein is at least acoustically recreated and output analogously to the third and fourth steps of the method. Accordingly, based on the comparison data set, a virtual sound image is output at the specified receiver position. When the comparison data set is output in the virtual space, the system can still be walked through. During the method, it is possible to switch between the virtual sound image based on the comparison data set and the virtual sound image based on the sound images captured in the second step. The comparison data set can depict a good condition of the system. The user and/or the artificial intelligence are thus supported in detecting an improper operating condition through a direct comparison of the virtual sound images at the same receiver position. Through the virtual walkthrough, meaningful receiver positions can thus be specified and acoustically examined there. To detect an improper operating condition, a difference can be created between the virtual sound image based on the comparison data set and the virtual sound image based on the acquisition in the second step, thus creating a virtual difference sound image. The improper operating condition can be detected by the user and/or the artificial intelligence by evaluating the virtual difference sound image.
Furthermore, the first and/or second sound sensor can be configured as a microphone, directional microphone, or sound camera. Microphones, directional microphones, and sound cameras offer increased measurement accuracy and can be coupled to the system's evaluation unit via high-performance communicative data links. Furthermore, they can also detect sound emissions outside the humanly audible frequency spectrum. This further supports artificial intelligence in its evaluation and detection of an improper operating condition. Damage that causes characteristic sound patterns in the ultrasonic or infrasound spectrum can also be utilized. The diagnostic capabilities of the claimed method are thus further enhanced.

In einer weiteren Ausführungsform des beanspruchten Verfahrens wird eine erfasste Ultraschall-Emission oder eine erfasste Infraschall-Emission in ihrer Frequenzlage verschoben. Die Infraschall- oder Ultraschall-Emission wird insoweit in der Frequenzlage verschoben, dass diese im menschlich hörbaren Spektrum liegt. Die so frequenzverschobene Ultraschall- oder Infraschall-Emission wird im beanspruchten Verfahren als virtuelles Klangbild im vierten Schritt ausgegeben. Dazu wird die entsprechende Komponente, also ihre Repräsentanz im virtuellen Raum, durch den Benutzer ausgewählt. Ebenso ist durch den Benutzer ein Frequenzbereich vorgebbar, in dem die Ultraschall- oder Infraschallemission auszugeben und/oder auszuwerten ist. Das frequenzverschobene Ausgeben von Infraschall- bzw. Ultraschall-Emissionen stellt ein akustisches Gegenstück zu einer visuellen Darstellung mit Falschfarben, beispielsweise bei Infrarotbildern, dar. Das beanspruchte Verfahren ist folglich dazu geeignet, auch für Menschen unhörbare Frequenzbereiche in auswertbarer Weise bereitzustellen. Dadurch werden die Diagnosemöglichkeiten, insbesondere gegenüber einer Begehung in Präsenz, weiter gesteigert.In a further embodiment of the claimed method, a detected ultrasonic emission or a detected infrasound emission is shifted in its frequency position. The infrasound or ultrasonic emission is shifted in its frequency position to such an extent that it is within the human audible spectrum. The frequency-shifted ultrasonic or infrasound emission is output as a virtual sound image in the claimed method in the fourth step. For this purpose, the corresponding component, i.e. its representation in virtual space, is selected by the user. The user can also specify a frequency range in which the ultrasonic or infrasound emission is to be output and/or evaluated. The frequency-shifted output of infrasound or ultrasonic emissions represents an acoustic counterpart to a visual representation with false colors, for example in infrared images. The claimed method is therefore suitable for providing frequency ranges that are inaudible to humans in an analyzable manner. This further increases the diagnostic possibilities, particularly compared to an in-person inspection.

Die eingangs beschriebene Aufgabenstellung wird ebenso durch ein erfindungsgemäßes Computerprogrammprodukt gelöst. Das Computerprogrammprodukt ist dazu ausgebildet, Messdaten von einer Mehrzahl an Schallsensoren zu empfangen und zu verarbeiten. Weiter ist das Computerprogrammprodukt dazu ausgebildet, einen virtuellen Raum mit virtuellen Objekten, die Komponenten einer Anlage, insbesondere eines Automatisierungssystems, abbilden, zu berechnen und im Zusammenwirken mit einem geeigneten Gerät, beispielsweise einem Virtual-Reality-Headset, nachzustellen. Das Nachstellen des virtuellen Raums mit den virtuellen Objekten umfasst hierbei ein visuelles und akustisches Nachstellen. Erfindungsgemäß ist das Computerprogrammprodukt dazu ausgebildet, zumindest eine Ausführungsform der oben skizzierten Verfahren durchzuführen. Die Merkmale des zugrundeliegenden Verfahrens sind daher ohne Weiteres auch auf das erfindungsgemäße Computerprogrammprodukt übertragbar. Das zugrundeliegende Verfahren ist in rechenkapazitätsschonender Weise durchführbar. Das Computerprogrammprodukt ist insbesondere dazu geeignet, die Messdaten von Schallsensoren zu empfangen, die von dem Gerät, auf dem der virtuelle Raum dargestellt wird, entfernt sind. Das Computerprogrammprodukt ist insgesamt zu einem ortsunabhängigen Inspizieren, insbesondere akustischem Inspizieren, der zugehörigen Anlage geeignet. Weiter kann das Computerprogrammprodukt monolithisch ausgebildet sein, also auf einer einzelnen Hardwareplattform ausführbar sein. Alternativ kann das Computerprogrammprodukt modular ausgebildet sein und eine Mehrzahl an Teilprogrammen umfassen, die auf separaten Hardwareplattformen ausführbar sind. Die Teilprogramme sind über zumindest eine kommunikative Datenverbindung miteinander verbunden und wirken darüber zusammen, um die Funktionalität des beanspruchten Computerprogrammprodukts bereitzustellen. Das Computerprogrammprodukt kann auf einer Speichereinheit, beispielsweise einem USB-Speicher, einer Festplatte oder einem optischen Datenträger in remanenter Form gespeichert sein.The problem described above is also solved by a computer program product according to the invention. The computer program product is designed to receive and process measurement data from a plurality of sound sensors. Furthermore, the computer program product is designed to calculate a virtual space with virtual objects that represent components of a system, in particular an automation system, and to recreate said space in cooperation with a suitable device, for example a virtual reality headset. The recreation of the virtual space with the virtual objects includes visual and acoustic recreation. According to the invention, the computer program product is designed to carry out at least one embodiment of the methods outlined above. The features of the underlying method are therefore readily transferable to the computer program product according to the invention. The underlying method can be carried out in a manner that conserves computing capacity. The computer program product is particularly suitable for receiving the measurement data from sound sensors that are remote from the device on which the virtual space is displayed. The computer program product as a whole is suitable for location-independent inspection, in particular acoustic inspection, of the associated system. Furthermore, the computer program product can be monolithic, i.e., executable on a single hardware platform. Alternatively, the computer program product can be modular and comprise a plurality of subprograms executable on separate hardware platforms. The subprograms are interconnected via at least one communicative data connection and interact therewith to provide the functionality of the claimed computer program product. The computer program product can be stored in remanent form on a storage unit, for example, a USB memory, a hard disk, or an optical data carrier.

In einer Ausführungsform des beanspruchten Computerprogrammprodukts kann dieses mit einem Digitalen Zwilling der nachzustellenden Anlage gekoppelt sein. Alternativ kann das Computerprogrammprodukt einen Digitalen Zwilling der Anlage umfassen. Der Digitale Zwilling ist über kommunikative Datenverbindungen mit Komponenten der Anlage, beispielsweise einer Steuereinheit und/oder Schallsensoren, verbunden. Folglich ist der Digitale Zwilling dazu geeignet, einen vorliegenden Betriebszustand der Anlage zu erfassen und in einem digitalen Abbild der Anlage nachzuführen. Das digitale Abbild im Digitalen Zwilling ist dazu ausgebildet, eine Wechselwirkung von Komponenten der Anlage untereinander und mit seiner Umgebung nachzustellen. Der Digitale Zwilling kann beispielsweise als Digitaler Zwilling gemäß der Druckschrift US 2017/286572 A1 ausgebildet sein. Der Offenbarungsgehalt von US 2017/286572 A1 wird in die vorliegende Anmeldung miteinbezogen. Digitale Zwillinge weisen typischer präzise Simulationsroutinen auf, deren Leistungsfähigkeit durch das zugrundeliegende Verfahren nutzbar ist. Das virtuelle Klangbild kann basierend auf einer Mehrzahl an separaten Simulationen von Schallausbreitungen ermittelt werden, die als Co-Simulationen im Sinne des Europäischen Patents EP 4 016 216 B1 zusammenwirken.In one embodiment of the claimed computer program product, it can be coupled to a digital twin of the system to be simulated. Alternatively, the computer program product can comprise a digital twin of the system. The digital twin is connected via communicative data connections to components of the system, for example a control unit and/or sound sensors. Consequently, the digital twin is suitable for detecting a current operating state of the system and tracking it in a digital image of the system. The digital image in the digital twin is designed to simulate an interaction between components of the system and with its environment. The digital twin can, for example, be implemented as a digital twin according to the publication US 2017/286572 A1 The revelation content of US 2017/286572 A1 is incorporated into the present application. Digital twins typically have precise simulation routines whose performance can be utilized by the underlying method. The virtual sound image can be determined based on a plurality of separate simulations of sound propagations, which are referred to as co-simulations within the meaning of the European patent. EP 4 016 216 B1 work together.

Ebenso wird die zugrundeliegende Aufgabenstellung durch eine erfindungsgemäße Auswertungseinheit gelöst. Die Auswertungseinheit ist dazu ausgebildet, eine Mehrzahl an Messsignalen von einer Mehrzahl an Schallsensoren zu empfangen. Des Weiteren verfügt die Auswertungseinheit über eine Datenschnittstelle, über die Betriebsdaten einer nachzustellenden Anlage empfangbar sind. Die Überwachungseinheit ist zu einem Speichern und Ausführen eines Computerprogrammprodukt geeignet, das dazu geeignet ist, die empfangenen Messdaten und die Betriebsdaten auszuwerten. Erfindungsgemäß ist das Computerprogrammprodukt nach einer der oben skizzierten Ausführungsformen ausgebildet. Die Auswertungseinheit kann als Leitrechner, als Speicherprogrammierbare Steuerung, oder als Computer-Cloud ausgebildet sein. Alternativ oder ergänzend kann die Auswertungseinheit mit einer Operator Station gekoppelt sein oder zur Operator Station der Anlage gehören.The underlying problem is also solved by an evaluation unit according to the invention. The evaluation unit is designed to receive a plurality of measurement signals from a plurality of sound sensors. Furthermore, the evaluation unit has a data interface via which operating data of a system to be simulated can be received. The monitoring unit is suitable for storing and executing a computer program product that is suitable for evaluating the received measurement data and the operating data. According to the invention, the computer program product is designed according to one of the embodiments outlined above. The evaluation unit can be designed as a master computer, as a programmable logic controller, or as a computer cloud. Alternatively or additionally, the evaluation unit can be coupled to an operator station or belong to the operator station of the system.

Ferner wird die Aufgabenstellung durch eine erfindungsgemäße Anlage gelöst, die insbesondere als Automatisierungssystem ausgebildet sein kann. Die Anlage umfasst eine Mehrzahl an Komponenten, die zu einem Ausführen eines Anlagenprozesses zusammenwirken. Die Komponenten sind jeweils als Schallquelle, als zumindest teilweise schallreflektierendes Objekt, als zumindest teilweise schallschluckendes Objekt, oder eine Kombination hieraus ausgebildet. Die Anlage umfasst auch eine Überwachungseinheit, die dazu eingerichtete ist, einen bestimmungswidrigen Betriebszustand der Anlage zu erkennen. Erfindungsgemäß ist die Überwachungseinheit der Anlage gemäß einer der oben beschriebenen Ausführungsformen ausgebildet.Furthermore, the object is achieved by a system according to the invention, which can be designed in particular as an automation system. The system comprises a plurality of components that interact to execute a system process. The components are each as a sound source, as an at least partially sound-reflecting object, as an at least partially sound-absorbing object, or a combination thereof. The system also comprises a monitoring unit configured to detect an improper operating state of the system. According to the invention, the monitoring unit of the system is configured according to one of the embodiments described above.

Die eingangs skizzierte Aufgabe wird gleichermaßen durch ein erfindungsgemäßes System mit einem Virtual-Reality-System und einer Auswertungseinheit gelöst. Das Virtual-Reality-System weist zumindest ein Virtual-Reality-Headset auf und ist zu einem computerbasierten Auralisieren eines Klangbilds an einer vorgebbaren Empfängerposition innerhalb eines virtuellen Raums ausgebildet ist. Erfindungsgemäß wird das Virtual-Reality-System zu eingesetzt, einen bestimmungswidrigen Betriebszustand einer damit nachgestellten Anlage, insbesondere eines Automatisierungssystems, zu erkennen. Das Erkennen des bestimmungswidrigen Zustands kann hierbei ortsunabhängig erfolgen. Ferner kann auf dem Virtual-Reality-System auch eine Warnung an den Benutzer ausgegeben werden. Das Virtual-Reality-System ist erfindungsgemäß mit einer Auswertungseinheit nach einer der oben dargestellten Ausführungsformen verbunden. Die Merkmale der Auswertungseinheit, und damit auch die Merkmale des zugrundeliegenden Verfahrens, sind somit auf das Virtual-Reality-System übertragbar. Insbesondere kann das Virtual-Reality-System dazu eingerichtet sein, zumindest eines der oben beschriebenen Verfahren zumindest teilweise durchzuführen.The object outlined above is equally achieved by a system according to the invention comprising a virtual reality system and an evaluation unit. The virtual reality system has at least one virtual reality headset and is designed for computer-based auralization of a sound image at a predeterminable receiver position within a virtual space. According to the invention, the virtual reality system is used to detect an improper operating state of a system simulated therewith, in particular an automation system. The improper state can be detected regardless of location. Furthermore, a warning can also be output to the user on the virtual reality system. According to the invention, the virtual reality system is connected to an evaluation unit according to one of the embodiments presented above. The features of the evaluation unit, and thus also the features of the underlying method, are thus transferable to the virtual reality system. In particular, the virtual reality system can be configured to at least partially carry out at least one of the methods described above.

Die Erfindung wird im Folgenden anhand einzelner Ausführungsformen in Figuren näher erläutert. Die Figuren sind insoweit in gegenseitiger Ergänzung zu lesen, dass gleiche Bezugszeichen in unterschiedlichen Figuren die gleiche technische Bedeutung haben. Die Merkmale der einzelnen Ausführungsformen sind untereinander auch kombinierbar. Ferner sind die Merkmale der in den Figuren gezeigten Ausführungsformen mit den oben skizzierten Merkmalen kombinierbar. Es zeigen im Einzelnen:

1 einen schematischen Aufbau eines Automatisierungssystems auf dem eine erste Ausführungsform des beanspruchten Verfahrens durchgeführt wird;
2 einen schematischen Aufbau eines Automatisierungssystems auf dem eine zweite Ausführungsform des beanspruchten Verfahrens durchgeführt wird;
3 einen schematischen Aufbau eines Automatisierungssystems auf dem eine dritte Ausführungsform des beanspruchten Verfahrens durchgeführt wird.

The invention is explained in more detail below with reference to individual embodiments in the figures. The figures are to be read as complementary to one another in that identical reference numerals in different figures have the same technical meaning. The features of the individual embodiments can also be combined with one another. Furthermore, the features of the embodiments shown in the figures can be combined with the features outlined above. They show in detail:

1 a schematic structure of an automation system on which a first embodiment of the claimed method is carried out;
2 a schematic structure of an automation system on which a second embodiment of the claimed method is carried out;
3 a schematic structure of an automation system on which a third embodiment of the claimed method is carried out.

Ein Aufbau einer Anlage 10, auf der eine erste Ausführungsform des beanspruchten Verfahrens 100 durchgeführt wird, ist in 1 schematisch dargestellt. Die Anlage 10 umfasst eine Mehrzahl an Komponenten 12, die in einem bestimmungsgemäßen Betrieb zusammenwirken um einen Anlagenprozess 15 durchzuführen. Eine der Komponenten 12 ist als Motor 14, eine weitere Komponente 12 als Lüfter 13 und eine noch weitere Komponente 12 als Rührwerk 17. Die Komponenten 12 sind jeweils über eine kommunikative Datenverbindung 42 zumindest mit einer Steuereinheit 60 der Anlage 10 verbunden. Die Komponenten 12 sind zur Durchführung des Anlagenprozesses 15 durch die Steuereinheit 60 mittels eines Steuerungsprogramms 65 ansteuerbar. Die Anlage 10 umfasst ebenso eine Mehrzahl an Schallsensoren 18, die jeweils als Mikrofone oder Schallkameras ausgebildet sind. Unter den Komponenten 12 sind der Motor 14 und das Rührwerk 17 als Schallquellen ausgebildet und geben Schallemissionen ab, die einen Klang 19 ergeben. Die weiteren Komponenten 12 sind jeweils als zumindest teilweise schallreflektierende Objekte und/oder zumindest teilweise schallschluckende Objekte ausgebildet. Die Komponenten 12 wirken sich somit auf Schallausbreitungspfade 24 aus, die sich für die Schallemissionen bzw. Klänge 19 ergeben. In Abhängigkeit von einer Position 11 in der Anlage 10 ergibt sich somit ein ortsabhängiges Klangbild 38. Die Anlage 10 wird in einem ersten Schritt 110 des Verfahrens 100 in einem aktiven Betriebszustand bereitgestellt. Unter einem aktiven Betriebszustand ist hierbei ein Betrieb zu verstehen, in dem der Anlagenprozess 15 zumindest teilweise abläuft und an zumindest einer Komponente 12 eine Schallemission, also ein Klang 19, auftritt.A structure of a plant 10 on which a first embodiment of the claimed method 100 is carried out is shown in 1 shown schematically. The system 10 comprises a plurality of components 12 which, during intended operation, interact to carry out a system process 15. One of the components 12 is a motor 14, another component 12 is a fan 13, and yet another component 12 is an agitator 17. The components 12 are each connected to at least one control unit 60 of the system 10 via a communicative data connection 42. The components 12 can be controlled by the control unit 60 using a control program 65 to carry out the system process 15. The system 10 also comprises a plurality of sound sensors 18, each of which is designed as microphones or sound cameras. Among the components 12, the motor 14 and the agitator 17 are designed as sound sources and emit sound emissions that produce a sound 19. The other components 12 are each designed as at least partially sound-reflecting objects and/or at least partially sound-absorbing objects. The components 12 thus affect sound propagation paths 24, which result in the sound emissions or sounds 19. Depending on a position 11 in the system 10, a location-dependent sound pattern 38 thus results. In a first step 110 of the method 100, the system 10 is provided in an active operating state. An active operating state is understood to mean an operation in which the system process 15 is at least partially running and a sound emission, i.e., a sound 19, occurs at at least one component 12.

Im ersten Schritt 110 des Verfahren 100 wird auch ein virtueller Raum 20 bereitgestellt, in dem die Anlage 10 nachgestellt wird. Im virtuellen Raum 20 befindet sich ein Digitaler Zwilling 25 der Anlage 10, der eine Mehrzahl an virtuellen Objekten 22 umfasst, die jeweils eine Komponente 12 des Automatisierungssystems 10 nachstellen. Der virtuelle Raum 20 wird einem Benutzer 33 über ein Virtual-Reality-Headset 32 begehbar dargestellt, das zu einem Virtual-Reality-System 30 gehört. Durch den Benutzer 33 ist darüber eine Empfängerposition 26 innerhalb des virtuellen Raums 20 vorgebbar, die der in 1 gezeigten Position 11 in der Anlage 10 entspricht. Die Begehbarkeit ist in 1 durch den Pfeil 27 versinnbildlicht. Der virtuelle Raum 20 wird durch ein Computerprogrammprodukt 45 bereitgestellt, das auf einer Auswertungseinheit 40 der Anlage 10 ausführbar gespeichert ist.In the first step 110 of the method 100, a virtual space 20 is also provided in which the system 10 is simulated. In the virtual space 20 there is a digital twin 25 of the system 10, which comprises a plurality of virtual objects 22, each of which simulates a component 12 of the automation system 10. The virtual space 20 is presented to a user 33 via a virtual reality headset 32, which belongs to a virtual reality system 30. The user 33 can thereby specify a receiver position 26 within the virtual space 20, which corresponds to the 1 shown position 11 in Annex 10. The accessibility is in 1 symbolized by the arrow 27. The virtual space 20 is provided by a computer program product 45, which is stored executably on an evaluation unit 40 of the system 10.

Zum Verfahren 100 gehört auch ein zweiter Schritt 120, in dem von einem ersten Schallsensor 18.1 ein erstes Klangbild 36 erfasst wird und von einem zweiten Schallsensor 18.2 ein zweites Klangbild 37. Das erste und zweite Klangbild 36, 37 sind je ein akustischer Eindruck, der sich an der Position des jeweiligen Schallsensors 18.1, 18.2 in Abhängigkeit von den Klängen 19 und den Schallausbreitungspfaden 24 in der Anlage 10 ergibt. Im zweiten Schritt 120 wird eine Komponente 12, nämlich der Motor 14, als erste Schallquelle 56 ermittelt. Dazu wird mittels des Computerprogrammprodukt 45, das auf der Auswertungseinheit 40 der Anlage 10 ausgeführt wird, eine Triangulation, eine Trilateration oder eine Peilung durchgeführt. Insgesamt wird basierend auf dem ersten und zweiten Klangbild 37, 39 ermittelt, welcher Klang 19 separat von der ersten Schallquelle 56 ausgesendet wird. Ebenso wird im zweiten Schritt 120 eine Komponente 12, nämlich das Rührwerk 17, als zweite Schallquelle 58 ermittelt. Das Ermitteln der zweiten Schallquelle 58 läuft hierbei analog zur ersten Schallquelle 56 ab. Auch zur zweiten Schallquelle 58 wird ein emittierter Klang 19 ermittelt.The method 100 also includes a second step 120 in which a first sound image 36 is detected by a first sound sensor 18.1 and a second sound image 36 is detected by a second sound sensor 18.2. Figure 37. The first and second sound images 36, 37 each represent an acoustic impression that arises at the position of the respective sound sensor 18.1, 18.2 as a function of the sounds 19 and the sound propagation paths 24 in the system 10. In the second step 120, a component 12, namely the motor 14, is identified as the first sound source 56. For this purpose, a triangulation, trilateration, or direction finding is performed using the computer program product 45, which is executed on the evaluation unit 40 of the system 10. Overall, based on the first and second sound images 37, 39, it is determined which sound 19 is emitted separately by the first sound source 56. Likewise, in the second step 120, a component 12, namely the agitator 17, is identified as the second sound source 58. The determination of the second sound source 58 is analogous to the first sound source 56. An emitted sound 19 is also determined for the second sound source 58.

Des Weiteren umfasst das Verfahren 100 einen dritten Schritt, in dem die Empfängerposition 26 im virtuellen Raum 20 durch den Benutzer 33 vorgegeben wird. Die Empfängerposition 26 wird durch das Begehen 27 des virtuellen Raums 20 gemäß einer Darstellung durch das Virtual-Reality-Headset vorgegeben. Im dritten Schritt 130 wird ein virtuelles Klangbild 31 ermittelt, das einem ortabhängigen Klangbild 38 entspricht, das an der korrespondierenden Position 11 in der Anlage 10 wahrnehmbar ist. Zum Ermitteln des virtuellen Klangbilds 31 werden virtuelle Objekte 22 als erste virtuelle Schallquelle 28 und als zweite virtuelle Schallquelle 29 im virtuellen Raum 20 nachgestellt. Es werden im virtuellen Raum 20 Schallausbreitungspfade 24 berechnet und so das virtuelle Klangbild 31 an der Empfängerposition 26 ermittelt. Die virtuellen Objekte 22 sind korrespondierend zu den Komponenten 12 auch zumindest teilweise schallreflektierende und/oder zumindest teilweise schallschluckende virtuelle Objekte 22. Im virtuellen Raum 20 wird zur Ermittlung der Schallausbreitungspfade 24 darin das korrespondierende zumindest teilweise schallreflektierende und/oder zumindest teilweise schallschluckende Verhalten nachgestellt. Das Ermitteln des virtuellen Klangbilds 31 wird ebenso durch das Computerprogrammprodukt 40 durchgeführt, das mit dem Digitalen Zwilling 25 zumindest gekoppelt ist.Furthermore, the method 100 comprises a third step in which the receiver position 26 in the virtual space 20 is specified by the user 33. The receiver position 26 is specified by walking 27 through the virtual space 20 according to a representation by the virtual reality headset. In the third step 130, a virtual sound image 31 is determined that corresponds to a location-dependent sound image 38 that is perceptible at the corresponding position 11 in the system 10. To determine the virtual sound image 31, virtual objects 22 are recreated as the first virtual sound source 28 and as the second virtual sound source 29 in the virtual space 20. Sound propagation paths 24 are calculated in the virtual space 20, and the virtual sound image 31 at the receiver position 26 is thus determined. The virtual objects 22 are also virtual objects 22 corresponding to the components 12 that are at least partially sound-reflecting and/or at least partially sound-absorbing. In the virtual space 20, the corresponding at least partially sound-reflecting and/or at least partially sound-absorbing behavior is simulated to determine the sound propagation paths 24. The virtual sound image 31 is also determined by the computer program product 40, which is at least coupled to the digital twin 25.

Ferner umfasst das Verfahren 100 einen vierten Schritt 140, in dem das virtuelle Klangbild 31 an den Benutzer 33 ausgegeben wird. Das Ausgeben an den Benutzer 33 erfolgt über das Virtual-Reality-Headset 32. Das Ausgeben erfolgt binaural und stellt eine Auralisierung 55 dar. Dementsprechend stimmt das virtuelle Klangbild 31 mit dem ortabhängigen Klangbild 38 überein, das an der Position 11 in der Anlage 10 wahrnehmbar ist, die der vorgegebenen Empfängerposition 26 entspricht. Durch das ausgegebene virtuelle Klangbild 31 wird durch den Benutzer 33 ein bestimmungswidriger Zustand der Anlage 10 erkannt. Ebenso erfolgt im vierten Schritt 140 ein Ausgeben 43 des virtuellen Klangbilds 31 an eine Künstliche Intelligenz 50, die mit dem Computerprogrammprodukt 45 zumindest zusammenwirkt. Die Künstliche Intelligenz 50 ist als Neuronales Netz ausgebildet und dazu geeignet, das virtuelle Klangbild 31 mit Klangbildern aus einer Datenbank 46 zu vergleichen, die mit der Auswertungseinheit 40 über eine kommunikative Datenverbindung 42 verbunden ist. Zum Erkennen des bestimmungswidrigen Betriebszustands wird ein Soll-Klangbild aus der Datenbank 46, dass einem Bereich der vorgegebenen Empfängerposition 26 zugeordnet ist, mit dem virtuellen Klangbild 31 durch die Künstliche Intelligenz 50 verglichen. Wenn ein bestimmungswidriger Betriebszustand der Anlage 10 erkannt wird, wird eine Warnung 48 ausgegeben. Die Warnung 48 wird über eine kommunikative Datenverbindung 42 zwischen der Auswertungseinheit 40 und der Steuereinheit 60 übertragen und so eine Reaktion durch das Steuerungsprogramm 65 ermöglicht. Ferner wird im Verfahren 100 durch den Benutzer 33 eines der virtuellen Objekte 22 ausgewählt. Die Auswahl ist durch das Handsymbol 23 dargestellt. Die Auswahl 23 erfolgt innerhalb des virtuellen Raums 20. Zum ausgewählten virtuellen Objekt 22 werden Betriebsdaten 62 zu der Komponente 12 der Anlage 10 abgerufen, das dem ausgewählten virtuellen Objekt 22 entspricht. Die Betriebsdaten 62 umfassen Messwerte, vorliegende Steuerbefehle, Sollwerte und/oder sonstige Parameter, durch die der Betrieb der jeweiligen Komponente 12 charakterisiert ist. Die Betriebsdaten 62 werden dem Benutzer 33 im virtuellen Raum 20 als virtuelle Repräsentanz 49, beispielsweise als ein im virtuellen Raum 20 schwebendes Fenster, dargestellt. Dem Benutzer 33 werden so die zur ausgewählten Komponente 22 zugehörigen Betriebsdaten 62 zu einem Plausibilisieren der ausgegebenen Warnung 48 und/oder zur weiteren Diagnose im virtuellen Raum bereitgestellt. Das Verfahren 100 erlaubt es, dass der virtuelle Raum 20, in dem die Anlage 10 nachgestellt ist, von diesem entfernt dargestellt werden kann. Die Anlage 10 ist durch das Verfahren 100 nach 1 somit für den Benutzer 33 ortsunabhängig inspizierbar.Furthermore, the method 100 comprises a fourth step 140 in which the virtual sound image 31 is output to the user 33. The output to the user 33 occurs via the virtual reality headset 32. The output occurs binaurally and represents an auralization 55. Accordingly, the virtual sound image 31 corresponds to the location-dependent sound image 38, which is perceptible at position 11 in the system 10, which corresponds to the predetermined receiver position 26. The output virtual sound image 31 enables the user 33 to recognize an improper state of the system 10. Likewise, in the fourth step 140, the virtual sound image 31 is output 43 to an artificial intelligence 50, which at least interacts with the computer program product 45. The artificial intelligence 50 is designed as a neural network and is suitable for comparing the virtual sound image 31 with sound images from a database 46, which is connected to the evaluation unit 40 via a communicative data connection 42. To detect the improper operating state, a target sound image from the database 46, which is assigned to an area of the predetermined receiver position 26, is compared with the virtual sound image 31 by the artificial intelligence 50. If an improper operating state of the system 10 is detected, a warning 48 is issued. The warning 48 is transmitted via a communicative data connection 42 between the evaluation unit 40 and the control unit 60, thus enabling a response by the control program 65. Furthermore, in the method 100, the user 33 selects one of the virtual objects 22. The selection is represented by the hand symbol 23. The selection 23 takes place within the virtual space 20. For the selected virtual object 22, operating data 62 is retrieved for the component 12 of the system 10 that corresponds to the selected virtual object 22. The operating data 62 includes measured values, existing control commands, setpoints, and/or other parameters that characterize the operation of the respective component 12. The operating data 62 is displayed to the user 33 in the virtual space 20 as a virtual representation 49, for example, as a window floating in the virtual space 20. The operating data 62 associated with the selected component 22 is thus made available to the user 33 for a plausibility check of the issued warning 48 and/or for further diagnosis in the virtual space. The method 100 allows the virtual space 20, in which the system 10 is recreated, to be displayed remotely therefrom. The system 10 is represented by the method 100 according to 1 thus inspectable by the user 33 regardless of location.

Ein Aufbau einer Anlage 10, auf dem eine zweite Ausführungsform des beanspruchten Verfahrens 100 durchgeführt wird, ist in 2 schematisch dargestellt. Die Anlage 10 umfasst eine Mehrzahl an Komponenten 12, die in einem bestimmungsgemäßen Betrieb zusammenwirken, um einen Anlagenprozess 15 durchzuführen. Eine der Komponenten 12 ist als Motor 14, eine weitere Komponente 12 als Lüfter 13 und eine noch weitere Komponente 12 als Rührwerk 17. Die Komponenten 12 sind jeweils über eine kommunikative Datenverbindung 42 zumindest mit einer Steuereinheit 60 der Anlage 10 verbunden. Die Komponenten 12 sind zur Durchführung des Anlagenprozesses 15 durch die Steuereinheit 60 mittels eines Steuerungsprogramms 65 ansteuerbar. Die Anlage 10 umfasst ebenso eine Mehrzahl an Schallsensoren 18, die jeweils als Mikrofone oder Schallkameras ausgebildet sind. Unter den Komponenten 12 sind der Motor 14 und das Rührwerk 17 als Schallquellen ausgebildet und geben Schallemissionen ab, die einen Klang 19 ergeben. Die weiteren Komponenten 12 sind jeweils als zumindest teilweise schallreflektierende Objekte und/oder zumindest teilweise schallschluckende Objekte ausgebildet. Die Komponenten 12 wirken sich somit auf Schallausbreitungspfade 24 aus, die sich für die Schallemissionen bzw. Klänge 19 ergeben. In Abhängigkeit von einer Position 11 in der Anlage 10 ergibt sich somit ein ortsabhängiges Klangbild 38. Die Anlage 10 wird in einem ersten Schritt 110 des Verfahrens 100 in einem aktiven Betriebszustand bereitgestellt. Unter einem aktiven Betriebszustand ist hierbei ein Betrieb zu verstehen, in dem der Anlagenprozess 15 zumindest teilweise abläuft und an zumindest einer Komponente 12 eine Schallemission, also ein Klang 19, auftritt.A structure of a plant 10 on which a second embodiment of the claimed method 100 is carried out is shown in 2 shown schematically. The system 10 comprises a plurality of components 12 that interact during normal operation to carry out a system process 15. One of the components 12 is a motor 14, another component 12 is a fan 13, and yet another component 12 is an agitator 17. The components 12 are each connected via a communicative data connection 42 to at least one control unit 60 of the system 10. The components 12 can be controlled by the control unit 60 using a control program 65 to carry out the system process 15. The system 10 also includes a plurality of sound sensors 18, each designed as microphones or sound cameras. Among the components 12, the motor 14 and the agitator 17 are designed as sound sources and emit sound emissions that produce a sound 19. The other components 12 are each designed as at least partially sound-reflecting objects and/or at least partially sound-absorbing objects. The components 12 thus affect sound propagation paths 24 that result for the sound emissions or sounds 19. Depending on a position 11 in the system 10, a location-dependent sound pattern 38 is thus produced. The system 10 is provided in an active operating state in a first step 110 of the method 100. An active operating state is understood to mean an operation in which the system process 15 is running at least partially and a sound emission, i.e. a sound 19, occurs at at least one component 12.

Im ersten Schritt 110 des Verfahren 100 wird auch ein virtueller Raum 20 bereitgestellt, in dem die Anlage 10 nachgestellt wird. Im virtuellen Raum 20 befindet sich ein Digitaler Zwilling 25 der Anlage 10, der eine Mehrzahl an virtuellen Objekten 22 umfasst, die jeweils eine Komponente 12 der Anlage 10 nachstellen. Der virtuelle Raum 20 wird einem Benutzer 33 über ein Virtual-Reality-Headset 32 begehbar dargestellt, das zu einem Virtual-Reality-System 30 gehört. Durch den Benutzer 33 ist darüber eine Empfängerposition 26 innerhalb des virtuellen Raums 20 vorgebbar, die der in 2 gezeigten Position 11 in der Anlage 10 entspricht. Die Begehbarkeit ist in 2 durch den Pfeil 27 versinnbildlicht. Der virtuelle Raum 20 wird durch ein Computerprogrammprodukt 45 bereitgestellt, das auf einer Auswertungseinheit 40 der Anlage 10 ausführbar gespeichert ist.In the first step 110 of the method 100, a virtual space 20 is also provided in which the system 10 is recreated. In the virtual space 20 there is a digital twin 25 of the system 10, which comprises a plurality of virtual objects 22, each of which recreates a component 12 of the system 10. The virtual space 20 is presented to a user 33 via a virtual reality headset 32, which belongs to a virtual reality system 30. The user 33 can thereby specify a receiver position 26 within the virtual space 20, which corresponds to the 2 shown position 11 in Annex 10. The accessibility is in 2 symbolized by the arrow 27. The virtual space 20 is provided by a computer program product 45, which is stored executably on an evaluation unit 40 of the system 10.

Zum Verfahren 100 gehört auch ein zweiter Schritt 120, in dem von einem ersten Schallsensor 18.1 ein erstes Klangbild 36 erfasst wird und von einem zweiten Schallsensor 18.2 ein zweites Klangbild 37. Das erste und zweite Klangbild 36, 37 sind je ein akustischer Eindruck, der sich an der Position des jeweiligen Schallsensors 18.1, 18.2 in Abhängigkeit von den Klängen 19 und den Schallausbreitungspfaden 24 in der Anlage 10 ergibt. Im zweiten Schritt 120 wird eine Komponente 12, nämlich der Motor 14, als erste Schallquelle 56 ermittelt. Dazu wird mittels des Computerprogrammprodukt 45, das auf der Auswertungseinheit 40 der Anlage 10 ausgeführt wird, eine Triangulation, eine Trilateration oder eine Peilung durchgeführt. Insgesamt wird basierend auf dem ersten und zweiten Klangbild 37, 39 ermittelt, welcher Klang 19 separat von der ersten Schallquelle 56 ausgesendet wird. Ebenso wird im zweiten Schritt 120 eine Komponente 12, nämlich das Rührwerk 17, als zweite Schallquelle 58 ermittelt. Das Ermitteln der zweiten Schallquelle 58 läuft hierbei analog zur ersten Schallquelle 56 ab. Auch zur zweiten Schallquelle 58 wird ein emittierter Klang 19 ermittelt.The method 100 also includes a second step 120, in which a first sound image 36 is detected by a first sound sensor 18.1 and a second sound image 37 is detected by a second sound sensor 18.2. The first and second sound images 36, 37 are each an acoustic impression that results at the position of the respective sound sensor 18.1, 18.2 as a function of the sounds 19 and the sound propagation paths 24 in the system 10. In the second step 120, a component 12, namely the engine 14, is determined as the first sound source 56. For this purpose, a triangulation, trilateration, or direction finding is performed using the computer program product 45, which is executed on the evaluation unit 40 of the system 10. Overall, based on the first and second sound images 37, 39, it is determined which sound 19 is emitted separately by the first sound source 56. Likewise, in the second step 120, a component 12, namely the agitator 17, is determined as the second sound source 58. The determination of the second sound source 58 proceeds analogously to the first sound source 56. An emitted sound 19 is also determined for the second sound source 58.

Ferner umfasst das Verfahren 100 einen vierten Schritt 140, in dem das virtuelle Klangbild 31 an den Benutzer 33 ausgegeben wird. Das Ausgeben an den Benutzer 33 erfolgt über das Virtual-Reality-Headset 32. Das Ausgeben erfolgt binaural und stellt eine Auralisierung 55 dar. Dementsprechend stimmt das virtuelle Klangbild 31 mit dem ortabhängigen Klangbild 38 überein, das an der Position 11 in der Anlage 10 wahrnehmbar ist, die der vorgegebenen Empfängerposition 26 entspricht. Durch das ausgegebene virtuelle Klangbild 31 wird durch den Benutzer 33 ein bestimmungswidriger Zustand der Anlage 10 erkannt. Ebenso erfolgt im vierten Schritt 140 ein Ausgeben 43 des virtuellen Klangbilds 31 an eine Künstliche Intelligenz 50, die mit dem Computerprogrammprodukt 45 zumindest zusammenwirkt. Die Künstliche Intelligenz 50 ist als Neuronales Netz ausgebildet und dazu geeignet, das virtuelle Klangbild 31 mit Klangbildern aus einer Datenbank 46 zu vergleichen, die mit der Auswertungseinheit 40 über eine kommunikative Datenverbindung 42 verbunden ist. Zum Erkennen des bestimmungswidrigen Betriebszustands wird ein Soll-Klangbild aus der Datenbank 46, dass einem Bereich der vorgegebenen Empfängerposition 26 zugeordnet ist, mit dem virtuellen Klangbild 31 durch die Künstliche Intelligenz 50 verglichen. Wenn ein bestimmungswidriger Betriebszustand der Anlage 10 erkannt wird, wird eine Warnung 48 ausgegeben. Die Warnung 48 wird über eine kommunikative Datenverbindung 42 zwischen der Auswertungseinheit 40 und der Steuereinheit 60 übertragen und so eine Reaktion durch das Steuerungsprogramm 65 ermöglicht.Furthermore, the method 100 comprises a fourth step 140 in which the virtual sound image 31 is output to the user 33. The output to the user 33 occurs via the virtual reality headset 32. The output occurs binaurally and represents an auralization 55. Accordingly, the virtual sound image 31 corresponds to the location-dependent sound image 38, which is perceptible at position 11 in the system 10, which corresponds to the predetermined receiver position 26. The output virtual sound image 31 enables the user 33 to recognize an improper state of the system 10. Likewise, in the fourth step 140, the virtual sound image 31 is output 43 to an artificial intelligence 50, which at least interacts with the computer program product 45. The artificial intelligence 50 is designed as a neural network and is suitable for comparing the virtual sound image 31 with sound images from a database 46, which is connected to the evaluation unit 40 via a communicative data connection 42. To detect the improper operating state, a target sound image is taken from the Database 46, which is assigned to an area of the specified receiver position 26, is compared with the virtual sound image 31 by the artificial intelligence 50. If an improper operating state of the system 10 is detected, a warning 48 is issued. The warning 48 is transmitted via a communicative data connection 42 between the evaluation unit 40 and the control unit 60, thus enabling a response by the control program 65.

Ferner wird im Verfahren 100 in einem fünften Schritt 150 durch den Benutzer 33 eines der virtuellen Objekte 22 ausgewählt. Die Auswahl ist durch das Handsymbol 23 dargestellt. In einem weiteren sechsten Schritt 160 wird ein schallquellenspezifisches Klangbild 34 ermittelt, das an der vorgegebenen Empfängerposition 26 vorliegt. Das schallquellenspezifische Klangbild 34 basiert auf dem virtuellen Klangbild 31 an der Empfängerposition 26. Im sechsten Schritt 160 wird der Klang, der von der ersten virtuellen Schallquelle 28 emittiert wird, isoliert. Dementsprechend werden Klänge, die von anderen virtuellen Objekten 22 als der ersten virtuellen Schallquelle 28 als Schallkulisse 53 eingestuft. Der Anteil der Schallkulisse 53 wird in der Ausgabe des schallquellenspezifischen Klangbilds 34 mit einem einstellbaren Akustikdämpfer 44 ausgegeben. Durch den einstellbaren Akustikdämpfer 44 wird die Schallkulisse 53 mit reduzierter Lautstärke in einem siebten Schritt 170 des Verfahrens 100 ausgegeben. Durch den einstellbaren Akustikdämpfer 44 kann die Schallkulisse 53 im siebenten Schritt 170 auch vollständig ausgeblendet sein. In diesem Fall stellt das schallquellenspezifische Klangbild 34 einen theoretischen akustischen Eindruck in der Anlage 10 dar, der sich einstellt, wenn die nicht betrachteten Komponenten 12 still wären. Auch das schallquellenspezifische Klangbild 34 ist an die Künstliche Intelligenz 50 zu einem Erkennen eines bestimmungswidrigen Betriebszustands übertragbar. Insgesamt ist durch das Verfahren 100 nach 2 eine auf akustischen Eindrücken basierende Diagnose möglich, die bei einer Begehung der Anlage 10 in Präsenz nicht möglich ist. Gleichzeitig wird mit dem Verfahren 100 nach 2 das Spektrum an Diagnosemöglichkeiten bei einer für den Benutzer 33 bei einem ortsunabhängigen Inspizieren erweitert.Furthermore, in the method 100, in a fifth step 150, the user 33 selects one of the virtual objects 22. The selection is represented by the hand symbol 23. In a further sixth step 160, a sound source-specific sound image 34 present at the predetermined receiver position 26 is determined. The sound source-specific sound image 34 is based on the virtual sound image 31 at the receiver position 26. In the sixth step 160, the sound emitted by the first virtual sound source 28 is isolated. Accordingly, sounds emitted by virtual objects 22 other than the first virtual sound source 28 are classified as background sound 53. The portion of the background sound 53 is output in the output of the sound source-specific sound image 34 using an adjustable acoustic damper 44. The adjustable acoustic damper 44 outputs the background noise 53 at a reduced volume in a seventh step 170 of the method 100. The adjustable acoustic damper 44 also allows the background noise 53 to be completely suppressed in the seventh step 170. In this case, the sound source-specific sound pattern 34 represents a theoretical acoustic impression in the system 10 that would occur if the components 12 not being considered were silent. The sound source-specific sound pattern 34 can also be transmitted to the artificial intelligence 50 to detect an improper operating state. Overall, the method 100 according to 2 a diagnosis based on acoustic impressions is possible, which is not possible during a physical inspection of the facility 10. At the same time, the procedure 100 according to 2 the spectrum of diagnostic options for the user 33 is expanded during location-independent inspection.

Ein Aufbau einer Anlage 10, auf der eine erste Ausführungsform des beanspruchten Verfahrens 100 durchgeführt wird, ist in 3 schematisch dargestellt. Die Anlage 10 umfasst eine Mehrzahl an Komponenten 12, die in einem bestimmungsgemäßen Betrieb zusammenwirken um einen Anlagenprozess 15 durchzuführen. Eine der Komponenten 12 ist als Motor 14, eine weitere Komponente 12 als Lüfter 13 und eine noch weitere Komponente 12 als Rührwerk 17. Die Komponenten 12 sind jeweils über eine kommunikative Datenverbindung 42 zumindest mit einer Steuereinheit 60 der Anlage 10 verbunden. Die Komponenten 12 sind zur Durchführung des Anlagenprozesses 15 durch die Steuereinheit 60 mittels eines Steuerungsprogramms 65 ansteuerbar. Die Anlage 10 umfasst ebenso eine Mehrzahl an Schallsensoren 18, die jeweils als Mikrofone oder Schallkameras ausgebildet sind. Unter den Komponenten 12 sind der Motor 14 und das Rührwerk 17 als Schallquellen ausgebildet und geben Schallemissionen ab, die einen Klang 19 ergeben. Die weiteren Komponenten 12 sind jeweils als zumindest teilweise schallreflektierende Objekte und/oder zumindest teilweise schallschluckende Objekte ausgebildet. Die Komponenten 12 wirken sich somit auf Schallausbreitungspfade 24 aus, die sich für die Schallemissionen bzw. Klänge 19 ergeben. In Abhängigkeit von einer Position 11 in der Anlage 10 ergibt sich somit ein ortsabhängiges Klangbild 38. Die Anlage 10 wird in einem ersten Schritt 110 des Verfahrens 100 in einem aktiven Betriebszustand bereitgestellt. Unter einem aktiven Betriebszustand ist hierbei ein Betrieb zu verstehen, in dem der Anlagenprozess 15 zumindest teilweise abläuft und an zumindest einer Komponente 12 eine Schallemission, also ein Klang 19, auftritt.A structure of a plant 10 on which a first embodiment of the claimed method 100 is carried out is shown in 3 shown schematically. The system 10 comprises a plurality of components 12 which, during intended operation, interact to carry out a system process 15. One of the components 12 is a motor 14, another component 12 is a fan 13, and yet another component 12 is an agitator 17. The components 12 are each connected to at least one control unit 60 of the system 10 via a communicative data connection 42. The components 12 can be controlled by the control unit 60 using a control program 65 to carry out the system process 15. The system 10 also comprises a plurality of sound sensors 18, each of which is designed as microphones or sound cameras. Among the components 12, the motor 14 and the agitator 17 are designed as sound sources and emit sound emissions that produce a sound 19. The other components 12 are each designed as at least partially sound-reflecting objects and/or at least partially sound-absorbing objects. The components 12 thus affect sound propagation paths 24, which result in the sound emissions or sounds 19. Depending on a position 11 in the system 10, a location-dependent sound pattern 38 thus results. In a first step 110 of the method 100, the system 10 is provided in an active operating state. An active operating state is understood to mean an operation in which the system process 15 is at least partially running and a sound emission, i.e., a sound 19, occurs at at least one component 12.

Im ersten Schritt 110 des Verfahren 100 wird auch ein virtueller Raum 20 bereitgestellt, in dem die Anlage 10 nachgestellt wird. Im virtuellen Raum 20 befindet sich ein Digitaler Zwilling 25 der Anlage 10, der eine Mehrzahl an virtuellen Objekten 22 umfasst, die jeweils eine Komponente 12 der Anlage 10 nachstellen. Der virtuelle Raum 20 wird einem Benutzer 33 über ein Virtual-Reality-Headset 32 begehbar dargestellt, das zu einem Virtual-Reality-System 30 gehört. Durch den Benutzer 33 ist darüber eine Empfängerposition 26 innerhalb des virtuellen Raums 20 vorgebbar, die der in 3 gezeigten Position 11 in der Anlage 10 entspricht. Die Begehbarkeit ist in 3 durch den Pfeil 27 versinnbildlicht. Der virtuelle Raum 20 wird durch ein Computerprogrammprodukt 45 bereitgestellt, das auf einer Auswertungseinheit 40 der Anlage 10 ausführbar gespeichert ist.In the first step 110 of the method 100, a virtual space 20 is also provided in which the system 10 is recreated. In the virtual space 20 there is a digital twin 25 of the system 10, which comprises a plurality of virtual objects 22, each of which recreates a component 12 of the system 10. The virtual space 20 is presented to a user 33 via a virtual reality headset 32, which belongs to a virtual reality system 30. The user 33 can thereby specify a receiver position 26 within the virtual space 20, which corresponds to the 3 shown position 11 in Annex 10. The accessibility is in 3 symbolized by the arrow 27. The virtual space 20 is provided by a computer program product 45, which is stored executably on an evaluation unit 40 of the system 10.

Zum Verfahren 100 gehört auch ein zweiter Schritt 120, in dem von einem ersten Schallsensor 18.1 ein erstes Klangbild 36 erfasst wird und von einem zweiten Schallsensor 18.2 ein zweites Klangbild 37. Das erste und zweite Klangbild 36, 37 sind je ein akustischer Eindruck, der sich an der Position des jeweiligen Schallsensors 18.1, 18.2 in Abhängigkeit von den Klängen 19 und den Schallausbreitungspfaden 24 in der Anlage 10 ergibt. Im zweiten Schritt 120 wird eine Komponente 12, nämlich der Motor 14, als erste Schallquelle 56 ermittelt. Dazu wird mittels des Computerprogrammprodukt 45, das auf der Auswertungseinheit 40 der Anlage 10 ausgeführt wird, eine Triangulation, eine Trilateration oder eine Peilung durchgeführt. Insgesamt wird basierend auf dem ersten und zweiten Klangbild 37, 39 ermittelt, welcher Klang 19 separat von der ersten Schallquelle 56 ausgesendet wird. Ebenso wird im zweiten Schritt 120 eine Komponente 12, nämlich das Rührwerk 17, als zweite Schallquelle 58 ermittelt. Das Ermitteln der zweiten Schallquelle 58 läuft hierbei analog zur ersten Schallquelle 56 ab. Auch zur zweiten Schallquelle 58 wird ein emittierter Klang 19 ermittelt.The method 100 also includes a second step 120, in which a first sound image 36 is detected by a first sound sensor 18.1 and a second sound image 37 by a second sound sensor 18.2. The first and second sound images 36, 37 are each an acoustic impression that results at the position of the respective sound sensor 18.1, 18.2 as a function of the sounds 19 and the sound propagation paths 24 in the system 10. In the second step 120, a component 12, namely the engine 14, is determined as the first sound source 56. For this purpose, a triangulation, a trilateration, or a bearing is carried out by means of the computer program product 45, which is executed on the evaluation unit 40 of the system 10. Overall, based on the first and second sound images 37, 39, determines which sound 19 is emitted separately from the first sound source 56. Likewise, in the second step 120, a component 12, namely the agitator 17, is determined as the second sound source 58. The determination of the second sound source 58 proceeds analogously to the first sound source 56. An emitted sound 19 is also determined for the second sound source 58.

Ferner umfasst das Verfahren 100 einen vierten Schritt 140, in dem das virtuelle Klangbild 31 an den Benutzer 33 ausgegeben wird. Zusätzlich wird durch den Benutzer 33 über eine Auswahl 23 im virtuellen Raum 20 ein Akustikmodus des Verfahrens 100 geändert. Durch die Akustikmodus-Änderung 41 wird die Ausgabe des virtuellen Klangbilds 31 angepasst. Es wird ein Frequenzbereich des virtuellen Klangbilds 31 ausgewählt, das in einem für Menschen unhörbaren Frequenzspektrum 52 liegt. Infolge der Akustikmodus-Änderung 41 wird der Anteil des virtuellen Klangbilds 31 über eine Frequenzverschiebung 54 in ein für den Menschen hörbares Frequenzspektrum 51 verschoben. Basierend auf dem ausgewählten Anteil im für Menschen unhörbaren Frequenzspektrum 52 des und der Frequenzverschiebung 54 wird ein frequenzverschobenes Klangbild 39 ermittelt und an den Benutzer 33 ausgegeben. Das frequenzverschobene Klangbild 39 ist ein akustisches Gegenstück zu einer Falschfarbendarstellung, wie beispielsweise bei Infrarot-Bildgebung. Dadurch werden die für den Menschen nicht hörbaren Frequenzspektren 52, die im ortabhängigen Klangbild 38 vorliegen, bei der Begehung des virtuellen Raums 20 durch den Benutzer unmittelbar auswertbar. Bei den für den Menschen unhörbaren Frequenzspektren 52 handelt es sich um Ultraschall-Emissionen und/oder Infraschall-Emissionen.Furthermore, the method 100 comprises a fourth step 140 in which the virtual sound image 31 is output to the user 33. In addition, the user 33 changes an acoustic mode of the method 100 via a selection 23 in the virtual space 20. The acoustic mode change 41 adjusts the output of the virtual sound image 31. A frequency range of the virtual sound image 31 is selected that lies in a frequency spectrum 52 inaudible to humans. As a result of the acoustic mode change 41, the portion of the virtual sound image 31 is shifted via a frequency shift 54 into a frequency spectrum 51 audible to humans. Based on the selected portion in the frequency spectrum 52 inaudible to humans and the frequency shift 54, a frequency-shifted sound image 39 is determined and output to the user 33. The frequency-shifted sound image 39 is an acoustic counterpart to a false-color representation, such as in infrared imaging. This allows the frequency spectra 52, which are inaudible to humans and are present in the location-dependent sound image 38, to be directly evaluated by the user when walking through the virtual space 20. The frequency spectra 52, which are inaudible to humans, are ultrasonic emissions and/or infrasound emissions.

Das Ausgeben des virtuellen Klangbilds 31 und des frequenzverschobenen Klangbilds 39 an den Benutzer 33 erfolgt über das Virtual-Reality-Headset 32. Das Ausgeben erfolgt binaural und stellt eine Auralisierung 55 dar. Dementsprechend stimmt das virtuelle Klangbild 31 mit dem ortabhängigen Klangbild 38 überein, das an der Position 11 in der Anlage 10 wahrnehmbar ist, die der vorgegebenen Empfängerposition 26 entspricht. Dies gilt analog unter Berücksichtigung der Frequenzverschiebung 54 für das frequenzverschobene Klangbild 39. Durch das ausgegebene virtuelle Klangbild 31 und/oder das frequenzverschobene Klangbild 39 wird durch den Benutzer 33 ein bestimmungswidriger Zustand der Anlage 10 erkannt. Ebenso erfolgt im vierten Schritt 140 ein Ausgeben 43 des virtuellen Klangbilds 31 und/oder des frequenzverschobenen Klangbilds 39 an eine Künstliche Intelligenz 50, die mit dem Computerprogrammprodukt 45 zumindest zusammenwirkt. Die Künstliche Intelligenz 50 ist als Neuronales Netz ausgebildet und dazu geeignet, das virtuelle Klangbild 31 und/oder das frequenzverschobene Klangbild 39 mit Klangbildern aus einer Datenbank 46 zu vergleichen, die mit der Auswertungseinheit 40 über eine kommunikative Datenverbindung 42 verbunden ist. Zum Erkennen des bestimmungswidrigen Betriebszustands wird ein Soll-Klangbild aus der Datenbank 46, dass einem Bereich der vorgegebenen Empfängerposition 26 zugeordnet ist, mit dem virtuellen Klangbild 31 und/oder dem frequenzverschobenen Klangbild 39 durch die Künstliche Intelligenz 50 verglichen. Wenn ein bestimmungswidriger Betriebszustand der Anlage 10 erkannt wird, wird eine Warnung 48 ausgegeben. Die Warnung 48 wird über eine kommunikative Datenverbindung 42 zwischen der Auswertungseinheit 40 und der Steuereinheit 60 übertragen und so eine Reaktion durch das Steuerungsprogramm 65 ermöglicht. Das Verfahren 100 erlaubt es, dass der virtuelle Raum 20, in dem die Anlage 10 nachgestellt ist, von diesem entfernt dargestellt werden kann. Die Anlage 10 ist durch das Verfahren 100 nach 3 somit für den Benutzer 33 ortsunabhängig inspizierbar. Zusätzlich wird mit der Analyse des frequenzverschobenen Klangbilds 39 eine zusätzliche Diagnostikmöglichkeit bereitgestellt, die bei einer Begehung der Anlage 10 in Präsenz nicht praktikabel durchführbar ist.The virtual sound image 31 and the frequency-shifted sound image 39 are output to the user 33 via the virtual reality headset 32. The output is binaural and represents an auralization 55. Accordingly, the virtual sound image 31 corresponds to the location-dependent sound image 38, which is perceptible at position 11 in the system 10, which corresponds to the predetermined receiver position 26. This applies analogously, taking into account the frequency shift 54, to the frequency-shifted sound image 39. The output virtual sound image 31 and/or the frequency-shifted sound image 39 allows the user 33 to recognize an improper condition of the system 10. Likewise, in the fourth step 140, the virtual sound image 31 and/or the frequency-shifted sound image 39 is output 43 to an artificial intelligence 50, which at least interacts with the computer program product 45. The artificial intelligence 50 is designed as a neural network and is suitable for comparing the virtual sound image 31 and/or the frequency-shifted sound image 39 with sound images from a database 46, which is connected to the evaluation unit 40 via a communicative data connection 42. To detect the improper operating state, a target sound image from the database 46, which is assigned to an area of the predetermined receiver position 26, is compared with the virtual sound image 31 and/or the frequency-shifted sound image 39 by the artificial intelligence 50. If an improper operating state of the system 10 is detected, a warning 48 is output. The warning 48 is transmitted via a communicative data connection 42 between the evaluation unit 40 and the control unit 60, thus enabling a reaction by the control program 65. The method 100 allows the virtual space 20 in which the system 10 is recreated to be displayed remotely. The system 10 is controlled by the method 100 according to 3 thus, the user 33 can inspect it regardless of location. In addition, the analysis of the frequency-shifted sound pattern 39 provides an additional diagnostic option that is not practically feasible during a physical inspection of the system 10.

Claims

Method (100) for detecting an improper operating state of a system (10), which comprises a plurality of components (12, 13, 14, 17), each of which is designed as a sound source (56, 58), as an at least partially sound-reflecting object and/or as an at least partially sound-absorbing object, comprising the steps of: a) providing the system (10) in an active operating state and providing a virtual space (20) in which the system (10) is at least partially recreated; b) detecting a first and a second sound image (36, 37) by means of a first and a second sound sensor (18.1) respectively and determining a sound (19) emitted by a first sound source (56); c) specifying a receiver position (26) within the virtual space (20) and determining a virtual sound image (31) at the receiver position (26); d) outputting the virtual sound image (31) to a user (33) and/or an artificial intelligence (50) and detecting an improper operating state based on the virtual sound image (31) present at the receiver position (26).

Procedure (100) according to Claim 1 , characterized in that in step b) the first sound source (56) is imaged as the first virtual sound source (28) in the virtual space (20).

Procedure (100) according to Claim 1 or 2 , characterized in that steps a) to c) are carried out for a second sound source (58) and in step d) the virtual sound image (31) is carried out using a combination of the first and second virtual sound sources (56, 58).

Method (100) according to one of the Claims 1 until 3 , characterized in that the virtual sound image (31) is output on a virtual reality headset (32) on which the system (10) is displayed in a virtually walkable manner.

Method (100) according to one of the Claims 1 until 4 , characterized in that for a virtual sound source (28, 29) in a representation on the virtual reality headset (32) after selection by a user (33) an operating data record (62) of the corresponding sound source (56, 58) is visually output.

Method (100) according to one of the Claims 1 until 5 , characterized in that the component (12, 13, 14, 17) of the system (10) is a motor (14), a pump, an agitator (17), a fan (13), or a mechanical application.

Method (100) according to one of the Claims 1 until 6 , characterized in that the method (100) further comprises the steps of: e) selecting a virtual sound source (28, 29) by a user (33); f) determining a sound source-specific sound image (34) based on at least the first and second sound images (36, 37); g) outputting the sound source-specific sound image (34) with a reduced soundscape.

Method (100) according to one of the Claims 1 until 7 , characterized in that the sound source-specific sound image (34) of at least one virtual sound source (28, 29) is provided to the artificial intelligence (50) for detecting an improper operating state of the corresponding sound source (56, 58) in the system (10).

Method (100) according to one of the Claims 1 until 8 , characterized in that the first and/or second sound sensor (18, 18.1, 18.2) is designed as a microphone, directional microphone or as a sound camera.

Method (100) according to one of the Claims 1 until 9 , characterized in that an ultrasonic emission or an infrasound emission with a shifted frequency position in the humanly audible spectrum (51) is emitted.

Computer program product (45) which is designed to receive and process measurement data from a plurality of sound sensors (18, 18.1, 18.2) and to visually and acoustically recreate a virtual space (20), characterized in that the computer program product (45) is designed to implement a method (100) according to one of the Claims 1 until 10 to carry out.

Computer program product (45) according to Claim 11 , characterized in that the computer program product (45) is coupled to a digital twin (25) of a system (10) to be simulated or comprises the digital twin (25).

Evaluation unit (40) which is designed to receive measurement signals from a plurality of sound sensors (18, 18.1, 18.2) and is designed to receive operating data (62) of a system (10) to be adjusted via a data interface, wherein a computer program product (45) is stored executably on the evaluation unit (40), characterized in that the computer program product (45) according to Claim 11 or 12 is trained.

Plant (10) which, for carrying out a plant process (15), comprises a plurality of components (12, 13, 14, 17), each of which can be used as a sound source (56, 58), as an at least partially sound-reflecting object and/or as an at least partially sound-absorbing object, characterized in that the system (10) has an evaluation unit (40) according to Claim 13 includes.

System comprising a virtual reality system (30) and an evaluation unit (40), wherein the virtual reality system (30) has a virtual reality headset (32) and is designed for computer-based auralization of a sound image at a predeterminable receiver position (26) within a virtual space and is designed to detect an improper state of a system (10) simulated therewith, characterized in that the evaluation unit (40) according to Claim 13 is trained.