DE60302063T2

DE60302063T2 - Graphical user interface for a flight simulator based on a client-server architecture

Info

Publication number: DE60302063T2
Application number: DE60302063T
Authority: DE
Inventors: A. Christopher CULL; Yves Riel; Pierre Gagnon; Philippe Boisvert; Jean Daigle
Original assignee: CAE Inc
Current assignee: CAE Inc
Priority date: 2002-05-14
Filing date: 2003-05-14
Publication date: 2006-07-27
Anticipated expiration: 2023-05-15
Also published as: CN100476881C; EP1504420A2; CA2485610A1; WO2003096302A3; WO2003096302A2; DE60302063D1; US20030214533A1; AU2003223811A1; AU2003223811A8; US7117135B2; EP1504420B1; CA2485610C; ATE308086T1; CN1669057A

Abstract

Control panels of a simulated complex system are displayed as a texture mask over a three-dimensional visual representation of an environment in which the complex system is operating. The three-dimensional visual representation is displayed in an inactive window to a user practicing or training on the simulated system. An active window underlying the visual display is used to track user inputs to the control panels. Smart graphics translate the user inputs into data elements that are sent to a full-scope simulation, and simulation conditions are returned and used to update the display of the control panels and the visual representation of the environment.

Description

TECHNISCHES GEBIETTECHNICAL TERRITORY

Die Erfindung bezieht sich allgemein auf die Simulation komplexer Systeme zum Zwecke des System- und integrierten Verfahrenstrainings mit praktischen Übungen und insbesondere auf ein Verfahren und eine Vorrichtung für die Bereitstellung der Simulation komplexer Systeme, bei dem interaktive Grafiken mit der Darstellung von Bedienpulten eines simulierten komplexen Systems mit in Echtzeit simulierten dreidimensionalen Abbildungen einer Umgebung verschmolzen werden, in der das simulierte komplexe System betrieben wird.The This invention relates generally to the simulation of complex systems for the purpose of system and integrated practice training with practical exercises and in particular to a method and apparatus for the provision the simulation of complex systems using interactive graphics the representation of control desks of a simulated complex system with real-time simulated three-dimensional images of a Environment are merged in the simulated complex system is operated.

HINTERGRUND DER ERFINDUNGBACKGROUND THE INVENTION

Die Komplexität von in vielen Tätigkeitsbereichen verwendeten Systemen nahm in einem solchen Maß zu, dass für sicheren Betrieb und Wartung umfangreiches Training erforderlich ist. Das Trainieren an realen Systemen ist in den Branchen, die teure und/oder potentiell gefährliche Gerätschaften verwenden, besonders problematisch. Beispiele dieser Gerätschaften umfassen Luftfahrzeuge, Schiffe, Unterseeboote, militärische Gerätschaften, Kernkraftwerke und eine Vielzahl von weiteren komplexen Systemen. Es wurde demzufolge übliche Praxis, für das Training Simulationen der komplexen Systeme heranzuziehen. Um das Verhalten der realen komplexen Systeme getreulich zu reproduzieren, ist eine "Vollbild"-Simulation erforderlich. Eine Vollbildsimulation ist eine Simulation, bei der sämtliche erforderlichen Subsysteme in einem solchen Umfang simuliert werden, dass die Vollbildsimulation in sämtlichen relevanten sowohl normalen als auch abnormalen Bedingungen im Wesentlichen in einer zum realen System identischen Weise reagiert.The complexity in many fields of activity used systems increased to such an extent that for safe Operation and maintenance extensive training is required. The Training on real systems is expensive in the industries and / or industries potentially dangerous equipment use, especially problematic. Examples of these devices include aircraft, ships, submarines, military equipment, Nuclear power plants and a variety of other complex systems. It became therefore usual Practice, for that Training simulations of complex systems. To that Faithfully reproduce behavior of the real complex systems is a "full screen" simulation required. A full-screen simulation is a simulation in which all necessary subsystems are simulated to such an extent, that the full screen simulation in all essentially both normal and abnormal conditions reacts in a manner identical to the real system.

Bei vielen Anwendungen, bei denen ein Vollbildsimulator involviert ist, ist ein hochauflösendes optisches System erforderlich. Diese optischen Systeme umfassen typischerweise eine dreidimensionale immersive Umgebung für den (die) Bediener. Dreidimensionale immersive Umgebungen sind dafür bekannt, dass sie die Effektivität des Simulators signifikant verbessern. Der Grad an Realismus, der durch ein hochauflösendes optisches System bereitgestellt wird, ist nunmehr ziemlich weit fortgeschritten. Das Niveau der Detaillierung, die solche optischen Systeme bereitstellen, erfordert große visuelle Datenbanken, die mit dem Vollbildsimulator synchronisiert werden müssen, um die dreidimensionalen visuellen Szenen in Echtzeit wiederzugeben. Wegen ihrer Größe und Komplexität sind Vollbildsimulatoren, die hochauflösende optische Systeme umfassen, typischerweise in einer besonderen Einrichtung untergebracht, und die Benutzer sind gezwungen, für Training und Übung zu der Einrichtung zu reisen. Eine solche dreidimensionale Trainingsstation wird in der unter der Nummer 2 256 568 veröffentlichten UK-Patentanmeldung gelehrt, die ein Simulatorsystem für Fahrzeuge lehrt, die ein Fahrzeugcockpit 12 umfassen, das durch den Benutzer zu betätigende Fahrzeugsteuermittel und mindestens eine Fensteröffnung 16, 17, 18, einen Sichtschirm 165, 175, 185, der durch die bzw. jede Öffnung eingesehen werden kann, ein Gerät für digitale Videoeffekte zur Manipulation mindestens eines Satzes von Hintergrundvideodaten für die Bildung mindestens einer Steuersequenz von bewegten Videobildern für die Anzeige an einem entsprechenden Sichtschirm aufweist. Sich bewegende Videohintergrundbilder werden dadurch generiert, dass verschiedene Manipulationen an sukzessiven Bildtimings an den Hintergrundvideodaten vorgenommen werden.Many applications involving a full-frame simulator require a high-resolution optical system. These optical systems typically include a three-dimensional immersive environment for the operator (s). Three-dimensional immersive environments are known to significantly improve the effectiveness of the simulator. The degree of realism provided by a high resolution optical system is now quite advanced. The level of detail provided by such optical systems requires large visual databases that must be synchronized with the full-screen simulator to render the three-dimensional visual scenes in real time. Because of their size and complexity, full-screen simulators comprising high-resolution optical systems are typically housed in a dedicated device and users are forced to travel to the device for training and practice. Such a three-dimensional training station is taught in the UK patent application published under number 2 256 568, which teaches a vehicle simulator system comprising a vehicle cockpit 12 comprise the user-operable vehicle control means and at least one window opening 16 . 17 . 18 , a viewing screen 165 . 175 . 185 , which can be viewed through the or each aperture, comprises a digital video effects device for manipulating at least one set of background video data to form at least one control sequence of moving video images for display on a corresponding viewing screen. Moving video background images are generated by performing various manipulations on successive image timings on the background video data.

Die Anmeldung beschreibt des Weiteren ein Bildgenerierungssystem, das einen Computergrafik-Modeler für die Herstellung eines Computergrafikbildes einer Vordergrundszene, d.h. also den Innenraum eines Kraftfahrzeuges mit transparentem Teil bzw. transparenten Teilen, beispielsweise die Fahrzeugfenster, umfasst. Ein Gerät für digitale Videoeffekte manipuliert Hintergrundvideodaten zur Bildung einer gesteuerten Sequenz von bewegten Videohintergrundbildern und einen Compositor, der ein Computergrafik-Vordergrundbild in die gesteuerte Sequenz der bewegten Videohintergrundbilder einschleust, um eine Ausgangsbildsequenz zusammen mit dem durch transparente Teile des Vordergrundes sichtbaren Hintergrunds zu bilden.The Application further describes an image generation system that a computer graphics modeler for the creation of a computer graphics image of a foreground scene, i.e. So the interior of a motor vehicle with transparent Part or transparent parts, for example the vehicle windows, includes. A machine for digital Video effects manipulates background video data to form a controlled sequence of moving video wallpapers and one Compositor controlling a computer graphic foreground image in the Inserting sequence of moving video background images to one Output image sequence together with the through transparent parts of the Foreground visible background.

Eine vom Anmelder hergestellte zweidimensionale Vektorbasierte grafische Benutzeroberfläche ermöglicht es einem Benutzer, mit einer Vollbildsimulation zu interagieren, auf die über ein Netzwerk, wie z.B. das Internet, zugegriffen wird. Die Benutzeroberfläche besteht aus "intelligenten" grafischen Objekten, mit denen der Benutzer interagiert. Um einen Kontext für eine spezifische Anwendung bereitzustellen, werden die intelligenten grafischen Objekte auf einem für die Anwendung geeigneten Bitmapped-Image überlagert.A Applicant produced two-dimensional vector-based graphic User interface allows it a user to interact with a full-screen simulation the above a network, such as the internet, is accessed. The user interface exists from "intelligent" graphical objects, with which the user interacts. To create a context for a specific To provide application become the intelligent graphical objects on a for the application overlays appropriate bitmapped image.

Es wurde im Laufe der Zeit erkannt, dass es bei vielen Simulationsanwendungen vorteilhaft ist, dreidimensionale visuelle Echtzeit-Effekte in eine interaktive Benutzeroberfläche zu integrieren. Diese Art von Umfeld ist bei Anwendungen von wesentlicher Bedeutung, bei denen ein Bediener sich mit einer Szene außerhalb des Fensters vertraut machen und visuelle (außerhalb des Fensters liegende) Informationen interpretieren muss, um zu entscheiden, wie er in angemessener Weise auf eine Situation reagiert. Simulatoren, die unterschiedliche Grade von visueller und Simulationstreue liefern, sind im Handel verfügbar. Solche Simulatoren ermöglichen es Benutzern, mit einer dreidimensionalen visuellen Umgebung unter Verwendung einer Schnittstelle, wie z.B. eines Joysticks oder einer Tastatur, zu interagieren. Beispiele sind Microsoft Flight Simulator 2000^® und AirBook^TM von Simigon. Ein Nachteil solcher Systeme ist, dass die Benutzeroberflächen nicht sehr intuitiv und nicht direkt mit sämtlichen simulierten Systemen verbunden sind.It has been recognized over time that it is advantageous in many simulation applications to integrate three-dimensional real-time visual effects into an interactive user interface. This type of environment is essential in applications where an operator must familiarize himself with a scene outside the window and interpret visual (off-window) information to decide how to respond appropriately to a situation. Simulators that provide varying degrees of visual and simulation fidelity are available commercially. Such simulators allow users to use a three-dimensional visual environment using an interface such as a joystick or keyboard. Examples are Microsoft Flight Simulator 2000 ^® and ^TM AirBook of Simigon. A disadvantage of such systems is that the user interfaces are not very intuitive and are not directly connected to all the simulated systems.

Die oben erwähnte zweidimensionale Vektor-basierte grafische Benutzeroberfläche des Anmelders ermöglicht es einem Benutzer, integrierte Verfahren zu lernen bzw. zu üben und Systemkenntnis zu erwerben, indem er mit den intelligenten Grafiken in der zweidimensionalen Benutzeroberfläche Benutzeroberfläche interagiert. Die Benutzereingaben an die Benutzeroberfläche werden einem Vollbildsimulationsserver zugeführt, der auf die Eingaben in realistischer Weise reagiert und Simulationszustandsdaten zurückübermittelt, die wiederum dazu verwendet werden, das Erscheinungsbild der zweidimensionalen Benutzeroberfläche zu aktualisieren. Während dies dem Benutzer ermöglicht, integrierte Prozeduren zu erlernen oder zu üben und Systemkenntnisse zu erwerben, liefert es jedoch nicht die dreidimensionale visuelle Umgebung, die für bestimmte Trainings- und Übungsanwendungen erforderlich sind. Beispielsweise erfordern in der Luftfahrtindustrie das Sichvertrautmachen mit Flugplätzen, das Sichvertrautmachen mit Wetterzuständen mit geringer Sicht beim Fliegen, Anflüge an Flugplätze, Manöver auf Rollbahnen und Ähnliches eine dreidimensionale visuelle Umgebung.The mentioned above two-dimensional vector-based graphical user interface of the Applicant allows It allows a user to learn and practice integrated procedures Acquire system knowledge by communicating with the smart graphics interacts in the two-dimensional user interface user interface. User input to the user interface becomes a full-screen simulation server supplied which reacts to the inputs in a realistic manner and simulation state data retransmitted, which in turn are used to make the appearance of the two-dimensional user interface to update. While this allows the user to learn or practice integrated procedures and system knowledge However, it does not provide the three-dimensional visual Environment that for certain training and exercise applications required are. For example, in the aviation industry require trusting with airfields, trusting oneself with weather conditions with low visibility when flying, approaches to airfields, maneuvers on Runways and the like a three-dimensional visual environment.

Es besteht demzufolge Bedarf an einem System, das eine dreidimensionale Umgebungsvisualisierung in eine voll funktionsfähige grafische Benutzeroberfläche integriert, um kostengünstiges Erlernen und Üben integrierter Prozeduren und den Betrieb eines komplexen Systems zu ermöglichen.It There is therefore a need for a system that has a three-dimensional Environment visualization integrated into a fully functional graphical user interface, at low cost Learn and practice integrated procedures and the operation of a complex system to enable.

INHALT DER ERFINDUNGCONTENT OF INVENTION

Es ist daher eine Aufgabe der Erfindung, ein System bereitzustellen, das dreidimensionale Visualisierung in eine voll funktionsfähige grafische Benutzeroberfläche integriert, um kostengünstiges Erlernen und Üben integrierter Prozeduren und den Betrieb eines komplexen Systems zu ermöglichen.It It is therefore an object of the invention to provide a system the three-dimensional visualization into a fully functional graphical user interface integrated to cost-effective Learn and practice integrated procedures and the operation of a complex system to enable.

Es ist eine weitere Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zum Generieren einer interaktiven grafischen Benutzeroberfläche bereitzustellen, in dem dreidimensionale visuelle Echtzeit-Informationen nahtlos mit interaktiven grafischen Darstellungen von Bedienpulten eines simulierten komplexen Systems verschmolzen werden.It Another object of the invention is a method and an apparatus to provide an interactive graphical user interface, in the three-dimensional real-time visual information seamlessly with interactive graphical representations of control panels of a simulated complex system.

Es ist noch eine weitere Aufgabe der Erfindung, eine dreidimensionale Darstellung von Ansichten aus dem Fenster für einen Bediener eines komplexen Systems bereitzustellen, die durch eine Rückmeldung aus einer Vollbildsimulation des komplexen Systems dynamisch aktualisiert wird.It is yet another object of the invention, a three-dimensional Representation of views from the window for an operator of a complex Systems provide by a response from a full-screen simulation the complex system is dynamically updated.

Eine weitere Aufgabe der Erfindung ist es, ein Visualisierungssystem bereitzustellen, in dem eine zweidimensionale Texturmaske erzeugt wird, die in visuelle Texturdaten übersetzt wird, die für den Benutzer an ein Vollbildpolygon mit null Tiefe auf einem dreidimensionalen, unter Verwendung der visuellen Umgebungsdaten generierten Bild übertragen werden.A Another object of the invention is a visualization system in which a two-dimensional texture mask is created which is translated into visual texture data for the user to a full-screen polygon with zero depth on a three-dimensional, image generated using the visual environment data.

Noch eine weitere Aufgabe der Erfindung ist es, ein Visualisierungssystem bereitzustellen, bei dem ein inaktives Anzeigenfenster ein Oberflächenfenster überlagert, das Benutzereingaben in Verbindung mit Bedienpulten akzeptiert, die visuell durch Grafiken in dem interaktiven Fenster dargestellt werden.Yet Another object of the invention is to provide a visualization system in which an inactive display window overlays a surface window, accepts user input in conjunction with control panels, visually represented by graphics in the interactive window become.

ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION

Die Erfindung liefert daher ein System zum Generieren einer hochauflösenden optischen Anzeige, die eine visuelle immersive 3D-Umgebung für einen Benutzer des mit der Vollbildsimulation eines komplexen Systems koordinierten, unter allen rele vanten sowohl normalen wie auch anormalen Bedingungen im Wesentlichen in identischer Weise wie das reale System reagierenden Systems bereitstellt, wobei das System eine Verarbeitung von intelligenten Grafiken umfasst, die geeignet ist, ein zweidimensionales Bild von angezeigten Bedienpulten des simulierten komplexen Systems zu erzeugen, wobei das Bild eingebettete intelligente Grafiken aufweist, um es dem Benutzer zu ermöglichen, in Verbindung mit den angezeigten Bedienpulten virtuelle Steuerhebel zu bedienen, und ferner eine Verarbeitung von dreidimensionalen Visualisierungen zum Generieren der hochauflösenden optischen Anzeige unter Verwendung von visuellen Umweltdaten umfasst, GEKENNZEICHNET durch die Verarbeitung von dreidimensionalen Visualisierungen, die geeignet ist, die hochauflösende optische Anzeige durch Überlagerung einer zweidimensionalen Texturmaske zu erzeugen, die in optische Texturdaten übersetzt wird, die für den Benutzer auf ein Vollbildpolygon mit null Tiefe auf einem dreidimensionalen, unter Verwendung der visuellen Umgebungsdaten generierten Bild übertragen werden.The The invention therefore provides a system for generating a high resolution optical Display a visual immersive 3D environment for a Users of the full-screen simulation of a complex system coordinated, among all rele vants both normal and abnormal Conditions in much the same way as the real system responsive system, wherein the system is processing includes intelligent graphics that is suitable for a two-dimensional Image of displayed panels of the simulated complex system The image has embedded smart graphics to create to allow the user in conjunction with the displayed control panels virtual control levers to operate, and further processing of three-dimensional Visualizations for generating the high-resolution optical display under Use of visual environmental data includes, CHARACTERIZED by the processing of three-dimensional visualizations that are appropriate is that high-resolution visual display by overlay to produce a two-dimensional texture mask that is in optical Texture data translated will that for the user to a full-screen polygon with zero depth on a three-dimensional, transmit image generated using the visual environment data become.

Die Erfindung stellt des Weiteren ein Verfahren zur Generierung von Training und Übung an einem simulierten komplexen System für Personal bereit, das das komplexe System zu betreiben oder zu warten hat, welches Verfahren folgende Schritte umfasst: Erzeugen eines zweidimensionalen Bildes von angezeigten Bedienpulten des simulierten komplexen Systems, wobei das zweidimensionale Bild eingebettete intelligente Grafiken aufweist, um es dem Personal zu ermöglichen, mit den angezeigten Bedienpulten verbundene virtuelle Steuerhebel zu bedienen, Erzeugen einer hochauflösendenden optischen Anzeige, welche einem Benutzer des Systems unter Verwendung von visuellen Umgebungsdaten und einer aus dem zweidimensionalen Bild abgeleiteten Texturmaske eine immersive dreidimensionale visuelle Umgebung bereitstellt, GEKENNZEICHNET durch das Erzeugen der hochauflösenden optischen Anzeige durch Überlagerung einer zweidimensionalen Texturmaske, die in optische Texturdaten übersetzt wird, welche für den Benutzer auf ein Vollbildpolygon mit null Tiefe auf einem dreidimensionalen, unter Verwendung der visuellen Umgebungsdaten generierten Bild übertragen werden.The invention further provides a method of generating training and practice on a simulated complex system for personnel that has to operate or maintain the complex system, which method comprises the steps of: generating a two-dimensional image of displayed panels of the simulated complex system wherein the two-dimensional image is a having embedded intelligent graphics to allow personnel to operate virtual joysticks associated with the displayed consoles; generating a high definition visual display that provides an immersive three-dimensional visual user with the environment using a visual environment data and a texture mask derived from the two-dimensional image Environment, characterized by generating the high resolution visual display by superimposing a two-dimensional texture mask translated into optical texture data transmitted to the user on a zero-depth full-screen polygon on a three-dimensional image generated using the environmental visual data.

Die Erfindung stellt daher ein kostengünstiges Trainingssystem bereit, das realistische visuelle Simulationen für Verfahrens- und Bedienertraining an einem simulierten komplexen System generiert. Die Verarbeitung von intelligenten Grafiken übersetzt Benutzereingaben in Datenwerte, die an eine Vollbildsimulation weitergegeben werden. Die Vollbildsimulation liefert Rückmeldung an Prozesse für visuelle Simulation, die die Anzeige von Bedienpulten des komplexen Systems und des Weiteren Ansichten aus dem Fenster einer simulierten Umgebung aktualisieren.The Invention thus provides a cost effective training system the realistic visual simulations for process and operator training generated on a simulated complex system. The processing translated by intelligent graphics User input into data values passed to a full screen simulation become. The full screen simulation provides feedback to processes for visual Simulation showing the display of control panels of the complex system and further views from the window of a simulated environment To update.

KURZE BESCHREIBUNG DER ZEICHNUNGENSHORT DESCRIPTION THE DRAWINGS

Weitere Merkmale und Vorteile der vorliegenden Erfindung gehen aus der nachfolgenden Beschreibung hervor, in der mit Bezug auf die beigefügten Zeichnungen Ausführungsbeispiele erläutert werden. In den Zeichnungen zeigen:Further Features and advantages of the present invention will become apparent from the following Description in which, with reference to the accompanying drawings embodiments explained become. In the drawings show:

1 eine schematische Darstellung einer Übersicht über eine Ausführungsform eines Systems gemäß der Erfindung; 1 a schematic representation of an overview of an embodiment of a system according to the invention;

2 eine schematische Darstellung einer Ausführungsform einer Client-/Server-Architektur zur Umsetzung des in 1 gezeigten Systems; 2 a schematic representation of an embodiment of a client / server architecture for implementing the in 1 shown system;

3 eine schematische Darstellung einer Übersicht über eine Umsetzung einer Benutzeroberfläche gemäß einer Ausführungsform der Erfindung; 3 a schematic representation of an overview of an implementation of a user interface according to an embodiment of the invention;

4 eine schematische Darstellung, die eine detailliertere Ansicht der in 3 gezeigten Benutzeroberfläche zeigt; 4 a schematic diagram showing a more detailed view of the in 3 shown user interface shows;

5 ein Flussdiagramm mit der Darstellung der für das Antreiben des in 3 gezeigten zweidimensionalen Grafiksystems verwendeten prinzipiellen Logik; 5 a flow chart with the representation of the for driving the in 3 shown two-dimensional graphics system used basic logic;

6 ein Flussdiagramm mit der Darstellung der für das Antreiben des in 3 gezeigten dreidimensionalen visuellen Systems verwendeten prinzipiellen Logik; 6 a flow chart with the representation of the for driving the in 3 shown three-dimensional visual system used basic logic;

7 ein Flussdiagramm mit der Darstellung der prinzipiellen Logik, die für das Schaffen oder Aktualisieren einer Texturmaske verwendet wird, welche dafür verwendet wird, die in 3 und 4 gezeigte Benutzeroberfläche anzuzeigen; 7 a flowchart showing the principal logic used for creating or updating a texture mask used for in the 3 and 4 display the user interface shown;

8 eine schematische Darstellung einer weiteren Ausführungsform einer Client-/Server-Architektur, die für die Implementierung des erfindungsgemäßen Systems verwendet werden kann. 8th a schematic representation of another embodiment of a client / server architecture that can be used for the implementation of the system according to the invention.

Es sei angemerkt, dass in den gesamten beigefügten Zeichnungen analoge Merkmale durch jeweils gleiche Bezugszeichen gekennzeichnet sind.It It should be noted that throughout the accompanying drawings, analogous features are each identified by the same reference numerals.

AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMDETAILED DESCRIPTION OF THE PREFERRED EMBODIMENT

Die vorliegende Erfindung ermöglicht es, eine dreidimensionale visuelle Umgebung in eine interaktive grafische Benutzeroberfläche zu integrieren, um eine Vielzahl von Anwendungen der Simulation komplexer Systeme zu unterstützen. Die genannten Anwendungen verwenden Vollbildsimulation mit hochauflösenden visuellen Systemen, um selbstorganisiertes Lernen und Üben an simulierten komplexen Systemen zu ermöglichen. Die Integration von dem persönlichen Arbeitstempo angepasstem Lernmaterial für direkten oder Fernunterricht wird ebenfalls ermöglicht.The present invention enables it, a three-dimensional visual environment in an interactive Graphical user interface to integrate a variety of simulation applications to support complex systems. The applications mentioned use full-screen simulation with high-resolution visual Systems to self-organized learning and practicing on simulated complex To enable systems. The integration of the personal Work pace of adapted learning material for direct or distance learning is also possible.

Der Einbau einer dreidimensionalen visuellen Umgebung in eine interaktive Benutzeroberfläche wirft signifikante Schwierigkeiten auf. Zunächst ist es wegen der Größe von Datenbanken für hochauflösende visuelle Systeme derzeit erforderlich, die visuelle Datenbank vor Ort in einem Kundencomputer vorzuhalten, der die grafische Benutzeroberfläche anzeigt. Informationen für hochauflösende visuelle Systeme können unter Verwendung aktuell verfügbarer kommerzieller Technologie vernünftigerweise nicht über ein Netzwerk in Echtzeit weitergeleitet werden. Darüber hinaus ist extensive Hochgeschwindigkeitsverarbeitung erforderlich, um solche Datenbanken in Echtzeit zu rendern. Dies bedeutet eine signifikante Verarbeitungslast für den Kundencomputer und erfordert eine Grafikbeschleunigungskarte. Demzufolge sollte die Vollbildsimulation, die ebenfalls extensive Hochgeschwindigkeitsverarbeitung erfordert, idealerweise auf einen anderen Prozessor vor Ort oder an anderer Stelle, beispielsweise auf einem Simulationsserver, gefahren werden. Dies führt zu einem dritten Problem: Wie ist das dreidimensionale Rendering mit der Simulation zu synchronisieren, während die Simulation entfernt abläuft.Of the Integration of a three-dimensional visual environment into an interactive one User interface throws significant difficulties. First, it is because of the size of databases for high-resolution visual Systems currently required to have the visual database in place a customer computer that displays the graphical user interface. information for high-resolution visual systems can using currently available commercial technology does not reasonably have one Network be forwarded in real time. In addition, extensive high-speed processing required to render such databases in real-time. This means a significant processing load for the customer computer and requires a graphics acceleration card. Consequently, the full-screen simulation, which also requires extensive high speed processing, ideally to another processor on site or another Place, for example on a simulation server. this leads to a third problem: how is the three-dimensional rendering with synchronize the simulation while the simulation is removed expires.

Wie nachstehend detailliert erörtert werden wird, können diese Probleme dadurch überwunden werden, dass eine lokale Kopie der Simulation, der visuellen Datenbank und ein lokales System für dreidimensionale Visualisierungen vorgehalten werden. Optional kann die Verarbeitungslast des Kundencomputers dadurch gemindert werden, dass veranlasst wird, dass der Simulator auf einem Remote-Server arbeitet. Um die Verarbeitungslast des Kundencomputers weiter zu steuern, wird die Auffrischungsrate der dreidimensionalen Umgebung angepasst. Einige der anspruchsvollen visuellen Effekte können auch ausgeschaltet werden, falls dies erforderlich ist, und einige nicht kritische Details in der visuellen Datenbank können entfernt werden. Es sollte jedoch verstanden werden, dass diese Optimierungstechniken lediglich in den Fällen erforderlich sind, bei denen der Kundencomputer keine adäquate Verarbeitungsgeschwindigkeit bietet, um die vollen dreidimensionalen Bilder wiederzugeben zu können.As discussed in detail below will be able to these problems are overcome by that a local copy of the simulation, the visual database and a local system for three-dimensional visualizations are kept. Optional can the processing load of the customer computer is thereby reduced that causes the simulator to be on a remote server is working. To further increase the processing load of the customer's computer Control, the refresh rate is the three-dimensional environment customized. Some of the sophisticated visual effects can as well be turned off, if necessary, and some not critical details in the visual database can be removed. It should however, be understood that these optimization techniques only in the cases are required, where the customer computer is not an adequate processing speed offers to reproduce the full three-dimensional images can.

1 ist ein schematisches Diagramm einer Übersicht über ein System 20 nach der Erfindung. Das System 20 umfasst einen oder mehrere Kundencomputer 22, die mit einem Netzwerk 24, wie z.B. einem Local Area Network (LAN), einem Metropolitan Area Network (MAN), einem Wide Area Network (WAN) oder einem offenen Netzwerk, wie z.B. einem Intranet, oder dem Internet, verbunden sind. Jeder der Kundencomputer 22 unterstützt eine lokale Datenbank 26 mit Daten, die für die Wiedergabe hochauflösender dreidimensionaler visueller Effekte in einer dem Fachmann bekannten Weise genutzt werden. Die Datenbank mit hochauflösenden dreidimensionalen visuellen Effekten kann dem Kundencomputer in einer Vielzahl von Formen zugeführt werden. Beispielsweise kann der Inhalt der Datenbank aus einer Remote-Datenbank 30 von einem Serviceprovider unter Verwendung des elektronischen Handels oder aufgrund einer anderen vertraglichen Vereinbarung heruntergeladen werden, sie kann auf einer CD oder einem Flash-Memory gekauft werden, oder sie kann über einen beliebigen anderen Kanal auf einem computerlesbaren Medium geliefert werden. Um die Erfindung umzusetzen, wird der Kundencomputer über das Netzwerk 24 mit einem Simulationsserver 28 verbunden, der ein beliebiges mehrerer komplexer Systeme, wie beispielsweise ein Fluggerät, simulieren kann. 1 is a schematic diagram of an overview of a system 20 according to the invention. The system 20 includes one or more customer computers 22 that with a network 24 , such as a Local Area Network (LAN), a Metropolitan Area Network (MAN), a Wide Area Network (WAN) or an open network, such as an intranet, or the Internet, are connected. Each of the customer computers 22 supports a local database 26 with data used for the reproduction of high-resolution three-dimensional visual effects in a manner known to those skilled in the art. The database of high-resolution three-dimensional visual effects can be supplied to the client computer in a variety of forms. For example, the contents of the database may come from a remote database 30 may be downloaded from a service provider using e-commerce or another contractual agreement, may be purchased on a CD or flash memory, or may be delivered over any other channel on a computer-readable medium. To implement the invention, the customer computer becomes over the network 24 with a simulation server 28 which can simulate any one of several complex systems, such as an aircraft.

Das System 20 ist besonders für das Fernstudium oder für das Einüben von Fähigkeiten geeignet. Fernstudium wird durch die Verwendung von dem persönlichen Arbeitstempo angepasstem Lernmaterial erleichtert. Demzufolge wird der Kundencomputer analog optional mit Lerninformationen 32 versehen, wie dies nachstehend detaillierter unter Bezugnahme auf 8 erläu tert wird. Die Lerninformationen 32 können zusammen mit entsprechenden intelligenten Grafikobjekten 23 und für die Lerninformationen relevanten dreidimensionalen Datenbanken von Serviceprovider-Datenbanken 30, 33, 34 heruntergeladen oder aber über einen beliebigen anderen Kanal erhalten werden, wie dies vorstehend unter Bezugnahme auf die Datenbank 26 erläutert wurde. Fernstudium kann weiter durch die Verwendung eines Lernmanagementsystems (LMS) 38 verbessert werden. Das Lernmanagementsystem 38 verzeichnet, verfolgt, validiert und evaluiert Lernende unter Verwendung der Validierung von Lernenden und Kursaufzeichnungen 40.The system 20 is particularly suitable for distance learning or for practicing skills. Distance learning is facilitated by the use of learning material adapted to the personal workload. As a result, the customer computer becomes analogue optional with learning information 32 provided, as described in more detail below with reference to 8th is explained tert. The learning information 32 can work together with corresponding smart graphic objects 23 and for the learning information relevant three-dimensional databases of service provider databases 30 . 33 . 34 downloaded or obtained via any other channel, as described above with reference to the database 26 was explained. Distance learning can continue through the use of a learning management system (LMS) 38 be improved. The learning management system 38 Records, tracks, validates and evaluates learners using learner validation and course recordings 40 ,

2 ist ein schematisches Diagramm einer Ausführungsform einer Client-/Server-Architektur zur Umsetzung des in 1 gezeigten Systems. Wie vorstehend erläutert, ist der Kundencomputer 22 über das Netzwerk 24 unter Verwendung eines beliebigen geeigneten Kommunikationsprotokolls mit dem Simulationsserver 28 verbunden. Der Kundencomputer bearbeitet die Verarbeitung der Grafiken unter Verwendung von Programmen für die Verarbeitung von intelligenten Grafiken (Smart Graphics Processing – SGP) 42, die auf zweidimensionale Grafikinformationen aus einer Datenbank 52 zurückgreifen, und von Programmen für die Verarbeitung von dreidimensionalen Visualisierungen (three-dimensional visuals – 3DV) 44, die auf visuelle Informationen aus der Datenbank 26 Zugriff nehmen. Die SGP 42 generiert ein zweidimensionales Bild, das intelligente Grafiken enthält, die virtuelle Steuerelemente darstellen, die durch einen Benutzer des Systems 20 in an sich bekannter Weise manipuliert werden können. Die 3DV-Verarbeitungsprogramme erzeugen dreidimensionale Visualisierungen eines das simulierte komplexe System umgebenden Umfelds, was ebenfalls an sich gut bekannt ist. Die SGP 42 und die 3DV 44 sind durch eine visuelle Verschmelzungsmanagement-Funktion (VMM) (46) vernetzt, wie dies nachstehend detaillierter erläutert wird. 2 is a schematic diagram of one embodiment of a client / server architecture for implementing the in 1 shown system. As explained above, the customer computer is 22 over the network 24 using any suitable communication protocol with the simulation server 28 connected. The customer computer processes the processing of the graphics using programs for the processing of intelligent graphics (Smart Graphics Processing - SGP) 42 based on two-dimensional graphics information from a database 52 and programs for processing three-dimensional visuals (3DV) 44 referring to visual information from the database 26 Access. The SGP 42 Generates a two-dimensional image that contains intelligent graphics that represent virtual controls by a user of the system 20 can be manipulated in a conventional manner. The 3DV processing programs create three-dimensional visualizations of an environment surrounding the simulated complex system, which is also well known in the art. The SGP 42 and the 3DV 44 are represented by a visual merge management function (VMM) ( 46 ), as will be explained in more detail below.

Der Simulationsserver 28 unterstützt eine Simulationsinstanz 48 einer Vollbildsimulation eines komplexen Systems, die Datenelemente mit dem Kundencomputer 22 über eine Datensteuer- und Datenbereitstellungsfunktion 50 austauscht. Obwohl die Verarbeitungslast zwischen dem Kundencomputer 22 und dem Servercomputer 28 aufgeteilt wird, besteht nach wie vor ein signifikantes Hindernis, das zu überwinden ist. Um die hochauflösende optische Anzeige zu integrieren, muss dem Benutzer ein einheitliches Bild, das sowohl die interaktiven intelligenten Grafiken als auch die dreidimensionalen Visualisierungen enthält, präsentiert werden.The simulation server 28 supports a simulation instance 48 a full-screen simulation of a complex system, the data elements with the customer computer 22 via a data control and data delivery function 50 exchanges. Although the processing load between the customer computer 22 and the server computer 28 is still a significant obstacle to overcome. In order to integrate the high-resolution visual display, the user must be presented with a consistent image that includes both the interactive intelligent graphics and the three-dimensional visualizations.

Wie in 2 gezeigt, interagieren sowohl die SGP 42 als auch die 3DV 44 mit der Simulationsinstanz 48, um sicherzustellen, dass Eingaben des Benutzers in die intelligenten Grafiken an den Simulator weitergeleitet werden und dass die Simulatorzustände optische Anzeigen aktualisieren, die sowohl von den Programmen der SGP 42 als auch der 3DV 44 generiert werden. Der Benutzer betrachtet beide, interagiert jedoch nur mit den intelligenten Grafiken, die in den gezeigten Darstellungen von Bedienpulten und Anzeigen Schalter, Instrumente, Hebel und sonstige Steuerschnittstellen darstellen. Bei der zweidimensionalen grafischen Benutzeroberfläche wird eine Bitmap verwendet, um den Kontext für Vektor-basierte intelligente Grafiken bereitzustellen. Um eine Ansicht zu schaffen, werden beide grafischen Umgebungen in einer solchen Weise überlagert, die es ermöglicht, dass ein entsprechender Teil jeder Umgebung dem Benutzer präsentiert wird (d.h., die simulierte Umgebung erscheint durch die Fenster des simulierten komplexen Systems, und intelligente Grafiken erscheinen auf der Bitmap der simulierten Bedienpulte und Anzeigen). Dies wird durch die Vielzahl von Benutzersteuerelementen verkompliziert, die von der SGP 42 angezeigt werden müssen. Darüber hinaus kann der Benutzer ein Fenster in der Größe verändern, schwenken, scrollen, zoomen oder Änderungen am Darstellungsfeld vornehmen. Wenn der Benutzer dies tut, wird lediglich der entsprechende Teil der intelligenten Grafiken von der grafischen Benutzeroberfläche angezeigt. Dies erfordert Veränderungen in Echtzeit der Speicherstelle und der Anzahl der dreidimensionalen Visualisierungen, die angezeigt werden. Um dies zu erreichen, wurde die VMM-Funktion 46 geschaffen. Die Rolle der VMM-Funktion 46 ist es, die Darstellung sowohl der zweidimensionalen als auch der dreidimensionalen Informationen lokal so zu synchronisieren bzw. zu koordinieren, dass dem Benutzer eine einheitliche koordinierte Ansicht präsentiert wird.As in 2 shown, both the SGP interact 42 as well as the 3DV 44 with the simulation instance 48 to ensure that user inputs are passed into the smart graphics to the simulator and that the simulator states update visual indications that are from both the programs of the SGP 42 as well as the 3DV 44 to be generated. The user views both, but only interacts with the intelligent graphics, which in the illustrated displays of control panels and displays represent switches, instruments, levers and other control interfaces. The two-dimensional graphical user interface uses a bitmap to provide context for vector-based smart graphics. To provide a view, both graphical environments are superimposed in such a way that allows a corresponding portion of each environment to be presented to the user (ie, the simulated environment appears through the windows of the simulated complex system and intelligent graphics appear the bitmap of the simulated control panels and displays). This is complicated by the large number of user controls used by the SGP 42 must be displayed. In addition, the user can resize, pan, scroll, zoom, or make changes to the viewport. When the user does so, only the corresponding part of the smart graphics is displayed by the graphical user interface. This requires real-time changes to the location and the number of three-dimensional visualizations that are displayed. To accomplish this, the VMM function became available 46 created. The role of the VMM feature 46 is to locally synchronize the representation of both the two-dimensional and the three-dimensional information so that a uniform coordinated view is presented to the user.

Um einen Zustand der Vollbildsimulationsinstanz 48 richtig wiederzugeben, muss der Kundencomputer 22 ständig Daten senden, die durch Interaktion des Benutzers mit der SGP 42 generiert wurden, sowie Informationen, auf die durch die 3DV 44 in der Datenbank 26 Zugriff genommen wurde. Der Kundencomputer 22 muss analog Daten von der Simulationsinstanz 48 erhalten und diese Informationen dazu verwenden, die durch die SGP 42 und die 3DV 44 jeweils generierten Anzeigen zu aktualisieren. Auf der Seite des Kundencomputers 22 wird der Informationsaustausch mit dem Simulationsserver 28 durch eine Datensteuerung und Datenbereitstellung 60 bearbeitet, die Datenkommunikationen mit einer entsprechenden Datensteuerungs- und Datenbereitstellungsfunktion 50 im Server 28 koordiniert. Die Datensteuerung wählt eine Datenbereitstellungsfunktion aus, um Datenelementsubskriptionen zu verfolgen, wie dies nachstehend unter Bezugnahme auf 5 erläutert wird, die von der SGP 42 verwendet wird, um in einem von den 3DV 44 verwendeten Speicher 56 Daten aufzuzeichnen und daraus Daten herauszulesen.To a state of the frame simulation instance 48 properly reproduce, the customer computer must 22 constantly send data by user interaction with the SGP 42 were generated, as well as information to which by the 3DV 44 in the database 26 Access was taken. The customer computer 22 must analog data from the simulation instance 48 receive and use this information through the SGP 42 and the 3DV 44 respectively generated ads. On the side of the customer computer 22 becomes the information exchange with the simulation server 28 through data control and data delivery 60 processes the data communications with a corresponding data control and data delivery function 50 in the server 28 coordinated. The data controller selects a data provisioning function to track data element subscriptions, as described below with reference to FIG 5 is explained by the SGP 42 used to be in one of the 3DV 44 used memory 56 Record data and read data from it.

3 stellt einen Überblick über die erfindungsgemäße hochauflösende optische Anzeige bereit. Ein System für zweidimensionale Grafiken 70 umfasst eine Anwendungsprogrammschnittstelle (Application Program Interface – API) 72, über die die Datensteuerungs- und Datenbereitstellungsfunktion 60 (2) wie oben erläutert Simulations-Eingabe-/Ausgabe-Daten bewegt. Das VMM 46 verwendet die API 72 auch zum Zugriff auf Bitmap-Daten und Fenstergrößeninformationen, die dazu verwendet werden, das verschmolzene optische Bild 90 zu steuern, wie dies nachstehend detaillierter erläutert wird. Analog ist ein System für dreidimensionale Visualisierung 80 vorhanden, das eine API 82 aufweist, die von der Datensteuerung und Datenbereitstellung 60 und dem VMM 46 verwendet wird. Wie nachstehend detaillierter zu erläutern sein wird, erzeugt das System für zweidimensionale Grafiken 70 ein zweidimensionales Benutzeroberflächenfenster 92, das entsprechend ausgeblendet wird, da es immer hinter dem Anzeigefenster positioniert ist. Das System 70 für zweidimensionale Grafiken generiert auch ein Bitmap-Bild, das in zweckmäßiger Weise in einem Offscreenbuffer 110 (siehe 4) abgespeichert ist. Die Funktion des Bitmap-Bildes und seine damit verbundenen Veränderungen sind wichtig. Die Bitmap wird als eine Maske verwendet, um lediglich die zweckdienlichen Teile der dreidimensionalen Visualisierungen zu zeigen, die von den Systemen für dreidimensionale Visualisierung 80 generiert werden. Der Benutzer sieht lediglich die dreidimensionalen Visualisierungen, die nicht durch die in dem Offscreenbuffer 110 abgespeicherte Bitmap kaschiert werden. Wie nachstehend unter Bezugnahme auf 7 detaillierter erklärt wird, kann eine Bitmap als eine undurchsichtige, aus Farbattributen (rot, grün und blau) bestehende Maske gedacht werden. Durch das Definieren eines einheitlichen Chromakey (einer einzigen Farbe) kann die Bitmapmaske in an sich bekannter Weise so modifiziert werden, dass Flächen, die transparent sein müssen, das Chromakey-Farbattribut zugeteilt erhalten. Diese modifizierte Bitmap wird dann in eine Textur konvertiert, die von dem Texturmaskenassembler 116 in dem dreidimensionalen optischen System 80 verwendet wird, um eine Texturmaske zu schaffen, wie nachstehend unter Bezugnahme auf 4 erklärt wird. 3 provides an overview of the high-resolution optical display according to the invention. A system for two-dimensional graphics 70 includes an application program interface (API) 72 via which the data control and data delivery function 60 ( 2 ) as described above moves simulation input / output data. The VMM 46 uses the API 72 also for accessing bitmap data and window size information used to fuse the merged optical image 90 to control, as explained in more detail below. Analog is a system for three-dimensional visualization 80 present, that is an API 82 that includes data control and data delivery 60 and the VMM 46 is used. As will be explained in more detail below, the system generates two-dimensional graphics 70 a two-dimensional user interface window 92 , which is hidden accordingly, since it is always positioned behind the display window. The system 70 for two-dimensional graphics also generates a bitmap image, which is useful in an offscreen buffer 110 (please refer 4 ) is stored. The function of the bitmap image and its associated changes are important. The bitmap is used as a mask to show only the pertinent parts of the three-dimensional visualizations used by the three-dimensional visualization systems 80 to be generated. The user sees only the three-dimensional visualizations, not those in the offscreen buffer 110 stored bitmap be laminated. As explained below with reference to 7 in more detail, a bitmap may be thought of as an opaque mask consisting of color attributes (red, green, and blue). By defining a uniform chromakey (a single color), the bitmap mask can be modified in a manner known per se so that surfaces which must be transparent receive the chroma key color attribute. This modified bitmap is then converted to a texture that is used by the texture mask assembler 116 in the three-dimensional optical system 80 is used to provide a texture mask as described below with reference to FIG 4 is explained.

Die Texturmaske wird in visuelle Texturdaten übersetzt, die für den Benutzer über ein Vollbildpolygon mit null Tiefe übertragen werden. Entsprechend sieht der Benutzer die dreidimensionalen Visualisierungen durch den(die) transparenten Teil(e) der Maske. Da der Rest des Bildes 90 die zweidimensionale Grafik ist, die von der Bitmap abgeleitet wurde, ist die Wirkung eine Integration der vorher getrennten zweidimensionalen und dreidimensionalen Bilder, die beide jeweils entsprechend mit der Simulationsinstanz 48 synchronisiert werden.The texture mask is translated into visual texture data that is transmitted to the user via a zero-depth full-screen polygon. Accordingly, the user sees the three-dimensional visualizations through the transparent part (s) of the mask. Because the rest of the picture 90 For example, if the two-dimensional graph derived from the bitmap is the effect of integrating the previously separated two-dimensional and three-dimensional images, each corresponding to the simulation instance 48 be synchronized.

4 ist eine detailliertere Darstellung der in 3 gezeigten Bildverarbeitungsfunktionen des Kundencomputers 22. Die SGP 42 generiert ein Bitmap-Bild, das in dem Offscreenbuffer 110 abgespeichert wird. Wie nachstehend unter Bezugnahme auf 5 erläutert wird, muss der Offscreenbuffer 110 jedes Mal aktualisiert werden, wenn eines von drei Ereignissen eintritt. Und zwar, wenn der Benutzer mit den intelligenten Grafiken interagiert, um einen Zustand einer virtuellen Steuerung zu verändern, die von dem Anzeigefenster 100 gezeigt wird, der Benutzer eine Zoom-, Schwenk-, Scroll- oder Größenveränderungsoperation am Anzeigefenster 100 ausführt oder von der Simulationsinstanz 48 eine Eingabe erhalten wird, die erfordert, dass ein angezeigtes Bedienpult geändert wird. Wenn ein beliebiges dieser Ereignisse eintritt, muss die für das Generieren der Texturmaske verwendete Bitmap geändert werden. 4 is a more detailed account of in 3 shown image processing functions of the customer computer 22 , The SGP 42 generates a bitmap image in the offscreen buffer 110 is stored. As explained below with reference to 5 The offscreen buffer needs to be explained 110 updated every time one of three events occurs. That is, when the user interacts with the smart graphics to change a state of a virtual control that is from the display window 100 The user is shown a zoom, pan, scroll or resize operation on the display window 100 or from the simulation instance 48 an input is required which requires a displayed control panel to be changed. If any of these events occur, the bitmap used to generate the texture mask must be changed.

Jedes Mal, wenn die SGP 42 den Offscreenbuffer 110 ändert, der die Bitmap speichert, benachrichtigt die SGP 42 demzufolge das VMM 46 über Veränderungen des Darstellungsfeldes und Aktualisierungen des Offscreenbuffers. Demzufolge sendet das VMM 46 den Befehl an die SGP, den Offscreenbuffer auf die gemeinsame im Speicher enthaltene Grafikdatenstruktur (Memory Device Context) zu kopieren. Die VMM-Funktion 46 nimmt dann die erforderliche Koordinierung mit dem System für dreidimen sionale Visualisierungen 80 vor, um entsprechende Änderungen im hochauflösenden optischen Anzeigefenster 90 zu bewirken. Bei dieser Ausführungsform übermittelt die VMM-Funktion 46 die neue Bitmap an den Texturmaskenassembler 116, der die Bitmap in visuelle Texturdaten umwandelt. Der Texturmaskenassembler leitet anschließend die visuellen Texturdaten an einen dreidimensionalen Wiedergabeprozess 114 weiter, der sie dazu verwendet, das hochauflösende optische Anzeigefenster 90 zu generieren. Des Weiteren werden die Fensterabmessungen und das Sichtfeld von dem VMM 46 über das optische 3D-System API (3) an das optische System weitergeleitet.Every time the SGP 42 the offscreen buffer 110 that stores the bitmap notifies the SGP 42 hence the VMM 46 about changes to the viewport and offscreen buffer updates. As a result, the VMM sends 46 the command to the SGP to copy the offscreen buffer to the common memory data context contained in the memory. The VMM feature 46 then takes the necessary coordination with the system for three-dimensional visualizations 80 to make appropriate changes in the high-resolution optical display window 90 to effect. In this embodiment, the VMM function submits 46 the new bitmap to the texture mask assembler 116 , which converts the bitmap into visual texture data. The texture mask assembler then routes the visual texture data to a three-dimensional rendering process 114 Next, they used the high-resolution optical display window 90 to generate. Furthermore, the window dimensions and field of view of the VMM 46 via the optical 3D system API ( 3 ) forwarded to the optical system.

Der dreidimensionale Wiedergabeprozess erhält ständig Eingaben aus der Simulationsinstanz 48 und liest optische Systeminformationen aus der Datenbank 26 unter Verwendung einer Datenbankschnittstelle 118 aus (2). Der dreidimensionale Wiedergabeprozess 114 konvertiert die optischen Informationen in ein dreidimensionales optisches Bild, das mit der Texturmaske überlappt wird, die durch den Texturmaskenassembler 116 geschaffen wird, um das Anzeigefenster 90 zu generieren. Interpolations- und Extrapolationsalgorithmen (Koppelnavigation) sagen voraus und glätten einige der Daten (wie z.B. Positions- und Lageinformationen), die von der Simulation in einer an sich bekannten Weise erhalten werden. Das Anzeigefenster 90 zeigt die Texturmaske 94 (in diesem Fall ein Cockpit eines Fluggeräts). Transparente Bereiche 96 der Texturmaske 94 zeigen die dreidimensionalen Visualisierungen. Das Anzeigefenster 90 wird in an sich bekannter Weise generiert, wobei die Benutzereingabefunktionen deaktiviert sind. Das Anzeigefenster 90 wird dann über ein Fenster 92 angezeigt, dessen Benutzereingabefunktionen aktiviert sind. Das Fenster 92 wird optional, wie oben erklärt, ausgeblendet. Das funktionale Fenster 92 wird durch die SGP 42 gesteuert, die die an das Anzeigefenster 100 gerichteten Benutzereingabevorgänge akzeptiert. Die SGP koordiniert die von dem Fenster 92 aufgezeichneten Benutzereingabevorgänge, wobei im Offscreenbuffer 110 abgespeicherte intelligente Grafikobjekte in dem Bitmap-Bild eingebettet sind.The three-dimensional rendering process constantly receives input from the simulation instance 48 and reads optical system information from the database 26 using a database interface 118 out ( 2 ). The three-dimensional rendering process 114 converts the optical information into a three-dimensional optical image that is overlapped with the texture mask passed through the texture mask assembler 116 is created to the display window 90 to generate. Interpolation and extrapolation algorithms predict and smooth some of the data (such as position and attitude information) obtained from the simulation in a manner known per se. The display window 90 shows the texture mask 94 (in this case a cockpit of an aircraft). Transparent areas 96 the texture mask 94 show the three-dimensional visualizations. The display window 90 is generated in a manner known per se, with the user input functions being deactivated. The display window 90 will then be through a window 92 displayed whose user input functions are activated. The window 92 is optionally hidden as explained above. The functional window 92 is through the SGP 42 controlled to the display window 100 directed user input. The SGP coordinates those from the window 92 recorded user input operations, where in the offscreen buffer 110 stored smart graphics objects are embedded in the bitmap image.

Wenn demzufolge der Benutzer eine Zielvorrichtung bedient, die einen Cursor 102 steuert, um eine Steuereinstellung auf einem angezeigten Bedienpult zu verändern, detektiert die SGP 42 den Vorgang und bestimmt eine Position des Cursors 102 auf dem aktivierten Fenster 92. Die SGP 42 ermittelt, welche Änderungen an der in dem Offscreenbuffer 110 abgespeicherten Bitmap erforderlich sind, und des Weiteren, welche Daten gegebenenfalls an die Simulationsinstanz 48 zu senden sind. Es sollte angemerkt werden, dass anstelle eines Zeigegerätes eine berührungsempfindliche Anzeigeoberfläche verwendet werden kann, wobei in diesem Fall ein Berührungsvorgang anstelle des Zeigegerätvorganges, wie oben beschrieben wurde, detektiert wird.As a result, when the user operates a target device that has a cursor 102 controls to change a control setting on a displayed control panel detects the SGP 42 the process and determines a position of the cursor 102 on the activated window 92 , The SGP 42 Determines what changes to the offscreen buffer 110 stored bitmap are required, and further, which data may be sent to the simulation instance 48 to be sent. It should be noted that instead of a pointing device, a touch-sensitive display surface may be used, in which case a touch operation is detected instead of the pointing operation as described above.

5 ist ein Flussdiagramm, das die wesentlichen Schritte zeigt, die während der Ausführung der erfindungsgemäßen Verfahren von der SGP 42 ausgeführt werden. In einer Initialisierungsphase führt die SGP 42 Datenelementsubskription (Schritt 150) aus. Um eine effiziente Nutzung der Ressourcen des Netzwerkes 24 sicherzustellen, werden nur für einen angezeigten Teil der Bedienpulte des simulierten komplexen Systems relevante Daten an die Simulationsinstanz 48 gesandt oder von dieser empfangen. Entsprechend wird ein Datenelementsubskriptionsprozess ausgeführt. Während des Datenelementsubskriptionsprozesses registriert die SGP 42 mit der Datensteuerungs- und Datenbereitstellungsfunktion 60 sämtliche Datenelemente, die mit den intelligenten Grafiken verbunden sind, welche durch eine Default-Start-up-Ansicht des(der) Bedienpulte(s) angezeigt werden. Nach Abschluss des Datenelementsubskriptionsprozesses initialisiert die SGP 42 ein zweidimensionales grafisches Fenster 92 und generiert eine Bitmap, die in dem Offscreenbuffer 110 abgespeichert wird (Schritt 152). Auf Anforderungen des VMM 46 kopiert die SGP 42 die Bitmap auf die von dem VMM 46 gesteuerte gemeinsame im Speicher enthaltene Grafikdatenstruktur (Memory Device Context) (Schritt 154). Anschließend koordiniert das VMM das Verarbeiten der Bitmap mit den 3DV 80, wie dies oben beschrieben wurde. Im Schritt 156 ermittelt die SGP 42, ob die aktuelle Sitzung beendet wurde. Ist dies der Fall, schließt die SGP 42 ab, und darauf folgt in an sich bekannter Weise die Neuorganisation des Arbeitsspeichers (garbage collection). Ansonsten überprüft die SGP 42 ein Benutzereingaberegister (Schritt 158), um festzustellen, ob seitens des Benutzers eine Eingabe erfolgte. Wenn eine Benutzereingabe detektiert wurde, ermittelt die SGP 42 (Schritt 160), ob die Eingabe zu einer Veränderung der Ansicht führte (Größenveränderungs-, Schwenk- oder Zoomvorgang). Wenn nicht, änderte die Benutzereingabe einen Zustand einer der angezeigten intelligenten Grafiken, so dass die SGP 42 feststellt, welches) Datenelement(e) aktualisiert werden muss(müssen) (Schritt 162), um die Simulatorinstanz 48 über die Zustandsveränderung zu benachrichtigen. Wenn im Schritt 158 ermittelt wurde, dass es keine Benutzereingabe gab, überprüft bzw. ermittelt die SGP 42 (Schritt 164), ob eines der subskribierten Datenelemente durch Rückmeldung aus der Simulationsinstanz 48 verändert wurde. Wenn keines der Datenelemente von der Simulationsinstanz 48 aktualisiert wurde, fällt der Prozess zurück auf Schritt 156. 5 Fig. 3 is a flow chart showing the essential steps taken by the SGP during execution of the methods of the invention 42 be executed. In an initialization phase, the SGP performs 42 Data Item Subscription (step 150 ) out. To use the resources of the network efficiently 24 ensure that only for a displayed part of the control panels of the simulated complex system relevant data to the simulation instance 48 sent or received by this. Accordingly, a data element subscription process is executed. During the data member subscription process, the SGP registers 42 with the data control and data delivery function 60 all data elements associated with the smart graphics displayed by a default start-up view of the control panel (s). Upon completion of the data member subscription process, the SGP initializes 42 a two-dimensional graphic window 92 and generates a bitmap in the offscreen buffer 110 is stored (step 152 ). On requirements of the VMM 46 copies the SGP 42 the bitmap to that of the VMM 46 controlled common memory data context (Memory Device Context) stored in the memory (step 154 ). Then the VMM coordinates the processing of the bitmap with the 3DV 80 as described above. In step 156 determines the SGP 42 whether the current session ended has been. If so, the SGP closes 42 This is followed, in a manner known per se, by the reorganization of the garbage collection. Otherwise, the SGP checks 42 a user input register (step 158 ) to determine if the user was input. When a user input has been detected, the SGP determines 42 (Step 160 ), whether the input led to a change in the view (resizing, panning or zooming). If not, the user input changed a state of one of the displayed smart graphics so that the SGP 42 determines which data item (s) need to be updated (step) 162 ) to the simulator instance 48 to notify about the state change. When in step 158 it was determined that there was no user input, the SGP checks or determines 42 (Step 164 ), whether one of the subscribed data elements by feedback from the simulation instance 48 was changed. If none of the data items from the simulation instance 48 was updated, the process falls back to step 156 ,

Die in dem Offscreenbuffer 110 gespeicherte Bitmap muss unabhängig davon aktualisiert werden, ob Datenelemente durch Benutzereingaben (Schritt 162) oder durch Rückmeldung aus der Simulationsinstanz 48 (Schritt 164) aktualisiert wurden. Entsprechend wird die Bitmap im Schritt 166 aktualisiert, und das neue Bitmap-Bild wird an das VMM 46 übermittelt (Schritt 168).The in the offscreen buffer 110 stored bitmap must be updated regardless of whether data items are input by user input (step 162 ) or by feedback from the simulation instance 48 (Step 164 ) have been updated. Accordingly, the bitmap in step 166 updated, and the new bitmap image is sent to the VMM 46 transmitted (step 168 ).

Wenn im Schritt 160 ermittelt wurde, dass die Benutzereingabe zu einer Veränderung der Ansicht führte (Größenveränderungs-, Schwenk- oder Zoomvorgang), berechnet die Verarbeitung von intelligenten Grafiken 42 einen neuen Fenstergrößen-, Standort- und Zoomfaktor (Schritt 170) und aktualisiert das Fenster 92 (Schritt 172). Die neuen Fensterdaten werden anschließend an das VMM 46 weitergeleitet, wenn dies von letzterem angefordert wurde (Schritt 174). Es wird dann (Schritt 176) ermittelt, ob die Veränderung der Ansicht eine Veränderung an der Subskription eines beliebigen der Datenelemente erfordert. Ist dies der Fall, werden sämtliche Datenelemente, die durch die Ansichtsveränderung ausgeschlossen wurden, entsubskribiert, und beliebige neue erforderliche Datenelemente werden subskribiert (Schritt 180). In beiden Fällen wird die Bitmap aktualisiert (Schritt 166) und wie oben beschrieben an das VMM 46 weitergeleitet (Schritt 168).When in step 160 it has been determined that the user input changed the view (resize, pan, or zoom), calculates the processing of smart graphics 42 a new window size, location and zoom factor (step 170 ) and refresh the window 92 (Step 172 ). The new window data is then sent to the VMM 46 forwarded if requested by the latter (step 174 ). It will then (step 176 ) determines whether changing the view requires a change to the subscription of any of the data elements. If so, all data items that were excluded by the view change are descibed and any new required data items are subscribed (step 180 ). In both cases, the bitmap is updated (step 166 ) and to the VMM as described above 46 forwarded (step 168 ).

6 ist ein Flussdiagramm, welches eine Übersicht über die in den 3DV 44 verwendete Logik darstellt, um die erfindungsgemäßen Verfahren auszuführen. Der Prozess beginnt mit einer Initialisierung des Fensters 90. Die 3DV 44 stützt sich auf Simulatoreingaben hinsichtlich Standort, Lage und vieler weiterer simulierter systemabhängiger Variablen, um die in dem Fenster 90 angezeigten dreidimensionalen Visualisierungen zu generieren. Analog und wie nachstehend detaillierter erläutert, kann die Datenbank 26 Datenelemente enthalten, die an die Simulationsinstanz 48 zu übermitteln sind. Demzufolge beginnt die Systeminitialisierung mit einem Datenelementsubskriptionsprozess (Schritt 200), wie dies vorstehend unter Bezugnahme auf 5 erläutert wurde. Anschließend initialisiert die 3DV 44 das Fenster 90, um eine Default-Ansicht anzuzeigen (Schritt 204), und überprüft bzw. ermittelt, ob neue Fensterdaten von dem VMM 46 erhalten wurden (Schritt 204). Wenn keine neuen Fensterdaten erhalten wurden, ermittelt die 3DV 44, ob das VMM 46 eine Bitmap-Aktualisierung anfordert (Schritt 206). Wenn eine Bitmap-Aktualisierung angefordert wird, wird die Bitmap von dem VMM akzeptiert (Schritt 210) und an den Texturmaskenassembler 116 weitergeleitet, der die Bitmap in eine Texturmaske verwandelt, wie dies nachstehend unter Bezugnahme auf 7 erläutert wird. Wenn analog im Schritt 204 ermittelt wird, dass neue Fensterdaten (Fenstergrößen-, Lage-, Scroll- oder Zoomfaktor) von dem VMM 46 aus zur Verfügung stehen, werden die Fensterdaten von dem VMM 46 im Schritt 208 akzeptiert, und die aktualisierte Bitmap wird akzeptiert (Schritt 210) und an den Texturmaskenassembler 116 weitergeleitet. In beiden Fällen wird die neue Texturmaske durch den Texturmaskenassembler 116 generiert (Schritt 212), so dass das Anzeigefenster 90 die korrekte Texturmaske über den dreidimensionalen Visualisierungen zeigt. 6 is a flow chart, which gives an overview of the in the 3DV 44 used logic to carry out the inventive method. The process begins with an initialization of the window 90 , The 3DV 44 relies on simulator input regarding location, location, and many other simulated system-dependent variables, those in the window 90 to generate displayed three-dimensional visualizations. Analogously and as explained in more detail below, the database 26 Contain data elements that are sent to the simulation instance 48 to be transmitted. As a result, system initialization begins with a data item subscription process (step 200 ), as described above with reference to 5 was explained. Subsequently, the 3DV initializes 44 the window 90 to display a default view (step 204 ), and checks whether new window data from the VMM 46 were obtained (step 204 ). If no new window data was received, the 3DV determines 44 whether the VMM 46 request a bitmap update (step 206 ). When a bitmap update is requested, the bitmap is accepted by the VMM (step 210 ) and to the texture mask assembler 116 which turns the bitmap into a texture mask as described below with reference to FIG 7 is explained. If analog in step 204 it is determined that new window data (window size, position, scroll or zoom factor) from the VMM 46 are off, the window data from the VMM 46 in step 208 accepted and the updated bitmap is accepted (step 210 ) and to the texture mask assembler 116 forwarded. In both cases, the new texture mask will pass through the texture mask assembler 116 generated (step 212 ), so that the display window 90 shows the correct texture mask over the three-dimensional visualizations.

Im Schritt 214 werden die subskribierten Datenelemente aus dem gemeinsamen dreidimensionalen Speicher 56 ausgelesen (2), da diese Datenelemente möglicherweise erforderlich sind, um einen Zugriff auf Informationen aus der Datenbank 26 festzulegen, die für die nächste Wiederholung der dreidimensionalen Visualisierungskomponente des Fensters 90 erforderlich sind. Es werden dann in an sich bekannter Weise Informationen aus der Datenbank 26 ausgelesen (Schritt 216). Nach dem Zugriff auf die Daten wird im Schritt 218 ermittelt, ob der Datenzugriff etwaige Datenelemente zurückleitete, die an die Simulatorinstanz 48 zurückzuleiten sind. Beispielsweise enthält die dreidimensionale Datenbank möglicherweise Informationen über sich annähernde Objekte, Änderungen bei der Höhe, Hindernisse oder sonstige für die Simulationsinstanz 48 für die Aktualisierung von Instrumenten, Auslösen von Alarmen usw. erforderliche Informationen. Wenn in der dreidimensionalen Datenbank 26 auf Datenelementwerte zugegriffen wurde, werden diese Datenelementwerte im Schritt 220 in den gemeinsamen dreidimensionalen Speicher 56 geschrieben. Ansonsten gibt die 3DV 44 die Visualisierung für das Fenster 90 durch Überlagern der dreidimensionalen Visualisierungen mit der Texturmaske wieder, wie dies detaillierter unter Bezugnahme auf 7 beschrieben wird. Im Schritt 224 wird ermittelt, ob die Sitzung beendet wurde. Ist dies nicht der Fall, be ginnt der Prozess ab Schritt 204 erneut. Die Qualität der 3DV wird durch Betrieb mit ungefähr 60 Hz optimiert. Um jedoch die Verarbeitungslast in dem Kundencomputer zu reduzieren, kann die 3DV mit geringeren Auffrischungsraten laufen. Zusätzlich läuft die vorstehend unter Bezugnahme auf 4 beschriebene SGP 42 vorzugsweise bei ca. 5 Hz, was eine hochauflösende Simulation liefert, um die Bearbeitungslast in dem Kundencomputer 22 zu reduzieren.In step 214 the subscribed data items become the common three-dimensional memory 56 read out ( 2 ), as these data elements may be required to access information from the database 26 determine the next repetition of the three-dimensional visualization component of the window 90 required are. It will then be in a known manner information from the database 26 read out (step 216 ). After accessing the data is in step 218 Determines if the data access returned any data items sent to the simulator instance 48 are to be returned. For example, the three-dimensional database may contain information about approaching objects, changes in altitude, obstacles, or others for the simulation instance 48 Information needed to update instruments, trigger alerts, etc. If in the three-dimensional database 26 Data Item Values were accessed, these data item values in step 220 in the common three-dimensional memory 56 written. Otherwise, the 3DV 44 the visualization for the window 90 by overlaying the three-dimensional visualizations with the texture mask again, as explained in more detail with reference to FIG 7 is described. In step 224 Determines if the session has ended. is If this is not the case, the process starts from the beginning 204 again. The quality of the 3DV is optimized by operation at about 60 Hz. However, to reduce the processing load in the customer's computer, the 3DV can run at lower refresh rates. In addition, the above goes on with reference to 4 described SGP 42 preferably at about 5 Hz, which provides a high-resolution simulation to the processing load in the customer computer 22 to reduce.

7 ist ein Flussdiagramm mit der Darstellung der wesentlichen Schritte in der Verarbeitung von Bitmap-Daten, um die Visualisierungen für das Fenster 90 zu generieren, die in der 3DV 44 angezeigt werden. Im Schritt 300 erhält die 3DV 44 eine neue Bitmap, die möglicherweise durch neue Fensterdaten aus dem VMM 46 ergänzt wird, wie dies vorstehend detailliert erläutert wurde. Die neue Bitmap wird an den Texturmaskenassembler 116 weitergeleitet, der die Chromakeywerte ausfiltert (Schritt 302), wie dies oben beschrieben wurde, und übersetzt den Rest des Bitmap-Bildes in visuelle Texturdaten (Schritt 304). Die visuellen Texturdaten können transparente Bereiche umfassen, vollständig transparent sein, wie dies an sich bekannt ist, oder aber je nach dem Gesichtspunkt vollständig undurchsichtig sein. Der Texturmaskenassembler 116 gibt dann die Texturmaskendaten an den dreidimensionalen Wiedergabeprozess 114 weiter (4), der die Textur als Vollbildpolygon mit null Tiefe für den Betrachter über einem hochauflösenden Bild der Umgebung überlagert, die unter Verwendung der Daten, auf die wie oben beschrieben in der Datenbank 26 Zugriff genommen wurde, geschaffen wurde. 7 Figure 3 is a flow chart illustrating the essential steps in the processing of bitmap data to the visualizations for the window 90 to generate that in the 3DV 44 are displayed. In step 300 receives the 3DV 44 a new bitmap, possibly due to new window data from the VMM 46 is supplemented, as explained in detail above. The new bitmap is sent to the texture mask assembler 116 forwarded, which filters out the Chromakeywerte (step 302 ), as described above, and translates the remainder of the bitmap image into visual texture data (step 304 ). The visual texture data may include transparent areas, be completely transparent, as is known per se, or be completely opaque, depending on the viewpoint. The texture mask assembler 116 then returns the texture mask data to the three-dimensional rendering process 114 further ( 4 ) overlaying the texture as a zero-depth full-screen polygon for the viewer over a high-resolution image of the environment, using the data in the database as described above 26 Was accessed, was created.

8 ist eine schematische Darstellung einer weiteren Ausführungsform eines erfindungsgemäßen Systems 20, bei dem ein Kundencomputer 22 als Trainingsvorrichtung verwendet wird, die dem persönlichen Arbeitstempo angepasste Lerninformationen als Trainingshilfe einsetzt. Das System 20 umfasst den über das Netzwerk 24 mit dem Kundencomputer 22 verbundenen Simulationsserver 28. Wie vorstehend erklärt, ist der Kundencomputer 22 mit einer Simulationsinstanz 48 des Simulationsservers 28 über Datensteuerungs- und Bereitstellungsfunktionen 50 verbunden. 8th is a schematic representation of another embodiment of a system according to the invention 20 in which a customer computer 22 is used as a training device that uses learning information adapted to the personal workload as a training aid. The system 20 includes the over the network 24 with the customer computer 22 connected simulation server 28 , As explained above, the customer computer is 22 with a simulation instance 48 of the simulation server 28 via data control and provisioning functions 50 connected.

Der Kundencomputer 22 umfasst die oben beschriebenen Datensteuerungs- und Bereitstellungsfunktionen 60. Er umfasst auch eine Run-Time Engine (RTE) 130, die dazu verwendet wird, die Lerninformationen 32 zu treiben. Die Lerninformationen 32 sind integriert und funktionieren in Abstimmung sowohl mit dem System für zweidimensionale Grafiken 70 als auch mit dem System für dreidimensionale Visualisierung 80. Beispielsweise können die Lerninformationen 32 Textboxes generieren, die in das Bitmap-Bild integriert sind, das durch das VMM 46 aus dem System für zweidimensionale Grafiken 70 an das System für dreidimensionale Visualisierungen 80 weitergeleitet wird. Die Lerninformationen können auch dazu benutzt werden, visuelle Effekte oder visuelle Highlights in den Anzeigeoutput des Systems für dreidimensionale Visualisierung 80 einzuführen. Wenn beispielsweise das komplexe System ein Fluggerät ist, können die Lerninformationen einen empfohlenen Anflugweg zu einer Landebahn illustrieren, wobei ein in dem Fenster 90 gezeigter visueller Indikator verwendet wird. Analog können Hindernisse oder Gefahren hervorgehoben oder mit einem visuellen Marker oder ähnlichem angezeigt werden. Demzufolge können die integrierten Lerninformationen für eine Anzahl von wichtigen Trainings- und Übungsanwendungen verwendet werden.The customer computer 22 includes the data control and provisioning functions described above 60 , It also includes a run-time engine (RTE) 130 which is used to provide the learning information 32 to drive. The learning information 32 are integrated and work in coordination with both the system for two-dimensional graphics 70 as well as with the system for three-dimensional visualization 80 , For example, the learning information 32 Generate textboxes built into the bitmap image created by the VMM 46 from the system for two-dimensional graphics 70 to the system for three-dimensional visualizations 80 is forwarded. The learning information can also be used to add visual effects or visual highlights to the display output of the three-dimensional visualization system 80 introduce. For example, if the complex system is an aircraft, the learning information may illustrate a recommended approach path to a runway, with one in the window 90 shown visual indicator is used. Similarly, obstacles or hazards can be highlighted or displayed with a visual marker or the like. As a result, the integrated learning information can be used for a number of important training and practice applications.

Die Erfindung stellt demzufolge ein wichtiges Werkzeug bereit, das in Kombination mit Lerninformationen einen raschen Fortschritt beim Trainieren integrierter Verfahren und den Erwerb von Systemkenntnis und Bedienerfähigkeiten im Zusammenhang mit dem Betrieb oder der Wartung beliebiger simulierter komplexer Systeme erlaubt. Das erfindungsgemäße System erlaubt Fernstudium und Übung von Fähigkeiten an einem entfernt liegenden Ort mit allen verbundenen Vorteilen einer Vollbildsimulation mit hochauflösenden Visualisierungen unter Einschluss einer voll funktionalen Steuerschnittstelle, die in getreulicher Weise das Aussehen und die Funktionalität eines Bedienpulte des realen Systems dupliziert. Das erfindungsgemäße System ist in einer unbegrenzten Anzahl von Anwendungen nützlich, denn es liefert sämtliche Vorteile eines Vollbildsimulators, mit Ausnahme der Bewegungs- und immersiven physischen Umgebung.The Accordingly, the invention provides an important tool to be used in Combination with learning information is a rapid progression in Training integrated procedures and acquiring system knowledge and server skills in connection with the operation or maintenance of any simulated ones complex systems allowed. The system according to the invention allows distance learning and exercise of skills in a remote location with all the benefits a full-screen simulation with high-resolution visualizations including a fully functional control interface that is more faithful Makes the appearance and functionality of a real world control panel Systems duplicated. The system according to the invention is in an unlimited Number of applications useful because it delivers all Advantages of a full-screen simulator, with the exception of motion and video immersive physical environment.

Die Ausführungsform(en) der Erfindung, die vorstehend beschrieben wurde(n), soll(en) lediglich beispielhaften Charakter haben. Der Rahmen der Erfindung soll demzufolge ausschließlich durch den Rahmen der beigefügten Patentansprüche eingeschränkt werden.The Embodiment (s) of the invention described above is intended to be merely exemplary Have character. The scope of the invention is therefore intended to be exclusively by the scope of the attached claims limited become.

Claims

System ( 20 ) for creating a high resolution optical display that provides a 3D visual immersive environment to a user of full-frame simulation ( 48 ) of a complex system responding in a coordinated manner under all relevant both normal and abnormal conditions substantially in an identical manner to the real system, the system providing processing of intelligent graphics ( 42 ) which is adapted to generate a two-dimensional image of displayed panels of the simulated complex system, the image having embedded intelligent graphics to enable the user to associate with the display control panels to operate virtual controls, and further processing of three-dimensional visualizations ( 44 ) for generating the high-resolution visual display using visual environment data, characterized by the processing of three-dimensional visualizations ( 80 ), which is suitable, the high-resolution optical display ( 90 ) by superimposing a two-dimensional texture mask that is translated into optical texture data that is transmitted to the user on a zero-depth full-screen polygon on a three-dimensional image generated using the environmental visual data.

System ( 20 ) according to claim 1, further comprising a database ( 26 ) with visual effects data for dynamically modeling the environment of the complex system for providing the visual environment data for processing three-dimensional visualizations ( 80 ).

System ( 20 ) according to claim 1 or 2, wherein the processing of three-dimensional visualizations ( 80 ) is also suitable for carrying out data in the manner of a full-frame simulation ( 48 ) that the full-screen simulation responds to the visual environment data, and the processing of three-dimensional visualizations in real time is matched with the full-screen simulation.

System ( 20 ) according to one of the preceding claims, wherein the processing of intelligent graphics ( 42 Further, the two-dimensional image in an off-screen buffer (FIG. 110 ) and store memory context ( 112 ) for tracking the smart graphics in conjunction with the two-dimensional image to allow the translation of input operations of the user into changes to data item values corresponding to the full-frame simulation ( 48 ).

System ( 20 ) according to claim 4, wherein the processing of intelligent graphics ( 42 ), the two-dimensional image is suitable for input by the user, who provides the high-resolution visual display ( 90 ) viewport area changes to update.

System ( 20 ) according to claim 5, further comprising visual merging management ( 46 ) for communicating and coordinating changes in the two-dimensional image to the processing of three-dimensional visualizations ( 80 ).

System ( 20 ) according to claim 6, wherein the visual fusion management ( 46 ) is adapted to receive window data and bitmap updates and the window data and the bitmap updates to the processing of three-dimensional visualizations ( 80 ) forward.

System ( 20 ) according to claim 7, further comprising a texture mask assembler ( 116 ), which is adapted to receive the bitmap updates and to convert the bitmap into a texture mask.

System ( 20 ) according to claim 8, wherein the processing of intelligent graphics ( 42 ) and the processing of three-dimensional visualizations ( 80 ) are each further adapted to dynamically subscribe to data elements used to exchange data with the full-frame simulation ( 48 ) be used.

System ( 20 ) according to claim 9, wherein the processing of intelligent graphics ( 42 ) is further adapted to change its data element subscriptions each time a change in the two-dimensional image results in a change in intelligent graphics embedded in the two-dimensional image.

System ( 20 ) according to any one of the preceding claims, further comprising learning information ( 32 ) for providing training in any area of system knowledge, the integrated procedures and skills required to service the complex system.

A method for generating training and practice on a simulated complex system for personnel that is required to operate the complex system, comprising the steps of: generating a two-dimensional image of displayed consoles of the simulated complex system, wherein the two-dimensional image is embedded intelligent graphics to allow personnel to access virtual controls associated with the displayed consoles ( 100 ), generating a high definition visual display that provides the user of the system with an immersive three dimensional visual environment using visual environment data and a texture mask derived from the two dimensional image, characterized by generating the high definition visual display (12); 90 ) by superimposing a two-dimensional texture mask which is translated into optical texture data useful to the user ( 306 ) to a zero-depth full-screen polygon on a three-dimensional image generated using the environmental visual data.

The method of claim 12, further comprising a step of retrieving visual environmental data from a database ( 26 ), which for a customer computer ( 22 ), which performs the steps of generating, is local.

The method of claim 13, further comprising a step of simulating the complex system using a simulation instance ( 48 ) on a remote server ( 28 ) runs.

The method of claim 14, further comprising a step of subscribing ( 150 ) of data elements for the exchange of data with the simulation instance ( 48 ) to allow data to be exchanged with the entity using the data elements to input to the entity (s) generated by manipulation of the virtual controls by the staff ( 220 ) and feedback ( 214 ) from the instance for updating ( 166 ) of the two-dimensional image.

The method of claim 14, further comprising a step of subscribing ( 150 ) of data elements for the exchange of data with the simulation instance ( 48 ) to facilitate an exchange ( 214 . 220 ) of data with the entity using the data elements to transfer the information retrieved from the database of the visual environment to the entity and to coordinate the high-resolution visual display with a state of the simulation entity.

The method of any one of claims 12 to 16, wherein the step of generating the two-dimensional image further comprises a step of altering the two-dimensional image such that regions that need to be transparent are assigned a chroma key color attribute and a bitmap image in a memory of the customer computer ( 22 ) is stored.

The method of claim 17, further comprising a step of transferring the bitmap image to the processing of three-dimensional visualizations ( 80 ), which is responsible for generating the high-resolution visual display every time the smart graphics are changed.

The method of claim 18, further comprising a step of filtering ( 302 ) Chromakey values from the bitmap image and converting the bitmap image into three-dimensional texture data ( 304 ), which depends on the processing of three-dimensional visualizations ( 80 ) can be used to create the texture mask.

The method of any one of claims 12 to 19, further comprising a step of providing learning information ( 32 ) on the customer computer ( 22 ) for training a student in any area of system knowledge, integrated procedures, operator skills, and maintenance skills required to operate the complex system.

The method of claim 20, further comprising a step of connecting the learning information ( 32 ) with records and tracking mechanisms of a learning platform ( 38 ) for the purpose of allocating creditable learning units and completing the course curriculum.

The method of claim 21, further comprising a step of downloading to a customer computer ( 22 ) of learning information ( 32 ), intelligent graphics objects ( 23 ) and a database ( 26 ) with three-dimensional visual data based on the learning platform ( 38 ).

Computer-readable medium, the computer-executable program instructions for implementing the method according to any one of claims 12 to 22.