DE10149049A1

DE10149049A1 - Method for creating and modifying virtual biological representation of computer application user, requires forming virtual biological representation of user in computer application

Info

Publication number: DE10149049A1
Application number: DE2001149049
Authority: DE
Inventors: Stefan Johannes; Martin Lehmann
Original assignee: NEUROXX GmbH
Current assignee: NEUROXX GmbH
Priority date: 2001-10-05
Filing date: 2001-10-05
Publication date: 2003-04-17
Also published as: WO2003032142A3; WO2003032142A2; AU2002338863A1

Abstract

A method for creating and modifying a virtual biological representation of a computer applications user involves initially automatically ascertaining several biological parameters of a user and then processing the ascertained parameters to construct a virtual biological representation of the user in the computer application on the basis of the ascertained parameters. The ascertained biological parameters specifically represent cognitive processes of the user and more specifically the parameters are an electroencephalogram (EEG) electromyogram, breathing, skin conductivity and pulse rate. An Independent claim is given for a system with several measurement sensors for several biological parameters.

Description

Die Erfindung betrifft Verfahren und ein System zur Schaffung und Modifikation einer virtuellen biologischen Repräsentanz der Nutzer von Computeranwendungen. The invention relates to methods and a system for creating and modifying them a virtual biological representation of the users of computer applications.

Insbesondere bezieht sich die Erfindung auf die elektrophysiologische Erfassung biologischer Vorgänge des Menschen. Genauer dargestellt bedeutet dies, dass die biologischen Signale interpretiert und verwendet werden, um die Repräsentanz des Nutzers in einer virtuellen computergenerierten Umgebung (den sog. Avatar) zu verändern, dem Nutzer über die Erfassung seiner biologischen Parameter neue, direkte Eingabemöglichkeiten in komplexe Computeranwendungen zu ermöglichen und über die Erfassung biologischer Parameter, die kognitive Vorgänge repräsentieren, den Ablauf von komplexen Programmen gemäss den kognitiven Fähigkeiten des Nutzers indirekt zu steuern. In particular, the invention relates to electrophysiological detection biological processes of humans. Specifically, this means that the biological signals are interpreted and used to represent the Users in a virtual computer-generated environment (the so-called avatar) change, the user by recording his biological parameters new, enable direct input options in complex computer applications and about capturing biological parameters, the cognitive processes represent the flow of complex programs according to the cognitive Manage user skills indirectly.

Körperliche, geistige und seelische Vorgänge des Menschen sind sehr vielfältig und führen zur Veränderung zahlreicher Biovariablen. Zwar hat die wissenschaftliche Forschung die zugrundeliegenden biologischen Vorgänge klassifizieren können, es fehlen jedoch Geräte und Verfahren, um ausgewählte biologische Vorgänge so zu erfassen, dass sie direkt zur Steuerung von komplexen Computerprogrammen verwendet werden können. Hierdurch ist die Schnittstelle zwischen Mensch und Maschine limitiert. Insbesondere ist auf der einen Seite die Interaktionsmöglichkeit des Nutzers mit dem Computer eingeschränkt und auf der anderen Seite der Computer nicht in der Lage, den biologischen Zustand und die Fähigkeiten des Nutzers adäquat zu repräsentieren oder intelligent auf den Zustand zu reagieren. Dieses limitiert beispielsweise diagnostisches und therapeutisches Vorgehen in der Psychologie. Human, physical, mental and emotional processes are very diverse and lead to the change of numerous bio-variables. The scientific Research the underlying biological processes can classify it However, devices and processes are lacking to enable selected biological processes capture that they are used directly to control complex computer programs can be used. This is the interface between people and Limited machine. In particular, there is the possibility of interaction on the one hand of the user with the computer and on the other hand the Computer unable to understand the biological condition and capabilities of the computer To adequately represent users or react intelligently to the state. This limits, for example, diagnostic and therapeutic procedures in the Psychology.

Im laute der weiteren Beschreibung werden die folgenden Abkürzungen mit den weiter unten gegebenen Definitionen benutzt:
EEG: Elektroenzephalogramm
EKP: Ereigniskorrelierte Potentiale
ERN: error related negativity
EOG: Elektrooculogramm
CNV: contingent negative variation
HLF: Hautleitfähigkeit
EMG: Elektromyogramm
Temp: Hauttemperatur. In the following description, the following abbreviations are used with the definitions given below:
EEG: electroencephalogram
EKP: Event-related potentials
ERN: error related negativity
EOG: electrooculogram
CNV: contingent negative variation
HLF: skin conductivity
EMG: electromyogram
Temp: skin temperature.

EEG

Die Elektroenzephalographie ist eine nicht-invasive Methode, die die Messung der spontanen hirnelektrischen Aktivität beinhaltet. Eine gebräuchliche Analysemethode des EEG ist die Spektralanalyse. Hierbei werden einzelne Frequenzspektren isoliert und in ihrer relativen Häufigkeit bewertet. Außerdem kann die Amplitude oder die Form einzelner Anteile des EEG gemessen und bewertet werden. Electroencephalography is a non-invasive method of measuring the includes spontaneous brain electrical activity. A common method of analysis of the EEG is spectral analysis. Here individual frequency spectra are isolated and evaluated in their relative frequency. In addition, the amplitude or the Form of individual parts of the EEG are measured and evaluated.

EKP

Ereigniskorrelierte Potentiale sind elektrophysiologische Potentiale, die das Gehirn emittiert, wenn externe Reize präsentiert werden oder wenn psychologische Vorgänge ablaufen. Üblicherweise werden EKP durch zeitliche Korrelation mit externen Ereignissen aus dem EEG "gemittelt". Eine Einzelanalyse von EKP, die nach singulären Reizen oder Verarbeitungsprozessen auftreten und die nicht gemittelt wurden, ist jedoch auch gebräuchlich. EKP lassen sich anhand einzelner zeitlich umgrenzter Wellenformen, den sogenannten Komponenten, analysieren. So bezeichnet die P3b-Komponente (auch als P3 oder P300 bezeichnet) eine positive Komponente, die vorwiegend in parietalen Hirnbereichen im Zeitbereich zwischen 300 und 1000 ms nach Reizpräsentation auftritt und die Verarbeitung eines relevanten Reizes anzeigt. Die ERN ist eine negative Komponente, die in frontalen und zentralen Hirnarealen etwa 100 ms nach einer Fehlreaktion des Probanden nachweisbar ist und die Fehlerverarbeitung anzeigt. Die CNV ist eine negative Komponente in frontalen und zentralen Hirnarealen, die u. a. in Erwartung eines kommenden Stimulus auftritt, von Probanden jedoch auch willkürlich induziert werden kann. Event-related potentials are electrophysiological potentials that the brain emits when external stimuli are presented or when psychological Operations expire. Usually, EKPs are correlated with time external events from the EEG "averaged". A single analysis of EKP that occur after singular stimuli or processing processes and not were averaged, but is also common. EKP can be based on individual analyze temporally limited waveforms, the so-called components. So the P3b component (also referred to as P3 or P300) denotes a positive one Component predominantly in parietal brain areas in the time range between 300 and 1000 ms after stimulus presentation occurs and the processing of a relevant stimuli. The ERN is a negative component in frontal and central brain areas about 100 ms after a wrong reaction of the test person is detectable and indicates error processing. The CNV is a negative one Component in frontal and central areas of the brain that u. a. awaiting one upcoming stimulus occurs, but also induced by volunteers can be.

biofeedback

Als "Biofeedback" werden Verfahren bezeichnet, bei denen biologische Signale des Körpers erfasst, verstärkt, digitalisiert und an einen Computer übergeben werden, der sie auf einem graphischen Display oder akustisch darstellt. Über diese Rückmeldung der körperlichen Funktionen kann der Proband erlernen, bestimmte körperliche Funktionen, wie z. B. Aufmerksamkeitsprozesse oder die Entspannungsfähigkeit zu verbessern. "Biofeedback" refers to processes in which biological signals from the Body are recorded, amplified, digitized and transferred to a computer, which shows them on a graphic display or acoustically. About these The subject can learn feedback on the physical functions, certain physical functions, such as B. attention processes or the To improve relaxation ability.

Bei den für das Biofeedback verwendeten biologischen Parametern handelt es sich unter anderem um:

- EEG
- CNV
- Pulsfrequenz
- HLF
- Temp
- EMG
- Atmung (Atemfrequenz und Atemtiefe).

The biological parameters used for the biofeedback include:

- EEG
- CNV
- pulse rate
- HLF
- Temp
- EMG
- breathing (respiratory rate and depth).

Human-computer interface

Als Mensch-Computer Schnittstelle werden Eingabemöglichkeiten eines Computernutzers bezeichnet. Konventionelle Vorrichtungen wie Tastatur und Maus werden ergänzt durch die Erfassung biologischer Parameter als Eingabemedien. As a human-computer interface, input options become one Computer user. Conventional devices such as keyboard and mouse are supplemented by the acquisition of biological parameters as input media.

Nach dieser allgemeinen Einführung wird nun Stand der Technik zu den einzelnen Parametern näher erläutert. After this general introduction, the state of the art now becomes the individual Parameters explained in more detail.

EKP

Birbaumer (z. B. Birbaumer et al., Nature 398, 297-298, 25.03.1999) schlägt vor, die CNV zu erfassen und ermöglicht Gelähmten hiermit, einen cursor auf einem Computerdisplay zu Kommunikationszwecken zu steuern. Die CNV findet weiterhin Eingang in übliche Biofeedbackverfahren, bei denen sie z. B. als Amplitudenmarker auf einer Skala dargestellt wird. Die CNV wird in den bekannten Anwendungen jedoch nicht verwendet, um hiermit Computernutzern die Bewegung von virtuellen Objekten in virtuellen Welten zu ermöglichen. Kok (Psychophysiology 38; 557-577; 2001) fasst die bekannten Fakten über die P3b zusammen und führt aus, dass die P3b als Maß für die Verarbeitung von relevanten Reizen dienen kann. Donchin et al. (Donchin et al., IEEE Transactions on Rehabilitation Engineering, 8, 174-179, Juni 2000) beschreiben ein System, das die P3b zu Kommunikationszwecken verwendet. Schalk et al. (Schalk et al., Clinical Neurophysiology 111 2138-2144 (2000)) beschreiben die Erfassung der ERN zu Kommunikationszwecken. Die Pb3 und die ERN werden jedoch nicht verwendet, um die Verarbeitung von relevanten Reizen und die Erkennung von Fehlern beispielsweise beim computerbasierten Training innerhalb von virtuellen Welten zu erfassen. Birbaumer (e.g. Birbaumer et al., Nature 398 , 297-298 , March 25 , 1999 ) suggests recording the CNV and thus enables the paralyzed to control a cursor on a computer display for communication purposes . The CNV continues to be used in conventional biofeedback processes, in which it is used e.g. B. is shown as an amplitude marker on a scale. However, the CNV is not used in the known applications in order to enable computer users to move virtual objects in virtual worlds. Kok (Psychophysiology 38 ; 557-577 ; 2001 ) summarizes the known facts about the P3b and explains that the P3b can serve as a measure for the processing of relevant stimuli. Donchin et al. (Donchin et al., IEEE Transactions on Rehabilitation Engineering, 8, 174-179, June 2000) describe a system that uses the P3b for communication purposes. Schalk et al. (Schalk et al., Clinical Neurophysiology 111 2138-2144 ( 2000 )) describe the acquisition of the ERN for communication purposes. However, the Pb3 and the ERN are not used to record the processing of relevant stimuli and the detection of errors, for example in computer-based training within virtual worlds.

EEG Wolpaw et al. (Wolpaw et al., IEEE Transactions on Rehabilitation Engineering, 8, 222-226, Juni 2000) extrahieren aus dem EEG Beta- und My-Frequenzen, um damit Cursorbewegungen auf einem Bildschirm zu steuern. Ferner beschreibt die US-A-5 840 040 ein EEG-Analysegerät und -Verfahren, bei dem mittels des EEG-My-Rhythmus bestimmt wird, ob der Nutzer Bewegungen "denkt", um Cursorbewegungen zu steuern. EEG Wolpaw et al. (Wolpaw et al., IEEE Transactions on Rehabilitation Engineering, 8, 222-226, June 2000) extract beta and my frequencies from the EEG to thereby Control cursor movements on a screen. Furthermore describes the US-A-5 840 040 an EEG analyzer and method in which by means of the EEG-My rhythm determines whether the user "thinks" about movements Control cursor movements.

Affektive Perzeption Eindrücke der Umwelt werden von Menschen affektiv verarbeitet, d. h. als positiv, negativ oder neutral erlebt. Lang et al. (z. B. Lang et al. J of Clinical Neurophysiology 15; 397-408; 1998) haben hierfür eine Methode entwickelt, bei der der Hautwiderstand und ein EMG im Gesichtsbereich gemessen werden, während ein Proband gegenüber Bildern oder Geräuschen exponiert wird. Affective perception People experience affective impressions of the environment, ie they experience them as positive, negative or neutral. Lang et al. (e.g. Lang et al. J of Clinical Neurophysiology 15 ; 397-408 ; 1998 ) have developed a method for this, in which the skin resistance and an EMG in the face area are measured, while a test person is exposed to images or sounds.

biofeedback

Bei den bisher verwendeten Biofeedbackverfahren werden die genannten biologischen Parameter einzeln oder in Kombination erfasst und zum Teil mit statistischen Methoden weiterverrechnet. Die Rückkopplung an den Probanden erfolgt entweder "direkt" z. B. akustisch als Herzschlag oder "indirekt" über die Steuerung von einfachen Computeranimationen, z. B. als gemorphtes Gesicht. Die US-A-6 026 322 beschreibt beispielsweise ein System, bei dem der HLW die Form einer einfachen Figur auf einem Computerbildschirm beeinflusst. In the biofeedback processes used to date, the above-mentioned biological parameters recorded individually or in combination and partly with statistical methods passed on. The feedback to the test subjects either "directly" z. B. acoustically as a heartbeat or "indirectly" via the Control of simple computer animations, e.g. B. as a morphed face. The For example, US-A-6 026 322 describes a system in which the CPR takes the form influenced by a simple figure on a computer screen.

WO 01/08125 beschreibt ein System, welches EEG-Feedback umsetzt. Das Feedbacksignal erfolgt in Form von einfachen Animationen. WO 01/08125 describes a system which implements EEG feedback. The Feedback signal takes the form of simple animations.

DE-A-197 45 508 offenbart ein Biofeedback-Verfahren zum Erlernen von Entspannungsverfahren, um hiermit gegen einen zweiten realen oder virtuellen Nutzer anzutreten. DE-A-197 45 508 discloses a biofeedback method for learning Relaxation procedure to hereby against a second real or virtual Users.

Human-computer interface

Es existieren einige Steuersignalvorrichtungen für Computergeräte, die auf der Erfassung biologischer Variablen basieren. Die DE-C-43 27 418 beschreibt ein Gerät, das biologische Signale wie das EEG als Spielsteuersignal verwendet. In technischer Hinsicht basiert das Gerät auf einer Steuersignaleingabevorrichtung, die eine Verarbeitungseinrichtung für biologische Signale und eine Schalteinrichtung enthält. There are some control signal devices for computer devices that operate on the Recording biological variables. DE-C-43 27 418 describes a Device that uses biological signals such as the EEG as a game control signal. In technically, the device is based on a control signal input device that a processing device for biological signals and a switching device contains.

WO 01/04865 beschreibt ein System, bei dem Biofaktoren zu dem Zweck erfasst werden, um die physiologische Selbstregulation zu verbessern. Technisch gesehen handelt es sich um ein Gerät und eine zugrundeliegende Methode, mit der Biofaktoren so transformiert werden, dass hiermit über Standardschnittstellen von Computeranwendungen wie z. B. Joystick oder Kontrollknöpfen Eingaben erfolgen können. Hierdurch wird die Fähigkeit des Nutzers beeinträchtigt, innerhalb der Computersimulation die gestellte Aufgabe zu beherrschen. So wird z. B. die "Kontrollfähigkeit" des Joysticks anhand der Biodaten modifiziert. Aus Nutzersicht wird also z. B. die Schwierigkeit modifiziert, mit der ein virtuelles Raumschiff zu steuern ist. Es soll so die Kompatibilität zu anderer Hardware wie z. B. der Sony Playstation™ sichergestellt werden. WO 01/04865 describes a system in which biofactors are recorded for the purpose to improve physiological self-regulation. From a technical point of view is a device and an underlying method with which Biofactors are transformed in such a way that they use standard interfaces from Computer applications such as B. Joystick or control buttons inputs can. This affects the ability of the user within the Computer simulation to master the task at hand. So z. B. the "Control ability" of the joystick modified based on the biodata. From a user perspective So z. B. modified the difficulty with which a virtual spaceship control is. It is said to be compatible with other hardware such as. B. the Sony Playstation ™ can be ensured.

Die US-A-5 377 100 beschreibt das Konzept, wie Aufmerksamkeitsprozesse verbessert werden können, indem spezifische EEG-Signale mit einem Erfolg beim Spielen eines Action Videospiels belohnt werden. Das Spiel kann vom Nutzer praktisch nicht gewonnen werden, bis der Spieler die gewünschte EEG-Aktivität bietet, die mit normalem Verhalten und nicht mit einer Aufmerksamkeitsstörung assoziiert ist. Ein Messsystem erfasst das EEG und kontrolliert hierüber den Schwierigkeitsgrad des Spiels. US-A-5 377 100 describes the concept of how attention processes can be improved by using specific EEG signals with success Playing an action video game will be rewarded. The game can be played by the user practically cannot be won until the player has the desired EEG activity provides that with normal behavior and not with an attention deficit is associated. A measuring system records the EEG and controls it Difficulty level of the game.

WO 01/35824 beschreibt ein System und ein Verfahren, bei dem evozierte Potentiale erfasst werden, um hierdurch die Auslösung von externen magnetischen Impulsen zu triggern. WO 01/35824 describes a system and a method in which evoked Potentials are recorded in order to trigger external magnetic Trigger impulses.

WO 01/07128 beschreibt eine Spielvorrichtung und ein Spielverfahren, bei der eine Ablaufsteuerung des Programms über eine Frequenzanalyse des EEG erfolgt. WO 01/07128 describes a game device and a game method in which one Sequence control of the program takes place via a frequency analysis of the EEG.

Dabei wird die Position und die Bewegung von virtuellen Objekten modifiziert. Das kommerzielle Produkt "The Mind Drive" (z. B. vertrieben von Altered States Ltd., Auckland, Neuseeland) beinhaltet die Erfassung von physiologischen Signalen mittels eines Sensors am Finger, um Objekte in Computerspielen zu steuern. The position and movement of virtual objects is modified. The commercial product "The Mind Drive" (e.g. distributed by Altered States Ltd., Auckland, New Zealand) involves the acquisition of physiological signals using a sensor on the finger to control objects in computer games.

Representation of the user in a virtual computer environment ("Avatar")

Ein Avatar ist die Repräsentanz eines Nutzers in einer virtuellen Computerumgebung, also das "Ich" des Nutzers. Avatare können zahlreiche Formen und Charaktere haben und werden meist über Joystick, Maus oder das Keyboard gesteuert. Innerhalb der EU Programme VEPSY und VREPAR wurde eine Methode entwickelt, anhand derer Gewicht und Körpergröße eines Nutzers nach konventioneller Messung und Eingabe in den Computer die Körperproportionen des Avatars bestimmen. An avatar is the representation of a user in a virtual one Computer environment, ie the "I" of the user. Avatars can be numerous Shapes and characters mostly have and are over joystick, mouse or that Keyboard controlled. Within the EU programs VEPSY and VREPAR developed a method based on a user's weight and height after conventional measurement and input into the computer Determine body proportions of the avatar.

Limitations and problems of the existing systems

Die existenten Systeme sind vor allem dadurch limitiert, dass sie entweder umschriebene Teilgrößen der Vielzahl der verschiedenen Bioparameter eines Nutzers für die Ablaufsteuerung von Computerprogrammen erfassen (wie z. B. physiologische Signale vom Finger für die Steuerung der Bewegung von Objekten in einem Computerspiel oder ausgesuchte EEG-Parameter für die Bewegung von Objekten) oder dass sie, wenn mehrere Bioparameter gleichzeitig erfasst werden, diese Parameter entweder in Form von abstrakten Linien, Kurven oder Balken darstellen oder sie mit statistischen Methoden so weiterverarbeiten, dass sie einen einzelnen Parameter, wie z. B. die "Entspannungsfähigkeit" repräsentieren. The existing systems are mainly limited by the fact that they either circumscribed part sizes of the multitude of different bioparameters Capture users for the sequential control of computer programs (such as physiological signals from the finger for controlling the movement of objects in a computer game or selected EEG parameters for the movement of Objects) or that if several bioparameters are recorded simultaneously, these parameters either in the form of abstract lines, curves or bars represent or process them with statistical methods so that they one individual parameters, such as B. represent the "relaxation ability".

Hierdurch bleibt der komplexe Organismus des Menschen, der aus einer Vielzahl von biologischen Vorgängen besteht, die gewissermaßen ein "holistisches" Ganzes bilden, in wesentlichen Teilen unberücksichtigt. So vermögen die existenten Systeme nicht, dem Computernutzer die Vielzahl seiner Bioparameter auf konkrete Art und Weise darzustellen. Auch vermögen die existenten Systeme nicht, dem Nutzer eine Schnittstelle zur Verfügung zu stellen, über die er durch bewusste Modifikation verschiedener Biofaktoren realitätsnah in die Ablaufsteuerung von Computerprogrammen eingreifen kann. Vielmehr werden die biologischen Parameter bisher eingesetzt, um artfremde Aktionen/Reaktionen im Computerprogramm umzusetzen. Die Steuerung eines Avatars erfolgt über herkömmliche Eingabemedien wie Maus, Tastatur oder Joystick. Z. B. kann ein Programm so konzipiert sein, dass ein Avatar auf die Betätigung der Space-Taste hin in ein virtuell schweres Objekt, wie z. B. eine große Metallkugel, hochhebt. Die natürliche biologische Variabilität der Fähigkeiten der Computernutzer, wie z. B. die unterschiedlich ausgeprägte Kraft, mit der die Kugel gehoben werden kann, bleibt somit unberücksichtigt. Schließlich vermögen die existenten Systeme nicht, über die Erfassung von Bioparametern wie z. B. ereigniskorrelierten Potentialen, die kognitive Funktionen des Nutzers widerspiegeln, den Ablauf der Computerprogramme zu steuern, ohne dass Nutzerantworten über ein konventionelles Eingabemedium notwendig sind. As a result, the complex human organism remains, which consists of a multitude consists of biological processes that are, so to speak, a "holistic" whole form, largely disregarded. So the existing ones Systems do not, the computer user the variety of his bio parameters on concrete Way to represent. The existing systems are not able to To provide users with an interface through which they can move through conscious Modification of various biofactors realistically in the process control of Computer programs can intervene. Rather, the biological Parameters used so far to identify alien actions / reactions in the Implement computer program. An avatar is controlled via conventional input media such as mouse, keyboard or joystick. For example, a Program should be designed so that an avatar is clicked on the space key into a virtually heavy object, such as B. a large metal ball. The natural biological variability in the capabilities of computer users, such as B. the varying strength with which the ball can be lifted remains thus disregarded. After all, the existing systems cannot do that Acquisition of bioparameters such as B. event-related potentials, the cognitive Functions of the user reflect the flow of computer programs control without user responses via a conventional input medium are necessary.

Der Erfindung liegt die Aufgabe zugrunde, ein System und Verfahren bereitzustellen, die die erläuterten Begrenzungen und Nachteile der existenten Verfahren beseitigen. Diese Aufgabe wird mit den Merkmalen der Patentansprüche gelöst. The invention has for its object a system and method To provide the limitations and disadvantages of the existing Eliminate procedures. This object is achieved with the features of the claims solved.

Die Erfindung geht von dem Grundgedanken aus, zahlreiche Biofaktoren des Nutzers von Computerprogrammen dergestalt zu erfassen, dass sie in ihrer Gesamtheit in einer für den Nutzer anschaulichen Art und Weise im System dargestellt werden können, dass sie dem Nutzer als quasi natürliches Eingabemedium für Computerabläufe dienen können und dass sie, insofern sie kognitive Fähigkeiten des Nutzers widerspiegeln, für eine automatisierte Ablaufsteuerung der Programmabläufe verwendet werden können. Die Gesamtheit der biologischen Zustände und Fähigkeiten wird so für den Nutzer innerhalb des Systems erfassbar und einsetzbar. Hieraus ergibt sich ein natürliches Eingabemedium für den Computer, das an Vielfältigkeit den Fähigkeiten eines Menschen in der realen Welt nahe kommt. Ein computerbasiertes Training der geistigen Leistungsfähigkeit, das sich an die Fähigkeiten des Nutzers adaptiert, wird möglich, ohne dass der Nutzer bewusst Eingaben am Computer tätigen muss. The invention is based on the basic idea of numerous biofactors of To capture users of computer programs in such a way that they Entire in a way that is clear to the user in the system can be shown that they are quasi natural to the user Can serve as input medium for computer processes and that they, insofar as they are reflect cognitive skills of the user, for an automated Sequence control of the program sequences can be used. The totality of the biological states and abilities is thus for the user within the Systems detectable and usable. This results in a natural one Input medium for the computer that is versatile in its capabilities Comes close to people in the real world. A computer based training of mental performance that adapts to the abilities of the user possible without the user having to consciously make entries on the computer.

Ein erster Aspekt der Erfindung betrifft ein Verfahren mit den Schritten (a) Automatisches Erfassen mehrerer biologischer Parameter eines Nutzers von Computeranwendungen, (b) Verarbeiten der erfassten Parameter und (c) Herstellen einer virtuellen biologischen Repräsentanz des Nutzers in der Computeranwendung anhand der erfassten Parameter; vorzugsweise ferner mit dem Schritt (d) Modifizieren der Repräsentanz durch Wiederholen der Schritte a) bis c). A first aspect of the invention relates to a method with the steps (a) Automatic acquisition of several biological parameters of a user from Computer applications, (b) processing the recorded parameters and (c) manufacturing a virtual biological representation of the user in the computer application based on the recorded parameters; preferably further with step (d) Modify the representation by repeating steps a) to c).

Die in Schritt a) erfassten biologischen Parameter repräsentieren vorzugsweise kognitive Vorgänge des Nutzers. Weiter bevorzugt sind die in Schritt a) erfassten Parameter Elektroenzephalogramm (EEG), Elektromyogramm (EMG), Atmung, Hautleitwert und Pulsfrequenz. Vorzugsweise werden ferner die Hauttemperatur und der Blutdruck erfasst. The biological parameters recorded in step a) preferably represent cognitive processes of the user. Those recorded in step a) are further preferred Parameters electroencephalogram (EEG), electromyogram (EMG), respiration, Skin conductance and pulse rate. The skin temperature is also preferred and the blood pressure is recorded.

Gemäß einer bevorzugten Ausführungsform werden die in Schritt b) erfassten biologischen Parameter mit Referenzwerten, insbesondere nutzerspezifischen Referenzwerten verglichen. Anschließend werden die erfassten biologischen Parameter einer statistischen Auswertung unterzogen. Insbesondere erfolgt dabei eine Integration der Amplitude. According to a preferred embodiment, those recorded in step b) are recorded biological parameters with reference values, especially user-specific ones Reference values compared. Then the captured biological Parameters subjected to statistical evaluation. In particular, this is done an integration of the amplitude.

Gemäß einer ersten erfindungsgemäßen Alternative wird in Schritt c) ein Avatar gebildet. Dabei beeinflussen die erfassten biologischen Parameter physikalische Aspekte des Avatars und seine Fähigkeiten innerhalb des Programmablaufes. Insbesondere werden die physikalischen Eigenschaften des Avatars und seine Fähigkeiten innerhalb des Programmablaufes auf der Grundlage eines Vergleichs mit den Referenzwerten bestimmt. Weiter bevorzugt ist hierbei, dass die virtuelle Umwelt in der Computeranwendung auf der Grundlage der erfassten biologischen Parameter beeinflusst wird. According to a first alternative according to the invention, an avatar is created in step c) educated. The recorded biological parameters influence physical ones Aspects of the avatar and its capabilities within the program flow. In particular, the physical properties of the avatar and its Skills within the program flow based on a comparison determined with the reference values. It is further preferred that the virtual Environment in the computer application based on the captured biological Parameter is influenced.

Gemäß einer zweiten erfindungsgemäßen Alternative erfolgt in Schritt c) eine Manipulation von Objekten der Computeranwendung, insbesondere der physikalischen Eigenschaften der Objekte. According to a second alternative according to the invention, one is carried out in step c) Manipulation of objects of the computer application, in particular the physical properties of the objects.

Gemäß einer dritten erfindungsgemäßen Alternative wird in Schritt c) der Ablauf der Computeranwendung beeinflusst, wobei die Beeinflussung des Ablaufs der Computeranwendung insbesondere auf der Grundlage von biologischen Parametern erfolgt, die kognitive Funktionen widerspiegeln. Als Parameter werden beispielsweise die ereigniskorrelierte Potentiale, insbesondere ERN und P3b, verwendet. Vorzugsweise wird die Geschwindigkeit und Güte eines Entscheidungsprozesses des Nutzers ermittelt, wobei der Schwierigkeitsgrad der Aufgaben der Computeranwendung automatisch den kognitiven Funktionen des Nutzers adaptiert wird. According to a third alternative according to the invention, the process of Computer application influenced, influencing the flow of Computer application, in particular based on biological Parameters that reflect cognitive functions. As parameters for example the event-related potentials, in particular ERN and P3b, used. Preferably the speed and quality will be one Decision process of the user determined, the level of difficulty of the Tasks of the computer application automatically the cognitive functions of the Is adapted to the user.

Ein zweiter Aspekt der Erfindung betrifft ein System mit mehreren Messaufnehmern für mehrere biologische Parameter eines Nutzers von Computeranwendungen und einer Verarbeitungseinrichtung zum Herstellen einer virtuellen biologischen Repräsentanz des Nutzers in der Computeranwendung anhand der erfassten Parameter. A second aspect of the invention relates to a system with a plurality of sensors for several biological parameters of a user of computer applications and a processing device for producing a virtual biological Representation of the user in the computer application based on the recorded Parameter.

Vorzugsweise bildet die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter einen Avatar, wobei die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter insbesondere physikalische Aspekte des Avatars und seine Fähigkeiten innerhalb des Programmablaufes beeinflusst. The processing device preferably forms on the basis of the detected biological parameters an avatar, the processing device using of the recorded biological parameters, in particular physical aspects of the Avatars and their abilities influenced within the program flow.

Alternativ nimmt die Verarbeitungseinrichtung eine Manipulation von Objekten der Computeranwendung vor, wobei die Verarbeitungseinrichtung insbesondere die physikalischen Eigenschaften der Objekte manipuliert. Alternatively, the processing device manipulates objects of the Computer application before, the processing device in particular the manipulated physical properties of the objects.

Weiter alternativ beeinflusst die Verarbeitungseinrichtung anhand der erfassten biologischen Parameter den Ablauf der Computeranwendung. Alternatively, the processing device influences on the basis of the detected biological parameters the flow of computer application.

Ferner weist das System vorzugsweise eine Vergleichseinrichtung zum Vergleichen der erfassten biologischen Parameter mit Referenzwerten, insbesondere nutzerspezifischen Referenzwerten, auf. Weiter Vorzugsweise ist eine Berechnungseinrichtung zum statistischen Auswerten der erfassten biologischen Parameter vorgesehen. Furthermore, the system preferably has a comparison device for comparison the recorded biological parameters with reference values, in particular user-specific reference values. A further preference is one Calculation device for statistical evaluation of the recorded biological Parameters provided.

Vorzugsweise weist das System mindestens eine Elektroenzephalogramm-(EEG-) Elektrode, mindestens eine Elektromyogramm-(EMG-)Elektrode, Brustkorbbewegungs-Messaufnehmer, einen Hautleitwert-Sensor und einen Pulsfrequenz-Sensor, weiter bevorzugt einen Hauttemperatur-Sensor und/oder eine Blutdruck-Messeinrichtung auf. The system preferably has at least one electroencephalogram (EEG) electrode, at least one electromyogram (EMG) electrode, Chest motion sensor, skin conductance sensor and one Pulse rate sensor, more preferably a skin temperature sensor and / or one Blood pressure measuring device on.

Das erfindungsgemäße System besteht aus mehreren Messaufnehmern für Biodaten, aus einem Peripheriegerät, an das die Messaufnehmer angeschlossen sind, einer Verbindung zu einem Computer und Verarbeitungs- und Darstellungskomponenten. The system according to the invention consists of several sensors for Biodata from a peripheral device to which the sensor is connected are, a connection to a computer and processing and Display components.

Die Erfassung der biophysikalischen Messwerte erfolgt erfindungsgemäß in vier Schritten:

- Kontaktierung an den Probanden
- Verstärkung und Filterung der Signale
- Analog-Digital-Wandlung der Messwerte
- Datenübertragung an eine Verarbeitungseinheit (beispielsweise PC).

According to the invention, the biophysical measurement values are recorded in four steps:

- Contacting the test subjects
- amplification and filtering of the signals
- Analog-digital conversion of the measured values
- Data transfer to a processing unit (e.g. PC).

Die Messaufnehmer für die Erfassung der biophysikalischen Parameter sind vorzugsweise:

- zwei EEG-Elektroden, die in geeigneter Form in einer Kappe oder einem Stirnband angeordnet sind und an den international klassifizierten Elektrodenpositionen FCz und Pz sitzen;
- drei EMG-Elektroden, von denen eine oberhalb des linksseitigen M. flexor digitorum quintus angebracht ist, die andere im rechtsseitigen Gesichtsbereich am M. zygomaticus sitzt und die dritte im rechtsseitigen Gesichtsbereich am M. corrugator sitzt;
- ein gurtartiger Messaufnehmer für die Bewegungen des Brustkorbes;
- ein Fingersensor für den Hautleitwert, der aus zwei Elektroden besteht;
- ein Sensor für die Aufnahme der Pulsfrequenz, der innerhalb eines Armbandes angebracht ist;
- optional zusätzlich ein Sensor für die Hauttemperatur;
- optional zusätzlich eine Messeinrichtung für den Blutdruck.

The sensors for recording the biophysical parameters are preferably:

- Two EEG electrodes, which are arranged in a suitable form in a cap or a headband and are located at the internationally classified electrode positions FCz and Pz;
- three EMG electrodes, one of which is located above the left flexor digitorum quintus, the other sits in the right facial area on the zygomaticus and the third sits in the right facial area on the corrugator;
- a belt-like sensor for the movements of the chest;
- a finger sensor for skin conductance, which consists of two electrodes;
- A sensor for recording the pulse rate, which is attached within a bracelet;
- optionally an additional skin temperature sensor;
- Optionally, an additional measuring device for blood pressure.

Um mögliche Störeinflüsse zu minimieren, ist erfindungsgemäß der Bio-Signal- Verstärker von der Analog-Digital-Wandler-Einheit getrennt. Da die Verstärker sehr klein gebaut sind, können sie sehr dicht an die Messaufnehmer gerückt werden, ohne den Anwender zu behindern. Die Verstärker und die AD-Wandler-Einheit sind wiederum über entsprechende Leitungen verbunden. Über eine galvanisch getrennte Schnittstelle (RS232 oder optional USB) werden die Daten zur Verarbeitungseinheit (beispielsweise PC) übertragen. In order to minimize possible interferences, the bio signal Amplifier separated from the analog-digital converter unit. Because the amplifiers are very are small, they can be moved very close to the sensor, without hindering the user. The amplifiers and the AD converter unit are again connected via appropriate lines. Via a galvanic separate interface (RS232 or optional USB) the data for Transfer processing unit (for example PC).

Die erfindungsgemäß erfassten Biosignale werden gemäß einer ersten Ausführungsform in Form eines Avatar verarbeitet und dem Nutzer veranschaulicht. Der Nutzer ist also im zu beeinflussenden System als Avatar präsent. Hierbei handelt es sich um eine virtuelle Figur, die der Nutzer als Repräsentanz seines "ich" durch die virtuelle Welt steuert. Die äußere Form des Avatar, das Verhalten und die Fähigkeiten des Avatar werden durch die Biodaten des Nutzers bestimmt. Hierbei werden erfindungsgemäß einzelne Aspekte des Avatars einzelnen Biofaktoren oder der Kombination von Biofaktoren zugeordnet. Dadurch ist es möglich, eine umfassende Repräsentanz des Nutzers im Computersystem zu simulieren. Es können individuelle Leistungen wie Kraft, Geschicklichkeit, Intellekt etc. als Eigenschaften auf den Avatar übertragen werden. Auf diese Weise bewegt der Nutzer nicht mehr nur eine vorgegebene Spielfigur, sondern ist mit seinen Befindlichkeiten und Eigenschaften direkt in das Spielgeschehen eingebunden. Gemäß der vorliegenden Erfindung ist es somit beispielsweise auch möglich, innerhalb eines Computerspieles mehrere Spieler mit ihren realen biologischen Fähigkeiten gegeneinander antreten zu lassen. Dabei nehmen eine Reihe von Faktoren die teilweise bewusst gesteuert werden können oder sich teilweise einer bewussten Steuerung entziehen, direkten Einfluss auf die Aktionen am Bildschirm. Herkömmliche Vorrichtungen und Verfahren ermöglichen es dem Nutzer im Gegensatz dazu aufgrund der simpel konzeptionierten Form der Eingabe (z. B. schnelles Drücken des "Feuer"-Knopfes am Joystick), also lediglich durch Trainierung sehr wenig alltagsrelevanter Fähigkeiten, die Aufgaben des Computerspieles/der Simulation zu lösen. The biosignals recorded according to the invention are according to a first Embodiment processed in the form of an avatar and illustrated to the user. The user is therefore present as an avatar in the system to be influenced. in this connection is a virtual figure that the user represents his "I" controls through the virtual world. The outer shape of the avatar, the behavior and the Abilities of the avatar are determined by the bio data of the user. in this connection According to the invention, individual aspects of the avatar are individual biofactors or assigned to the combination of biofactors. This makes it possible to to simulate comprehensive representation of the user in the computer system. It can use individual achievements like strength, skill, intellect etc. as Properties are transferred to the avatar. In this way, the User no longer just a given character, but is with his Conditions and characteristics are directly integrated into the game. According to the present invention, it is therefore also possible, for example, within a computer game several players with their real biological Ability to compete against each other. In doing so take a number of Factors that can be controlled consciously in part or that are partially withdraw from conscious control, direct influence on the actions on the screen. Conventional devices and methods allow the user to In contrast, due to the simple conceptual form of the input (e.g. quick press of the "fire" button on the joystick), so just by Training very little everyday skills, the tasks of Solve computer game / simulation.

Zur Zeit existente Computerspiele und industrielle Simulationen zeigen das Problem, dass sie aufgrund der geringen Interaktionsmöglichkeiten des Nutzers mit dem System nur eine begrenzte Immersion (Einbindung des Nutzers in das System) erlauben. Die alltägliche Erfahrung zeigt, dass zur Interaktion mit der Umwelt wesentlich mehr Faktoren eine Rolle spielen als die einfache Eingabe von Steuerdaten. Das der vorliegenden Erfindung zugrundeliegende System ermöglicht eine prinzipiell unbeschränkte Eingabe zusätzlicher Parameter, die entsprechend ihrer Bedeutung in der normalen Umwelt, Einfluss auf die Umwelt, beziehungsweise die Handlungsoptionen des Nutzers haben und dadurch eine wesentlich höhere Immersion des Nutzers in das Geschehen am Bildschirm erlaubt. Current computer games and industrial simulations show that Problem that due to the low interaction possibilities of the user the system only a limited immersion (integration of the user into the system) allow. Everyday experience shows that interacting with the environment much more factors play a role than simply entering Control data. The system on which the present invention is based enables a principally unlimited input of additional parameters, which accordingly their importance in the normal environment, impact on the environment, respectively have the user's options for action and therefore a much higher one Allows immersion of the user in what is happening on the screen.

Erfindungsgemäß findet folgende Zuordnung der erfassten Biosignale zum Avatar statt: According to the invention, the following assignment of the detected organic signals to the avatar takes place instead of:

EMG: amplitude of contraction of the flexor digitorum quintus: size and Avatars muscle mass

Zu Beginn des Programms erfordert der Ablauf einige Kontraktionen des M. flexor digitorum quintus links des Nutzers. Beispielsweise hat der Nutzer die Aufgabe, einen innerhalb der virtuellen Nutzerumgebung dargestellten Stein möglichst hoch zu heben. Der Nutzer ballt hierzu mit maximaler Stärke eine Faust links. Hierdurch kommt es zur Aktivität des M. flexor digitorum quintus, die zunächst verstärkt und AD-gewandelt wird, um dann in Form eines Messwertes, der die Amplitude der elektrophysiologischen Muskelaktivität in mV repräsentiert, an den Rechner übergeben zu werden. Im Rechner findet eine statistische Auswertung der Daten statt. Zum Beispiel wird die Amplitude über einen vorgegebenen Zeitbereich von z. B. 1 Sekunde integriert. Anschließend findet ein statistischer Vergleich der Daten mit Referenzwerten des Nutzers aus Voruntersuchungen oder mit allgemeinen Referenzwerten statt. Entsprechend der Ergebnisse des Vergleiches wird die Figur des Avatars modifiziert. Liegen die Werte des Nutzers beispielsweise im obersten Referenzbereich oder darüber, wird ein Avatar gewählt, der im Vergleich zu anderen Avataren groß ist und eine große Muskelmasse hat. Liegen die Werte des Nutzers beispielsweise im untersten Referenzbereich oder darunter, wird ein Avatar gewählt, der im Vergleich zu anderen Avataren klein ist und eine kleine Muskelmasse besitzt. Liegen die Werte des Nutzers innerhalb des Referenzbereiches, werden Muskelmasse und Größe des Avatars gemäss eines in das System integrierten Algorithmus automatisch ausgewählt. Kern des Algorithmus ist es, dass Muskelmasse und Größe des Avatars dergestalt mit den Messwerten des Nutzers korreliert sind, dass geringe Amplituden der Kontraktion mit einer kleinen Körpergröße und geringen Muskelmasse korreliert sind und hohe Amplituden der Kontraktion mit einer großen. Körpergröße und großen Muskelmasse korreliert sind. Während des sich dann anschließenden Programmablaufes werden die Ergebnisse wiederholter Messungen dazu verwendet, die Figur des Avatars wiederum zu modifizieren. So kann beispielsweise eine verstärkte Muskelkontraktion des Nutzers bei einer Folgemessung dazu verwendet werden, den Avatar dergestalt zu modifizieren, dass er größer und mit mehr Muskelmasse dargestellt wird. Andersherum wäre eine abgeschwächte Muskelkontraktion dazu zu verwenden, den Avatar kleiner und mit weniger Muskelmasse darzustellen. Entsprechend den Erfordernissen des Programmablaufes und der Aufgabenstellung könnte ein Nutzer beispielsweise erlernen, die Kraft seiner Muskelkontraktion genau zu dosieren, um hiermit Körpergröße und Muskelmasse seines Avatars gemäss den Erfordernissen des Programms zu modifizieren. At the beginning of the program, the process requires some contractions of the M. flexor digitorum quintus left of the user. For example, the user has the Task, a stone displayed within the virtual user environment to lift as high as possible. The user clenches one with maximum strength Fist left. This leads to the activity of the flexor digitorum quintus muscle, which is initially reinforced and converted to AD, then in the form of a Measured value, which is the amplitude of the electrophysiological muscle activity in mV represents to be transferred to the computer. Find in the calculator a statistical evaluation of the data takes place. For example, the amplitude over a predetermined time range of e.g. B. integrated 1 second. A statistical comparison of the data with reference values is then carried out of the user from preliminary examinations or with general reference values instead of. According to the results of the comparison, the figure of the Modified avatars. For example, if the user's values are at the top Reference range or above, an avatar is chosen that is compared to other avatars is tall and has a large muscle mass. Are they lying User values, for example, in the lowest reference range or underneath, an avatar is chosen that is small compared to other avatars is and has a small muscle mass. Are the values of the user within the reference range, muscle mass and size of the Avatars automatically according to an algorithm integrated in the system selected. The core of the algorithm is that muscle mass and size of the Avatars are correlated with the measured values of the user in such a way that low amplitudes of contraction with a small height and low muscle mass are correlated and high amplitudes of contraction with a big one. Body size and large muscle mass are correlated. During the subsequent program sequence, the Results of repeated measurements used to figure the avatar again to modify. For example, a reinforced one Muscle contraction of the user used in a follow-up measurement to modify the avatar to be bigger and with more Muscle mass is shown. The other way around would be a weakened one Use muscle contraction to make the avatar smaller and with less To represent muscle mass. According to the requirements of the A user could run the program and the task For example, learn to use the strength of his muscle contraction exactly dose to hereby according to body size and muscle mass of his avatar modify the needs of the program.

Weiterhin werden den Muskelkontraktionen des Nutzers im Programmablauf auch Fähigkeiten des Avatars zugeordnet. So kann der Nutzer über die Muskelkontraktionen an bestimmten Stellen im Programmablauf Objekte manipulieren. Beispielsweise kann der Nutzer einen virtuellen Stein über die Muskelkontraktion hochheben. Die statistische Analyse der Muskelaktivität entspricht hierfür dem oben beschriebenen Verfahren. Anhand des Vergleichs der Werte des Nutzers mit Referenzwerten wird bestimmt die Kraft der Muskelkontraktion des Nutzers die Kraft, mit der der Avatar in der Lage ist, den Stein zu heben. Furthermore, the muscle contractions of the user in the program flow also assigned skills of the avatar. So the user can Muscle contractions at certain points in the program sequence objects manipulate. For example, the user can place a virtual stone over the Lift muscle contraction. Statistical analysis of muscle activity corresponds to the procedure described above. Based on the The force is determined by comparing the values of the user with reference values the muscle contraction of the user the force with which the avatar is able to is to lift the stone.

EEG: frequency analysis with determination of alpha, beta and Theta proportions: shape and size of the avatar's head

Das EEG wird an den Positionen FCz und Pz registriert während der Nutzer dem Programmablauf folgt. So ist es beispielsweise Inhalt des Programmablaufes, dass der Nutzer eine mental anstrengende Aufgabe wie z. B. arithmetische Operationen durchführen muss. Ein andere Situation erfordert die Entspannung des Probanden. Das EEG wird zunächst verstärkt und AD-gewandelt, dann an den Computer übergeben. Ein Auswertealgorithmus wertet das EEG statistisch aus. So werden beispielsweise mittels einer Fouriertransformation die relativen Frequenzanteile von Alpha-, Beta- und Thetawellen ermittelt und mit allgemeinen Referenzwerten verglichen oder mit Referenzwerten, die anhand von Voruntersuchungen des Probanden erstellt wurden. Entsprechend dieses Abgleichs mit Referenzwerten wird die Kopfform- und Größe des Avatars bestimmt. Beispielsweise kann ein Nutzer, der eine EEG-Aktivität aufweist, die ausweislich des Vergleichs mit den Normwerten bzw. Referenzwerten statistisch mit einer guten Entspannungsfähigkeit korreliert ist, einen Kopf erhalten, der einem alten weisen Menschen nachempfunden ist. Ein Nutzer, der eine EEG-Aktivität aufweist, die ausweislich des Vergleichs mit den Normwerten statistisch mit einer schlechten Entspannungsfähigkeit korreliert ist, kann beispielsweise einen Kopf erhalten, der einem jungen Menschen nachempfunden ist. Während des sich dann anschließenden Programmablaufes werden die Ergebnisse wiederholter Messungen dazu verwendet, die Figur des Avatars im Verlauf zu modifizieren. So können beispielsweise EEG-Veränderungen, die auf eine verbesserte Entspannungsfähigkeit des Probanden hinweisen, dazu verwendet werden, die Kopfform von der eines jungen Menschen zu der eines alten Menschen oder zu einer Zwischenstufe (mittel alter Mensch) zu verändern. The EEG is registered at the positions FCz and Pz during the user follows the program flow. For example, it is the content of the Program flow that the user like a mentally demanding task z. B. must perform arithmetic operations. Another situation requires the subject to relax. The EEG will initially be strengthened and AD converted, then passed to the computer. On Evaluation algorithm statistically evaluates the EEG. So be for example by means of a Fourier transformation the relative Frequency components of alpha, beta and theta waves determined and with general reference values compared or with reference values based on from preliminary examinations of the test person. Corresponding this comparison with reference values the head shape and size of the Avatars determined. For example, a user who has an EEG activity which shows the comparison with the standard values or Reference values correlated statistically with a good ability to relax is to get a head that is modeled on an old wise man is. A user who has an EEG activity, which, as evidenced by the Comparison with the norm values statistically with a bad one Relaxation ability is correlated, can get a head, for example, which is modeled on a young person. During the then subsequent program sequence, the results are repeated Measurements used to figure the avatar over the course modify. For example, EEG changes that affect a indicate the subject's improved relaxation ability used, the head shape from that of a young person to that of an old person or to an intermediate level (middle-aged person) change.

Breathing: virtual weight of the avatar

Mittels eines Sensors werden Atemfrequenz und Atemtiefe des Nutzers erfasst, während der Nutzer dem Programmablauf folgt. So ist es beispielsweise Aufgabe des Nutzers, den Avatar innerhalb der virtuellen Umgebung innerhalb einer möglichst kurzen Zeit über eine vorgegebene Distanz zu bewegen. Hierbei werden mittels des Sensors die Atemexkursionen des Nutzers ermittelt, die Impulse AD-gewandelt und an die Verarbeitungseinheit bzw. den Computer übergeben. Hier wird eine statistische Auswertung vorgenommen in dem Sinne, dass die Atemfrequenz und die Atemtiefe des Nutzers ermittelt werden. Diese Werte werden mit allgemeinen Referenzwerten oder mit Referenzwerten verglichen, die anhand von Voruntersuchungen des Nutzers erhoben wurden. Entsprechend dieses Vergleichs werden dem Avatar physikalische Eigenschaften innerhalb der virtuellen Welt zugewiesen. So erhält der Nutzer beispielsweise, wenn die Atemfrequenz und Atemtiefe im oberen Referenzbereich oder oberhalb des Referenzbereiches liegen, ein niedriges "virtuelles" Gewicht zugewiesen. Dieses führt dazu, dass er innerhalb der Nutzerumgebung besonders hoch springen kann. Im Gegensatz hierzu könnte ein Nutzer, dessen Atemfrequenz und -tiefe im unteren Referenzbereich liegen, ein hohes virtuelles Gewicht zugewiesen bekommen, was dazu führt, das er innerhalb der virtuellen Umgebung nur wenig hoch springen kann. Using a sensor, the breathing frequency and breathing depth of the user recorded while the user follows the program flow. That's the way it is For example, the user's task, the avatar within the virtual Environment within the shortest possible time over a given To move distance. Here, the Breathing excursions of the user determined, the impulses AD-converted and on hand over the processing unit or the computer. Here is one statistical evaluation made in the sense that the respiratory rate and the user's breathing depth are determined. These values are with general reference values or compared with reference values based on from preliminary investigations by the user. According to this The avatar compares physical properties within the assigned to the virtual world. For example, the user receives when the Respiratory rate and depth in the upper reference range or above the Reference range are assigned a low "virtual" weight. This leads to it being particularly high within the user environment can jump. In contrast, a user whose Breathing frequency and depth are in the lower reference range, a high one get virtual weight assigned, which leads to it being within can only jump a little high in the virtual environment.

Heart rate: virtual endurance of the avatar during movements

Mittels der erfindungsgemäßen Apparatur wird die Herzfrequenz des Nutzers erfasst und AD-gewandelt an den Computer übergeben. Hier findet ein Vergleich der momentanen Herzfrequenz des Nutzers mit allgemeinen Referenzwerten oder mit nutzerspezifischen Referenzwerten, die bei Vorsitzungen gewonnen wurden, statt. Liegt die aktuelle Herzfrequenz des Nutzers im oberen Referenzbereich, ist die Ausdauer des Avatars bei Bewegungen innerhalb der virtuellen Nutzerumgebung gering. Dieses ist z. B. für den Nutzer daran erkenntlich, dass dem Avatar in kurzen Abständen Energie z. B. in Form von Nahrung zugeführt werden muss. Liegt die aktuelle Herzfrequenz des Nutzers im unteren Referenzbereich, ist die Ausdauer des Avatars bei Bewegungen innerhalb der virtuellen Nutzerumgebung hoch. The heart rate of the user is determined by means of the apparatus according to the invention recorded and passed AD-converted to the computer. Here is one Comparison of the user's current heart rate with general ones Reference values or with user-specific reference values, which at Chairs were held instead. Is the current heart rate of the Users in the upper reference range, the endurance of the avatar is at There is little movement within the virtual user environment. This is e.g. B. for the user to recognize that the avatar in short intervals Energy z. B. must be supplied in the form of food. Is the current one Heart rate of the user in the lower reference range is the endurance of the Avatars high when moving within the virtual user environment.

Dieses ist z. B. für den Nutzer daran erkenntlich, dass dem Avatar in längeren Abständen Energie zugeführt werden muss. Durch kontinuierliche Aufnahme der Herzfrequenz des Nutzers und Abgleich mit den Referenzwerten wird die Ausdauer des Avatars kontinuierlich während des Programmablaufs modifiziert. This is e.g. B. for the user to recognize that the avatar in longer Intervals of energy must be supplied. Through continuous recording the heart rate of the user and comparison with the reference values Endurance of the avatar continuously during the course of the program modified.

Skin conductance: movements of the avatar

Die Bewegungsabläufe des Avatars hängen vom Hautleitwert des Nutzers ab. Der Hautleitwert wird mittels einer Messeinrichtung erfasst, die eine Verstärkung der Messwerte und eine Anschließende AD-Wandlung durchführt. Nach Übergabe an den Computer wird mittels statistischer Methoden die Veränderung des Hautleitwertes im Zeitverlauf erfasst. Es erfolgt eine Bewertung dieser Veränderungen (Zunahme bzw. Abnahme bzw. Konstanz) in Abhängigkeit von allgemeinen Referenzwerten oder in Abhängigkeit von Referenzwerten, die anhand von Voruntersuchungen des Nutzers gebildet wurden. Nimmt beispielsweise der Hautleitwert des Nutzers im Vergleich zu den Referenzwerten überproportional zu, zeigen die Hände ein Schütteln (medizinisch als Tremor bezeichnet), um z. B. Aufregung zu symbolisieren. Nimmt der Hautleitwert des Nutzers überproportional ab, lässt z. B. das Schütteln der Hände nach, um einen geringen Erregungsgrad des Nutzers anzuzeigen. The movements of the avatar depend on the skin conductance of the user from. The skin conductance is recorded by means of a measuring device, which is a Amplification of the measured values and a subsequent AD conversion performs. After transfer to the computer is done by means of statistical Methods recorded the change in skin conductance over time. It these changes are assessed (increase or decrease or Constancy) depending on general reference values or in Dependence on reference values, which are based on preliminary studies of the Users were formed. Take, for example, the skin's skin conductance disproportionate to the reference values, the hands show a shake (medically called tremor) to e.g. B. excitement too symbolize. If the skin's conductance decreases disproportionately, lets z. B. shaking hands after to a low degree of arousal of the user.

Temperature: skin color of the avatar

Mittels eines Temperatursensors wird die Hauttemperatur des Nutzers erfasst, AD-gewandelt und an den Computer übertragen. Hier findet ein Vergleich der momentanen Hauttemperatur des Nutzers mit Referenzwerten des Systems statt, die aus Voruntersuchungen des Nutzers stammen oder allgemeine Referenzwerte darstellen. Durch den statistischen Vergleich wird die Hautfarbe des Avatars bestimmt. Liegt die Hauttemperatur im oberen Normbereich, wird die Haut zunehmend rötlicher. Liegt sie im unteren Normbereich, wird die Haut zunehmend blasser. Durch kontinuierlichen Abgleich der aktuellen Hauttemperatur des Nutzers mit den Referenzwerten wird die Hauttemperatur des Avatars kontinuierlich modifiziert. The skin temperature of the user is measured by means of a temperature sensor captured, AD converted and transferred to the computer. Here is one Comparison of the user's current skin temperature with reference values of the system, which originate from preliminary examinations of the user or represent general reference values. By statistical comparison determines the skin color of the avatar. The skin temperature is in the upper Normal range, the skin becomes increasingly reddish. Is it in the bottom Normal range, the skin becomes increasingly pale. Through continuous Comparison of the current skin temperature of the user with the reference values the skin temperature of the avatar is continuously modified.

Other aspects of the avatar are preferred based on others Biofactors set or biofactors taken into account in combination

Die Biosignale des Nutzers werden erfindungsgemäß zu Beginn einer Anwendung gemessen (hierbei kann es sich um eine einzelne Sitzung oder aber auch um eine ganze Abfolge von Sitzungen handeln) und dienen dazu, den Avatar erstmalig festzulegen. Im Verlauf der Anwendung (d. h. während einer Sitzung oder in nachfolgenden Sitzungen) wird der Avatar dann vorzugsweise anhand von Veränderungen der Biosignale modifiziert. Dies kann anhand von Morphingverfahren von Aspekten des Avatars geschehen oder auch dadurch erfolgen, dass ein unterschiedlicher Avatar aus einer Gruppe vordefinierter Avatars ausgewählt wird. Perspektivisch kann eine komplette virtuelle Repräsentanz aller Biofaktoren eines Nutzers erstellt werden. According to the invention, the bio signals of the user are used at the beginning of an application measured (this can be a single session or one entire sequence of sessions) and serve the Avatar for the first time set. During the course of the application (i.e. during a session or in subsequent sessions), the avatar is then preferably based on Modifications to the biosignals modified. This can be done using Morphing processes of aspects of the avatar happen or also through it take place that a different avatar from a group of predefined avatars is selected. In perspective, a complete virtual representation of everyone Biofactors of a user are created.

Die aus den VEPSY/VEPAR EU-Programmen entwickelten Modelle, um einen Avatar zu modifizieren, berücksichtigen nicht die in der vorliegenden Erfindung genannten Biofaktoren. Es handelt sich vielmehr lediglich um die Messwerte Gewicht und Körpergröße, die "konventionell" ermittelt werden. The models developed from the VEPSY / VEPAR EU programs to create a Modifying Avatar does not take into account those in the present invention called biofactors. Rather, it is only about the measured values Weight and height, which are determined "conventionally".

Die virtuelle Nutzerumgebung, innerhalb derer sich der Nutzer mittels seines Avatars bewegt, ist grundsätzlich durch die Geometrien der Umwelt wie z. B. virtuell dargestellte Häuser oder Naturszenen und durch die Präsenz weiterer Objekte wie z. B. Autos, Steine etc. bestimmt. Ebenso wie sich Formen und Verhalten des Avatars an die gemessenen Biofaktoren des Nutzers adaptieren, passt sich vorzugsweise auch die virtuelle Umgebung an die Biofaktoren des Nutzers an. Beispielsweise wird die affektive Wahrnehmung des Probanden über Messung des EMG des M. zygomatikus und des EMG des M. corrugator sowie des HLW bestimmt und die Umwelt entsprechend des emotionalen Zustandes des Nutzers verändert. So kann ein Proband mit positiver affektiver Wahrnehmung in ein angenehmes virtuelles Szenario exponiert werden, wie z. B. einen sonnigen Strand, während ein Proband mit negativer affektiver Wahrnehmung in ein unangenehmes Szenario wie z. B. ein Verlies versetzt wird. The virtual user environment within which the user uses his Avatars is moved by the geometries of the environment such as B. virtual depicted houses or natural scenes and through the presence of other objects such as z. B. cars, stones, etc. determined. Just like the forms and behavior of the Adapting avatars to the measured biofactors of the user fits preferably also the virtual environment to the biofactors of the user. For example, the subject's affective perception is measured by measuring the EMG of the zygomatikus and the EMG of the corrugator and CPR determined and the environment according to the emotional state of the user changed. So a subject with positive affective perception can get into one pleasant virtual scenario are exposed, such as B. a sunny beach, while a subject with negative affective perception turns into an uncomfortable one Scenario such as B. move a dungeon.

Diese Modifikation der virtuellen Umgebung erfolgt erfindungsgemäß folgendermaßen:
Innerhalb eines virtuellen Raums wird dem Nutzer ein Stimulus gezeigt, der gemäss seines emotionalen Gehaltes bekannt ist. So kann es sich um einen Stimulus handeln, der gemäss anhand von allgemeinen Referenzwerten als emotional positiv einzuschätzen ist (wie z. B. ein Aktfoto) oder als emotional negativ einzuschätzen ist (wie z. B. ein Kriegsfoto). Während der Nutzer den Stimulus wahrnimmt, wird ein lautes Geräusch (der sog. Arousalreiz) präsentiert. Parallel hierzu wird der Hautleitwert sowie die EMG-Aktivität der o. g. Muskeln erfasst. Anhand des Vergleichs mit Referenzwerten des Hautleitwertes und der Latenz und der Amplitude des o. g. EMG wird die Wahrnehmung des Computernutzers als emotional positiv, emotional negativ oder emotional neutral klassifiziert und eine entsprechende Exposition mit gezielt ausgerichteten Reizen innerhalb der virtuellen Umgebung angeschlossen, wie z. B. dem Versetzen des Nutzers in ein angenehmes Szenario. According to the invention, this modification of the virtual environment takes place as follows:
Within a virtual room, the user is shown a stimulus that is known according to its emotional content. For example, it can be a stimulus that, based on general reference values, can be assessed as emotionally positive (such as a nude photo) or emotionally negative (such as a war photo). While the user perceives the stimulus, a loud noise (the so-called arousal stimulus) is presented. In parallel, the skin conductance and the EMG activity of the above muscles are recorded. Based on the comparison with reference values of the skin conductance and the latency and the amplitude of the above-mentioned EMG, the perception of the computer user is classified as emotionally positive, emotionally negative or emotionally neutral and a corresponding exposure with targeted stimuli within the virtual environment is connected, such as B. putting the user in a comfortable scenario.

Ebenso wie bei der Formung des Avatars ist es möglich, zunächst die Biovariablen des Nutzers zu erfassen, ein erste virtuelle Umwelt zu bestimmen und diese dann im Verlauf der Anwendung an Veränderungen der Variablen des Nutzers zu adaptieren. Just like with the formation of the avatar, it is possible to start with the biovariables of the user, to determine a first virtual environment and then this changes in the variables of the user in the course of the application adapt.

Ein weiterer Aspekt der vorliegenden Erfindung betrifft die Nutzung der o. g. Biofaktoren um dem Nutzer zu ermöglichen, Objekte in der virtuellen Welt zu manipulieren. Den Objekten sind in der virtuellen Welt physikalische Eigenschaften zugeordnet. Es existiert z. B. Schwerkraft und die Objekte haben ein Gewicht. Beispielsweise kann der Nutzer über die Messung der Amplitude des EMG im Zeitverlauf und eine statistische Verrechnung der Parameter erfindungsgemäß Objekte in ihrer Position, Konfiguration oder Bewegungsrichtung durch den Nutzer verändern. Gleichermaßen kann die Veränderung des Hautleitwertes, der Atemfrequenz- oder Tiefe, der Pulsfrequenz, der Hauttemperatur oder der EEG- Frequenzen mit einer Manipulation von Objekten verknüpft sein. Im Gegensatz zu bekannten Biofeedbackverfahren, die die Messung von Bioaktivität im Sinne von Feedbackschleifen, die dem Nutzer die Aktivität in Form von einfachen Kurven oder Balkengraphiken oder mittels der Steuerung von einfachen Animationen verdeutlichen, beinhalten, werden erfindungsgemäß komplexe Modifikationen von Objekten in virtuellen Nutzerumgebungen ausgeführt. Im Gegensatz zu herkömmlichen Produkten, die mit der Erfassung eines einzelnen Biofaktors wie z. B. dem EEG oder von Biofaktoren eines Fingers auskommen, sind die Eingabemöglichkeiten des Nutzers mannigfaltig. Hierdurch wird erfindungsgemäß ein komplexes Biointerface Mensch-Computer geschaffen. Der Nutzer kann mittels seiner Biofaktoren im System direkt komplexe Abläufe steuern. Der Grad der Einbindung des Nutzers ist somit erfindungsgemäß erheblich höher als bei Anwendungen, in denen jeweils lediglich ein Biofaktor Berücksichtigung findet. Gemäß der vorliegenden Erfindung ist es somit beispielsweise auch möglich, innerhalb eines Computerspieles mehrere Spieler mit ihren realen biologischen Fähigkeiten gegeneinander antreten zu lassen. Dabei nehmen eine Reihe von Faktoren die teilweise bewusst gesteuert werden können oder sich teilweise einer bewussten Steuerung entziehen, direkten Einfluss auf die Aktionen am Bildschirm. Im Gegensatz zu den existenten Produkten, die aufgrund ihrer Limitationen lediglich eine geringe Einbindung des Nutzers in den Computerablauf ermöglichen, handelt es sich also, da diverse Biofaktoren den Nutzer praktisch biologisch omnipräsent machen, um eine völlig neuartige Schnittstelle zwischen Mensch und Computer, die eine völlig neuartige Immersion des Nutzers ermöglicht. Another aspect of the present invention relates to the use of the above. Biofactors to allow the user to view objects in the virtual world manipulate. In the virtual world, objects are physical properties assigned. There exists e.g. B. Gravity and the objects have a weight. For example, the user can measure the amplitude of the EMG in the Time course and a statistical calculation of the parameters according to the invention Objects in their position, configuration or direction of movement by the user change. Similarly, the change in skin conductance, the Respiratory rate or depth, pulse rate, skin temperature or EEG Frequencies associated with manipulation of objects. In contrast to Known biofeedback processes that measure the bioactivity in the sense of Feedback loops that show the user the activity in the form of simple curves or Bar graphics or by controlling simple animations illustrate, include, complex modifications of Objects in virtual user environments. In contrast to conventional products that deal with the detection of a single biofactor z. B. get the EEG or biofactors of a finger, are Various input options for the user. This is according to the invention created a complex biointerface human-computer. The user can use of its biofactors in the system directly control complex processes. The degree of According to the invention, user involvement is considerably higher than in Applications in which only one biofactor is taken into account. According to the present invention, it is therefore also possible, for example, within a computer game several players with their real biological Ability to compete against each other. In doing so take a number of Factors that can be controlled consciously in part or that are partially withdraw from conscious control, direct influence on the actions on the screen. In contrast to the existing products, which due to their limitations only enable a low level of user involvement in the computer process So it is because various biofactors are practically biologically omnipresent to the user to create a completely new interface between humans and computers that enables a completely new immersion of the user.

Ein weiterer Aspekt der Erfindung betrifft die Ablaufsteuerung von Computerprogrammen durch Biofaktoren, die kognitive Funktionen der Nutzer widerspiegeln, wie z. B. ereigniskorrelierte Potentiale. Dies erfolgt erfindungsgemäß durch die Erfassung und Verarbeitung der Parameter P3b und ERN. Dieser erfindungsgemäße Aspekt ermöglicht es, neuartige Lernmethoden umzusetzen. Die Nutzer erhalten in der virtuellen Welt Aufgaben, die sie erledigen müssen. Naturgemäß setzt die Erledigung der Aufgaben einen Entscheidungsprozess voraus. Ein Charakteristikum des Entscheidungsprozesses ist es, dass hierdurch EKP induziert werden. Die P3b erlaubt es, die Geschwindigkeit und die Güte des Entscheidungsprozesses zu messen. Hierzu wird erfindungsgemäß die Einzelpotentialanalyse der Frequenz und der Amplitude der P3b verwendet. Die Analyse erfolgt dergestalt, dass parallel zur Präsentation eines kritischen Reizes in der virtuellen Welt das EEG registriert und mit bestimmten digitalen Filtern bearbeitet wird. Ein folgender Verarbeitungsschritt beinhaltet die statistische Analyse der gefilterten Wellenformen. Hierbei erfolgt ein statistischer Vergleich zwischen dem mit dem kritischen Reiz zeitlich korrelierten EEG-Segment (hierbei handelt es sich gewissermaßen um ein P3b-Einzelpotential) und einer allgemeinen Referenzwellenform oder einer nutzerspezifischen Referenzwellenform der P3b. Der statistische Vergleich besteht z. B. aus einer Waveletanalyse und ermöglicht es, zwischen Präsenz und Absenz der P3b zu unterscheiden und zusätzlich ggf. Amplitude und Latenz der P3b zu erfassen. Hierdurch ist es möglich, den Ablauf des Entscheidungsprozesses des Nutzers qualitativ und quantitativ in einer automatisierten Form zu bewerten. Another aspect of the invention relates to the sequential control of Computer programs through biofactors, the cognitive functions of users reflect how B. event-related potentials. This is done according to the invention by capturing and processing parameters P3b and ERN. This aspect of the invention makes it possible to implement novel learning methods. The In the virtual world, users receive tasks that they have to do. Naturally, completing the tasks involves a decision-making process ahead. A characteristic of the decision-making process is that EKP can be induced. The P3b allows the speed and quality of the Measure decision-making process. According to the invention, the Single potential analysis of the frequency and amplitude of the P3b used. The Analysis takes place in such a way that parallel to the presentation of a critical stimulus in the EEG registered in the virtual world and with certain digital filters is processed. A subsequent processing step includes the statistical one Analysis of the filtered waveforms. A statistical comparison is made here between the EEG segment correlated with the critical stimulus (here it is a kind of a P3b single potential) and a general one Reference waveform or a user-specific reference waveform of the P3b. The statistical comparison consists e.g. B. from a wavelet analysis and enables to distinguish between presence and absence of P3b and, if necessary, Detect amplitude and latency of P3b. This makes it possible to complete the process the decision-making process of the user qualitatively and quantitatively in one automated form.

Die ERN erlaubt es, das Fehlermonitoring zu messen. Die ERN wird dabei als Maß für die Sicherheit verwandt, mit der ein Proband eine bestimmte Entscheidung trifft und mit der er eigene Fehler erkennt. Auch die ERN wird innerhalb einer Einzelpotentialanalyse in Bezug auf ihre Latenz und ihre Amplitude erfasst, nachdem ein EEG-Segment registriert wurde, das mit einem kritischen Reiz zeitlich korreliert ist. Das statistische Verfahren entspricht der Analyse der P3b. Durch die Analyse der P3b und der ERN wird also die Entscheidungsgüte (Geschwindigkeit der Entscheidung und Sicherheit der Entscheidung) gemessen, zum Teil auch ohne dass eine direkte Reaktion des Computernutzers beispielsweise mittels Knopfdruck notwendig ist. Bevorzugt ist dabei eine automatisierte Anpassung des Schwierigkeitsgrades oder der Art von Aufgaben, die der Proband zu lösen hat. Hierdurch ist eine automatische Adaptation des Schwierigkeitsgrades von Aufgaben innerhalb der virtuellen Umgebung möglich. Erfindungsgemäß werden also Biofaktoren des Nutzers erfasst und verarbeitet, die mit bestimmten kognitiven Fähigkeiten in unmittelbarem Zusammenhang stehen und die z. B. eine automatisierte Adaptation des Schwierigkeitsgrades von Trainingsaufgaben ermöglichen. The ERN allows error monitoring to be measured. The ERN is used as a measure related to the security with which a subject makes a particular decision and with which he recognizes his own mistakes. The ERN is also part of a Individual potential analysis recorded in terms of their latency and their amplitude, after an EEG segment was registered, the time with a critical stimulus is correlated. The statistical procedure corresponds to the analysis of P3b. Through the Analysis of the P3b and the ERN will make the decision quality (speed the decision and certainty of the decision), sometimes without that a direct response from the computer user, for example, by pressing a button necessary is. An automated adaptation of the Difficulty level or the type of tasks the subject has to solve. This is an automatic adaptation of the degree of difficulty of tasks possible within the virtual environment. According to the invention User biofactors captured and processed using certain cognitive Skills are directly related and the z. Legs automated adaptation of the level of difficulty of training tasks enable.

Das erfindungsgemäße System und die Verfahren erlauben es, die Interaktion zwischen Mensch und Maschine zu verbessern, indem Biofaktoren erfasst werden, die die Repräsentanz des Nutzers in virtuellen Umgebungen beeinflussen und den Ablauf komplexer Programme steuern. The system and the method according to the invention allow the interaction between humans and machines by recording biofactors, that influence the representation of the user in virtual environments and the Control the flow of complex programs.

Die erfassten Biofaktoren dienen dazu, den Avatar des Nutzers zu modifizieren. Außerdem stellt die Erfindung dem Nutzer erheblich erweiterte Eingabemöglichkeiten für Computeranwendungen zur Verfügung. Dabei geht es jedoch im Vergleich zum Stand der Technik nicht lediglich darum, dem Nutzer direkt seinen physiologischen Zustand rückzumelden. Vielmehr stehen dem Nutzer über die Erfassung des Signals direkte Eingabemöglichkeiten zur Verfügung und ermöglichen damit eine realitätsnahe Einbindung des Nutzers mit seinen biologisch begründeten Fähigkeiten in die virtuelle Welt. Beispielsweise ermöglichen die Biofaktoren dem Nutzer direkt Eingriffe in eine Spieleanwendung. Weiterhin erlauben Erfassung und Bewertung ausgewählter Biofaktoren, die die kognitiven Fähigkeiten des Nutzers repräsentieren, ein computerbasiertes Training, welches automatisch in der Schwierigkeit an die Fähigkeiten des Nutzers adaptiert wird, ohne dass der Nutzer notwendigerweise direkte Eingaben über konventionelle Eingabemedien tätigen muss. The recorded biofactors are used to modify the user's avatar. In addition, the invention provides the user with significantly expanded Input options for computer applications are available. It works however, in comparison to the state of the art, it is not just about direct access to the user to report his physiological state. Rather, the user stands out the acquisition of the signal provides direct input options and thus enable realistic integration of the user with their biological well-founded skills in the virtual world. For example, the Biofactors directly intervene in a game application. Farther allow the capture and evaluation of selected biofactors that are cognitive Represent user skills, a computer-based training which the difficulty is automatically adapted to the user's abilities, without the user necessarily making direct entries via conventional Must do input media.

Die Erfindung ermöglicht, den komplexen Organismus des Menschen, der aus einer Vielzahl von biologischen Vorgängen besteht, die gewissermaßen ein "holistisches" Ganzes bilden, zu berücksichtigen. Dem Computernutzer können die Vielzahl seiner Bioparameter auf konkrete Art und Weise dargestellt werden. Ferner wird dem Nutzer eine Schnittstelle zur Verfügung gestellt, über die er durch bewusste Modifikation verschiedener Biofaktoren realitätsnah in die Ablaufsteuerung von Computerprogrammen eingreifen kann. Schließlich erlaubt die Erfindung, über die Erfassung von Bioparametern wie z. B. ereigniskorrelierten Potentialen, die kognitive Funktionen des Nutzers widerspiegeln, den Ablauf der Computerprogramme zu steuern, ohne dass Nutzerantworten über ein konventionelles Eingabemedium notwendig sind. The invention enables the complex human organism, which from a There is a multitude of biological processes that are, so to speak, a "holistic" Form whole, to be considered. The computer user can see the multitude of his Bioparameters are presented in a concrete way. Furthermore, the Provided users with an interface through which they can move through conscious Modification of various biofactors realistically in the process control of Computer programs can intervene. Finally, the invention allows over the Acquisition of bioparameters such as B. event-related potentials, the cognitive Functions of the user reflect the flow of computer programs control without user responses via a conventional input medium are necessary.

Die Erfindung wird mit Bezug auf die beigefügten Zeichnungen näher erläutert. Es zeigen: The invention is explained in more detail with reference to the accompanying drawings. It demonstrate:

Fig. 1 eine Übersichtsdarstellung des erfindungsgemäßen Systems; FIG. 1 is an outline diagram of the inventive system;

Fig. 2 die Anordnung zweier EEG Elektroden innerhalb einer Haube; FIG. 2 shows the arrangement of two EEG electrodes inside a hood;

Fig. 3 die Anordnung einer EMG Elektrode auf einer Armmanschette; FIG. 3 shows the arrangement of an EMG electrode on a cuff;

Fig. 4 die Applikation zweier EMG Elektroden im Gesicht; . Figure 4 illustrates the application of two EMG electrodes in the face;

Fig. 5 die Anbringung eines Atemgurtes am Nutzer; FIG. 5 shows the attachment of a breathing belt on the user;

fig. 6 einen Fingersensor zum Messen des Hautleitwertes; fig. 6 a finger sensor for measuring the skin conductance;

Fig. 7 die Anbringung eines Pulssensors am Arm des Nutzers; FIG. 7 shows the attachment of a pulse sensor on the arm of the user;

Fig. 8 die Anbringung eines Temperatursensors am Nutzer; Fig. 8 is the mounting of a temperature sensor on the user;

Fig. 9 eine schematische Darstellung des erfindungsgemäßen Systems; Fig. 9 is a schematic representation of the system according to the invention;

Fig. 10 den erfindungsgemäßen Einfluss verschiedener biophysikalischer Parameter auf einen Avatar; Fig. 10 according to the invention the influence of various biophysical parameters to an avatar;

Fig. 11 den Ablauf der erfindungsgemäßen Avatarmodifikation; FIG. 11 is the expiry of avatar modification according to the invention;

Fig. 12 den Ablauf der erfindungsgemäßen Modifikation der Geometrien einer virtuellen Umgebung; FIG. 12 is the expiry of the modification according to the invention the geometries of a virtual environment;

Fig. 13 den Ablauf der Manipulation eines virtuellen Objektes auf der Basis von Biofaktoren; und FIG. 13 is the expiry of manipulation of a virtual object on the basis of biofactors; and

Fig. 14 den Ablauf des erfindungsgemäßen Trainings mittels EKP. Fig. 14 shows the end of the training according to the invention by means of ECP.

Fig. 1 veranschaulicht das erfindungsgemäße System, das mehrere Messaufnehmer zum Messen verschiedener biophysikalischer Parameter aufweist, die an einem Nutzer angebracht werden. In der gezeigten Darstellung sind dies EEG-Sensoren; ein Atemgurt, Puls- und Temperatursensoren (am Finger des Nutzers) sowie EMG-Sensoren am linken Unterarm. Die Messaufnehmer sind mit einem Peripheriegerät verbunden, das wiederum mit einer Verarbeitungseinheit, etwa einem PC verbunden ist. Fig. 1, the inventive system comprising a plurality of sensors illustrated for measuring various biophysical parameters, which are attached to a user. In the illustration shown, these are EEG sensors; a breathing belt, pulse and temperature sensors (on the user's finger) and EMG sensors on the left forearm. The sensors are connected to a peripheral device, which in turn is connected to a processing unit, such as a PC.

Fig. 2 zeigt eine elastische Haube, in der an den international klassifizierten Positionen Pz und FCz EEG-Elektroden vorgesehen sind. Diese beiden aktiven Elektroden sind wie die passive Elektrode mit dem Peripheriegerät verbunden, dem die gemessenen Signale zugeführt werden. Fig. 2 shows a flexible hood, in the EEG electrodes are provided on the internationally classified positions Pz and FCZ. Like the passive electrode, these two active electrodes are connected to the peripheral device to which the measured signals are fed.

Eine Armmanschette für die EMG-Elektroden ist in Fig. 3 gezeigt. Die Manschette ist vorzugsweise für den Unterarmbereich des Nutzers gedacht. Es ist eine aktive und eine passive Elektrode vorgesehen, deren Signale dem Peripheriegerät zugeführt werden. Die aktive Elektrode ist dabei oberhalb des linksseitigen M. flexor digitorum quintus angebracht. An arm cuff for the EMG electrodes is shown in FIG. 3. The cuff is preferably intended for the user's forearm area. An active and a passive electrode are provided, the signals of which are fed to the peripheral device. The active electrode is attached above the left flexor digitorum quintus.

Fig. 4 veranschaulicht die Anbringung von zwei aktiven und einer passiven EMG- Elektrode im Gesichtsbereich des Nutzers. Eine aktive Elektrode sitzt im rechtsseitigen Gesichtsbereich am M. zygomaticus, die anderen am M. corrugator. Fig. 4 illustrates the application of two active and a passive EMG electrode on the face of the user. One active electrode is located on the right side of the face on the zygomaticus muscle, the others on the corrugator muscle.

Das Anbringen eines Brustgurtes zum Aufnehmen der Bewegungen des Brustkorbes des Benutzers ist in Fig. 5 veranschaulicht. So können beispielsweise Atembewegungen des Nutzers erfasst werden. The attachment of a chest strap to accommodate the movements of the user's chest is illustrated in FIG. 5. For example, the user's breathing movements can be recorded.

Fig. 6 zeigt ein Fingersensor zum Messen des Hautleitwertes bzw. des Hautwiderstandes, der aus zwei Elektroden (aktiv und passiv) besteht. Fig. 6 shows a finger sensor for measuring the skin conductivity or resistance of the skin, consisting of two electrodes (active and passive).

Fig. 7 zeigt die Anordnung eines Sensors für die Aufnahme der Pulsfrequenz. Der Sensor ist innerhalb eines Armbandes angebracht und weist ebenfalls eine aktive und eine passive Elektrode auf. Fig. 7 shows the arrangement of a sensor for recording the pulse frequency. The sensor is mounted inside a bracelet and also has an active and a passive electrode.

In Fig. 8 ist die Anordnung eines Hauttemperatursensors am Nutzer gezeigt. Die gemessenen Signale werden dem Peripheriegerät zugeführt. The arrangement of a skin temperature sensor on the user is shown in FIG. 8. The measured signals are fed to the peripheral device.

Fig. 9 zeigt eine schematische Darstellung des erfindungsgemäßen Systems. Die verschiedenen Signale der mit den Biomessaufnehmern überwachten biophysikalischen Parameter werden dem Peripheriegerät zugeführt. Dieses weist für die gemessenen Signale Verstärker und Filter auf, um so die Signale einer Vorverarbeitung zu unterziehen. Anschließend werden die Signale A/D gewandelt und an ein Computerinterface übergeben. Über dieses Interface werden die Daten dem Computer zugeführt. Fig. 9 shows a schematic representation of the inventive system. The various signals of the biophysical parameters monitored with the biomeasurement sensors are fed to the peripheral device. This has amplifiers and filters for the measured signals in order to subject the signals to preprocessing. The signals A / D are then converted and transferred to a computer interface. The data is fed to the computer via this interface.

Fig. 10 veranschaulicht die Zuordnung der gemessenen Bioparameter zu den Eigenschaften des Avatars. Die gemessenen EMG-Signale, d. h. die Amplitude der Kontraktion des M. flexor digitorum quintus bestimmen die Größe und Muskelmasse des Avatars. Die auf der Grundlage der EEG-Signale durchgeführte Frequenzanalyse mit Bestimmung der Alpha-, Beta- und Theta-Anteile wird zur Bestimmung der Form und der Größe des Kopfes des Avatars verwendet. Über die gemessene Atembewegung des Nutzers, d. h. der Frequenz und Tiefe der Atmung wird das virtuelle Gewicht des Avatars festgelegt. Die Herzfrequenz hat Einfluss auf die virtuelle Ausdauer des Avatars bei Bewegungen. Der Hautleitwert bestimmt Bewegungsabläufe des Avatars. Die Temperatur wird zur Bestimmung der Hautfarbe des Avatars herangezogen. Fig. 10 illustrates the assignment of the measured bioparameters to the properties of the avatar. The measured EMG signals, ie the amplitude of the contraction of the flexor digitorum quintus muscle, determine the size and muscle mass of the avatar. The frequency analysis based on the EEG signals with determination of the alpha, beta and theta components is used to determine the shape and size of the avatar's head. The virtual weight of the avatar is determined via the measured breathing movement of the user, ie the frequency and depth of breathing. The heart rate influences the virtual endurance of the avatar during movements. The skin conductance determines the movements of the avatar. The temperature is used to determine the skin color of the avatar.

Vorzugsweise werden weitere Aspekte des Avatars anhand von anderen Biofaktoren festgelegt oder Biofaktoren in Kombination berücksichtigt. Other aspects of the avatar are preferably based on others Biofactors set or biofactors taken into account in combination.

Fig. 11 veranschaulicht das Ablaufschema der Formung des Avatars anhand der Biofaktoren des Nutzers. In einem ersten Schritt gibt der Nutzer seine persönlichen Daten ein, die dann mit bereits registrierten Datensätzen verglichen werden, um so festzustellen, ob der Nutzer dem System bereits bekannt ist. Für den Fall, dass der Nutzer bereits bekannt ist, wird auf den bereits früher verwendeten Avatars zurückgegriffen. Falls der Nutzer dem System noch nicht bekannt ist, werden in einem nächsten Schritt zunächst die verschiedenen Biofaktoren des Nutzers erfaßt und in einem nächsten Schritt mit entsprechenden Referenzwerten verglichen. Anhand dies Vergleichs der nutzerspezifischen Biofaktoren mit den Referenzwerten wird ein Avatar mit entsprechender Form und entsprechenden Fähigkeiten ausgewählt. Dann tritt das Verfahren in eine Schleife ein. Ausgehend von einer nun erfolgenden erneuten Erfassung der Biofaktoren des Nutzers und einem anschließenden Vergleich der aktuellen Biofaktoren mit gespeicherten Referenzwerten wird der nutzerspezifische Avatar entsprechend modifiziert. Im Falle einer kontinuierlichen Erfassung der Biofaktoren kehrt die Schleife wie in Fig. 11 im rechten unteren Zweig gezeigt erneut zum Schritt der Erfassung der Biofaktoren zurück. Alternativ erfolgt zunächst eine Modifikation der Referenzwerte und anschließend ein erneuter Vergleich der aktuellen Biofaktoren mit den modifizierten Referenzwerten. Fig. 11, the flowchart illustrates the forming of the avatar based on the biofactors of the user. In a first step, the user enters his personal data, which is then compared with already registered data records in order to determine whether the user is already known to the system. In the event that the user is already known, the avatars already used will be used. If the user is not yet known to the system, the various biofactors of the user are first recorded in a next step and compared with corresponding reference values in a next step. On the basis of this comparison of the user-specific biofactors with the reference values, an avatar with the appropriate shape and corresponding capabilities is selected. Then the process loops. The user-specific avatar is modified accordingly on the basis of a renewed recording of the biofactors of the user and a subsequent comparison of the current biofactors with stored reference values. In the case of continuous detection of the biofactors, the loop returns to the step of detecting the biofactors as shown in the lower right branch in FIG. 11. Alternatively, the reference values are first modified and then the current biofactors are compared again with the modified reference values.

Fig. 12 veranschaulicht das Ablaufschema der Modifikation der Geometrien und Objekte der virtuellen Programmumgebung anhand der Biofaktoren des Nutzers. Gemäß dieses Verfahrens erfolgt in einem ersten Schritt eine Dateneingabe, d. h. es werden die spezifischen Daten des Nutzers in das System eingegeben. Anhand dieser eingegebenen Daten überprüft das System, ob der Nutzer bereits registriert ist. Wenn dies der Fall ist wird auf bereits vorhandene Geometrien bzw. Objekte zurückgegriffen. Falls der Nutzer dem System noch nicht bekannt ist, werden in einem weiteren Schritt zunächst die aktuellen Biofaktoren des Nutzers erfaßt. Diese werden im nächsten Schritt mit gespeicherten Referenzwerten verglichen. Auf der Grundlage dieses Vergleiches werden dann geeignete Geometrien bzw. Objekte selektiert. Anschließend wird wieder in eine Schleife eingetreten, in der zunächst die aktuellen Biofaktoren des Nutzers erfasst und daraufhin mit entsprechenden Referenzwerten verglichen werden. Aufgrund dieses Vergleiches werden die nutzerspezifischen Geometrien bzw. Objekte geeignet modifiziert. Im Falle einer kontinuierlichen Erfassung der Biofaktoren kehrt die Schleife zum Schritt des Erfassens der Biofaktoren des Nutzers zurück. Alternativ kann zunächst eine Modifikation der Referenzwerte erfolgen. Fig. 12 is the flowchart illustrating the modification of the geometry and properties of the virtual environment based on the program biofactors of the user. According to this method, data is entered in a first step, ie the specific data of the user are entered into the system. The system uses this data to check whether the user is already registered. If this is the case, existing geometries or objects are used. If the user is not yet known to the system, the current biofactors of the user are first recorded in a further step. In the next step, these are compared with stored reference values. On the basis of this comparison, suitable geometries or objects are then selected. A loop is then entered again, in which the current biofactors of the user are first recorded and then compared with corresponding reference values. Based on this comparison, the user-specific geometries or objects are modified appropriately. In the case of continuous detection of the biofactors, the loop returns to the step of detecting the biofactors of the user. Alternatively, the reference values can be modified first.

Fig. 13 veranschaulicht die Manipulation eines Objektes über Biofaktoren. Zunächst werden die Biofaktoren des Nutzers erfasst und nach Verstärkung und Analog/Digital-Wandlung einer statistischen Auswertung zur Bildung von Referenzwerten unterzogen. In einer sich daran anschließenden Schleife werden die aktuellen Werte der Biofaktoren mit Referenzwerten verglichen und ein Objekt anhand des Ergebnisses des Vergleiches modifiziert. In einem weiteren Schritt kann zunächst eine Modifikation der Referenzwerte erfolgen (linker Zweig in Fig. 13) bevor erneut auf der Grundlage einer statistischen Auswertung Referenzwerte gebildet werden. Alternativ dazu erfolgt eine Erfassung der Biofaktoren, die dann wiederum mit Referenzwerten verglichen werden. Fig. 13 illustrates the manipulation of an object on biofactors. First, the biofactors of the user are recorded and, after amplification and analog / digital conversion, subjected to a statistical evaluation to form reference values. In a subsequent loop, the current values of the biofactors are compared with reference values and an object is modified based on the result of the comparison. In a further step, the reference values can first be modified (left branch in FIG. 13) before reference values are again formed on the basis of a statistical evaluation. Alternatively, the biofactors are recorded, which are then compared with reference values.

Fig. 14 veranschaulicht die automatisierte Ablaufsteuerung von kognitiven Trainingsaufgaben mittels Erfassung der P3b und ERN. Zu Beginn von solchen kognitiven Trainingsaufgaben wird dem Nutzer zunächst eine Aufgabe gestellt. Es werden die EEG-Signale erfasst, verstärkt und einer Analog/Digital-Wandlung unterzogen. In einem nächsten Schritt erfolgt anhand dieser Signale eine Extraktion von ERN und P3b in Einzelpotentiale. Mehrere dieser Einzelpotentiale werden gemittelt und zur Bildung eines Referenzwertes herangezogen. Anschließend erfolgt eine Bewertung der Leistung des Nutzers auf der Grundlage eines statistischen Vergleiches eines Einzeldurchlaufes mit entsprechenden Referenzwerten. Danach kann gegebenenfalls eine Modifikation des Schwierigkeitsgrades der Aufgabe bzw. der Aufgaben erfolgen. Im Folgenden wird der Nutzer mit einer neuen Aufgabe konfrontiert und die Potentiale ERN und P3b dieser spezifischen Aufgabe werden erneut extrahiert. Daraufhin wird erneut die Leistung des Nutzers bewertet. Fig. 14, the automated sequence control of cognitive training tasks illustrated by means of detecting the P3b and ERN. At the beginning of such cognitive training tasks, the user is first given a task. The EEG signals are recorded, amplified and subjected to an analog / digital conversion. In a next step, these signals are used to extract ERN and P3b into individual potentials. Several of these individual potentials are averaged and used to form a reference value. The performance of the user is then assessed on the basis of a statistical comparison of a single run with corresponding reference values. After that, the task level or tasks can be modified if necessary. In the following, the user is confronted with a new task and the potentials ERN and P3b of this specific task are extracted again. The performance of the user is then evaluated again.

Claims

1. Procedure with the steps:

a) automatic detection of several biological parameters of a user of computer applications;

b) processing the recorded parameters;

c) Establishing a virtual biological representation of the user in the computer application based on the detected parameters.

2. The method of claim 1, further comprising the step d) modifying the Representation by repeating steps a) to c).

3. The method of claim 1 or 2, wherein the detected in step a) biological parameters represent cognitive processes of the user.

4. The method of claim 1, 2 or 3, wherein in step a) the parameters Electroencephalogram (EEG), electromyogram (EMG), breathing, Skin conductance and pulse rate are.

5. The method of claim 4, further comprising skin temperature and Blood pressure are recorded.

6. The method according to any one of claims 1 to 5, wherein in step b) the detected biological parameters are compared with reference values.

7. The method according to claim 6, wherein the reference values are user-specific Are reference values.

8. The method of claim 6 or 7, wherein the detected biological Parameters are subjected to a statistical evaluation.

9. The method according to claim 8, wherein the amplitude is integrated.

10. The method according to any one of claims 1 to 9, wherein in step c) an avatar is formed.

11. The method of claim 10, wherein the detected biological parameters physical aspects of the avatar and its capabilities within the Influence the program flow.

12. The method of claim 10 or 11, wherein the physical properties of the avatar and his skills within the program flow on the Based on a comparison with the reference values.

13. The method of claim 10, 11 or 12, wherein the virtual environment in the Computer application based on the acquired biological parameters being affected.

14. The method according to any one of claims 1 to 9, wherein in step c) Manipulation of objects of the computer application takes place.

15. The method according to claim 14, wherein physical properties of the objects be manipulated.

16. The method according to any one of claims 1 to 9, wherein in step c) the sequence of Computer application is affected.

17. The method according to claim 16, wherein influencing the flow of the Computer application is based on biological parameters, that reflect cognitive functions.

18. The method according to claim 17, wherein the event-correlated parameter potentials; especially ERN and P3b can be used.

19. The method of claim 16, 17 or 18, wherein the speed and quality of a decision-making process by the user.

20. The method according to any one of claims 16 to 19, wherein the level of difficulty Computer application tasks automatically the cognitive functions of the user is adapted.

21. System with multiple sensors for multiple biological parameters of a user of computer applications; and a processing device for producing a virtual biological Representation of the user in the computer application based on the recorded Parameter.

22. The system of claim 21, wherein the processing device based on the recorded biological parameters forms an avatar.

23. The system of claim 22, wherein the processing device based on the biological parameters recorded physical aspects of the avatar and influences his skills within the program flow.

24. The system of claim 21, wherein the processing device is a Manipulates objects of the computer application.

25. The system of claim 24, wherein the processing means manipulated physical properties of the objects.

26. The system of claim 21, wherein the processing device based on the biological parameters recorded the course of the computer application affected.

27. The system according to any one of claims 21 to 26, further comprising Comparison device for comparing the recorded biological parameters with reference values, in particular user-specific reference values.

28. The system according to any one of claims 21 to 27, further comprising Calculation device for statistical evaluation of the recorded biological parameters.

29. The system according to any one of claims 21 to 28, further comprising at least one Electroencephalogram (EEG) electrode, at least one Electromyogram (EMG) electrode, chest movement sensor, a skin conductance sensor and a pulse rate sensor.

30. The system of claim 29, further comprising a skin temperature sensor and / or a blood pressure measuring device.