DE102014011163A1

DE102014011163A1 - Device for displaying a virtual space and camera images

Info

Publication number: DE102014011163A1
Application number: DE102014011163.6A
Authority: DE
Inventors: Marcus Kühne
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2014-07-25
Filing date: 2014-07-25
Publication date: 2016-01-28

Abstract

Die Erfindung betrifft eine Vorrichtung (10) mit einer Steuereinrichtung (12) zum Erzeugen von einen virtuellen Raum (28) darstellenden Graphikdaten (G), einer von einem Benutzer (18) am Kopf (20) zu tragenden Anzeigeeinheit (14), die dazu ausgebildet ist, den virtuellen Raum (28) durch Anzeigen der Graphikdaten (G) in ein Sichtfeld (V) des Benutzers (18) einzublenden, sowie eine zum Erfassen einer Raumlage (P) der Anzeigeeinheit (14) ausgebildete Lokalisationseinrichtung (16). Aufgabe der Erfindung ist es, den Benutzer (18) beim Orientieren in seiner realen Umgebung (24) zu unterstützen. Die Anzeigeeinheit (14) weist hierzu eine Kamera (34) auf, die dazu ausgelegt ist, von der Umgebung (24) Bilddaten (C) zu erzeugen, und die Steuereinrichtung (12) ist dazu ausgelegt, in Abhängigkeit von der erfassten Raumlage (P) die Bilddaten (C) an die Anzeigeeinheit (14) auszugeben, so dass die Anzeigeeinheit (14) durch Anzeigen der Bilddaten (C) die Umgebung (24) zumindest in einen Teilbereich (46) des Sichtfelds (V) einblendet.The invention relates to a device (10) having a control device (12) for generating graphic data (G) representing a virtual space (28), a display unit (14) to be supported by a user (18) on the head (20) is designed to display the virtual space (28) by displaying the graphic data (G) in a field of view (V) of the user (18), as well as a localization device (16) designed to detect a spatial position (P) of the display unit (14). The object of the invention is to assist the user (18) in orienting in his real environment (24). For this purpose, the display unit (14) has a camera (34) which is designed to generate image data (C) from the environment (24), and the control device (12) is designed to function as a function of the detected spatial position (P ) output the image data (C) to the display unit (14), so that the display unit (14) displays the environment (24) by displaying the image data (C) at least in a partial area (46) of the field of view (V).

Description

Die Erfindung betrifft eine Vorrichtung, mittels welcher einem Benutzer ein virtueller Raum angezeigt werden kann. Der Benutzer trägt hierzu am Kopf eine Anzeigeeinheit, die seine Augen lichtdicht von der Umgebung abschirmt und den virtuellen Raum in sein Sichtfeld einblendet. Zur der Erfindung gehört auch ein entsprechendes Verfahren zum Einblenden des virtuellen Raums in ein Sichtfeld des Benutzers.The invention relates to a device by means of which a virtual space can be displayed to a user. For this purpose, the user wears a display unit on the head, which shields his eyes in a light-tight manner from the surroundings and fills in the virtual space in his field of vision. The invention also includes a corresponding method for fading in the virtual space into a field of view of the user.

Als virtuelle Realität (VR) wird die Darstellung eines virtuellen Raumes mittels eines so genannten Head-Mounted-Displays (HMD) bezeichnet, wobei eine Perspektive, mit welcher der Benutzer in den virtuellen Raum blickt, abhängig von seinen Kopfbewegungen eingestellt wird. Hierdurch kann sich der Benutzer also in dem virtuellen Raum „umsehen”.Virtual reality (VR) is the representation of a virtual space by means of a so-called head-mounted display (HMD), wherein a perspective, with which the user looks into the virtual space, is adjusted depending on his head movements. As a result, the user can "look around" in the virtual space.

In der virtuellen Realität kann sich für einen Benutzer das Problem ergeben, dass wegen des fehlenden direkten visuellen Kontakts mit Gegenständen in der realen Umgebung seine räumliche Orientierung beeinträchtigt ist. Insbesondere finden es viele VR-Erstbenutzer sehr ungewöhnlich und unangenehm, beim Blick an sich selbst. herab nicht den eigenen Körper und seine Gliedmaßen sehen zu können.In virtual reality, a user may encounter the problem that because of the lack of direct visual contact with objects in the real environment, his spatial orientation is compromised. In particular, many VR first-time users find it very unusual and unpleasant not to be able to see their own bodies and limbs while looking down on themselves.

Von der virtuellen Realität ist die so genannte Augmented-Reality (AR) zu unterscheiden, bei welcher der Benutzer weiterhin seine Umgebung durch eine Brille hindurch betrachten kann. In seinem Sichtfeld oder Blickfeld werden dann nur zusätzliche grafische Inhalte eingeblendet. Der Benutzer kann sich also jederzeit an Gegenständen in der realen Umgebung orientieren und auch seine eigenen Gliedmaßen betrachten. Datenbrillen zum Darstellen einer Augmented-Reality sind beispielsweise aus der US 2013/0050432 A1 , US 2013/0328925 A1 und US 2013/0093788 A1 bekannt.From the virtual reality, the so-called augmented reality (AR) is to be distinguished, in which the user can continue to view his surroundings through a pair of glasses. In his field of view or field of view only additional graphical content will be displayed. The user can thus always orient themselves to objects in the real environment and also to look at his own limbs. Data glasses for presenting an augmented reality, for example, from US 2013/0050432 A1 . US 2013/0328925 A1 and US 2013/0093788 A1 known.

Für die stereoskopische Darstellung von Grafikdaten, die einen virtuellen Raum darstellen, ist aus der DE 10 2007 006 038 B3 ein autostereoskopisches Bildwiedergabegerät zur Erzeugung eines schwebenden reellen Stereobildes bekannt.For the stereoscopic representation of graphics data, which represent a virtual space, is from the DE 10 2007 006 038 B3 an autostereoscopic image display device for generating a floating real stereo image known.

Aus der US 2010/0159434 A1 ist ein gemischtes Simulationssystem für eine Interaktion mit sowohl virtuellen Bildern als auch realen Objekten beschrieben. Die Grafikdaten, welche virtuelle Objekte darstellen, werden auf einem Tablet-PC angezeigt, welchen der Benutzer vor ein reales Objekt halten kann, um den Eindruck zu erhalten, dass sich das reale Objekt gemäß einem Ergebnis der Simulation verhält.From the US 2010/0159434 A1 A mixed simulation system for interaction with both virtual images and real objects is described. The graphics data representing virtual objects are displayed on a tablet PC, which the user can hold in front of a real object to give the impression that the real object behaves according to a result of the simulation.

Der Erfindung liegt die Aufgabe zugrunde, einen Benutzer eines Virtual-Reality-Systems bei der Orientierung in der realen Umgebung zu unterstützen.The invention has for its object to support a user of a virtual reality system in the orientation in the real environment.

Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die Merkmale der abhängigen Patentansprüche.The object is solved by the subject matters of the independent claims. Advantageous developments of the invention will become apparent from the features of the dependent claims.

Erfindungsgemäß wird bereitgestellt eine Vorrichtung, die eine Steuereinrichtung zum Erzeugen von einen virtuellen Raum darstellenden Grafikdaten sowie eine von einem Benutzer am Kopf zu tragende Anzeigeeinheit, die dazu ausgebildet ist, Augen des Benutzer zu einer Umgebung hin lichtdicht abzuschirmen und den virtuellen Raum durch Anzeigen der Grafikdaten in ein Sichtfeld des Benutzers einzublenden. Des Weiteren umfasst die Vorrichtung eine zum Erfassen einer Raumlage der Anzeigeeinheit ausgebildete Lokalisationseinrichtung, wie sie gemäß dem Stand der Technik bekannt ist, um die Perspektive, aus welcher dem Benutzer der virtuelle Raum mittels der Grafikdaten dargestellt wird, von einer aktuellen Raumlage der Anzeigeeinheit abhängig zu machen. Hierdurch kann sich der Benutzer in der beschriebenen Weise sich in den virtuellen Raum umschauen, was aber zunächst nicht erfindungswesentlich ist.According to the present invention, there is provided an apparatus comprising a control device for generating graphic data representing a virtual space and a display unit to be capped by a user and adapted to shield the user's eyes to an environment in a light-tight manner and to display the virtual space by displaying the graphic data into a field of view of the user. Furthermore, the device comprises a localization device designed to detect a spatial position of the display unit, as known from the prior art, for the perspective from which the virtual space is displayed by means of the graphic data to be dependent on a current spatial position of the display unit do. As a result, the user can look around in the virtual space in the manner described, but this is not initially essential to the invention.

Erfindungsgemäß weist die Anzeigeeinheit, d. h. das Head-Mounted-Display, eine Kamera auf, die dazu ausgelegt ist, von der Umgebung Bilddaten zu erzeugen, also von dem realen Umfeld, in welchem sich der Benutzer befindet, während er die Anzeigeeinheit benutzt. Die Steuereinrichtung ist dazu ausgelegt, in Abhängigkeit von der durch die Lokalisationseinrichtung erfassten Raumlage die Bilddaten an die Anzeigeeinheit auszugeben, sodass die Anzeigeeinheit durch Anzeigen der Bilddaten die Umgebung zumindest in einen Teilbereich des Sichtfelds des Benutzers einblendet. Mit anderen Worten wird dem Benutzer im Falle einer bestimmten Ausrichtung der Anzeigeeinheit, beispielsweise bei einer bestimmten Kopfneigung, das Realbild der Kamera eingespielt. So kann man z. B. erreichen, dass der VR-Benutzer, wenn er nach unten schaut, das Realbild eingeblendet bekommt und seinen eigenen Körper sieht.According to the invention, the display unit, i. H. the head-mounted display, a camera designed to generate image data from the environment, that is, the real environment in which the user is located while using the display unit. The control device is designed to output the image data to the display unit as a function of the spatial position detected by the localization device, such that the display unit displays the environment by displaying the image data at least in a partial area of the field of view of the user. In other words, the user is in the case of a particular orientation of the display unit, for example, at a certain head tilt, the real image of the camera recorded. So you can z. B. achieve that the VR user, when he looks down, gets the real image and sees his own body.

Entsprechend sieht das erfindungsgemäß bereitgestellte Verfahren vor, die Grafikdaten, welche den virtuellen Raum darstellen, zu erzeugen und vor den lichtdicht abgeschirmten Augen des Benutzers mittels der Anzeigeeinheit anzuzeigen, sodass dem Benutzer der virtuelle Raum in sein Sichtfeld eingeblendet wird. Hierbei wird die Raumlage der Anzeigeeinheit durch die Lokalisierungseinrichtung erfasst. Mittels einer an der Anzeigeeinheit bereitgestellten Kamera werden Bilddaten von der Umgebung erzeugt und in Abhängigkeit von der erfassten Raumlage der Anzeigeeinheit diese Bilddaten auch ausgegeben oder angezeigt. Mit anderen Worten übermittelt die Kamera ihre Bilddaten an eine Steuereinrichtung und diese gibt die Bilddaten bei einer bestimmten Raumlage der Anzeigeeinheit an die Anzeigeeinheit zum Anzeige aus. Durch die Anzeigeeinheit werden diese Bilddaten dann angezeigt und hierdurch die Umgebung in zumindest einen Teilbereich des Sichtfelds des Benutzers eingeblendet.Accordingly, the method provided according to the invention provides for the graphic data representing the virtual space to be generated and displayed in front of the user's light-tightly shielded eyes by means of the display unit, so that the virtual space is superimposed on the user in his field of vision. In this case, the spatial position of the display unit is detected by the localization device. By means of a camera provided on the display unit, image data are generated by the environment and, depending on the detected spatial position of the display unit, this image data is also generated output or displayed. In other words, the camera transmits its image data to a control device and this outputs the image data at a certain spatial position of the display unit to the display unit for display. The display unit then displays these image data and, as a result, displays the environment in at least one subarea of the field of view of the user.

Durch die Erfindung ergibt sich der Vorteil, dass der Benutzer durch Einnehmen einer bestimmten Körperhaltung, durch welche die Anzeigeeinheit eine vorbestimmte Raumlage einnimmt, erreichen kann, dass er anstelle des virtuellen Raums die Bilddaten von der realen Umgebung in sein Sichtfeld eingeblendet bekommt. Hierdurch kann er sich dann in der realen Umgebung orientieren.By the invention there is the advantage that the user can achieve by taking a certain posture, through which the display unit occupies a predetermined spatial position, that he gets the image data from the real environment in his field of vision instead of the virtual space. As a result, he can then orient himself in the real environment.

Bei der Anzeigeeinheit handelt es sich erfindungsgemäß bevorzugt um eine zum stereoskopischen Anzeigen der Grafikdaten und/oder der Bilddaten ausgelegte Datenbrille oder einen solchen Datenhelm. Falls die Bilddaten der Kamera stereoskopisch dargestellt werden sollten, wird bevorzugt als Kamera eine Stereokamera oder eine Time-of-Flight-Kamera bereitgestellt, wobei letztere beispielsweise durch einen PMD (Photonic Mixing Device) bereitgestellt werden kann. Durch stereoskopisches Darstellen des virtuellen Raums und/oder der Umgebung verbessert sich die Orientierung des Benutzers beim Betrachten der Grafikdaten bzw. Bilddaten.According to the invention, the display unit is preferably a data goggle or a data helmet designed for the stereoscopic display of the graphics data and / or the image data. If the image data of the camera should be displayed stereoscopically, a stereo camera or a time-of-flight camera is preferably provided as the camera, wherein the latter can be provided, for example, by a PMD (Photonic Mixing Device). By stereoscopically displaying the virtual space and / or the environment, the orientation of the user improves when viewing the graphics data or image data.

Bevorzugt ist die Steuereinrichtung, welche die Anzeigeeinheit oder Datenbrille steuert, dazu ausgelegt, die Bilddaten mittels der Anzeigeeinheit positionsrichtig anzuzeigen. Dies bedeutet, dass beim Darstellen der Bilddaten die darin dargestellte oder abgebildete Umgebung aus einer Blickrichtung dargestellt wird, die der benutzereigenen Blickrichtung in die Umgebung entspricht. Mit anderen Worten wird dem Benutzer also nicht irgendein Bildausschnitt in sein Sichtfeld eingeblendet, also nicht beispielsweise ein Bild von der Raumdecke, wenn der Benutzer in eine andere Richtung blickt, beispielsweise auf den Boden. Stattdessen wird dem Benutzer derjenige Bildausschnitt aus der Umgebung in sein Sichtfeld eingeblendet, der seiner Blickrichtung entspricht, also diejenigen Gegenstände, auf die seine Blickrichtung gerade gerichtet ist. Neigt der Benutzer also beispielsweise seinen Kopf nach unten und hält sich die Hand vors Gesicht, so wird ihm auch das Kamerabild seiner Hand in sein Sichtfeld eingeblendet. Durch diese Weiterbildung ergibt sich der Vorteil, dass der Benutzer seine eigenen Bewegungen in Bezug auf seine reale Umgebung besser koordinieren kann.The control device, which controls the display unit or data glasses, is preferably designed to display the image data in the correct position by means of the display unit. This means that when displaying the image data, the environment shown or imaged therein is displayed from a viewing direction which corresponds to the user's own viewing direction into the surroundings. In other words, the user is thus not some image detail faded into his field of view, so not for example a picture of the ceiling when the user looks in a different direction, for example, on the floor. Instead, the user of the image section from the environment is displayed in his field of view, which corresponds to his line of sight, ie those objects to which his line of sight is directed. For example, if the user tilts his head down and holds his hand in front of his face, the camera image of his hand will also be shown in his field of vision. This development has the advantage that the user can better coordinate his own movements with respect to his real environment.

Bevorzugt ist die Steuereinrichtung dazu ausgelegt, die Bilddaten mittels der Anzeigeeinheit bei einer vorbestimmten Kopfneigung des Benutzers anzuzeigen. Hierdurch kann der Benutzer durch Neigen des Kopfes gezielt zwischen dem virtuellen Raum und der realen Umgebung umschalten oder wechseln. Die Bilddaten werden in Abhängigkeit von der Raumlage der Anzeigeeinheit eingeblendet, also nicht immer. Ganz besonders bevorzugt ist hierbei, dass die Kopfneigung eine solche ist, durch welche Benutzer auf seinen eigenen Körper blickt. Hierdurch wird die eingangs beschriebene, befremdliche Empfindung vermieden, dass ein VR-Benutzer seinen eigenen Körper im virtuellen Raum nicht sehen kann.Preferably, the control device is designed to display the image data by means of the display unit at a predetermined head tilt of the user. As a result, by tilting the head, the user can selectively switch or switch between the virtual space and the real environment. The image data are displayed depending on the spatial position of the display unit, not always. It is particularly preferred here that the head tilt is one through which users look at their own body. As a result, the above-described, strange feeling is avoided that a VR user can not see his own body in the virtual space.

Ein weiterer Vorteil ergibt sich, wenn die Steuereinrichtung dazu ausgelegt ist, die Bilddaten bei einer translatorischen Bewegung der Anzeigeeinheit anzuzeigen, wenn also die Anzeigeeinheit, also beispielsweise die Datenbrille, beispielsweise horizontal durch die Umgebung bewegt wird. Diese translatorische Bewegung kann z. B. durch eine Gehbewegung des Benutzers verursacht werden. Mit anderen Worten wird erfasst, wenn der Benutzer in seiner Umgebung beispielsweise umhergeht oder sich allgemein derart bewegt, dass die Anzeigeeinheit eine translatorische Bewegung ausführt.A further advantage results if the control device is designed to display the image data during a translational movement of the display unit, that is to say when the display unit, for example the data glasses, for example, is moved horizontally through the surroundings. This translational movement can z. B. caused by a walking motion of the user. In other words, it is detected when the user walks around in his environment, for example, or generally moves such that the display unit performs a translational movement.

Indem hierbei die Bilddaten angezeigt werden, also dem Benutzer die Umgebung in sein Sichtfeld eingeblendet wird, wird vermieden, dass der Benutzer blind durch die Umgebung läuft. Hierdurch kann vermieden werden, dass der Benutzer stolpert. Bevorzugt kann hierbei vorgesehen sein, dass die Bilddaten erst eingeblendet werden, wenn die translatorische Bewegung einen vorbestimmten Schwellwert in Bezug auf die Bewegungsweite und/oder Bewegungsgeschwindigkeit überschreitet.In this case, by displaying the image data, that is, the user is shown the environment in his field of view, it is avoided that the user runs blindly through the environment. This can prevent the user from stumbling. In this case, it can preferably be provided that the image data are only displayed when the translational movement exceeds a predetermined threshold value with regard to the movement distance and / or movement speed.

Ein anderer Vorteil ergibt sich, wenn die Steuereinrichtung dazu ausgelegt ist, die Bilddaten mittels der Anzeigeeinheit bei einer unabhängig von einer Körperbewegung des Benutzers verursachten Veränderung einer Perspektive im virtuellen Raum angezeigt werden. Normalerweise ändert der Benutzer die Perspektive durch Drehen oder Neigen des Kopfes oder auch durch Gehen. Es kann aber auch gewünscht sein, dass dem Benutzer der virtuelle Raum abwechselnd aus unterschiedlichen Perspektiven dargestellt wird, z. B. aus zwei unterschiedlichen Richtungen, und hierbei die Perspektive unabhängig von der Benutzerbewegung einfach umgeschaltet wird. Dadurch nimmt der Benutzer eine neue Position im virtuellen Raum ein, ohne hierbei seinen realen Aufenthaltsort, beispielsweise auf einem Stuhl, verlassen zu haben. Bei einem solchen sprunghaften oder gleitenden Perspektivenwechsel, der nicht vom Benutzer selbst durch eine eigene Körperbewegung verursacht wurde, wird nun gemäß der Weiterbildung während des Perspektivenwechsels die Umgebung in das Sichtfeld des Benutzers eingeblendet, also die Bilddaten angezeigt. Hierdurch ergibt sich der Vorteil, dass der Benutzer das Gleichgewicht nicht verliert und dem Benutzer auch nicht schlecht wird.Another advantage results when the control device is designed to display the image data by means of the display unit in the event of a change in perspective caused in the virtual space independently of a body movement of the user. Normally the user changes the perspective by turning or tilting the head or by walking. But it may also be desired that the user of the virtual space is alternately presented from different perspectives, for. B. from two different directions, and here the perspective is easily switched independently of the user's movement. As a result, the user takes a new position in the virtual space without having left his real whereabouts, for example on a chair. In such a sudden or sliding change of perspective, which was not caused by the user himself by his own body movement, according to the development during the change of perspective, the environment is now displayed in the field of view of the user, so the image data displayed. This results in the Advantage that the user does not lose the balance and the user is not bad.

Das Anzeigen der Bilddaten, also das Einblenden der Umgebung in das Sichtfeld des Benutzers, kann die Immersion beeinträchtigen, welche der Benutzer beim Betrachten des virtuellen Raums empfindet. Immersion ist der Sinneseindruck der Eigenwahrnehmung des Benutzers in der virtuellen Welt. Sie wird durch die Korrelation zwischen seiner Eigenbewegung und der im virtuellen Raum dargestellten Perspektive erreicht. Das Einblenden der realen Umgebung mindert die Immersion. Eine vorteilhafte Weiterbildung sieht deshalb vor, dass die Steuereinrichtung dazu ausgestaltet ist, die Bilddaten mittels eines Alpha-Blendings den Grafikdaten zu überlagern. Der Benutzter sieht dann die Umgebung nicht vollständig, sondern nur schemenhaft. Dies kann ausreichend sein, um dem Benutzer die gewünschte Orientierung in der realen Umgebung zu verschaffen, ohne dass die Immersion vollständig zerstört wird.Displaying the image data, that is, fading the environment into the field of view of the user, can affect the immersion that the user feels when viewing the virtual space. Immersion is the sensory impression of the user's self-perception in the virtual world. It is achieved through the correlation between its own motion and the perspective presented in virtual space. The fade in the real environment reduces the immersion. An advantageous development therefore provides that the control device is designed to superimpose the image data by means of alpha blending to the graphics data. The user then does not see the environment completely, but only dimly. This may be sufficient to give the user the desired orientation in the real environment without completely destroying the immersion.

Als besonders geeignetes Anwendungsfeld hat sich die Verwendung der Vorrichtung zum Darstellen einer virtuellen Vorlesung erwiesen. Eine entsprechende Ausführungsform der Erfindung sieht daher vor, dass die Steuereinrichtung dazu ausgerichtet ist, mittels der Grafikdaten eine virtuelle Vorlesung darzustellen, bei welcher dem Benutzer beispielsweise in einem virtuellen Vorlesungssaal ein Avatar, d. h. eine virtuelle Person, einen Vorlesungsinhalt präsentiert, z. B. einen Vortrag. Mittels der Vorrichtung kann dabei erreicht werden, dass der Benutzer mit einem normalen Blick nach vorne der virtuellen Vorlesung folgen kann. Schaut der Benutzer aber nach unten, sieht er seine Arme und Hände und beispielsweise ein Blatt Papier, auf welchem der Benutzer Notizen mitschreibt.A particularly suitable field of application has proven to be the use of the device for presenting a virtual lecture. A corresponding embodiment of the invention therefore provides that the control device is designed to represent a virtual lecture by means of the graphics data, in which the user, for example, in a virtual lecture hall an avatar, d. H. a virtual person presenting a lecture content, e.g. B. a lecture. By means of the device can be achieved that the user can follow the virtual lecture with a normal view to the front. But when the user looks down, he sees his arms and hands and, for example, a piece of paper on which the user notes notes.

Der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Verfahrens, welche Merkmale aufweisen, die bereits im Zusammenhang mit den Weiterbildungen der erfindungsgemäßen Vorrichtung beschrieben worden sind. Aus diesem Grund unterbleibt hier eine Beschreibung der entsprechenden Weiterbildung des erfindungsgemäßen Verfahrens.The invention also includes developments of the method according to the invention, which have features that have already been described in connection with the developments of the device according to the invention. For this reason, a description of the corresponding development of the method according to the invention is omitted here.

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige Figur (Fig.) eine Ausführungsform der erfindungsgemäßen Vorrichtung.In the following an embodiment of the invention is described. For this purpose, the single figure (Fig.) Shows an embodiment of the device according to the invention.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen aber die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, however, the described components of the embodiment each represent individual features of the invention, which are to be considered independently of each other, which also develop the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.

Die Figur zeigt eine Vorrichtung 10 mit einer Steuereinrichtung 12, einer Anzeigeeinheit 14 und einer Lokalisationseinrichtung 16. Bei der Steuereinrichtung 12 kann es sich beispielsweise um eine Prozessoreinrichtung, beispielsweise einen Computer oder ein Embedded-System oder einen digitalen Signalprozessor (DSP) handeln. Die Steuereinrichtung 12 steuert die Anzeigeeinheit 14. Die Anzeigeeinheit 14 wird von einem Benutzer 18 an seinem Kopf 20 getragen. Die Anzeigeeinheit 14 kann eine Bildschirmanordnung 22 umfassen, die z. B. durch eine Gestellt oder ein Visier der Anzeigeeinheit 14 vor den Augen des Benutzers 18 gehalten ist. Der Benutzer 18 sieht hierdurch nicht seine Umgebung 24, sondern den von der Bildschirmanordnung 22 vor seinen Augen angezeigten Bildschirminhalt. Die Bildschirmanordnung 22 kann als stereoskopisches Bildschirmpaar ausgestaltet sein, also beispielsweise zwei Bildschirme aufweisen, wobei jeder Bildschirm für ein Auge des Benutzers 18 den Bildinhalt anzeigen kann. Anstelle von Bildschirmen können auch Projektoren für die Retina bereitgestellt sein. Die Anzeigeeinheit 14 kann insgesamt beispielsweise als Datenbrille oder Datenhelm ausgestaltet sein.The figure shows a device 10 with a control device 12 , a display unit 14 and a localization facility 16 , At the control device 12 it may be, for example, a processor device, for example a computer or an embedded system or a digital signal processor (DSP). The control device 12 controls the display unit 14 , The display unit 14 is by a user 18 at his head 20 carried. The display unit 14 can be a screen layout 22 include, for. B. by a Gestellt or a visor of the display unit 14 in front of the user 18 is held. The user 18 does not see his surroundings 24 but by the screen layout 22 screen content displayed in front of his eyes. The screen layout 22 may be configured as a stereoscopic screen pair, so for example, have two screens, each screen for an eye of the user 18 can display the image content. Instead of screens, projectors for the retina may also be provided. The display unit 14 can be configured in total, for example, as data glasses or data helmet.

Die Lokalisationseinheit 16 kann dazu ausgestaltet sein, eine räumliche Lage oder Raumlage P der Anzeigeeinheit 14 in der Umgebung 24 zu ermitteln. Die Raumlage P kann eine Neigung oder Orientierung der Anzeigeeinheit 14 im Raum in der Umgebung 24 und/oder eine Position der Anzeigeeinheit 14 in der Umgebung 24 umfassen. Die Lokalisationseinrichtung 16 kann ortsfest in der Umgebung 24 angeordnet sein und/oder zumindest teilweise auch in die Anzeigeeinheit 14 integriert sein. Die Lokalisationseinrichtung 16 kann beispielsweise eine Kamera umfassen, welche die Anzeigeeinheit 14 filmt, und/oder einen gyroskopischen Sensor oder Beschleunigungssensor umfassen und/oder auf einem Ortungsverfahren mit Triangulation und/oder Trilateration basieren.The localization unit 16 can be configured to a spatial position or spatial position P of the display unit 14 in the neighborhood 24 to investigate. The spatial position P can be a tilt or orientation of the display unit 14 in the room in the area 24 and / or a position of the display unit 14 in the neighborhood 24 include. The localization facility 16 can be fixed in the environment 24 be arranged and / or at least partially in the display unit 14 be integrated. The localization facility 16 For example, a camera may comprise the display unit 14 film, and / or include a gyroscopic sensor or acceleration sensor and / or based on a triangulation and / or trilateration tracking method.

Durch die Steuereinrichtung 12 kann dem Benutzer auf Grundlage von Grafikdaten G, die beispielsweise von einem VR-Simulator 26 in an sich bekannter Weise in Abhängigkeit von den Lagedaten P erzeugt werden können, in ein Sichtfeld V des Benutzers 18 mittels der Anzeigeeinheit 14 ein virtueller Raum 28 eingeblendet werden. Beispielsweise kann vorgesehen sein, dass der Benutzer 18 in dem virtuellen Raum ein Produkt 30 angezeigt bekommt, beispielsweise ein Kraftfahrzeug, das der Benutzer zu kaufen gedenkt.By the control device 12 can the user based on graphics data G, for example, from a VR simulator 26 in a manner known per se depending on the position data P can be generated in a field of view V of the user 18 by means of the display unit 14 a virtual space 28 to be displayed. For example, it may be provided that the user 18 in the virtual space a product 30 displayed, for example, a motor vehicle, which the user intends to buy.

Der Benutzer kann hierbei in an sich bekannter Weise durch Drehen und Bewegen des Kopfes 20 seine Perspektive auf das Produkt 30 im virtuellen Raum 28 verändern, indem er dabei die Anzeigeinheit 14 bewegt und die Lokalisationseinrichtung 16 eine Lageänderung der Anzeigeeinheit 14 erkennt und mittels der Lagedaten P signalisiert und dies durch den Simulator 26 durch Anpassen der Grafikdaten G in an sich bekannter Weise berücksichtigt werden kann. The user can do this in a conventional manner by turning and moving the head 20 his perspective on the product 30 in virtual space 28 change, while doing the display unit 14 moved and the localization facility 16 a change in position of the display unit 14 recognizes and signals by means of the position data P and this through the simulator 26 can be taken into account by adjusting the graphics data G in a conventional manner.

Die Anzeigeeinheit 14 verdeckt die Augen des Benutzers 18 zur Umgebung 24 hin. Bei der Vorrichtung 10 kann der Benutzer sich dennoch jeder Zeit Orientierung in der Umgebung 24 verschaffen. Beispielsweise kann vorgesehen sein, dass der Benutzer 18 mit dem Kopf 20 eine Neigebewegung 32 beispielsweise zum Boden hin oder zu seinem eigenen Körper hin machen kann und hierdurch die Umgebung 24 in sein Sichtfeld V eingeblendet wird.The display unit 14 obscures the eyes of the user 18 to the environment 24 out. In the device 10 Nevertheless, the user can always orient themselves in the environment 24 gain. For example, it may be provided that the user 18 with the head 20 a tilting movement 32 for example, to the ground or to his own body can do and thus the environment 24 is displayed in his field of view V.

Hierzu kann die Vorrichtung 10 eine Kamera 34 aufweisen, die als Bestandteil der Anzeigeeinheit 14 vom Benutzer 18 ebenfalls am Kopf 20 getragen werden kann. Die Kamera 34 kann beispielsweise ein Videokamera und beispielsweise stereoskopische oder monoskopische Aufnahmen zu erzeugen ausgelegt sein. Ein Erfassungsbereich 36 der Kamera 24 kann in seine Geradeausblickrichtung 38 des Benutzers 18 ausgerichtet sein. Die Kamera 34 kann Kameradaten C erzeugen, die an die Steuereinrichtung 12 übertragen werden können.For this purpose, the device 10 a camera 34 have, as part of the display unit 14 by the user 18 also on the head 20 can be worn. The camera 34 For example, a video camera and, for example, stereoscopic or monoscopic recordings can be designed. A detection area 36 the camera 24 can in its straight-ahead direction 38 the user 18 be aligned. The camera 34 may generate camera data C which is sent to the controller 12 can be transmitted.

In dem in der Figur gezeigten Beispiel möchte der Benutzer 18 seine Hand 40 betrachten. Er neigt hierzu den Kopf 20 durch die Neigebewegung 32 nach unten. Die Steuereinrichtung 12 kann eine Analyseeinrichtung 42 aufweisen, welche auf der Grundlage der Positionsdaten P ermittelt, ob der Benutzer 18 sein Sichtfeld V beispielsweise unterhalb eine horizontale Grenze 44 richtet. Die Analyseeinrichtung 42 kann beispielsweise ein Programmmodul der Steuereinrichtung 12 sein. Durch die Neigebewegung 32 wird in den Grafikdaten G die Perspektive auf das Produkt 30 oder allgemein im virtuellen Raum 28 in einer entsprechenden Gegenbewegung 32' verschoben, sodass hierdurch das Sichtfeld V auch einen Bereich jenseits der Grenze 44 umfasst. Die Analyseneinrichtung 42 blendet in diesem Teilbereich 46 anstelle des virtuellen Raums 28 die reale Umgebung 24 ein, indem die Analyseeinrichtung 42, d. h. insgesamt die Steuereinrichtung 12, die Kameradaten C an die Anzeigeeinheit 14 ausgibt oder aussendet oder überträgt.In the example shown in the figure, the user wants 18 his hand 40 consider. He tends his head 20 by the tilting movement 32 downward. The control device 12 can be an analysis device 42 which determines on the basis of the position data P whether the user 18 his field of view V, for example below a horizontal limit 44 directed. The analysis device 42 For example, a program module of the controller 12 be. By the tilting movement 32 in the graphics data G, the perspective on the product 30 or generally in virtual space 28 in a corresponding countermovement 32 ' shifted so that thereby the field of view V also an area beyond the border 44 includes. The analysis device 42 hides in this subarea 46 instead of virtual space 28 the real environment 24 a, by the analyzer 42 ie the control device as a whole 12 , the camera data C to the display unit 14 issues or transmits or transmits.

Die Anzeigeeinheit 14 zeigt die Kameradaten C auf dem Bildschirm 22 in dem entsprechenden Teilbereich 46 an. Der Teilbereich 46 ist dabei so gewählt, dass im Sichtfeld V eine Abbildung 40' der Hand 40 in Bezug auf die Geradeausblickrichtung 38 die korrekte Position aufweist, wie sie auch die Hand 40 bezüglich der Geradeausblickrichtung 38 hat. Mit anderen Worten sieht der Benutzer seine Hand 40 an derselben Stelle im Sichtfeld V, wie er sie auch sehen würde, wenn er die Anzeigeeinheit 14 nicht tragen würde.The display unit 14 shows the camera data C on the screen 22 in the corresponding subarea 46 at. The subarea 46 is chosen so that in the field of view V an illustration 40 ' the hand 40 with respect to the straight-ahead direction 38 has the correct position as well as the hand 40 Regarding the straight-ahead direction 38 Has. In other words, the user sees his hand 40 in the same place in the visual field V, as he would see it, if he were the display unit 14 would not wear.

Der Benutzer kann so gezielt zwischen dem virtuellen Raum 28 und der Umgebung 24 umblenden, indem er einfach eine vorbestimmte Neigebewegung 32 mit dem Kopf 20 ausführt. Die Umgebung 24 erscheint dem Benutzer dabei als real abgefilmte Umgebung. Durch Anpassen des Neigungswinkels des Bildbereichs an das Realbild sieht der Benutzer 18 dabei Gegenstände in seiner Umgebung 24 an der richtigen Stelle, d. h. an derjenigen Stelle im Sichtfeld V, wo er sie auch sehen würde, wenn er die Anzeigeeinheit 14 nicht tragen würde. Somit lässt sich mit einfachen Mitteln die virtuelle und die reale Welt in sinnvoller Art und Weise verknüpfen.The user can be so specific between the virtual space 28 and the environment 24 fade by simply a predetermined tilting movement 32 with the head 20 performs. The environment 24 appears to the user as real filmed environment. By adjusting the tilt angle of the image area to the real image, the user sees 18 doing things in his environment 24 in the right place, ie at the point in the visual field V, where he would also see it when he sees the display unit 14 would not wear. Thus, the virtual and the real world can be combined in a meaningful way with simple means.

Insgesamt zeigt das Beispiel, wie durch die Erfindung bestimmte Realbildbereiche in Abhängigkeit von der Ausrichtung einer VR-Brille eingeblendet werden können.Overall, the example shows how certain real image areas determined by the invention can be superimposed depending on the orientation of a VR goggles.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 2013/0050432 A1 [0004]
US 2013/0328925 A1 [0004]
US 2013/0093788 A1 [0004]
DE 102007006038 B3 [0005]
US 2010/0159434 A1 [0006]

Claims

Contraption ( 10 ), comprising: - a control device ( 12 ) for creating a virtual space ( 28 ) graphic data (G), - one by a user ( 18 ) on the head ( 20 ) display unit ( 14 ), which is adapted to the user's eyes ( 18 ) to an environment ( 24 ) shield light-tight and the virtual space ( 28 ) by displaying the graphics data (G) in a field of view (V) of the user ( 18 ) - one for detecting a spatial position (P) of the display unit ( 14 ) trained localization facility ( 16 ), characterized in that the display unit ( 14 ) a camera ( 34 ), which is adapted from the environment ( 24 ) To generate image data (C), and the control device ( 12 ) is designed, depending on the detected spatial position (P), the image data (C) to the display unit ( 14 ), so that the display unit ( 14 ) by displaying the image data (C) the environment ( 24 ) at least in one subarea ( 46 ) of the field of view (V).

Contraption ( 10 ) according to claim 1, wherein the display unit ( 14 ) as a data glasses designed for stereoscopically displaying the graphic data (G) and / or the image data (C) ( 14 ) is configured.

Contraption ( 10 ) according to one of the preceding claims, wherein the control device ( 12 ) is adapted to the image data (C) by means of the display unit ( 14 ) position correctly, so that the environment ( 24 ) from a line of sight ( 38 ), the user's own viewing direction ( 38 ) in the nearby areas ( 24 ) corresponds.

Contraption ( 10 ) according to one of the preceding claims, wherein the control device ( 12 ) is adapted to the image data (C) by means of the display unit ( 14 ) at a predetermined head tilt ( 32 ) of the user ( 18 ).

Contraption ( 10 ) according to claim 4, wherein the head inclination ( 32 ) is one by which the user ( 18 ) on his own body ( 40 ) looks.

Contraption ( 10 ) according to one of the preceding claims, wherein the control device ( 12 ) is adapted to the image data (C) by means of the display unit ( 14 ) at one by a self-movement of the user ( 18 ) caused translational movement of the display unit ( 14 ).

Contraption ( 10 ) according to one of the preceding claims, wherein the control device ( 12 ) is adapted to the image data (C) by means of the display unit ( 14 ) in a person independent of a body movement ( 18 ) change a perspective from which the virtual space ( 28 ) is represented by the graphic data (G).

Contraption ( 10 ) according to one of the preceding claims, wherein the control device ( 12 ) is adapted to superimpose the image data (C) by means of an alpha blending the graphic data (G).

Contraption ( 10 ) according to one of the preceding claims, wherein the control device ( 12 ) is designed to represent a virtual lecture by means of the graphic data (G).

Procedure ( 10 ) for inserting a virtual space ( 28 ) in a field of view (V) of a user ( 18 ), with the steps: - Creating the virtual space ( 28 ) graphic data (G) by a control device ( 12 ), - light-tight shielding of a user's eyes ( 18 ) to an environment ( 24 ) and fade in the virtual space ( 28 ) in a field of view (V) of the user ( 18 ) by displaying the graphic data (G) by means of one of the user ( 18 ) on the head ( 20 ) worn display unit ( 14 ); Detecting a spatial position (P) of the display unit ( 14 ) by a localization facility ( 16 ), characterized by the steps: - generating image data (C) from the environment ( 24 ) through a camera ( 34 ) of the display unit ( 14 ), - outputting the image data (C) to the display unit ( 14 ) as a function of the detected spatial position (P) by the control device ( 12 ) and - displaying the image data (C) by the display unit ( 14 ) and thereby fade in the environment ( 24 ) at least in one subarea ( 46 ) of the field of view (V).