[go: up one dir, main page]

DE102008042397A1 - Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image - Google Patents

Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image Download PDF

Info

Publication number
DE102008042397A1
DE102008042397A1 DE102008042397A DE102008042397A DE102008042397A1 DE 102008042397 A1 DE102008042397 A1 DE 102008042397A1 DE 102008042397 A DE102008042397 A DE 102008042397A DE 102008042397 A DE102008042397 A DE 102008042397A DE 102008042397 A1 DE102008042397 A1 DE 102008042397A1
Authority
DE
Germany
Prior art keywords
user
navigation system
display
head
display elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008042397A
Other languages
German (de)
Inventor
Yiwen Yang
Lutz Bersiner
Mario Mueller-Frahm
Moez Selem
Peter Vogel
Gerrit De Boer
Andreas Engelsberg
Holger Modler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008042397A priority Critical patent/DE102008042397A1/en
Publication of DE102008042397A1 publication Critical patent/DE102008042397A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

The system has a detecting unit i.e. global positioning system, for detecting position of a user (1) i.e. pedestrian. A head-up display system comprises a head mounted display i.e. head-up display eyeglass (4), carried on a head of a user. A determination device determines line of sight of the user. Display elements comprising human-like digital figure or partial figure move in field of view of the user such that the display elements display actions to be performed by the user in the form of a virtual image (2) i.e. avatar (3).

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Navigationssystem für einen Nutzer, mit Mitteln zur Erfassung einer Position des Nutzers und mit einem Head-Up Display System zur kontaktanalogen, ortskorrekten Darstellung von Anzeigeelementen, die einen Bezug zu den vom Nutzer zu unternehmenden Handlungen haben.The Invention relates to a navigation system for a user, with means for detecting a position of the user and with a Head-Up Display System for contact-analogue, location-correct presentation of display elements related to those to be undertaken by the user Have actions.

Ein derartiges Navigationssystem ist z. B. aus der DE 101 31 720 A1 bekannt.Such a navigation system is z. B. from the DE 101 31 720 A1 known.

Es sind tragbare Navigationsgeräte bekannt, die einen Fußgänger bei der Navigation z. B. in Innenstadtbereichen oder auch in Gebäuden unterstützen sollen. Derartige Geräte verfügen über eine auf GPS und einer digitalen Karte basierende Ortungseinrichtung sowie über eine Einheit, die die Route zu einem vom Nutzer gewählten Zielort berechnet. Die Route wird über eine Nutzerschnittstelle (z. B. visuell über den Bildschirm und/oder akustisch über Sprachausgabe) ausgegeben. Nachteilig hierbei ist, dass der Nutzer seinen Blick beziehungsweise seine Aufmerksamkeit kurzfristig von der realen Umgebung abwenden muss, um die entsprechenden Informationen aufzunehmen. Ferner müssen die Informationen, z. B. ein Abbiegepfeil und eine Entfernungsangabe, interpretiert werden, das heißt, der Nutzer muss einen Zusammenhang der Navigationsvorgaben mit der realen Umgebung herstellen.It Portable navigation devices are known to be a pedestrian during navigation z. B. in inner city areas or in buildings to support. Such devices have a location based on GPS and a digital map location device as well as via a unit that routes to one by the user calculated destination. The route will be over a user interface (eg visually across the screen and / or acoustically via voice output). adversely Here is that the user his view or his To turn attention away from the real world in the short term to record the relevant information. Furthermore, must the information, eg. B. a turn-off arrow and a distance indication, interpreted that is, the user must have a context of Create navigation presets with the real environment.

Aus der DE 100 36 440 C2 ist ein tragbares Navigationsgerät bekannt, das eine Ausrichtungsermittlungseinrichtung zum Ermitteln der Ausrichtung des Gerätes relativ zu einer bekannten geographischen Richtung aufweist, so dass auf einem Bild schirm ein Pfeil erzeugt wird, der von der Position des Gerätes zum Zielort zeigt und somit leicht interpretierbar ist.From the DE 100 36 440 C2 a portable navigation device is known, having an orientation determining means for determining the orientation of the device relative to a known geographical direction, so that on an image screen, an arrow is generated, which shows the position of the device to the destination and thus is easily interpretable.

Bekannt sind außerdem Head-Up Displays (HUDs), bei denen insbesondere im Automobilbereich Informationen (z. B. Tachometer, Navigationshinweise), über einen geeigneten durchlässigen Spiegel (dem so genannten Combiner, das kann z. B. auch die Windschutzscheibe sein) ins Sichtfeld projiziert werden. Ein geeigneter Combiner kann aber auch durch das Glas einer Brille, die vom Nutzer getragen wird, realisiert werden. Solche Einrichtungen findet man z. B. bei Jetpiloten (auch Helmet Mounted Display genannt). In einfachen Ausführungen ist das Display selbst in das Brillenglas integriert. Solche sogenannten AR (Augmented Reality-) oder HUD-Brillen sind z. B. für Computerspiele erhältlich. Wird für beide Augen ein unterschiedliches Bild erzeugt, so kann man ein stereoskopisches Bild darstellen.Known are also Head-Up Displays (HUDs), where in particular in the automotive sector information (eg speedometer, navigation instructions), about a suitable permeable mirror (the so-called Combiner, that can z. B. also be the windshield) in the field of vision be projected. A suitable combiner can also through the glass of a pair of glasses worn by the user realized become. Such facilities can be found z. B. in jet pilots (also Helmet Mounted Display called). In simple versions the display itself is integrated into the lens. Such so-called AR (augmented reality) or HUD glasses are z. For example Computer games available. Will for both eyes produces a different image, so you can do a stereoscopic Picture.

Die im HUD darzustellenden Informationen werden meist alphanumerisch oder durch Symbole dargestellt. Eine räumliche Beziehung zur im Sichtfeld liegenden Szene wird erst durch sogenannte „kontaktanaloge” Darstellungen, wie sie beim oben genannten gattungsgemäßen Stand der Technik realisiert sind, erreicht. Das aus der DE 101 31 720 A1 bekannte Navigationssystem ist in einem Fahrzeug eingebaut und blendet als Anzeigeelemente beispielsweise eine Markierung für eine Straße, in die abgebogen werden soll, so in die Windschutzscheibe ein, dass die Markierung ortskorrekt mit eben der Straße überlagert wird. Als ortskorrekte Darstellung wird demnach die korrekte Überlagerung der projizierten Objekte mit der realen Umgebung (Fahrzeugaußenraum) bezeichnet, d. h. die Darstellungen der Objekte werden genau an den Orten in das Blickfeld des Fahrers eingeblendet, wo das jeweilige reale Objekt zu sehen ist. Dabei ist es auch bekannt, die jeweilige Position des Fahrers, die jeweilige Kopfposition und/oder die Position der Augen und der Blickrichtung zu erfassen, um eine ortskor rekte Darstellung auch dann liefern zu können, wenn der Fahrer die Kopfposition ändert.The information to be displayed in the HUD is usually displayed alphanumerically or by symbols. A spatial relationship to the scene lying in the field of view is achieved only by so-called "contact analog" representations, as they are realized in the above-mentioned generic state of the art. That from the DE 101 31 720 A1 known navigation system is installed in a vehicle and hides as display elements, for example, a marker for a road to be bent, so in the windshield, that the marker is correctly superimposed with just the road. Accordingly, the correct superimposition of the projected objects with the real environment (vehicle exterior) is referred to as location-correct representation, ie the representations of the objects are superimposed exactly at the locations in the driver's field of vision where the respective real object can be seen. It is also known to detect the respective position of the driver, the respective head position and / or the position of the eyes and the line of sight to provide a ortskor right display even when the driver changes the head position.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Navigationssystem für einen Nutzer ist in Anspruch 1 gekennzeichnet. Weiterbildungen und bevorzugte Maßnahmen ergeben sich aus den Unteransprüchen.The Navigation system according to the invention for A user is characterized in claim 1. Trainings and preferred measures emerge from the subclaims.

Bei dem erfindungsgemäßen Navigationssystem ist, über die gattungsgemäßen Merkmale hinaus, vorgesehen, dass das Navigationssystem tragbar ausgebildet ist, wobei das Head-Up Display System ein auf dem Kopf des Nutzers getragenes Head-Mounted Display aufweist, und wobei eine Einrichtung zur Bestimmung der Blickrichtung des Nutzers vorgesehen ist. Weiterhin erfindungsgemäß ist vorgesehen, dass die Anzeigeelemente eine menschenähnliche digitale Figur oder eine Teilfigur umfassen, die sich im Sichtfeld des Nutzers derart bewegt, dass sie die vom Nutzer zu unternehmenden Handlungen in der Art eines virtuellen Führers (Avatar) vorgibt. Der virtuelle Führer wird dem Nutzer also als Augmented Reality-Einblendung in die reale Welt projiziert.at the navigation system according to the invention is about the generic features, provided, that the navigation system is portable, the head-up Display system is a head-mounted worn on the user's head Display, and wherein means for determining the Viewing direction of the user is provided. Furthermore, according to the invention, it is provided that the display elements are a human-like digital Figurine or a sub-figure include, in the field of view of the user moved so that they are the actions to be taken by the user in the manner of a virtual guide (Avatar) pretends. Of the virtual guide is the user as an augmented reality display projected into the real world.

Der Vorteil der Erfindung besteht zunächst darin, dass der Nutzer nicht auf das Display eines Navigationsgerätes schauen muss, um sich zu orientieren, beziehungsweise, dass der Nutzer in lauten Umgebungen nicht auf akustische Hinweise angewiesen ist. Der Nutzer sieht und versteht vielmehr unmittelbar, in welche Richtung er gehen, beziehungsweise welche Handlungen er zum Erreichen seines Zieles unternehmen muss. Die Interpretation eines akustischen Hinweises (z. B. ”Demnächst rechts abbiegen”) oder eines grafischen Symbols (z. B. Abbiegepfeil mit Entfernungsangabe) entfällt.Of the Advantage of the invention is first that the Users do not look at the display of a navigation device needs to be oriented, or that the user in loud environments is not dependent on audible cues. The user sees and understands directly in which direction he goes, or what he does to achieve his goal must do business. The interpretation of an acoustic hint (eg "Turn right soon") or a graphic symbol (eg turn-off arrow with distance indication) eliminated.

Gemäß einer vorteilhaften Ausführungsform der Erfindung zeigt der Avatar die Navigationsvorgaben mittels zielführender Ges ten an, beispielsweise durch Winken, oder durch das Ausstrecken eines Arms.According to one advantageous embodiment of the invention shows the avatar the navigation requirements by means of goal-oriented laws, for example, by waving, or by the extension of an arm.

Gemäß einer als besonders vorteilhaft angesehenen Ausführungsform der Erfindung bewegt sich der Avatar vor dem Nutzer derart, beispielsweise einige Schritte weit, durch das Sichtfeld des Nutzers, dass er den Weg zu einem Ziel vorgibt.According to one considered particularly advantageous embodiment of the Invention, the avatar moves in front of the user, for example a few steps away, through the user's field of vision, that he has the Giving way to a goal.

Bei einer vereinfachten Ausführungsform ist der Avatar als Hand, also als menschenähnliche digitale Teilfigur, ausgebildet.at In a simplified embodiment, the avatar is as Hand, so as a human-like digital sub-figure, trained.

Die Einrichtung zur Bestimmung der Blickrichtung des Nutzers kann gemäß einer vorteilhaften Ausführungsform der Erfindung eine am Head-Mounted Display angeordnete Kamera, eine Speichereinheit, in der georeferenzierte Merkmale in Form von Bilddaten gespeichert sind, sowie eine Recheneinheit zur Orientierungsschätzung umfassen, wobei die Recheneinheit aus den Bildern der Kamera Bildmerkmale extrahiert und mit den gespeicherten georeferenzierten Merkmalen vergleicht und daraus die Blickrichtung des Nutzers ermittelt. Gemäß einer Weiterbildung dieser Ausführungsformen kann die Einrichtung zur Bestimmung der Blickrichtung zusätzlich wenigstens jeweils einen Beschleunigungs- und Neigungssensor aufweisen. Dadurch wird erreicht, dass der Avatar unabhängig von einer Veränderung der Blickrichtung nach vorheriger Blickrichtungsbestimmung mittels Kamera lagerichtig projiziert wird.The Device for determining the viewing direction of the user can according to a advantageous embodiment of the invention, a head-mounted Display arranged camera, a storage unit, georeferenced in the Characteristics are stored in the form of image data, as well as a computing unit for orientation estimation, wherein the arithmetic unit extracted from the images of the camera image features and stored with the georeferenced features and compares the line of sight determined by the user. According to a development In these embodiments, the means for determining the viewing direction additionally at least one acceleration and Tilt sensor have. This will accomplish that of the avatar regardless of a change in the viewing direction after correct viewing direction determination by means of camera in the correct position is projected.

Es ist vorteilhaft, dass in Blickrichtung des Nutzers ein Hinweis eingeblendet wird, falls der Avatar in dieser Blickrichtung nicht kontaktanalog in das Sichtfeld hineinpassend darstellbar ist.It is advantageous that a hint appears in the direction of the user becomes, if the avatar in this line of sight not contact-analogous fitting into the field of view can be displayed.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

1 zeigt eine Darstellung eines virtuellen Führers aus Sicht des Nutzers, 1 shows a representation of a virtual guide as seen by the user,

2 zeigt in einem Blockdiagramm den Aufbau des erfindungsgemäßen Navigationssystems. 2 shows in a block diagram the structure of the navigation system according to the invention.

1 zeigt eine Ausführungsform der Erfindung, bei der ein Nutzer 1 (Fußgänger), der eine auf seinem Kopf angeordnete HUD-Brille 4 trägt, in Richtung einer Straße 5 blickt, die eine Abzweigung nach rechts aufweist. Die Abzweigung führt zum in das Navigationssystem eingegebenen Zielort führt. Durch die HUD-Brille 4 hindurch blickend sieht der Nutzer 1 zum einen die vor ihm liegende reale Szene mit der Straße 5 und zum anderen, im aktiven Bereich des HUD 4, ein virtuelles Bild 2, in dem als Anzeigeelement ein virtueller Führer beziehungsweise Avatar 3 auftaucht. Wie in 1 erkennbar, wird der virtuelle Führer 3 der realen Szene derart überlagert, dass sich die richtige räumliche Beziehung zwischen dem Erscheinungsort des Avatars 3 im Blickfeld und der intendierten Navigationsvorgabe ergibt. Im gezeigten Beispiel scheint der Avatar 3 an der vom Nutzer 1 demnächst zu nehmenden Abzweigung zu stehen. Erkennbar ist außerdem die in die abzweigende Straße hinein weisende Geste, die der Avatar 3 mit seinem linken Arm ausführt. 1 shows an embodiment of the invention, in which a user 1 (Pedestrian), the one on his head arranged HUD glasses 4 carries, towards a street 5 looks, which has a turn to the right. The diversion leads to the destination entered in the navigation system. Through the HUD glasses 4 looking through, the user sees 1 on the one hand the real scene in front of him with the street 5 and secondly, in the active area of the HUD 4 , a virtual picture 2 , in which as a display element a virtual guide or avatar 3 shows up. As in 1 recognizable, becomes the virtual guide 3 superimposed on the real scene in such a way that the correct spatial relationship between the place of the avatar's appearance 3 in the field of vision and the intended navigation specification. In the example shown, the avatar seems 3 at the user's 1 to be taken next branch. Also recognizable is the gesture pointing into the branching road, the avatar 3 with his left arm.

2 zeigt in einem Blockdiagramm den Aufbau des erfindungsgemäßen Navigationssystems, das im Wesentlichen aus einem tragbaren Navigationsgerät 19 und einer HUD-Brille 4 besteht, die ein stereoskopisches Bild in der vom Nutzer 1 wahrgenommenen realen Szene anzeigen kann. 2 shows in a block diagram the structure of the navigation system according to the invention, which essentially consists of a portable navigation device 19 and a HUD glasses 4 exists, which is a stereoscopic image in the user's 1 can perceive the perceived real scene.

Über die Eingabeeinheit 14 gibt der Nutzer sein Ziel ein. Über einen Bildschirm beziehungsweise eine Sprachausgabe 11 können Informationen in konventioneller Weise ausgegeben werden. Mit Hilfe einer Ortungseinheit 6 wird aus GPS 17 und den Informationen weiterer Sensoren (Koppelnavigation, gegebenenfalls auch Mapmatching) die Position des Nutzers 1 geschätzt. Zusammen mit dem gewünschten Ziel kann nun in der Einheit 10 anhand digitaler Kartendaten 12 die Route in an sich bekannter Weise berechnet werden.About the input unit 14 the user enters his destination. About a screen or a voice output 11 information can be output in a conventional way. With the help of a locating unit 6 will be from GPS 17 and the information of other sensors (dead reckoning, possibly also mapmatching) the position of the user 1 estimated. Together with the desired goal can now be in the unit 10 using digital map data 12 the route can be calculated in a manner known per se.

Aus den Routeninformationen wird berechnet, wie der virtuelle Führer 3 sich in der Szene bewegen soll. Der virtuelle Führer 3 ist eine menschenähnliche digitale Figur (Avatar), die nach Nutzergeschmack auch vom Nutzer 1 zu gestalten sein kann. Dieser Avatar 3 zeigt mit Gesten an, wenn der Nutzer z. B. abbiegen soll oder ein sonstiges Manöver durchführen soll (umkehren, einen Lift oder anderes Fortbewegungsmittel benutzen, „Ziel erreicht”, usw.). Der Avatar 3 kann auch virtuell, ein paar Schritte vor dem Nutzer 1, durch die Szene schreiten und so ebenfalls den Weg vorgeben.From the route information is calculated as the virtual guide 3 to move in the scene. The virtual guide 3 is a human-like digital figure (avatar), which according to user taste also by the user 1 can be designed. This avatar 3 indicates with gestures, if the user z. B. should turn or perform any other maneuver (reverse, use a lift or other means of transport, "goal reached", etc.). The avatar 3 can also be virtual, a few steps in front of the user 1 , walk through the scene and thus also give the way.

Damit der Avatar 3 dem Nutzer 1 an der richtigen Position in der realen Welt erscheint, muss bekannt sein, in welche Richtung der Nutzer 1 blickt. Diese Orientierungsschätzung 18 geschieht gemäß dem hier dargestellten Ausführungsbeispiel auf der Basis eines an sich bekannten Bilderkennungsverfahrens, das zyklisch durchgeführt wird und mindestens eine robuste Schätzung der Blickrichtung liefert. Aus den Bildern einer in die HUD-Brille 4 integrierten Kamera 8 werden Bildmerkmale der Umgebung extrahiert. Geeignete Merkmale sind z. B. Ecken und Kanten statischer Objekte wie z. B. Häuser. Diese Bildmerkmale werden mit georeferenzierten Merkmalen, die in einer Datenbank 13 abgelegt sind, verglichen. Werden identische Merkmale gefunden, so kann daraus die Blickrichtung bestimmt werden. Zur Anpassung der projizierten Anzeigeelemente an die momentane, geänderte Blickrichtung können von Beschleunigungs- und Neigungssensoren 9 gelieferte Daten dienen.So the avatar 3 the user 1 appears in the right position in the real world, it must be known in which direction the user 1 looks. This orientation estimate 18 happens according to the embodiment shown here on the basis of a per se known image recognition method, which is performed cyclically and at least provides a robust estimate of the line of sight. From the pictures in the HUD glasses 4 integrated camera 8th Image features of the environment are extracted. Suitable features are for. B. corners and edges of static objects such. Eg houses. These image features are using georeferenced features stored in a database 13 are filed compared. If identical features are found, then the viewing direction can be determined from this. to Adaptation of the projected display elements to the current, changed viewing direction can be done by acceleration and inclination sensors 9 supplied data serve.

Mit der so in der Ortungseinheit 6 ermittelten Position und Orientierung des Nutzers 1 kann nun der Avatar 3 vom Renderer (Zeicheneinheit) 16 lagerichtig in den Projektionseinheiten (Displays) 7 der AR-Brille 4 gezeichnet werden. Die Zeicheneinheit 16 ist des Weiteren mit einer Einheit 15 verbunden, die, in Abhängigkeit von der Routenberechnung 10, für die Animation des Avatars 3 sorgt.With the so in the tracking unit 6 determined position and orientation of the user 1 can now the avatar 3 from the renderer (drawing unit) 16 in the correct position in the projection units (displays) 7 the AR glasses 4 to be drawn. The drawing unit 16 is further with a unit 15 connected, which, depending on the route calculation 10 , for the animation of the avatar 3 provides.

Zusätzlich zum Avatar 3 können auch Symbole für die anstehenden Manöver kontaktanalog angezeigt werden, z. B. Richtungspfeile. Alternativ oder zusätzlich zu Symbolen kann auch die Route farblich markiert werden, so dass z. B. die Straßenoberfläche in einer markanten Farbe erscheint oder mit einer virtuellen Textur belegt wird.In addition to the avatar 3 also icons for the upcoming maneuvers contact analog can be displayed, for. B. directional arrows. Alternatively or in addition to symbols, the route can also be marked in color, so that z. B. the road surface appears in a distinctive color or is covered with a virtual texture.

Zusätzlich zu den genannten kontaktanalogen Anzeigeelementen können textuelle oder symbolische Informationen in die AR-Brille 4 eingeblendet werden. Die Informationen können sich auf die Route oder auch auf Objekte in der Szene beziehen, z. B. Hindernisse, Sehenswürdigkeiten, Zeit- und Entfernungsangaben, Straßennamen und so weiter.In addition to the mentioned contact-analogue display elements, textual or symbolic information can be entered into the AR glasses 4 to be displayed. The information may relate to the route or even to objects in the scene, e.g. Obstacles, sights, time and distance information, street names and so on.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - DE 10131720 A1 [0002, 0006] - DE 10131720 A1 [0002, 0006]
  • - DE 10036440 C2 [0004] - DE 10036440 C2 [0004]

Claims (10)

Navigationssystem für einen Nutzer, mit Mitteln (17) zur Erfassung einer Position des Nutzers (1) und mit einem Head-Up Display System zur kontaktanalogen, ortskorrekten Darstellung von Anzeigeelementen, die einen Bezug zu den vom Nutzer (1) zu unternehmenden Handlungen haben, dadurch gekennzeichnet, – dass das Navigationssystem tragbar ausgebildet ist, wobei das Head-Up Display System ein auf dem Kopf des Nutzers getragenes Head-Mounted Display (4) aufweist, und wobei eine Einrichtung zur Bestimmung der Blickrichtung des Nutzers (1) vorgesehen ist, – dass die Anzeigeelemente eine menschenähnliche digitale Figur oder eine Teilfigur umfassen, die sich im Sichtfeld des Nutzers (1) derart bewegt, dass sie die vom Nutzer zu unternehmenden Handlungen in der Art eines virtuellen Führers (Avatar) (3) vorgibt.Navigation system for a user, with means ( 17 ) for detecting a position of the user ( 1 ) and with a head-up display system for contact-analogue, location-correct display of display elements that relate to the user ( 1 ) to be undertaken, characterized in that - the navigation system is portable, the head-up display system carrying a worn on the head of the user head-mounted display ( 4 ), and wherein means for determining the viewing direction of the user ( 1 ) is provided, that the display elements comprise a human-like digital figure or a sub-figure, which in the field of view of the user ( 1 ) are moved in such a way that they perform the actions to be taken by the user in the manner of a virtual guide (avatar) ( 3 ) pretends. Navigationssystem nach Anspruch 1, dadurch gekennzeichnet, dass der Avatar (3) die Navigationsvorgaben mittels Gesten anzeigt.Navigation system according to claim 1, characterized in that the avatar ( 3 ) displays the navigation presets by means of gestures. Navigationssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Avatar (3) sich derart durch das Sichtfeld des Nutzers (1) bewegt, dass er den Weg zu einem Ziel vorgibt.Navigation system according to claim 1 or 2, characterized in that the avatar ( 3 ) so through the field of view of the user ( 1 ) that he sets the path to a destination. Navigationssystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung der Blickrichtung des Nutzers eine am Head-Mounted Display (4) angeordnete Kamera (8), eine Speichereinheit (13), in der georeferenzierte Merkmale in Form von Bilddaten gespeichert sind, sowie eine Recheneinheit (18) zur Orientierungsschätzung umfasst, wobei die Recheneinheit (18) aus den Bildern der Kamera (8) Bildmerkmale extrahiert und mit den gespeicherten georeferenzierten Merkmalen vergleicht und daraus die Blickrichtung des Nutzers (1) ermittelt.Navigation system according to one of claims 1 to 3, characterized in that the device for determining the viewing direction of the user on a head-mounted display ( 4 ) arranged camera ( 8th ), a storage unit ( 13 ), in which geo-referenced features are stored in the form of image data, and a computing unit ( 18 ) for orientation estimation, wherein the arithmetic unit ( 18 ) from the pictures of the camera ( 8th ) Extracts image features and compares them with the stored geo-referenced features, and from this the user's line of sight ( 1 ). Navigationssystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung der Blickrichtung wenigstens jeweils einen Beschleunigungs- und Neigungssensor (9) aufweist.Navigation system according to one of claims 1 to 4, characterized in that the means for determining the viewing direction at least one acceleration and inclination sensor ( 9 ) having. Navigationssystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in Blickrichtung des Nutzers (1) ein Hinweis eingeblendet wird, falls der Avatar (3) in dieser Blickrichtung nicht kontaktanalog in das Sichtfeld hineinpassend darstellbar ist.Navigation system according to one of claims 1 to 5, characterized in that in the viewing direction of the user ( 1 ) a hint appears, if the avatar ( 3 ) in this line of sight is not contact-analogue in the field of view is shown fitting. Navigationssystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Anzeigeelemente zusätzlich wenigstens ein kontaktanalog dargestelltes Symbol umfassen, das einen Bezug zu den vom Nutzer (1) zu unternehmenden Handlungen hat.Navigation system according to one of claims 1 to 6, characterized in that the display elements additionally comprise at least one contact-analogously represented symbol that is related to the user ( 1 ) to undertake actions. Navigationssystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Anzeigeelemente zusätzlich wenigstens eine kontaktanalog mit dem Sichtfeld synchronisierte Einblendung umfassen, die den Nutzer (1) bei der Ausführung der Navigationsvorgaben unterstützt.Navigation system according to one of claims 1 to 7, characterized in that the display elements additionally comprise at least one contact analog synchronized with the field of view, the user ( 1 ) supported in the execution of navigation presets. Navigationssystem nach der Anspruch 8, dadurch gekennzeichnet, dass die Einblendung in einer flächigen Markierung eines vom Nutzer (1) zu beschreitenden Weges besteht.Navigation system according to claim 8, characterized in that the insertion in a flat marking of a user ( 1 ) consists of the path to be followed. Navigationssystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass weitere Informationen über die Route oder besondere Objekte in der Umgebung der Route in textueller oder symbolischer Form in das Head-Mounted Display (4) eingeblendet werden.Navigation system according to one of claims 1 to 9, characterized in that further information about the route or special objects in the environment of the route in textual or symbolic form in the head-mounted display ( 4 ).
DE102008042397A 2008-09-26 2008-09-26 Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image Withdrawn DE102008042397A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008042397A DE102008042397A1 (en) 2008-09-26 2008-09-26 Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008042397A DE102008042397A1 (en) 2008-09-26 2008-09-26 Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image

Publications (1)

Publication Number Publication Date
DE102008042397A1 true DE102008042397A1 (en) 2010-04-01

Family

ID=41719639

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008042397A Withdrawn DE102008042397A1 (en) 2008-09-26 2008-09-26 Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image

Country Status (1)

Country Link
DE (1) DE102008042397A1 (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010041344A1 (en) * 2010-09-24 2012-03-29 Carl Zeiss Ag Display device i.e. information spectacles, for representing image of e.g. smart phone, has rear channel by which pupil of eye is represented on sensor, which is connected with control unit that controls image production based on position
DE102012216057A1 (en) * 2012-09-11 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Arrange displays in a head-mounted display
WO2014079567A1 (en) * 2012-11-20 2014-05-30 Daimler Ag Object representation on head-up displays depending on the gaze of a user
FR3003941A1 (en) * 2013-03-29 2014-10-03 Ivo Hannes Flammer METHOD AND DEVICE FOR AIDING MAPPING NAVIGATION FOR A USER EQUIPPED WITH A NOMAD DEVICE
WO2015032833A1 (en) * 2013-09-04 2015-03-12 Essilor International (Compagnie Generale D'optique) Navigation method based on a see-through head-mounted device
DE102013021854A1 (en) * 2013-12-21 2015-06-25 Audi Ag Visual and operating device for carrying out a method for determining a hazard potential in a vehicle
CN105278670A (en) * 2014-06-26 2016-01-27 Lg电子株式会社 Eyewear-type terminal and method for controlling the same
DE102014214516A1 (en) * 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for reproducing data in augmented reality for an occupant of a vehicle
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
US9582075B2 (en) 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
USRE47984E1 (en) 2012-07-02 2020-05-12 Nvidia Corporation Near-eye optical deconvolution displays
DE102018219812A1 (en) * 2018-11-19 2020-05-20 Volkswagen Aktiengesellschaft Concept for the control of a display of a mobile augmented reality device
US10838459B2 (en) 2013-08-14 2020-11-17 Nvidia Corporation Hybrid optics for near-eye displays
CN112166301A (en) * 2018-06-01 2021-01-01 大众汽车股份公司 Method for computing an "augmented reality" fade-in for presenting a navigation route on an AR display unit, a device for performing the method, and a motor vehicle and a computer program
US11486726B2 (en) 2018-03-07 2022-11-01 Volkswagen Aktiengesellschaft Overlaying additional information on a display unit
WO2024068367A1 (en) * 2022-09-26 2024-04-04 Bayerische Motoren Werke Aktiengesellschaft Driving a motor vehicle in virtual surroundings
DE102014207398B4 (en) 2014-04-17 2025-01-23 Bayerische Motoren Werke Aktiengesellschaft Object association for contact-analog display on a HMD

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10036440C2 (en) 2000-07-26 2002-08-01 Heiko Barske Portable navigation device
DE10131720A1 (en) 2001-06-30 2003-01-16 Bosch Gmbh Robert Head-up display system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10036440C2 (en) 2000-07-26 2002-08-01 Heiko Barske Portable navigation device
DE10131720A1 (en) 2001-06-30 2003-01-16 Bosch Gmbh Robert Head-up display system and method

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010041344B4 (en) * 2010-09-24 2020-10-29 tooz technologies GmbH Display device with eye-controlled input interface
DE102010041344A1 (en) * 2010-09-24 2012-03-29 Carl Zeiss Ag Display device i.e. information spectacles, for representing image of e.g. smart phone, has rear channel by which pupil of eye is represented on sensor, which is connected with control unit that controls image production based on position
US9829715B2 (en) 2012-01-23 2017-11-28 Nvidia Corporation Eyewear device for transmitting signal and communication method thereof
US10008043B2 (en) 2012-07-02 2018-06-26 Nvidia Corporation Near-eye parallax barrier displays
US9841537B2 (en) 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
USRE47984E1 (en) 2012-07-02 2020-05-12 Nvidia Corporation Near-eye optical deconvolution displays
USRE48876E1 (en) 2012-07-02 2022-01-04 Nvidia Corporation Near-eye parallax barrier displays
US10395432B2 (en) 2012-07-02 2019-08-27 Nvidia Corporation Near-eye parallax barrier displays
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9557565B2 (en) 2012-07-02 2017-01-31 Nvidia Corporation Near-eye optical deconvolution displays
DE102012216057A1 (en) * 2012-09-11 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Arrange displays in a head-mounted display
WO2014079567A1 (en) * 2012-11-20 2014-05-30 Daimler Ag Object representation on head-up displays depending on the gaze of a user
DE102013114542B4 (en) 2012-12-19 2021-07-22 Nvidia Corporation Display close to the eye with parallax lock
DE102013114518B4 (en) 2012-12-19 2021-07-15 Nvidia Corporation Displays close to the eye with optical deconvolution
DE102013114527B4 (en) 2012-12-19 2021-07-22 Nvidia Corporation Close-to-eye display with a microlens array
FR3003941A1 (en) * 2013-03-29 2014-10-03 Ivo Hannes Flammer METHOD AND DEVICE FOR AIDING MAPPING NAVIGATION FOR A USER EQUIPPED WITH A NOMAD DEVICE
US9582075B2 (en) 2013-07-19 2017-02-28 Nvidia Corporation Gaze-tracking eye illumination from display
US10838459B2 (en) 2013-08-14 2020-11-17 Nvidia Corporation Hybrid optics for near-eye displays
US9976867B2 (en) 2013-09-04 2018-05-22 Essilor International Navigation method based on a see-through head-mounted device
CN105518416A (en) * 2013-09-04 2016-04-20 埃西勒国际通用光学公司 Navigation method based on see-through head-mounted device
WO2015032833A1 (en) * 2013-09-04 2015-03-12 Essilor International (Compagnie Generale D'optique) Navigation method based on a see-through head-mounted device
DE102013021854B4 (en) * 2013-12-21 2017-12-14 Audi Ag Visual and operating device for carrying out a method for determining a hazard potential in a vehicle
DE102013021854A1 (en) * 2013-12-21 2015-06-25 Audi Ag Visual and operating device for carrying out a method for determining a hazard potential in a vehicle
DE102014207398B4 (en) 2014-04-17 2025-01-23 Bayerische Motoren Werke Aktiengesellschaft Object association for contact-analog display on a HMD
US9921073B2 (en) 2014-06-26 2018-03-20 Lg Electronics Inc. Eyewear-type terminal and method for controlling the same
EP2960630A3 (en) * 2014-06-26 2016-03-23 LG Electronics Inc. Eyewear-type terminal and method for controlling the same
CN105278670A (en) * 2014-06-26 2016-01-27 Lg电子株式会社 Eyewear-type terminal and method for controlling the same
DE102014214516A1 (en) * 2014-07-24 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Apparatus and method for reproducing data in augmented reality for an occupant of a vehicle
US11486726B2 (en) 2018-03-07 2022-11-01 Volkswagen Aktiengesellschaft Overlaying additional information on a display unit
CN112166301A (en) * 2018-06-01 2021-01-01 大众汽车股份公司 Method for computing an "augmented reality" fade-in for presenting a navigation route on an AR display unit, a device for performing the method, and a motor vehicle and a computer program
DE102018219812A1 (en) * 2018-11-19 2020-05-20 Volkswagen Aktiengesellschaft Concept for the control of a display of a mobile augmented reality device
WO2024068367A1 (en) * 2022-09-26 2024-04-04 Bayerische Motoren Werke Aktiengesellschaft Driving a motor vehicle in virtual surroundings

Similar Documents

Publication Publication Date Title
DE102008042397A1 (en) Navigation system for supporting user i.e. pedestrian, while navigating in e.g. city areas, has display elements moving in field of view of user such that display elements display actions to be performed by user in form of virtual image
EP3765324B1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
EP2899506B1 (en) Method and device for operating a view field display device
DE112008003424B4 (en) Navigation device using video images from a camera
DE102017216774B4 (en) A method, apparatus, computer readable storage medium and motor vehicle having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
EP1527322A1 (en) Method and device for displaying navigational information for a vehicle
DE202005021607U1 (en) Navigation device with camera information
EP3685123B1 (en) Method, device and computer readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
EP3955046B1 (en) Method for operating a display device in a motor vehicle
DE102014206623A1 (en) Localization of a head-mounted display (HMD) in the vehicle
DE102014015871B4 (en) Display system for a motor vehicle, motor vehicle with a display system and method for operating a display system
DE102020212412B3 (en) Method for operating a head-up display device and a head-up display device
DE102010003851A1 (en) Destination marking method for motor vehicle driver, involves determining position of destination relative to vehicle, and embedding virtual object in real vehicle environment that is visible to vehicle occupant on head-up display
EP3483654B1 (en) Detection and visualization of lack of system security in rendering augmented image content in head-up displays
EP3361355A1 (en) Method, device and a computer readable storage medium with instructions for controlling a display of an augmented reality heads up display device
DE102017215163A1 (en) System of a motor vehicle and an augmented reality goggles and method for determining a pose of augmented reality goggles in the interior of a vehicle
WO2015049028A1 (en) Method and device for representing navigation instructions of a navigation system on a display
DE102015222844A1 (en) Method and control device for operating a field of view display device for a vehicle
DE10013478A1 (en) Assistance system for drivers displaying navigation and vehicle data in field of vision, supplemented by audible information, includes data spectacles with receiver
DE102015003948B4 (en) Method for operating virtual reality glasses and a virtual reality system arranged in a motor vehicle
DE102013016249A1 (en) Method for displaying navigation instructions on display of navigation system, involves determining representation of image of background of display and determining degradation stage based on additional information
WO2022218698A1 (en) Method and device for determining a pose in smart glasses
DE102016225262A1 (en) Method and device for operating a display system with data glasses
JP5007059B2 (en) Stereoscopic in-vehicle display
DE10313743B4 (en) Method and device for displaying driver information

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20110401