DE102009020300A1

DE102009020300A1 - Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices

Info

Publication number: DE102009020300A1
Application number: DE102009020300A
Authority: DE
Inventors: Alexander Augst
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2009-05-07
Filing date: 2009-05-07
Publication date: 2010-11-11

Abstract

The method involves detecting automatically the surrounding of the vehicle with one or multiple object recognition devices. A virtual road plane has road boundaries and road markings generated with an object recognition device. The real position of the road boundaries and road markings are detected on the basis of information from the navigation system, particularly offsetting of global coordinates, preferably Global positioning systemcoordinates. An independent claim is also included for a display device for displaying partially automatically determined surrounding of the vehicle for a user of the vehicle from the outlook of passenger, particularly driver.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs für einen Benutzer des Fahrzeugs aus der Perspektive eines Insassen, insbesondere des Fahrers, des Fahrzeugs auf der Anzeige einer Anzeigevorrichtung.The The invention relates to a method and a device for display at least partially automatically detected environment of a vehicle for a user of the vehicle from the perspective of an occupant, in particular the driver of the vehicle on the display of a display device.

Aus dem Stand der Technik sind verschiedene Systeme zur Erkennung von Straßenmarkierungen mit Hilfe von in einem Fahrzeug verbauten Vorrichtungen bekannt. Insbesondere gibt es verschiedene Ausprägungen von Spurführungsassistenten. Zur Erkennung der Spuren wird in Spurführungsassistenten beispielsweise eine nach vorne gerichtete monokulare Kamera verwendet. Alternativ können die Spuren mittels von im Wesentlichen nach unten gerichteten Infrarot-Sensoren erkannt werden. Spurführungsassistenten ermitteln dabei die Zeit bis zu einer Markierungsüberschreitung durch das Fahrzeug und geben in Abhängigkeit von weiteren Bedingungen Warnungen an den Fahrer aus. Insbesondere kann in einigen Systemen auch ein aktives, vom Fahrer jederzeit übersteuerbares Drehmoment am Lenkrad generiert werden, sobald eine unbeabsichtigte Überschreitung einer Fahrbahnmarkierung oder Fahrbahnbegrenzung droht.Out In the prior art, various systems for the detection of Road markings with the help of built in a vehicle Devices known. In particular, there are various forms of guidance assistants. To detect the tracks will For example, in Guidance Assist, one forward directed monocular camera used. Alternatively, the Traces by means of substantially downwardly directed infrared sensors be recognized. Tracking assistants determine this the time to a mark exceeded by the Vehicle and give depending on other conditions Warnings to the driver. In particular, in some systems also an active driver override at any time Torque on the steering wheel will be generated as soon as an unintentional exceedance a lane marking or road boundary threatens.

Aus dem Stand der Technik sind ferner objekterkennende Systeme zur Erkennung von Hindernissen auf der Fahrbahn bekannt. Insbesondere ist eine Fusion eines 3D-TOF-Sensors (TOF = Time of Flight) und einer monokularen Kamera aus dem öffentlichen Forschungsprojekt „MIDIAS” bekannt. Mit dem TOF-Sensor werden Objekte basierend auf den Laufzeiten des ausgesendeten, von den Objekten reflektierten und anschließend empfangenen Lichts gemessen und daraus die Entfernungen zu den Objekten für unterschiedliche Raumwinkel ermittelt. Daraus wird eine 3D-Karte der Szene erstellt. Bei der genannten Sensorfusion werden die Sensordaten von dem TOF-Sensor und von der monokularen Kamera über dieselben Raumwinkel durchgeführt. Dabei können die Vorteile beider Sensortypen vereinigt werden. Insbesondere wird der Vorteil der hohen Winkelauflösung einer monokularen Kamera, welche jedoch nur wenig Information über die Objektentfernung liefert, mit dem Vorteil der über dieselben Objekte ermittelten Tiefeninformation des 3D-Sensors vereint, der an sich eine relativ niedrige Winkelauflösung besitzt.Out The prior art further includes object recognition systems for recognition known from obstacles on the road. In particular, one is Fusion of a 3D TOF sensor (TOF = Time of Flight) and a monocular Camera from the public research project "MIDIAS" known. With the TOF sensor, objects are based on the durations of the emitted, reflected by the objects and then received light and from this the distances to the objects determined for different solid angles. It will created a 3D map of the scene. In the mentioned sensor fusion The sensor data from the TOF sensor and from the monocular Camera performed on the same solid angle. The advantages of both sensor types can be combined become. In particular, the advantage of high angular resolution a monocular camera, which, however, has little information about the object distance provides, with the advantage of over the same objects determined depth information of the 3D sensor unites which in itself has a relatively low angular resolution.

1 zeigt schematisch den Aufbau eines Kamerasystems basierend auf einer solchen Sensorfusion. Ein zu erkennendes Objekt O, welches beispielhaft als eine Person dargestellt ist, wird dabei sowohl von einer monokularen Kamera 101 als auch von einem entsprechenden TOF-Sensor 102 erfasst. Der TOF-Sensor beinhaltet dabei entsprechende Mittel 103 zur Aussendung von Infrarotstrahlung sowie ein Mittel 104 zum Empfang der an entsprechenden Objekten reflektierten Infrarotstrahlung. Die Daten der Kamera und des Sensors werden dann fusioniert, und darauf aufbauend wird beispielsweise eine Umgebungskarte bzw. eine Liste der erkannten Objekte ermittelt. 1 schematically shows the structure of a camera system based on such a sensor fusion. An object to be recognized O, which is exemplified as a person, is both from a monocular camera 101 as well as from a corresponding TOF sensor 102 detected. The TOF sensor contains appropriate means 103 for the emission of infrared radiation and a means 104 for receiving the infrared radiation reflected at corresponding objects. The data of the camera and the sensor are then fused, and based on this, for example, an environment map or a list of the detected objects is determined.

Aus dem Stand der Technik sind ferner Nachtsicht-Systeme bekannt, bei denen mit einer Ferninfrarotkamera ein Bild der Umgebung des Fahrzeugs erfasst wird und auf einem Display im Fahrzeuginnenraum angezeigt wird. Es werden hierdurch Hindernisse bzw. Objekte sichtbar, welche durch das menschliche Auge bei Dunkelheit nicht gesehen werden können. Es sind auch Objekterkennungssysteme bekannt, die basierend auf einer im Infrarotspektrum erfassten Umgebung automatische Objekterkennung durchführen. Somit können auch solche Objekte automatisch erkannt werden, die im sichtbaren Spektrum nicht oder nur wenig Licht abstrahlen oder reflektieren, aber eine von ihrer Umgebung unterschiedliche Temperatur haben. Es ist außerdem bekannt, dass eine automatische Erkennung von einem Objekt einer bestimmten Klasse in der Umgebung des Fahrzeugs als eine Fahrerwarnung, z. B. ein Piktogramm auf einer Anzeige im Innenraum des Fahrzeugs, ausgegeben wird. Wird mit einem Nachtsicht-System beispielsweise ein Fußgänger erkannt wird, erscheint auf dem Display ein warnendes symbolisches Piktogramm, das einem Fußgänger entspricht. Die mittels des Nachtsicht-Systems erkannten Hindernisse können auch direkt im Bild des Nachtsicht-Systems auf dem Display, z. B. mittels einer Umrandung oder Färbung des Hindernisses, hervorgehoben werden.Out The prior art further night vision systems are known in those with a far-infrared camera, an image of the surroundings of the vehicle is detected and displayed on a display in the vehicle interior becomes. As a result, obstacles or objects are visible, which can not be seen by the human eye in the dark. There are also known object recognition systems based on an environment detected in the infrared spectrum automatic object recognition carry out. Thus, even such objects be detected automatically, which in the visible spectrum is not or emit or reflect little light, but one of hers Environment have different temperature. It is also known that an automatic detection of an object of a particular Class in the vicinity of the vehicle as a driver warning, z. B. a pictogram on a display in the interior of the vehicle, is issued. Used with a night vision system, for example a pedestrian is detected, appears on the Display a warning symbolic pictogram that a pedestrian equivalent. The obstacles detected by the night-vision system can also be directly in the image of the night vision system on the Display, z. B. by means of a border or coloring of the Obstacle, to be highlighted.

In der Druckschrift DE 10 2005 062 151 A1 ist ein Verfahren und eine Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegsverengungen beschrieben. Dabei werden mittels wenigstens einer Kamera Bilddaten von dem Verkehrsumfeld des Fahrzeugs erfasst und ausgehend von den Abmessungen des Fahrzeugs eine Darstellung der zukünftigen Positionen des Fahrzeugs generiert, welche mit den Bilddaten der Kamera überlagert werden. Aus der Darstellung kann der Fahrer erkennen, ob er mit seinem Fahrzeug eine vor dem Fahrzeug liegende Fahrwegsverengung passieren kann.In the publication DE 10 2005 062 151 A1 For example, a method and apparatus for assisting a vehicle operator in the passage of lane constrictions is described. In this case, image data of the traffic environment of the vehicle is detected by means of at least one camera and, based on the dimensions of the vehicle, a representation of the future positions of the vehicle is generated, which are superimposed with the image data of the camera. From the illustration, the driver can recognize whether he can pass with his vehicle lying in front of the vehicle travel constriction.

In der Druckschrift DE 10 2005 020 772 A1 ist ein Anzeigesystem zur Darstellung der Umgebung eines Kraftfahrzeugs beschrieben, wobei mittels einer Ferninfrarotkamera die Fahrzeugumgebung erfasst wird. Dabei werden erkannte Objekte, welche für das Fahrzeug als gefährlich eingestuft werden, in einem Head-Up-Display des Kraftfahrzeugs hervorgehoben dargestellt.In the publication DE 10 2005 020 772 A1 a display system for representing the environment of a motor vehicle is described, wherein by means of a far-infrared camera, the vehicle environment is detected. In this case, recognized objects which are classified as dangerous for the vehicle are highlighted in a head-up display of the motor vehicle.

In der Druckschrift EP 1 647 807 A1 ist ein Fahrerassistenzsystem beschrieben, bei welchem dem Fahrer zur Fahrunterstützung ein virtuelles, vorausfahrendes Fahrzeug in einem Display, beispielsweise einem Head-Up-Display, wiedergegeben wird und in Abhängigkeit von der ermittelten Fahrsituation dem Fahrer auf dem Display Fahranweisungen gegeben werden.In the publication EP 1 647 807 A1 a driver assistance system is described in which the driver for driving support a virtual, driving ahead vehicle in a display, such as a head-up display, is reproduced and given the driver depending on the determined driving situation driving instructions.

Bekannte objekterkennende Systeme erzeugen oftmals eine Vielzahl von Warnungen und sonstiger, durch den Benutzer zu beachtender Information. Auch Kamerabilder, die umfangreiche Teile der Umgebung anzeigen, können eine Informationsüberflutung bei einem Insassen und insbesondere dem Fahrer des Fahrzeugs erzeugen. Der Insasse des Fahrzeugs hat dabei die Schwierigkeit, eine zum Teil sehr große Menge von Information wahrzunehmen und vor Allem die Hinweise und Warnungen auf die reale Umgebung zu beziehen. Darüber hinaus wird durch bekannte Systeme oftmals eine sehr große Anzahl an erkannten Objekten wiedergegeben, wodurch die Wahrnehmung des Insassen und insbesondere des Fahrers überlastet wird.Known Object-recognizing systems often generate a multitude of warnings and other information to be considered by the user. Also Camera images that display large parts of the environment can an information overload in an inmate and in particular generate to the driver of the vehicle. The occupant of the vehicle has the difficulty, a very large amount to perceive information and above all the hints and warnings to relate to the real environment. In addition, through Known systems often recognized a very large number of Reproduced objects, reducing the perception of the occupants and especially the driver is overloaded.

Bei der Erfassung der Umgebung mittels eines Nachtsicht-Systems z. B. basierend auf einer Wärmekamera im Wellenlängenbereich von 8–10 μm wird die Umgebung einschließlich von Hindernissen, wie z. B. Fußgängern und Tieren, auf einem Display im Fahrzeuginnenraum dargestellt. Insbesondere warme Objekte (Fußgänger, Tiere, bestimmte Teile anderer Fahrzeuge) werden sehr deutlich sichtbar. Dennoch ist es für den Fahrer meistens sehr schwer, die am Display sichtbaren Objekte auf die Umgebung, insbesondere auf bestimmte Fahrbahnbereiche, wie z. B. Spuren, zu beziehen, zumal Fahrbahnmarkierungen in dem durch das Nachtsicht-System erfassten Bild oft nur sehr schwer automatisch erkannt werden können. Das Betrachten eines mittels eines Nachtsicht-Systems aufgenommenen Bildes im zentralen Display des Fahrzeugs während der Fahrt ist für den Fahrer relativ unbequem und unter Umständen gefährlich. Dies liegt zum Teil daran, dass beim Schwenken der Aufmerksamkeit des Fahrers von der relativ weit entfernten realen Fahrbahn zu dem nahegelegenen Display eine erneute Akkomodation seiner Augen auf die jeweilige Entfernung erforderlich ist. Das mittels eines Nachtsicht-Systems erfasste Bild bildet zudem nur einen bestimmten Öffnungswinkel ab, der dem variablen menschlichen Wahrnehmungsfeld nicht immer entsprechen kann. Für den Fahrer ist es somit schwer, einen Überblick darüber zu behalten, welcher Bereich der Straße aktuell auf dem Display im Fahrzeuginnenraum zu sehen ist, um somit die erkannten Hindernisse der realen Umgebung zuzuordnen. 2 verdeutlicht nochmals die soeben dargelegte Problematik. In dieser Figur ist ein Fahrzeug 1 sowohl in Draufsicht als auch in Seitenansicht gezeigt, wobei der Öffnungswinkel einer Ferninfrarot-Kamera eines Nachtsicht-Systems im vorderen Bereich des Fahrzeugs 1 durch einen entsprechenden schraffierten Bereich B wiedergegeben ist. Man erkennt, dass der Öffnungswinkel sich deutlich von dem Sichtfeld des Fahrers unterscheidet. Der Verbau von einer Ferninfrarotkamera innerhalb der Fahrgastzelle ist allerdings nicht möglich, da die Windschutzscheibe des Fahrzeugs die Wärmestrahlung dämpft.When detecting the environment by means of a night vision system z. B. based on a thermal camera in the wavelength range of 8-10 microns, the environment including obstacles such. As pedestrians and animals, shown on a display in the vehicle interior. In particular, warm objects (pedestrians, animals, certain parts of other vehicles) are very clearly visible. Nevertheless, it is usually very difficult for the driver, the objects visible on the display to the environment, especially on certain road areas, such. As tracks, especially since lane markers in the captured by the night vision system image is often very difficult to detect automatically. Viewing an image captured by a night-vision system in the central display of the vehicle while driving is relatively inconvenient for the driver and may be dangerous. This is in part because when the driver's attention is turned from the relatively distant real roadway to the nearby display, he needs to re-accomodate his or her eyes at that distance. The image acquired by means of a night-vision system also only reflects a certain opening angle, which can not always correspond to the variable human field of perception. It is therefore difficult for the driver to keep track of which area of the road is currently visible on the display in the vehicle interior so as to assign the detected obstacles to the real environment. 2 again illustrates the problem just outlined. In this figure is a vehicle 1 shown in both plan view and in side view, wherein the opening angle of a far-infrared camera of a night vision system in the front region of the vehicle 1 is represented by a corresponding hatched area B. It can be seen that the opening angle differs significantly from the driver's field of vision. However, the installation of a far-infrared camera within the passenger compartment is not possible because the windshield of the vehicle dampens the heat radiation.

Wie bereits dargelegt, ist auch eine Darstellung der gesamten Umgebung des Fahrzeugs als ein Videobild oder eine große Anzahl von Symbolen, z. B. auf dem Head-Up-Display, sowohl technisch aufwändig als auch für die Wahrnehmung durch den Menschen von Nachteil. So würde eine denkbare Darstellung aller durch mehrere Arten von Sensorik erkennbarer Objekte mittels einer oder mehreren Anzeigevorrichtungen zu einer für die menschliche Wahrnehmung überlasteten und schwer zu interpretierenden Darstellung führen.As already set out, is also a representation of the entire environment of the vehicle as a video image or a large number of symbols, eg. B. on the head-up display, both technically complex as well as for the perception by humans of disadvantage. So would a conceivable representation of all by several Types of sensory perception of recognizable objects by means of one or more Display devices become overloaded for human perception and difficult to interpret.

Ein weiteres Problem der Darstellung der mit einem objekterkennenden System erfassten Umgebung besteht darin, dass die Darstellung der Umgebung in der Regel auf einem Display erfolgt, welches im Fahrzeuginnenraum versetzt gegenüber der Richtung, in der die Umgebung erfasst wird, und gegebenenfalls relativ zu der normalen Blickrichtung des Fahrers angeordnet ist. Hierdurch wird die Zuordnung der erkannten Objekte zu der realen Umgebung nochmals zusätzlich erschwert. Insbesondere erscheinen die erkannten Objekte aus einer anderen Perspektive, als wie die Objekte für den Fahrer sichtbar sein sollten. Die soeben dargestellte Problematik wird nochmals anhand von 3 verdeutlicht. Diese Figur zeigt schematisch in Draufsicht die Position eines Fahrers F sowie eines vor dem Fahrzeug liegenden Objekts O in der Form einer Person, welche auf der Fahrbahn steht. Die Fahrtrichtung des Fahrzeugs ist dabei durch den Pfeil P angedeutet. Fer ner ist eine Infrarot-basierende objekterkennende Kamera am Fahrzeug in einer Position versetzt zur Position des Fahrers vorgesehen. Diese Kamera ist mit Bezugszeichen 105 bezeichnet. Das durch diese Kamera aufgenommene Bild wird in einem entsprechenden Display 106 im Fahrzeuginnenraum angezeigt, welches versetzt zur Fahrerposition angeordnet ist, so dass der Fahrer seinen Kopf verdrehen muss, um den Inhalt des Displays 106 wahrzunehmen. In 3 ist ferner das Sichtfeld des Fahrers durch einen Bereich B1 und der Sichtwinkel der Kamera 105 durch einen Bereich B2 angedeutet. Man erkennt, dass ein Versatz zwischen der Perspektive, aus der die Kamera die Umgebung und die Hindernisse in dieser Umgebung darstellt, und der Perspektive existiert, aus welcher der Fahrer diese Hindernisse suchen muss. Dieser Versatz verursacht beim Fahrer eine verfälschte Annahme über die Aufenthaltspositionen der Objekte vor dem Fahrzeug. Je nach konkreter Anwendung kann der Unterschied zwischen den genannten Perspektiven noch dramatischer ausfallen.Another problem with the representation of the environment detected by an object recognizing system is that the representation of the environment is usually on a display which is offset in the vehicle interior from the direction in which the environment is detected, and possibly relative to the normal viewing direction the driver is arranged. As a result, the assignment of the detected objects to the real environment is made even more difficult. In particular, the detected objects appear from a different perspective than how the objects should be visible to the driver. The problem just presented is again based on 3 clarified. This figure shows schematically in plan view the position of a driver F and an object O lying in front of the vehicle in the form of a person standing on the road. The direction of travel of the vehicle is indicated by the arrow P. Fer ner an infrared-based object-detecting camera is provided on the vehicle in a position offset from the position of the driver. This camera is with reference number 105 designated. The picture taken by this camera is displayed in a corresponding display 106 displayed in the vehicle interior, which is offset from the driver's position, so that the driver must turn his head to the contents of the display 106 perceive. In 3 is also the driver's field of vision through an area B1 and the viewing angle of the camera 105 indicated by a region B2. It can be seen that there is an offset between the perspective from which the camera represents the environment and the obstacles in that environment, and the perspective from which the driver must look for those obstacles. This offset causes the driver an erroneous assumption about the location of the objects in front of the vehicle. Depending on the concrete The difference between these perspectives can be even more dramatic.

Die Darstellung eines vollwertigen Videobildes auf einem Head-Up-Display ist im Vergleich mit der Darstellung von scharfkantigen Grafiken und Symbolen, wie dies nach dem Stand der Technik realisiert wird, sehr problematisch. Diese Darstellung führt dazu, dass der Benutzer im Raumwinkel, in dem sich die Abbildung des Head-Up-Displays befindet, eine Überlagerung des realen Teils der Umgebung und des Videobilds sieht, wobei das Videobild z. B. von einem Nachtsicht-System stammt. Das reale Bild und das Videobild enthalten dabei zahlreiche Graustufen bzw. Farbstufen und beide Bilder bewegen sich zudem relativ zueinander bei der Fahrt. Das senkt die Wahrnehmbarkeit beider Bilder erheblich und wirkt auf den Betrachter zum Teil belastend. Außerdem kann das zur Wahrnehmung des Head-Up-Videobildes für alle im Videobild enthaltenen Helligkeitsstufen bei allen Lichtbedingungen notwendige Kontrastverhältnis kaum erreicht werden.The Presentation of a full-fledged video image on a head-up display is in comparison with the representation of sharp-edged graphics and symbols, as realized in the prior art, very problematic. This representation causes that the user in solid angle, in which is the image of the head-up display is a superposition of the real part of the environment and sees the video image, the video image z. B. from a night vision system comes. The real image and the video image contain numerous Grayscale or color levels and both images are also relatively moving to each other while driving. This lowers the perceptibility of both images considerably and has a negative impact on the viewer. Furthermore This can be used to perceive the head-up video image for everyone Brightness levels included in the video image in all lighting conditions necessary contrast ratio can hardly be achieved.

Aufgabe der Erfindung ist es deshalb, eine Darstellung der Umgebung eines Fahrzeugs für einen Benutzer des Fahrzeugs auf einer Anzeigevorrichtung zu schaffen, mit welcher der Benutzer die Objekte in der Umgebung des Fahrzeugs besser erfassen kann. Diese Aufgabe wird durch das Verfahren gemäß Patentanspruch 1 bzw. die Vorrichtung gemäß Patentanspruch 29 gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.task The invention is therefore an illustration of the environment of a Vehicle for a user of the vehicle on a display device to create with which the user the objects in the environment the vehicle can better capture. This task is done by the A method according to claim 1 or the device according to claim 29 solved. Further developments of the invention are in the dependent Claims defined.

Unter dem Begriff Fahrzeug kann insbesondere ein Kraftfahrzeug, ein Luftfahrzeug, ein Wasserfahrzeug oder Amphibienfahrzeug gemeint sein. Außerdem kann unter einem Fahrzeug im Sinne der Erfindung auch ein autonomes Nutz- oder Erkundungsfahrzeug und/oder ein mobiler Roboter als Fahrzeug verstanden werden. Insbesondere kann das Fahrzeug zumindest teilweise automatische Manöver, z. B. Einparkmanöver, ausführen.Under The term "vehicle" can be understood in particular to mean a motor vehicle, an aircraft, a watercraft or amphibious vehicle. Furthermore can under a vehicle within the meaning of the invention, an autonomous Utility or reconnaissance vehicle and / or a mobile robot understood as a vehicle become. In particular, the vehicle may be at least partially automatic Maneuvers, z. B. parking maneuver, run.

In einer bevorzugten Variante der Erfindung entspricht der Benutzer des Fahrzeugs dem Insassen des Fahrzeugs selbst. In dieser Variante kann somit der nachfolgend verwendete Begriff des Benutzers gleichgesetzt werden mit dem Insassen des Fahrzeugs, wobei der Insasse insbesondere der Fahrer des Fahrzeugs ist. Es besteht gegebenenfalls jedoch auch die Möglichkeit, dass der Benutzer des Fahrzeugs eine Person ist, die das Fahrzeug von außen z. B. drahtlos steuert und/oder Informationen von dem Fahrzeug drahtlos bekommt. In diesem Sinne kann der Benutzer des Fahrzeugs z. B. ein zweiter Fahrer des Fahrzeugs sein, der die Ausführung eines Manövers überwacht. Es ist dabei möglich, dass sich in dem Fahrzeug gegebenenfalls auch überhaupt kein Insasse befindet. In diesem Sinne ist dann die Perspektive des Insassen die Perspektive eines virtuellen Insassen an einer Position im Fahrzeuginnenraum.In A preferred variant of the invention corresponds to the user of the vehicle to the occupant of the vehicle itself. In this variant Thus, the term of the user used below can be equated be with the occupant of the vehicle, the occupant in particular the driver of the vehicle is. However, it may also exist the possibility that the user of the vehicle is a person is that the vehicle z. B. controls wirelessly and / or gets information from the vehicle wirelessly. In this Meaning, the user of the vehicle z. B. a second driver of Be a vehicle that monitors the execution of a maneuver. It is possible that in the vehicle, if necessary also no occupant at all. In this sense then the perspective of the inmate the perspective of a virtual Inmates at a position in the vehicle interior.

Das erfindungsgemäße Verfahren dient zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs für einen Benutzer des Fahrzeugs aus der Perspektive eines Insassen, insbesondere des Fahrers, des Fahrzeugs auf der Anzeige einer Anzeigevorrichtung, wobei die Umgebung des Fahrzeugs zumindest teilweise mit einer oder mehreren Objekterkennungsvorrichtungen automatisch erkannt wurde und die von dem Benutzer des Fahrzeugs wahrnehmbare Position der Anzeige der Anzeigevorrichtung außerhalb des Fahrzeuginnenraums liegt. Die Anzeige kann dabei z. B. mittels eines Head-Up-Displays oder einer Weiterbildung eines solchen ausgestaltet sein. Alternativ kann die Anzeige z. B. mittels einer Projektion, insbesondere einer holografischen Projektion, innerhalb oder außerhalb des Fahrzeuginnenraums erfolgen. Die Anzeige kann aber im Falle, dass der Benutzer nicht dem Insassen entspricht, auch als Einheit ausgebildet sein, die sich nicht mit dem Fahrzeug bewegt und die Daten zur Darstellung vom Fahrzeug drahtlos empfängt. Insbesondere kann eine solche Anzeigevorrichtung als Teil einer mobilen Bedieneinheit, z. B. von einem Mobiltelefon, ausgestaltet sein, welche zur Bedienung und insbesondere zur Steuerung und/oder Überwachung der vom Fahrzeug durchgeführten Manöver ausgestaltet ist.The inventive method is used for illustration at least partially automatically detected environment of a vehicle for a user of the vehicle from the perspective of a Inmates, in particular the driver, of the vehicle on the display a display device, wherein the environment of the vehicle at least partly with one or more object recognition devices was detected automatically and by the user of the vehicle Perceptible position of the display of the display device outside the vehicle interior is located. The display can be z. B. by means of a Head-up displays or a development of such configured be. Alternatively, the display z. B. by means of a projection, in particular a holographic projection, inside or outside of the vehicle interior. The ad can, however, in case that the user does not correspond to the occupant, even as a unit be formed, which does not move with the vehicle and the Receives wireless data for presentation from the vehicle. Especially can such a display device as part of a mobile control unit, z. B. from a mobile phone, which are designed for operation and in particular for controlling and / or monitoring the designed by the vehicle maneuver is.

Erfindungsgemäß wird eine virtuelle Fahrbahnebene, umfassend die mit einer der Objekterkennungsvorrichtungen erkannten Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen generiert. Ferner wird für ein oder mehrere weitere, durch eine der Objekterkennungsvorrichtungen erkannte Objekte jeweils eine Position relativ zu der virtuellen Fahrbahnebene ermittelt, bei der die geometrischen Verhältnisse zwischen dem jeweiligen Objekt und den Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen im Wesentlichen den realen geometrischen Verhältnissen für die Perspektive des Insassen des Fahrzeugs entsprechen. Falls der Benutzer nicht mit dem Insassen des Fahrzeugs übereinstimmt, kann der Benutzer gegebenenfalls die Position des Insassen aus einer Vielzahl von Positionen auswählen.According to the invention a virtual pavement level, including that with one of the object recognition devices detected roadway boundaries and / or road markings generated. Further is for one or more others, by one of the object recognition devices detected objects each one position relative to the virtual Fahrbahnebene determined where the geometric relationships between the respective object and the lane boundaries and / or Road markings essentially the real geometric conditions correspond to the perspective of the occupant of the vehicle. If the user does not agree with the occupant of the vehicle, If appropriate, the user can select the position of the occupant from a Select a variety of positions.

Insbesondere entsprechen die relativen geometrischen Verhältnisse zwischen zumindest insgesamt drei dargestellten Objekten im Wesentlichen den realen geometrischen Verhältnissen zwischen den entsprechenden Objekten in der Umgebung des Fahrzeugs für die Perspektive des Insassen. Dabei können z. B. die Abstandsverhältnisse zwischen den Positionen der Objekte auf der Darstellung den Abstandsverhältnissen zwischen den betreffenden Objekten auf der Fahrbahn entsprechen, wie der Insasse diese aus seiner Perspektive, insbesondere aus seiner Augenposition, sehen würde. Anhand der ermittelten Positionen des oder der weiteren Objekte wird dann die virtuelle Fahrbahnebene und das oder die weiteren Objekte in Abhängigkeit von einem oder mehreren Kriterien auf der Anzeige dargestellt. Als geometrische Verhältnisse werden dabei insbesondere die Proportionen von Distanzen, vorzugsweise zwischen den Objekten, d. h. zwischen den weiteren Objekten bzw. den Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen, und/oder die Winkelverhältnisse zwischen diesen Objekten verstanden.In particular, the relative geometrical relationships between at least a total of three illustrated objects substantially correspond to the real geometrical relationships between the corresponding objects in the surroundings of the vehicle for the perspective of the occupant. This z. B. the distance relationships between the positions of the objects on the representation correspond to the distance ratios between the objects in question on the road, as the occupant from these perspective, in particular from his eye position, would see. On the basis of the determined positions of the one or more objects, the virtual road level and the one or more further objects are then displayed on the display as a function of one or more criteria. In this case, the proportions of distances, preferably between the objects, ie between the further objects or the roadway boundaries and / or roadway markings, and / or the angular relationships between these objects are understood as geometric relationships.

Erfindungsgemäß wird somit eine Darstellung generiert, bei der durch den Fahrer sehr schnell die Lage von erkannten Objekten in Bezug auf die Fahrbahn erfasst werden kann, da die Objekte an den richtigen Positionen relativ zur virtuellen Fahrbahnebene wiedergegeben werden. Durch die Wiedergabe der virtuellen Fahrbahnebene, welche die erkannten Fahrbahnmarkierungen und/oder Fahrbahnbegrenzungen umfasst, wird darüber hinaus eine sehr gute Orientierungshilfe für den Fahrer betreffend die angezeigten erkannten Objekte gegeben. Insbesondere kann die Position eines Objekts relativ zu den Fahrbahnmarkierungen bzw. Fahrbahnbegrenzungen auf einem relativ kleinen Bereich der Anzeige der Anzeigevorrichtung, wie z. B. dem Head-up-Display, dargestellt werden, wobei der Fahrer dennoch genau abschätzen kann, an welchen Stellen der Fahrbahn sich z. B. ein Hindernis befindet. Eine aufwändige Ausdehnung des Head-Up-Display auf die große Teile der Windschutzscheibe oder das Vorhandensein eines sog. kontaktanalogen Head-Up-Displays ist somit nicht notwendig. Insbesondere erkennt der Fahrer sehr gut, sowohl auf welcher Spur als auch an welcher Position innerhalb der Spur sich ein entsprechendes Objekt befindet.According to the invention thus generating a representation in which by the driver very much quickly the location of detected objects in relation to the road surface can be captured because the objects are in the correct positions relative to the virtual roadway level. By the virtual lane plane rendering recognizing them Lane markings and / or lane boundaries In addition, a very good orientation for given to the driver regarding the displayed detected objects. In particular, the position of an object relative to the lane markings or lane boundaries on a relatively small area of the display the display device, such as. As the head-up display while the driver can still accurately estimate at which points of the road z. B. is an obstacle. An elaborate extension of the head-up display on the large parts of the windshield or the presence a so-called contact-analogue head-up display is therefore not necessary. In particular, the driver recognizes very well, both on which lane as well as at which position within the track a corresponding Object is located.

Die virtuelle Fahrbahnebene wird bevorzugt als eine perspektivisch geneigte Ebene dargestellt, deren Perspektive nicht der Perspektive der Aufnahmemittel der Objekterkennungsvorrichtung entspricht. Dennoch werden die Objekte derart dargestellt, dass die geometrischen Verhältnisse zwischen den dargestellten Objekten und den Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen der virtuellen Ebene im Wesentlichen den realen geometrischen Verhältnissen aus der Perspektive des Fahrers entsprechen.The virtual roadway plane is preferred as a perspective inclined Plane presented whose perspective is not the perspective of the recording means corresponds to the object recognition device. Nevertheless, the objects become represented such that the geometric relationships between the displayed objects and the lane boundaries and / or lane markings of the virtual plane substantially the real geometric conditions from the perspective correspond to the driver.

In einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfasst wenigstens eine Objekterkennungsvorrichtung die Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen und/oder weiteren Objekte aus einer von der Position des Insassen des Fahrzeugs abweichenden Position, insbesondere aus einer außerhalb der Fahrgastzelle liegenden Position, wobei die erfassten Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen und/oder weiteren Objekte in die Perspektive der Position des Insassen, insbesondere des Fahrers, transformiert werden. Somit kann der Verbauort der entsprechenden Sensoren bzw. Bildsensoren unter Berücksichtigung weiterer fahrzeug- und designspezifischer Kriterien optimiert werden.In a preferred embodiment of the invention Method detects at least one object recognition device the Lane boundaries and / or lane markings and / or others Objects from a different from the position of the occupant of the vehicle Position, especially from outside the passenger compartment lying position, wherein the detected lane boundaries and / or Road markings and / or other objects in perspective the position of the occupant, in particular the driver, transformed become. Thus, the location of the corresponding sensors or Image sensors taking into account further vehicle and design-specific criteria.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens werden die Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen und/oder die weiteren Objekte auf der Anzeige zumindest teilweise symbolhaft wiedergegeben. Insbesondere kann die zumindest teilweise symbolische Darstellung derart realisiert werden, dass unterschiedliche Teile des mit der Objekterkennungsvorrichtung erfassten Bildes unterschiedlichen Bildverarbeitungsschritten unterzogen werden. Auf diese Weise können insbesondere die Teile des Bildes, die sichtbare und/oder nicht sichtbare Objekte oder deren Teile, z. B. Kanten oder Randbereiche, enthalten, unterschiedlichen Bildverarbeitungsoperationen unterzogen werden. Die symbolische Darstellung kann auch durch eine eingeblendete oder dem Bild überblendete Grafik und/oder ein entsprechendes Symbol erzeugt werden.In a further embodiment of the invention Method are the lane boundaries and / or lane markings and / or the other objects on the display at least partially symbolic played. In particular, the at least partially symbolic representation be realized so that different parts of the with Object detection device captured image different image processing steps be subjected. In this way, in particular the parts of the image, the visible and / or invisible objects or parts thereof, e.g. As edges or edge areas contain different Be subjected to image processing operations. The symbolic Appearance can also be shown by a superimposed or the picture Graphic and / or a corresponding symbol are generated.

In einer weiteren Variante des erfindungsgemäßen Verfahrens wird ermittelt, welche weiteren Objekte für den Insassen des Fahrzeugs sichtbar sind, wobei das oder die Kriterien derart ausgestaltet sind, dass nur oder zumindest überwiegend die Position von nicht sichtbaren weiteren Objekten, insbesondere für den Insassen nicht unmittelbar sichtbaren weiteren Objekten, auf der Anzeige wiedergegeben wird. Insbesondere wird dabei nur die Position solcher Objekte und/oder Raumteile wiedergegeben, die eine bestimmte Schwelle eines Sichtbarkeitsmaßes für den Insassen des Fahrzeugs unterschreiten. Ist der Benutzer dabei nicht der Insasse, erfolgt die Einstufung der Sichtbarkeit basierend auf einem an der entsprechenden Insassenposition angenommenen virtuellen Insassen. Die angenommene Position des virtuellen Insassen kann eine durch den Benutzer ausgewählte oder eine vorgegebene Position sein, welche innerhalb der geometrischen Grenzen des Fahrzeugs und insbesondere innerhalb seines Innenraumes liegt.In a further variant of the invention Method is determined which other objects for the occupants of the vehicle are visible, the one or more criteria are designed such that only or at least predominantly the position of non-visible further objects, in particular for the occupant not directly visible further Objects on which the display is playing. In particular, will only the position of such objects and / or room parts reproduced, the a certain threshold of a visibility measure for fall below the occupants of the vehicle. Is the user in it? not the occupant, the classification is based on visibility on a virtual assumed at the corresponding occupant position Occupants. The assumed position of the virtual occupant can one selected by the user or one given Position which is within the geometric limits of the vehicle and especially within its interior.

Unter dem Begriff „Objekt” ist erfindungsgemäß auch ein Teil der Umgebung, z. B. ein Teil der Fahrbahn mit einer Fahrbahnmarkierung bzw. Fahrbahnbegrenzung oder ein Teil von einem Gebäude, zu verstehen. Unter nicht sichtbaren Objekten werden solche Objekte verstanden, die beispielsweise aufgrund ihrer geringen Reflektanz im für den Menschen sichtbaren Spektrum und/oder aufgrund der Licht- und/oder Sichtverhältnisse und/oder z. B. aufgrund der Färbung des Objekts für den Insassen des Fahrzeugs nicht sichtbar sind oder mit einer erhöhten Wahrscheinlichkeit nicht sichtbar sein können. So können z. B. Objekte, die eine eindeutig erkennbare Abstrahlung im Ferninfrarot-Spektrum haben, keine hinreichende Abstrahlung im sichtbaren Spektrum haben und umgekehrt. Insbesondere sind nicht sichtbare Objekte solche Objekte, die trotz einer Blickrichtung, die ihre Wahrnehmung an sich erlauben würde, mit hoher Wahrscheinlichkeit übersehen werden.The term "object" according to the invention is also a part of the environment, eg. B. a part of the lane with a lane marking or lane boundary or a part of a building to understand. Under invisible objects are understood such objects that, for example, due to their low reflectance in the visible spectrum for humans and / or due to the light and / or visibility and / or z. B. are not visible due to the color of the object for the occupant of the vehicle or can not be visible with an increased probability. So z. B. objects that have a unique recognizable Have far-infrared radiation, have insufficient emission in the visible spectrum, and vice versa. In particular, non-visible objects are objects that are highly likely to be overlooked despite a line of sight that would allow their perception per se.

Die Sichtbarkeit eines Objekts kann insbesondere abhängig von den spektralen Eigenschaften des von ihm abgestrahlten Lichts, welches mit einer Fahrzeugkamera im sichtbaren Spektrum erfasst wird, ermittelt werden.The Visibility of an object can depend in particular on the spectral properties of the light emitted by him, which detected with a vehicle camera in the visible spectrum is determined become.

Die Einteilung von erkannten Objekten in sichtbare und nicht sichtbare Objekte kann insbesondere basierend auf der Ermittlung eines Sichtbarkeitsmaßes erfolgen, wie es in der früheren deutschen Patentanmeldung 10 2008 051 593.0 des Anmelders offenbart ist. Der gesamte Offenbarungsgehalt dieser Patentanmeldung wird durch Verweis zum Inhalt der vorliegenden Anmeldung gemacht. Die Prinzipien des in dieser früheren Patentanmeldung beschriebenen Verfahrens können auch in der hier beschriebenen Erfindung zur Identifikation eines sichtbaren bzw. nicht sichtbaren Objekts eingesetzt werden. Im Unterschied zu der früheren Patentanmeldung wird in der hier beschriebenen Erfindung die Sichtbarkeit der automatisch erkannten Objekte jedoch für die Position des Insassen, insbesondere des Fahrers, des Fahrzeugs ermittelt. Demgegenüber wird in der früheren Patentanmeldung die Sichtbarkeit des Fahrzeugs selbst aus verschiedenen Raumwinkeln bzw. Beobachtungspositionen bestimmt.The division of recognized objects into visible and non-visible objects can be done in particular based on the determination of a visibility measure, as in the earlier German patent application 10 2008 051 593.0 disclosed by the applicant. The entire disclosure content of this patent application is incorporated by reference into the content of the present application. The principles of the method described in this earlier patent application may also be used in the invention described herein to identify a visible or non-visible object. In contrast to the earlier patent application, however, in the invention described here, the visibility of the automatically recognized objects is determined for the position of the occupant, in particular of the driver, of the vehicle. In contrast, in the earlier patent application, the visibility of the vehicle itself is determined from different solid angles or observation positions.

Zur Unterscheidung zwischen „sichtbar” und „nicht sichtbar” wird für das ermittelte Sichtbarkeitsmaß insbesondere eine geeignete Schwelle festgelegt, wobei bei Überschreiten der Schwelle das Objekt für den Menschen als sichtbar und beim Unterschreiten der Schwelle das Objekt für den Menschen als nicht sichtbar eingestuft wird. Das Sichtbarkeitsmaß kann dabei beispielsweise in der Form der Wahrscheinlichkeit ausgedrückt werden, mit der das erkannte Objekt insbesondere durch ein statistisches, menschliches oder tierisches Sehsystem gesehen bzw. übersehen wird. Zur Ermittlung des Sichtbarkeitsmaßes kann in Analogie zu der oben genannten früheren Patentanmeldung eine erste Lichtverteilung umfassend eine Helligkeitsverteilung und/oder Spektralverteilung von Leuchtflächen der jeweiligen erkannten Objekte und gegebenenfalls in der Umgebung der erkannten Objekte ermittelt werden. Diese Helligkeits- und/oder Spektralverteilung wird dabei insbesondere mit entsprechenden Sensierungsmitteln im Fahrzeug bestimmt, wobei diese Sensierungsmittel auch Teil des oder der erfindungsgemäß verwendeten Objekterkennungsvorrichtungen sein kann.to Distinction between "visible" and "not becomes visible "for the determined visibility measure in particular set a suitable threshold, wherein when exceeded the threshold the object for the human being as visible and when falling below the threshold, the object for man as is not visible. The visibility measure can thereby expressed for example in the form of probability with which the recognized object is identified in particular by a statistical, human or animal visual system seen or overlooked becomes. To determine the visibility measure can in analogy to the above-mentioned earlier patent application a first Light distribution comprising a brightness distribution and / or spectral distribution of illuminated areas of the respective detected objects and possibly in the vicinity of the detected objects. This brightness and / or spectral distribution is in particular determined with appropriate Sensierungsmitteln in the vehicle, wherein These Sensierungsmittel also part of or inventively used Can be object recognition devices.

Zur Bestimmung eines geeigneten Sichtbarkeitsmaßes für die Position des Insassen bzw. Fahrers des Fahrzeugs wird die erste Lichtverteilung vorzugsweise in die Perspektive der Position des Insassen bzw. Fahrers des Fahrzeugs transformiert, wodurch eine zweite Lichtverteilung erhalten wird. Basierend auf dieser zweiten Lichtverteilung kann dann ein Sichtbarkeitsmaß für das jeweilige Objekt ermittelt werden. Dies ist vorteilhaft, da somit das Sichtbarkeitsmaß des Objekts für die Position des Insassen auch dann ermittelt werden kann, wenn die Objekterkennungsvorrichtung das Objekt nicht aus der Position des Insassen des Fahrzeugs, sondern z. B. aus dem vorderen Bereich der Karosserie eines Kraftfahrzeugs, erfasst.to Determination of a suitable visibility measure for the position of the occupant or driver of the vehicle becomes the first Light distribution preferably in the perspective of the position of the Inmates or driver of the vehicle transformed, creating a second light distribution is obtained. Based on this second Light distribution can then be a measure of visibility for the respective object can be determined. This is advantageous because thus the visibility measure of the object for the Position of the occupant can be determined even if the Object recognition device does not move the object from the position of the occupant of the vehicle, but z. B. from the front of the body of a motor vehicle.

Unter dem obigen Begriff einer Leuchtfläche kann sowohl eine selbstleuchtende Fläche als auch eine reflektierende, lichtbrechende oder fluoreszierende Fläche verstanden werden. Eine Leuchtfläche kann auch eine Fläche sein, die sowohl selbst leuchtet als auch das Licht reflektieren oder brechen kann, wie z. B. die Windschutzscheibe eines Fahrzeugs. Eine Leuchtfläche kann auch eine Fahrzeugleuchte sein. Die Unterteilung in Leuchtflächen kann z. B. nach geometrischen Aspekten gemacht werden. So können z. B. Objekte, die sich nahe voneinander befinden, oder deren Teile eine Leuchtfläche bilden, während ein weiter beabstandet angeordnetes Objekt oder ein Teil davon als andere Leuchtfläche eingestuft wird. Es ist dabei besonders vorteilhaft, eine Punktmenge der ersten Lichtverteilung mit ähnlichen Eigenschaften als eine Leuchtfläche aufzufassen und/oder weiterzuverarbeiten. Die Leuchtflächen können gegebenenfalls auch sehr kleine infinitesimale Flächen sein. Die Leuchtflächen können beliebige Formen aufweisen, insbesondere können sie auch gekrümmt sein.Under The above concept of a luminous area can be both a self-luminous surface as well as a reflective, refractive or fluorescent surface. A luminous area can also be an area that illuminates itself as well the light can reflect or break, such as B. the windshield of a vehicle. A light surface may also be a vehicle light. The subdivision into illuminated areas can, for. B. according to geometric Aspects are made. So z. B. objects that are be close to each other, or their parts a luminous area form while a further spaced object or part of it is classified as a different light area becomes. It is particularly advantageous, a set of points of the first Light distribution with similar properties as a luminous area to understand and / or further process. The illuminated areas can possibly also very small infinitesimal surfaces be. The illuminated areas can be any shapes in particular, they can also be curved be.

Durch die erste Lichtverteilung wird somit eine räumliche Verteilung der Leuchtflächen beschrieben. Die Lichtverteilung kann als Winkel, Raumwinkel oder Winkelverhältnis zwischen den Leuchtflächen ermittelt und/oder weiterverarbeitet werden.By the first light distribution thus becomes a spatial distribution the illuminated areas described. The light distribution can as angle, solid angle or angle ratio between the illuminated areas determined and / or further processed.

Das oben genannten Sichtbarkeitsmaß repräsentiert insbesondere die Erkennbarkeit des Objekts und/oder seiner äußeren Grenzen und/oder der räumlichen Ausrichtung des Objekts für das visuelle System des Menschen. Des Weiteren kann das Sichtbarkeitsmaß auch die Unterscheidbarkeit des jeweiligen Objekts von anderen Objekten oder sonstigen Objekten berücksichtigen. Insbesondere wird ein Objekt als sichtbar angenommen, wenn ein genügend großer Anteil seiner Teile, die ebenfalls Objekte sein können, insbesondere von Kanten und/oder Strukturen, sichtbar sind und/oder wenn die Teile des Objekts an seinen räumlichen Grenzen sichtbar sind. Ein Objekt wird insbesondere dann als insgesamt unsichtbar angenommen, wenn diese Kriterien nicht erfüllt sind.The above-mentioned visibility measure represents, in particular, the recognizability of the object and / or its outer limits and / or the spatial orientation of the object for the human visual system. Furthermore, the visibility measure can also take into account the distinctness of the respective object from other objects or other objects. In particular, an object is assumed to be visible if a sufficiently large proportion of its parts, which can also be objects, in particular of edges and / or structures, are visible and / or if the parts of the object are visible at its spatial boundaries. An object is considered to be totally invisible, in particular, if it does not meet these criteria are filled.

Das ermittelte Sichtbarkeitsmaß ist von verschiedenen Größen abhängig, insbesondere von aktuellen Kontrastverhältnissen sowie von der relativen Bewegung des jeweiligen Objekts zu üblichen Lichtquellen bzw. anderen Objekten. So steigt z. B. im Allgemeinen die Wahrscheinlichkeit, dass ein Objekt vom Insassen gesehen wird, wenn sich das Objekt – aus der Position des Insassen gesehen – relativ zum Hintergrund bewegt.The determined visibility measure is of different sizes dependent, in particular on current contrast conditions as well as the relative movement of the respective object to usual Light sources or other objects. So z. B. generally the Probability that an object is seen by the occupant when the object - seen from the position of the occupant - relatively moved to the background.

In einer bevorzugten Variante des Verfahrens zur Ermittlung der Sichtbarkeit liegt die ermittelte erste Lichtverteilung in einer solchen Form vor, in der eine Winkelabhängigkeit der Parameter der Lichtverteilung enthalten ist. Dies kann z. B. in Form einer durch Stützpunkte beschriebenen Funktion der Abhängigkeit der einzelnen Parameter der Lichtverteilung von der Richtung und gegebenenfalls auch vom Abstand beschrieben werden. Vorzugsweise liegt die erste Lichtverteilung in einem vektorbasierten Format vor, wobei ein Vektor in diesem Format die Richtung anzeigt, in der sich die entsprechende Leuchtfläche befindet, und als Attribut die zugehörigen Lichtparameter und/oder entsprechende Abstrahlcharakteristika der jeweiligen Leuchtfläche enthält.In a preferred variant of the method for determining the visibility the determined first light distribution is in such a form before, in which an angle dependence of the parameters of light distribution is included. This can be z. B. in the form of a by vertices described function of the dependence of the individual parameters the light distribution from the direction and possibly also from the distance to be discribed. Preferably, the first light distribution is located in a vector-based format, with a vector in it Format indicates the direction in which the corresponding luminous area is located, and as attribute the associated light parameters and / or corresponding emission characteristics of the respective luminous area contains.

Vorzugsweise wird die zur Ermittlung des Sichtbarkeitsmaßes durchgeführte Transformation der ersten Lichtverteilung basierend auf einer Koordinatentransformation durchgeführt, welche die Position und/oder die Strahlenwinkel der Leuchtflächen in die Perspektive des Insassen des Fahrzeugs transformiert. Diese Transformation der ersten Lichtverteilung kann dabei beispielsweise basierend auf einer Simulation der Lichtausbreitung im System aus dem jeweiligen erkannten Objekt und zumindest Teilen der Umgebung des Objekts durchgeführt werden. Es wird somit rechnergestützt aus der ermittelten ersten Lichtverteilung ein Modell der Lichtflächen mit ihren Abstrahlcharakteristika räumlich erstellt, und dieses Modell kann dann wiederum rechnergestützt mit bekannten Transformationen in die Perspektive des Insassen des Fahrzeugs gewandelt werden.Preferably is used to determine the visibility measure Transformation of the first light distribution based on a coordinate transformation performed, which the position and / or the beam angle the illuminated areas in the perspective of the occupant of the vehicle transformed. This transformation of the first light distribution can thereby for example based on a simulation of the light propagation in the system from the respective recognized object and at least parts of the Environment of the object to be performed. It will thus computer-aided from the determined first light distribution a model of the light surfaces with their emission characteristics spatially created, and this model can then turn computer-aided with known transformations in the perspective be converted by the occupant of the vehicle.

In einer bevorzugten Ausgestaltung des Verfahrens zur Ermittlung des Sichtbarkeitsmaßes werden ein oder mehrere Kontrastverhältnisse zwischen Leuchtflächen, insbesondere zwischen dem jeweiligen erkannten Objekt und der Umgebung des erkannten Objekts, innerhalb der zweiten Lichtverteilung ermittelt, wobei das Sichtbarkeitsmaß von dem oder den Kontrastverhältnissen abhängt. Unter dem Kontrastverhältnis ist dabei ein Maß für den Unterschied zwischen den Helligkeits- und/oder Spektralverteilungen von verschiedenen Leuchtflächen und/oder innerhalb einer Leuchtfläche zu verstehen. Der Unterschied kann z. B. auch in Form eines Gradienten ausgedrückt werden.In a preferred embodiment of the method for determining the Visibility measure will be one or more contrast ratios between luminous surfaces, in particular between the respective recognized object and the environment of the detected object, within the second light distribution is determined, the visibility of depending on the one or more contrast ratios. Under the contrast ratio is a measure of the difference between the brightness and / or spectral distributions of different illuminated areas and / or within one To understand lighted area. The difference can be z. Belly expressed in the form of a gradient.

Das Kontrastverhältnis kann gegebenenfalls auch über eine Funktion ermittelt werden, welche die jeweiligen räumlichen Verläufe der Helligkeit bzw. spektralen Verteilung der einzelnen Leuchtflächen beschreibt, gegebenenfalls abhängig vom Raumwinkel der Position des Insassen des Fahrzeugs bzw. der Distanz zur Position des Insassen des Fahrzeugs. Das Kontrastverhältnis kann somit auch den Unterschied zwischen den gemittelten Helligkeiten bzw. gemittelten spektralen Verteilungen von zwei Leuchtflächen repräsentieren, wobei die Helligkeit bzw. spektrale Verteilung über die Ausdehnung der jeweiligen Leuchtfläche gemittelt ist. Als Kontrastverhältnis wird insbesondere ein Kontrastverhältnis zwischen dem jeweiligen erkannten Objekt und der Umgebung des Objekts ermittelt. Insbesondere kann das Kontrastverhältnis zwischen den Leuchtflächen des jeweiligen Objekts, welche die geometrischen Grenzen bzw. die Abmessungen des Objekts kennzeichnen, und den Leuchtflächen der Umgebung, insbesondere die nicht durch das jeweilige Objekt verdeckten Leuchtflächen, bestimmt werden. Besonders vorteilhaft ist die Ermittlung des Kontrastverhältnisses zwischen den Leuchtflächen, die in Bezug auf die Position des Insassen des Fahrzeugs die geometrischen Grenzen des jeweiligen Objekts bilden, und den Leuchtflächen aus der Umgebung, die in einem im Wesentlichen benachbarten Raumwinkel zu den geometrischen Grenzen des erkannten Objekts sichtbar sind. Das Sichtbarkeitsmaß kann ferner auch aus lokalen Kontrastverhältnissen von Teilbereichen innerhalb der zweiten Lichtverteilung bestimmt werden.The If necessary, the contrast ratio can also be exceeded a function can be determined which the respective spatial Gradients of the brightness or spectral distribution of describes individual illuminated areas, optionally dependent from the solid angle of the position of the occupant of the vehicle or the Distance to the position of the occupant of the vehicle. The contrast ratio Thus, the difference between the averaged brightnesses or averaged spectral distributions of two illuminated areas represent, wherein the brightness or spectral distribution over the extent of the respective luminous surface is averaged. As a contrast ratio, in particular, a contrast ratio between the respective detected object and the environment of the object determined. In particular, the contrast ratio between the luminous surfaces of the respective object, which are the geometric boundaries or the dimensions of the object and the illuminated areas the environment, especially those not hidden by the respective object Illuminated areas to be determined. Is particularly advantageous the determination of the contrast ratio between the illuminated areas, the geometric in relation to the position of the occupant of the vehicle Form boundaries of each object, and the illuminated areas from the environment, in a substantially adjacent solid angle are visible to the geometric boundaries of the recognized object. The visibility measure can also be from local contrast ratios determined by sub-areas within the second light distribution become.

Vorteilhafterweise kann zusätzlich zu der Darstellung mindestens eines, insbesondere nicht sichtbaren und vorzugsweise nicht unmittelbar für den Insassen sichtbaren Objekts auf der Fahrbahnebene, die z. B. als Symbol oder als ein hervorgehobenes Objekt ausgestaltet ist, eine vergrößerte Darstellung dieses Objekts, z. B. in einem anderen Bereich der Anzeigevorrichtung oder auf einer anderen Anzeigevorrichtung, dargestellt werden. Somit kann sowohl eine relativ große Ansicht des Objekts als auch die Position des Objekts auf der Fahrbahnebene zur gleichen Zeit auf einer insgesamt verhältnismäßig kleinen Anzeigefläche bzw. innerhalb eines kleinen Sichtwinkels dargestellt werden. In einer bevorzugten Ausgestaltung des Verfahrens kann die vergrößerte Objektansicht in einer anderen Perspektive als die virtuelle Fahrbahnebene, z. B. in der untransformierten Perspektive und/oder mit verändertem Aussehen, z. B. mit betonten Kanten und Konturen, dargestellt werden.advantageously, may in addition to the representation of at least one, in particular not visible and preferably not directly for the Inmates visible object on the road level, the z. B. as Symbol or designed as a highlighted object, a enlarged view of this object, z. B. in another area of the display device or on another Display device to be displayed. Thus, both a relative large view of the object as well as the position of the object on the road level at the same time on a relatively small overall Display area or within a small viewing angle being represented. In a preferred embodiment of the method can the enlarged object view in another Perspective as the virtual roadway plane, e.g. B. in the untransformed Perspective and / or with a changed look, eg. B. with emphasized edges and contours.

Vorteilhafterweise kann das Verfahren derart ausgestaltet ein, dass zusätzliche grafische Elemente angezeigt werden, die den Bezug der vergrößerten Darstellung zu der Position des Objekts auf der Anzeige anzeigen. Somit wird dem Insassen die Zugehörigkeit der vergrößerten Darstellung des Objekts mit der Objektdarstellung bzw. der Darstellung der Position des Objekts auf der virtuellen Fahrbahnebene vermittelt. Die grafischen Elemente können die Darstellung des Objekts auf der virtuellen Fahrbahnebene, die z. B. als symbolische Darstellung ausgestaltet ist, mit der vergrößerten Darstellung verbinden, oder den Bezug zwischen den beiden Darstellungen durch die Richtung einer Linie, die im Wesentlichen von einer Darstellung zu der anderen Darstellung ausgerichtet ist, anzeigen.Advantageously, the method may be configured to display additional graphical elements that indicate the reference of the enlarged representation to the position of the object on the display. Thus, the passenger is the train the convexity of the enlarged representation of the object with the object representation or the representation of the position of the object on the virtual road surface mediates. The graphical elements can be the representation of the object on the virtual road plane, the z. B. is configured as a symbolic representation, connect to the enlarged representation, or the relationship between the two representations by the direction of a line that is aligned substantially from one representation to the other representation, indicate.

In einer weiteren Variante des erfindungsgemäßen Verfahrens wird ein ausgewählter Fahrbahnabschnitt als virtuelle Fahrbahnebene auf der Anzeige wiedergegeben, wobei der Fahrbahnabschnitt in Abhängigkeit von odometrischen Daten des Fahrzeugs und/oder einer ausgewerteten Verkehrssituation ausgewählt wird. Vorteilhafterweise kann dabei die Länge des ausgewählten Fahrbahnabschnitts bzw. die Breite des Fahrbahnabschnitts, wie z. B. die Anzahl der dargestellten Spuren, von den odometrischen Daten des Fahrzeugs und/oder von der automatisch erkannten Verkehrssituation abhängen. Unter der Verkehrssituation kann dabei sowohl eine konkrete Verkehrssituation, z. B. in Form bekannter Positionen und Geschwindigkeiten zumindest eines weiteren Verkehrsteilnehmers, als auch die Art der Verkehrssituation, z. B. Parken und Rangieren auf einem Parkplatz, Befahren einer 30er-Zone, Schnellstraßen etc. gemeint sein.In a further variant of the invention Procedure is a selected lane section as virtual road surface reproduced on the display, the Road section depending on odometric data selected from the vehicle and / or an evaluated traffic situation becomes. Advantageously, the length of the selected Roadway section or the width of the roadway section, such. As the number of tracks shown, from the odometric data of the vehicle and / or the automatically detected traffic situation depend. Under the traffic situation can be both a concrete traffic situation, z. B. in the form of known positions and speeds of at least one other road user, as well as the nature of the traffic situation, z. B. Parking and maneuvering in a parking lot, driving a 30s zone, highways etc. meant.

Somit wird je nach automatisch ausgewerteter Verkehrssituation (z. B. Parken und Rangieren, 30er-Zone, Schnellstraßen) ein jeweils relevanter Bereich auf der Anzeige dargestellt. Der darzustellende Bereich kann insbesondere von der abgeschätzten Position bzw. Reichweite des Fahrzeugs in den nächsten Sekunden abhängen. Es fließt hierbei die Überlegung ein, dass bestimmte, z. B. an das Fahrzeug unmittelbar anliegende Bereiche der Fahrbahn in vielen Verkehrssituationen nicht relevant sind. Im Gegensatz dazu sind weiter entfernt gelegene Bereiche umso relevanter. Bei einer Rangiergeschwindigkeit ist der unmittelbar an das Fahrzeug anschließende Fahrbahnabschnitt mit einer Länge von einigen Metern relevant, während bei einer Autobahngeschwindigkeit die Darstellung erst in 20 m beginnt und die nächsten 30 m umfasst. Der auf der Anzeige dargestellte Fahrbahnabschnitt kann auch in Abhängigkeit von den Daten eines Navigationssystems, z. B. abhängig vom weiteren Straßenverlauf und/oder dem eingestellten Ziel, ausgewählt werden.Consequently depending on the automatically evaluated traffic situation (eg Parking and maneuvering, 30s zone, expressways) one each relevant area shown on the display. The to be presented In particular, the range can be estimated from the estimated position or range of the vehicle in the next few seconds depend. It flows here the consideration that certain, z. B. directly adjacent to the vehicle Road areas are not relevant in many traffic situations. In contrast, more distant areas are even more relevant. At a maneuvering speed that is directly to the vehicle adjoining roadway section with a length of a few meters relevant while at a highway speed the presentation begins only in 20 m and the next 30 m includes. The roadway section shown on the display can also depending on the data of a navigation system, z. B. depending on the further course of the road and / or the selected destination.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird als Anzeige eine dreidimensionale Wiedergabe erzeugt und/oder eine perspektivische Wiedergabe durch die schräge Anordnung der Anzeige und/oder Teilen der Anzeige generiert. Hierdurch wird eine besonders gut durch den Fahrer erfassbare Wiedergabe des Fahrzeugumfelds und der damit verbundenen Verkehrssituation erreicht.In a further embodiment of the invention Method is generated as a display of a three-dimensional rendering and / or a perspective reproduction by the oblique Arrangement of the display and / or parts of the display generated. hereby is a particularly well recorded by the driver playback of the Vehicle environment and the associated traffic situation reached.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird die Anzeige mit einer für den Insassen des Fahrzeugs wahrnehmbaren Tiefenwirkung derart versehen, dass die Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen und/oder das oder die weiteren Objekte in einer deren Position zum Fahrzeug und/oder zueinander entsprechenden Tiefenwirkung wiedergegeben werden. Die Darstellung auf der Anzeige ist somit derart ausgestaltet, dass unterschiedliche Tiefenwirkung für unterschiedliche Teile der Darstellung unterstützt wird, d. h. dass nicht nur die gesamte Darstellung eine virtuelle, für den Fahrer sichtbare Position besitzt, sondern auch die wahrgenommene Tiefe unterschiedlicher Teile des dargestellten Bildes unterschiedlich ist.In a further embodiment of the invention Procedure is the display with one for the occupant provided the vehicle perceptible depth effect such that the lane boundaries and / or lane markings and / or the one or more objects in their position to the vehicle and / or mutually corresponding depth effect are reproduced. The Representation on the display is thus designed such that different depth effect for different parts the presentation is supported, d. H. that not only the entire presentation a virtual, for the driver visible position, but also the perceived depth different parts of the displayed image is different.

In einer bevorzugten Variante der Erfindung weist die Anzeige zur Erzeugung der Tiefenwirkung mehrere Anzeigeebenen mit unterschiedlichen durch den Benutzer wahrgenommenen Positionen zu einer vorbestimmten Blickrichtung des Benutzers auf. Vorteilhafterweise können Darstellungsebenen erzeugt werden, welche als derart geneigt wahrgenommen werden, dass ihr jeweiliges oberes Ende als weiter vom Benutzer entfernt als das untere Ende wahrgenommen wird. Die Darstellungsebenen können auch im Wesentlichen unter demselben Winkel relativ zur Position des Insassen, insbesondere des Fahrers, angeordnet sein wie die Fahrbahn.In a preferred variant of the invention, the display for generating the depth effect several display levels with different by the User perceived positions to a predetermined line of sight of the user. Advantageously, display levels are generated, which are perceived as inclined so that their respective upper end as farther away from the user than the lower end is perceived. The presentation levels can also substantially at the same angle relative to the position the occupant, in particular the driver, be arranged like the Roadway.

In einer Variante der Erfindung können Teile der Darstellung, insbesondere unterschiedliche Objekte, auf unterschiedlichen Anzeigeebenen dargestellt werden, insbesondere auf solchen Anzeigeebenen, die als unterschiedlich weit vom Insassen liegend und/oder als unterschiedlich geneigt wahrgenommen werden. Somit wird dem Benutzer eine bessere räumliche Vorstellung über die Position der Objekte in der Umgebung des Fahrzeugs vermittelt. Folglich ist das Vorhandensein einer vollständig 3D-fähigen Anzeigevorrichtung nicht notwendig, um dem Benutzer z. B. intuitiv und anschaulich unterschiedliche Neigungen einer virtuellen Fahrbahnebene zum Horizont darzustellen oder zu zeigen, dass ein dargestelltes Objekt sich weiter vom Fahrzeug befindet als ein anderes dargestelltes Objekt. Somit kann die Erfindung, z. B. mittels eines Head-Up-Displays oder einer anderen Anzeigevorrichtung, welche z. B. nur 3 bis 12 unterschiedliche Darstellungstiefen erlaubt, realisiert werden.In In a variant of the invention, parts of the illustration, especially different objects, on different display levels be displayed, in particular on such display levels, the as different from the occupant lying and / or as different be perceived inclined. Thus, the user will get a better one spatial idea about the position of the objects in the vicinity of the vehicle. Consequently, the presence is a fully 3D capable display device necessary to the user z. B. intuitive and vividly different Slopes of a virtual road level to represent the horizon or to show that a displayed object is further from the vehicle as another represented object. Thus, the invention, z. B. by means of a head-up display or other display device, which z. B. only 3 to 12 different representation depths allowed will be realized.

Vorteilhafterweise werden die Abschnitte der erkannten Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen auf der virtuellen Fahrbahnebene derart dargestellt, dass sie aus der Position des Benutzers als nach vorne geneigt gesehen werden. Besonders vorteilhaft ist dabei eine empfundene Neigung der virtuellen Fahrbahn, die zwischen der als parallel zur Fahrbahn wahrgenommenen Ausrichtung und einem Winkel von 30° bis 60° zu dieser Position verläuft. Die Neigung und/oder Raumposition der virtuellen Fahrbahnebene kann insbesondere durch den Fahrer des Fahrzeugs eingestellt werden.Advantageously, the sections of the recognized lane boundaries or lane markings on the virtual lane plane are displayed such that they are out of the position of the user zers are seen as tilted forward. Particularly advantageous is a perceived inclination of the virtual roadway, which runs between the perceived as parallel to the roadway orientation and an angle of 30 ° to 60 ° to this position. The inclination and / or spatial position of the virtual roadway level can be adjusted in particular by the driver of the vehicle.

Ein solches Head-Up-Display kann erfindungsgemäß die vom Insassen des Fahrzeugs als nach vorne geneigt wahrgenommene Ebenen darstellen. Dies kann insbesondere durch eine schräge Anordnung des Displays und/oder optischer Elemente des Head-Up-Displays und/oder speziell gekrümmte optischen Elemente, z. B. Linsen oder Spiegel, erreicht werden. Diese Optik kann z. B. auch adaptiv, insbesondere veränderlich in Abhängigkeit von der aktuell erforderlichen Eigenschaften der Anzeige, vorzugsweise dem Neigungsgrad der Ebene, verändert werden. Somit kann die erfindungsgemäße virtuelle Fahrbahnebene, auf der räumlich wahrnehmbaren, in Abhängigkeit von den bestimmten Kriterien angeordneten Ebene des Head-Up-Displays dargestellt werden.One Such head-up display can according to the invention perceived by the occupant of the vehicle as tilted forward Represent levels. This can be done in particular by an oblique arrangement the display and / or optical elements of the head-up display and / or specially curved optical elements, eg. As lenses or Mirror, be achieved. This optics can z. B. also adaptive, in particular changeable depending on the currently required Properties of the display, preferably the degree of inclination of the plane, to be changed. Thus, the inventive virtual road surface, on which spatially perceptible, depending on the specific criteria Level of the head-up display.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird die räumliche Position der virtuellen Fahrbahnebene in der Darstellung, insbesondere ihre Neigung, in Abhängigkeit von einer ausgewerteten Verkehrssituation und/oder von odometrischen Daten des Fahrzeugs, verändert. Diese Variante hat besondere Vorteile in Kombination mit der obigen Ausführungsform, bei der ein ausgewählter Fahrbahnabschnitt in der virtuellen Fahrbahnebene auf der Anzeige wiedergegeben wird, wobei der Fahrbahnabschnitt in Abhängigkeit von odometrischen Daten des Fahrzeugs und/oder einer ausgewerteten Verkehrssituation ausgewählt wird. Insbesondere wird dabei die virtuelle Fahrbahnebene in einem umso kleineren Winkel zum Horizont dargestellt, je größer die sich aus den odometrischen Daten ergebende Geschwindigkeit des Fahrzeugs ist. Somit kann bei einem relativ kurzen darzustellenden Fahrbahnabschnitt, insbesondere bei der langsamen Fahrt, eine relativ hoch stehende Fahrbahnebene gezeigt werden, während z. B. bei einer höheren Geschwindigkeit die Ebene als nahezu horizontal dargestellt wird. Somit kann der Bereich der Fahrzeugumgebung, der abgebildet werden soll, insbesondere in die Fahrtrichtung deutlich größer gewählt werden. Auf diese Weise bleibt die Darstellung für jede ausgewertete Verkehrssituation übersichtlich. Durch diese adaptiven Eigenschaften kann insbesondere ein guter Kompromiss zwischen dem darzustellenden Bereich und der Übersichtlichkeit der Darstellung gefunden werden.In a further embodiment of the invention The method becomes the spatial position of the virtual road level in the representation, in particular its inclination, in dependence from an evaluated traffic situation and / or odometrical Data of the vehicle, changed. This variant has special Advantages in combination with the above embodiment, at the a selected lane section in the virtual Revenue level is displayed on the display, the roadway section depending on odometric data of the vehicle and / or an evaluated traffic situation is selected. Especially In this case, the virtual road level is at a smaller angle the bigger the ones are speed of the vehicle resulting from the odometric data is. Thus, with a relatively short section of road to be displayed, especially in the slow ride, a relatively high standing The road surface while z. B. at a higher Speed the level is shown as almost horizontal. Thus, the area of the vehicle environment that can be imaged should, especially in the direction of travel significantly larger to get voted. In this way, the presentation remains clear for each evaluated traffic situation. Through these adaptive properties, in particular a good Compromise between the area to be displayed and the clarity the representation can be found.

Ein weiterer Vorteil der erfindungsgemäßen Darstellung besteht darin, dass die Anzeige der Anzeigevorrichtung auch einen großen Raumwinkel abbilden kann, ohne dafür auf den vollen Sichtbereich des Fahrers bzw. des Insassen des Fahrzeugs ausgedehnt werden zu müssen, denn die automatisch erkannten Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen sind ausreichend, um dem Insassen eine Orientierung zur Ortung der dargestellten Objekte zu geben. Gegebenenfalls kann die dargestellte virtuelle Fahrbahnebene in der Anzeige im Wesentlichen durch die Fahrbahnbegrenzungen oder deren Umhüllende begrenzt sein. Insbesondere kann ein Insasse bzw. der Fahrer des Fahrzeugs die Fahrbahnmarkierungen auch bei schlechten Sichtverhältnissen unmittelbar sehen und unter Berücksichtigung der in der Anzeige wiedergegebenen Fahrbahnmarkierungen eine gute Zuordnung der angezeigten Objekte zu den realen Objekten vornehmen. Auf diese Weise kann sich der Insasse des Fahrzeugs auch bei einer verkleinerten Darstellung der Fahrzeugumgebung sofort den Überblick darüber verschaffen, wo sich ein erkanntes Objekt befindet, welches z. B. bei Nacht im Gegensatz zu den Fahrbahnmarkierungen kaum sichtbar ist.One further advantage of the representation according to the invention is that the display of the display device also has a can represent large solid angles, without putting up the full field of vision of the driver or the occupant of the vehicle to be extended because the automatically recognized Lane boundaries or lane markings are sufficient around the occupant an orientation for locating the displayed objects to give. Optionally, the illustrated virtual roadway level in the display essentially by the lane boundaries or whose envelope is limited. In particular, an inmate can or the driver of the vehicle, the lane markings also at Immediately see and under bad visibility Consideration of the lane markings shown in the display a good assignment of the displayed objects to the real objects make. In this way, the occupant of the vehicle can also at a reduced representation of the vehicle environment immediately to get an overview of where to look recognized object is located, which z. B. at night in contrast barely visible to the lane markings.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens ist die Wiedergabe in der Anzeige zumindest teilweise eine 1-Bit-Grafik, insbesondere eine 1-Bit-Textur. Insbesondere können zumindest Teile des zur Darstellung auf einer Anzeigevorrichtung generierten Bildes in eine 1-Bit-Grafik gewandelt werden. Hierzu können auch an sich bekannte Methoden zur Wandlung eines Bildes in eine 1-Bit-Grafik eingesetzt werden. In der vorliegenden Erfindung bietet diese Methode allerdings den zusätzlichen Vorteil, dass keine, für den Benutzer des Fahrzeugs verwirrende Überlagerung eines in der Anzeige wiedergegebenen Videobilds, welches eine Vielzahl von Graustufen- oder Farbverläufen enthält, mit der realen, durch die Windschutzscheibe gesehenen Umgebung stattfindet. Die Umwandlung des Bildes kann eine Kantenextraktion oder Kantenbetonung beinhalten. Dabei werden nur oder vorwiegend die nach bestimmten Kriterien ausgewählten Kanten des Bildes wiedergegeben.In a further embodiment of the invention Method is the display in the display at least partially a 1-bit graphics, especially a 1-bit texture. Especially can at least parts of for display on a display device generated image are converted into a 1-bit graphic. For this can also known methods for the conversion of a Image can be inserted into a 1-bit graphic. In the present invention However, this method offers the added benefit of that no, for the user of the vehicle confusing overlay a reproduced in the display video image, which a variety grayscale or color gradients, with the real, seen through the windshield environment takes place. The transformation of the image can be an edge extraction or edge enhancement include. Here are only or predominantly according to specific Criteria selected edges of the image reproduced.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens werden verschiedene Teile der virtuellen Fahrbahnebene und/oder verschiedene weitere Objekte in der Anzeige mit unterschiedlichen Texturen gekennzeichnet. Somit werden diejenigen Teile der Darstellung, die voneinander unterschieden werden sollen, als unterschiedliche Texturen wiedergegeben, insbesondere falls sie z. B. unterschiedliche Arten von erkannten Objekten oder unterschiedlich gefährliche Zonen der Fahrbahn repräsentieren. Durch die Verwendung von unterschiedlichen Texturen für unterschiedliche Objekte wird auf einfache Art und Weise eine gute Unterscheidbarkeit zwischen den Objekten erreicht. Dabei wird insbesondere der Tatsache Rechnung getragen, dass die menschliche visuelle Wahrnehmung auf die Wahrnehmung und Unterscheidung von Texturen spezialisiert ist. Ein Insasse des Fahrzeugs kann somit Texturen aufgrund ihrer regelmäßigen Struktur leicht sowohl untereinander als auch von der direkten Ansicht auf die Umgebung des Fahrzeugs hinter der Darstellung unterscheiden. Somit ist die Sichtbarkeit der dargestellten Textur auch bei relativ geringem Helligkeits-Kontrast zur Umgebung gewährleistet.In a further embodiment of the method according to the invention, different parts of the virtual road surface and / or various other objects in the display are marked with different textures. Thus, those parts of the representation that are to be distinguished from one another are rendered as different textures, especially if they are z. B. represent different types of recognized objects or different dangerous zones of the roadway. By using different textures for different objects a good distinction between the objects is achieved in a simple way. In particular, account is taken of the fact that that human visual perception is specialized in perceiving and distinguishing textures. Thus, an occupant of the vehicle can easily distinguish textures from each other as well as from the direct view of the surroundings of the vehicle behind the representation due to their regular structure. Thus, the visibility of the displayed texture is guaranteed even at relatively low brightness contrast to the environment.

Vorteilhafterweise werden in einer Variante der Erfindung die befahrbaren, insbesondere gefahrlos befahrbaren Abschnitte der Umgebung in der virtuellen Fahrbahnebene, insbesondere der durch die Fahrbahnbegrenzungen begrenzte Bereich der virtuellen Fahrbahnebene, durch eine andere Textur als der Rest der virtuellen Fahrbahnebene wiedergegeben. Somit kann der Benutzer des Fahrzeugs die befahrbaren bzw. nicht befahrbaren Flächen in der Darstellung als solche erkennen bzw. diese voneinander unterscheiden.advantageously, In a variant of the invention, the passable, in particular safe passable sections of the environment in the virtual Road level, in particular the limited by the roadway boundaries Area of the virtual road level, due to a different texture than the Rest of the virtual road level. Thus, the User of the vehicle the passable or non-drivable areas recognize in the presentation as such or distinguish them from each other.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird die Position des oder der weiteren Objekte relativ zur virtuellen Fahrbahnebene mit Hilfe einer durch eine der Objekterkennungsvorrichtungen ermittelten Tiefeninformation betreffend die reale Position der weiteren Objekte relativ zum Fahrzeug bestimmt. Auf diese Weise ergibt sich ein einfacher trigonometrischer Zusammenhang, der ressourcensparend ermittelt werden kann. Die Entfernung zu dem entsprechenden Objekt kann dabei mittels an sich bekann ter Verfahren bestimmt werden. Besonders vorteilhaft ist die Umsetzung des Verfahrens mittels des eingangs erwähnten MIDIAS-Kamerasystems, wobei die Tiefeninformation des TOF-Sensors bezogen auf den betreffenden Raumwinkel zur Ermittlung der Objektentfernung benutzt wird.In a further embodiment of the invention The method becomes relative to the position of the one or more objects to the virtual lane plane by means of one of the object recognition devices determined depth information concerning the real position of the determined additional objects relative to the vehicle. In this way The result is a simple trigonometric relationship that saves resources can be determined. The distance to the corresponding object can be determined by means of known ter method. Particularly advantageous is the implementation of the method by means of mentioned in the beginning MIDIAS camera system, wherein the depth information of the TOF sensor relative to the relevant solid angle for determination the object distance is used.

In einer weiteren Variante des erfindungsgemäßen Verfahrens wird auf der Anzeige eine Darstellung zumindest eines Teils des Fahrzeugs generiert, wobei die Position des Fahrzeugs relativ zur virtuellen Fahrbahnebene im gleichen Verhältnis wiedergegeben wird, wie die reale Position des Fahrzeugs relativ zur realen Fahrbahnebene liegt. Die generierte Darstellung zeigt somit wenigstens einen Teil des Fahrzeugs als Grafik, insbesondere als ein Symbol oder Modell. Die Lage eines solchen Fahrzeugmodells zur virtuellen Fahrbahnebene entspricht dabei im Wesentlichen der tatsächlichen Lage des Fahrzeugs relativ zur Fahrbahn, insbesondere zu einer Fahrspur. In vorteilhafter Weise kann in der Darstellung das Fahrzeug als Fahrzeugkontur auf der virtuellen Fahrbahnebene wiedergegeben sein. Der Vorteil besteht in diesem Fall in der einfachen Realisierung sowie darin, dass die Darstellung des eigenen Fahrzeugs auch bei einer flach liegenden virtuellen Fahrbahn weitere dargestellte Objekte auf der Fahrbahn nicht verdeckt. Bevorzugt stimmt dabei der Abbildungsfaktor der auf der Fahrbahnebene abgebildeten Fahrbahnabschnitte mit dem Abbildungsfaktor des zumindest unteren Teils des Fahrzeugs bezogen auf dieselbe Länge in der Fahrtrichtung des Fahrzeugs überein.In a further variant of the invention The method will display on the display a representation of at least one Part of the vehicle generates the position of the vehicle relative to the virtual road level in the same proportion is reproduced as the real position of the vehicle relative lies to the real road level. The generated illustration shows thus at least part of the vehicle as a graphic, in particular as a symbol or model. The location of such a vehicle model to the virtual road level corresponds essentially to the actual position of the vehicle relative to the roadway, in particular to a traffic lane. Advantageously, in the Presentation of the vehicle as a vehicle contour on the virtual road level be reproduced. The advantage in this case is the simple one Realization as well as the fact that the representation of the own vehicle also shown in a flat-lying virtual roadway more Objects on the road are not covered. Preferred is correct the imaging factor of the roadway segments depicted on the roadway level with the imaging factor of the at least lower part of the vehicle related to the same length in the direction of travel of the vehicle.

In einer weiteren Variante des erfindungsgemäßen Verfahrens wird der zumindest eine Teil des Fahrzeugs auf der Anzeige als räumlich wirkendes Fahrzeugmodell wiedergegeben, wobei die Perspektive, in der das Fahrzeugmodell von dem Benutzer des Fahrzeugs gesehen wird, der Perspektive entspricht, in welcher der Rest der Anzeige wiedergegeben wird. Somit kann der Benutzer des Fahrzeugs die Perspektive, in der die Fahrzeugumgebung dargestellt wird, stets anhand der Perspektive des dargestellten Fahrzeugsmodells erkennen. Vorteilhafterweise ist das Fahrzeugmodell eine räumlich wirkende Grafik, die das eigene Fahrzeug darstellt, wobei insbesondere an der Lage der Außenkanten des Modells und/oder an der Abbildung typischer Designelemente des Fahrzeugs die räumliche Ausrichtung des Modells erkennbar ist. Das Fahrzeugmodell kann besonders betonte Kanten, insbesondere Außenkanten, enthalten, bevorzugt solche, welche die räumliche Wirkung der Grafik verstärken. Das Fahrzeugmodell kann die speziellen Eigenschaften eines Fahrzeugs, wie z. B. dessen Farbe, modellspezifische Merkmale und dergleichen, zumindest symbolhaft wiedergeben. Auf diese Art und Weise kann auch nur ein Teil des Fahrzeugs, z. B. der Vorderteil oder nur die vorderen Stoßstangen, dargestellt werden. Insbesondere wird eine solche Darstellung des Fahrzeugmodells auf der Anzeige der Anzeigevorrichtung vorgesehen, die einen geometrischen, insbesondere räumlichen Bezug der Position der dargestellten Objekte zu bestimmten Kanten, insbesondere Außenkanten und/oder Designelementen des Fahrzeugs, erlauben. Somit kann der Benutzer des Fahrzeugs die Positionen der Objekte relativ zum Fahrzeug besser einschätzen.In a further variant of the invention Procedure is the at least part of the vehicle on the display reproduced as a spatially acting vehicle model, wherein the perspective in which the vehicle model of the user of the Vehicle corresponds to the perspective in which the Rest of the ad is played back. Thus, the user of the Vehicle's perspective, showing the vehicle environment always based on the perspective of the vehicle model shown detect. Advantageously, the vehicle model is a spatial acting graphics representing your own vehicle, in particular at the location of the outer edges of the model and / or at the Illustration of typical design elements of the vehicle the spatial Orientation of the model is recognizable. The vehicle model can be special emphasized edges, in particular outer edges, preferably those that enhance the spatial effect of the graphic. The vehicle model may reflect the specific characteristics of a vehicle, such as B. its color, model-specific features and the like, at least symbolically reproduce. In this way, only one can Part of the vehicle, z. B. the front part or only the front bumpers, being represented. In particular, such a representation of the vehicle model provided on the display of the display device having a geometric, in particular spatial reference of the position of the illustrated Objects to certain edges, especially outer edges and / or design elements of the vehicle. Thus, the User of the vehicle, the positions of the objects relative to the vehicle better estimate.

Die perspektivische Wiedergabe des Fahrzeugmodells kann in einer bevorzugten Variante des erfindungsgemäßen Verfahrens durch eine zusätzliche Referenzfigur, z. B. einen Rahmen und/oder eine zusätzlich generierte und dargestellte räumlich wirkende grafische Abbildung, die von der Anzeigevorrichtung angezeigt wird, verstärkt werden. Die Referenzfigur kann derart ausgestaltet sein, dass sie die Ausdehnung und/oder Ausrichtung des virtuellen Raums kennzeichnet. Somit hilft die Referenzfigur dem Benutzer bei der Orientierung und verstärkt das räumliche Wahrnehmen der übrigen Darstellung. Vorteilhafterweise kann als die Referenzfigur ein Teil der herkömmlichen, aus dem Stand der Technik bekannten Anzeigeebene des Head-Up-Displays verwendet werden.The Perspective rendering of the vehicle model may be in a preferred Variant of the method according to the invention an additional reference figure, z. B. a frame and / or an additionally generated and displayed spatially acting graphic image displayed by the display device will be strengthened. The reference figure can be designed in this way be that they are the extent and / or orientation of the virtual space features. Thus, the reference figure helps the user in the Orientation and enhances the spatial perception the rest of the presentation. Advantageously, as the Reference figure a part of the conventional, from the state the technology known display level of the head-up display used become.

In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird eine Beschleunigung des Fahrzeugs durch eine gegenüber den realen räumlichen Verhältnissen veränderte Verschiebung der in der Anzeige generierten Darstellung des zumindest einen Teils des Fahrzeugs wiedergegeben. Ebenso kann in einer weiteren Variante eine Beschleunigung eines weiteren Objekts durch eine gegenüber den realen räumlichen Verhältnissen veränderte Verschiebung der in der Anzeige generierten Position des weiteren Objekts wiedergeben werden. Somit kann eine Beschleunigung des Fahrzeugs bzw. Veränderung des Abstands zu anderen erkannten Verkehrsteilnehmern in der Grafik durch die Verschiebung der Position der Darstellung des Fahrzeugs visualisiert werden, wohingegen bei einer Fahrt mit annähernd konstanter Geschwindigkeit die Abbildung des Fahrzeugs in der Darstellung steht. Beispielsweise kann bei der Beschleunigung des Fahrzeugs die Abbildung der Fahrzeugkontur verschoben werden, um die Tendenz der Bewegung oder der relativen Bewegung z. B. zu einem vorausfahrenden Fahrzeug zu visualisieren. Durch die oben beschriebenen Maßnahmen können somit die Folgen der Beschleunigung, z. B. bei der Annäherung an ein Hindernis, intuitiv und verständlich für den Benut zer des Fahrzeugs, insbesondere einen Insassen und/oder Fahrer des Fahrzeugs, dargestellt werden.In a further embodiment of the invention Procedure is an acceleration of the vehicle through an opposite changed the real spatial conditions Shifting the display generated in the display of at least reproduced a part of the vehicle. Likewise, in another Variant an acceleration of another object by a opposite changed the real spatial conditions Shifting the position generated in the ad further Play object. Thus, an acceleration of the vehicle or Change in distance to other identified road users in the graph by shifting the position of the representation the vehicle are visualized, whereas when driving with almost constant speed the figure of the Vehicle is in the presentation. For example, at the Acceleration of the vehicle, the image of the vehicle contour shifted become the tendency of movement or relative movement z. B. to visualize a vehicle in front. By the measures described above can thus the consequences of acceleration, z. B. when approaching an obstacle, intuitive and understandable for the user of the vehicle, in particular an occupant and / or Driver of the vehicle to be displayed.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird ein Schwenk und/oder eine Umschaltung und/oder eine Verschiebung des durch die virtuelle Fahrbahnebene wiedergegebenen Fahrbahnbereichs, insbesondere auf eine benachbarte Fahrspur, in Abhängigkeit von einem oder mehreren vorgegebenen Kriterien generiert, insbesondere in Abhängigkeit von einer ausgewerteten Verkehrssituation und/oder einer Bedienaktion des Benutzer des Fahrzeugs, insbesondere einen Insassen und/oder Fahrer des Fahrzeugs. Dabei kann in der erfindungsgemäßen Darstellung beispielsweise eine seitliche benachbarte Fahrspur vergrößert dargestellt werden. Die Änderung der Darstellung kann dabei stufenlos, durch Übergangszustände oder als ein Umschaltvorgang auf die benachbarte Spur ausgestaltet sein.In a further embodiment of the invention Method is a pan and / or switching and / or a Shifting of the represented by the virtual road level Lane area, in particular on an adjacent lane, in Dependence on one or more predetermined criteria generated, in particular depending on an evaluated Traffic situation and / or an operator action of the user of the vehicle, in particular an occupant and / or driver of the vehicle. It can in the representation according to the invention, for example a lateral adjacent lane increased being represented. The change of the representation can thereby stepless, by transitional states or as a Switching be configured on the adjacent track.

Die soeben beschriebene Variante der Erfindung ist besonders vorteilhaft bei der Verwendung eines Head-Up-Displays, da hierdurch auf der knapp bemessenen Darstellungsfläche eines solchen Displays jeweils die wichtigsten Bereiche dargestellt werden. Diese können vom Fahrer gesehen werden, ohne dass dieser die Augen bzw. die Aufmerksamkeit auf diese Bereiche, z. B. auf einen Seitenspiegel, richten muss. Bei der Verwendung von Kamerasystemen, welche in Abhängigkeit von bestimmten Ereignissen das Bild der Kamera virtuell schwenken, ergibt sich ein weiterer Vorteil. Durch die Erkennung der Spuren ist die Zielposition, z. B. die nächste Spur, bekannt. Somit kann der Fahrer z. B. zwischen der eigenen Spur und den benachbarten Spuren rechts und links hin- und herschalten, ohne dass ein deutlich länger dauernder und eventuell störender Einschwenkvorgang vonstatten geht. Anstatt der manuellen Umschaltung kann erfindungsgemäß insbesondere auch ein automatisches System realisiert werden, welches z. B. eine Überwachung eines Blind-Spot-Bereichs des Fahrzeugs (z. B. des toten Winkels im Rückspiegel) durchführt. Beispielsweise kann ein solches automatisches System auf die Darstellung einer Spur umschalten, auf der das Fahrzeug von einem anderen Fahrzeug überholt wird. Besonders vorteilhaft ist es dabei, dass beim Umschalten zwischen den Darstellungen die perspektivischen Verhältnisse der wiedergegebenen Grafiken untereinander erhalten bleiben, selbst wenn die Darstellung insgesamt in eine andere Perspektive überführt wird.The Just described variant of the invention is particularly advantageous when using a head-up display, since this on the tight display surface of such a display in each case the most important areas are represented. these can be seen by the driver without this one's eyes or attention these areas, eg. B. on a side mirror, must judge. at the use of camera systems depending on to pivot the image of the camera virtually from certain events, there is another advantage. By recognizing the tracks is the target position, z. As the next track known. Thus, the driver z. B. between the own track and the adjacent Toggle left and right tracks without a significantly longer permanent and possibly disturbing Einschwenkvorgang vonstatten goes. Instead of the manual switching can according to the invention in particular Also an automatic system can be realized, which z. B. a monitoring a blind spot area of the vehicle (eg the blind spot in the rearview mirror). For example, can such an automatic system on the representation of a track switch over on which the vehicle is overtaken by another vehicle becomes. It is particularly advantageous that when switching between Representations perspective conditions of reproduced graphics themselves, even when the representation as a whole in a different perspective becomes.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird die virtuelle Fahrbahnebene in Abhängigkeit von einer ausgewerteten Verkehrssituation und/oder einer Bedienaktion des Benutzer des Fahrzeugs, insbesondere einen Insassen und/oder Fahrer des Fahrzeugs, gedreht und/oder gekippt, insbesondere um eine zur virtuellen Fahrbahnebene vertikalen Achse, wobei der perspektivische Zusammenhang in der hierdurch generierten Anzeige, insbesondere der perspektivische Zusammenhang zwischen der virtuellen Fahrbahnebene und dem Rest der Darstellung, im Wesentlichen erhalten bleibt. Z. B. kann eine Verschiebung des durch die virtuelle Fahrbahnebene wiedergegebenen Fahrbahnbereichs in Abhängigkeit von der Betätigung des Blinksignals durch den Fahrer und von der Erkennung eines Objektes auf einer Nachbarspur erfolgen.In a further embodiment of the invention Procedure becomes the virtual road level depending on from an evaluated traffic situation and / or an operator action the user of the vehicle, in particular an occupant and / or Driver of the vehicle, rotated and / or tilted, in particular to a vertical axis to the virtual road plane, wherein the perspective Context in the display generated thereby, in particular the perspective relationship between the virtual roadway level and the rest of the presentation, essentially preserved. Z. B. may be a shift of the through the virtual road level reproduced roadway area depending on the Actuation of the flashing signal by the driver and the detection of an object on a neighboring track.

In einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird die reale Position der Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen anhand von Informationen aus einem Navigationssystem ermittelt, insbesondere durch Verrechnung von globalen Koordinaten, vorzugsweise GPS-Koordinaten, der Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen aus dem Navigationssystem mit odometrischen Daten des Fahrzeugs.In a further embodiment of the invention Method is the real position of the lane boundaries and / or Road markings based on information from a navigation system determined, in particular by calculation of global coordinates, preferably GPS coordinates, the lane boundaries and / or Road markings from the navigation system with odometric Data of the vehicle.

In einer vorteilhaften Ausgestaltung kann die erfindungsgemäße Darstellung auf die Erkennung der Fahrbahngrenzen verzichten und nur auf der Erkennung und Wiedergabe der mittleren Spurmarkierung basieren. Dies ist einfacher zu realisieren, da die Markierungen, insbesondere die Mittellinien, sehr einfach erkannt werden können, gegebenenfalls auch aus Daten des Navigationssystems.In an advantageous embodiment, the inventive Dispense appearance on the detection of the lane boundaries and only on the detection and playback of the middle lane marker based. This is easier to realize because the markers, especially the centerlines, can be detected very easily, possibly also from data of the navigation system.

Die oben beschriebenen Varianten des erfindungsgemäßen Verfahrens weisen eine Reihe von Vorteilen auf. Die generierte Darstellung erleichtert die Orientierung, da die Objekte „wie aus der Fahrerposition” dargestellt werden, und nicht aus der Perspektive, in der die Objekte mit der entsprechenden Objekterkennungsvorrichtung aufgenommen wurden. Das erfindungsgemäße Verfahren vermindert die Störung bzw. Ablenkung des Fahrerblicks von der Fahrbahn. In vorteilhafter Weise kann die erfindungsgemäße Darstellung auch auf einem Head-Up-Display mit einer geringen verfügbaren Darstellungsgröße bzw. -winkel realisiert werden. Der Fahrer des Fahrzeugs hat ferner optional die Möglichkeit, zwischen einzelnen Spuren der Fahrbahn umzuschalten. Vorzugsweise erfolgt die erfindungsgemäße Darstellung derart, dass der Benutzer, insbesondere ein Insasse und/oder Fahrer, des Fahrzeugs diese Darstellung vom realen Bild, gesehen aus der Windschutzscheibe, unterscheiden kann. Die gegenseitigen Störungen zwischen der realen Ansicht auf die Umgebung des Fahrzeugs und der Darstellung sind somit sehr gering. Die Darstellung ist ferner intuitiv interpretierbar und vorzugsweise ästhetisch vorteilhaft und hat somit auch einen kommerziellen Vorteil.The variants of the method according to the invention described above have a number of advantages. The generated presentation facilitates the orientation because the objects are displayed "as if from the driver's position" and not from the perspective in which the objects were taken with the corresponding object recognition device. The inventive method reduces the disturbance or distraction of the driver's view of the road. Advantageously, the representation according to the invention can also be realized on a head-up display with a small available display size or angle. The driver of the vehicle also optionally has the option of switching between individual lanes of the roadway. The representation according to the invention preferably takes place in such a way that the user, in particular an occupant and / or driver, of the vehicle can distinguish this representation from the real image, as seen from the windshield. The mutual interference between the real view of the surroundings of the vehicle and the presentation are thus very small. The representation is also intuitively interpretable and preferably aesthetically advantageous and thus has a commercial advantage.

In einer Ausführungsform der Erfindung ist die Anzeigevorrichtung Teil eines externen Geräts außerhalb des Fahrzeugs, z. B. eines Mobiltelefons, wobei Informationen von dem Fahrzeug an das externe Gerät übermittelt werden, insbesondere drahtlos übermittelt werden. Vorzugsweise kann der Benutzer dabei die Position eines Insassen, aus dessen Perspektive die Umgebung des Fahrzeugs darzustellen ist, über das externe Gerät aus mindestens zwei Positionen auswählen.In An embodiment of the invention is the display device Part of an external device outside the vehicle, z. B. a mobile phone, where information from the vehicle be transmitted to the external device, in particular be transmitted wirelessly. Preferably, the user can the position of an occupant, from whose perspective the environment of the vehicle is represented by the external device select from at least two positions.

Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine Anzeigevorrichtung zur Darstellung von zumindest teilweise erkannter Umgebung eines Fahrzeugs für einen Benutzer des Fahrzeugs aus der Perspektive eines Insassen, insbesondere des Fahrers, des Fahrzeugs, wobei die Umgebung des Fahrzeugs zumindest teilweise mit einer oder mehreren Objekterkennungsvorrichtungen automatisch erkannt wurde und die von dem Benutzer des Fahrzeugs wahrnehmbare Position der Anzeige der Anzeigevorrichtung außerhalb des Fahrzeuginnenraums liegt. Die Anzeigevorrichtung umfasst dabei ein Mittel zur Generierung einer virtuellen Fahrbahnebene umfassend die mit einer der Objekterkennungsvorrichtungen erkannten Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen. Es ist ferner ein Mittel vorgesehen, mit dem für ein oder mehrere weitere, durch eine der Objekterkennungsvorrichtungen erkannten Objekte jeweils eine Position relativ zu der virtuellen Fahrbahnebene ermittelbar ist, bei der die geometrischen Verhältnisse zwischen dem jeweiligen Objekt und den Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen im Wesentlichen den realen geometrischen Verhältnissen für die Perspektive des Insassen des Fahrzeugs entsprechen. Die Anzeigevorrichtung ist dabei derart ausgestaltet, dass das oder die weiteren Objekte an der oder den ermittelten Positionen und die virtuelle Fahrbahnebene in Abhängigkeit von einem oder mehreren Kriterien auf der Anzeige dargestellt werden. Mit der erfindungsgemäßen Anzeigevorrichtung ist vorzugsweise jede Variante des oben beschriebenen Verfahrens durchführbar. Die erfindungsgemäße Anzeigevorrichtung kann in einem oder mehreren Steuergeräten oder -einheiten des Fahrzeugs verbaut oder integriert werden.Next In the method described above, the invention further relates to a Display device for displaying at least partially recognized environment a vehicle for a user of the vehicle from the Perspective of an occupant, especially the driver, of the vehicle, wherein the environment of the vehicle at least partially with one or several object detection devices was automatically detected and the position of the display perceivable by the user of the vehicle the display device outside the vehicle interior lies. The display device comprises a means for generating a virtual road surface comprising the one with the object recognition devices recognized lane boundaries and / or lane markings. It is further provided with means for one or more another detected by one of the object recognition devices Objects each one position relative to the virtual road surface can be determined, in which the geometric relationships between the respective object and the lane boundaries and / or Road markings essentially the real geometric conditions correspond to the perspective of the occupant of the vehicle. The display device is designed such that the or the other objects at the or the determined positions and the virtual road level depending on one or more Criteria are displayed on the display. With the invention Display device is preferably any variant of the one described above Procedure feasible. The display device according to the invention can be in one or more control units or units be installed or integrated.

Neben der oben beschriebenen Anzeigevorrichtung betrifft die Erfindung ferner ein Fahrzeug, welches eine solche Anzeigevorrichtung umfasst.Next The display device described above relates to the invention Further, a vehicle comprising such a display device.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.embodiments The invention will be described below with reference to the attached Figures detailed.

Es zeigen:It demonstrate:

1 eine schematische Darstellung des aus dem Stand der Technik bekannten Kamerasystems nach MIDIAS; 1 a schematic representation of the known from the prior art camera system according to MIDIAS;

2 eine schematische Darstellung eines Fahrzeugs mit darin verbauter objekterkennender Kamera; 2 a schematic representation of a vehicle with built-in object-detecting camera;

3 eine schematische Darstellung zur Verdeutlichung der Perspektiven, aus denen Objekte durch eine objekterkennende Kamera und einen Fahrer gesehen werden; 3 a schematic representation to illustrate the perspectives from which objects are seen by an object-recognizing camera and a driver;

4 eine schematische Darstellung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens; 4 a schematic representation of an embodiment of the method according to the invention;

5 ein Beispiel einer mittels des erfindungsgemäßen Verfahrens generierten Darstellung der Fahrzeugumgebung, und 5 an example of a generated by the inventive method representation of the vehicle environment, and

6 ein Beispiel einer mittels des erfindungsgemäßen Verfahrens generierten Darstellung der Fahrzeugumgebung einschließlich einer vergrößerten Objektansicht. 6 an example of a generated by the inventive method representation of the vehicle environment including an enlarged object view.

1 bis 3 wurden bereits weiter oben bei der Darlegung der der Erfindung zu Grunde liegenden Problemstellung detailliert erläutert, so dass auf eine nochmalige Beschreibung dieser Figuren verzichtet wird. 1 to 3 have already been explained in detail above in the explanation of the problem underlying the invention, so that dispensing with a further description of these figures.

4 zeigt in schematischer Darstellung ein Beispiel einer Realisierung der Erfindung. Dabei wird die Fahrzeugumgebung mit dem aus dem Stand der Technik bekannten MIDIAS-Kamerasystem aufgenommen, welches zum einen eine monokulare Kamera und zum anderen eine 3D-TOF-Kamera bzw. einen 3D-TOF-Sensor umfasst, der den Abstand zu Objektpunkten über Flugzeitmessung ermittelt. Das MIDIAS-Kamerasystem ist dabei im vorderen Bereich des Fahrzeugs verbaut und erfasst somit einen vor dem Fahrzeug liegenden Bereich der Fahrzeugumgebung. Wie bereits weiter oben in Bezug auf 1 beschrieben wurde, werden die Daten der monokularen Kamera und die Daten des 3D-TOF-Sensors miteinander fusioniert. Mit Hilfe der Datenfusion können z. B. verschiedene Klassen von Objekten erkannt werden. Basierend auf den Daten der monokularen Kamera erfolgt in der dargestellten Variante der Erfindung ferner eine Spurenerkennung der vor dem Fahrzeug liegenden Fahrspuren, wobei die Informationen aus der Spurerkennung auch bei der Datenfusion berücksichtigt werden. 4 shows a schematic representation of an example of an implementation of the invention. In this case, the vehicle environment is recorded with the known from the prior art MIDIAS camera system, which includes on the one hand a monocular camera and on the other a 3D TOF camera or a 3D TOF sensor, the distance to Object points determined via time of flight measurement. The MIDIAS camera system is installed in the front area of the vehicle and thus detects an area of the vehicle surroundings in front of the vehicle. As already mentioned above 1 has been described, the data of the monocular camera and the data of the 3D-TOF sensor are fused together. With the help of the data fusion z. B. different classes of objects are detected. Based on the data of the monocular camera, in the illustrated variant of the invention, further, a lane detection of the lanes ahead of the vehicle takes place, wherein the information from the lane detection is also taken into account in the data fusion.

Nach der Datenfusion werden repräsentative Symbole und Texturen generiert und ausgewählt, welche für die Darstellung der Fahrzeugumgebung in der entsprechenden Anzeigevorrichtung eingesetzt werden. Darüber hinaus wird aus dem über den 3D-TOF-Sensor ermittelten Abstand zu den Objektpunkten, gegebenenfalls unter Berücksichtigung von Informationen aus den fusionierten Daten, eine Positionsverschiebung ermittelt, welche berücksichtigt, dass sich die Position des Kamerasystems von der Fahrerposition unterscheidet, wie dies beispielsweise auch in der Abbildung der 3 dargestellt ist. Basierend auf der Positionsverschiebung wird eine Soll-Position ermittelt, mit der die von dem Kamerasystem erkannten Objekte in der Darstellung zur richtigen Wiedergabe der realen geometrischen Verhältnisse positioniert sein sollen. Diese Soll-Position fließt bei der Erzeugung der Darstellung ein, wobei die Darstellung beispielsweise als eine 1-Bit-Grafik generiert wird und die erkannten Objekte an den Soll-Positionen in der Form der generierten Symbole und Texturen enthält. Darüber hinaus kann auch eine Tiefeninformation bei der Generierung der Darstellung berücksichtigt werden, welche sich aus dem Abstand zu den Objektpunkten ergibt, der über den 3D-TOF-Sensor ermittelt wurde. In der generierten Darstellung wird ferner eine virtuelle Fahrbahnebene erzeugt, welche basierend auf den Spurenpositionen bestimmt wird, welche mittels der Spurerkennung ermittelt wurden. Die Darstellung wird dabei in einem Head-Up-Display (abgekürzt HUD) für den Fahrer wiedergegeben.After the data fusion, representative symbols and textures are generated and selected which are used to represent the vehicle environment in the corresponding display device. In addition, from the distance to the object points determined via the 3D TOF sensor, optionally taking into account information from the fused data, a positional shift is determined which takes into account that the position of the camera system differs from the driver position, as for example in the picture of 3 is shown. Based on the position shift, a target position is determined with which the objects detected by the camera system should be positioned in the representation for correct reproduction of the real geometric conditions. This desired position flows into the generation of the representation, wherein the representation is generated for example as a 1-bit graphic and contains the recognized objects at the desired positions in the form of the generated symbols and textures. In addition, depth information can also be taken into account when generating the representation, which results from the distance to the object points that was determined via the 3D TOF sensor. In the generated representation, a virtual roadway plane is also generated, which is determined based on the track positions that were determined by means of the lane recognition. The presentation is shown in a head-up display (abbreviated HUD) for the driver.

Zusammenfassend wird somit eine Darstellung generiert, welche eine virtuelle Fahrbahnebene mit entsprechend erkannten Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen sowie weitere erkannte Objekte aus der Fahrzeugumgebung umfasst, wobei die weiteren Objekte an Positionen angeordnet sind, bei denen die geometrischen Verhältnisse zwischen dem jeweiligen Objekt und den Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen den realen geometrischen Verhältnissen für die Perspektive des Fahrers des Fahrzeugs entspricht.In summary Thus, a representation is generated which a virtual road surface with accordingly recognized lane boundaries or lane markings and other detected objects from the vehicle environment, wherein the further objects are arranged at positions where the geometric relationships between the respective Object and the lane boundaries or lane markings the real geometric relationships for the perspective corresponds to the driver of the vehicle.

5 zeigt beispielhaft eine mittels des erfindungsgemäßen Verfahrens generierbare Darstellung. Man erkennt, dass die Darstellung die virtuelle Fahrbahnebene mit zwei Fahrspuren 2 und 3 sowie Bereichen 4 und 5 neben den Fahrspuren umfasst. In der Darstellung werden dabei die Bereiche neben den Fahrspuren als entsprechende Texturen realisiert. Durch ein objekterkennendes System wurde ein Objekt O in der Form einer Person erfasst, welche sich auf der Fahrbahn befindet. Die Position des Objekts, wie es aus der Verbauposition des objekterkennenden Systems gesehen wird, ist dabei in 5 durch das Objekt O' angedeutet, welches nicht Bestandteil der generierten Darstellung ist. Erfindungsgemäß wird basierend auf der Position des Objekts O' nunmehr die Position ermittelt, in welcher das Objekt gesehen werden müsste, damit die wiedergegebenen Proportionen gegenüber der realen Szene, wie diese aus der Fahrerposition gesehen wird, eingehalten werden. Diese korrigierte Objektposition entspricht der Position des Objekts O, welches Teil der generierten Darstellung ist. Die neue Objektposition wird dabei mittels einer Transformation berechnet, welche in 5 mit einem entsprechenden Pfeil T angedeutet ist, der nicht Bestandteil der Darstellung ist. 5 shows an example of a generated by the method according to the invention representation. It can be seen that the representation of the virtual road level with two lanes 2 and 3 as well as areas 4 and 5 includes next to the lanes. In the presentation, the areas next to the lanes are realized as corresponding textures. By an object recognizing system, an object O was detected in the form of a person who is on the road. The position of the object, as it is seen from the installation position of the object-recognizing system, is in 5 indicated by the object O ', which is not part of the generated representation. According to the invention, based on the position of the object O 'now the position is determined in which the object would have to be seen so that the reproduced proportions compared to the real scene, as seen from the driver's position, are met. This corrected object position corresponds to the position of the object O, which is part of the generated representation. The new object position is calculated by means of a transformation, which in 5 is indicated with a corresponding arrow T, which is not part of the illustration.

Die in 5 gezeigte Darstellung kann insbesondere im Head-Up-Display des Fahrzeugs erfolgen, und die erkannten Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen können beispielsweise über ein entsprechendes Spurführungsassistenzsystem ermittelt werden. Das dargestellte Objekt kann beispielsweise basierend auf Daten des oben erwähnten MIDIAS-Systems oder mit einem Nachtsicht-System erkannt werden. In der Darstellung wird nicht das tatsächlich erfasste Objekt, sondern ein entsprechendes Symbol für dieses Objekt wiedergegeben, so dass der Fahrer sehr gut zwischen der realen Umgebung und der virtuellen Darstellung unterscheiden kann.In the 5 shown representation can be made in particular in the head-up display of the vehicle, and the recognized lane boundaries or lane markings can be determined for example via a corresponding tracking assistance system. The illustrated object may be recognized, for example, based on data of the above-mentioned MIDIAS system or with a night-vision system. In the representation, not the actually detected object but a corresponding symbol for this object is reproduced, so that the driver can distinguish very well between the real environment and the virtual representation.

Die in 6 gezeigte Darstellung enthält zusätzlich zu der Darstellung gemäß 5 eine vergrößerte Darstellung 8 des Objekts O. Die Verbindungslinien 6 und 7 zeigen dem Benutzer des Fahrzeugs, der in der hier beschriebenen Ausführungsform der Fahrer ist, den Bezug zwischen der kleinen Darstellung des Objekts auf der virtuellen Fahrbahn und der vergrößerten Darstellung 8 des Objekts. Sowohl die Darstellung des Objekts auf der virtuellen Ebene als auch die vergrößerte Darstellung des Objekts sind dabei als ein Symbol ausgestaltet. Die vergrößerte Darstellung des Objekts ist auf einem weiteren Bereich der Anzeige als ein auf Basis der Erfassung des Objekts im Infrarotspektrum generiertes Bild mit einer betonten Kantenstruktur ausgebildet. Die Anzeige gemäß 6 vermittelt somit dem Benutzer die relativen Positionen der Objekte durch eine symbolhaft abgebildete Übersicht sowie eine vergrößerte und für eine bessere Wahrnehmbarkeit verarbeitete Objektabbildung.In the 6 In addition to the representation shown in FIG 5 an enlarged view 8th of the object O. The connecting lines 6 and 7 show the user of the vehicle, which is the driver in the embodiment described here, the relation between the small representation of the object on the virtual lane and the enlarged view 8th of the object. Both the representation of the object on the virtual plane and the enlarged representation of the object are designed as a symbol. The enlarged representation of the object is formed on a further area of the display as an image generated on the basis of the detection of the object in the infrared spectrum with a highlighted edge structure. The ad according to 6 thus conveys to the user the relative positions of the objects through a symbolically displayed overview as well as an enlarged and for a better perceptibility processed object image.

Wie sich aus den obigen Ausführungen ergibt, kann mit einem oder mehreren Objekterkennungssystemen nicht nur die Objekterkennung durchgeführt werden, sondern auch eine Information zur Generierung der Darstellung gewonnen werden. Dabei kann beispielsweise aus der verfügbaren Tiefeninformation ermittelt werden, wie weit ein erkanntes Hindernis vom Fahrzeug entfernt ist. Daraus wird wiederum der Versatz ermittelt, mit welchem das in der Darstellung anzuzeigende Symbol für dieses Hindernis relativ zu den Fahrbahnbegrenzungen und/oder Fahrbahnmarkierungen verschoben werden soll. Die Ermittlung dieses Versatzes beruht dabei auf der Kenntnis der geometrischen Zusammenhänge zwischen der Fahrerposition, dem Verbauort der Vorrichtung, welche die Fahrspuren erkennt (z. B. eine monokulare Kamera eines Spurführungsassistenzsystems), und dem Verbauort der Vorrichtung, welche die Tiefeninformation liefert (z. B. der 3D-TOF-Sensor des MIDIAS-Kamerasystems oder gegebenenfalls ein entsprechender Radar-/Lidar-Sensor). Es wird somit das Symbol für das Hindernis in der Darstellung an einer solchen Stelle relativ zu den wiedergegebenen Fahrbahnmarkierungen bzw. Fahrbahnbegrenzungen angezeigt, wie das reale Hindernis relativ zu den realen Fahrbahnmarkierungen steht. Der Fahrer weiß somit, an welcher Stelle sich das reale Hindernis befindet.As can be seen from the above, can with a or more object recognition systems not only the object recognition performed but also information for generating the representation be won. It can, for example, from the available Depth information is determined as far as a detected obstacle away from the vehicle. This in turn determines the offset, with which the symbol to be displayed in the representation this obstacle relative to the lane boundaries and / or lane markings should be moved. The determination of this offset is based on this on the knowledge of the geometric relationships between the driver's position, the location of the device, the lanes detects (eg a monocular camera of a guidance assistance system), and the installation location of the device, which contains the depth information (for example, the 3D TOF sensor of the MIDIAS camera system or, if necessary, a corresponding radar / lidar sensor). It thus becomes the symbol for the obstacle in the representation at such a place relative to the reproduced lane markings or lane boundaries displayed as the real obstacle relative to the real lane markings stands. The driver thus knows at which point the real obstacle is located.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

- DE 102005062151 A1 [0006]
DE 102005020772 A1 [0007]
- EP 1647807 A1 [0008]
- DE 102008051593 [0027]

Claims

Method for displaying at least partially automatically detected environment of a vehicle for one User of the vehicle from the perspective of an occupant, in particular the driver, the vehicle on the display of a display device, wherein the environment of the vehicle at least partially with one or several object detection devices was automatically detected and the perceptible position of the vehicle by the user of the vehicle Display of the display device outside the vehicle interior lies, where Comprising a virtual road level the roadway boundaries detected with one of the object recognition devices and / or road markings is generated; - For one or more further, by one of the object recognition devices detected objects each one position relative to the virtual Fahrbahnebene is determined, in which the geometric relationships between the respective object and the lane boundaries and / or Road markings essentially the real geometric conditions correspond to the perspective of the occupant of the vehicle; - the or the other objects at the or the determined positions and the virtual road plane depending on one or multiple criteria on the display.

Method according to claim 1, characterized in that that at least one object recognition device, the lane boundaries and / or lane markings and / or other objects from one Detected from the position of the occupant position, in particular from a position outside the passenger compartment, the detected lane boundaries and / or lane markings and / or other objects in the perspective of the position of the driver and / or inmates are transformed.

Method according to claim 1 or 2, characterized that the lane boundaries and / or lane markings and / or other objects on the display at least partially symbolic be reproduced.

Method according to one of the preceding claims, characterized in that it is determined which other objects for the occupant, especially for the driver the vehicle visible or not visible, the or the criteria are such that only or at least predominantly the position of invisible objects is shown on the display becomes, in particular only the position of such objects and / or room parts, the one certain threshold of a visibility measure for infer the occupant of the vehicle.

Method according to one of the preceding claims, characterized in that in addition to the representation of at least one, especially for the occupant visible object an enlarged view the same object is displayed, which differs from the representation on the display, in particular, through their perspective and / or used Image parameters are different.

Method according to claim 5, characterized in that that additional graphical elements are displayed the reference of the enlarged view to the Display the position of the object on the display.

Method according to one of the preceding claims, in which the one or more criteria take into account the current driving situation.

Method according to one of the preceding claims, characterized in that a selected roadway section is displayed in the virtual lane plane on the display, wherein the lane section depending on odometric Data of the vehicle and / or an evaluated traffic situation is selected.

Method according to one of the preceding claims, in which generates as a display, a three-dimensional rendering and / or a perspective view through the oblique arrangement the ad and / or parts of the ad is generated.

Method according to one of the preceding claims, characterized in that the display with a for provided the user of the vehicle perceptible depth effect such Will that be the lane boundaries and / or lane markings and / or the one or more other objects in a position to Vehicle and / or corresponding depth effect reproduced become.

Method according to claim 10, characterized in that that the display to create the depth effect multiple display levels with different positions perceived by the user to a predetermined viewing direction of the user, in particular the driver of the vehicle.

Method according to claim 11, characterized in that that parts of the representation, especially different objects, be displayed on different display levels, in particular on such display levels as different from the user lying and / or perceived as differently inclined.

Method according to one of the preceding claims, characterized in that the spatial position of the virtual lane level in the display, in particular its slope, depending on an evaluated traffic situation and / or odometric data of the vehicle is changed.

Method according to claim 13, characterized in that that the virtual road plane at a smaller angle to the horizon, the larger the is the speed of the vehicle resulting from the odometric data.

Method according to one of the preceding claims, characterized in that the virtual roadway level in the Display essentially by the lane boundaries or their Envelope is limited.

Method according to one of the preceding claims, characterized in that the reproduction in the display at least partially a 1-bit graphics, in particular a 1-bit texture is.

Method according to one of the preceding claims, characterized in that different parts of the virtual roadway level and / or various other objects in the ad with different Textures are marked.

Method according to claim 17, characterized in that that the drive-way surfaces of the virtual roadway level, in particular the area bounded by the lane boundaries the virtual road surface, by a different texture than the rest the virtual road level is reproduced.

Method according to one of the preceding claims, characterized in that the position of the one or more Objects relative to the virtual road plane using a through one of the object recognition devices determined depth information concerning the real position of the other objects relative to the vehicle is determined.

Method according to one of the preceding claims, characterized in that on the display a representation at least Part of the vehicle is generated, the position of the vehicle relative to the virtual roadway plane in the same geometric relationship is reproduced as the real position of the vehicle relative lies to the real road level.

Method according to claim 20, characterized in that that the at least part of the vehicle on the display as spatial acting vehicle model is reproduced, the perspective, in which the vehicle model is seen by the user, the perspective corresponds to the rest of the display.

Method according to claim 20 or 21, characterized that is an acceleration of the vehicle through an opposite changed the real spatial conditions Shifting the display generated in the display of at least a part of the vehicle is played.

Method according to one of the preceding claims, characterized in that an acceleration of another Object through one opposite the real spatial one Relationships changed in the Display generated position of the other object reproduced becomes.

Method according to one of the preceding claims, characterized in that a pan and / or a switch and / or a shift of the represented by the virtual road plane Lane area, in particular on an adjacent lane, in Dependence on one or more predetermined criteria is generated, in particular depending on an evaluated Traffic situation and / or an operator action of the user Vehicle.

Method according to one of the preceding claims, characterized in that the virtual road level depending from an evaluated traffic situation and / or an operator action the user of the vehicle is rotated and / or tilted, in particular about an axis vertical to the virtual road surface axis, wherein the perspective Context in the display generated thereby, in particular the perspective relationship between the virtual roadway level and the rest of the presentation, essentially preserved.

Method according to one of the preceding claims, characterized in that the real position of the roadway boundaries and / or lane markings based on information from a Navigation system is determined, in particular by offsetting of global coordinates, preferably GPS coordinates, of the lane boundaries and / or road markings from the navigation system with odometric Data of the vehicle.

Method according to one of the preceding claims, characterized in that the display device is part of an external device outside the vehicle, wherein information is transmitted from the vehicle to the external device, be transmitted in particular wirelessly.

Method according to Claim 27, characterized that the user the position of an occupant, from his perspective the environment of the vehicle is to represent over the external Select device from at least two positions can.

Display device for displaying at least partially automatically detected environment of a vehicle for a user of the vehicle from the perspective of an occupant, in particular the driver, the vehicle, the environment of the Vehicle at least partially with one or more object detection devices was detected automatically and by the occupant of the vehicle Perceptible position of the display of the display device outside of the vehicle interior, comprising - a means for generating a virtual road level comprising the one of the object recognition devices recognized lane boundaries and / or lane markings; - a means with which for one or more others, by one of the object recognition devices detected objects each one position relative to the virtual Fahrbahnebene is determined, in which the geometric relationships between the respective further object and the roadway boundaries and / or Road markings essentially the real geometric conditions correspond to the perspective of the occupant of the vehicle; - in which the display device is designed such that the or other objects at the or the determined positions and the virtual road level depending on one or several criteria are shown on the display.

A display device according to claim 29, which is such is configured that with the display device, a method according to one of claims 2 to 23 feasible is.

A vehicle comprising a display device Claim 29 or 30.